Унапређење језичких модела проширених претрагом

Обучавање напредних веб претраживач агената захтева заједничку оптимизацију више циљева: чињеничне тачности, ефикасности путања и усклађености са преференцијама корисника. Ипак, побољшање било које појединачне димензије изоловано често погоршава друге: модел обучени искључиво за тачност теже прекомерној употреби алата, док модел оптимизован за сажеткост може жртвовати поузданост или потпуност. У компанији Perplexity, ниједан исход није прихватљив.

Овај чланак описује Perplexity-јев пайплин након обуке за развој најсавременијих веб претраживач агената заснованих на моделима отвореног кода. Кључна идеја је да се у обуци претраживач агената курација података и дизајн награда морају ко-дизајнирати: подаци одређују који су понашања опсервабилна и верификована, а награда одређује како се ти сигнали преводе у сигнал оптимизације. Овај принцип мотивише наш двостепени пайплин: прво спроводимо загревање надгледаног финог подешавања (SFT) да бисмо иницијализовали модел политике, а затим га рафинишемо коришћењем реинфорсмент учења (RL) преко курираног скупа података и пажљиво дизајнираних награда. Овај двостепени приступ омогућава поуздане добитке у тачности, ефикасности и квалитету одговора под производним ограничењима.

Прво описујемо наш двостепени пайплин обуке (SFT → RL на политици), након чега следи изградња наших RL података за обуку, обухватајући и верификовано QA претраживач агената и опште ћаскање засновано на рубрикама. Затим представљамо дизајн композитне награде изведен из овог хетерогеног подешавања података, балансирајући квалитет и ефикасност уз ублажавање хаковања награда. На крају, анализирамо динамику обуке и резултате бенчмарка.

Усвајамо рецепт за двостепену накнадну обуку: (i) SFT за успостављање понашања критичних за примену као што су заштитне мере (нпр. уздржавање), праћење упутстава и језичка конзистентност, и (ii) RL на политици за побољшање способности претраге, укључујући тачност одговора и ефикасност коришћења алата, уз очување понашања из прве фазе.

Зашто две фазе? Заједничка оптимизација квалитета претраге и ограничења примене у оквиру једне RL фазе је тешка без компромиса бар једног циља. Емпиријски, обука само са RL побољшава перформансе претраге, али тежи да има слабије перформансе на заштитним мерама примене, док SFT побољшава усклађеност на рачун перформанси претраге. Раздвајање циљева омогућава да SFT фаза прво адресира не преговарачке захтеве, након чега се RL може фокусирати углавном на побољшање способности претраге.

Иницијализујемо из породице модела Qwen3 (Qwen3.5-122B-A10B и Qwen3.5-397B-A17B) (Yang et al., 2025, Qwen3.5 блог пост) и конструишемо двокомпонентни SFT микс скуп података који циља на понашања критична за примену описана изнад, уз очување опште способности претраге базног модела.

Примери оријентисани на преференције. Курирамо примере који прате упутства и фокусирани су на стил, циљајући тон, језичку конзистентност, јасноћу и форматирање. Ови примери не морају да признају јединствену земљу истине; уместо тога, изабрани су да одражавају захтеве писања производа и обезбеде стилску конзистентност кроз различите типове упита.

Трајекторије коришћења алата у производном формату. Емпиријски утврђујемо да SFT без пажљиве курације скупа података може значајно деградирати способност претраге базног модела. Да бисмо ово ублажили, узоркујемо упите и интерне задатке кроз различите обрасце интеракције (једно-, дво- и вишесмерне) и аннотирамо их са нашим харнасом за позивање алата.

Почевши од SFT контролне тачке, примењујемо RL на политици да побољшамо тачност и ефикасност претраге. Оптимизујемо модел политике користећи оптимизацију политике релативне групи (GRPO) (Shao et al., 2024).

\mathcal{J}_{\text{GRPO}}(\theta) = \frac{1}{G}\sum_{i=1}^{G} \frac{1}{|o_i|}\sum_{t=1}^{|o_i|} r_{i,t}(\theta)\hat{A}_{i,t},

где је $G$ величина групе, $o_{i}$ означује $i$ -ти узорковани излаз, а $\hat{A}_{i, t} = \hat{A}_{i}$ је предност. Дизајн награда је детаљно описан у одељку о дизајну награда; укратко, комбинујемо тачност основне линије са обликовањем ефикажности заснованим на преференцијама и сидрењем. Пратећи претходни рад (Liu et al., 2025a; Yao et al., 2025; Zheng et al., 2025a), примењујемо узорковање важности на нивоу токена (IS) да исправимо неусклађеност обуке и инференције:

r_{i,t}(\theta) = \frac{\pi_{\text{train}}(\theta)}{\mu_{\text{infer}}(\theta)}.

Процењујемо неколико приступа за ублажавање неусклађености обуке и инференције, укључујући IS на нивоу секвенце (Zheng et al., 2025b), реприз рутирања (Ma et al., 2025; Zheng et al., 2025b) и битски конзистентну обуку која интегрише кернел машине за инференцију током обуке (vLLM и TorchTitan тимови, 2025). Емпиријски, под нашим подешавањем на политици, откривамо да је IS на нивоу токена довољан да спречи колапс обуке уз остајање једноставним за имплементацију; ово је у складу са налазима из Zheng et al (2025a).

Наши RL подаци за обуку састоје се од две комплементарне компоненте: верификованог QA претраживач агената који циља општу способност претраге, и општег ћаскања заснованог на рубрикама које експлицитно ојачава заштитне мере примене како би се спречила регресија током фазе RL обуке.

Изградња скупа података. Пратећи метод секвенцијалног ширења (Tao et al., 2025), конструишемо интерни синтхетички QA скуп података од интерних упита семена без ослањања на курирани граф знања, чинећи пайплин лаким и једноставним за освежавање. Сваки синтхетички пример се генерише кроз следеће кораке:

Избор семена. Преузимамо документе за упите семена и бирамо ентитете са потврдом чињеница из више извора као полазне тачке, извлачећи атомске изјаве о њима.
Изградња вишехоп ланца. Из изјава ентитета семена, бирамо једну која уводи други ентитет (нпр. за семе „The Mom Test“, изјава „written by Rob Fitzpatrick“ уводи аутора као следећи ентитет). Понављамо овај процес повезивања 2–4 пута, осигуравајући да је сваки ентитет различит и да ниједна појединачна изјава тривијално не открива коначни одговор.
Синтеза питања без имена. Претварамо ланац ентитета у питање рекурзивном заменом имена ентитета њиховим повезујућим изјавама, производећи угнежђено питање које захтева вишехоп резоновање.
Верификација. Задржавамо само питања са јединственим одговорима верификованим од стране више независних решавача са омогућеним вебом.

Размотрите упит семена „The Mom Test“. Преузимамо документе и идентификујемо ову књигу као ентитет семена, затим извлачимо атомске чињеничне изјаве и итеративно градимо ланац ентитета: (i) The Mom Test је написао Роб Фицпатрик (Rob Fitzpatrick), уводећи Роба Фицпатрика; (ii) први стартуп Роба Фицпатрика је прош кроз Y Combinator (лето 2007), уводећи Y Combinator; (iii) Y Combinator је покренут у марту 2005. Рекурзивно замењујући име сваког ентитета његовим описивачем даје питање без имена: „Коју књигу је написала особа чији је први стартуп прош кроз акцелератор покренут у марту 2005, у својој летњој кохорти 2007?“ са одговором „The Mom Test“.

Аугментација разноврсности формата. Модели обучени искључиво на сировом синтхетичком QA имају тенденцију да игноришу преференције форматирања и подразумевају фиксну структуру одговора, без обзира на то како је упит срочен. Да бисмо побољшали разноврсност формата, аугментирамо скуп података упитима који укључују експлицитна упутства за форматирање (нпр. „Прикажи листу . . . ” или „Сумирај . . . у табели”), док основни одговор остаје непромењен.

Јавни верификовани QA (основа). Конструишемо основни верификовани QA скуп података из пет скупова података отвореног кода (Lu et al., 2025; Pham et al., 2025; Press et al., 2023; Tao et al., 2025; Wu et al., 2025), уједињених под нашим аугментованим форматима промпта са филтрирањем квалитета. Ова мешавина служи као примарна основа у нашим експериментима валидације. За контролна поређења, усклађујемо скалу нашег интерног синтхетичког QA скупа података са овом мешавином отвореног кода.

Брза валидација. Валидирамо ефикасност овог пайплина користећи Qwen3-30B-A3B-Instruct-2507 како бисмо омогућили брзу итерацију; резултати су резимирани у табели 1.

Валидација синтхетичког верификованог QA скупа података

Док верификовани QA пружа чист сигнал обуке за упите фокусиране на претрагу, значајан део производног саобраћаја није јединствено верификован (нпр. преписивање, планирање и отворена помоћ). Искључивање таквих упита из RL-а оставило би политику недовољно оптимизованом за стварне корисничке интеракције. Штавише, док SFT фаза успоставља заштитне мере критичне за примену, RL може да регресира на њима осим ако их подаци експлицитно не појачају.

Укључујемо неверификоване упите у RL обуку конвертовањем захтева критичних за примену — праћења упутстава, ограничења форматирања и безбедносних конвенција — у рубрике: атомске, објективно проверљиве критеријуме које одговор мора да задовољи. Усвајамо изградњу података засновану на рубрикама (Gunjal et al., 2025; Liu et al., 2025b), генеришући скупове рубрика по упиту.

Генерисање рубрика. С обзиром на комплетну историју разговора, тражимо од LLM-а да произведе референтни одговор и одговарајући скуп рубрика. Рубрике се изводе под фиксним редоследом превенства: захтеви које корисник експлицитно наведе имају приоритет, а затим следе интерна ограничења и коначно неопходни захтеви садржаја изведени из референтног одговора. Свака рубрика мора бити:

Атомска: јединствена, добро дефинисана провера;
Објективна: верификована без субјективног расуђивања;
Неопходна: потребна за одговор на упит, а не само стилска преференција.

Упит.

She will share u man power planning. We have to arrange lodging & boarding. Plz correct swntence.

Рубрике.

Одговор је написан на енглеском језику.
Исправљена формулисаност садржи речи „lodging“ и „boarding“.
Исправљена формулисаност користи „manpower“ као једну реч (на пример, „manpower plan“ или „manpower planning“) уместо „man power“.
Исправљена формулисаност не садржи неформалне скраћенице „u“ или „Plz“, нити садржи знак амперсенда „&“.
Одговор не садржи ознаке цитирања у облику \\[type:idx\\], где type означава извор података (на пример, web, chart, memory, attached_file).

Калибрација рубрика. Да бисмо избегли превише строге или превише попустљиве скупове рубрика, примењујемо pass@4 филтер. За сваки упит, узоркујемо четири независна одговора и процењујемо их према целом скупу рубрика са судијом за праћење упутстава. Одбацујемо упите за које ниједан одговор не задовољава скуп рубрика или га сви задовољавају, задржавајући само оне који дају информативан сигнал обуке.

Практични изазов у вишециљном RL-у је неусклађеност варијансе међу компонентама података (Duchi и Namkoong, 2016; Liu et al., 2026; Qi et al., 2026). Иако и верификовани QA и подаци засновани на рубрикама дају бинарне награде, они се значајно разликују у тежини задатка: задовољење рубрика је генерално лакше постићи раније у обуци, производи већа и чешћа ажурирања градијента која могу неразмерно доминирати оптимизацијом политике у односу на тежи верификовани QA сигнал. Да бисмо ово решели, ревидирамо мешавину промптова на нивоу скупа података, узоркујући 90% из верификованог QA и 10% из података заснованих на рубрикама како бисмо балансирали сигнал оптимизације кроз компоненте.

Наш дизајн награда произлази директно из изградње података описане изнад. Упркос обухватању и верификованог QA и задатака рубрика, сви подаци за обуку деле заједничку структуру основне награде: испорука добија кредите ако даје тачан одговор за QA задатке, или задовољава све назначене рубрике за опште ћаскање. Надовезујући се на ову заједничку основу, конструишемо композитну награду како бисмо укључили бодовање засновано на преференцијама и обликовање ефикажности.

Кључни изазов уочен у раним експериментима било је хаковање награда: једноставна линеарна комбинација награда омогућила је јаким сигналима преференција да надокнаде чињеничне или наставне неуспехе. Због тога усвајамо гатовану агрегацију као основни принцип дизајна, формално дефинисану као:

R(\tau_i) = r_{\text{base}}(\tau_i) \cdot s(\tau_i) \;-\; \operatorname{pen}_{\text{eff}}(\tau_i),

где $r_{\mathrm{base}}(\tau_i) \in \{0, 1\}$ означава тачност QA или задовољење рубрике, $s(\tau_i)\in[0,1]$ је скор преференције, а $\operatorname{pen}_{\mathrm{eff}}(\tau_i)$ је сидрена казна за ефикасност. Ово чини тачност неопходним условом за добијање кредита за преференције, док и даље обесхрабрује непотребно коришћење алата и опширност. Слика 1 илуструје пуни пайплин награда, чије компоненте описујемо испод:

Преглед дизајна награда. Комбинујемо сигнал основне тачности (верификовани/рубрика), Bradley–Terry скор преференције и сидрене казне за ефикасност. Преференција је гатована тачношћу основе да би се спречило хаковање награда.

Дефинишемо бинарни сигнал основе $r_{\mathrm{base}}(\tau_i) \in \{0,1\}$ који хвата тачност задатка или усклађеност са упутствима. За верификоване податке претраживач агената, $r_{\mathrm{base}}(\tau_i)=1$ ако коначни одговор одговара земљи истине, а $0$ иначе. За податке општег ћаскања засноване на рубрикама, $r_{\mathrm{base}}(\tau_i)=1$ ако су све рубрике задовољене, а $0$ иначе. Ова основа служи као чврста капија у услову условне агрегације Екв. 2.

Циљ нам је да ускладимо модел политике са латентним преференцијама корисника у вези са квалитетом одговора — информативношћу, јасноћом и професионалним тоном — које је тешко ухватити путем промптова LLM судије. Стога обучавамо научени модел награде за преференције да директно бодује ове атрибуте.

Формулишемо учење преференција под Bradley–Terry оквиром. У датом контексту $x$ и два кандидата за одговоре $y_a, y_b$ , модел производи скаларне скоре $s_{\theta}(x, y) \in \mathbb{R}$ и минимизира,

\ell_{\text{BT}}(\theta; x, y_a, y_b, r) = -\Big[r \log \sigma(\Delta_\theta) + (1-r) \log\bigl(1 - \sigma(\Delta_\theta)\bigr)\Big], \\ \Delta_\theta = s_\theta(x, y_a) - s_\theta(x, y_b)

где $r \in \{0, 1\}$ указује на то да ли је $y_a$ пожељнији. Да би се елиминисала позициона пристрасност, сваки пар за обуку је аугментован са оба поретка и оптимизован симетрично,

\mathcal{L}_{\text{sym}} = \tfrac{1}{2}\,\ell_{\text{BT}}(x, y_a, y_b, r) + \tfrac{1}{2}\,\ell_{\text{BT}}(x, y_b, y_a, 1-r).

У тренутку инференције, добијамо скор преференције независан од позиције усеређивањем обе пермутације:

\bar{\Delta}_\theta(x, y_a, y_b) = \tfrac{1}{2}\Big[\Delta_\theta(x, y_a, y_b) - \Delta_\theta(x, y_b, y_a)\Big], \\ \bar{P}_\theta(x, y_a, y_b) = \sigma\bigl(\bar{\Delta}_\theta(x, y_a, y_b)\bigr).

Скор преференције испоруке се затим дефинише као $s(\tau_i) \triangleq \bar{P}_{\theta}(x, y_a, y_b) \in [0,1]$ , тј. вероватноћа да је испорука политике $y_i$ пожељнија од испоруке референтног модела за исти упит.

Тренажни подаци за моделирање преференција добијају се из курираних open-source скупова података, повратних информација корисника упоређивањем ставке по ставке и интерних напомена. Да бисмо се изборили са шумом у ознакама, примењујемо лаган цевовод за филтрирање и калибрацију, инспирисан Datbench-ом (DatologyAI, 2026), при чему задржавамо само примере са доследним међумоделским сагласјем. Модел награде дели исту основу као и политика модел, с тим што је глава за језичко моделовање замењена вредносном главом. Иако мањи модели награде постижу упоредиву тачност на издвојеном скупу, емпиријски налазимо да не успевају да ухвате преференције фине грануларности и могу да појачају непожељна понашања политике.

У одсуству експлицитног обликовања ефикажности, политика има тенденцију да претерано користи алате чак и на једноставним упитима. Безусловне казне (нпр. оне које се скалирају линеарно са бројем позива алата или дужином излаза) су природна основа, али откривамо да оне потискују неопходно истраживање и деградирају учење. Стога усвајамо групно-релативне, сидрене казне које регуларизују употребу алата и дужину одговора у односу на ефикасна решења унутар сваке GRPO групе. За групу 𝑔, дефинишемо победнички скуп као:

W_g = \{\, i : r_{\text{base}}(\tau_i) = 1 \,\}.

Сидрена казна за позиве алата. За сваку испоруку $\tau_i$ , нека $c_i$ означава број позива алата, а $e_i$ број неуспеха извршавања алата. Дефинишемо ефикасни број позива алата $\tilde{c}_i = c_i - e_i$ и униформно узоркујемо основу групе:

b_g \sim \operatorname{Unif}\!\left(\min_{j \in W_g} \tilde{c}_j,\ \left\lceil \operatorname{mean}_{j \in W_g} \tilde{c}_j \right\rceil\right).

Израчунавамо вишак $\Delta_i = \max\!\left(0,\; \tilde{c}_i - b_g\right)$ и дефинишемо глатки скалар казне $p_i = 1 - \exp\!\left(-\Delta_i\right)$ . Казна за алат је затим:

\operatorname{pen}_{\text{tool}}(\tau_i) = \begin{cases} \alpha_{\text{win}}\, p_i, & i \in W_g, \\ \alpha_{\text{lose}}\, p_i + \beta_{\text{lose}}, & i \notin W_g, \end{cases}

Сидрена казна за дужину. Нека $L_i$ и $L_i^{\mathrm{ref}}$ означе дужине токена генерисања кандидата и референтног модела, редом. Дефинишемо скуп обликовања $\widehat{W}_g$ као испоруке које су и тачне и пожељне:

\widehat{W}_g = \{\, \underbrace{i \in W_g}_{\text{correct}} \;:\; \underbrace{s(\tau_i) \geq 0.5}_{\text{preferred}} \,\}.

Затим израчунавамо основе дужине специфичне за групу:

\underbrace{b_{g,\text{win}}}_{\substack{\text{avg. ref. length} \\ \text{of winners}}} = \operatorname{mean}_{j \in \widehat{W}_g} L_j^{\text{ref}}, \qquad \underbrace{b_{g,\text{lose}}}_{\substack{\text{avg. ref. length} \\ \text{of losers}}} = \operatorname{mean}_{j \notin \widehat{W}_g} L_j^{\text{ref}}.

Казна за дужину се дефинише као:

\operatorname{pen}_{\text{len}}(\tau_i) = \begin{cases} 1, & L_i > \max_j L_j^{\text{cmp}} \\ 1 - \exp\!\left(-\max\!\left(0,\ \dfrac{L_i}{b_{g,\text{win}}} - 1\right)\right), & i \in \widehat{W}_g \\ 1 - \exp\!\left(-\max\!\left(0,\ \dfrac{b_{g,\text{lose}}}{L_i} - 1\right)\right), & i \notin \widehat{W}_g \end{cases}

где је прва линија чврста горња граница; друга кажњава опширне победнике; а трећа кажњава шкрте губитнике.

Комбинована казна за ефикасност. Комбинована казна за ефикасност је пондеративна сума обе компоненте:

\operatorname{pen}_{\text{eff}}(\tau_i) = \lambda_{\text{tool}}\, \operatorname{pen}_{\text{tool}}(\tau_i) + \lambda_{\text{len}}\, \operatorname{pen}_{\text{len}}(\tau_i).

Процењујемо наш пайплин накнадне обуке дуж две осе: (i) динамика обуке, да се процени стабилност оптимизације и да ли се сигнали награде понашају као што се очекује, и (ii) офлајн бенчмарци, да се измери низводни квалитет, безбедност и ефикасност под контролним поставкама евалуације.

Подразумеване поставке обуке. Модел политике ступа у интеракцију са алатом за веб претрагу (search_web); сваки позив алата преузима до 10 резултата, са упитима ограниченим на 250 карактера и до 5 упита по испоруци.

Испитујемо динамику оптимизације, фокусирајући се на напредовање награда и понашање ефикасности. Користимо Qwen3.5-397B-A11B ради једноставности илустрације.

Еволуција сигнала основе и преференција током обуке.

Слика 2 приказује стабилно побољшање награде основе (верификовани QA и задовољење рубрике) заједно са повећањем скоре преференција, што указује на конзистентне добитке у тачности, усклађености и квалитету одговора.

Понашање ефикасности и сидрене казне обликовања током обуке.

Слика 3 показује да и фреквенција позива алата и дужина генерисања остају добро контролисане током обуке. Значајно је да се казне за позив алата и дужину смањују монотоно током тока обуке, што одражава прогресивну адаптацију модела ка концизнијем генерисању и селективнијем позивању алата.

Слика 4 показује да норме градијента остају стабилне осим пролазних врхова, док KL дивергенција између обуке и инференције показује благи узлазни тренд, остајући у оквиру скале 1e-3. Овај образац одступања је у складу са запажањима у другим оквирима RL обуке; пошто обука остаје стабилна све време, задржавамо једноставну IS регуларизацију у Екв. 1 без додатне интервенције.

Извештавамо о резултатима на скупу бенчмаркова који обухватају тачност претраге, чињеничну поузданост, праћење упутстава и безбедност, који садрже и јавне бенчмарке и интерне Perplexity (PPLX) метрике. Јавни бенчмарци укључују SimpleQA, FRAMES и Facts Open.

pplx-sbs-search: Евалуација преференција један на један користећи интерни модел награда. Кандидати се упоређују са јаком основом.
pplx-abstention: Способност одговарајућег одбијања када није доступан поуздан доказ.
pplx-language-mismatch: Језичка конзистентност у дуготрајним и вишесмерним подешавањима.
pplx-broken-tool-calls (↓): Усклађеност са шемом позива алата и праћење ограничења, на пример, tool_choice=none.

Подразумеване поставке евалуације. За јавне бенчмарке, дозвољавамо само алат за веб претрагу, са буџетом до 5 позива алата по примеру и до 10 резултата по позиву, генеришући до 8192 излазна токена на температури 0.6.

Резултати офлајн евалуације. Бројеви у заградама означавају просечну употребу алата. Напомињемо Qwen3.5-397B-A17B као Qwen3.5-Large, и Qwen3.5-122B-A10B као Qwen3.5-Medium.

Табела 2 показује да Qwen3.5-Large-SFT-RL постиже високу тачност претраге широм јавних бенчмаркова, подударајући се или премашујући gpt-5.4 на FRAMES и Facts Open уз коришћење упоредивих буџета алата. У односу на базни модел, наш приступ даје значајне добитке на интерним метрикама, посебно на преференцији (pplx-sbs-search: 0.602 → 0.742), језичкој конзистентности и уздржавању, показујући да двостепени пайплин ефикасно побољшава понашања критична за примену без угрожавања способности претраге.

Да бисмо ово измерили, осмишљавамо протокол евалуације са присилно ограниченим буџетом. Сваком моделу се даје приступ алатки за веб претрагу (search_web) и системски упит који одређује чврсту горњу границу на број дозвољених позива алатки („буџет“). Овај буџет прелазимо од 0 (без коришћења алатки, чисто параметарско знање) до 10 (обилно вишекорачко претраживање), бележећи тачност на сваком нивоу. Ово даје криву ефикасности алатки: резултат модела као функцију буџета за претраживање који му је дозвољен. Евалуирамо на два бенчмарка за чињенична QA питања, FRAMES и Facts Open.

Тачност бенчмарка у односу на Max број позива алата.

Неколико образаца се истиче из ових бенчмаркова:

Наш накнадно обучени Qwen3.5-397B-SFT-RL постиже најбољу тачност претраге на оба бенчмарка. Чак и са једним позивом алата, постиже 57,3% на FRAMES-у, 5,7 поена изнад GPT-5.4 и 4,7 поена изнад Sonnet 4.6.
- Предност је најизраженија при умереним буџетима (b=2-7), што је практични оперативни опсег за производне примене.
Наш рецепт накнадне обуке (SFT + RL) значајно побољшава ефикасност коришћења алата у односу на базну контролну тачку; погледајте пуне линије (накнадно обучене) у односу на испрекидане линије (почетна контролна тачка) на слици 5.
За све моделе, примећујемо опадајуће приносе око budget=7, конзистентно на два бенчмарка и свим моделима, што сугерише да је то својство задатака који траже чињенице, а не самих модела.

Резултати изнад показују да Qwen3.5-397B-SFT-RL постиже већу тачност са мање позива алата. Али како се ово преводи у стварни трошак? Претварамо мерења на нивоу токена у трошкове у доларима користећи објављене цене API-ја (Alibaba DashScope, OpenAI, Anthropic) да бисмо поређење учинили конкретним.

Са средњим профилом (b=4), Qwen3.5-397B-SFT-RL постиже 73,9% на FRAMES-у по 2,0 цента по упиту, док GPT-5.4 постиже 67,8% по 8,5 центи, а Sonnet 4.6 постиже 62,4% по 15,3 цента. То је +6 поена тачности уз 4 пута нижу цену у поређењу са GPT-5.4, и +11,5 поена уз 7,5 пута нижу цену у поређењу са Sonnet 4.6.

Ове процене користе листе цена API-ја без кеширања. Са интерним оптимизацијама инференције као што су поновна употреба KV кеша, кеширање префикса и квантизовано MoE опслуживање (397B користи само 17B активних параметара), ефикасни трошак се може значајно смањити испод листа цена API-ја.

Раздвајање усклађености примене од оптимизације претраге путем двостепеног SFT и RL пайплина даје модел који је и способан и поуздан под производним ограничењима. Комбинација верификованог QA и података за обуку заснованих на рубрикама, заједно са гатованом агрегацијом награда и сидреним обликовањем ефикажности, омогућава стабилну вишециљну оптимизацију без жртвовања тачности претраге или усклађености са заштитним мерама.

Неколико праваца заслужује даље истраживање. Као што је приказано на Слици 4, KL дивергенција између тренинга и инференције показује трајан узлазни отклон при продуженим корацима тренинга. Иако се корекција IS на нивоу токена показује довољном у нашем тренутном подешавању, остаје нејасно да ли ће то важити и у већем обиму; принципијелније теоријско разматрање овог неслагања — које обухвата разлике на нивоу инфраструктуре и факторе специфичне за архитектуру, као што је MoE рутирање — уз квантитативна емпиријска поређења стратегија ублажавања, остаје важно отворено питање. За RL са више циљева посебно, обећавајући правци укључују секвенцијалну обуку (Zeng et al., 2026) са on-policy дистилацијом ради оптимизације циљева у фазама уз ублажавање катастрофалног заборављања; и спајање модела (Fu et al., 2025; Yang et al., 2026) како би се раздвојила оптимизација специфична за задатак од агрегирања способности. Коначно, скалирање на реалистичне вишеалатне токове рада са дугорочним путањама остаје важно отворено изазовно питање, које ће вероватно захтевати боље додељивање заслуга, подршку за делимичне rollout-ове и евалуације.

DatologyAI. Datbench: Дискриминативне, верне и ефикасне евалуације визуелно-језичких модела. https://www.datologyai.com/blog/datbench-discriminative-faithful-and-efficient-vision-language-model-evaluations, јануар 2026. Објављено 6. јануара 2026. Приступљено: 2026-03-04.

J. Duchi и H. Namkoong. Регуларизација заснована на варијанси са конвексним циљевима. arXiv preprint arXiv:1610.02581, 2016.

Z. Fu, X. Wu, Y. Wang, W. Wang, S. Ye, H. Yin, Y. Chang, Y. Zheng, и X. Zhao. Спајање LLM-а без обуке за учење са више задатака. У Proceedings of the 63rd Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), стране 33111–33124, 2025.

A. Gunjal, A. Wang, E. Lau, V. Nath, Y. He, B. Liu, и S. Hendryx. Рубрике као награде: Реинфорсмент учење изван верификованих домена. arXiv preprint arXiv:2507.17746, 2025.

J. Liu, Y. Li, Y. Fu, J. Wang, Q. Liu, и Y. Shen. Када брзина убија стабилност: Демстификација RL колапса из неусклађености обуке и инференције. Notion Blog, 2025a.

S.-Y. Liu, X. Dong, X. Lu, S. Diao, P. Belcak, M. Liu, M.-H. Chen, H. Yin, Y.-C. F. Wang, K.-T. Cheng, et al. Gdpo: Оптимизација политике нормализације са декуплираном наградом групе за вишенаградну RL оптимизацију. arXiv preprint arXiv:2601.05242, 2026.

T. Liu, R. Xu, T. Yu, I. Hong, C. Yang, T. Zhao, и H. Wang. Openrubrics: Ка скалабилном генерисању синтхетичких рубрика за моделовање награда и LLM усклађивање. arXiv preprint arXiv:2510.07743, 2025b.

R. Lu, Z. Hou, Z. Wang, H. Zhang, X. Liu, Y. Li, S. Feng, J. Tang, и Y. Dong. Deepdive: Унапређење дубоких претраживач агената са графовима знања и вишесмерним RL-ом. arXiv preprint arXiv:2509.10446, 2025.

W. Ma, H. Zhang, L. Zhao, Y. Song, Y. Wang, Z. Sui, и F. Luo. Стабилизација MoE реинфорсмент учења усклађивањем рутера за обуку и инференцију. arXiv preprint arXiv:2510.11370, 2025.

T. Pham, N. Nguyen, P. Zunjare, W. Chen, Y.-M. Tseng, и T. Vu. Sealqa: Подизање лествице за резоновање у језичким моделима проширеним претрагом. arXiv preprint arXiv:2506.01062, 2025.

O. Press, M. Zhang, S. Min, L. Schmidt, N. A. Smith, и M. Lewis. Мерење и сужавање јаза композиционалности у језичким моделима. У Findings of the Association for Computational Linguistics: EMNLP 2023, стране 5687–5711, 2023.

P. Qi, X. Zhou, Z. Liu, T. Pang, C. Du, M. Lin, и W. S. Lee. Преиспитивање регије поверења у LLM реинфорсмент учењу. arXiv preprint arXiv:2602.04879, 2026.

Z. Shao, P. Wang, Q. Zhu, R. Xu, J. Song, X. Bi, H. Zhang, M. Zhang, Y. Li, Y. Wu, et al. Deepseekmath: Померање граница математичког резоновања у језичким моделима отвореног кода. arXiv preprint arXiv:2402.03300, 2024.

Z. Tao, J. Wu, W. Yin, J. Zhang, B. Li, H. Shen, K. Li, L. Zhang, X. Wang, Y. Jiang, et al. Webshaper: Агенцијско синтетисање података путем формализације тражења информација. arXiv preprint arXiv:2507.15061, 2025.

vLLM и TorchTitan тимови. Нема више неусклађености обуке и инференције: Битски конзистентно реинфорсмент учење на политици са vLLM и TorchTitan. https://blog.vllm.ai /2025/11/10/bitwise-consistent-train-inference.html, нов 2025. vLLM Blog.

J. Wu, W. Yin, Y. Jiang, Z. Wang, Z. Xi, R. Fang, D. Zhou, P. Xie, и F. Huang. Webwalker: Бенчмарковање LLM-а у веб траверзалу, 2025. URL https://arxiv.org/abs/ 2501.07572.

A. Yang, A. Li, B. Yang, B. Zhang, B. Hui, B. Zheng, B. Yu, C. Gao, C. Huang, C. Lv, et al. Технички извештај о Qwen3. arXiv preprint arXiv:2505.09388, 2025.

E. Yang, L. Shen, G. Guo, X. Wang, X. Cao, J. Zhang, и D. Tao. Спајање модела у LLM-овима, MLLM-овима и шире: Методе, теорије, примене и могућности. ACM Computing Surveys, 58(8):1–41, 2026.

F. Yao, L. Liu, D. Zhang, C. Dong, J. Shang, и J. Gao. Ваш ефикасни RL оквир вам тајно доноси RL обуку ван политике, авг. 2025. URL https://fengyao.notion.s ite/off-policy-rl.

A. Zeng, X. Lv, Z. Hou, Z. Du, Q. Zheng, B. Chen, D. Yin, C. Ge, C. Xie, C. Wang, et al. Glm-5: од vibe кодирања до агенцијског инжењерства. arXiv preprint arXiv:2602.15763, 2026.

C. Zheng, K. Dang, B. Yu, M. Li, H. Jiang, J. Lin, Y. Liu, H. Lin, C. Wu, F. Hu, et al. Стабилизација реинфорсмент учења са LLM-овима: Формулација и праксе. arXiv preprint arXiv:2512.01374, 2025a.

C. Zheng, S. Liu, M. Li, X.-H. Chen, B. Yu, C. Gao, K. Dang, Y. Liu, R. Men, A. Yang, et al. Оптимизација политике групне секвенце. arXiv preprint arXiv:2507.18071, 2025b.

BibTeX

@online{perplexity2026AdvancingSearchAugmentedLanguageModels,
  author = {{Perplexity} and Denis Yarats and Dongqi Wu and Hang Wu and Randy Ardywibowo and Senzeyu Zhang and Yunfan Zhong and Ziqing Hu and Clare Southern and Riley Carlson and Yi He and Erin McKnight and Mara Sohn and Phi Hoang},
  title = {{Advancing search-augmented language models}},
  date = {2026-04-22},
  url = {https://perplexity.coolkeypoint.com/hub/blog/advancing-search-augmented-language-models}
}

Увод

Двостепени пайплин обуке

SFT фаза

RL фаза

RL подаци за обуку

Верификовани подаци претраживач агената

Пример (3-хоп)

Подаци општег ћаскања засновани на рубрикама

Пример

Мешавина промптова и балансирање варијансе

Дизајн награда

Основна награда

Моделирање преференција

Казна за ефикасност

Главни резултати

Динамика обуке

Офлајн евалуације

Евалуације ефикасности коришћења алата

Закључак

Референце

Цитирање