Unapređenje jezičkih modela proširenih pretragom

Obuka vrhunskih agenata za veb pretragu zahteva zajedničku optimizaciju više ciljeva: činjenične tačnosti, efikasnosti putanje i usklađenosti sa željama korisnika. Ipak, poboljšanje bilo koje pojedinačne dimenzije izolovano često narušava druge: modeli obučeni isključivo za tačnost imaju tendenciju prekomerne upotrebe alata, dok modeli optimizovani za sažetost mogu žrtvovati pouzdanost ili potpunost. U kompaniji Perplexity ni jedan ishod nije prihvatljiv.

Ovaj članak opisuje Perplexity-jev post-trening pipeline za razvoj najsavremenijih agenata za veb pretragu zasnovanih na modelima otvorenog koda. Ključna ideja je da se u obuci agenata za pretragu kuriranje podataka i dizajn nagrada moraju ko-dizajnirati: podaci određuju koja ponašanja su uočljiva i proverljiva, a nagrada određuje kako se ti signali prevode u signal optimizacije. Ovaj princip motiviše naš dvo-etapni pipeline: prvo sprovodimo zagrevanje kroz supervizirano fino podešavanje (SFT) da bismo inicijalizovali model politike, a zatim ga pročišćavamo koristeći učenje uz potkrepljenje (RL) nad kuriranim skupom podataka i pažljivo dizajniranim nagradama. Ovaj pristupa u dve etape omogućava pouzdane dobitke u tačnosti, efikasnosti i kvalitetu odgovora pod proizvodnim ograničenjima.

Prvo opisujemo naš dvo-etapni pipeline obuke (SFT → RL na politici), nakon čega sledi konstrukcija naših RL podataka za obuku, koja pokriva i proverljiva QA za agente pretrage i opšti chat zasnovan na rubrikama. Zatim predstavljamo kompozitni dizajn nagrada izveden iz ovog heterogenog skupa podataka, koji balansira kvalitet i efikasnost uz ublažavanje hakovanja nagrada. Na kraju, analiziramo dinamiku obuke i rezultate benčmarka.

Usvajamo recept za post-trening u dve etape: (i) SFT za uspostavljanje ponašanja kritičnih za primenu, kao što su zaštitne ograde (npr. uzdržavanje), praćenje instrukcija i jezička konzistentnost, i (ii) RL na politici radi poboljšanja sposobnosti pretrage, uključujući tačnost odgovora i efikasnost upotrebe alata, uz očuvanje ponašanja iz prve etape.

Zašto dve etape? Zajednička optimizacija kvaliteta pretrage i ograničenja primene unutar jedne RL etape je teška bez ugrožavanja bar jednog cilja. Empirijski gledano, obuka zasnovana samo na RL poboljšava performanse pretrage, ali ima tendenciju lošijih performansi u pogledu zaštitnih ograda za primenu, dok SFT poboljšava usklađenost po cenu performansi pretrage. Razdvajanje ciljeva omogućava SFT etapi da prvo reši zahteve o kojima se ne može pregovarati, nakon čega se RL može fokusirati uglavnom na poboljšanje sposobnosti pretrage.

Inicijalizujemo od porodice modela Qwen3 (Qwen3.5-122B-A10B i Qwen3.5-397B-A17B) (Yang i sar., 2025, Qwen3.5 blogpost) i konstruišemo dvokomponentni SFT skup podataka mešavine koji cilja ponašanja kritična za primenu opisana iznad, uz očuvanje opšte sposobnosti pretrage osnovnog modela.

Primeri orijentisani na preferencije. Kuriramo primere koji prate instrukcije i fokusirani su na stil, ciljajući ton, jezičku konzistentnost, jasnoću i formatiranje. Ovi primeri ne moraju da priznaju jedinstvenu osnovnu istinu; umesto toga, izabrani su tako da odražavaju zahteve pisanja proizvoda i obezbede stilsku konzistentnost u različitim tipovima upita.

Putanja korišćenja alata u formatu za proizvodnju. Empirijski otkrivamo da SFT bez pažljivog kuriranja skupa podataka može značajno narušiti sposobnost pretrage osnovnog modela. Da bismo ovo ublažili, uzorkujemo upite i interne zadatke kroz različite obrasce interakcije (jednosmerne, dvosmerne i višesmerne) i beležimo ih pomoću našeg sistema za pozivanje alata.

Počevši od SFT kontrolne tačke, primenjujemo RL na politici da bismo poboljšali tačnost i efikasnost pretrage. Optimizujemo model politike koristeći grupnu optimizaciju relativne politike (GRPO) (Shao i sar., 2024).

\mathcal{J}_{\text{GRPO}}(\theta) = \frac{1}{G}\sum_{i=1}^{G} \frac{1}{|o_i|}\sum_{t=1}^{|o_i|} r_{i,t}(\theta)\hat{A}_{i,t},

gde je $G$ veličina grupe, $o_{i}$ označava $i$ -to uzorkovani izlaz, a $\hat{A}_{i, t} = \hat{A}_{i}$ je prednost. Dizajn nagrada je detaljno opisan u odeljku o dizajnu nagrada; ukratko, kombinujemo ispravnost osnovne linije sa oblikovanjem efikasnosti zasnovanim na preferencijama i usidrenim oblikovanjem. Prateći prethodni rad (Liu i sar., 2025a; Yao i sar., 2025; Zheng i sar., 2025a), primenjujemo važnost uzorkovanja (IS) na nivou tokena da bismo korigovali neusklađenost između obuke i inferencije:

r_{i,t}(\theta) = \frac{\pi_{\text{train}}(\theta)}{\mu_{\text{infer}}(\theta)}.

Procenjujemo nekoliko pristupa za ublažavanje neusklađenosti između obuke i inferencije, uključujući IS na nivou sekvence (Zheng i sar., 2025b), rute ponavljanja (Ma i sar., 2025; Zheng i sar., 2025b) i bitno doslednu obuku koja integriše jezgro mašine za inferenciju tokom obuke (vLLM i TorchTitan Teams, 2025). Empirijski, u našem okruženju na politici, nalazimo da je IS na nivou tokena dovoljan da spreči kolaps obuke, a istovremeno ostaje jednostavan za primenu; ovo je u skladu sa nalazima iz Zheng i sar (2025a).

Naši RL podaci za obuku sastoje se od dve komplementarne komponente: proverljivog QA agenta pretrage koji cilja opštu sposobnost pretrage, i opšteg chata zasnovanog na rubrikama koji eksplicitno pojačava zaštitne ograde za primenu kako bi se sprečila regresija tokom faze RL obuke.

Konstrukcija skupa podataka. Prateći metod sekvencijalnog širenja (Tao i sar., 2025), konstruišemo interni sintetički QA skup podataka od internih početnih upita bez oslanjanja na kurirani graf znanja, čime pipeline održavamo laganim i lakim za osvežavanje. Svaki sintetički primer se generiše kroz sledeće korake:

Izbor početnih unosa. Preuzimamo dokumente za početne upite i biramo entitete sa potvrdom činjenica iz više izvora kao polazne tačke, ekstrahujući atomske izjave o njima.
Konstrukcija višestepenog lanca. Iz izjava početnog entiteta biramo onu koja uvodi drugi entitet (npr. za početni unos „The Mom Test”, izjava „napisao Rob Fitzpatrick” uvodi autora kao sledeći entitet). Ponavljamo ovaj proces povezivanja 2–4 puta, osiguravajući da je svaki entitet jasan i da nijedna pojedinačna izjava trivijalno ne otkriva konačni odgovor
Sinteza pitanja bez imena. Pretvaramo lanac entiteta u pitanje rekurzivnom zamenom imena entiteta njihovim povezujućim izjavama, proizvodeći ugnježđeno pitanje koje zahteva višestepeno zaključivanje
Provera. Zadržavamo samo pitanja sa jedinstvenim odgovorima proverenim od strane više nezavisnih rešavača sa omogućenim vebom.

Razmotrimo početni upit „The Mom Test”. Preuzimamo dokumente i identifikujemo ovu knjigu kao početni entitet, zatim ekstrahujemo atomske činjenične izjave i iterativno gradimo lanac entiteta: (i) The Mom Test je napisao Rob Fitzpatrick, uvodeći Roba Fitzpatricka; (ii) Prvi startap Roba Fitzpatricka prošao je kroz Y Combinator (leto 2007), uvodeći Y Combinator; (iii) Y Combinator je pokrenut u martu 2005. Rekurzivna zamena imena svakog entiteta njegovim opisnikom daje pitanje bez imena: „Koju knjigu je napisao čiji je prvi startap prošao kroz akcelerator pokrenut u martu 2005, u svojoj kohorti za leto 2007?” sa odgovorom „The Mom Test”.

Augmentacija raznolikosti formata. Modeli obučeni isključivo na sirovom sintetičkom QA imaju tendenciju da ignorišu preference u formatiranju i podrazumevano koriste fiksnu strukturu odgovora, bez obzira na to kako je upit formulisan. Da bismo poboljšali raznolikost formata, augmentiramo skup podataka upitima koji uključuju eksplicitne instrukcije za formatiranje (npr. „Prikaži listu . . . ” ili „Rezimiraj . . . u tabeli”), držeći osnovni odgovor nepromenjenim.

Javni proverljivi QA (osnovna linija). Konstruišemo osnovni proverljivi QA skup podataka iz pet skupova podataka otvorenog koda (Lu i sar., 2025; Pham i sar., 2025; Press i sar., 2023; Tao i sar., 2025; Wu i sar., 2025), ujedinjenih pod našim augmentiranim formatom upita uz filtriranje kvaliteta. Ova mešavina služi kao primarna osnovna linija u našim eksperimentima validacije. Za kontrolisana poređenja, usklađujemo obim našeg internog sintetičkog QA skupa podataka sa ovom mešavinom otvorenog koda.

Brza validacija. Validiramo efikasnost ovog pipeline-a koristeći Qwen3-30B-A3B-Instruct-2507 kako bismo omogućili brzu iteraciju; rezultati su sumirani u Tabeli 1.

Validacija sintetičkog proverljivog QA skupa podataka

Iako proverljivi QA pruža jasan signal obuke za upite usmerene na pretragu, značajan deo proizvodnog saobraćaja nije jedinstveno proverljiv (npr. prepisivanje, planiranje i otvorena pomoć). Isključivanje takvih upita iz RL ostavilo bi politiku nedovoljno optimizovanom za interakcije sa stvarnim korisnicima. Štaviše, iako SFT etapa uspostavlja zaštitne ograde kritične za primenu, RL može nazadovati na njima osim ako ih podaci eksplicitno ne pojačaju.

Uključujemo neproverljive upite u RL obuku pretvarajući zahteve kritične za primenu — praćenje instrukcija, ograničenja formatiranja i bezbednosne konvencije — u rubrike: atomske, objektivno proverljive kriterijume koje odgovor mora da zadovolji. Usvajamo konstrukciju podataka zasnovanu na rubrikama (Gunjal i sar., 2025; Liu i sar., 2025b), generišući skupove rubrika po upitu.

Generisanje rubrike. S obzirom na kompletnu istoriju razgovora, tražimo od LLM-a da proizvede referentni odgovor i odgovarajući skup rubrika. Rubrike se izvode prema fiksnom redosledu prioriteta: zahtevi koje je korisnik izričito naveo imaju prvenstvo, zatim slede interna ograničenja, a na kraju neophodni sadržajni zahtevi izvedeni iz referentnog odgovora. Svaka rubrika mora biti:

Atomska: pojedinačna, dobro definisana provera;
Objektivna: proverljiva bez subjektivnog prosuđivanja;
Neophodna: potrebna za odgovor na upit, a ne samo stilska preferenca.

Upit.

She will share u man power planning. We have to arrange lodging & boarding. Plz correct swntence.

Rubrike.

Odgovor je napisan na engleskom jeziku.
Korigovana formulacija sadrži reči „lodging” i „boarding”.
Korigovana formulacija koristi „manpower” kao jednu reč (na primer, „manpower plan” ili „manpower planning”) umesto „man power”.
Korigovana formulacija ne sadrži neformalne skraćenice „u” ili „Plz”, niti sadrži znak ampersend „&”.
Odgovor ne sadrži oznake citiranja u obliku \\[type:idx\\], gde type označava izvor podataka (na primer, web, chart, memory, attached_file).

Kalibracija rubrike. Da bismo izbegli suviše stroge ili suviše popustljive skupove rubrika, primenjujemo pass@4 filter. Za svaki upit, uzorkujemo četiri nezavisna odgovora i procenjujemo ih u odnosu na kompletan skup rubrika pomoću sudije za praćenje instrukcija. Odbacujemo upite za koje nijedan odgovor ne zadovoljava skup rubrika ili ih svi zadovoljavaju, zadržavajući samo one koji daju informativan signal obuke.

Praktičan izazov u multi-ciljnom RL-u je neravnoteža varijanse među komponentama podataka (Duchi i Namkoong, 2016; Liu i sar., 2026; Qi i sar., 2026). Iako i proverljivi QA i podaci zasnovani na rubrikama daju binarne nagrade, oni se značajno razlikuju u težini zadatka: zadovoljstvo rubrikom je uglavnom lakše postići na početku obuke, proizvodeći veća i češća ažuriranja gradijenta koja mogu nesrazmerno dominirati optimizacijom politike u odnosu na teži proverljivi QA signal. Da bismo ovo rešili, ponovo ponderišemo mešavinu upita na nivou skupa podataka, uzorkujući 90% iz proverljivog QA i 10% iz podataka zasnovanih na rubrikama kako bismo uravnotežili signal optimizacije između komponenti.

Naš dizajn nagrada direktno sledi iz konstrukcije podataka opisane iznad. Uprkos tome što obuhvata i proverljive QA i zadatke sa rubrikama, svi podaci za obuku dele zajedničku strukturu osnovne nagrade: generisanje dobija poene ako da tačan odgovor za QA zadatke, ili zadovoljava sve navedene rubrike za opšti chat. Nadovezujući se na ovu zajedničku osnovu, konstruišemo kompozitnu nagradu koja uključuje bodovanje zasnovano na preferencijama i oblikovanje efikasnosti.

Ključni izazov uočen u ranim eksperimentima bilo je hakovanje nagrada: jednostavna linearna kombinacija nagrada omogućila je jakim signalima preferencija da nadoknade činjenične ili instrukcione propuste. Stoga usvajamo kapiranu agregaciju kao osnovni princip dizajna, formalno definisanu kao:

R(\tau_i) = r_{\text{base}}(\tau_i) \cdot s(\tau_i) \;-\; \operatorname{pen}_{\text{eff}}(\tau_i),

gde $r_{\mathrm{base}}(\tau_i) \in \{0, 1\}$ označava tačnost QA ili ispunjenost rubrike, $s(\tau_i)\in[0,1]$ je rezultat preferencije, a $\operatorname{pen}_{\mathrm{eff}}(\tau_i)$ je usidrena kazna za efikasnost. Ovo čini tačnost neophodnim uslovom za dobijanje poena preferencije, a istovremeno odvraća od nepotrebne upotrebe alata i opširnosti. Slika 1 ilustruje kompletan pipeline nagrada, čije komponente opisujemo u nastavku:

Pregled dizajna nagrada. Kombinujemo osnovni signal tačnosti (proverljiv/rubrika), Bradley-Terry rezultat preferencije i usidrene kazne za efikasnost. Preferencija je kapirana osnovnom tačnošću radi sprečavanja hakovanja nagrada.

Definišemo binarni osnovni signal $r_{\mathrm{base}}(\tau_i) \in \{0,1\}$ koji beleži tačnost zadatka ili usklađenost sa instrukcijama. Za proverljive podatke agenta pretrage, $r_{\mathrm{base}}(\tau_i)=1$ ako konačni odgovor odgovara osnovnoj istini, a $0$ u suprotnom. Za podatke opšteg chata zasnovane na rubrikama, $r_{\mathrm{base}}(\tau_i)=1$ ako su sve rubrike zadovoljene, i $0$ u suprotnom. Ova osnovna linija služi kao čvrsta kapija u pravilu uslovne agregacije, Jedn. 2.

Težimo da uskladimo policy model sa latentnim preferencijama korisnika u pogledu kvaliteta odgovora — informativnosti, jasnoće i profesionalnog tona — koje je teško uhvatiti pomoću LLM-judge promptova. Zato obučavamo model nagrade za naučene preferencije da direktno ocenjuje ove atribute.

Formulišemo učenje preferencija u okviru Bradley-Terry okvira. S obzirom na kontekst $x$ i dva kandidatska odgovora $y_a, y_b$ , model proizvodi skalarne skorove $s_{\theta}(x, y) \in \mathbb{R}$ i minimizuje,

\ell_{\text{BT}}(\theta; x, y_a, y_b, r) = -\Big[r \log \sigma(\Delta_\theta) + (1-r) \log\bigl(1 - \sigma(\Delta_\theta)\bigr)\Big], \\ \Delta_\theta = s_\theta(x, y_a) - s_\theta(x, y_b)

gde $r \in \{0, 1\}$ ukazuje na to da li je $y_a$ preferirano. Da bi se eliminisala poziciona pristrasnost, svaki par za obuku je augmentiran sa oba redosleda i simetrično optimizovan,

\mathcal{L}_{\text{sym}} = \tfrac{1}{2}\,\ell_{\text{BT}}(x, y_a, y_b, r) + \tfrac{1}{2}\,\ell_{\text{BT}}(x, y_b, y_a, 1-r).

U vreme inferencije, dobijamo rezultat preferencije neuslovan na poziciju utvrđivanjem proseka obe permutacije:

\bar{\Delta}_\theta(x, y_a, y_b) = \tfrac{1}{2}\Big[\Delta_\theta(x, y_a, y_b) - \Delta_\theta(x, y_b, y_a)\Big], \\ \bar{P}_\theta(x, y_a, y_b) = \sigma\bigl(\bar{\Delta}_\theta(x, y_a, y_b)\bigr).

Rezultat preferencije generisanja se zatim definiše kao $s(\tau_i) \triangleq \bar{P}_{\theta}(x, y_a, y_b) \in [0,1]$ , tj. verovatnoća da je generisanje politike $y_i$ preferirano u odnosu na generisanje referentnog modela za isti upit.

Podaci za obuku za modeliranje preferencija potiču iz kuriranih skupova podataka otvorenog koda, povratnih informacija korisnika „jedan na jedan” i internih anotacija. Da bismo rešili šum u oznakama, primenjujemo lagani pipeline filtriranja i kalibracije inspirisan sa Datbench (DatologyAI, 2026), zadržavajući samo primere sa doslednim slaganjem između modela. Model nagrađivanja deli istu osnovu kao model politike, s tim što je glava za modeliranje jezika zamenjena glavi vrednosti. Iako manji modeli nagrađivanja postižu uporedivu tačnost na izdvojenim podacima, empirijski otkrivamo da oni ne uspevaju da uhvate preferencije nivoa detalja i mogu pojačati neželjena ponašanja politike.

U odsustvu eksplicitnog oblikovanja efikasnosti, politika ima tendenciju da prekomerno koristi alate čak i na jednostavnim upitima. Bezuslovne kazne (npr. One koje se skaliraju linearno sa brojem poziva alata ili dužinom izlaza) su prirodna osnovna linija, ali utvrđujemo da one potiskuju neophodno istraživanje i narušavaju učenje. Stoga usvajamo grupno-relativne, usidrene kazne koje regularizuju upotrebu alata i dužinu odgovora u odnosu na efikasna rešenja unutar svake GRPO grupe. Za grupu 𝑔, definišemo skup pobednika kao:

W_g = \{\, i : r_{\text{base}}(\tau_i) = 1 \,\}.

Usidrena kazna za pozivanje alata. Za svako generisanje $\tau_i$ , neka $c_i$ označava broj poziva alata, a $e_i$ broj neuspešnih izvršavanja alata. Definišemo efektivan broj poziva alata $\tilde{c}_i = c_i - e_i$ i uniformno uzorkujemo osnovnu liniju grupe:

b_g \sim \operatorname{Unif}\!\left(\min_{j \in W_g} \tilde{c}_j,\ \left\lceil \operatorname{mean}_{j \in W_g} \tilde{c}_j \right\rceil\right).

Izračunavamo višak $\Delta_i = \max\!\left(0,\; \tilde{c}_i - b_g\right)$ i definišemo glatki skalarni koeficijent kazne $p_i = 1 - \exp\!\left(-\Delta_i\right)$ . Kazna za alat je tada:

\operatorname{pen}_{\text{tool}}(\tau_i) = \begin{cases} \alpha_{\text{win}}\, p_i, & i \in W_g, \\ \alpha_{\text{lose}}\, p_i + \beta_{\text{lose}}, & i \notin W_g, \end{cases}

Usidrena kazna za dužinu. Neka $L_i$ i $L_i^{\mathrm{ref}}$ označavaju dužine tokena generisanja kandidata i referentnog modela, redom. Definišemo skup oblikovanja $\widehat{W}_g$ kao generisanja koja su i tačna i preferirana:

\widehat{W}_g = \{\, \underbrace{i \in W_g}_{\text{correct}} \;:\; \underbrace{s(\tau_i) \geq 0.5}_{\text{preferred}} \,\}.

Zatim izračunavamo osnovne linije dužine specifične za grupu:

\underbrace{b_{g,\text{win}}}_{\substack{\text{avg. ref. length} \\ \text{of winners}}} = \operatorname{mean}_{j \in \widehat{W}_g} L_j^{\text{ref}}, \qquad \underbrace{b_{g,\text{lose}}}_{\substack{\text{avg. ref. length} \\ \text{of losers}}} = \operatorname{mean}_{j \notin \widehat{W}_g} L_j^{\text{ref}}.

Kazna za dužinu je definisana kao:

\operatorname{pen}_{\text{len}}(\tau_i) = \begin{cases} 1, & L_i > \max_j L_j^{\text{cmp}} \\ 1 - \exp\!\left(-\max\!\left(0,\ \dfrac{L_i}{b_{g,\text{win}}} - 1\right)\right), & i \in \widehat{W}_g \\ 1 - \exp\!\left(-\max\!\left(0,\ \dfrac{b_{g,\text{lose}}}{L_i} - 1\right)\right), & i \notin \widehat{W}_g \end{cases}

gde je prva linija čvrsta granica; druga kažnjava opširne pobednike; a treća kažnjava lakonske gubitnike.

Kombinovana kazna za efikasnost. Kombinovana kazna za efikasnost je ponderisana suma obe komponente:

\operatorname{pen}_{\text{eff}}(\tau_i) = \lambda_{\text{tool}}\, \operatorname{pen}_{\text{tool}}(\tau_i) + \lambda_{\text{len}}\, \operatorname{pen}_{\text{len}}(\tau_i).

Procenjujemo naš post-trening pipeline duž dve ose: (i) dinamike obuke, da bismo procenili stabilnost optimizacije i da li se signali nagrade ponašaju kako se očekuje, i (ii) oflajn benčmarka, da bismo izmerili naknadni kvalitet, bezbednost i efikasnost pod kontrolisanim postavkama procene.

Podrazumevane postavke obuke. Model politike stupa u interakciju sa alatom za veb pretragu (search_web); svaki poziv alata preuzima do 10 rezultata, sa upitima ograničenim na 250 karaktera i do 5 upita po generisanju.

Ispitujemo dinamiku optimizacije, fokusirajući se na napredovanje nagrada i ponašanje u pogledu efikasnosti. Koristimo Qwen3.5-397B-A11B radi jednostavnosti ilustracije.

Evolucija osnovne linije i signala preferencija tokom obuke.

Slika 2 pokazuje stabilno poboljšanje osnovne nagrade (proverljiv QA i zadovoljstvo rubrikom) zajedno sa rastućim rezultatima preferencija, što ukazuje na dosledne dobitke u tačnosti, usklađenosti i kvalitetu odgovora.

Ponašanje u pogledu efikasnosti i usidrene kazne oblikovanja tokom obuke.

Slika 3 pokazuje da i učestalost poziva alata i dužina generisanja ostaju dobro kontrolisane tokom cele obuke. Značajno je da i kazne za poziv alata i za dužinu opadaju monotono tokom obuke, što odražava progresivnu adaptaciju modela ka sažetijem generisanju i selektivnijem pozivanju alata.

Slika 4 pokazuje da norme gradijenta ostaju stabilne osim prolaznih skokova, dok KL divergencija između obuke i inferencije pokazuje blagi uzlazni trend, ostajući u okviru 1e-3 skale. Ovaj šablon odstupanja je u skladu sa zapažanjima u drugim okvirima RL obuke; pošto obuka ostaje stabilna tokom celog procesa, zadržavamo jednostavnu IS regularizaciju u Jedn. 1 bez dodatne intervencije.

Izveštavamo o rezultatima na skupu benčmarka koji obuhvataju tačnost pretrage, činjeničnu pouzdanost, praćenje instrukcija i bezbednost, sastojeći se od javnih benčmarka i internih Perplexity (PPLX) metrika. Javni benčmarkzi uključuju SimpleQA, FRAMES i Facts Open.

pplx-sbs-search: Procena preferencije „jedan na jedan” pomoću internog modela nagrađivanja. Kandidati se upoređuju sa jakom osnovnom linijom.
pplx-abstention: Sposobnost prikladnog odbijanja kada pouzdani dokazi nisu dostupni.
pplx-language-mismatch: Jezička konzistentnost u postavkama sa dugim repom i višestrukim krugovima.
pplx-broken-tool-calls (↓): Usklađenost šeme poziva alata i praćenje ograničenja, na primer, tool_choice=none.

Podrazumevane postavke procene. Za javne benčmarke dozvoljavamo samo alat za veb pretragu, sa budžetom do 5 poziva alata po primeru i do 10 rezultata po pozivu, generišući do 8192 izlaznih tokena na temperaturi 0,6.

Rezultati oflajn procene. Brojevi u zagradama označavaju prosečnu upotrebu alata. Beležimo Qwen3.5-397B-A17B kao Qwen3.5-Large, i Qwen3.5-122B-A10B kao Qwen3.5-Medium.

Tabela 2 pokazuje da Qwen3.5-Large-SFT-RL postiže visoku tačnost pretrage na javnim benčmarkzima, usklađujući se sa ili nadmašujući gpt-5.4 na FRAMES i Facts Open uz korišćenje uporedivih budžeta alata. U odnosu na osnovni model, naš pristup donosi značajne dobitke u internim metrikama, posebno u pogledu preferencije (pplx-sbs-search: 0,602 → 0,742), jezičke konzistentnosti i uzdržavanja, pokazujući da dvo-etapni pipeline efikasno poboljšava ponašanja kritična za primenu bez ugrožavanja sposobnosti pretrage.

Da bismo to izmerili, osmislili smo evaluacioni protokol sa nametnutim budžetom. Svakom modelu se daje pristup alatu za veb pretragu (search_web) i sistemski prompt koji određuje čvrst limit na broj dozvoljenih poziva alatu („budžet“). Ovaj budžet variramo od 0 (bez korišćenja alata, čisto parametarsko znanje) do 10 (velikodušno višekoračno pronalaženje), beležeći tačnost na svakom nivou. To daje krivu efikasnosti alata: rezultat modela kao funkciju budžeta za pronalaženje koji mu je dozvoljen. Evaluaciju vršimo na dva merila za factual QA, FRAMES i Facts Open.

Tačnost benčmarka u odnosu na maksimalan broj poziva alata.

Nekoliko obrazaca se ističe iz ova dva benčmarka:

Naš post-trening model Qwen3.5-397B-SFT-RL postiže najbolju tačnost pretrage na oba benčmarka. Čak i sa jednim pozivom alata, ostvaruje 57,3% na FRAMES, 5,7 poena iznad GPT-5.4 i 4,7 poena iznad Sonnet 4.6.
- Prednost je najizraženija pri umerenim budžetima (b=2-7), što je praktičan opseg rada za proizvodne primene.
Naš recept za post-trening (SFT + RL) značajno poboljšava efikasnost upotrebe alata u odnosu na osnovnu kontrolnu tačku; pogledajte puna linija (post-trening) naspram isprekidane linije (početna kontrolna tačka) na Slici 5.
Za sve modele primećujemo opadajuće prinose oko budžeta=7, što je dosledno na dva benčmarka i svim modelima, što sugeriše da je to svojstvo zadataka koji traže činjenice, a ne samih modela.

Rezultati iznad pokazuju da Qwen3.5-397B-SFT-RL postiže veću tačnost sa manje poziva alata. Ali kako se ovo pretvara u stvarne troškove? Pretvaramo merenja na nivou tokena u troškove u dolarima koristeći objavljene cene API-ja (Alibaba DashScope, OpenAI, Anthropic) kako bismo poređenje učinili konkretnim.

Pri srednjem profilu (b=4), Qwen3.5-397B-SFT-RL ostvaruje 73,9% na FRAMES po ceni od 2,0 centa po upitu, dok GPT-5.4 ostvaruje 67,8% po ceni od 8,5 centi, a Sonnet 4.6 ostvaruje 62,4% po ceni od 15,3 centa. To je +6 poena tačnosti uz 4x niži trošak u poređenju sa GPT-5.4, i +11,5 poena uz 7,5x niži trošak u poređenju sa Sonnet 4.6.

Ove procene koriste cene listing API-ja bez keširanja. Uz interne optimizacije inferencije kao što su ponovna upotreba KV keša, keširanje prefiksa i kvantizovano posluživanje MoE-a (397B koristi samo 17B aktivnih parametara), efektivni trošak se može svesti znatno ispod cena sa API listinga.

Razdvajanje usklađenosti sa primenom od optimizacije pretrage kroz dvo-etapni SFT i RL pipeline daje model koji je i sposoban i pouzdan pod proizvodnim ograničenjima. Kombinacija proverljivog QA i podataka za obuku zasnovanih na rubrikama, zajedno sa kapiranom agregacijom nagrada i usidrenim oblikovanjem efikasnosti, omogućava stabilnu multi-ciljnu optimizaciju bez žrtvovanja tačnosti pretrage ili usklađenosti sa zaštitnim ogradama.

Nekoliko pravaca zaslužuje dalja istraživanja. Kao što je uočeno na Slici 4, KL divergencija između obuke i inferencije pokazuje uporan uzlazni trend pri produženim koracima obuke. Iako se korekcija IS-a na nivou tokena pokazala dovoljnom u našem trenutnom okruženju, ostaje nejasno da li to važi i pri većim razmerama; principijelniji teorijski tretman ove neusklađenosti — obuhvatajući neslaganja na nivou infrastrukture i faktore specifične za arhitekturu kao što je MoE ruting — uz kvantitativna empirijska poređenja strategija ublažavanja, ostaje važno otvoreno pitanje. Konkretno za multi-ciljni RL, obećavajući putevi uključuju sekvencijalnu obuku (Zeng i sar., 2026) sa destilacijom na politici radi optimizacije ciljeva po etapama uz ublažavanje katastrofalnog zaboravljanja; i spajanje modela (Fu i sar., 2025; Yang i sar., 2026) radi razdvajanja optimizacije specifične za zadatak od agregacije sposobnosti. Konačno, skaliranje na realistične radne tokove sa više alata sa putanjama dugog horizonta ostaje važan otvoreni izazov, koji verovatno zahteva bolje dodeljivanje poena, podršku za delimična generisanja i procene.

DatologyAI. Datbench: Diskriminativne, verne i efikasne procene modela vida i jezika. https://www.datologyai.com/blog/datbench-discriminative-faithful-and-efficient-vision-language-model-evaluations, jan. 2026. Objavljeno 6. jan. 2026. Pristupljeno: 2026-03-04.

J. Duchi i H. Namkoong. Regularizacija zasnovana na varijansi sa konveksnim ciljevima. arXiv preprint arXiv:1610.02581, 2016.

Z. Fu, X. Wu, Y. Wang, W. Wang, S. Ye, H. Yin, Y. Chang, Y. Zheng i X. Zhao. Spajanje LLM-a bez obuke za učenje sa više zadataka. U Proceedings of the 63rd Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), strane 33111–33124, 2025.

A. Gunjal, A. Wang, E. Lau, V. Nath, Y. He, B. Liu i S. Hendryx. Rubrike kao nagrade: Učenje uz potkrepljenje izvan proverljivih domena. arXiv preprint arXiv:2507.17746, 2025.

J. Liu, Y. Li, Y. Fu, J. Wang, Q. Liu i Y. Shen. Kada brzina ubija stabilnost: Demistifikacija RL kolapsa iz neusklađenosti obuke i inferencije. Notion Blog, 2025a.

S.-Y. Liu, X. Dong, X. Lu, S. Diao, P. Belcak, M. Liu, M.-H. Chen, H. Yin, Y.-C. F. Wang, K.-T. Cheng i sar. Gdpo: Optimizacija politike normalizacije razdvojene grupnim nagradama za multi-nagradnu RL optimizaciju. arXiv preprint arXiv:2601.05242, 2026.

T. Liu, R. Xu, T. Yu, I. Hong, C. Yang, T. Zhao i H. Wang. Openrubrics: Ka skalabilnom generisanju sintetičkih rubrika za modeliranje nagrađivanja i usklađivanje LLM-a. arXiv preprint arXiv:2510.07743, 2025b.

R. Lu, Z. Hou, Z. Wang, H. Zhang, X. Liu, Y. Li, S. Feng, J. Tang i Y. Dong. Deepdive: Unapređenje agenata duboke pretrage sa grafovima znanja i višestepenim RL-om. arXiv preprint arXiv:2509.10446, 2025.

W. Ma, H. Zhang, L. Zhao, Y. Song, Y. Wang, Z. Sui i F. Luo. Stabilizacija MoE učenja uz potkrepljenje usklađivanjem rutera obuke i inferencije. arXiv preprint arXiv:2510.11370, 2025.

T. Pham, N. Nguyen, P. Zunjare, W. Chen, Y.-M. Tseng i T. Vu. Sealqa: Podizanje lestvice za zaključivanje u jezičkim modelima proširenim pretragom. arXiv preprint arXiv:2506.01062, 2025.

O. Press, M. Zhang, S. Min, L. Schmidt, N. A. Smith i M. Lewis. Merenje i sužavanje Jaza kompozicionalnosti u jezičkim modelima. U Findings of the Association for Computational Linguistics: EMNLP 2023, strane 5687–5711, 2023.

P. Qi, X. Zhou, Z. Liu, T. Pang, C. Du, M. Lin i W. S. Lee. Promišljanje regiona poverenja u LLM učenju uz potkrepljenje. arXiv preprint arXiv:2602.04879, 2026.

Z. Shao, P. Wang, Q. Zhu, R. Xu, J. Song, X. Bi, H. Zhang, M. Zhang, Y. Li, Y. Wu i sar. Deepseekmath: Pomeranje granica matematičkog zaključivanja u jezičkim modelima otvorenog koda. arXiv preprint arXiv:2402.03300, 2024.

Z. Tao, J. Wu, W. Yin, J. Zhang, B. Li, H. Shen, K. Li, L. Zhang, X. Wang, Y. Jiang i sar. Webshaper: Agencijsko sintetisanje podataka putem formalizacije traženja informacija. arXiv preprint arXiv:2507.15061, 2025.

vLLM i TorchTitan Teams. Nema više neusklađenosti između obuke i inferencije: Bitno dosledno učenje uz potkrepljenje na politici sa vLLM i TorchTitan. https://blog.vllm.ai /2025/11/10/bitwise-consistent-train-inference.html, nov. 2025. vLLM Blog.

J. Wu, W. Yin, Y. Jiang, Z. Wang, Z. Xi, R. Fang, D. Zhou, P. Xie i F. Huang. Webwalker: Benčmarkovanje LLM-a u veb kretanju, 2025. URL https://arxiv.org/abs/ 2501.07572.

A. Yang, A. Li, B. Yang, B. Zhang, B. Hui, B. Zheng, B. Yu, C. Gao, C. Huang, C. Lv i sar. Tehnički izveštaj o Qwen3. arXiv preprint arXiv:2505.09388, 2025.

E. Yang, L. Shen, G. Guo, X. Wang, X. Cao, J. Zhang i D. Tao. Spajanje modela u LLM-ovima, MLLM-ovima i šire: Metode, teorije, primene i prilike. ACM Computing Surveys, 58(8):1–41, 2026.

F. Yao, L. Liu, D. Zhang, C. Dong, J. Shang i J. Gao. Vaš efikasan RL okvir vam tajno donosi vanpolitičku RL obuku, avg. 2025. URL https://fengyao.notion.s ite/off-policy-rl.

A. Zeng, X. Lv, Z. Hou, Z. Du, Q. Zheng, B. Chen, D. Yin, C. Ge, C. Xie, C. Wang i sar. Glm-5: od vib-kodiranja do agencijskog inženjeringa. arXiv preprint arXiv:2602.15763, 2026.

C. Zheng, K. Dang, B. Yu, M. Li, H. Jiang, J. Lin, Y. Liu, H. Lin, C. Wu, F. Hu i sar. Stabilizacija učenja uz potkrepljenje sa LLM-ovima: Formuliacija i prakse. arXiv preprint arXiv:2512.01374, 2025a.

C. Zheng, S. Liu, M. Li, X.-H. Chen, B. Yu, C. Gao, K. Dang, Y. Liu, R. Men, A. Yang i sar. Optimizacija politike grupnih sekvenci. arXiv preprint arXiv:2507.18071, 2025b.

BibTeX

@online{perplexity2026AdvancingSearchAugmentedLanguageModels,
  author = {{Perplexity} and Denis Yarats and Dongqi Wu and Hang Wu and Randy Ardywibowo and Senzeyu Zhang and Yunfan Zhong and Ziqing Hu and Clare Southern and Riley Carlson and Yi He and Erin McKnight and Mara Sohn and Phi Hoang},
  title = {{Advancing search-augmented language models}},
  date = {2026-04-22},
  url = {https://perplexity.coolkeypoint.com/hub/blog/advancing-search-augmented-language-models}
}

Uvod

Dvo-etapni pipeline obuke

SFT etapa

RL etapa

RL podaci za obuku

Proverljivi podaci agenta pretrage

Primer (3-hopa)

Podaci opšteg chata zasnovani na rubrikama

Primer

Mešavina upita i balansiranje varijanse

Dizajn nagrada

Osnovna nagrada

Modeliranje preferencija

Kazna za efikasnost

Glavni rezultati

Dinamika obuke

Oflajn procene

Procene efikasnosti upotrebe alata

Zaključak

Reference

Citiranje