Otsinguga täiustatud keelemudelite arendamine

Kaasaegsete veebiotsinguagentide treenimine nõuab mitme eesmärgi üheaegset optimeerimist: faktiline täpsus, trajektoori tõhusus ja kasutaja eelistustega kohandumine. Samas halvendab mis tahes üksiku dimensiooni parandamine eraldiseisvalt sageli teisi: puhtalt täpsuse nimel treenitud mudelid kipuvad tööriistu liigselt kasutama, samas kui lühidusele optimeeritud mudelid võivad ohverdada usaldusväärsuse või täielikkuse. Perplexity jaoks pole kumbki tulemus vastuvõetav.

See artiklis kirjeldatakse Perplexity treeningjärgset torujuhet avatud lähtekoodiga mudelitel põhinevate tipptasemel veebiotsinguagentide arendamiseks. Peamine ideekäik on see, et otsinguagendi treenimisel peavad andmete kureerimine ja preemiate kujundamine olema koostoimes kavandatud: andmed määravad, millised käitumisviisid on vaadeldavad ja kontrollitavad, ning preemia määrab, kuidas need signaalid tõlgendatakse optimeerimissignaaliks. See põhimõte motiveerib meie kaheetapilist torujuhet: esmalt viime läbi juhendatud peenhäälestuse (SFT) soojendusfaasi poliitikamudeli lähtestamiseks ning seejärel täiustame poliitikamudelit tugevdatud õppe (RL) abil kureeritud andmestiku ja hoolikalt kavandatud preemiate alusel. See kaheetapiline lähenemine võimaldab tootmispiirangute raames saavutada usaldusväärset kasvu täpsuses, tõhususes ja vastuste kvaliteedis.

Kirjeldame esmalt oma kaheetapilist treeningtorujuhet (SFT → põhimõttesisene RL) ning seejärel RL-i treeningandmete koostamist, mis hõlmab nii kontrollitavat otsinguagendi küsimuste-vastuste (QA) osa kui ka rubriigipõhist üldist vestlust. Järgnevalt esitame sellest heterogeensest andmeseadest tuletatud liitpreemia kujunduse, mis tasakaalustab kvaliteeti ja tõhusust, leevendades samal ajal preemiatest üleastumist (reward hacking). Lõpuks analüüsime treenimise dünaamikat ja võrdlusuuringu tulemusi.

Võtame kasutusele kaheetapilise treeningjärgse retsepti: (i) SFT, et luua juurutamiskriitilised käitumisviisid, nagu turvapiirded (nt hoidumine), juhiste järgimine ja keeleline järjepidevus, ning (ii) põhimõttesisene RL, et parandada otsinguvõimekust, sealhulgas vastuste täpsust ja tööriistade kasutamise tõhusust, säilitades samal ajal esimese etapi käitumisviisid.

Miks kaks etappi? Otsingukvaliteedi ja juurutuspiirangute üheaegne optimeerimine ühesainsas RL-etapis on keeruline ilma vähemalt ühes eesmärgis järeleandmisi tegemata. Empiiriliselt parandab puhtalt RL-il põhinev treening otsingu jõudlust, kuid kipub juurutuspiirete osas alla jääma, samas kui SFT parandab reeglite järgimist otsingu jõudluse arvelt. Eesmärkide eraldamine võimaldab SFT etapil lahendada esmalt tingimusteta nõuded, mille järel saab RL keskenduda peamiselt otsinguvõimekuse parandamisele.

Lähtume Qwen3 mudelite perekonnast (Qwen3.5-122B-A10B ja Qwen3.5-397B-A17B) (Yang jt, 2025, Qwen3.5 blogipostitus) ning koostame kahekomponendilise SFT segude andmestiku, mis on suunatud ülalkirjeldatud juurutuskriitilistele käitumisviisidele, säilitades samal ajal baasmudeli üldise otsinguvõimekuse.

Eelistustele orienteeritud näited. Kureerime juhiste järgimise ja stiilile keskenduvaid näiteid, mis on suunatud toonile, keelelisele järjepidevusele, selgusele ja vormindusele. Need näited ei pea eeldama ühest tõest vastust; pigem valitakse need peegeldamaks toote kirjutamisnõudeid ja tagamaks stiililine järjepidevus erinevate päringutüüpide lõikes.

Tootmisvormingus tööriistakasutuse trajektoorid. Empiiriliselt leiame, et SFT ilma hoolika andmestiku kureerimiseta võib baasmudeli otsinguvõimekust oluliselt halvendada. Selle leevendamiseks valime valimina päringuid ja sisemisi ülesandeid erinevatest interaktsioonimustritest (ühe-, kahe- ja mitmevoorulistest) ning märgistame need oma tööriistakutsete raamistikuga.

Alustades SFT kontrollpunktist, rakendame põhimõttesisest RL-i, et parandada otsingu täpsust ja tõhusust. Optimeerime poliitikamudelit rühmasisese suhtelise poliitika optimeerimise (GRPO) abil (Shao jt, 2024).

\mathcal{J}_{\text{GRPO}}(\theta) = \frac{1}{G}\sum_{i=1}^{G} \frac{1}{|o_i|}\sum_{t=1}^{|o_i|} r_{i,t}(\theta)\hat{A}_{i,t},

kus $G$ on rühma suurus, $o_{i}$ tähistab $i$ -ndat valimisse võetud väljundit ja $\hat{A}_{i, t} = \hat{A}_{i}$ on eelis. Preemia kujundust kirjeldatakse üksikasjalikult preemia kujunduse jaotises; lühidalt öeldes kombineerime baastaseme õigsust eelistuspõhise ja ankurdatud tõhususe kujundamisega. Järgides varasemat tööd (Liu jt, 2025a; Yao jt, 2025; Zheng jt, 2025a), rakendame märgitasemelise tähtsuse valimit (Importance Sampling – IS), et korrigeerida treeningu ja järelduse vahelist ebakõla:

r_{i,t}(\theta) = \frac{\pi_{\text{train}}(\theta)}{\mu_{\text{infer}}(\theta)}.

Hindame mitut lähenemist treeningu ja inferentsi lahknevuse leevendamiseks, sealhulgas järjestusetaseme IS-i (Zheng et al., 2025b), suunamise taasesitust (Ma et al., 2025; Zheng et al., 2025b) ja bittide kaupa järjepidevat treeningut, mis integreerib inferentsimootori kerneli treeningu ajal (vLLM and TorchTitan Teams, 2025). Empiiriliselt leiame oma on-policy seades, et tokenitaseme IS on piisav treeningu kollapsi vältimiseks, оставая samas lihtsasti rakendatavaks; see on kooskõlas Zheng et al (2025a) leidudega.

Meie RL-i treeningandmed koosnevad kahest täiendavast komponendist: üldisele otsinguvõimekusele suunatud kontrollitavast otsinguagendi QA-st ning rubriigipõhisest üldisest vestlusest, mis tugevdab selgesõnaliselt juurutuspiirdeid, et vältida regressiooni RL-i treeningetapis.

Andmestiku koostamine. Järgides järjestikuse laiendamise meetodit (Tao jt, 2025), koostame sisemiste lähteotsingute põhjal majasisese sünteetilise QA andmestiku, ilma et tugineksime kureeritud teadmiste graafikule, hoides torujuhtme kergekaalulise ja hõlpsasti värskendatavana. Iga sünteetiline näide genereeritakse järgmiste sammude kaudu:

Lähteotsingu valik. Otsime lähteotsingute jaoks dokumendid ja valime lähtepunktidena mitmest allikast pärineva faktikinnitusega olemid, eraldades nende kohta Aatomi väited.
Mitmehüppelise keti koostamine. Lähteolemi lausetest valime ühe, mis tutvustab teist olemit (nt lähteolemi "The Mom Test" puhul tutvustab lause "kirjutanud Rob Fitzpatrick" autorit järgmise olemina). Kordame seda linkimisprotsessi 2–4 korda, tagades, et iga olem on erinev ja et ükski lause ei paljasta lõplikku vastust lihtsal viisil.
Nimeta küsimuste süntees. Teisendame olemite keti küsimuseks, asendades olemite nimed rekursiivselt nende ühenduslausetega, luues pesastatud küsimuse, mis nõuab mitmehüppelist arutluskäiku.
Kontrollimine. Säilitame ainult küsimused, millel on unikaalsed vastused, mida on kinnitanud mitmed sõltumatud veebipõhised lahendajad.

Vaadelgem lähteotsingut „The Mom Test“. Otsime dokumendid ja tuvastame selle raamatu lähteolemina, seejärel eraldame atomaarsed faktilised väited ja ehitame iteratiivselt olemite keti: (i) raamatu „The Mom Test“ kirjutas Rob Fitzpatrick, tutvustades Rob Fitzpatrickut; (ii) Rob Fitzpatricku esimene idufirma läbis Y Combinatori (2007. aasta suvi), tutvustades Y Combinatorit; (iii) Y Combinator käivitati 2005. aasta märtsis. Iga olemi nime rekursiivne asendamine selle kirjeldajaga annab nimeta küsimuse: „Millise raamatu kirjutas isik, kelle esimene idufirma läbis 2005. aasta märtsis käivitatud kiirendi 2007. aasta suvises voorus?“ vastusega „The Mom Test“.

Vormingu mitmekesisuse suurendamine. Puhtalt toor-sünteetilisel QA-l treenitud mudelid kipuvad eirama vorminduseelistusi ja vaikimisi kasutama fikseeritud vastuse struktuuri, olenemata sellest, kuidas päring on sõnastatud. Vormingu mitmekesisuse parandamiseks täiendame andmestikku päringutega, mis sisaldavad selgesõnalisi vormindusjuhiseid (nt "Näita loendit..." või "Võta kokku... tabelis"), jättes samal ajal aluseks oleva vastuse muutmata.

Avalik kontrollitav QA (baasjoon). Koostame viiest avatud lähtekoodiga andmestikust (Lu jt, 2025; Pham jt, 2025; Press jt, 2023; Tao jt, 2025; Wu jt, 2025) pärineva baastaseme kontrollitava QA andmestiku, mis on kvaliteedifiltriga ühendatud meie täiustatud viipavormingu alla. See segu on meie valideerimiskatsetes peamine baasjoon. Kontrollitud võrdluste jaoks sobitame oma majasisese sünteetilise QA andmestiku ulatuse selle avatud lähtekoodiga seguga.

Kiire valideerimine. Valideerime selle torujuhtme tõhusust, kasutades mudelit Qwen3-30B-A3B-Instruct-2507, et võimaldada kiiret iteratsiooni; tulemused on kokku võetud tabelis 1.

Sünteetilise kontrollitava QA andmestiku valideerimine

Kuigi kontrollitav QA pakub otsingukesksete päringute jaoks puhta treenimissignaali, on märkimisväärne osa tootmisliikluse päringutest mitte üheselt kontrollitavad (nt ümberkirjutamine, planeerimine ja avatud abistamine). Selliste päringute väljajätmine RL-ist jätaks poliitika reaalsete kasutajasuhete jaoks ebapiisavalt optimeerituks. Veelgi enam, kuigi SFT etapp loob juurutamiskriitilised piirded, võib RL nendes taanduda, välja arvatud juhul, kui andmed neid selgesõnaliselt tugevdavad.

Lülitame mitte-kontrollitavad päringud RL-i treeningusse, teisendades juurutamiskriitilised nõuded – juhiste järgimise, vorminduspiirangud ja ohutuskonventsioonid – rubriikideks: aatomiteks, objektiivselt kontrollitavateks kriteeriumideks, mida vastus peab täitma. Võtame kasutusele rubriigipõhise andmete koostamise (Gunjal jt, 2025; Liu jt, 2025b), genereerides päringu kohta rubriigikomplektid.

Rubriigi genereerimine. Arvestades kogu vestluse ajalugu, anname LLM-ile ülesandeks koostada viitevastus ja vastav rubriigikomplekt. Rubriigid tuletatakse fikseeritud eelisjärjekorra alusel: esmatähtsad on kasutaja selgesõnaliselt esitatud nõuded, millele järgnevad sisemised piirangud ja lõpuks viitevastusest järeldatud vajalikud sisunõuded. Iga rubriik peab olema:

Aatomiomane: üksainus, hästi määratletud kontroll;
Objektiivne: kontrollitav ilma subjektiivse hinnanguta;
Vajalik: nõutav päringule vastamiseks, mitte pelgalt stiililine eelistus.

Päring.

She will share u man power planning. We have to arrange lodging & boarding. Plz correct swntence.

Rubriigid.

Vastus on kirjutatud inglise keeles.
Parandatud sõnastus sisaldab sõnu "lodging" ja "boarding".
Parandatud sõnastuses kasutatakse sõna "manpower" ühele sõnale omaselt (näiteks "manpower plan" või "manpower planning"), mitte sõna "man power".
Parandatud sõnastus ei sisalda mitteametlikke lühendeid "u" või "Plz" ning ei sisalda ampersandi märki "&".
Vastus ei sisalda vormis \\[type:idx\\] olevaid viitemarkereid, kus type tähistab andmeallikat (näiteks web, chart, memory, attached_file).

Rubriigi kalibreerimine. Liiga rangete või liiga leebete rubriigikomplektide vältimiseks rakendame pass@4 filtrit. Valime iga päringu jaoks neli sõltumatut vastust ja hindame neid täieliku rubriigikomplekti alusel juhiseid järgiva hindajaga. Jätame ära päringud, mille puhul ükski vastus ei rahulda rubriigikomplekti või rahuldatakse need kõik, säilitades ainult need, mis annavad informatiivse treenimissignaali.

Praktiline väljakutse mitme eesmärgiga RL-is on dispersiooni tasakaalutus andmekomponentide lõikes (Duchi ja Namkoong, 2016; Liu jt, 2026; Qi jt, 2026). Kuigi nii kontrollitav QA kui ka rubriigipõhised andmed annavad binaarseid preemiaid, erinevad need ülesande keerukuse poolest oluliselt: rubriigi rahuldamist on treeningu alguses üldiselt lihtsam saavutada, mis tekitab suuremaid ja sagedasemaid gradiendivärskendusi, mis võivad ebaproportsionaalselt domineerida poliitika optimeerimise üle võrreldes raskema kontrollitava QA signaaliga. Selle lahendamiseks kaalume viipade segu andmestiku tasemel ümber, valides valimisse 90% kontrollitavast QA-st ja 10% rubriigipõhistest andmetest, et tasakaalustada optimeerimissignaali komponentide lõikes.

Meie preemia kujundus tuleneb otse ülaltoodud andmete koostamisest. Hoolimata sellest, et treeningandmed hõlmavad nii kontrollitavat QA-d kui ka rubriigiülesandeid, on kõigil neil ühine baastaseme preeriastruktuur: rullimine saab krediidid, kui see annab QA-ülesannete jaoks õige vastuse või rahuldab kõiki määratud rubriike üldise vestluse jaoks. Selle ühise aluse põhjal ehitame üles liitpreemia, et kaasata eelistuspõhine punktiarvestus ja tõhususe kujundamine.

Varajastes katsetes täheldatud peamine väljakutse oli preemiatega manipuleerimine (reward hacking): lihtne preemiate lineaarne kombinatsioon võimaldas tugevatel eelistussignaalidel kompenseerida faktilisi või juhistega seotud tõrkeid. Seetõttu võtame põhidisaini põhimõttena kasutusele väravaga agregeerimise, mis on ametlikult määratletud kui:

R(\tau_i) = r_{\text{base}}(\tau_i) \cdot s(\tau_i) \;-\; \operatorname{pen}_{\text{eff}}(\tau_i),

kus $r_{\mathrm{base}}(\tau_i) \in \{0, 1\}$ tähistab QA õigsust või rubriigi rahuldamist, $s(\tau_i)\in[0,1]$ on eelistusskoor ja $\operatorname{pen}_{\mathrm{eff}}(\tau_i)$ on ankurdatud tõhususe karistus. See muudab õigsuse eeliskrediitide saamise vajalikuks tingimuseks, takistades samal ajal mittevajalikku tööriistade kasutamist ja paljusõnalisust. Joonis 1 illustreerib täielikku preemiatorujuhet, mille komponente kirjeldame allpool:

Preemia kujunduse ülevaade. Kombineerime baastaseme õigsussignaali (kontrollitav/rubriik), Bradley-Terry eelistusskoori ja ankurdatud tõhususkaristused. Eelistus on baastaseme õigsusega piiratud, et vältida preemiatest üleastumist.

Määratleme binaarse baastaseme signaali $r_{\mathrm{base}}(\tau_i) \in \{0,1\}$ , mis hõlmab ülesande õigsust või juhiste järgimist. Kontrollitavate otsinguagendi andmete puhul $r_{\mathrm{base}}(\tau_i)=1$ , kui lõplik vastus vastab algsele tõele, ja $0$ vastasel juhul. Rubriigipõhiste üldise vestluse andmete puhul $r_{\mathrm{base}}(\tau_i)=1$ , kui kõik rubriigid on rahuldatud, ja $0$ vastasel juhul. See baasjoon toimib tingimusliku agregeerimise reegli (võrrand 2) range väravana.

Meie eesmärk on viia poliitikamudel vastavusse kasutajate varjatud eelistustega vastuse kvaliteedi suhtes – informatiivsus, selgus ja professionaalne toon –, mida on LLM-i hindaja viipade kaudu raske tabada. Seetõttu treenime õpitud eelistuste preemiamudelit nende atribuutide otseseks hindamiseks.

Formuleerime eelistuste õppimise Bradley-Terry raamistiku alusel. Konteksti $x$ ja kahe kandidaatvastuse $y_a, y_b$ korral toodab mudel skalaarsed skoorid $s_{\theta}(x, y) \in \mathbb{R}$ ja minimeerib,

\ell_{\text{BT}}(\theta; x, y_a, y_b, r) = -\Big[r \log \sigma(\Delta_\theta) + (1-r) \log\bigl(1 - \sigma(\Delta_\theta)\bigr)\Big], \\ \Delta_\theta = s_\theta(x, y_a) - s_\theta(x, y_b)

kus $r \in \{0, 1\}$ näitab, kas $y_a$ on eelistatud. Positsioonilise eelarvamuse kõrvaldamiseks täiendatakse iga treeningpaar mõlema järjestusega ja optimeeritakse sümmeetriliselt,

\mathcal{L}_{\text{sym}} = \tfrac{1}{2}\,\ell_{\text{BT}}(x, y_a, y_b, r) + \tfrac{1}{2}\,\ell_{\text{BT}}(x, y_b, y_a, 1-r).

Järelduse tegemise ajal saame positsioonist sõltumatu eelistusskoori, võttes mõlema permutatsiooni keskmise:

\bar{\Delta}_\theta(x, y_a, y_b) = \tfrac{1}{2}\Big[\Delta_\theta(x, y_a, y_b) - \Delta_\theta(x, y_b, y_a)\Big], \\ \bar{P}_\theta(x, y_a, y_b) = \sigma\bigl(\bar{\Delta}_\theta(x, y_a, y_b)\bigr).

Rullimise eelistusskoor määratletakse seejärel kui $s(\tau_i) \triangleq \bar{P}_{\theta}(x, y_a, y_b) \in [0,1]$ , st tõenäosus, et poliitika rullimine $y_i$ on sama viipa puhul eelistatud võrreldes viitemudeli rullimisega.

Eelistuste modelleerimise treeningandmed pärinevad kureeritud avatud lähtekoodiga andmestikest, kasutajate vastastikusest tagasisidest ja sisemistest märkustest. Märgistuse müra käsitlemiseks rakendame kergekaalulist filtreerimis- ja kalibreerimistorujuhet, mis on inspireeritud Datbenchist (DatologyAI, 2026), säilitades ainult järjepideva mudelivahelise kokkuleppega näited. Preemiamudelil on poliitikamudeliga sama taustsüsteem, kus keelemudeli pea on asendatud väärtuspeaga. Kuigi väiksemad preemiamudelid saavutavad võrreldava väljajäetud täpsuse, leiame empiiriliselt, et need ei suuda tabada peeneteralisi eelistusi ja võivad tugevdada ebasoovitavaid poliitikakäitumisi.

Selgesõnalise tõhususe kujundamise puudumisel kipub poliitika tööriistu liigselt kasutama isegi lihtsate viipade korral. Tingimusteta karistused (nt need, mis skaleeruvad lineaarselt tööriistakutsete arvu või väljundi pikkusega) on loomulik baasjoon, kuid leiame, et need pärsivad vajalikku uurimistööd ja halvendavad õppimist. Seetõttu võtame kasutusele rühmasisesed, ankurdatud karistused, mis reguleerivad tööriistade kasutamist ja vastuse pikkust Iga GRPO rühma tõhusate lahenduste suhtes. Rühma 𝑔 jaoks määratleme võitjate hulga järgmiselt:

W_g = \{\, i : r_{\text{base}}(\tau_i) = 1 \,\}.

Ankurdatud tööriistakutse karistus. Iga rullimise $\tau_i$ jaoks olgu $c_i$ tööriistakutsete arv ja $e_i$ tööriista täitmise tõrgete arv. Määratleme efektiivse tööriistakutsete arvu $\tilde{c}_i = c_i - e_i$ ja võtame ühtlase valimi rühma baasjoonest:

b_g \sim \operatorname{Unif}\!\left(\min_{j \in W_g} \tilde{c}_j,\ \left\lceil \operatorname{mean}_{j \in W_g} \tilde{c}_j \right\rceil\right).

Arvutame ülejäägi $\Delta_i = \max\!\left(0,\; \tilde{c}_i - b_g\right)$ ja määratleme sujuva karistuse skalaari $p_i = 1 - \exp\!\left(-\Delta_i\right)$ . Tööriista karistus on siis:

\operatorname{pen}_{\text{tool}}(\tau_i) = \begin{cases} \alpha_{\text{win}}\, p_i, & i \in W_g, \\ \alpha_{\text{lose}}\, p_i + \beta_{\text{lose}}, & i \notin W_g, \end{cases}

Ankurdatud pikkuse karistus. Olgu $L_i$ ja $L_i^{\mathrm{ref}}$ vastavalt kandidaadi- ja viitemudeli genereeringute märkide pikkused. Määratleme kujundava hulga $\widehat{W}_g$ rullimistena, mis on nii õiged kui ka eelistatud:

\widehat{W}_g = \{\, \underbrace{i \in W_g}_{\text{correct}} \;:\; \underbrace{s(\tau_i) \geq 0.5}_{\text{preferred}} \,\}.

Seejärel arvutame rühmapõhised pikkuse baasjooned:

\underbrace{b_{g,\text{win}}}_{\substack{\text{avg. ref. length} \\ \text{of winners}}} = \operatorname{mean}_{j \in \widehat{W}_g} L_j^{\text{ref}}, \qquad \underbrace{b_{g,\text{lose}}}_{\substack{\text{avg. ref. length} \\ \text{of losers}}} = \operatorname{mean}_{j \notin \widehat{W}_g} L_j^{\text{ref}}.

Pikkuse karistus on määratletud kui:

\operatorname{pen}_{\text{len}}(\tau_i) = \begin{cases} 1, & L_i > \max_j L_j^{\text{cmp}} \\ 1 - \exp\!\left(-\max\!\left(0,\ \dfrac{L_i}{b_{g,\text{win}}} - 1\right)\right), & i \in \widehat{W}_g \\ 1 - \exp\!\left(-\max\!\left(0,\ \dfrac{b_{g,\text{lose}}}{L_i} - 1\right)\right), & i \notin \widehat{W}_g \end{cases}

kus esimene rida on range ülempiir; teine karistab paljusõnalisi võitjaid; ja kolmas karistab liiga lühikesi kaotajaid.

Kombineeritud tõhususe karistus. Kombineeritud tõhususe karistus on mõlema komponendi kaalutud summa:

\operatorname{pen}_{\text{eff}}(\tau_i) = \lambda_{\text{tool}}\, \operatorname{pen}_{\text{tool}}(\tau_i) + \lambda_{\text{len}}\, \operatorname{pen}_{\text{len}}(\tau_i).

Hindame oma treeningjärgset torujuhet kahel teljel: (i) treeningu dünaamika, et hinnata optimeerimise stabiilsust ja seda, kas preemiasignaalid käituvad ootuspäraselt, ning (ii) võrdlusuuringud võrguühenduseta, et mõõta allavoolu kvaliteeti, ohutust ja tõhusust kontrollitud hindamisseadetes.

Vaikimisi treeningseaded. Poliitikamudel suhtleb veebiotsingu tööriistaga (search_web); iga tööriistakutse toob kuni 10 tulemust, päringud on piiratud 250 märgiga ja rullimise kohta on lubatud kuni 5 päringut.

Uurime optimeerimise dünaamikat, keskendudes preemia arengule ja tõhususe käitumisele. Kasutame illustreerimise lihtsustamiseks mudelit Qwen3.5-397B-A11B.

Baastaseme ja eelistussignaalide areng treeningu ajal.

Joonis 2 näitab baastaseme preemia (kontrollitav QA ja rubriigi rahuldamine) stabiilset paranemist koos suurenevate eelistusskooridega, mis viitab järjepidevale kasvule õigsuses, nõuetele vastavuses ja vastuse kvaliteedis.

Tõhususe käitumine ja ankurdatud kujunduskaristused treeningu ajal.

Joonis 3 demonstreerib, et nii tööriistakutsete sagedus kui ka genereerimise pikkus püsivad kogu treeningu vältel hästi kontrolli all. Märkimisväärne on see, et nii tööriistakutse kui ka pikkuse karistused vähenevad treeningu käigus monotoonselt, kajastades mudeli järkjapilist kohandumist lühema genereerimise ja valikulisema tööriistade kutsumise suunas.

Joonis 4 näitab, et gradiendi normid püsivad stabiilsena, välja arvatud ajutised hüpped, samas kui treeningu ja järelduse vaheline KL-divergents näitab kerget tõusutrendi, püsides 1e-3 skaala piires. See triivimuster on kooskõlas teistes RL-i treeningraamistikes täheldatuga; kuna treening püsib kogu vältel stabiilsena, säilitame võrrandis 1 lihtsa IS-i regulariseerimise ilma täiendava sekkumiseta.

Esitame tulemused võrdlusuuringute komplekti kohta, mis hõlmab otsingutäpsust, faktilist usaldusväärsust, juhiste järgimist ja ohutust, hõlmates nii avalikke võrdlusuuringuid kui ka Perplexity (PPLX) sisemisi mõõdikuid. Avalike võrdlusuuringute hulka kuuluvad SimpleQA, FRAMES ja Facts Open.

pplx-sbs-search: Vastastikune eelistuste hindamine sisemise preemiamudeli abil. Kandidaate võrreldakse tugeva baasjoonega.
pplx-abstention: Võime asjakohaselt keelduda, kui usaldusväärseid tõendeid pole saadaval.
pplx-language-mismatch: Keeleline järjepidevus pikaajalistes ja mitmevoorulistes seadetes.
pplx-broken-tool-calls (↓): Tööriistakutse skeemile vastavus ja piirangute järgimine, näiteks tool_choice=none.

Vaikimisi hindamisseaded. Avalike võrdlusuuringute jaoks lubame ainult veebiotsingu tööriista, mille eelarve on kuni 5 tööriistakutset näite kohta ja kuni 10 tulemust kutse kohta, genereerides kuni 8192 väljundmärki temperatuuril 0,6.

Võrguühenduseta hindamise tulemused. Numbrid sulgudes tähistavad keskmist tööriistade kasutust. Märgime mudeli Qwen3.5-397B-A17B kui Qwen3.5-Large ja Qwen3.5-122B-A10B kui Qwen3.5-Medium.

Tabel 2 näitab, et Qwen3.5-Large-SFT-RL saavutab avalikes võrdlusuuringutes tugeva otsingutäpsuse, sobitudes mudeliga gpt-5.4 või ületades seda FRAMES-is ja Facts Openis, kasutades samal ajal võrreldavaid tööriistaeelarveid. Baasmudeliga võrreldes toob meie lähenemine kaasa märkimisväärse kasvu sisemistes mõõdikutes, eriti eelistuste (pplx-sbs-search: 0.602 → 0.742), keelelise järjepidevuse ja hoidumise osas, mis näitab, et kaheetapiline torujuhe parandab tõhusalt juurutamiskriitilisi käitumisviise ilma otsinguvõimekust ohverdamata.

Selle mõõtmiseks kavandame eelarvega sunnitud hindamisprotokolli. Igale mudelile antakse juurdepääs veebipäringu tööriistale (search_web) ja süsteemiviipale, mis määrab kõvapiiri lubatud tööriistakutsete arvule ("eelarve"). Muudame seda eelarvet vahemikus 0 (tööriista ei kasutata, puhas parameetriline teadmus) kuni 10 (helde mitmeetapiline otsing), salvestades täpsuse igal tasemel. See annab tööriistaefektiivsuse kõvera: mudeli skoorina funktsioonina otsingu eelarvest, mis talle lubatud on. Hindame kahel faktipõhisel küsimustele-vastamise võrdlusandmestikul, FRAMES ja Facts Open.

Võrdlusuuringu täpsus versus Max tööriistakutsete arv.

Nendest kahest võrdlusuuringust paistab silma mitu mustrit:

Meie treeningjärgne Qwen3.5-397B-SFT-RL saavutab mõlemas võrdlusuuringus parima otsingutäpsuse. Isegi üheainsa tööriistakutsega on selle skoor FRAMES-is 57,3%, mis on 5,7 punkti kõrgem kui GPT-5.4-l ja 4,7 punkti kõrgem kui Sonnet 4.6-l.
- Eelis on kõige häälekam mõõdukate eelarvete juures (b=2-7), mis on tootmisjuurutuste jaoks praktiline töövahemik.
Meie treeningjärgne retsept (SFT + RL) parandab oluliselt tööriista kasutamise tõhusust võrreldes baaskontrollpunktiga; vt pidevaid jooni (treeningjärgsed) vs. katkendlikke jooni (lähtekontrollpunkt) joonisel 5.
Kõigi mudelite puhul täheldame kahanevat tootlust eelarve=7 juures, mis on kahe võrdlusuuringu ja kõigi mudelite lõikes järjepidev, viidates sellele, et tegemist on pigem faktide otsimise ülesannete omaduse kui mudelite endiga.

Ülaltoodud tulemused näitavad, et Qwen3.5-397B-SFT-RL saavutab suurema täpsuse vähemate tööriistakutsetega. Kuidas see aga tegelikuks kuluks muutub? Võrdluse käegakatsutavaks muutmiseks teisendame märgitaseme mõõdud dollarikuludeks, kasutades avaldatud API hindu (Alibaba DashScope, OpenAI, Anthropic).

Keskmise profiili (b=4) korral on Qwen3.5-397B-SFT-RL skoor FRAMES-is 73,9% kuluga 2,0 senti päringu kohta, samas kui GPT-5.4 skoor on 67,8% kuluga 8,5 senti ja Sonnet 4.6 skoor 62,4% kuluga 15,3 senti. See tähendab +6 punkti täpsust 4 korda madalama kuluga võrreldes GPT-5.4-ga ja +11,5 punkti 7,5 korda madalama kuluga võrreldes Sonnet 4.6-ga.

Need hinnangud kasutavad avaliku API hinnakirja ilma vahemäluta. Majasiseste järelduste optimeerimiste, nagu KV vahemälu korduskasutuse, eesliite vahemälu ja kvanditud MoE teenindamise abil (397B kasutab ainult 17B aktiivset parameetrit), saab tegelikku kulu alandada tunduvalt allapoole API hinnakirja.

Juurendeeskirjadele vastavuse eraldamine otsingu optimeerimisest kaheetapilise SFT ja RL torujuhtme kaudu annab tulemuseks mudeli, mis on tootmispiirangute raames nii võimekas kui ka usaldusväärne. Kontrollitava QA ja rubriigipõhiste treeningandmete kombinatsioon koos väravaga preemiate agregeerimise ja ankurdatud tõhususe kujundamisega võimaldab stabiilset mitme eesmärgiga optimeerimist ilma otsingutäpsust või turvapiirete nõuetele vastavust ohverdamata.

Mitmed suunad väärivad edasist uurimist. Nagu on näha joonisel 4, näitab treeningu ja inferentsi KL-hälve püsivat ülespoole triivi pikemate treeningsammude korral. Kuigi tokenitaseme IS-i korrigeerimine osutub meie praeguses seades piisavaks, on ebaselge, kas see jääb kehtima ka suuremas skaalas; põhjalikum teoreetiline käsitlus sellest lahknevusest — hõlmates taristutaseme erinevusi ja arhitektuurispetsiifilisi tegureid, nagu MoE suunamine — koos leevendusstrateegiate kvantitatiivsete empiiriliste võrdlustega, jääb oluliseks lahtiseks küsimuseks. Mitme eesmärgiga RL-i puhul hõlmavad paljulubavad suunad järjestikust treeningut (Zeng et al., 2026) koos on-policy destilleerimisega, et optimeerida eesmärke etappide kaupa, leevendades samal ajal katastroofilist unustamist; ning mudelite ühendamist (Fu et al., 2025; Yang et al., 2026), et lahutada ülesandepõhine optimeerimine võimekuse koondamisest. Lõpuks on realistlike mitme tööriistaga töövoogude skaleerimine pikkade horisontidega trajektooride juurde endiselt oluline avatud väljakutse, mis vajab tõenäoliselt paremat krediidijaotust, osaliste rollout’ide tuge ja hindamisi.

DatologyAI. Datbench: Discriminative, faithful, and efficient vision-language model evaluations. https://www.datologyai.com/blog/datbench-discriminative-faithful-and-efficient-vision-language-model-evaluations, jaanuar 2026. Avaldatud 6. jaanuaril 2026. Juurdepääs: 2026-03-04.

J. Duchi ja H. Namkoong. Variance-based regularization with convex objectives. arXiv preprint arXiv:1610.02581, 2016.

Z. Fu, X. Wu, Y. Wang, W. Wang, S. Ye, H. Yin, Y. Chang, Y. Zheng ja X. Zhao. Training-free llm merging for multi-task learning. Teoses: Proceedings of the 63rd Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), lk 33111–33124, 2025.

A. Gunjal, A. Wang, E. Lau, V. Nath, Y. He, B. Liu ja S. Hendryx. Rubrics as rewards: Reinforcement learning beyond verifiable domains. arXiv preprint arXiv:2507.17746, 2025.

J. Liu, Y. Li, Y. Fu, J. Wang, Q. Liu ja Y. Shen. When speed kills stability: Demystifying rl collapse from the training-inference mismatch. Notion Blog, 2025a.

S.-Y. Liu, X. Dong, X. Lu, S. Diao, P. Belcak, M. Liu, M.-H. Chen, H. Yin, Y.-C. F. Wang, K.-T. Cheng jt. Gdpo: Group reward-decoupled normalization policy optimization for multi-reward rl optimization. arXiv preprint arXiv:2601.05242, 2026.

T. Liu, R. Xu, T. Yu, I. Hong, C. Yang, T. Zhao ja H. Wang. Openrubrics: Towards scalable synthetic rubric generation for reward modeling and llm alignment. arXiv preprint arXiv:2510.07743, 2025b.

R. Lu, Z. Hou, Z. Wang, H. Zhang, X. Liu, Y. Li, S. Feng, J. Tang ja Y. Dong. Deepdive: Advancing deep search agents with knowledge graphs and multi-turn rl. arXiv preprint arXiv:2509.10446, 2025.

W. Ma, H. Zhang, L. Zhao, Y. Song, Y. Wang, Z. Sui ja F. Luo. Stabilizing moe reinforcement learning by aligning training and inference routers. arXiv preprint arXiv:2510.11370, 2025.

T. Pham, N. Nguyen, P. Zunjare, W. Chen, Y.-M. Tseng ja T. Vu. Sealqa: Raising the bar for reasoning in search-augmented language models. arXiv preprint arXiv:2506.01062, 2025.

O. Press, M. Zhang, S. Min, L. Schmidt, N. A. Smith ja M. Lewis. Measuring and narrowing the compositionality gap in language models. Teoses: Findings of the Association for Computational Linguistics: EMNLP 2023, lk 5687–5711, 2023.

P. Qi, X. Zhou, Z. Liu, T. Pang, C. Du, M. Lin ja W. S. Lee. Rethinking the trust region in llm reinforcement learning. arXiv preprint arXiv:2602.04879, 2026.

Z. Shao, P. Wang, Q. Zhu, R. Xu, J. Song, X. Bi, H. Zhang, M. Zhang, Y. Li, Y. Wu jt. Deepseekmath: Pushing the limits of mathematical reasoning in open language models. arXiv preprint arXiv:2402.03300, 2024.

Z. Tao, J. Wu, W. Yin, J. Zhang, B. Li, H. Shen, K. Li, L. Zhang, X. Wang, Y. Jiang jt. Webshaper: Agentically data synthesizing via information-seeking formalization. arXiv preprint arXiv:2507.15061, 2025.

vLLM-i ja TorchTitani meeskonnad. No more train-inference mismatch: Bitwise consistent on-policy reinforcement learning with vLLM and TorchTitan. https://blog.vllm.ai /2025/11/10/bitwise-consistent-train-inference.html, november 2025. vLLM Blog.

J. Wu, W. Yin, Y. Jiang, Z. Wang, Z. Xi, R. Fang, D. Zhou, P. Xie ja F. Huang. Webwalker: Benchmarking llms in web traversal, 2025. URL https://arxiv.org/abs/ 2501.07572.

A. Yang, A. Li, B. Yang, B. Zhang, B. Hui, B. Zheng, B. Yu, C. Gao, C. Huang, C. Lv jt. Qwen3 technical report. arXiv preprint arXiv:2505.09388, 2025.

E. Yang, L. Shen, G. Guo, X. Wang, X. Cao, J. Zhang ja D. Tao. Model merging in llms, mllms, and beyond: Methods, theories, applications, and opportunities. ACM Computing Surveys, 58(8):1–41, 2026.

F. Yao, L. Liu, D. Zhang, C. Dong, J. Shang ja J. Gao. Your efficient rl framework secretly brings you off-policy rl training, Aug. 2025. URL https://fengyao.notion.s ite/off-policy-rl.

A. Zeng, X. Lv, Z. Hou, Z. Du, Q. Zheng, B. Chen, D. Yin, C. Ge, C. Xie, C. Wang jt. Glm-5: from vibe coding to agentic engineering. arXiv preprint arXiv:2602.15763, 2026.

C. Zheng, K. Dang, B. Yu, M. Li, H. Jiang, J. Lin, Y. Liu, H. Lin, C. Wu, F. Hu jt. Stabilizing reinforcement learning with llms: Formulation and practices. arXiv preprint arXiv:2512.01374, 2025a.

C. Zheng, S. Liu, M. Li, X.-H. Chen, B. Yu, C. Gao, K. Dang, Y. Liu, R. Men, A. Yang jt. Group sequence policy optimization. arXiv preprint arXiv:2507.18071, 2025b.

BibTeX

@online{perplexity2026AdvancingSearchAugmentedLanguageModels,
  author = {{Perplexity} and Denis Yarats and Dongqi Wu and Hang Wu and Randy Ardywibowo and Senzeyu Zhang and Yunfan Zhong and Ziqing Hu and Clare Southern and Riley Carlson and Yi He and Erin McKnight and Mara Sohn and Phi Hoang},
  title = {{Advancing search-augmented language models}},
  date = {2026-04-22},
  url = {https://perplexity.coolkeypoint.com/hub/blog/advancing-search-augmented-language-models}
}

Sissejuhatus

Kaheetapiline treeningtorujuhe

SFT etapp

RL-i etapp

RL-i treeningandmed

Kontrollitavad otsinguagendi andmed

Näide (3-hüppeline)

Rubriigipõhised üldise vestluse andmed

Näide

Viipade segu ja dispersiooni tasakaalustamine

Preemia kujundus

Baastaseme preemia

Eelistuste modelleerimine

Tõhususe karistus

Põhitulemused

Treeningu dünaamika

Võrguühenduseta hindamised

Tööriista kasutamise tõhususe hindamised

Kokkuvõte

Viited

Tsitaat