Paieškos išplėstų kalbos modelių tobulinimas

Pažangių internetinės paieškos agentų mokymas reikalauja vienu metu optimizuoti kelis tikslus: faktinį tikslumą, trajektorijos efektyvumą ir suderinimą su naudotojo pirmenybėmis. Tačiau bet kurio vieno matmens tobulinimas atskirai dažnai pablogina kitus: modeliai, išmokyti tik dėl tikslumo, linkę per daug naudoti įrankius, o modeliai, optimizuoti trumpumui, gali paaukoti patikimumą arba išsamumą. „Perplexity“ bendrovėje jokių tokių rezultatų negalima toleruoti.

Šiame straipsnyje aprašomas „Perplexity“ mokymo po parengiamojo etapo procesas, skirtas kurti pažangiausius internetinės paieškos agentus, pagrįstus atvirojo kodo modeliais. Pagrindinė idėja yra ta, kad paieškos agentų mokymo metu duomenų telkimas ir atlygio kūrimas turi būti kuriami kartu: duomenys nustato, kuris elgesys yra pastebimas ir patvirtinamas, o atlygis nustato, kaip šie signalai paverčiami optimizavimo signalu. Šis principas lemia mūsų dviejų etapų konvejerį: pirmiausia atliekame prižiūrimo tiksliojo derinimo (angl. Supervised Fine-Tuning, SFT) paruošiamąjį etapą, kad inicijuotume politikos modelį, o tada patobuliname politikos modelį naudodami sustiprinamąjį mokymą (angl. Reinforcement Learning, RL) su kuruotu duomenų rinkiniu ir kruopščiai suplanuotais atlygiais. Šis dviejų etapų požiūris užtikrina patikimą tikslumo, efektyvumo ir atsakymo kokybės padidėjimą esant gamybiniams apribojimams.

Pirmiausia aprašome savo dviejų etapų mokymo konvejerį (SFT → RL vykdomosios politikos rėmuose), po kurio pateikiamas mūsų RL mokymo duomenų kūrimas, apimantis tiek patvirtinamus paieškos agentų DKA, tiek rubrikomis pagrįstą bendrąjį pokalbį. Tuomet pristatome sudėtinį atlygio dizainą, kildinamą iš šios heterogeninės duomenų aplinkos, kuris subalansuoja kokybę ir efektyvumą bei sušvelnina atlygio manipuliavimą (angl. reward hacking). Galiausiai išanalizuojame mokymo dinamiką ir etaloninių testų rezultatus.

Taikome dviejų etapų mokymo po parengiamojo etapo receptą: (i) SFT, kad būtų nustatytas diegimui kritinis elgesys, toks kaip apsauginiai filtrai (pvz., susilaikymas), nurodymų vykdymas ir kalbos nuoseklumas, bei (ii) RL vykdomosios politikos rėmuose, kad būtų pagerintos paieškos galimybės, įskaitant atsakymų tikslumą ir įrankių naudojimo efektyvumą, išlaikant I etapo elgesį.

Kodėl du etapai? Bendras paieškos kokybės ir diegimo apribojimų optimizavimas per vieną RL etapą yra sudėtingas nepaaukojant bent vieno tikslo. Empiriškai nustatyta, kad tik RL pagrįstas mokymas pagerina paieškos našumą, bet linkęs pasiekti prastesnių rezultatų įgyvendinant diegimo apsauginius filtrus, tuo tarpu SFT pagerina atitiktį paieškos našumo sąskaita. Tikslų atskyrimas leidžia SFT etapui pirmiausia išspręsti nesiderinamus reikalavimus, po to RL gali daugiausia dėmesio skirti paieškos galimybių gerinimui.

Inicijuojame nuo „Qwen3“ modelių šeimos (Qwen3.5-122B-A10B ir Qwen3.5-397B-A17B) (Yang ir kt., 2025, Qwen3.5 tinklaraščio įrašas) ir sukuriame dviejų komponentų SFT mišinio duomenų rinkinį, skirtą pirmiau aprašytam diegimui kritiniam elgesiui, kartu išsaugant bazinio modelio bendrąsias paieškos galimybes.

Į pirmenybes orientuoti pavyzdžiai. Kuruojame nurodymų vykdymo ir stiliaus pavyzdžius, orientuotus į toną, kalbos nuoseklumą, aiškumą ir formatavimą. Šie pavyzdžiai neprivalo turėti vienintelės neginčijamos teisybės; greičiau jie yra atrinkti taip, kad atspindėtų produkto tekstų kūrimo reikalavimus ir užtikrintų stiliaus nuoseklumą įvairių tipų užklausose.

Gamybinio formato įrankių naudojimo trajektorijos. Empiriškai nustatėme, kad SFT be kruopštaus duomenų rinkinio telkimo gali iš esmės sumažinti bazinio modelio paieškos galimybes. Kad tai sušvelnintume, atrenkame užklausas ir vidines užduotis iš įvairių sąveikos šablonų (vienašalių, dvišalių ir daugiašalių) bei jas anotuojame naudodami mūsų įrankių kvietimo sistemą.

Pradėdami nuo SFT kontrolinio taško, taikome RL vykdomosios politikos rėmuose, kad pagerintume paieškos tikslumą ir efektyvumą. Optimizuojame politikos modelį naudodami grupės santykinės politikos optimizavimą (angl. Group Relative Policy Optimization, GRPO) (Shao ir kt., 2024).

\mathcal{J}_{\text{GRPO}}(\theta) = \frac{1}{G}\sum_{i=1}^{G} \frac{1}{|o_i|}\sum_{t=1}^{|o_i|} r_{i,t}(\theta)\hat{A}_{i,t},

kur $G$ yra grupės dydis, $o_{i}$ žymi $i$ -ąją atrinktą išvestį, o $\hat{A}_{i, t} = \hat{A}_{i}$ yra pranašumas. Atlygio dizainas išsamiai aprašytas atlygio dizaino skyriuje; trumpai tariant, mes suderiname bazinį teisingumą su į pirmenybes orientuotu ir inkorporuotu efektyvumo formavimu. Remdamiesi ankstesniu darbu (Liu ir kt., 2025a; Yao ir kt., 2025; Zheng ir kt., 2025a), taikome žetonų lygio svarbos atranką (angl. Importance Sampling, IS), kad ištaisytume mokymo ir inferencijos neatitikimą:

r_{i,t}(\theta) = \frac{\pi_{\text{train}}(\theta)}{\mu_{\text{infer}}(\theta)}.

Vertiname kelis metodus, skirtus treniravimo ir inferencijos neatitikčiai mažinti, įskaitant sekos lygmens IS (Zheng et al., 2025b), maršruto pakartotinį paleidimą (Ma et al., 2025; Zheng et al., 2025b) ir bitų lygmens nuoseklų treniravimą, kuris treniravimo metu integruoja inferencijos variklio branduolį (vLLM and TorchTitan Teams, 2025). Empiriškai, mūsų pagal politiką nustatytoje aplinkoje nustatėme, kad žetono lygmens IS yra pakankamas, kad būtų išvengta treniravimo kolapso, ir kartu išlieka paprastas įgyvendinti; tai atitinka Zheng et al (2025a) išvadas.

Mūsų RL mokymo duomenis sudaro du papildomi komponentai: patvirtinami paieškos agentų DKA, orientuoti į bendras paieškos galimybes, ir rubrikomis pagrįstas bendrasis pokalbis, kuriame aiškiai sustiprinami diegimo apsauginiai filtrai, siekiant išvengti regresijos RL mokymo etape.

Duomenų rinkinio kūrimas. Vadovaudamiesi nuoseklaus plėtimo metodu (Tao ir kt., 2025), sukuriame nuosavą sintetinį DKA duomenų rinkinį iš vidinių pradinių užklausų, nesiremdami kuruotu žinių grafu, todėl konvejeris išlieka lengvas ir lengvai atnaujinamas. Kiekvienas sintetinis pavyzdys generuojamas atliekant šiuos veiksmus:

Pradinė atranka. Padedančias užklausoms atrandame dokumentus ir atrenkame esybes su daugelio šaltinių fakto patvirtinimu kaip pradinius taškus, ištraukdami atominius teiginius apie jas.
Kelių pakopų grandinės kūrimas. Iš pradinės esybės teiginių atrenkame vieną, kuris pristato antrąją esybių grandinę (pvz., pradinei esybei „The Mom Test“, teiginys „written by Rob Fitzpatrick“ pristato autorių kaip kitą esybę). Šį susiejimo procesą pakartojame 2–4 kartus, užtikrindami, kad kiekviena esybė būtų atskira ir kad joks vienas teiginys akivaizdžiai neatskleistų galutinio atsakymo.
Klausimų sintezė be pavadinimų. Esybių grandinę paverčiame klausimu, rekursyviai pakeisdami esybių pavadinimus jų jungiamaisiais teiginiais, sukurjant įdėtinį klausimą, reikalaujantį kelių pakopų samprotavimo.
Patvirtinimas. Paliekame tik klausimus su unikaliais atsakymais, kuriuos patvirtino keli nepriklausomi žiniatinkliu pagrįsti sprendikliai.

Apsvarstykime pradinę užklausą „The Mom Test“. Atsiimame dokumentus ir nustatome šią knygą kaip pradinę esybę, tada ištraukiame atominius faktinius teiginius ir iteratyviai sukuriame esybių grandinę: (i) The Mom Test parašė Rob Fitzpatrick, pristatydama Rob Fitzpatrick; (ii) Rob Fitzpatrick pirmoji startuolio įmonė praėjo Y Combinator (2007 m. vasara), pristatydama Y Combinator; (iii) Y Combinator buvo paleistas 2005 m. kovą. Rekursyviai pakeičiant kiekvienos esybės pavadinimą jos aprašu gaunamas klausimas be pavadinimo: „Kurią knygą parašė asmuo, kurio pirmoji startuolio įmonė praėjo greitintuvą, paleistą 2005 m. kovą, jos 2007 m. vasaros sraute?“ su atsakymu „The Mom Test“.

Formato įvairovės didinimas. Modeliai, išmokyti tik naudojant neapdorotus sintetinius DKA, yra linkę ignoruoti formatavimo pageidavimus ir numatytuoju būdu taikyti fiksuotą atsakymo struktūrą, neatsižvelgiant į tai, kaip suformuluota užklausa. Siekiant pagerinti formato įvairovę, duomenų rinkinį papildome užklausomis, kuriose yra aiškūs formatavimo nurodymai (pvz., „Parodykite sąrašą . . . “ arba „Apibendrinkite . . . lentelėje“), nesikeičiant pagrindiniam atsakymui.

Vieši patvirtinami DKA (bazinė linija). Sukuriame bazinį patvirtinamų DKA duomenų rinkinį iš penkių atvirojo kodo duomenų rinkinių (Lu ir kt., 2025; Pham ir kt., 2025; Press ir kt., 2023; Tao ir kt., 2025; Wu ir kt., 2025), sujungtų pagal mūsų išplėstą užklausos formatą su kokybės filtravimu. Šis mišinys tarnauja kaip pagrindinė bazinė linija mūsų tikrinimo eksperimentuose. Kontroliuojamiems palyginimams pritaikome savo nuosavo sintetinio DKA duomenų rinkinio mastą prie šio atvirojo kodo mišinio.

Greitas patvirtinimas. Patvirtiname šio konvejerio veiksmingumą naudodami Qwen3-30B-A3B-Instruct-2507, kad užtikrintume greitą iteraciją; rezultatai apibendrinti 1 lentelėje.

Sintetinio patvirtinamo DKA duomenų rinkinio patvirtinimas

Nors patvirtinami DKA suteikia švarų mokymo signalą į paiešką orientuotoms užklausoms, didelė gamybinio srauto dalis nėra unikaliai patvirtinama (pvz., perrašymas, planavimas ir atviro pobūdžio pagalba). Tokių užklausų pašalinimas iš RL paliktų politiką nepakankamai optimizuotą tikroms naudotojų sąveikoms. Be to, nors SFT etapas nustato diegimui kritinius apsauginius filtrus, RL gali patirti jų regresiją, nebent jie būtų aiškiai sustiprinti duomenimis.

Į RL treniravimą įtraukiame nepatikrinamas užklausas, deploymentui kritinius reikalavimus — instrukcijų laikymąsi, formatavimo apribojimus ir saugumo nuostatas — paversdami rubrikomis: atominiais, objektyviai patikrinamais kriterijais, kuriuos turi atitikti atsakymas. Taikome rubrikomis pagrįstą duomenų kūrimą (Gunjal et al., 2025; Liu et al., 2025b), kiekvienai užklausai generuodami rubrikų rinkinius.

Rubrikų generavimas. Atsižvelgdami į visą pokalbių istoriją, paraginkime LLM sukurti etaloninį atsakymą ir atitinkamą rubrikų rinkinį. Rubrikos sudaromos taikant fiksuotą pirmenybės tvarką: aiškiai naudotojo nurodyti reikalavimai turi pirmenybę, po jų eina vidiniai apribojimai ir galiausiai būtini turinio reikalavimai, išplaukiantys iš etaloninio atsakymo. Kiekviena rubrika turi būti:

Atominė: vienas, aiškiai apibrėžtas patikrinimas;
Objektyvi: patvirtinama be subjektyvaus vertinimo;
Būtina: reikalinga atsakyti į užklausą, o ne tik stiliaus pageidavimas.

Užklausa.

She will share u man power planning. We have to arrange lodging & boarding. Plz correct swntence.

Rubrikos.

Atsakymas parašytas anglų kalba.
Ištaisytoje formuluotėje yra žodžiai „lodging“ ir „boarding“.
Ištaisytoje formuluotėje vartojamas žodis „manpower“ kaip vienas žodis (pavyzdžiui, „manpower plan“ arba „manpower planning“), o ne „man power“.
Ištaisytoje formuluotėje nėra neoficialių trumpinių „u“ arba „Plz“ ir nėra ampersando ženklo „&“.
Atsakyme nėra \\[type:idx\\] formos citavimo žymų, kur type žymi duomenų šaltinį (pavyzdžiui, web, chart, memory, attached_file).

Rubrikų kalibravimas. Kad išvengtume per daug griežtų arba per daug atlaidžių rubrikų rinkinių, taikome pass@4 filtrą. Kiekvienai užklausai atrenkame keturis nepriklausomus atsakymus ir juos įvertiname pagal visą rubrikų rinkinį su nurodymų vykdymo vertintoju. Atmetame užklausas, kurioms nei vienas atsakymas neatitinka rubrikų rinkinio arba atitinka visi, palikdami tik tas, kurios duoda informatyvų mokymo signalą.

Praktinis iššūkis daugiatiksliame RL yra dispersijos nesubalansavimas tarp duomenų komponentų (Duchi ir Namkoong, 2016; Liu ir kt., 2026; Qi ir kt., 2026). Nors tiek patvirtinami DKA, tiek rubrikomis pagrįsti duomenys duoda dvejetainius atlygius, jie iš esmės skiriasi užduoties sudėtingumu: rubrikų tenkinimą paprastai lengviau pasiekti mokymo pradžioje, sukuriant didesnius ir dažnesnius gradiento atnaujinimus, kurie gali neproporcingai dominuoti politikos optimizavime lyginant su sunkesniu patvirtinamu DKA signalu. Siekiant tai išspręsti, iš naujo pasveriame užklausų mišinį duomenų rinkinio lygiu, atrenkant 90% iš patvirtinamų DKA ir 10% iš rubrikomis pagrįstų duomenų, kad būtų subalansuotas optimizavimo signalas tarp komponentų.

Mūsų atlygio dizainas tiesiogiai išplaukia iš pirmiau aprašyto duomenų kūrimo. Nepaisant to, kad apima tiek patvirtinamus DKA, tiek rubrikų užduotis, visi mokymo duomenys turi bendrą bazinę atlygio struktūrą: išvedimas gauna kreditus, jei pateikia teisingą atsakymą DKA užduotims arba patenkina visas nurodytas rubrikas bendrajam pokalbiui. Remdamiesi šiuo bendru pagrindu, sukuriame sudėtinį atlygį, kad įtrauktume į pirmenybes orientuotą vertinimą ir efektyvumo formavimą.

Pagrindinis iššūkis, pastebėtas ankstyvuosiuose eksperimentuose, buvo atlygio manipuliavimas: paprastas linijinis atlygių derinys leido stipriems pirmenybės signalams kompensuoti faktines ar mokymo nesėkmes. Todėl kaip pagrindinį dizaino principą priimame valdomą agregavimą (angl. gated aggregation), kuris formaliai apibrėžiamas kaip:

R(\tau_i) = r_{\text{base}}(\tau_i) \cdot s(\tau_i) \;-\; \operatorname{pen}_{\text{eff}}(\tau_i),

kur $r_{\mathrm{base}}(\tau_i) \in \{0, 1\}$ žymi DKA teisingumą arba rubrikų tenkinimą, $s(\tau_i)\in[0,1]$ yra pirmenybės balas, o $\operatorname{pen}_{\mathrm{eff}}(\tau_i)$ yra inkorporuota efektyvumo nuobauda. Dėl to teisingumas tampa būtina sąlyga gauti pirmenybės kreditus, kartu vis dar atgrasantis nuo nereikalingo įrankių naudojimo ir daugiažodžiavimo. 1 paveiksle iliustruojamas visas atlygio konvejeris, kurio komponentus aprašome toliau:

Atlygio dizaino apžvalga. Sujungiame bazinį teisingumo signalą (patvirtinamą / rubrikos), Bradley–Terry pirmenybės balą ir inkorporuotas efektyvumo nuobaudas. Pirmenybė yra valdoma bazinio teisingumo, kad būtų išvengta atlygio manipuliavimo.

Apibrėžiame dvejetainį bazinį signalą $r_{\mathrm{base}}(\tau_i) \in \{0,1\}$ , kuris atspindi užduoties teisingumą arba nurodymų atitiktį. Patvirtinamiems paieškos agentų duomenims $r_{\mathrm{base}}(\tau_i)=1$ , jei galutinis atsakymas sutampa su teisybe, ir $0$ kitu atveju. Rubrikomis pagrįstiems bendrojo pokalbio duomenims $r_{\mathrm{base}}(\tau_i)=1$ , jei patenkinamos visos rubrikos, ir $0$ kitu atveju. Ši bazinė linija tarnauja kaip griežtas vartas sąlyginio agregavimo taisyklėje (2 lygtis).

Siekiame suderinti politikos modelį su naudotojų paslėptomis pirmenybėmis atsakymo kokybei – informatyvumui, aiškumui ir profesionaliam tonui, kuriuos sunku užfiksuoti naudojant LLM vertintojo užklausas. Todėl išmokome išmoktą pirmenybės atlygio modelį, kad tiesiogiai įvertintume šiuos atributus.

Suformuluojame pirmenybės mokymą pagal Bradley–Terry sistemą. Duotam kontekstui $x$ ir dviem kandidatų atsakymams $y_a, y_b$ modelis sukuria skaliarinius balus $s_{\theta}(x, y) \in \mathbb{R}$ ir sumažina,

\ell_{\text{BT}}(\theta; x, y_a, y_b, r) = -\Big[r \log \sigma(\Delta_\theta) + (1-r) \log\bigl(1 - \sigma(\Delta_\theta)\bigr)\Big], \\ \Delta_\theta = s_\theta(x, y_a) - s_\theta(x, y_b)

kur $r \in \{0, 1\}$ nurodo, ar $y_a$ yra pageidaujamas. Siekiant pašalinti pozicinį šališkumą, kiekviena mokymo pora papildoma abiem eiliškumais ir optimizuojama simetriškai,

\mathcal{L}_{\text{sym}} = \tfrac{1}{2}\,\ell_{\text{BT}}(x, y_a, y_b, r) + \tfrac{1}{2}\,\ell_{\text{BT}}(x, y_b, y_a, 1-r).

Inferencijos metu gauname nuo pozicijos nepriklausomą pirmenybės balą, suvidurkindami abi permutacijas:

\bar{\Delta}_\theta(x, y_a, y_b) = \tfrac{1}{2}\Big[\Delta_\theta(x, y_a, y_b) - \Delta_\theta(x, y_b, y_a)\Big], \\ \bar{P}_\theta(x, y_a, y_b) = \sigma\bigl(\bar{\Delta}_\theta(x, y_a, y_b)\bigr).

Išvedimo pirmenybės balas tuomet apibrėžiamas kaip $s(\tau_i) \triangleq \bar{P}_{\theta}(x, y_a, y_b) \in [0,1]$ , t. y. tikimybė, kad politikos išvedimas $y_i$ yra pageidaujamas lyginant su etaloninio modelio išvedimu tai pačiai užklausai.

Pirmenybės modeliavimo mokymo duomenys yra paimti iš kuruotų atvirojo kodo duomenų rinkinių, naudotojų tiesioginio atsiliepimo ir vidinių anotacijų. Siekiant išspręsti etikečių triukšmą, taikome lengvą filtravimo ir kalibravimo konvejerį, įkvėptą „Datbench“ (DatologyAI, 2026), paliekant tik pavyzdžius su nuosekliu tarpmodeliniu sutarimu. Atlygio modelis dalijasi tuo pačiu pagrindu kaip ir politikos modelis, kalbos modeliavimo galvutę pakeičiant vertės galvute. Nors mažesni atlygio modeliai pasiekia panašų sulaikytą tikslumą, empiriškai nustatėme, kad jie nesugeba užfiksuoti smulkių pirmenybių ir gali sustiprinti nepageidaujamą politikos elgesį.

Nesant aiškaus efektyvumo formavimo, politika linkusi per daug naudoti įrankius net ir paprastoms užklausoms. Besąlyginės nuobaudos (pvz., augančios tiesiškai proporcingai įrankių kvietimų skaičiui arba išvesties ilgiui) yra natūrali bazinė linija, tačiau pastebėjome, kad jos slopina būtiną tyrinėjimą ir pablogina mokymąsi. Todėl pritaikome grupės santykines, inkorporuotas nuobaudas, kurios reguliuoja įrankių naudojimą ir atsakymo ilgį lyginant su efektyviais sprendimais kiekvienoje GRPO grupėje. Grupei 𝑔 nustatome nugalėtojų rinkinį kaip:

W_g = \{\, i : r_{\text{base}}(\tau_i) = 1 \,\}.

Inkorporuota įrankių kvietimo nuobauda. Kiekvienam išvedimui $\tau_i$ tegu $c_i$ žymi įrankių kvietimų skaičių, o $e_i$ – įrankio vykdymo nesėkmių skaičių. Apibrėžiame veiksmingą įrankio kvietimų skaičių $\tilde{c}_i = c_i - e_i$ ir tolygiai atrenkame grupės bazinę liniją:

b_g \sim \operatorname{Unif}\!\left(\min_{j \in W_g} \tilde{c}_j,\ \left\lceil \operatorname{mean}_{j \in W_g} \tilde{c}_j \right\rceil\right).

Apskaičiuojame perteklių $\Delta_i = \max\!\left(0,\; \tilde{c}_i - b_g\right)$ ir apibrėžiame tolygų nuobaudos skaliarą $p_i = 1 - \exp\!\left(-\Delta_i\right)$ . Įrankio nuobauda tuomet yra:

\operatorname{pen}_{\text{tool}}(\tau_i) = \begin{cases} \alpha_{\text{win}}\, p_i, & i \in W_g, \\ \alpha_{\text{lose}}\, p_i + \beta_{\text{lose}}, & i \notin W_g, \end{cases}

Inkorporuota ilgio nuobauda. Tegu $L_i$ ir $L_i^{\mathrm{ref}}$ atitinkamai žymi kandidato ir etaloninio modelio generavimų žetonų ilgius. Apibrėžiame formavimo rinkinį $\widehat{W}_g$ kaip išvedimus, kurie yra ir teisingi, ir pageidaujami:

\widehat{W}_g = \{\, \underbrace{i \in W_g}_{\text{correct}} \;:\; \underbrace{s(\tau_i) \geq 0.5}_{\text{preferred}} \,\}.

Tuomet apskaičiuojame grupei specifines ilgio bazines linijas:

\underbrace{b_{g,\text{win}}}_{\substack{\text{avg. ref. length} \\ \text{of winners}}} = \operatorname{mean}_{j \in \widehat{W}_g} L_j^{\text{ref}}, \qquad \underbrace{b_{g,\text{lose}}}_{\substack{\text{avg. ref. length} \\ \text{of losers}}} = \operatorname{mean}_{j \notin \widehat{W}_g} L_j^{\text{ref}}.

Ilgio nuobauda apibrėžiama kaip:

\operatorname{pen}_{\text{len}}(\tau_i) = \begin{cases} 1, & L_i > \max_j L_j^{\text{cmp}} \\ 1 - \exp\!\left(-\max\!\left(0,\ \dfrac{L_i}{b_{g,\text{win}}} - 1\right)\right), & i \in \widehat{W}_g \\ 1 - \exp\!\left(-\max\!\left(0,\ \dfrac{b_{g,\text{lose}}}{L_i} - 1\right)\right), & i \notin \widehat{W}_g \end{cases}

kur pirmoji eilutė yra griežta viršutinė riba; antroji nubaudžia daugiažodžius nugalėtojus; o trečioji nubaudžia pernelyg trumpus pralaimėtojus.

Bendras efektyvumo nuobaudos dydis. Bendras efektyvumo nuobaudos dydis yra pasvertoji abiejų komponentų suma:

\operatorname{pen}_{\text{eff}}(\tau_i) = \lambda_{\text{tool}}\, \operatorname{pen}_{\text{tool}}(\tau_i) + \lambda_{\text{len}}\, \operatorname{pen}_{\text{len}}(\tau_i).

Įvertiname savo mokymo po parengiamojo etapo konvejerį pagal dvi ašis: (i) mokymo dinamiką, siekiant įvertinti optimizavimo stabilumą ir tai, ar atlygio signalai elgiasi kaip tikėtasi, ir (ii) neesamuosius etaloninius testus (angl. offline benchmarks), kad išmatuotume galutinę kokybę, saugą ir efektyvumą esant kontroliuojamoms vertinimo sąlygoms.

Numatytieji mokymo nustatymai. Politikos modelis sąveikauja su internetinės paieškos įrankiu (search_web); kiekvienas įrankio kvietimas gauna iki 10 rezultatų, užklausos apribotos iki 250 simbolių, o vienam išvedimui leidžiama iki 5 užklausų.

Išnagrinėkime optimizavimo dinamiką, sutelkiant dėmesį į atlygio progresavimą ir efektyvumo elgseną. Iliustravimo paprastumui naudojame Qwen3.5-397B-A11B modelį.

Bazinės linijos ir pirmenybės signalų raida mokymo metu.

2 paveiksle rodomas tolygus bazinio atlygio (patvirtinamų DKA ir rubrikų tenkinimo) pagerėjimas kartu su didėjančiais pirmenybės balais, nurodant nuoseklų teisingumo, atitikties ir atsakymo kokybės padidėjimą.

Efektyvumo elgsena ir inkorporuotos formavimo nuobaudos mokymo metu.

3 paveikslas demonstruoja, kad tiek įrankio kvietimų dažnis, tiek generavimo ilgis išlieka gerai valdomi viso mokymo metu. Pažymėtina, kad tiek įrankio kvietimo, tiek ilgio nuobaudos mažėja monotoniškai mokymo eigoje, atspindėdamos laipsnišką modelio prisitaikymą link trumpesnio generavimo ir selektyvesnio įrankių kvietimo.

4 paveikslas rodo, kad gradiento normos išlieka stabilios, neskaitant trumpalaikių šuolių, o mokymo ir inferencijos KL divergencija rodo nežymią kilimo Tendenciją, išlikdama 1e-3 skalės ribose. Šis dreifo šablonas dera su stebėjimais kitose RL mokymo sistemose; kadangi mokymas išlieka stabilus viso proceso metu, 1 lygtityje paliekame paprastą IS reguliavimą be papildomo įsikišimo.

Pateikiame rezultatus etaloninių testų rinkinyje, apimančiame paieškos tikslumą, faktinį patikimumą, nurodymų vykdymą ir saugą, kurį sudaro tiek viešieji etaloniniai testai, tiek vidiniai „Perplexity“ (PPLX) metrikų rodikliai. Viešiesiems etaloniniams testams priskiriami SimpleQA, FRAMES ir Facts Open.

pplx-sbs-search: Tiesioginis pirmenybės vertinimas (angl. side-by-side) naudojant vidinį atlygio modelį. Kandidatai lyginami su stipria bazine linija.
pplx-abstention: Gebėjimas tinkamai atsisakyti, kai nėra patikimų įrodymų.
pplx-language-mismatch: Kalbos nuoseklumas ilgajame uodegos paskirstyme (angl. long-tail) ir kelių žingsnių sąveikos aplinkose.
pplx-broken-tool-calls (↓): Įrankio kvietimo schemos atitiktis ir apribojimų vykdymas, pavyzdžiui, tool_choice=none.

Numatytieji vertinimo nustatymai. Viešiesiems etaloniniams testams leidžiame tik internetinės paieškos įrankį, skiriant iki 5 įrankio kvietimų biudžetą vienam pavyzdžiui ir iki 10 rezultatų vienam kvietimui, sugeneruojant iki 8192 išvesties žetonų 0.6 temperatūroje.

Neesamojo vertinimo rezultatai. Skaičiai skliausteliuose nurodo vidutinį įrankio naudojimą. Pažymime Qwen3.5-397B-A17B kaip Qwen3.5-Large, o Qwen3.5-122B-A10B kaip Qwen3.5-Medium.

2 lentelėrodo, kad Qwen3.5-Large-SFT-RL pasiekia stiprų paieškos tikslumą visuose viešuosiuose etaloniniuose testuose, prilygdamas arba viršydamas gpt-5.4 ties FRAMES ir Facts Open, naudojant palyginamus įrankių biudžetus. Palyginti su bazineis modeliais, mūsų požiūris duoda žymaus prieaugio vidaus metrikose, ypač pirmenybės (pplx-sbs-search: 0.602 → 0.742), kalbos nuoseklumo ir susilaikymo srityse, įrodant, kad dviejų etapų konvejeris efektyviai pagerina diegimui kritinį elgesį nepaaukojant paieškos galimybių.

Norėdami tai išmatuoti, suprojektuojame biudžeto prievartos vertinimo protokolą. Kiekvienam modeliui suteikiama prieiga prie internetinės paieškos įrankio (search_web) ir sistemos raginimo, kuris nurodo griežtą leidžiamų įrankio kvietimų skaičiaus viršutinę ribą („biudžetą“). Šį biudžetą keičiame nuo 0 (jokio įrankio naudojimo, grynos parametrinės žinios) iki 10 (dosnus kelių žingsnių gavimas), fiksuodami tikslumą kiekviename lygyje. Tai sukuria įrankių efektyvumo kreivę: modelio balą kaip atsiėmimo biudžeto, kuris jam leidžiamas, funkciją. Vertiname dviejuose faktinių DKA etaloniniuose testuose – „FRAMES“ ir „Facts Open“.

Etaloninio testo tikslumas lyginant su maks. įrankio kvietimų skaičiumi.

Iš šių dviejų etaloninių testų išsiskiria keli šablonai:

Mūsų mokymą po parengiamojo etapo praėjęs „Qwen3.5-397B-SFT-RL“ pasiekia geriausią paieškos tikslumą abiejuose etaloniniuose testuose. Netgi su vienu įrankio kvietimu jis surinkti 57.3% „FRAMES“, 5.7 punktais viršydamas GPT-5.4 ir 4.7 punktais viršydamas „Sonnet 4.6“.
- Pranašumas yra ryškiausias esant vidutiniams biudžetams (b=2-7), kas yra praktinis gamybinio diegimo veikimo diapazonas.
Mūsų mokymo po parengiamojo etapo receptas (SFT + RL) iš esmės pagerina įrankių naudojimo efektyvumą lyginant su bazine kontroline linija; žr. vientisas linijas (po mokymo po parengiamojo etapo) prieš brūkšnines linijas (pradinę kontrolinę liniją) 5 paveiksle.
Visiems modeliams pastebime mažėjančią grąžą ties biudžetu = 7, kas nuosekliai pasireiškia dviejuose etaloniniuose testuose ir visiems modeliams, nurodant, kad tai yra faktų ieškojimo užduočių savybė, o ne modelių ypatybė.

Aukščiau pateikti rezultatai rodo, kad „Qwen3.5-397B-SFT-RL“ pasiekia didesnį tikslumą naudojant mažiau įrankio kvietimų. Bet kaip tai pasireiškia faktinėmis sąnaudomis? Kad palyginimas būtų konkretus, žetonų lygio matavimus paverčiame piniginėmis išnaudomis JAV doleriais pagal paskelbtą API kainodarą („Alibaba DashScope“, „OpenAI“, „Anthropic“).

Kaina vienai užklausai lyginant su tikslumu.

Esant vidutiniam profiliui (b=4), „Qwen3.5-397B-SFT-RL“ surinkti 73.9% „FRAMES“ ties 2.0 cento už užklausą, kai GPT-5.4 surinkti 67.8% ties 8.5 cento, o „Sonnet 4.6“ surinkti 62.4% ties 15.3 cento. Tai yra +6 punktų tikslumas 4 kartus mažesnėmis sąnaudomis lyginant su GPT-5.4, ir +11.5 punkto 7.5 karto mažesnėmis sąnaudomis lyginant su „Sonnet 4.6“.

Šiuose apskaičiavimuose naudojama sąrašo API kainodara be spartinančiosios atminties (talpyklos). Naudojant vidines inferencijos optimizacijas, tokias kaip KV talpyklos pakartotinis naudojimas, priešdėlio spartinančioji atmintis ir kiekybiškai įvertintas MoE aptarnavimas (397B naudoja tik 17B aktyvių parametrų), efektyvios sąnaudos gali būti gerokai sumažintos žemiau sąrašo API kainodaros.

Diegimo atitikties atskyrimas nuo paieškos optimizavimo per dviejų etapų SFT ir RL konvejerį sukuria modelį, kuris yra ir pajėgus, ir patikimas esant gamybiniams apribojimams. Patvirtinamų DKA ir rubrikomis pagrįstų mokymo duomenų derinys kartu su valdomu atlygio agregavimu ir inkorporuotu efektyvumo formavimu įgalina stabilų daugiatikslį optimizavimą nepaaukojant paieškos tikslumo ar apsauginių filtrų atitikties.

Keletas krypčių nusipelno tolesnio tyrimo. Kaip pastebėta 4 paveiksle, mokymo ir inferencijos KL divergencija rodo nuolatinį augimo dreifą esant išplėstiniams mokymo žingsniams. Nors žetonų lygio IS pataisa pasirodė pakankama mūsų esamoje sąrankoje, ar tai išlieka tiesa esant didesniam mastui, nėra aišku; principingesnis teorinis šio neatitikimo traktavimas, apimantis infrastruktūros lygio neatitikimus ir architektūrai specifinius veiksnius, tokius kaip MoE maršruto parinkimas, kartu su kiekybiniais empiriniais švelninimo strategijų palyginimais, išlieka svarbiu atviru klausimu. Konkrečiai daugiatiksliam RL žadančios kryptys apima nuoseklų mokymą (Zeng ir kt., 2026) su vykdomosios politikos distiliavimu, siekiant optimizuoti tikslus etapais, kartu švelninant katastrofišką užmiršimą; ir modelių sujungimą (Fu ir kt., 2025; Yang ir kt., 2026), kad būtų atskirtas užduotims specifinis optimizavimas nuo galimybių telkimo. Galiausiai, išplėtimas iki realistiškų kelių įrankių darbo eigų su ilgo horizonto trajektorijomis išlieka svarbiu atviru iššūkiu, tikėtinai reikalaujančiu geresnio kreditų priskyrimo, dalinių išvedimų palaikymo ir vertinimų.

DatologyAI. Datbench: Discriminative, faithful, and efficient vision-language model evaluations. https://www.datologyai.com/blog/datbench-discriminative-faithful-and-efficient-vision-language-model-evaluations, Jan. 2026. Published Jan 6, 2026. Accessed: 2026-03-04.

J. Duchi and H. Namkoong. Variance-based regularization with convex objectives. arXiv preprint arXiv:1610.02581, 2016.

Z. Fu, X. Wu, Y. Wang, W. Wang, S. Ye, H. Yin, Y. Chang, Y. Zheng, and X. Zhao. Training-free llm merging for multi-task learning. In Proceedings of the 63rd Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pages 33111–33124, 2025.

A. Gunjal, A. Wang, E. Lau, V. Nath, Y. He, B. Liu, and S. Hendryx. Rubrics as rewards: Reinforcement learning beyond verifiable domains. arXiv preprint arXiv:2507.17746, 2025.

J. Liu, Y. Li, Y. Fu, J. Wang, Q. Liu, and Y. Shen. When speed kills stability: Demystifying rl collapse from the training-inference mismatch. Notion Blog, 2025a.

S.-Y. Liu, X. Dong, X. Lu, S. Diao, P. Belcak, M. Liu, M.-H. Chen, H. Yin, Y.-C. F. Wang, K.-T. Cheng, et al. Gdpo: Group reward-decoupled normalization policy optimization for multi-reward rl optimization. arXiv preprint arXiv:2601.05242, 2026.

T. Liu, R. Xu, T. Yu, I. Hong, C. Yang, T. Zhao, and H. Wang. Openrubrics: Towards scalable synthetic rubric generation for reward modeling and llm alignment. arXiv preprint arXiv:2510.07743, 2025b.

R. Lu, Z. Hou, Z. Wang, H. Zhang, X. Liu, Y. Li, S. Feng, J. Tang, and Y. Dong. Deepdive: Advancing deep search agents with knowledge graphs and multi-turn rl. arXiv preprint arXiv:2509.10446, 2025.

W. Ma, H. Zhang, L. Zhao, Y. Song, Y. Wang, Z. Sui, and F. Luo. Stabilizing moe reinforcement learning by aligning training and inference routers. arXiv preprint arXiv:2510.11370, 2025.

T. Pham, N. Nguyen, P. Zunjare, W. Chen, Y.-M. Tseng, and T. Vu. Sealqa: Raising the bar for reasoning in search-augmented language models. arXiv preprint arXiv:2506.01062, 2025.

O. Press, M. Zhang, S. Min, L. Schmidt, N. A. Smith, and M. Lewis. Measuring and narrowing the compositionality gap in language models. In Findings of the Association for Computational Linguistics: EMNLP 2023, pages 5687–5711, 2023.

P. Qi, X. Zhou, Z. Liu, T. Pang, C. Du, M. Lin, and W. S. Lee. Rethinking the trust region in llm reinforcement learning. arXiv preprint arXiv:2602.04879, 2026.

Z. Shao, P. Wang, Q. Zhu, R. Xu, J. Song, X. Bi, H. Zhang, M. Zhang, Y. Li, Y. Wu, et al. Deepseekmath: Pushing the limits of mathematical reasoning in open language models. arXiv preprint arXiv:2402.03300, 2024.

Z. Tao, J. Wu, W. Yin, J. Zhang, B. Li, H. Shen, K. Li, L. Zhang, X. Wang, Y. Jiang, et al. Webshaper: Agentically data synthesizing via information-seeking formalization. arXiv preprint arXiv:2507.15061, 2025.

vLLM and TorchTitan Teams. No more train-inference mismatch: Bitwise consistent on-policy reinforcement learning with vLLM and TorchTitan. https://blog.vllm.ai /2025/11/10/bitwise-consistent-train-inference.html, nov 2025. vLLM Blog.

J. Wu, W. Yin, Y. Jiang, Z. Wang, Z. Xi, R. Fang, D. Zhou, P. Xie, and F. Huang. Webwalker: Benchmarking llms in web traversal, 2025. URL https://arxiv.org/abs/ 2501.07572.

A. Yang, A. Li, B. Yang, B. Zhang, B. Hui, B. Zheng, B. Yu, C. Gao, C. Huang, C. Lv, et al. Qwen3 technical report. arXiv preprint arXiv:2505.09388, 2025.

E. Yang, L. Shen, G. Guo, X. Wang, X. Cao, J. Zhang, and D. Tao. Model merging in llms, mllms, and beyond: Methods, theories, applications, and opportunities. ACM Computing Surveys, 58(8):1–41, 2026.

F. Yao, L. Liu, D. Zhang, C. Dong, J. Shang, and J. Gao. Your efficient rl framework secretly brings you off-policy rl training, Aug. 2025. URL https://fengyao.notion.s ite/off-policy-rl.

A. Zeng, X. Lv, Z. Hou, Z. Du, Q. Zheng, B. Chen, D. Yin, C. Ge, C. Xie, C. Wang, et al. Glm-5: from vibe coding to agentic engineering. arXiv preprint arXiv:2602.15763, 2026.

C. Zheng, K. Dang, B. Yu, M. Li, H. Jiang, J. Lin, Y. Liu, H. Lin, C. Wu, F. Hu, et al. Stabilizing reinforcement learning with llms: Formulation and practices. arXiv preprint arXiv:2512.01374, 2025a.

C. Zheng, S. Liu, M. Li, X.-H. Chen, B. Yu, C. Gao, K. Dang, Y. Liu, R. Men, A. Yang, et al. Group sequence policy optimization. arXiv preprint arXiv:2507.18071, 2025b.

BibTeX

@online{perplexity2026AdvancingSearchAugmentedLanguageModels,
  author = {{Perplexity} and Denis Yarats and Dongqi Wu and Hang Wu and Randy Ardywibowo and Senzeyu Zhang and Yunfan Zhong and Ziqing Hu and Clare Southern and Riley Carlson and Yi He and Erin McKnight and Mara Sohn and Phi Hoang},
  title = {{Advancing search-augmented language models}},
  date = {2026-04-22},
  url = {https://perplexity.coolkeypoint.com/hub/blog/advancing-search-augmented-language-models}
}

Įvadas

Dviejų etapų mokymo konvejeris

SFT etapas

RL etapas

RL mokymo duomenys

Patvirtinami paieškos agentų duomenys

Pavyzdys (3 pakopų)

Rubrikomis pagrįsti bendrojo pokalbio duomenys

Pavyzdys

Užklausų mišinys ir dispersijos subalansavimas

Atlygio dizainas

Bazinis atlygis

Pirmenybės modeliavimas

Efektyvumo nuobauda

Pagrindiniai rezultatai

Mokymo dinamika

Neesamieji vertinimai

Įrankių naudojimo efektyvumo vertinimai

Išvada

Literatūra

Citata