Meklēšanas papildinātu valodas modeļu pilnveidošana

Tīmekļa meklēšanas robežaģentu apmācīšanai ir nepieciešams kopīgi optimizēt vairākus mērķus: faktoloģisko precizitāti, trajektorijas efektivitāti un lietotāju preferences saskaņošanu. Tomēr jebkuras atsevišķas dimensijas uzlabošana izolācijā bieži vien pasliktina pārējās: modeļi, kas apmācīti tikai precizitātei, mēdz pārmērīgi izmantot rīkus, savukārt modeļi, kas optimizēti kodolīgumam, var upurēt uzticamību vai pilnīgumu. Uzņēmumā Perplexity neviens no šiem rezultātiem nav pieņemams.

Šajā rakstā ir aprakstīts Perplexity pēcapmācības konveijers, kas paredzēts modernāko tīmekļa meklēšanas aģentu izstrādei, pamatojoties uz atvērtā koda modeļiem. Galvenā ideja ir tāda, ka meklēšanas aģentu apmācībā datu kurēšanai un atlīdzības dizainam jābūt izstrādātiem kopīgi: dati nosaka, kuri uzvedības veidi ir novērojami un pārbaudāmi, bet atlīdzība nosaka, kā šie signāli tiek pārtulkoti optimizācijas signālā. Šis princips motivē mūsu divposmu konveijeru: mēs vispirms veicam uzraudzītas smalkas regulēšanas (SFT) iesildīšanu, lai inicializētu politikas modeli, un pēc tam pilnveidojam politikas modeli, izmantojot pastiprināto mācīšanos (RL), izmantojot kurētu datu kopu un rūpīgi izstrādātu atlīdzību. Šī divposmu pieeja nodrošina ticamus ieguvumus precizitātē, efektivitātē un atbilžu kvalitātē ražošanas ierobežojumu ietvaros.

Mēs vispirms aprakstām mūsu divposmu apmācības konveijeru (SFT → on-policy RL), kam seko mūsu RL apmācības datu izveide, aptverot gan pārbaudāmu meklēšanas aģenta Q&A, gan uz rubrikām balstītu vispārēju tērzēšanu. Pēc tam mēs piedāvājam saliktu atlīdzības dizainu, kas iegūts no šīs neviendabīgās datu vides, līdzsvarojot kvalitāti un efektivitāti, vienlaikus mazinot atlīdzības uzlaušanu. Visbeidzot, mēs analizējam apmācības dinamiku un etalona rezultātus.

Mēs pieņemam divposmu pēcapmācības recepti: (i) SFT, lai izveidotu izvietošanai kritiskus uzvedības veidus, piemēram, aizsargbarjeras (piem., atturēšanos), instrukciju izpildi un valodas konsekvenci, un (ii) on-policy RL, lai uzlabotu meklēšanas spējas, tostarp atbilžu precizitāti un rīku lietošanas efektivitāti, vienlaikus saglabājot pirmā posma uzvedību.

Kpēc divi posmi? Kopīgi optimizēt meklēšanas kvalitāti un izvietošanas ierobežojumus viena RL posma ietvaros ir grūti, neapdraudot vismaz vienu mērķi. Empīriski RL vienas pašas apmācība uzlabo meklēšanas veiktspēju, bet mēdz uzrādīt sliktākus rezultātus attiecībā uz izvietošanas aizsargbarjerām, savukārt SFT uzlabo atbilstību uz meklēšanas veiktspējas rēķina. Mērķu atdalīšana ļauj SFT posmam vispirms risināt neapspriežamas prasības, pēc kurām RL var galvenokārt koncentrēties uz meklēšanas spēju uzlabošanu.

Mēs veicam inicializāciju no Qwen3 modeļu saimes (Qwen3.5-122B-A10B un Qwen3.5-397B-A17B) (Yang et al., 2025, Qwen3.5 emuāra ieraksts) un izveidojam divu komponentu SFT maisījuma datu kopu, kas vērsta uz iepriekš aprakstītajiem izvietošanai kritiskajiem uzvedības veidiem, vienlaikus saglabājot bāzes modeļa vispārējās meklēšanas spējas.

Preferences orientēti piemēri. Mēs kurējam instrukciju izpildes un stila orientētus piemērus, kas vērsti uz toni, valodas konsekvenci, skaidrību un formatējumu. Šiem piemēriem nav jābūt vienīgajai patiesībai; drīzāk tie ir izvēlēti tā, lai atspoguļotu produkta rakstīšanas prasības un nodrošinātu stilistisku konsekvenci dažādos vaicājumu veidos.

Ražošanas formāta rīku lietošanas trajektorijas. Empīriski mēs konstatējam, ka SFT bez rūpīgas datu kopas kurēšanas var būtiski pasliktināt bāzes modeļa meklēšanas spējas. Lai to mazinātu, mēs atlasām vaicājumus un iekšējos uzdevumus dažādos mijiedarbības modeļos (viena, divu un vairāku gājienu) un anotējam tos ar mūsu rīku izsaukšanas ietvaru.

Sākot no SFT kontrolpunkta, mēs lietojam on-policy RL, lai uzlabotu meklēšanas precizitāti un efektivitāti. Mēs optimizējam politikas modeli, izmantojot grupu relatīvās politikas optimizāciju (GRPO) (Shao et al., 2024).

\mathcal{J}_{\text{GRPO}}(\theta) = \frac{1}{G}\sum_{i=1}^{G} \frac{1}{|o_i|}\sum_{t=1}^{|o_i|} r_{i,t}(\theta)\hat{A}_{i,t},

kur $G$ ir grupas lielums, $o_{i}$ apzīmē $i$ -to izlases izvadi, un $\hat{A}_{i, t} = \hat{A}_{i}$ ir priekšrocība. Atlīdzības dizains ir detalizēti aprakstīts atlīdzības dizaina sadaļā; īsumā, mēs apvienojam bāzes pareizību ar preferencēs balstītu un noenkurotu efektivitātes veidošanu. Sekojot iepriekšējam darbam (Liu et al., 2025a; Yao et al., 2025; Zheng et al., 2025a), mēs lietojam tokena līmeņa svarīguma paraugu ņemšanu (IS), lai labotu apmācības un inferences neatbilstību:

r_{i,t}(\theta) = \frac{\pi_{\text{train}}(\theta)}{\mu_{\text{infer}}(\theta)}.

Mēs izvērtējam vairākas pieejas treniņa–secināšanas neatbilstības mazināšanai, tostarp secības līmeņa IS (Zheng et al., 2025b), maršrutēšanas atkārtošanu (Ma et al., 2025; Zheng et al., 2025b) un bitu līmenī konsekventu treniņu, kas treniņa laikā integrē secināšanas dzinēja kodolu (vLLM and TorchTitan Teams, 2025). Empīriski mūsu on-policy iestatījumā konstatējam, ka tokenu līmeņa IS ir pietiekams, lai novērstu treniņa sabrukumu, vienlaikus saglabājoties vienkārši ieviešams; tas saskan ar secinājumiem no Zheng et al (2025a).

Mūsu RL apmācības dati sastāv no divām papildinošām daļām: pārbaudāma meklēšanas aģenta Q&A, kas vērsts uz vispārējām meklēšanas spējām, un uz rubrikām balstītas vispārējas tērzēšanas, kas nepārprotami nostiprina izvietošanas aizsargbarjeras, lai novērstu regresiju RL apmācības posmā.

Datu kopas izveide. Sekojot secīgās paplašināšanas metodei (Tao et al., 2025), mēs izveidojam iekšēju sintētisku Q&A datu kopu no iekšējiem sākuma vaicājumiem, nepaļaujoties uz kurētu zināšanu grafu, saglabājot konveijeru vieglsvara un viegli atjaunojamu. Katrs sintētiskais piemērs tiek ģenerēts, veicot šādas darbības:

Sākuma atlase. Mēs izgūstam dokumentus sākuma vaicājumiem un atlasām vienības ar avotu apstiprinājumu kā sākumpunktus, iegūstot atomārus apgalvojumus par tiem.
Vairāku apļu ķēdes izveide. No sākuma vienības apgalvojumiem mēs atlasām vienu, kas ievieš otru vienību (piemēram, sākuma vienībai “The Mom Test” apgalvojums “sarakstījis Robs Ficpatriks” ievieš autoru kā nākamo vienību). Mēs atkārtojam šo saistīšanas procesu 2–4 reizes, nodrošinot, ka katra vienība ir atšķirīga un ka neviens atsevišķs apgalvojums triviāli neatklāj galīgo atbildi.
Uz vārdiem nebalstīta jautājumu sintēze. Mēs pārvēršam vienību łaķi jautājumā, rekursīvi aizstājot vienību nosaukumus ar to savienojošiem apgalvojumiem, radot ligzdotu jautājumu, kas prasa vairāku apļu argumentāciju.
Verifikācija. Mēs saglabājam tikai jautājumus ar unikālām atbildēm, kuras ir pārbaudījuši vairāki neatkarīgi risinātāji ar tīmekļa atbalstu.

Apsveriet sākuma vaicājumu “The Mom Test”. Mēs izgūstam dokumentus un identificējam šo grāmatu kā sākuma vienību, pēc tam izgūstam atomārus faktoloģiskus apgalvojumus un iteratīvi izveidojam vienību ķēdi: (i) The Mom Test sarakstīja Robs Ficpatriks, ieviešot Robu Ficpatrisku; (ii) Roba Ficpatrika pirmais jaunuzņēmums izgāja cauri Y Combinator (2007. gada vasarā), ieviešot Y Combinator; (iii) Y Combinator tika palaists 2005. gada martā. Rekursīvi aizstājot katras vienības nosaukumu ar tās aprakstītāju, tiek iegūts uz vārdiem nebalstīts jautājums: “Kuru grāmatu sarakstīja persona, kuras pirmais jaunuzņēmums izgāja cauri akseleratoram, kas tika palaists 2005. gada martā, tā 2007. gada vasaras kohortā?” ar atbildi “The Mom Test”.

Formāta daudzveidības papildināšana. Modeļi, kas apmācīti tikai ar neapstrādātiem sintētiskiem Q&A, mēdz ignorēt formatējuma preferences un pēc noklusējuma izmantot fiksētu atbildes struktūru neatkarīgi no tā, kā vaicājums ir formulēts. Lai uzlabotu formāta daudzveidību, mēs papildinām datu kopu ar vaicājumiem, kas ietver skaidras formatējuma instrukcijas (piem., “Parādīt sarakstu ar . . . ” vai “Apkopot . . . tabulā”), vienlaikus saglabājot pamata atbildi nemainītu.

Publisks pārbaudāms Q&A (bāzes līnija). Mēs izveidojam bāzes līnijas pārbaudāmu Q&A datu kopu no piecām atvērtā koda datu kopām (Lu et al., 2025; Pham et al., 2025; Press et al., 2023; Tao et al., 2025; Wu et al., 2025), kas apvienotas zem mūsu papildinātā uzvednes formāta ar kvalitātes filtrēšanu. Šis maisījums kalpo kā galvenā bāzes līnija mūsu validācijas eksperimentos. Kontrolētiem salīdzinājumiem mēs pielīdzinām mūsu iekšējās sintētiskās Q&A datu kopas mērogam šim atvērtā koda maisījumam.

Ātra validācija. Mēs apstiprinām šī konveijera efektivitāti, izmantojot Qwen3-30B-A3B-Instruct-2507, lai nodrošinātu ātru iterāciju; rezultāti ir apkopoti 1. tabulā.

Sintētiskas pārbaudāmas Q&A datu kopas validācija

Lai gan pārbaudāms Q&A nodrošina tīru apmācības signālu uz meklēšanu vērstiem vaicājumiem, ievērojama ražošanas datplūsmas daļa nav unikāli pārbaudāma (piem., pārrakstīšana, plānošana un atvērtas palīdzības sniegšana). Šādu vaicājumu izslēgšana no RL atstātu politiku nepietiekami optimizētu reālām lietotāju mijiedarbībām. Turklāt, lai gan SFT posms izveido izvietošanai kritiskas aizsargbarjeras, RL var regresēt attiecībā uz tām, ja vien tās netiek nepārprotami nostiprinātas ar datiem.

Mēs iekļaujam nepārbaudāmus vaicājumus RL apmācībā, pārvēršot izvietošanai kritiskās prasības – instrukciju izpildi, formatējuma ierobežojumus un drošības konvencijas – rubrikās: atomāros, objektīvi pārbaudāmos kritērijos, kuriem atbildi ir jāatbilst. Mēs pieņemam uz rubrikām balstītu datu izveidi (Gunjal et al., 2025; Liu et al., 2025b), ģenerējot rubriku kopas katram vaicājumam.

Rubriku ģenerēšana. Ņemot vērā visu sarunas vēsturi, mēs mudinām LLM izveidot atsauces atbildi un atbilstošu rubriku kopu. Rubrikas ir atvasinātas saskaņā ar fiksētu secības secību: lietotāja skaidri norādītās prasības ir prioritāras, kam seko iekšējie ierobežojumi un visbeidzot nepieciešamās satura prasības, kas secinātas no atsauces atbildes. Katrai rubrikai ir jābūt:

Atomārai: vienai, skaidri definētai pārbaudei;
Objektīvai: pārbaudāmai bez subjektīva sprieduma;
Nepieciešamai: obligātai, lai atbildētu uz vaicājumu, nevis tikai stilistiskai preferencei.

Vaicājums.

She will share u man power planning. We have to arrange lodging & boarding. Plz correct swntence.

Rubrikas.

Atbilde ir uzrakstīta angļu valodā.
Koriģētajā formulējumā ir vārdi "lodging" un "boarding".
Koriģētajā formulējumā tiek izmantots vārds "manpower" kā viens vārds (piemēram, "manpower plan" vai "manpower planning"), nevis "man power".
Koriģētajā formulējumā nav neformālo saīsinājumu tokenu "u" vai "Plz", un tas nesatur and signa zīmi "&".
Atbilde nesatur citātu marķierus formātā \\[type:idx\\], kur type apzīmē datu avotu (piemēram, web, chart, memory, attached_file).

Rubriku kalibrēšana. Lai izvairītos no pārmērīgi stingrām vai pārmērīgi pielaidīgām rubriku kopām, mēs piemērojam pass@4 filtru. Katram vaicājumam mēs atlasām četras neatkarīgas atbildes un novērtējam tās pret pilnu rubriku kopu ar instrukciju izpildes tiesnesi. Mēs izmetam vaicājumus, kuriem neviena atbilde neatbilst rubriku kopai vai atbilst visas, saglabājot tikai tās, kas sniedz informatīvu apmācības signālu.

Praktisks izaicinājums vairāku mērķu RL ir dispersijas nelīdzsvarotība starp datu komponentiem (Duchi un Namkoong, 2016; Liu et al., 2026; Qi et al., 2026). Lai gan gan pārbaudāms Q&A, gan uz rubrikām balstīti dati dod bināras atlīdzības, tie būtiski atšķiras pēc uzdevuma sarežģītības: rubrikas apmierinātību parasti ir vieglāk sasniegt apmācības sākumā, radot lielākus un biežākus gradienta atjauninājumus, kas var nesamērīgi dominēt politikas optimizācijā attiecībā pret grūtāko pārbaudāmo Q&A signālu. Lai to risinātu, mēs no jauna svērojam uzvedņu maisījumu datu kopas līmenī, ņemot 90% no pārbaudāma Q&A un 10% no uz rubrikām balstītiem datiem, lai līdzsvarotu optimizācijas signālu starp komponentiem.

Mūsu atlīdzības dizains tieši izriet no iepriekš aprakstītās datu izveides. Neskatoties uz to, ka tas aptver gan pārbaudāmu Q&A, gan rubriku uzdevumus, visiem apmācības datiem ir kopīga bāzes atlīdzības struktūra: izvēršana saņem kredītpunktus, ja tā sniedz pareizu atbildi Q&A uzdevumiem vai izpilda visas norādītās rubrikas vispārējai tērzēšanai. Balstoties uz šo kopīgo pamatu, mēs izveidojam saliktu atlīdzību, lai iekļautu uz preferencēm balstītu vērtēšanu un efektivitātes veidošanu.

Galvenais izaicinājums, kas novērots agrīnos eksperimentos, bija atlīdzības uzlaušana: vienkārša atlīdzību lineāra kombinācija ļāva spēcīgiem preferenču signāliem kompensēt faktoloģiskas vai mācību kļūdas. Tāpēc mēs pieņemam vārtejas agregāciju kā galveno dizaina principu, kas formāli definēts kā:

R(\tau_i) = r_{\text{base}}(\tau_i) \cdot s(\tau_i) \;-\; \operatorname{pen}_{\text{eff}}(\tau_i),

kur $r_{\mathrm{base}}(\tau_i) \in \{0, 1\}$ apzīmē Q&A pareizību vai rubrikas apmierinātību, $s(\tau_i)\in[0,1]$ ir preferences rādītājs, un $\operatorname{pen}_{\mathrm{eff}}(\tau_i)$ ir noenkurots efektivitātes sods. Tas padara pareizību par nepieciešamu nosacījumu preferences kredītu saņemšanai, vienlaikus atturot no nevajadzīgas rīku izmantošanas un vārda plūdiem. 1. attēls ilustrē pilnu atlīdzības konveijeru, kura komponentus mēs aprakstām zemāk:

Atlīdzības dizaina pārskats. Mēs apvienojam bāzes pareizības signālu (pārbaudāms/rubrika), Bredlija-Terija preferences rādītāju un noenkurotus efektivitātes sodus. Preferences kontrolē bāzes pareizība, lai novērstu atlīdzības uzlaušanu.

Mēs definējam bināro bāzes signālu $r_{\mathrm{base}}(\tau_i) \in \{0,1\}$ , kas tver uzdevuma pareizību vai instrukciju ievērošanu. Pārbaudāmiem meklēšanas aģenta datiem $r_{\mathrm{base}}(\tau_i)=1$ , ja galīgā atbilde sakrīt ar pamatpatiesību, un $0$ pretējā gadījumā. Uz rubrikām balstītiem vispārējas tērzēšanas datiem $r_{\mathrm{base}}(\tau_i)=1$ , ja visas rubrikas ir apmierinātas, un $0$ pretējā gadījumā. Šī bāzes līnija kalpo kā stingri vārti nosacītās agregācijas likumā (2. vienādojums).

Mūsu mērķis ir saskaņot politikas modeli ar lietotāju slēptajām preferencēm attiecībā uz atbilžu kvalitāti – informatīvumu, skaidrību un profesionālu toni –, kuras ir grūti uztvert, izmantojot LLM tiesneša uzvednes. Tāpēc mēs apmācām apgūtu preferences atlīdzības modeli, lai tieši novērtētu šos atribūtus.

Mēs formulējam preferences mācīšanos Bredlija-Terija ietvarā. Ņemot vērā kontekstu $x$ un divas kandidātu atbildes $y_a, y_b$ , modelis ģenerē skalārus punktus $s_{\theta}(x, y) \in \mathbb{R}$ un minimizē,

\ell_{\text{BT}}(\theta; x, y_a, y_b, r) = -\Big[r \log \sigma(\Delta_\theta) + (1-r) \log\bigl(1 - \sigma(\Delta_\theta)\bigr)\Big], \\ \Delta_\theta = s_\theta(x, y_a) - s_\theta(x, y_b)

kur $r \in \{0, 1\}$ norāda, vai $y_a$ ir priekšroka. Lai novērstu pozicionālo nebiazitāti, katrs apmācības pāris tiek papildināts ar abām secībām un simetriski optimizēts,

\mathcal{L}_{\text{sym}} = \tfrac{1}{2}\,\ell_{\text{BT}}(x, y_a, y_b, r) + \tfrac{1}{2}\,\ell_{\text{BT}}(x, y_b, y_a, 1-r).

Inferences laikā mēs iegūstam no pozīcijas neatkarīgu preferences rādītāju, atskaitot abu permutāciju vidējo vērtību:

\bar{\Delta}_\theta(x, y_a, y_b) = \tfrac{1}{2}\Big[\Delta_\theta(x, y_a, y_b) - \Delta_\theta(x, y_b, y_a)\Big], \\ \bar{P}_\theta(x, y_a, y_b) = \sigma\bigl(\bar{\Delta}_\theta(x, y_a, y_b)\bigr).

Izvēršanas preferences rādītājs pēc tam tiek definēts kā $s(\tau_i) \triangleq \bar{P}_{\theta}(x, y_a, y_b) \in [0,1]$ , t. i., varbūtība, ka politikas izvērsumam $y_i$ ir dota priekšroka salīdzinājumā ar atsauces modeļa izvērsumu tam pašam vaicājumam.

Apmācības dati preferences modelēšanai tiek iegūti no kurētām atvērtā koda datu kopām, lietotāju blakus esošām atsauksmēm un iekšējām anotācijām. Lai novērstu etiķešu troksni, mēs izmantojam vieglsvara filtrēšanas un kalibrēšanas konveijeru, ko iedvesmojis Datbench (DatologyAI, 2026), saglabājot tikai piemērus ar konsekventu starp modeļu saskaņotību. Atlīdzības modelim ir tāda pati mugurkauls kā politikas modelim, un valodas modelēšanas galviņa ir aizstāta ar vērtības galviņu. Lai gan mazāki atlīdzības modeļi sasniedz salīdzinātu atlikto precizitāti, mēs empīriski konstatējam, ka tie nespēj uztvert smalkas preferences un var pastiprināt nevēlamu politikas uzvedību.

Ja nav skaidras efektivitātes veidošanas, politika mēdz pārmērīgi izmantot rīkus pat vienkāršos vaicājumos. Beznosacījuma sodi (piemēram, tie, kas mērogoti lineāri ar rīka izsaukuma skaitu vai izvades garumu) ir dabiska bāzes līnija, taču mēs konstatējam, ka tie apslāpē nepieciešamo izpēti un pasliktina mācīšanos. Tāpēc mēs pieņemam grupu relatīvus, noenkurotus sodus, kas regulē rīku lietojumu un atbildes garumu attiecībā pret efektīviem risinājumiem katrā GRPO grupā. Grupai 𝑔 mēs definējam uzvarētāju kopu kā:

W_g = \{\, i : r_{\text{base}}(\tau_i) = 1 \,\}.

Noenkurots rīka izsaukuma sods. Katrai izvērsei $\tau_i$ ļauj $c_i$ apzīmēt rīka izsaukumu skaitu un $e_i$ rīka izpildes kļūdu skaitu. Mēs definējam efektīvo rīka izsaukumu skaitu $\tilde{c}_i = c_i - e_i$ un vienmērīgi atlasām grupas bāzes līniju:

b_g \sim \operatorname{Unif}\!\left(\min_{j \in W_g} \tilde{c}_j,\ \left\lceil \operatorname{mean}_{j \in W_g} \tilde{c}_j \right\rceil\right).

Mēs aprēķinām pārsniegumu $\Delta_i = \max\!\left(0,\; \tilde{c}_i - b_g\right)$ un definējam vienmērīgu soda skalāru $p_i = 1 - \exp\!\left(-\Delta_i\right)$ . Rīka sods tad ir:

\operatorname{pen}_{\text{tool}}(\tau_i) = \begin{cases} \alpha_{\text{win}}\, p_i, & i \in W_g, \\ \alpha_{\text{lose}}\, p_i + \beta_{\text{lose}}, & i \notin W_g, \end{cases}

Noenkurots garuma sods. Ļauj $L_i$ un $L_i^{\mathrm{ref}}$ apzīmēt attiecīgi kandidāta un atsauces modeļa ģenerāciju tokenu garumus. Mēs definējam veidošanas kopu $\widehat{W}_g$ kā izvērsumus, kas ir gan pareizi, gan vēlamie:

\widehat{W}_g = \{\, \underbrace{i \in W_g}_{\text{correct}} \;:\; \underbrace{s(\tau_i) \geq 0.5}_{\text{preferred}} \,\}.

Mēs tad aprēķinām grupai raksturīgas garuma bāzes līnijas:

\underbrace{b_{g,\text{win}}}_{\substack{\text{avg. ref. length} \\ \text{of winners}}} = \operatorname{mean}_{j \in \widehat{W}_g} L_j^{\text{ref}}, \qquad \underbrace{b_{g,\text{lose}}}_{\substack{\text{avg. ref. length} \\ \text{of losers}}} = \operatorname{mean}_{j \notin \widehat{W}_g} L_j^{\text{ref}}.

Garuma sods ir definēts kā:

\operatorname{pen}_{\text{len}}(\tau_i) = \begin{cases} 1, & L_i > \max_j L_j^{\text{cmp}} \\ 1 - \exp\!\left(-\max\!\left(0,\ \dfrac{L_i}{b_{g,\text{win}}} - 1\right)\right), & i \in \widehat{W}_g \\ 1 - \exp\!\left(-\max\!\left(0,\ \dfrac{b_{g,\text{lose}}}{L_i} - 1\right)\right), & i \notin \widehat{W}_g \end{cases}

kur pirmā rinda ir stingrs limits; otrā soda vārdus plūdus uzvarētājus; un trešā soda kodolīgus zaudētājus.

Kombinētais efektivitātes sods. Kombinētais efektivitātes sods ir abu komponentu svērta summa:

\operatorname{pen}_{\text{eff}}(\tau_i) = \lambda_{\text{tool}}\, \operatorname{pen}_{\text{tool}}(\tau_i) + \lambda_{\text{len}}\, \operatorname{pen}_{\text{len}}(\tau_i).

Mēs novērtējam mūsu pēcapmācības konveijeru pa divām asīm: (i) apmācības dinamiku, lai novērtētu optimizācijas stabilitāti un to, vai atlīdzības signāli uzvedas kā paredzēts, un (ii) bezsaistes etalonus, lai mērītu pakārtoto kvalitāti, drošību un efektivitāti kontrolētos novērtēšanas iestatījumos.

Noklusējuma apmācības iestatījumi. Politikas modelis mijiedarbojas ar tīmekļa meklēšanas rīku (search_web); katrs rīka izsaukums izgūst līdz 10 rezultātiem, vaicājumi ir ierobežoti līdz 250 rakstzīmēm un līdz 5 vaicājumiem uz vienu izvērsumu.

Mēs pētām optimizācijas dinamiku, koncentrējoties uz atlīdzības progresiju un efektivitātes uzvedību. Mēs izmantojam Qwen3.5-397B-A11B ilustrācijas vienkāršībai.

Bāzes un preferences signālu evolūcija apmācības laikā.

2. attēls parāda stabilu uzlabojumu bāzes atlīdzībā (pārbaudāms Q&A un rubrikas apmierinātība) kopā ar pieaugošiem preferences rādītājiem, kas norāda uz konsekventiem ieguvumiem pareizībā, atbilstībā un atbildes kvalitātē.

Efektivitātes uzvedība un noenkurotie veidošanas sodi apmācības laikā.

3. attēls parāda, ka gan rīka izsaukuma biežums, gan ģenerēšanas garums saglabājas labi kontrolēti visā apmācības laikā. Jāatzīmē, ka gan rīka izsaukuma, gan garuma sodi monotoni samazinās apmācības gaitā, atspoguļojot modeļa pakāpenisku adaptāciju ceļā uz kodolīgāku ģenerēšanu un selektīvāku rīka izsaukšanu.

4. attēls parāda, ka gradienta normas saglabājas stabilas, neskaitot pārejošus maksimumus, savukārt apmācības un inferences KL diverģence uzrāda nelielu augšupejošu tendenci, paliekot 1e-3 mēroga robežās. Šis novirzes modelis saskan ar novērojumiem citos RL apmācības ietvaros; tā kā apmācība saglabājas stabila visā gaitā, mēs saglabājam vienkāršu IS regularizāciju 1. vienādojumā bez papildu iejaukšanās.

Mēs ziņojam par rezultātiem virknē etalonu, kas aptver meklēšanas precizitāti, faktoloģisko uzticamību, instrukciju izpildi un drošību, ietverot gan publiskus etalonus, gan iekšējos Perplexity (PPLX) metrikas rādītājus. Publisko etalonu vidū ir SimpleQA, FRAMES un Facts Open.

pplx-sbs-search: Blakus esošā preferences novērtēšana, izmantojot iekšējo atlīdzības modeli. Kandidāti tiek salīdzināti ar spēcīgu bāzes līniju.
pplx-abstention: Spēja atbilstoši atteikties, ja nav pieejami ticami pierādījumi.
pplx-language-mismatch: Valodas konsekvence garās astes un vairāku gājienu iestatījumos.
pplx-broken-tool-calls (↓): Rīku izsaukumu shēmas atbilstība un ierobežojumu ievērošana, piemēram, tool_choice=none.

Noklusējuma novērtēšanas iestatījumi. Publiskiem etaloniem mēs atļaujam tikai tīmekļa meklēšanas rīku ar budžetu līdz 5 rīku izsaukumiem uz vienu piemēru un līdz 10 rezultātiem uz vienu izsaukumu, ģenerējot līdz 8192 izvades tokeniem temperatūrā 0,6.

Bezsaistes novērtēšanas rezultāti. Skaitļi iekavās norāda vidējo rīku lietojumu. Mēs atzīmējam Qwen3.5-397B-A17B kā Qwen3.5-Large un Qwen3.5-122B-A10B kā Qwen3.5-Medium.

2. tabula parāda, ka Qwen3.5-Large-SFT-RL sasniedz spēcīgu meklēšanas precizitāti publiskajos etalonos, atbilstot vai pārsniedzot gpt-5.4 FRAMES un Facts Open, vienlaikus izmantojot salīdzināmus rīku budžetus. Salīdzinājumā ar bāzes modeli mūsu pieeja dod ievērojamus ieguvumus iekšējās metrikās, jo īpaši attiecībā uz preferencēm (pplx-sbs-search: 0.602 → 0.742), valodas konsekvenci un atturēšanos, demonstrējot, ka divposmu konveijers efektīvi uzlabo izvietošanai kritiskos uzvedības veidus, neapdraudot meklēšanas spējas.

Lai to izmērītu, mēs izstrādājam budget-forced novērtēšanas protokolu. Katram modelim tiek dota piekļuve tīmekļa meklēšanas rīkam (search_web) un sistēmas uzvednei, kas nosaka stingru ierobežojumu atļauto rīka izsaukumu skaitam ("budžets"). Mēs mainām šo budžetu no 0 (bez rīka izmantošanas, tīras parametriskās zināšanas) līdz 10 (dāsna daudzsoļu izgūšana), reģistrējot precizitāti katrā līmenī. Tas veido rīka efektivitātes līkni: modeļa punktu skaitu kā funkciju no tam atļautā izgūšanas budžeta. Mēs novērtējam divos faktuālos Jautājumu-atbilžu etalonos — FRAMES un Facts Open.

Etalona precizitāte pret rīku izsaukumu maksimālo skaitu.

No šiem diviem etaloniem izceļas vairāki modeļi:

Mūsu pēcapmācītais Qwen3.5-397B-SFT-RL sasniedz labāko meklēšanas precizitāti abos etalonos. Pat ar vienu rīka izsaukumu tas iegūst 57,3% FRAMES, kas ir par 5,7 punktiem virs GPT-5.4 un par 4,7 punktiem virs Sonnet 4.6.
- Priekšrocība ir visizteiktākā mērenos budžetos (b=2-7), kas ir praktiskais darbības diapazons ražošanas izvietojumiem.
Mūsu pēcapmācības recepte (SFT + RL) būtiski uzlabo rīku lietošanas efektivitāti salīdzinājumā ar bāzes kontrolpunktu; skatīt nepārtrauktās līnijas (pēcapmācītas) pret pārtrauktajām līnijām (sākuma kontrolpunkts) 5. attēlā.
Visiem modeļiem mēs novērojam samazināšanās atdevi ap budžetu=7, kas ir konsekventa abos etalonos un visiem modeļiem, kas liecina, ka tā ir faktoloģijas meklēšanas uzdevumu īpašība, nevis modeļu īpašība.

Iepriekš minētie rezultāti parāda, ka Qwen3.5-397B-SFT-RL sasniedz augstāku precizitāti ar mazāku rīku izsaukumu skaitu. Bet kā tas pārvēršas faktiskajās izmaksās? Mēs pārvēršam tokena līmeņa mērījumus dolāru izmaksās, izmantojot publicētās API cenas (Alibaba DashScope, OpenAI, Anthropic), lai padarītu salīdzinājumu konkrētu.

Izmaksas par vaicājumu pret precizitāti.

Vidējā profilā (b=4) Qwen3.5-397B-SFT-RL iegūst 73,9% FRAMES ar 2,0 centiem par vaicājumu, savukārt GPT-5.4 iegūst 67,8% ar 8,5 centiem un Sonnet 4.6 iegūst 62,4% ar 15,3 centiem. Tas ir par +6 punktiem lielāka precizitāte par 4 reizes zemākām izmaksām salīdzinājumā ar GPT-5.4 un par +11,5 punktiem par 7,5 reizes zemākām izmaksām salīdzinājumā ar Sonnet 4.6.

Šie aprēķini izmanto saraksta API cenas bez kešatmiņas. Ar iekšējām inferences optimizācijām, piemēram, KV kešatmiņas atkārtotu izmantošanu, prefiksa kešatmiņu un kvantēto MoE apkalpošanu (397B izmanto tikai 17B aktīvos parametrus), efektīvās izmaksas var tikt ievērojami samazinātas zem saraksta API cenām.

Izvietošanas atbilstības atdalīšana no meklēšanas optimizācijas, izmantojot divposmu SFT un RL konveijeru, dod modeli, kas ir gan spējīgs, gan uzticams ražošanas ierobežojumu ietvaros. Pārbaudāma Q&A un uz rubrikām balstītu apmācības datu kombinācija kopā ar vārtejas atlīdzības agregāciju un noenkurotu efektivitātes veidošanu nodrošina stabilu vairāku mērķu optimizāciju, neupurējot meklēšanas precizitāti vai aizsargbarjeru atbilstību.

Vairāki virzieni ir pelnījuši turpmāku izpēti. Kā novērots 4. attēlā, apmācības un inferences KL diverģence uzrāda noturīgu augšupejošu novirzi paplašinātos apmācības soļos. Lai gan tokena līmeņa IS labojums izrādās pietiekams mūsu pašreizējā iestatījumā, nav skaidrs, vai tas joprojām ir spēkā lielākā mērogā; principiālāka teorētiskā attieksme pret šo neatbilstību – aptverot infrastruktūras līmeņa neatbilstības un arhitektūrai raksturīgus faktorus, piemēram, MoE maršrutēšanu –, kopā ar mazināšanas stratēģiju kvantitatīviem empīriskiem salīdzinājumiem joprojām ir svarīgs atklāts jautājums. Konkrēti attiecībā uz vairāku mērķu RL daudzsološi ceļi ietver secīgu apmācību (Zeng et al., 2026) ar on-policy destilāciju, lai optimizētu mērķus pa posmiem, vienlaikus mazinot katastrofālu aizmiršanu; un modeļu sapludināšanu (Fu et al., 2025; Yang et al., 2026), lai atsaistītu uzdevumam specifisko optimizāciju no spēju agregācijas. Visbeidzot, mērogošana uz reālistiskām vairāku rīku darbplūsmām ar garlaicīgām trajektorijām joprojām ir svarīgs atklāts izaicinājums, kas, visticamāk, prasīs labāku kredītpunktu piešķiršanu, atbalstu daļējām izvērsmēm un novērtējumus.

DatologyAI. Datbench: Diskriminatīvas, uzticamas un efektīvas vīzijas un valodas modeļu novērtēšanas. https://www.datologyai.com/blog/datbench-discriminative-faithful-and-efficient-vision-language-model-evaluations, janv. 2026. Publicēts 2026. gada 6. janvārī. Piekļuves datums: 2026-03-04.

J. Duchi un H. Namkoong. Uz dispersiju balstīta regularizācija ar izliektiem mērķiem. arXiv iepriekšējās publicēšanas darbs arXiv:1610.02581, 2016.

Z. Fu, X. Wu, Y. Wang, W. Wang, S. Ye, H. Yin, Y. Chang, Y. Zheng un X. Zhao. Apmācību neprasoša LLM sapludināšana daudzuzdevumu mācībām. In Proceedings of the 63rd Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), 33111.–33124. lpp., 2025.

A. Gunjal, A. Wang, E. Lau, V. Nath, Y. He, B. Liu un S. Hendryx. Rubrikas kā atlīdzība: Pastiprinātā mācīšanās ārpus pārbaudāmām jomām. arXiv iepriekšējās publicēšanas darbs arXiv:2507.17746, 2025.

J. Liu, Y. Li, Y. Fu, J. Wang, Q. Liu un Y. Shen. Kad ātrums nogalina stabilitāti: RL sabrukuma demistifikācija no apmācības un inferences neatbilstības. Notion Blog, 2025a.

S.-Y. Liu, X. Dong, X. Lu, S. Diao, P. Belcak, M. Liu, M.-H. Chen, H. Yin, Y.-C. F. Wang, K.-T. Cheng et al. Gdpo: Grupas atlīdzības atsaistītās normalizācijas politikas optimizācija vairāku atlīdzību RL optimizācijai. arXiv iepriekšējās publicēšanas darbs arXiv:2601.05242, 2026.

T. Liu, R. Xu, T. Yu, I. Hong, C. Yang, T. Zhao un H. Wang. Openrubrics: Virzībā uz mērogojamu sintētisko rubriku ģenerēšanu atlīdzības modelēšanai un LLM saskaņošanai. arXiv iepriekšējās publicēšanas darbs arXiv:2510.07743, 2025b.

R. Lu, Z. Hou, Z. Wang, H. Zhang, X. Liu, Y. Li, S. Feng, J. Tang un Y. Dong. Deepdive: Dziļās meklēšanas aģentu virzīšana ar zināšanu grafiem un vairāku gājienu RL. arXiv iepriekšējās publicēšanas darbs arXiv:2509.10446, 2025.

W. Ma, H. Zhang, L. Zhao, Y. Song, Y. Wang, Z. Sui un F. Luo. MoE pastiprinātās mācīšanās stabilizēšana, saskaņojot apmācības un inferences maršrutētājus. arXiv iepriekšējās publicēšanas darbs arXiv:2510.11370, 2025.

T. Pham, N. Nguyen, P. Zunjare, W. Chen, Y.-M. Tseng un T. Vu. Sealqa: Latiņa pacelšana argumentācijai meklēšanas papildinātos valodas modeļos. arXiv iepriekšējās publicēšanas darbs arXiv:2506.01062, 2025.

O. Press, M. Zhang, S. Min, L. Schmidt, N. A. Smith un M. Lewis. Kompozicionalitātes atstarpes mērīšana un sašaurināšana valodas modeļos. In Findings of the Association for Computational Linguistics: EMNLP 2023, 5687.–5711. lpp., 2023.

P. Qi, X. Zhou, Z. Liu, T. Pang, C. Du, M. Lin un W. S. Lee. Uzticības reģiona pārvērtēšana LLM pastiprinātajā mācīšanā. arXiv iepriekšējās publicēšanas darbs arXiv:2602.04879, 2026.

Z. Shao, P. Wang, Q. Zhu, R. Xu, J. Song, X. Bi, H. Zhang, M. Zhang, Y. Li, Y. Wu et al. Deepseekmath: Matemātiskās argumentācijas robežu paplašināšana atvērtos valodas modeļos. arXiv iepriekšējās publicēšanas darbs arXiv:2402.03300, 2024.

Z. Tao, J. Wu, W. Yin, J. Zhang, B. Li, H. Shen, K. Li, L. Zhang, X. Wang, Y. Jiang et al. Webshaper: Aģentiska datu sintēze, izmantojot informācijas meklēšanas formalizāciju. arXiv iepriekšējās publicēšanas darbs arXiv:2507.15061, 2025.

vLLM un TorchTitan Teams. Nekādu apmācības un inferences neatbilstību: Bitu līmenī konsekventa on-policy pastiprinātā mācīšanās ar vLLM un TorchTitan. https://blog.vllm.ai /2025/11/10/bitwise-consistent-train-inference.html, nov. 2025. vLLM Blog.

J. Wu, W. Yin, Y. Jiang, Z. Wang, Z. Xi, R. Fang, D. Zhou, P. Xie un F. Huang. Webwalker: LLM etalonu veidošana tīmekļa pārlūkošanā, 2025. URL https://arxiv.org/abs/ 2501.07572.

A. Yang, A. Li, B. Yang, B. Zhang, B. Hui, B. Zheng, B. Yu, C. Gao, C. Huang, C. Lv et al. Qwen3 tehniskais ziņojums. arXiv iepriekšējās publicēšanas darbs arXiv:2505.09388, 2025.

E. Yang, L. Shen, G. Guo, X. Wang, X. Cao, J. Zhang un D. Tao. Modeļu sapludināšana LLM, MLLM un ārpus tiem: Metodes, teorijas, lietojumi un iespējas. ACM Computing Surveys, 58(8):1–41, 2026.

F. Yao, L. Liu, D. Zhang, C. Dong, J. Shang un J. Gao. Jūsu efektīvais RL ietvars slepeni sniedz jums off-policy RL apmācību, aug. 2025. URL https://fengyao.notion.s ite/off-policy-rl.

A. Zeng, X. Lv, Z. Hou, Z. Du, Q. Zheng, B. Chen, D. Yin, C. Ge, C. Xie, C. Wang et al. Glm-5: no noskaņojuma kodēšanas līdz aģentiskajai inženierijai. arXiv iepriekšējās publicēšanas darbs arXiv:2602.15763, 2026.

C. Zheng, K. Dang, B. Yu, M. Li, H. Jiang, J. Lin, Y. Liu, H. Lin, C. Wu, F. Hu et al. Pastiprinātās mācīšanās stabilizēšana ar LLM: Formulējums un prakses. arXiv iepriekšējās publicēšanas darbs arXiv:2512.01374, 2025a.

C. Zheng, S. Liu, M. Li, X.-H. Chen, B. Yu, C. Gao, K. Dang, Y. Liu, R. Men, A. Yang et al. Grupu secības politikas optimizācija. arXiv iepriekšējās publicēšanas darbs arXiv:2507.18071, 2025b.

BibTeX

@online{perplexity2026AdvancingSearchAugmentedLanguageModels,
  author = {{Perplexity} and Denis Yarats and Dongqi Wu and Hang Wu and Randy Ardywibowo and Senzeyu Zhang and Yunfan Zhong and Ziqing Hu and Clare Southern and Riley Carlson and Yi He and Erin McKnight and Mara Sohn and Phi Hoang},
  title = {{Advancing search-augmented language models}},
  date = {2026-04-22},
  url = {https://perplexity.coolkeypoint.com/hub/blog/advancing-search-augmented-language-models}
}

Ievads

Divposmu apmācības konveijers

SFT posms

RL posms

RL apmācības dati

Pārbaudāmi meklēšanas aģenta dati

Piemērs (3-apļu)

Uz rubrikām balstīti vispārējas tērzēšanas dati

Piemērs

Uzvedņu maisījums un dispersijas līdzsvarošana

Atlīdzības dizains

Bāzes atlīdzība

Preferences modelēšana

Efektivitātes sods

Galvenie rezultāti

Apmācības dinamika

Bezsaistes novērtējumi

Rīku lietošanas efektivitātes novērtējumi

Secinājums

Atsauces

Citāts