Perfecționarea modelelor lingvistice augmentate prin căutare

Introducere

Antrenarea agenților de căutare web de frontieră necesită optimizarea simultană a mai multor obiective: acuratețea factuală, eficiența traiectoriei și alinierea la preferințele utilizatorilor. Totuși, îmbunătățirea oricărei dimensiuni individuale în izolare degradează adesea celelalte dimensiuni: modelele antrenate exclusiv pentru acuratețe tind să suprutilizeze instrumentele, în timp ce modelele optimizate pentru concizie pot sacrifica fiabilitatea sau completitudinea. La Perplexity, niciunul dintre rezultate nu este acceptabil.

Acest articol descrie conducta de post-antrenament a Perplexity pentru dezvoltarea de agenți de căutare web de ultimă generație pe baza unor modele open-source. O idee cheie este că, în antrenarea agenților de căutare, curatarea datelor și proiectarea recompenselor trebuie să fie co-proiectate: datele determină ce comportamente sunt observabile și verificabile, iar recompensa determină modul în care aceste semnale sunt traduse în semnal de optimizare. Acest principiu motivează conducta noastră în două etape: mai întâi efectuăm o încălzire de reglare fină supervizată (SFT) pentru a inițializa modelul de politică, iar apoi rafinăm modelul de politică utilizând învățarea prin întărire (RL) pe un set de date curatat și recompense proiectate cu atenție. Această abordare în două etape permite câștiguri fiabile în ceea ce privește acuratețea, eficiența și calitatea răspunsului în condițiile constrângerilor de producție.

Descriem mai întâi conducta noastră de antrenament în două etape (SFT → RL on-policy), urmată de construcția datelor noastre de antrenament RL, acoperind atât întrebări și răspunsuri verificabile pentru agenții de căutare, cât și chat general bazat pe rubrici. Apoi prezentăm un design de recompensă compozită derivat din acest mediu de date eterogen, echilibrând calitatea și eficiența, în timp ce atenuăm hackingul de recompense. În cele din urmă, analizăm dinamica antrenamentului și rezultatele benchmark-urilor.

Conductă de antrenament în două etape

Adoptăm o rețetă de post-antrenament în două etape: (i) SFT pentru stabilirea comportamentelor critice pentru implementare, cum ar fi barierele de protecție (de exemplu, abținerea), urmărirea instrucțiunilor și coerența lingvistică, și (ii) RL on-policy pentru a îmbunătăți capacitatea de căutare, inclusiv acuratețea răspunsurilor și eficiența utilizării instrumentelor, păstrând în același timp comportamentele din prima etapă.

De ce două etape? Optimizarea simultană a calității căutării și a constrângerilor de implementare într-o singură etapă RL este dificilă fără a compromite cel puțin un obiectiv. Empiric, antrenamentul exclusiv cu RL îmbunătățește performanța căutării, dar tinde să aibă performanțe scăzute în privința barierelor de protecție la implementare, în timp ce SFT îmbunătățește conformitatea cu prețul performanței căutării. Separarea obiectivelor permite etapei SFT să abordeze mai întâi cerințele nenegociabile, după care RL se poate concentra în principal pe îmbunătățirea capacității de căutare.

Etapa SFT

Inițializăm din familia de modele Qwen3 (Qwen3.5-122B-A10B și Qwen3.5-397B-A17B) (Yang et al., 2025, postarea pe blog Qwen3.5) și construim un set de date mixt SFT cu două componente care vizează comportamentele critice pentru implementare descrise mai sus, păstrând în același timp capacitatea generală de căutare a modelului de bază.

Exemple orientate spre preferințe. Selectăm exemple axate pe urmărirea instrucțiunilor și pe stil, vizând tonul, coerența lingvistică, claritatea și formatarea. Aceste exemple nu trebuie neapărat să accepte un singur adevăr absolut; mai degrabă, ele sunt selectate pentru a reflecta cerințele de redactare ale produsului și pentru a asigura o coerență stilistică între diverse tipuri de interogări.

Traiectorii de utilizare a instrumentelor în format de producție. Empiric, observăm că SFT fără o curatare atentă a setului de date poate reduce substanțial capacitatea de căutare a modelului de bază. Pentru a atenua acest lucru, eșantionăm interogări și sarcini interne pe diverse modele de interacțiune (cu un singur rând, două rânduri și mai multe rânduri) și le adnotăm cu ajutorul sistemului nostru de apelare a instrumentelor.

Etapa RL

Pornind de la punctul de control SFT, aplicăm RL on-policy pentru a îmbunătăți acuratețea și eficiența căutării. Optimizăm modelul de politică utilizând Group Relative Policy Optimization (GRPO) (Shao et al., 2024).

unde $G$ este dimensiunea grupului, $o_{i}$ denotă al $i$-lea eșantion de ieșire, iar $\hat{A}_{i, t} = \hat{A}_{i}$ este avantajul. Designul recompensei este detaliat în secțiunea de design a recompensei; pe scurt, combinăm corectitudinea de bază cu modelarea eficienței bazată pe preferințe și ancorată. Urmărind lucrările anterioare (Liu et al., 2025a; Yao et al., 2025; Zheng et al., 2025a), aplicăm eșantionarea importanței la nivel de token (IS) pentru a corecta decalajul dintre antrenament și inferență:

Evaluăm mai multe abordări pentru atenuarea decalajului dintre antrenament și inferență, inclusiv IS la nivel de secvență (Zheng et al., 2025b), reluarea rutării (Ma et al., 2025; Zheng et al., 2025b) și antrenamentul consecvent la nivel de biți care integrează nucleul motorului de inferență în timpul antrenamentului (Echipele vLLM și TorchTitan, 2025). Empiric, în cadrul configurării noastre on-policy, descoperim că IS la nivel de token este suficient pentru a preveni prăbușirea antrenamentului, rămânând în același timp simplu de implementat; acest lucru este în concordanță cu descoperirile din Zheng et al. (2025a).

Date de antrenament RL

Datele noastre de antrenament RL constau în două componente complementare: întrebări și răspunsuri verificabile pentru agenții de căutare, care vizează capacitatea generală de căutare, și chat general bazat pe rubrici, care consolidează în mod explicit barierele de protecție la implementare pentru a preveni regresia în timpul etapei de antrenament RL.

Date verificabile pentru agenții de căutare

Construirea setului de date. Urmând metoda de expansiune secvențială (Tao et al., 2025), construim un set de date sintetic intern de întrebări și răspunsuri din interogări de bază interne, fără a ne baza pe un graf de cunoștințe curatat, menținând conducta ușoară și ușor de actualizat. Fiecare exemplu sintetic este generat prin următorii pași:

1. Selectarea bazei. Preluăm documente pentru interogările de bază și selectăm entități cu confirmare a faptelor din surse multiple ca puncte de plecare, extragând declarații atomice despre acestea.
2. Construirea lanțului cu mai multe hopuri. Din declarațiile entității de bază, o selectăm pe cea care introduce a doua entitate (de exemplu, pentru baza „The Mom Test”, declarația „scrisă de Rob Fitzpatrick” introduce autorul ca următoarea entitate). Repetăm acest proces de legătură de 2–4 ori, asigurându-ne că fiecare entitate este distinctă și că nicio declarație singulară nu dezvăluie în mod trivial răspunsul final.
3. Sinteza întrebărilor fără nume. Convertim lanțul de entități într-o întrebare prin înlocuirea recursivă a numelor entităților cu declarațiile lor de legătură, producând o întrebare imbricată care necesită raționament pe mai multe hopuri.
4. Verificare. Păstrăm doar întrebările cu răspunsuri unice verificate de mai mulți solvenți independenți cu acces la web.

Exemplu (3 hopuri)

Luați în considerare interogarea de bază „The Mom Test”. Preluăm documente și identificăm această carte ca entitate de bază, apoi extragem declarații faptice atomice și construim iterativ un lanț de entități: (i) The Mom Test a fost scrisă de Rob Fitzpatrick, introducându-l pe Rob Fitzpatrick; (ii) primul startup al lui Rob Fitzpatrick a trecut prin Y Combinator (vara lui 2007), introducând Y Combinator; (iii) Y Combinator a fost lansat în martie 2005. Înlocuirea recursivă a fiecărui nume de entitate cu descriptorul său produce întrebarea fără nume: „Care carte a fost scrisă de persoana al cărei primul startup a trecut prin acceleratorul lansat în martie 2005, în cohorta sa din vara lui 2007?” cu răspunsul „The Mom Test”.

Augmentarea diversității formatului. Modelele antrenate exclusiv pe întrebări și răspunsuri sintetice brute tind să ignore preferințele de formatare și să folosească implicit o structură de răspuns fixă, indiferent de modul în care este formulată interogarea. Pentru a îmbunătăți diversitatea formatului, augmentăm setul de date cu interogări care includ instrucțiuni explicite de formatare (de exemplu, „Afișați o listă cu... ” sau „Rezumați... într-un tabel”), menținând în același timp răspunsul subiacent neschimbat.

Întrebări și răspunsuri verificabile publice (de bază). Construim un set de date de bază cu întrebări și răspunsuri verificabile din cinci seturi de date open-source (Lu et al., 2025; Pham et al., 2025; Press et al., 2023; Tao et al., 2025; Wu et al., 2025), reunite sub formatul nostru de prompt augmentat cu filtrare a calității. Acest amestec servește drept bază principală în experimentele noastre de validare. Pentru comparații controlate, potrivim scara setului nostru de date sintetic intern de întrebări și răspunsuri cu acest amestec open-source.

Validare rapidă. Validăm eficacitatea acestei conducte folosind Qwen3-30B-A3B-Instruct-2507 pentru a permite o iterare rapidă; rezultatele sunt sumarizate în Tabelul 1.

Extinde

Date de chat general bazat pe rubrici

În timp ce întrebările și răspunsurile verificabile oferă un semnal de antrenament curat pentru interogările centrate pe căutare, o fracțiune substanțială din traficul de producție nu este verificabilă în mod unic (de exemplu, rescriere, planificare și asistență cu final deschis). Excluderea unor astfel de interogări din RL ar lăsa politica suboptimizată pentru interacțiunile reale cu utilizatorii. În plus, în timp ce etapa SFT stabilește bariere de protecție critice pentru implementare, RL poate regresa asupra lor dacă nu sunt consolidate în mod explicit de date.

Încorporăm interogări neverificabile în antrenamentul RL prin convertirea cerințelor critice pentru implementare – urmărirea instrucțiunilor, constrângeri de formatare și convenții de siguranță – în rubrici: criterii atomice, verificabile în mod obiectiv, pe care un răspuns trebuie să le îndeplinească. Adoptăm construirea de date bazată pe rubrici (Gunjal et al., 2025; Liu et al., 2025b), generând seturi de rubrici per interogare.

Generarea rubricilor. Având în vedere istoricul complet al conversației, solicităm unui LLM să producă un răspuns de referință și un set de rubrici corespunzător. Rubricile sunt derivate în baza unei ordini de precendență fixe: cerințele menționate în mod explicit de utilizator au prioritate, urmate de constrângerile interne și, în cele din urmă, de cerințele de conținut necesare inferate din răspunsul de referință. Fiecare rubrică trebuie să fie:

• Atomică: o singură verificare bine definită;
• Obiectivă: verificabilă fără judecată subiectivă;
• Necesară: solicitată pentru a răspunde la interogare, nu doar o preferință stilistică.

Exemplu

Interogare.

She will share u man power planning. We have to arrange lodging & boarding. Plz correct swntence.

Rubrici.

• Răspunsul este scris în limba engleză.
• Wording-ul corectat conține cuvintele "lodging" și "boarding".
• Wording-ul corectat folosește "manpower" ca un singur cuvânt (de exemplu, "manpower plan" sau "manpower planning") în loc de "man power".
• Wording-ul corectat nu conține tokenurile prescurtate informale "u" sau "Plz" și nu conține caracterul ampersand "&".
• Răspunsul nu conține marcaje de citare de forma \\[type:idx\\], unde type denotă o sursă de date (de exemplu, web, chart, memory, attached_file).

Calibrarea rubricilor. Pentru a evita seturile de rubrici prea stricte sau prea permisive, aplicăm un filtru pass@4. Pentru fiecare interogare, eșantionăm patru răspunsuri independente și le evaluăm în raport cu setul complet de rubrici folosind un judecător pentru urmărirea instrucțiunilor. Eliminăm interogările pentru care niciun răspuns nu satisface setul de rubrici sau toate îl satisfac, păstrând doar pe cele care generează un semnal de antrenament informativ.

Amestecul de prompturi și echilibrarea a varianței

O provocare practică în RL cu mai multe obiective este dezechilibrul de variantă între componentele de date (Duchi și Namkoong, 2016; Liu et al., 2026; Qi et al., 2026). Deși atât întrebările și răspunsurile verificabile, cât și datele bazate pe rubrici produc recompense binare, ele difera substanțial în ceea ce privește dificultatea sarcinii: satisfacerea rubricilor este în general mai ușor de realizat la începutul antrenamentului, producând actualizări de gradient mai mari și mai frecvente care pot domina în mod disproporționat optimizarea politicii în comparație cu semnalul mai dificil al întrebărilor și răspunsurilor verificabile. Pentru a rezolva acest lucru, reponderăm amestecul de prompturi la nivelul setului de date, eșantionând 90% din întrebări și răspunsuri verificabile și 10% din date bazate pe rubrici pentru a echilibra semnalul de optimizare între componente.

Designul recompensei

Designul nostru de recompensă decurge direct din construirea datelor descrisă mai sus. În ciuda faptului că acoperă atât întrebări și răspunsuri verificabile, cât și sarcini bazate pe rubrici, toate datele de antrenament împărtășesc o structură de recompensă de bază comună: o execuție primește credite dacă produce un răspuns corect pentru sarcinile de întrebări și răspunsuri sau satisface toate rubricile specificate pentru chatul general. Bazându-ne pe această fundație comună, construim o recompensă compozită pentru a încorpora punctajul bazat pe preferințe și modelarea eficienței.

O provocare cheie observată în primele experimente a fost hackingul de recompense: o combinație liniară simplă de recompense a permis semnalelor puternice de preferință să compenseze eșecurile factuale sau de instruire. Prin urmare, adoptăm agregarea cu poartă ca principiu de bază al designului, definit formal ca:

unde $r_{\mathrm{base}}(\tau_i) \in \{0, 1\}$ denotă corectitudinea întrebărilor și răspunsurilor sau satisfacerea rubricii, $s(\tau_i)\in[0,1]$ este scorul de preferință și $\operatorname{pen}_{\mathrm{eff}}(\tau_i)$ este o penalizare de eficiență ancorată. Acest lucru face ca corectitudinea să fie o condiție necesară pentru primirea de credite de preferință, descurajând în același timp utilizarea inutilă a instrumentelor și prolixitatea. Figura 1 ilustrează conducta completă de recompensă, ale cărei componente le descriem mai jos:

Extinde

Recompensă de bază

Definim un semnal de bază binar $r_{\mathrm{base}}(\tau_i) \in \{0,1\}$ care surprinde corectitudinea sarcinii sau conformitatea cu instrucțiunile. Pentru datele verificabile ale agenților de căutare, $r_{\mathrm{base}}(\tau_i)=1$ dacă răspunsul final se potrivește cu adevărul absolut, și $0$ în caz contrar. Pentru datele de chat general bazate pe rubrici, $r_{\mathrm{base}}(\tau_i)=1$ dacă toate rubricile sunt îndeplinite, și $0$ în caz contrar. Această bază servește drept poartă strictă în regula de agregare condiționată Ec. 2.

Modelarea preferințelor

Ne propunem să aliniem modelul de politică la preferințele latente ale utilizatorilor privind calitatea răspunsului – informativitate, claritate și ton profesional –, care sunt dificil de capturat prin prompturile unui judecător LLM. Prin urmare, antrenăm un model de recompensă a preferințelor învățat pentru a puncta direct aceste atribute.

Formulăm învățarea preferințelor în cadrul cadrului Bradley–Terry. Având în vedere un context $x$ și două răspunsuri candidate $y_a, y_b$, modelul produce scoruri scalare $s_{\theta}(x, y) \in \mathbb{R}$ și minimizează,

unde $r \in \{0, 1\}$ indică dacă $y_a$ este preferat. Pentru a elimina părtinirea pozițională, fiecare pereche de antrenament este augmentată cu ambele ordonări și optimizată simetric,

În momentul inferenței, obținem un scor de preferință agnostic la poziție prin medierea ambelor permutări:

Scorul de preferință al execuției este apoi definit ca $s(\tau_i) \triangleq \bar{P}_{\theta}(x, y_a, y_b) \in [0,1]$, adică probabilitatea ca execuția politicii $y_i$ să fie preferată în comparație cu execuția modelului de referință pentru aceeași solicitare.

Datele de antrenament pentru modelarea preferințelor sunt extrase din seturi de date open-source curate, feedback de tip side-by-side de la utilizatori și adnotări interne. Pentru a aborda zgomotul de etichetare, aplicăm o conductă ușoară de filtrare și calibrare inspirată de Datbench (DatologyAI, 2026), păstrând doar exemple cu acord consistent între modele. Modelul de recompensă împarte aceeași bază ca modelul de politică, capul de modelare a limbajului fiind înlocuit de un cap de valoare. Deși modelele de recompensă mai mici obțin o acuratețe comparabilă pe eșantioane reținute, descoperim empiric că acestea nu reușesc să captureze preferințe de nivel fin și pot consolida comportamente nedorite ale politicii.

Penalizare de eficiență

În absența unei modelări explicite a eficienței, politica tinde să suprutilizeze instrumentele chiar și pe prompturi simple. Penalizările necondiționate (de exemplu, cele care se scalează liniar cu numărul de apeluri de instrumente sau lungimea ieșirii) sunt o linie de bază naturală, dar descoperim că acestea suprimă explorarea necesară și degradează învățarea. Prin urmare, adoptăm penalizări ancorate, relative la grup, care regularizează utilizarea instrumentelor și lungimea răspunsului în raport cu soluțiile efective din cadrul fiecărui grup GRPO. Pentru un grup 𝑔, definim setul câștigător ca:

Penalizare ancorată pentru apelul de instrumente. Pentru fiecare execuție $\tau_i$, fie $c_i$ numărul de apeluri de instrumente și $e_i$ numărul de eșecuri de execuție a instrumentelor. Definim numărul efectiv de apeluri de instrumente $\tilde{c}_i = c_i - e_i$ și eșantionăm uniform o linie de bază a grupului:

Calculăm excesul $\Delta_i = \max\!\left(0,\; \tilde{c}_i - b_g\right)$ și definim un scalar de penalizare neted $p_i = 1 - \exp\!\left(-\Delta_i\right)$. Penalizarea instrumentului este atunci:

Penalizare ancorată pentru lungime. Fie $L_i$ și $L_i^{\mathrm{ref}}$ lungimile în tokeni ale generațiilor modelului candidat și, respectiv, de referință. Definim setul de modelare $\widehat{W}_g$ ca fiind execuțiile care sunt atât corecte, cât și preferate:

Calculăm apoi liniile de bază ale lungimii specifice grupului:

Penalizarea de lungime este definită ca:

unde prima linie este o limită strictă; a doua penalizează câștigătorii prolixi; iar a treia penalizează perdanții laconici.

Penalizare combinată de eficiență. Penalizarea combinată de eficiență este o sumă ponderată a ambelor componente:

Rezultate principale

Evaluăm conducta noastră de post-antrenament pe două axe: (i) dinamica antrenamentului, pentru a evalua stabilitatea optimizării și dacă semnalele de recompensă se comportă conform așteptărilor, și (ii) benchmark-uri offline, pentru a măsura calitatea aval, siguranța și eficiența în condiții de evaluare controlate.

Setări implicite de antrenament. Modelul de politică interacționează cu un instrument de căutare web (search_web); fiecare apel de instrument preia până la 10 rezultate, cu interogări limitate la 250 de caractere și până la 5 interogări per execuție.

Dinamica antrenamentului

Examinăm dinamica optimizării, concentrându-ne pe progresia recompensei și comportamentul eficienței. Folosim Qwen3.5-397B-A11B pentru simplificarea ilustrării.

Extinde

Figura 2 arată o îmbunătățire constantă a recompensei de bază (întrebări și răspunsuri verificabile și satisfacerea rubricilor) alături de scorurile de preferință în creștere, indicând câștiguri consistente în corectitudine, conformitate și calitatea răspunsului.

Extinde

Figura 3 demonstrează că atât frecvența apelurilor de instrumente, cât și lungimea generării rămân bine controlate pe parcursul antrenamentului. În mod remarcabil, atât penalizările pentru apelul de instrumente, cât și cele pentru lungime scad monoton pe parcursul antrenamentului, reflectând adaptarea progresivă a modelului către o generare mai concisă și o invocare mai selectivă a instrumentelor.

Extinde

Figura 4 arată că normele de gradient rămân stabile, cu excepția unor vârfuri tranzitorii, în timp ce divergența KL între antrenament și inferență prezintă o tendință ușoară de creștere, rămânând în scala 1e-3. Acest model de derivă este în concordanță cu observațiile din alte cadre de antrenament RL; deoarece antrenamentul rămâne stabil pe tot parcursul, păstrăm o regularizare IS simplă în Ec. 1 fără intervenție suplimentară.

Evaluări offline

Raportăm rezultatele pe un set de benchmark-uri care acoperă acuratețea căutării, fiabilitatea factuală, urmărirea instrucțiunilor și siguranța, cuprinzând atât benchmark-uri publice, cât și valori interne Perplexity (PPLX). Benchmark-urile publice includ SimpleQA, FRAMES și Facts Open.

• pplx-sbs-search: Evaluarea preferințelor de tip side-by-side folosind un model de recompensă intern. Candidații sunt comparați cu o linie de bază puternică.
• pplx-abstention: Abilitatea de a refuza în mod corespunzător atunci când nu sunt disponibile dovezi fiabile.
• pplx-language-mismatch: Coerența lingvistică în setări cu coadă lungă (long-tail) și de tip multi-turn.
• pplx-broken-tool-calls (↓): Conformitatea schemei de apelare a instrumentelor și respectarea constrângerilor, de exemplu, tool_choice=none.

Setări implicite de evaluare. Pentru benchmark-urile publice, permitem doar instrumentul de căutare web, cu un buget de până la 5 apeluri de instrumente per exemplu și până la 10 rezultate per apel, generând până la 8192 de tokeni de ieșire la temperatura 0,6.

Extinde

Tabelul 2 arată că Qwen3.5-Large-SFT-RL obține o acuratețe ridicată a căutării în benchmark-urile publice, egalând sau depășind gpt-5.4 pe FRAMES și Facts Open în timp ce utilizează bugete de instrumente comparabile. În raport cu modelul de bază, abordarea noastră aduce câștiguri substanțiale în privința valorilor interne, în special în ceea ce privește preferințele (pplx-sbs-search: 0,602 → 0,742), coerența lingvistică și abținerea, demonstrând că această conductă în două etape îmbunătățește eficient comportamentele critice pentru implementare fără a compromite capacitatea de căutare.

Evaluări ale eficienței utilizării instrumentelor

Pentru a măsura acest lucru, concepem un protocol de evaluare cu buget impus. Fiecărui model i se oferă acces la un instrument de căutare web (search_web) și la un prompt de sistem care specifică o limită strictă a numărului de apeluri de instrumente permise („bugetul”). Variajăm acest buget de la 0 (fără utilizare de instrumente, cunoștințe pur parametrice) la 10 (preluare generoasă în mai mulți pași), înregistrând acuratețea la fiecare nivel. Aceasta produce o curbă a eficienței instrumentelor: scorul modelului ca funcție de bugetul de preluare care îi este permis. Evaluăm pe două benchmark-uri de întrebări și răspunsuri factuale, FRAMES și Facts Open.

Extinde

Câteva modele se evidențiază din aceste două benchmark-uri:

• Modelul nostru post-antrenat Qwen3.5-397B-SFT-RL obține cea mai bună acuratețe a căutării pe ambele benchmark-uri. Chiar și cu un singur apel de instrument, obține un scor de 57,3% pe FRAMES, cu 5,7 puncte peste GPT-5.4 și cu 4,7 puncte peste Sonnet 4.6.
  • Avantajul este cel mai pronunțat la bugete moderate (b=2-7), care reprezintă intervalul de operare practic pentru implementările de producție.
• Rețeta noastră de post-antrenament (SFT + RL) îmbunătățește substanțial eficiența utilizării instrumentelor față de punctul de control de bază; consultați liniile continue (post-antrenate) vs. liniile întrerupte (punctul de control inițial) din Figura 5.
• Pentru toate modelele, observăm randamente descrescătoare în jurul valorii budget=7, în mod consistent pe două benchmark-uri și pentru toate modelele, ceea ce sugerează că aceasta este o proprietate a sarcinilor de căutare a factualității, mai degrabă decât a modelelor.

Rezultatele de mai sus arată că Qwen3.5-397B-SFT-RL obține o acuratețe mai mare cu mai puține apeluri de instrumente. Dar cum se traduce acest lucru în costuri reale? Convertim măsurătorile la nivel de token în costuri în dolari folosind prețurile API publicate (Alibaba DashScope, OpenAI, Anthropic) pentru a face comparația concretă.

Extinde

La profilul mediu (b=4), Qwen3.5-397B-SFT-RL obține un scor de 73,9% pe FRAMES la 2,0 cenți pe interogare, în timp ce GPT-5.4 obține 67,8% la 8,5 cenți, iar Sonnet 4.6 obține 62,4% la 15,3 cenți. Aceasta înseamnă +6 puncte acuratețe la un cost de 4 ori mai mic comparativ cu GPT-5.4 și +11,5 puncte la un cost de 7,5 ori mai mic comparativ cu Sonnet 4.6.

Aceste estimări utilizează prețurile API de listă fără caching. Cu optimizări de inferență interne, cum ar fi reutilizarea cache-ului KV, cachingul de prefixe și servirea MoE cuantificată (397B utilizează doar 17B parametri activi), costul efectiv poate fi redus mult sub prețurile API de listă.

Concluzie

Separarea conformității de implementare de optimizarea căutării printr-o conductă SFT și RL în două etape generează un model care este atât capabil, cât și fiabil în condițiile constrângerilor de producție. Combinația dintre întrebări și răspunsuri verificabile și date de antrenament bazate pe rubrici, împreună cu agregarea recompenselor cu poartă și modelarea ancorată a eficienței, permite o optimizare stabilă cu mai multe obiective fără a sacrifica acuratețea căutării sau conformitatea barierelor de protecție.

Mai multe direcții merită investigații suplimentare. Așa cum s-a observat în Figura 4, divergența KL între antrenament și inferență prezintă o derivă ascendentă persistentă în pașii extinși de antrenament. Deși corecția IS la nivel de token se dovedește suficientă în configurația noastră actuală, nu este clar dacă acest lucru rămâne valabil la scară mai mare; un tratament teoretic mai riguros al acestui decalaj – incluzând discrepanțele la nivel de infrastructură și factorii specifici arhitecturii, cum ar fi rutarea MoE – alături de comparații empirice cantitative ale strategiilor de atenuare, rămâne o întrebare deschisă importantă. Pentru RL cu mai multe obiective în mod specific, direcțiile promițătoare includ antrenamentul secvențial (Zeng et al., 2026) cu distilare on-policy pentru a optimiza obiectivele în etape, atenuând în același timp uitarea catastrofală; și fuzionarea modelelor (Fu et al., 2025; Yang et al., 2026) pentru a decupla optimizarea specifică sarcinii de agregarea capabilităților. În cele din urmă, scalarea la fluxuri de lucru realiste cu mai multe instrumente și traiectorii pe termen lung rămâne o provocare deschisă importantă, necesitând probabil o mai bună atribuire a creditelor, suport pentru execuții parțiale și evaluări.

Referințe

DatologyAI. Datbench: Discriminative, faithful, and efficient vision-language model evaluations. https://www.datologyai.com/blog/datbench-discriminative-faithful-and-efficient-vision-language-model-evaluations, ian. 2026. Publicat pe 6 ian. 2026. Accesat: 04.03.2026.

J. Duchi și H. Namkoong. Variance-based regularization with convex objectives. Prepublicare arXiv arXiv:1610.02581, 2016.

Z. Fu, X. Wu, Y. Wang, W. Wang, S. Ye, H. Yin, Y. Chang, Y. Zheng și X. Zhao. Training-free llm merging for multi-task learning. În Proceedings of the 63rd Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), paginile 33111–33124, 2025.

A. Gunjal, A. Wang, E. Lau, V. Nath, Y. He, B. Liu și S. Hendryx. Rubrics as rewards: Reinforcement learning beyond verifiable domains. Prepublicare arXiv arXiv:2507.17746, 2025.

J. Liu, Y. Li, Y. Fu, J. Wang, Q. Liu și Y. Shen. When speed kills stability: Demystifying rl collapse from the training-inference mismatch. Notion Blog, 2025a.

S.-Y. Liu, X. Dong, X. Lu, S. Diao, P. Belcak, M. Liu, M.-H. Chen, H. Yin, Y.-C. F. Wang, K.-T. Cheng et al. Gdpo: Group reward-decoupled normalization policy optimization for multi-reward rl optimization. Prepublicare arXiv arXiv:2601.05242, 2026.

T. Liu, R. Xu, T. Yu, I. Hong, C. Yang, T. Zhao și H. Wang. Openrubrics: Towards scalable synthetic rubric generation for reward modeling and llm alignment. Prepublicare arXiv arXiv:2510.07743, 2025b.

R. Lu, Z. Hou, Z. Wang, H. Zhang, X. Liu, Y. Li, S. Feng, J. Tang și Y. Dong. Deepdive: Advancing deep search agents with knowledge graphs and multi-turn rl. Prepublicare arXiv arXiv:2509.10446, 2025.

W. Ma, H. Zhang, L. Zhao, Y. Song, Y. Wang, Z. Sui și F. Luo. Stabilizing moe reinforcement learning by aligning training and inference routers. Prepublicare arXiv arXiv:2510.11370, 2025.

T. Pham, N. Nguyen, P. Zunjare, W. Chen, Y.-M. Tseng și T. Vu. Sealqa: Raising the bar for reasoning in search-augmented language models. Prepublicare arXiv arXiv:2506.01062, 2025.

O. Press, M. Zhang, S. Min, L. Schmidt, N. A. Smith și M. Lewis. Measuring and narrowing the compositionality gap in language models. În Findings of the Association for Computational Linguistics: EMNLP 2023, paginile 5687–5711, 2023.

P. Qi, X. Zhou, Z. Liu, T. Pang, C. Du, M. Lin și W. S. Lee. Rethinking the trust region in llm reinforcement learning. Prepublicare arXiv arXiv:2602.04879, 2026.

Z. Shao, P. Wang, Q. Zhu, R. Xu, J. Song, X. Bi, H. Zhang, M. Zhang, Y. Li, Y. Wu et al. Deepseekmath: Pushing the limits of mathematical reasoning in open language models. Prepublicare arXiv arXiv:2402.03300, 2024.

Z. Tao, J. Wu, W. Yin, J. Zhang, B. Li, H. Shen, K. Li, L. Zhang, X. Wang, Y. Jiang et al. Webshaper: Agentically data synthesizing via information-seeking formalization. Prepublicare arXiv arXiv:2507.15061, 2025.

Echipele vLLM și TorchTitan. No more train-inference mismatch: Bitwise consistent on-policy reinforcement learning with vLLM and TorchTitan. https://blog.vllm.ai /2025/11/10/bitwise-consistent-train-inference.html, noi. 2025. vLLM Blog.

J. Wu, W. Yin, Y. Jiang, Z. Wang, Z. Xi, R. Fang, D. Zhou, P. Xie și F. Huang. Webwalker: Benchmarking llms in web traversal, 2025. URL https://arxiv.org/abs/ 2501.07572.

A. Yang, A. Li, B. Yang, B. Zhang, B. Hui, B. Zheng, B. Yu, C. Gao, C. Huang, C. Lv et al. Qwen3 technical report. Prepublicare arXiv arXiv:2505.09388, 2025.

E. Yang, L. Shen, G. Guo, X. Wang, X. Cao, J. Zhang și D. Tao. Model merging in llms, mllms, and beyond: Methods, theories, applications, and opportunities. ACM Computing Surveys, 58(8):1–41, 2026.

F. Yao, L. Liu, D. Zhang, C. Dong, J. Shang și J. Gao. Your efficient rl framework secretly brings you off-policy rl training, Aug. 2025. URL https://fengyao.notion.s ite/off-policy-rl.

A. Zeng, X. Lv, Z. Hou, Z. Du, Q. Zheng, B. Chen, D. Yin, C. Ge, C. Xie, C. Wang et al. Glm-5: from vibe coding to agentic engineering. Prepublicare arXiv arXiv:2602.15763, 2026.

C. Zheng, K. Dang, B. Yu, M. Li, H. Jiang, J. Lin, Y. Liu, H. Lin, C. Wu, F. Hu et al. Stabilizing reinforcement learning with llms: Formulation and practices. Prepublicare arXiv arXiv:2512.01374, 2025a.

C. Zheng, S. Liu, M. Li, X.-H. Chen, B. Yu, C. Gao, K. Dang, Y. Liu, R. Men, A. Yang et al. Group sequence policy optimization. Prepublicare arXiv arXiv:2507.18071, 2025b.

Citare

@online{perplexity2026AdvancingSearchAugmentedLanguageModels,
  author = {{Perplexity} and Denis Yarats and Dongqi Wu and Hang Wu and Randy Ardywibowo and Senzeyu Zhang and Yunfan Zhong and Ziqing Hu and Clare Southern and Riley Carlson and Yi He and Erin McKnight and Mara Sohn and Phi Hoang},
  title = {{Advancing search-augmented language models}},
  date = {2026-04-22},
  url = {https://perplexity.coolkeypoint.com/hub/blog/advancing-search-augmented-language-models}
}