Avançant en els models de llenguatge augmentats per cerca

Com postentrenem models oberts per convertir-los en agents de cerca que responguin amb més precisió i menys crides d'eines.

AutorsPerplexity Research

Introducció

L'entrenament d'agents de cerca web de frontera requereix optimitzar conjuntament múltiples objectius: precisió factual, eficiència de la trajectòria i alineació amb les preferències de l'usuari. No obstant això, millorar qualsevol dimensió de manera aïllada sovint degrada les altres: els models entrenats exclusivament per a la precisió tendeixen a abusar de les eines, mentre que els optimitzats per a la brevetat poden sacrificar la fiabilitat o la integritat. A Perplexity, cap dels dos resultats és acceptable.

Aquest article descriu el pipeline de postentrenament de Perplexity per desenvolupar agents de cerca web d'última generació basats en models de codi obert. Una idea clau és que, en l'entrenament d'agents de cerca, la curació de dades i el disseny de recompenses s'han de dissenyar conjuntament: les dades determinen quins comportaments són observables i verificables, i la recompensa determina com aquests senyals es tradueixen en senyal d'optimització. Aquest principi motiva el nostre pipeline de dues etapes: primer realitzem un escalfament d'afinament supervisat (SFT) per inicialitzar el model de política, i després refinem el model de política mitjançant aprenentatge per reforç (RL) sobre un conjunt de dades comissariat i recompenses acuradament dissenyades. Aquest enfocament de dues etapes permet guanys fiables en precisió, eficiència i qualitat de resposta sota restriccions de producció.

Primer descrivim el nostre pipeline d'entrenament de dues etapes (SFT → RL on-policy), seguit de la construcció de les nostres dades d'entrenament d'RL, cobrint tant les Q&A d'agents de cerca verificables com el xat general basat en rúbriques. A continuació, presentem un disseny de recompensa compost derivat d'aquest entorn de dades heterogeni, equilibrant la qualitat i l'eficiència alhora que es mitiga el pirateig de recompenses. Finalment, analitzem la dinàmica d'entrenament i els resultats dels benchmarks.

Pipeline d'entrenament de dues etapes

Adoptem una recepta de postentrenament de dues etapes: (i) SFT per establir comportaments crítics per al desplegament com ara barreres de protecció (p. ex., abstenció), seguiment d'instruccions i consistència lingüística, i (ii) RL on-policy per millorar la capacitat de cerca, incloent-hi la precisió de les respostes i l'eficiència en l'ús d'eines, preservant alhora els comportaments de la primera etapa.

Per què dues etapes? Optimitzar conjuntament la qualitat de cerca i les restriccions de desplegament dins d'una sola etapa d'RL és difícil sense comprometre almenys un objectiu. Empíricament, l'entrenament exclusiu amb RL millora el rendiment de cerca, però tendeix a obtenir pitjors resultats en les barreres de protecció de desplegament, mentre que l'SFT millora el compliment a costa del rendiment de cerca. Desglossar els objectius permet que l'etapa SFT abordi primer els requisits no negociables, després dels quals l'RL pot centrar-se principalment a millorar la capacitat de cerca.

Etapa SFT

Inicialitzem a partir de la família de models Qwen3 (Qwen3.5-122B-A10B i Qwen3.5-397B-A17B) (Yang et al., 2025, entrada de blog de Qwen3.5) i construïm un conjunt de dades de barreja SFT de dos components dirigit als comportaments crítics per al desplegament descrits anteriorment, preservant alhora la capacitat de cerca general del model base.

Exemples orientats a preferències. Comissariem exemples de seguiment d'instruccions i centrats en l'estil que tenen com a objectiu el to, la consistència del llenguatge, la claredat i el format. Aquests exemples no necessiten admetre una única veritat de referència; més aviat, es seleccionen per reflectir els requisits d'escriptura del producte i assegurar la consistència estilística entre diversos tipus de consultes.

Trajectòries d'ús d'eines en format de producció. Empíricament, trobem que l'SFT sense una acurada curació del conjunt de dades pot degradar substancialment la capacitat de cerca del model base. Per mitigar això, mostrem consultes i tasques internes a través de diversos patrons d'interacció (de torn únic, de dos torns i de múltiples torns) i les anotem amb el nostre entorn de crida d'eines.

Etapa d'RL

Partint del punt de control de l'SFT, apliquem RL on-policy per millorar la precisió i l'eficiència de la cerca. Optimitzem el model de política mitjançant l'optimització de polítiques relatives de grup (GRPO) (Shao et al., 2024).

JGRPO(θ)=1G∑i=1G1∣oi∣∑t=1∣oi∣ri,t(θ)A^i,t,\mathcal{J}_{\text{GRPO}}(\theta) = \frac{1}{G}\sum_{i=1}^{G} \frac{1}{|o_i|}\sum_{t=1}^{|o_i|} r_{i,t}(\theta)\hat{A}_{i,t},

on GG és la mida del grup, oio_{i} denota la ii-èsima sortida mostrada, i A^i,t=A^i\hat{A}_{i, t} = \hat{A}_{i} és l'avantatge. El disseny de la recompensa es detalla a la secció de disseny de la recompensa; en resum, combinem la correcció de referència amb la conformació d'eficiència basada en preferències i ancorada. Seguint treballs anteriors (Liu et al., 2025a; Yao et al., 2025; Zheng et al., 2025a), apliquem mostreig d'importància (IS) a nivell de token per corregir el desajust entre entrenament i inferència:

ri,t(θ)=πtrain(θ)μinfer(θ).r_{i,t}(\theta) = \frac{\pi_{\text{train}}(\theta)}{\mu_{\text{infer}}(\theta)}.

Avaluem diversos enfocaments per mitigar el desajust entre entrenament i inferència, incloent-hi l'IS a nivell de seqüència (Zheng et al., 2025b), la reproducció d'encaminament (Ma et al., 2025; Zheng et al., 2025b) i l'entrenament consistent a nivell de bits que integra el nucli del motor d'inferència durant l'entrenament (equips de vLLM i TorchTitan, 2025). Empíricament, sota el nostre entorn on-policy, trobem que l'IS a nivell de token és suficient per prevenir el col·lapse de l'entrenament alhora que continua sent senzill d'implementar; això és coherent amb les troballes de Zheng et al. (2025a).

Dades d'entrenament d'RL

Les nostres dades d'entrenament d'RL consisteixen en dos components complementaris: Q&A d'agents de cerca verificables orientades a la capacitat de cerca general, i xat general basat en rúbriques que reforça explícitament les barreres de protecció de desplegament per evitar la regressió durant l'etapa d'entrenament d'RL.

Dades d'agents de cerca verificables

Construcció del conjunt de dades. Seguint el mètode d'expansió seqüencial (Tao et al., 2025), construïm un conjunt de dades Q&A sintètic propi a partir de consultes llavor internes sense dependre d'un graf de coneixement curat, mantenint el pipeline lleuger i fàcil d'actualitzar. Cada exemple sintètic es genera mitjançant els passos següents:

  1. Selecció de llavors. Recuperem documents per a consultes llavor i seleccionem entitats amb confirmació de fets de múltiples fonts com a punts de partida, extraient-ne declaracions atòmiques.
  2. Construcció de cadenes de salts múltiples. A partir de les declaracions de l'entitat llavor, en seleccionem una que introdueixi una segona entitat (p. ex., per a la llavor «The Mom Test», la declaració «escrit per Rob Fitzpatrick» introdueix l'autor com a la següent entitat). Repetim aquest procés d'enllaç de 2 a 4 vegades, assegurant-nos que cada entitat sigui distinta i que cap declaració individual reveli trivialment la resposta final
  3. Síntesi de preguntes sense noms. Convertim la cadena d'entitats en una pregunta reemplaçant recursivament els noms d'entitats amb les seves declaracions de connexió, produint una pregunta niuada que requereix un raonament de salts múltiples
  4. Verificació. Retenim només les preguntes amb respostes úniques verificades per múltiples solucions independents habilitades per a la web.

Exemple (3 salts)

Considereu la consulta llavor «The Mom Test». Recuperem documents i identifiquem aquest llibre com a l'entitat llavor, després extraiem declaracions factuals atòmiques i construïm iterativament una cadena d'entitats: (i) The Mom Test va ser escrit per Rob Fitzpatrick, introduint Rob Fitzpatrick; (ii) la primera startup de Rob Fitzpatrick va passar per Y Combinator (estiu de 2007), introduint Y Combinator; (iii) Y Combinator es va llançar el març de 2005. Reemplaçar recursivament cada nom d'entitat pel seu descriptor produeix la pregunta sense noms: «Quin llibre va ser escrit per la persona la primera startup de la qual va passar per l'acceleradora llançada el març de 2005, en la seva promoció de l'estiu de 2007?» amb la resposta «The Mom Test».

Augmentació de la diversitat de formats. Els models entrenats exclusivament amb Q&A sintètiques crues tendeixen a ignorar les preferències de format i predeterminen una estructura de resposta fixa, independentment de com es formuli la consulta. Per millorar la diversitat de formats, augmentem el conjunt de dades amb consultes que inclouen instruccions de format explícites (p. ex., «Mostra una llista de...» o «Resumeix... en una taula»), mantenint inalterada la resposta subjacent.

Q&A verificable pública (línia base). Construïm un conjunt de dades Q&A verificable de línia base a partir de cinc conjunts de dades de codi obert (Lu et al., 2025; Pham et al., 2025; Press et al., 2023; Tao et al., 2025; Wu et al., 2025), unificats sota el nostre format d'indicació augmentat amb filtratge de qualitat. Aquesta barreja serveix com a línia base principal en els nostres experiments de validació. Per a comparacions controlades, fem coincidir l'escala del nostre conjunt de dades Q&A sintètic intern amb aquesta barreja de codi obert.

Validació ràpida. Validem l'efectivitat d'aquest pipeline utilitzant Qwen3-30B-A3B-Instruct-2507 per permetre una iteració ràpida; els resultats es resumeixen a la Taula 1.

Validació del conjunt de dades Q&A verificables sintètiques

Dades de xat general basades en rúbriques

Tot i que la QA verificable proporciona un senyal d’entrenament net per a consultes centrades en la cerca, una fracció substancial del trànsit de producció no és verificable de manera única (per exemple, reescriptura, planificació i assistència de final obert). Excloure aquestes consultes de l’RL deixaria la política suboptimitzada per a les interaccions reals dels usuaris. A més, mentre que l’etapa de SFT estableix baranes crítiques per al desplegament, l’RL pot retrocedir en elles tret que es reforcin explícitament amb les dades.

Incorporem consultes no verificables a l'entrenament d'RL convertint els requisits crítics per al desplegament —seguiment d'instruccions, restriccions de format i convencions de seguretat— en rúbriques: criteris atòmics i objectivament comprovables que una resposta ha de satisfer. Adoptem la construcció de dades basada en rúbriques (Gunjal et al., 2025; Liu et al., 2025b), generant conjunts de rúbriques per consulta.

Generació de rúbriques. Donat l'historial complet de la conversa, demanem a un LLM que produeixi una resposta de referència i un conjunt de rúbriques corresponent. Les rúbriques es deriven sota un ordre de precedència fix: els requisits indicats explícitament per l'usuari tenen prioritat, seguits de les restriccions internes i, finalment, els requisits de contingut necessaris deduïts de la resposta de referència. Cada rúbrica ha de ser:

  • Atòmica: una sola verificació ben definida;
  • Objectiva: verificable sense judici subjectiu;
  • Necessària: requerida per respondre a la consulta, no merament una preferència estilística.

Exemple

Consulta.

She will share u man power planning. We have to arrange lodging & boarding. Plz correct swntence.

Rúbriques.

  • La resposta està escrita en anglès.
  • La redacció corregida conté les paraules "lodging" i "boarding".
  • La redacció corregida utilitza "manpower" com a una sola paraula (per exemple, "manpower plan" o "manpower planning") en lloc de "man power".
  • La redacció corregida no conté els testimonis abreujats informals "u" o "Plz", i no conté el caràcter et "&".
  • La resposta no conté marcadors de citació de la forma \\[type:idx\\], on type denota una font de dades (per exemple, web, chart, memory, attached_file).

Calibratge de rúbriques. Per evitar conjunts de rúbriques excessivament estrictes o excessivament permissius, apliquem un filtre pass@4. Per a cada consulta, mostrem quatre respostes independents i les avaluem respecte al conjunt complet de rúbriques amb un jutge de seguiment d'instruccions. Descartem les consultes per a les quals cap resposta satisfà el conjunt de rúbriques o totes ho fan, retenint només aquelles que produeixen un senyal d'entrenament informatiu.

Barreja d'indicacions i equilibri de variància

Un repte pràctic en l'RL multi-objectiu és el desequilibri de la variància entre els components de dades (Duchi i Namkoong, 2016; Liu et al., 2026; Qi et al., 2026). Tot i que tant les Q&A verificables com les dades basades en rúbriques produeixen recompenses binàries, difereixen substancialment en la dificultat de la tasca: la satisfacció de les rúbriques sol ser més fàcil d'aconseguir a l'inici de l'entrenament, produint actualitzacions de gradient més grans i freqüents que poden dominar desproporcionadament l'optimització de la política en relació amb el senyal de Q&A verificable, que és més difícil. Per abordar això, tornem a ponderar la barreja d'indicacions a nivell de conjunt de dades, mostrant un 90% de Q&A verificables i un 10% de dades basades en rúbriques per equilibrar el senyal d'optimització entre els components.

Disseny de la recompensa

El nostre disseny de recompensa es deriva directament de la construcció de dades descrita anteriorment. Malgrat abastar tant Q&A verificables com tasques de rúbriques, totes les dades d'entrenament comparteixen una estructura de recompensa de línia base comuna: un desplegament rep crèdits si produeix una resposta correcta per a les tasques de Q&A, o satisfà totes les rúbriques especificades per al xat general. Partint d'aquesta base compartida, construïm una recompensa composta per incorporar la puntuació basada en preferències i la conformació d'eficiència.

Un repte clau observat en els primers experiments va ser el pirateig de recompenses: una combinació lineal simple de recompenses permetia que senyals de preferència forts compensessin fallades factuals o d'instrucció. Per tant, adoptem l'agregació amb porta com a principi de disseny central, definit formalment com:

R(τi)=rbase(τi)⋅s(τi)  −  pen⁡eff(τi),R(\tau_i) = r_{\text{base}}(\tau_i) \cdot s(\tau_i) \;-\; \operatorname{pen}_{\text{eff}}(\tau_i),

on rbase(τi)∈{0,1}r_{\mathrm{base}}(\tau_i) \in \{0, 1\} denota la correcció de les Q&A o la satisfacció de les rúbriques, s(τi)∈[0,1]s(\tau_i)\in[0,1] és la puntuació de preferència, i pen⁡eff(τi)\operatorname{pen}_{\mathrm{eff}}(\tau_i) és una penalització d'eficiència ancorada. Això fa que la correcció sigui una condició necessària per rebre crèdits de preferència, alhora que continua desincentivant l'ús innecessari d'eines i la verbositat. La Figura 1 il·lustra el pipeline de recompensa complet, els components del qual descrivim a continuació:

Visió general del disseny de recompenses. Combinem un senyal de correcció de línia base (verificable/rúbrica), una puntuació de preferència de Bradley–Terry i penalitzacions d'eficiència ancorades. La preferència està regulada per la correcció de la línia base per evitar el pirateig de recompenses.

Recompensa de línia base

Definim un senyal de línia base binari rbase(τi)∈{0,1}r_{\mathrm{base}}(\tau_i) \in \{0,1\} que captura la correcció de la tasca o el compliment de les instruccions. Per a dades d'agents de cerca verificables, rbase(τi)=1r_{\mathrm{base}}(\tau_i)=1 si la resposta final coincideix amb la veritat de referència, i 00 en cas contrari. Per a dades de xat general basades en rúbriques, rbase(τi)=1r_{\mathrm{base}}(\tau_i)=1 si totes les rúbriques es satisfan, i 00 en cas contrari. Aquesta línia base serveix com a porta dura en la regla d'agregació condicional de l'Eq. 2.

Modelatge de preferències

El nostre objectiu és alinear el model de política amb les preferències latents dels usuaris sobre la qualitat de la resposta —informativitat, claredat i to professional—, que són difícilment capturables mitjançant indicacions de jutges LLM. Per tant, entrenem un model de recompensa de preferència après per puntuar aquests atributs directament.

Formulem l'aprenentatge de preferències sota el marc de Bradley–Terry. Donats un context xx i dues respostes candidates ya,yby_a, y_b, el model produeix puntuacions escalars sθ(x,y)∈Rs_{\theta}(x, y) \in \mathbb{R} i minimitza,

ℓBT(θ;x,ya,yb,r)=−[rlog⁡σ(Δθ)+(1−r)log⁡(1−σ(Δθ))],Δθ=sθ(x,ya)−sθ(x,yb)\ell_{\text{BT}}(\theta; x, y_a, y_b, r) = -\Big[r \log \sigma(\Delta_\theta) + (1-r) \log\bigl(1 - \sigma(\Delta_\theta)\bigr)\Big], \\ \Delta_\theta = s_\theta(x, y_a) - s_\theta(x, y_b)

on r∈{0,1}r \in \{0, 1\} indica si yay_a és preferit. Per eliminar el biaix posicional, cada parell d'entrenament s'augmenta amb ambdós ordenaments i s'optimitza simètricament,

Lsym=12 ℓBT(x,ya,yb,r)+12 ℓBT(x,yb,ya,1−r).\mathcal{L}_{\text{sym}} = \tfrac{1}{2}\,\ell_{\text{BT}}(x, y_a, y_b, r) + \tfrac{1}{2}\,\ell_{\text{BT}}(x, y_b, y_a, 1-r).

En el moment de la inferència, obtenim una puntuació de preferència agnòstica de la posició fent la mitjana de les dues permutacions:

Δˉθ(x,ya,yb)=12[Δθ(x,ya,yb)−Δθ(x,yb,ya)],Pˉθ(x,ya,yb)=σ(Δˉθ(x,ya,yb)).\bar{\Delta}_\theta(x, y_a, y_b) = \tfrac{1}{2}\Big[\Delta_\theta(x, y_a, y_b) - \Delta_\theta(x, y_b, y_a)\Big], \\ \bar{P}_\theta(x, y_a, y_b) = \sigma\bigl(\bar{\Delta}_\theta(x, y_a, y_b)\bigr).

La puntuació de preferència de desplegament es defineix llavors com s(τi)≜Pˉθ(x,ya,yb)∈[0,1]s(\tau_i) \triangleq \bar{P}_{\theta}(x, y_a, y_b) \in [0,1], és a dir, la probabilitat que el desplegament de la política yiy_i sigui preferit per davant del desplegament del model de referència per a la mateixa indicació.

Les dades d'entrenament per al modelatge de preferències s'extreuen de conjunts de dades de codi obert comissariats, retroalimentació d'usuaris cara a cara i anotacions internes. Per abordar el soroll d'etiquetes, apliquem un pipeline de filtratge i calibratge lleuger inspirat en Datbench (DatologyAI, 2026), retenint només exemples amb acord intermodel consistent. El model de recompensa comparteix la mateixa columna vertebral que el model de política, amb la capçalera de modelatge del llenguatge substituïda per una capçalera de valor. Tot i que els models de recompensa més petits aconsegueixen una precisió de test comparable, trobem empíricament que no aconsegueixen capturar preferències de gra fi i poden reforçar comportaments de política no desitjats.

Penalització d'eficiència

Sense una conformació d'eficiència explícita, la política tendeix a abusar de les eines fins i tot en indicacions simples. Les penalitzacions incondicionals (p. ex., aquelles que s'escalen linealment amb el recompte de crides d'eines o la longitud de sortida) són una línia base natural, però trobem que suprimeixen l'exploració necessària i degraden l'aprenentatge. Per tant, adoptem penalitzacions ancorades i relatives al grup que regularitzen l'ús d'eines i la longitud de la resposta en relació amb les solucions efectives dins de cada grup GRPO. Per a un grup 𝑔, definim el conjunt guanyador com:

Wg={ i:rbase(τi)=1 }.W_g = \{\, i : r_{\text{base}}(\tau_i) = 1 \,\}.

Penalització de crides d'eines ancorada. Per a cada desplegament τi\tau_i, sigui cic_i el nombre de crides d'eines i eie_i el nombre de fallades d'execució d'eines. Definim el recompte efectiu de crides d'eines c~i=ci−ei\tilde{c}_i = c_i - e_i i mostrem uniformement una línia base de grup:

bg∼Unif⁡ ⁣(min⁡j∈Wgc~j, ⌈mean⁡j∈Wgc~j⌉).b_g \sim \operatorname{Unif}\!\left(\min_{j \in W_g} \tilde{c}_j,\ \left\lceil \operatorname{mean}_{j \in W_g} \tilde{c}_j \right\rceil\right).

Calculem l'excés Δi=max⁡ ⁣(0,  c~i−bg)\Delta_i = \max\!\left(0,\; \tilde{c}_i - b_g\right) i definim un escalar de penalització suau pi=1−exp⁡ ⁣(−Δi)p_i = 1 - \exp\!\left(-\Delta_i\right). La penalització d'eines és llavors:

pen⁡tool(τi)={αwin pi,i∈Wg,αlose pi+βlose,i∉Wg,\operatorname{pen}_{\text{tool}}(\tau_i) = \begin{cases} \alpha_{\text{win}}\, p_i, & i \in W_g, \\ \alpha_{\text{lose}}\, p_i + \beta_{\text{lose}}, & i \notin W_g, \end{cases}

Penalització de longitud ancorada. Siguin LiL_i i LirefL_i^{\mathrm{ref}} les longituds de token de les generacions del model candidat i de referència, respectivament. Definim el conjunt de conformació W^g\widehat{W}_g com a desplegaments que són correctes i preferits:

W^g={ i∈Wg⏟correct  :  s(τi)≥0.5⏟preferred }.\widehat{W}_g = \{\, \underbrace{i \in W_g}_{\text{correct}} \;:\; \underbrace{s(\tau_i) \geq 0.5}_{\text{preferred}} \,\}.

A continuació, calculem línies base de longitud específiques del grup:

bg,win⏟avg. ref. lengthof winners=mean⁡j∈W^gLjref,bg,lose⏟avg. ref. lengthof losers=mean⁡j∉W^gLjref.\underbrace{b_{g,\text{win}}}_{\substack{\text{avg. ref. length} \\ \text{of winners}}} = \operatorname{mean}_{j \in \widehat{W}_g} L_j^{\text{ref}}, \qquad \underbrace{b_{g,\text{lose}}}_{\substack{\text{avg. ref. length} \\ \text{of losers}}} = \operatorname{mean}_{j \notin \widehat{W}_g} L_j^{\text{ref}}.

La penalització de longitud es defineix com:

pen⁡len(τi)={1,Li>max⁡jLjcmp1−exp⁡ ⁣(−max⁡ ⁣(0, Libg,win−1)),i∈W^g1−exp⁡ ⁣(−max⁡ ⁣(0, bg,loseLi−1)),i∉W^g\operatorname{pen}_{\text{len}}(\tau_i) = \begin{cases} 1, & L_i > \max_j L_j^{\text{cmp}} \\ 1 - \exp\!\left(-\max\!\left(0,\ \dfrac{L_i}{b_{g,\text{win}}} - 1\right)\right), & i \in \widehat{W}_g \\ 1 - \exp\!\left(-\max\!\left(0,\ \dfrac{b_{g,\text{lose}}}{L_i} - 1\right)\right), & i \notin \widehat{W}_g \end{cases}

on la primera línia és un límit rígid; la segona penalitza els guanyadors amb molta verbositat; i la tercera penalitza els perdedors massa breus.

Penalització d'eficiència combinada. La penalització d'eficiència combinada és una suma ponderada d'ambdós components:

pen⁡eff(τi)=λtool pen⁡tool(τi)+λlen pen⁡len(τi).\operatorname{pen}_{\text{eff}}(\tau_i) = \lambda_{\text{tool}}\, \operatorname{pen}_{\text{tool}}(\tau_i) + \lambda_{\text{len}}\, \operatorname{pen}_{\text{len}}(\tau_i).

Resultats principals

Avaluem el nostre pipeline de postentrenament al llarg de dos eixos: (i) dinàmica d'entrenament, per avaluar l'estabilitat de l'optimització i si els senyals de recompensa es comporten com s'espera, i (ii) benchmarks fora de línia, per mesurar la qualitat descendent, la seguretat i l'eficiència sota entorns d'avaluació controlats.

Configuració d'entrenament predeterminada. El model de política interactua amb una eina de cerca web (search_web); cada crida d'eina recupera fins a 10 resultats, amb consultes limitades a 250 caràcters i fins a 5 consultes per desplegament.

Dinàmica d'entrenament

Examinem la dinàmica d'optimització, centrant-nos en la progressió de les recompenses i el comportament de l'eficiència. Utilitzem Qwen3.5-397B-A11B per simplificar la il·lustració.

Evolució de la línia base i dels senyals de preferència durant l'entrenament.

La Figura 2 mostra una millora constant en la recompensa de la línia base (Q&A verificables i satisfacció de les rúbriques) juntament amb l'augment de les puntuacions de preferència, indicant guanys consistents en correcció, compliment i qualitat de la resposta.

Comportament d'eficiència i penalitzacions de conformació ancorades durant l'entrenament.

La Figura 3 demostra que tant la freqüència de crides d'eines com la longitud de generació es mantenen ben controlades al llarg de l'entrenament. D'inici, cal destacar que tant la penalització de crides d'eines com la de longitud disminueixen de manera monotònica al llarg de l'entrenament, reflectint l'adaptació progressiva del model cap a una generació més concisa i una invocació d'eines més selectiva.

Indicadors d'estabilitat d'optimització.

La Figura 4 mostra que les normes de gradient es mantenen estables a part de pics transitoris, mentre que la divergència KL entre entrenament i inferència mostra una lleugera tendència a l'alça, mantenint-se dins de l'escala 1e-3. Aquest patró de deriva és coherent amb les observacions en altres marcs d'entrenament d'RL; com que l'entrenament es manté estable durant tot el procés, retenim una regularització IS simple a l'Eq. 1 sense intervenció addicional.

Avaluacions fora de línia

Informem dels resultats d'un conjunt de benchmarks que abasten la precisió de la cerca, la fiabilitat factual, el seguiment d'instruccions i la seguretat, comprenent tant benchmarks públics com mètriques internes de Perplexity (PPLX). Els benchmarks públics inclouen SimpleQA, FRAMES i Facts Open.

  • pplx-sbs-search: Avaluació de preferències cara a cara mitjançant un model de recompensa intern. Els candidats es comparen amb una línia base sòlida.
  • pplx-abstention: Capacitat de refusar adequadament quan no hi ha proves fiables disponibles.
  • pplx-language-mismatch: Consistència lingüística sota configuracions de cua llarga i de múltiples torns.
  • pplx-broken-tool-calls (↓): Compliment de l'esquema de crides d'eines i seguiment de restriccions, per exemple, tool_choice=none.

Configuració d'avaluació predeterminada. Per als benchmarks públics, només permetem l'eina de cerca web, amb un pressupost de fins a 5 crides d'eines per exemple i fins a 10 resultats per crida, generant fins a 8192 tokens de sortida a una temperatura de 0,6.

Resultats d'avaluació fora de línia. Els números entre parèntesis indiquen l'ús mitjà d'eines. Assenyalem Qwen3.5-397B-A17B com a Qwen3.5-Large i Qwen3.5-122B-A10B com a Qwen3.5-Medium.

La Taula 2 mostra que Qwen3.5-Large-SFT-RL aconsegueix una alta precisió de cerca en els benchmarks públics, igualant o superant gpt-5.4 a FRAMES i Facts Open alhora que utilitza pressupostos d'eines comparables. En relació amb el model base, el nostre enfocament produeix guanys substancials en mètriques internes, especialment en preferència (pplx-sbs-search: 0,602 → 0,742), consistència lingüística i abstenció, demostrant que el pipeline de dues etapes millora eficaçment els comportaments crítics per al desplegament sense comprometre la capacitat de cerca.

Avaluacions de l'eficiència de l'ús d'eines

Per mesurar això, dissenyem un protocol d'avaluació amb pressupost forçat. A cada model se li dona accés a una eina de cerca web (search_web) i una indicació de sistema que especifica un límit rígid en el nombre de crides d'eines permeses (el "pressupost"). Variem aquest pressupost des de 0 (sense ús d'eines, coneixement purament paramètric) fins a 10 (recuperació generosa de múltiples passos), registrant la precisió a cada nivell. Això produeix una corba d'eficiència d'eines: la puntuació del model com a funció del pressupost de recuperació que se li permet. Avaluem en dos benchmarks de Q&A factuals, FRAMES i Facts Open.

Precisió del benchmark enfront del nombre màxim de crides d'eines.

Destaquen diversos patrons d'aquests dos benchmarks:

  • El nostre Qwen3.5-397B-SFT-RL postentrenat aconsegueix la millor precisió de cerca en ambdós benchmarks. Fins i tot amb una sola crida d'eina, obté un 57,3% a FRAMES, 5,7 punts per damunt de GPT-5.4 i 4,7 punts per damunt de Sonnet 4.6.
    • L'avantatge és més pronunciat amb pressupostos moderats (b=2-7), que és el rang operatiu pràctic per a desplegaments de producció.
  • La nostra recepta de postentrenament (SFT + RL) millora substancialment l'eficiència de l'ús d'eines respecte al punt de control base; vegeu les línies contínues (postentrenades) enfront de les línies discontínues (punt de control inicial) a la Figura 5.
  • Per a tots els models, observem rendiments decreixents al voltant de budget=7, de manera consistent en dos benchmarks i en tots els models, la qual cosa suggereix que és una propietat de les tasques de cerca de factualitat més que no pas dels models.

Els resultats anteriors mostren que Qwen3.5-397B-SFT-RL aconsegueix una major precisió amb menys crides d'eines. Però, com es tradueix això en cost real? Convertim les mesures a nivell de token a costos en dòlars utilitzant els preus d'API publicats (Alibaba DashScope, OpenAI, Anthropic) per fer la comparació concreta.

Cost per consulta enfront de precisió.

En el perfil mitjà (b=4), Qwen3.5-397B-SFT-RL obté un 73,9% a FRAMES amb 2,0 cèntims per consulta, mentre que GPT-5.4 obté un 67,8% amb 8,5 cèntims i Sonnet 4.6 obté un 62,4% amb 15,3 cèntims. Això representa +6 punts de precisió amb un cost 4 vegades menor en comparació amb GPT-5.4, i +11,5 punts amb un cost 7,5 vegades menor en comparació amb Sonnet 4.6.

Aquestes estimacions utilitzen preus d'API de tarifa sense memòria cau. Amb optimitzacions d'inferència pròpies com ara la reutilització de memòria cau KV, la memòria cau de prefixos i el servei MoE quantitzat (397B només utilitza 17B paràmetres actius), el cost efectiu es pot reduir molt per sota dels preus d'API de tarifa.

Conclusió

Desglossar el compliment de desplegament de l'optimització de cerca mitjançant un pipeline d'SFT i RL de dues etapes produeix un model que és alhora capaç i fiable sota restriccions de producció. La combinació de Q&A verificables i dades d'entrenament basades en rúbriques, juntament amb l'agregació de recompenses amb porta i la conformació d'eficiència ancorada, permet una optimització multi-objectiu estable sense sacrificar la precisió de la cerca ni el compliment de les barreres de protecció.

Diverses direccions mereixen més investigació. Tal com s'observa a la Figura 4, la divergència KL entre entrenament i inferència mostra una deriva persistent a l'alça en passos d'entrenament estesos. Tot i que la correcció IS a nivell de token demostra ser suficient sota el nostre entorn actual, no està clar si això continua sent cert a major escala; un tractament teòric més fundat d'aquest desajust —que abasti discrepàncies a nivell d'infraestructura i factors específics de l'arquitectura com ara l'encaminament MoE— juntament amb comparacions empíriques quantitatives d'estratègies de mitigació, continua sent una qüestió oberta important. Pel que fa específicament a l'RL multi-objectiu, les vies prometedores inclouen l'entrenament seqüencial (Zeng et al., 2026) amb distil·lació on-policy per optimitzar objectius per etapes alhora que es mitiga l'oblit catastròfic; i la fusió de models (Fu et al., 2025; Yang et al., 2026) per desacoblar l'optimització específica de la tasca de l'agregació de capacitats. Finalment, escalar a fluxos de treball multi-eina realistes amb trajectòries de llarg horitzó continua sent un repte obert important, que probablement requerirà una millor assignació de crèdits, suport per a desplegaments parcials i avaluacions.

Referències

DatologyAI. Datbench: Discriminative, faithful, and efficient vision-language model evaluations. https://www.datologyai.com/blog/datbench-discriminative-faithful-and-efficient-vision-language-model-evaluations, gen. 2026. Publicat el 6 de gen. de 2026. Accedit: 2026-03-04.

J. Duchi i H. Namkoong. Variance-based regularization with convex objectives. Preimpressió d'arXiv arXiv:1610.02581, 2016.

Z. Fu, X. Wu, Y. Wang, W. Wang, S. Ye, H. Yin, Y. Chang, Y. Zheng i X. Zhao. Training-free llm merging for multi-task learning. A Proceedings of the 63rd Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pàgines 33111–33124, 2025.

A. Gunjal, A. Wang, E. Lau, V. Nath, Y. He, B. Liu i S. Hendryx. Rubrics as rewards: Reinforcement learning beyond verifiable domains. Preimpressió d'arXiv arXiv:2507.17746, 2025.

J. Liu, Y. Li, Y. Fu, J. Wang, Q. Liu i Y. Shen. When speed kills stability: Demystifying rl collapse from the training-inference mismatch. Blog de Notion, 2025a.

S.-Y. Liu, X. Dong, X. Lu, S. Diao, P. Belcak, M. Liu, M.-H. Chen, H. Yin, Y.-C. F. Wang, K.-T. Cheng et al. Gdpo: Group reward-decoupled normalization policy optimization for multi-reward rl optimization. Preimpressió d'arXiv arXiv:2601.05242, 2026.

T. Liu, R. Xu, T. Yu, I. Hong, C. Yang, T. Zhao i H. Wang. Openrubrics: Towards scalable synthetic rubric generation for reward modeling and llm alignment. Preimpressió d'arXiv arXiv:2510.07743, 2025b.

R. Lu, Z. Hou, Z. Wang, H. Zhang, X. Liu, Y. Li, S. Feng, J. Tang i Y. Dong. Deepdive: Advancing deep search agents with knowledge graphs and multi-turn rl. Preimpressió d'arXiv arXiv:2509.10446, 2025.

W. Ma, H. Zhang, L. Zhao, Y. Song, Y. Wang, Z. Sui i F. Luo. Stabilizing moe reinforcement learning by aligning training and inference routers. Preimpressió d'arXiv arXiv:2510.11370, 2025.

T. Pham, N. Nguyen, P. Zunjare, W. Chen, Y.-M. Tseng i T. Vu. Sealqa: Raising the bar for reasoning in search-augmented language models. Preimpressió d'arXiv arXiv:2506.01062, 2025.

O. Press, M. Zhang, S. Min, L. Schmidt, N. A. Smith i M. Lewis. Measuring and narrowing the compositionality gap in language models. A Findings of the Association for Computational Linguistics: EMNLP 2023, pàgines 5687–5711, 2023.

P. Qi, X. Zhou, Z. Liu, T. Pang, C. Du, M. Lin i W. S. Lee. Rethinking the trust region in llm reinforcement learning. Preimpressió d'arXiv arXiv:2602.04879, 2026.

Z. Shao, P. Wang, Q. Zhu, R. Xu, J. Song, X. Bi, H. Zhang, M. Zhang, Y. Li, Y. Wu et al. Deepseekmath: Pushing the limits of mathematical reasoning in open language models. Preimpressió d'arXiv arXiv:2402.03300, 2024.

Z. Tao, J. Wu, W. Yin, J. Zhang, B. Li, H. Shen, K. Li, L. Zhang, X. Wang, Y. Jiang et al. Webshaper: Agentically data synthesizing via information-seeking formalization. Preimpressió d'arXiv arXiv:2507.15061, 2025.

vLLM and TorchTitan Teams. No more train-inference mismatch: Bitwise consistent on-policy reinforcement learning with vLLM and TorchTitan. https://blog.vllm.ai /2025/11/10/bitwise-consistent-train-inference.html, nov. 2025. Blog de vLLM.

J. Wu, W. Yin, Y. Jiang, Z. Wang, Z. Xi, R. Fang, D. Zhou, P. Xie i F. Huang. Webwalker: Benchmarking llms in web traversal, 2025. URL https://arxiv.org/abs/ 2501.07572.

A. Yang, A. Li, B. Yang, B. Zhang, B. Hui, B. Zheng, B. Yu, C. Gao, C. Huang, C. Lv et al. Qwen3 technical report. Preimpressió d'arXiv arXiv:2505.09388, 2025.

E. Yang, L. Shen, G. Guo, X. Wang, X. Cao, J. Zhang i D. Tao. Model merging in llms, mllms, and beyond: Methods, theories, applications, and opportunities. ACM Computing Surveys, 58(8):1–41, 2026.

F. Yao, L. Liu, D. Zhang, C. Dong, J. Shang i J. Gao. Your efficient rl framework secretly brings you off-policy rl training, Aug. 2025. URL https://fengyao.notion.s ite/off-policy-rl.

A. Zeng, X. Lv, Z. Hou, Z. Du, Q. Zheng, B. Chen, D. Yin, C. Ge, C. Xie, C. Wang et al. Glm-5: from vibe coding to agentic engineering. Preimpressió d'arXiv arXiv:2602.15763, 2026.

C. Zheng, K. Dang, B. Yu, M. Li, H. Jiang, J. Lin, Y. Liu, H. Lin, C. Wu, F. Hu et al. Stabilizing reinforcement learning with llms: Formulation and practices. Preimpressió d'arXiv arXiv:2512.01374, 2025a.

C. Zheng, S. Liu, M. Li, X.-H. Chen, B. Yu, C. Gao, K. Dang, Y. Liu, R. Men, A. Yang et al. Group sequence policy optimization. Preimpressió d'arXiv arXiv:2507.18071, 2025b.

Citació

BibTeX
@online{perplexity2026AdvancingSearchAugmentedLanguageModels,
  author = {{Perplexity} and Denis Yarats and Dongqi Wu and Hang Wu and Randy Ardywibowo and Senzeyu Zhang and Yunfan Zhong and Ziqing Hu and Clare Southern and Riley Carlson and Yi He and Erin McKnight and Mara Sohn and Phi Hoang},
  title = {{Advancing search-augmented language models}},
  date = {2026-04-22},
  url = {https://perplexity.coolkeypoint.com/hub/blog/advancing-search-augmented-language-models}
}