Mellorando os modelos de linguaxe aumentados por busca

Introdución

O adestramento de axentes de busca web de vangarda require optimizar de forma conxunta múltiples obxectivos: precisión factual, eficiencia nas traxectorias e aliñamento coas preferencias dos usuarios. Con todo, mellorar calquera dimensión individual de forma illada adoita prexudicar as demais: os modelos adestrados unicamente para a precisión tenden a facer un uso excesivo das ferramentas, mentres que os modelos optimizados para a brevidade poden sacrificar a fiabilidade ou a exhaustividad. En Perplexity, ningún destes resultados é aceptable.

Este artigo describe a canalización de post-adestramento de Perplexity para desenvolver axentes de busca web de última xeración baseados en modelos de código aberto. Unha idea clave é que, no adestramento de axentes de busca, a curación de datos e o deseño de recompensas deben deseñarse conxuntamente: os datos determinan que comportamentos son observables e verificables, e a recompensa determina como se traducen eses sinais nun sinal de optimización. Este principio motiva a nosa canalización en dúas etapas: primeiro realizamos un quecemento de axuste fino supervisado (SFT) para inicializar o modelo de política e, despois, refinamos o modelo de política mediante aprendizaxe por reforzo (RL) sobre un conxunto de datos curado e recompensas coidadosamente deseñadas. Este enfoque en dúas etapas permite obter ganancias fiables en precisión, eficiencia e calidade de resposta baixo restricións de produción.

Primeiro describimos a nosa canalización de adestramento en dúas etapas (SFT → RL en política), seguida da construción dos nosos datos de adestramento de RL, que abarca tanto preguntas e respostas (QA) verificables de axentes de busca como chat xeral baseado en rúbricas. A continuación, presentamos un deseño de recompensa composta derivada deste escenario de datos heteroxéneos, que equilibra a calidade e a eficiencia á vez que mitiga a manipulación de recompensas. Finalmente, analizamos a dinámica de adestramento e os resultados dos puntos de referencia.

Canalización de adestramento en dúas etapas

Adoptamos unha receita de post-adestramento en dúas etapas: (i) SFT para establecer comportamentos críticos para a implementación, como mecanismos de protección (por exemplo, a abstención), seguimento de instrucións e consistencia lingüística, e (ii) RL en política para mellorar a capacidade de busca, incluíndo a precisión das respostas e a eficiencia no uso de ferramentas, ao tempo que se preservan os comportamentos da primeira etapa.

Por que dúas etapas? Optimizar de forma conxunta a calidade da busca e as restricións de implementación nunha única etapa de RL é difícil sen comprometer polo menos un obxectivo. De forma empírica, o adestramento baseado exclusivamente en RL mellora o rendemento da busca, pero adoita ofrecer un rendemento inferior nos mecanismos de protección de implementación, mentres que o SFT mellora o cumprimento a costa do rendemento da busca. Separar os obxectivos permite que a etapa de SFT aborde primeiro os requisitos non negociables, despois do cal a RL pode centrarse principalmente en mellorar a capacidade de busca.

Etapa de SFT

Inicializamos a partir da familia de modelos Qwen3 (Qwen3.5-122B-A10B e Qwen3.5-397B-A17B) (Yang et al., 2025, publicación do blog de Qwen3.5) e construímos un conxunto de datos de adestramento SFT de dous compoñentes orientado aos comportamentos críticos para a implementación descritos anteriormente, ao tempo que preservamos a capacidade de busca xeral do modelo base.

Exemplos orientados a preferencias. Curamos exemplos centrados no seguimento de instrucións e no estilo que apuntan ao ton, a consistencia lingüística, a claridade e o formato. Estes exemplos non necesitan admitir unha única verdade absoluta; máis ben, selecciónanse para reflectir os requisitos de redacción do produto e garantir a consistencia estilística en diversos tipos de consultas.

Traxectorias de uso de ferramentas con formato de produción. De maneira empírica, atopamos que o SFT sen unha coidadosa curación do conxunto de datos pode degradar substancialmente a capacidade de busca do modelo base. Para mitigar isto, mostramos consultas e tarefas internas a través de diversos patróns de interacción (de unha, dúas e múltiples voltas) e anotámneas co noso marco de chamadas a ferramentas.

Etapa de RL

Partindo do punto de control de SFT, aplicamos RL en política para mellorar a precisión e a eficiencia da busca. Optimizamos o modelo de política mediante a optimización de políticas relativas de grupo (GRPO) (Shao et al., 2024).

onde $G$ é o tamaño do grupo, $o_{i}$ denota a saída $i$-ésima mostrada e $\hat{A}_{i, t} = \hat{A}_{i}$ é a vantaxe. O deseño de recompensas detállase na sección de deseño de recompensas; en resumo, combinamos a corrección de referencia coa conformación da eficiencia baseada en preferencias e ancorada. Seguindo traballos previos (Liu et al., 2025a; Yao et al., 2025; Zheng et al., 2025a), aplicamos a importancia de mostraxe (IS) a nivel de tokens para corrixir a desaxuste entre adestramento e inferencia:

Avaliamos varios enfoques para mitigar o desaxuste entre adestramento e inferencia, incluíndo a IS a nivel de secuencia (Zheng et al., 2025b), a reprodución de rutas (Ma et al., 2025; Zheng et al., 2025b) e o adestramento consistente a nivel de bits que integra o núcleo do motor de inferencia durante o adestramento (Equipos de vLLM e TorchTitan, 2025). De forma empírica, baixo a nosa configuración en política, atopamos que a IS a nivel de tokens é suficiente para evitar o colapso do adestramento á vez que segue sendo sinxela de implementar; isto é consistente cos descubrimentos de Zheng et al. (2025a).

Datos de adestramento de RL

Os nosos datos de adestramento de RL constan de dous compoñentes complementarios: QA de axentes de busca verificables orientadas á capacidade de busca xeral, e chat xeral baseado en rúbricas que reforza explicitamente os mecanismos de protección de implementación para evitar a regresión durante a etapa de adestramento de RL.

Datos verificables de axentes de busca

Construción do conxunto de datos. Seguindo o método de expansión secuencial (Tao et al., 2025), construímos un conxunto de datos de QA sintético interno a partir de consultas sementes internas sen depender dun grafo de coñecemento curado, mantendo a canalización lixeira e fácil de actualizar. Xérase cada exemplo sintético mediante os seguintes pasos:

1. Selección de sementes. Recuperamos documentos para as consultas semente e seleccionamos entidades con confirmación de feitos de múltiples fontes como puntos de partida, extraendo afirmacións atómicas sobre elas.
2. Construción de cadeas de múltiples saltos. A partir das declaracións da entidade semente, seleccionamos unha que introduce unha segunda entidade (por exemplo, para a semente "The Mom Test", a declaración "escrito por Rob Fitzpatrick" introduce ao autor como a seguinte entidade). Repetimos este proceso de vinculación de 2 a 4 veces, asegurando que cada entidade sexa distinta e que ningunha declaración por si mesma revele trivialmente a resposta final.
3. Síntese de preguntas sen nomes. Convertemos a cadea de entidades nunha pregunta substituíndo recursivamente os nomes das entidades polas súas declaracións de conexión, producindo unha pregunta aniñada que require razoamento de múltiples saltos.
4. Verificación. Retemos só preguntas con respostas únicas verificadas por múltiples solucioneiros independentes habilitados para a web.

Exemplo (3 saltos)

Considera a consulta semente "The Mom Test". Recuperamos documentos e identificamos este libro como a entidade semente, logo extraemos declaracións factuais atómicas e construímos iterativamente unha cadea de entidades: (i) The Mom Test foi escrito por Rob Fitzpatrick, introducindo a Rob Fitzpatrick; (ii) a primeira startup de Rob Fitzpatrick pasou por Y Combinator (verán de 2007), introducindo a Y Combinator; (iii) Y Combinator foi lanzado en marzo de 2005. A substitución recursiva do nome de cada entidade polo seu descriptor produce a pregunta sen nomes: "Que libro foi escrito pola persoa cuxa primeira startup pasou polo acelerador lanzado en marzo de 2005, na súa cohorte do verán de 2007?" coa resposta "The Mom Test".

Aumento da diversidade de formatos. Os modelos adestrados unicamente con QA sintética en bruto tenden a ignorar as preferencias de formato e adoptan por defecto unha estrutura de resposta fixa, independientemente de como se formule a consulta. Para mellorar a diversidade de formatos, aumentamos o conxunto de datos con consultas que inclúen instrucións de formato explícitas (por exemplo, "Amosa unha lista de..." ou "Resume... nunha táboa"), mantendo intacta a resposta subxacente.

QA verificable pública (liña base). Construímos un conxunto de datos de QA verificable de referencia a partir de cinco conxuntos de datos de código aberto (Lu et al., 2025; Pham et al., 2025; Press et al., 2023; Tao et al., 2025; Wu et al., 2025), unificados baixo o noso formato de aviso ampliado confiltrado de calidade. Esta mestura serve como a liña base principal nos nosos experimentos de validación. Para comparacións controladas, axustamos a escala do noso conxunto de datos de QA sintético interno a esta mestura de código aberto.

Validación rápida. Validamos a eficacia desta canalización empregando Qwen3-30B-A3B-Instruct-2507 para permitir unha rápida iteración; os resultados resúmense na Táboa 1.

Ampliar

Datos de chat xeral baseado en rúbricas

Aínda que a QA verificable proporciona un sinal de adestramento limpo para consultas centradas na busca, unha fracción substancial do tráfico de produción non é verificable de forma única (por exemplo, reescritura, planificación e asistencia aberta). Excluír tales consultas da RL deixaría o modelo de política infraoptimizado para as interaccións reais dos usuarios. Ademais, aínda que a etapa de SFT establece mecanismos de protección críticos para a implementación, a RL pode sufrir regresións neles a menos que sexan reforzados explicitamente polos datos.

Incorporamos consultas non verificables ao adestramento de RL convertendo os requisitos críticos para a implementación —seguimento de instrucións, restricións de formato e convencións de seguridade— en rúbricas: criterios atómicos e comprobables obxectivamente que unha resposta debe satisfacer. Adoptamos a construción de datos baseada en rúbricas (Gunjal et al., 2025; Liu et al., 2025b), xerando conxuntos de rúbricas por consulta.

Xeración de rúbricas. Dada a historia completa da conversación, solicitamos a un LLM que produza unha resposta de referencia e un conxunto de rúbricas correspondente. As rúbricas derívanse baixo unha orde de precedencia fixa: os requisitos expresados explícitamente polo usuario teñen prioridade, seguidos polas restricións internas e, finalmente, os requisitos de contido necesarios inferidos da resposta de referencia. Cada rúbrica debe ser:

• Atómica: unha única comprobación ben definida;
• Obxectiva: verificable sen xuízos subxectivos;
• Necesaria: requirida para responder a consulta, non meramente unha preferencia estilística.

Exemplo

Consulta.

She will share u man power planning. We have to arrange lodging & boarding. Plz correct swntence.

Rúbricas.

• A resposta está escrita en inglés.
• A formulacióncorrixidaconténas palabras "lodging" e "boarding".
• A formulación corrixida usa "manpower" como unha única palabra (por exemplo, "manpower plan" ou "manpower planning") en lugar de "man power".
• A formulación corrixida non contén os abreviaturas informais "u" ou "Plz", nin contén o carácter ampersand "&".
• A resposta non contén marcadores de citación da forma \\[type:idx\\], onde type denota unha fonte de datos (por exemplo, web, chart, memory, attached_file).

Calibración de rúbricas. Para evitar conxuntos de rúbricas demasiado estrictos ou demasiado permisivos, aplicamos un filtro pass@4. Para cada consulta, mostramos catro respostas independentes e avaliámolas fronte ao conxunto de rúbricas completo cun xuíz de seguimento de instrucións. Descartamos as consultas para as cales ningunha resposta satisfai o conxunto de rúbricas ou todas o fan, retendo só aquelas que producen un sinal de adestramento informativo.

Mestura de avisos e equilibrio de varianza

Un desafío práctico na RL multiobxectivo é o desequilibrio da varianza entre os compoñentes de datos (Duchi e Namkoong, 2016; Liu et al., 2026; Qi et al., 2026). Aínda que tanto a QA verificable como os datos baseados en rúbricas producen recompensas binarias, difiren substancialmente na dificultade da tarefa: a satisfacción das rúbricas é xeralmente máis fácil de acadar ao principio do adestramento, producindo actualizacións de gradiente máis grandes e frecuentes que poden dominar desproporcionadamente a optimización da política en relación co sinal de QA verificable máis difícil. Para solucionar isto, volvemos ponderar a mestura de avisos a nivel de conxunto de datos, seleccionando o 90% de QA verificable e o 10% de datos baseados en rúbricas para equilibrar o sinal de optimización entre os compoñentes.

Deseño de recompensas

O noso deseño de recompensas deriva directamente da construción de datos descrita anteriormente. A pesar de abranguer tanto tarefas de QA verificables como tarefas de rúbricas, todos os datos de adestramento comparten unha estrutura de recompensa base común: un resultado recibe créditos se produce unha resposta correcta para tarefas de QA, ou se satisfai todas as rúbricas especificadas para o chat xeral. A partir desta base compartida, construímos unha recompensa composta para incorporar puntuacións baseadas en preferencias e a conformación da eficiencia.

Un reto clave observado nos primeiros experimentos foi a manipulación de recompensas: unha combinación linear simple de recompensas permitía que os sinais de preferencias fortes compensasen os fallos factuais ou de instrución. Polo tanto, adoptamos a agregación con portas como principio de deseño fundamental, definido formalmente como:

onde $r_{\mathrm{base}}(\tau_i) \in \{0, 1\}$ denota a corrección da QA ou a satisfacción das rúbricas, $s(\tau_i)\in[0,1]$ é a puntuación de preferencia, e $\operatorname{pen}_{\mathrm{eff}}(\tau_i)$ é unha penalización de eficiencia ancorada. Isto fai que a corrección sexa unha condición necesaria para recibir créditos de preferencia, á vez que desanima o uso innecesario de ferramentas e a verbosidade. A Figura 1 ilustra a canalización de recompensas completa, cuxos compoñentes se describen a continuación:

Ampliar

Recompensa de referencia

Definimos un sinal de referencia binario $r_{\mathrm{base}}(\tau_i) \in \{0,1\}$ que captura a corrección da tarefa ou o cumprimento das instrucións. Para os datos de axentes de busca verificables, $r_{\mathrm{base}}(\tau_i)=1$ se a resposta final coincide coa verdade absoluta, e $0$ en caso contrario. Para os datos de chat xeral baseados en rúbricas, $r_{\mathrm{base}}(\tau_i)=1$ se todas as rúbricas están satisfeitas, e $0$ en caso contrario. Esta referencia serve como a porta ríxida na regra de agregación condicional da Eq. 2.

Modelaxe de preferencias

O noso obxectivo é aliñar o modelo de política coas preferencias latentes dos usuarios sobre a calidade da resposta —informatividade, claridade e ton profesional—, que son difíciles de capturar mediante avisos de xuízos de LLM. Polo tanto, adestramos un modelo de recompensa de preferencias aprendido para puntuar estes atributos directamente.

Formulamos a aprendizaxe de preferencias baixo o marco de Bradley-Terry. Dado un contexto $x$ e dúas respostas candidatas $y_a, y_b$, o modelo produce puntuacións escalares $s_{\theta}(x, y) \in \mathbb{R}$ e minimiza,

onde $r \in \{0, 1\}$ indica se se prefire $y_a$. Para eliminar o seso posicional, cada par de adestramentoaméntase con ambas as ordes e optimízase simetricamente,

No momento da inferencia, obtemos unha puntuación de preferencia agnóstica á posición promediando ambas as permutacións:

A puntuación de preferencia de execución defínese entón como $s(\tau_i) \triangleq \bar{P}_{\theta}(x, y_a, y_b) \in [0,1]$, é dicir, a probabilidade de que se prefira a execución da política $y_i$ á execución do modelo de referencia para a mesma indicación.

Os datos de adestramento para a modelaxe de preferencias obtíñense de conxuntos de datos de código aberto curados, comentarios dos usuarios cara a cara e anotacións internas. Para abordar o erro de etiquetaxe, aplicamos unha canalización de calibración e filtrado lixeira inspirada en Datbench (DatologyAI, 2026), retendo só exemplos con concordancia cruzada de modelos consistente. O modelo de recompensa comparte a mesma columna vertebral que o modelo de política, coa cabeza de modelaxe de linguaxe substituída por unha cabeza de valor. Aínda que os modelos de recompensa máis pequenos acadan unha precisión de reserva comparable, atopamos empiricamente que non logran capturar preferencias detalladas e poden reforzar comportamentos de política non deseñados.

Penalización por eficiencia

Na ausencia dunha conformación explícita da eficiencia, a política tende a usar en exceso as ferramentas mesmo en avisos simples. As penalizacións incondicionais (por exemplo, aquelas que escalan linealmente co recuento de chamadas a ferramentas ou a lonxitude da saída) son unha liña base natural, pero atopamos que suprimen a exploración necesaria e degradan a aprendizaxe. Polo tanto, adoptamos penalizacións ancoradas e relativas ao grupo que regularizan o uso de ferramentas e a lonxitude da resposta en relación coas solucións eficaces dentro de cada grupo GRPO. Para un grupo 𝑔, definimos o conxunto gañador como:

Penalización de chamadas a ferramentas ancorada. Para cada execución $\tau_i$, sexa $c_i$ o número de chamadas a ferramentas e $e_i$ o número de fallos na execución de ferramentas. Definimos o recuento efectivo de chamadas a ferramentas $\tilde{c}_i = c_i - e_i$ e mostramos uniformemente unha liña de base do grupo:

Calculamos o exceso $\Delta_i = \max\!\left(0,\; \tilde{c}_i - b_g\right)$ e definimos un escalar de penalización suave $p_i = 1 - \exp\!\left(-\Delta_i\right)$. A penalización da ferramenta é entón:

Penalización de lonxitude ancorada. Sexan $L_i$ e $L_i^{\mathrm{ref}}$ as lonxitudes de tokens das xeracións do modelo candidato e de referencia, respectivamente. Definimos o conxunto de conformación $\widehat{W}_g$ como aquelas execucións que son tanto correctas como preferidas:

A continuación, calculamos as liñas de base de lonxitude específicas do grupo:

A penalización de lonxitude defínese como:

onde a primeira liña é un límite ríxido; a segunda penaliza aos gañadores excesivos; e a terceira penaliza aos perdedores lacónicos.

Penalización de eficiencia combinada. A penalización de eficiencia combinada é unha suma ponderada de ambos os compoñentes:

Principais resultados

Avaliamos a nosa canalización de post-adestramento ao longo de dous eixes: (i) dinámica de adestramento, para avaliar a estabilidade da optimización e se os sinais de recompensa se comportan como se espera, e (ii) puntos de referencia fóra de liña, para medir a calidade posterior, a seguridade e a eficiencia baixo configuracións de avaliación controladas.

Configuracións de adestramento predeterminadas. O modelo de política interactúa cunha ferramenta de busca web (search_web); cada chamada á ferramenta recupera ata 10 resultados, coas consultas limitadas a un máximo de 250 caracteres e ata 5 consultas por execución.

Dinámica de adestramento

Examinamos a dinámica de optimización, centrándonos na progresión das recompensas e no comportamento da eficiencia. Empregamos Qwen3.5-397B-A11B para simplificar a ilustración.

Ampliar

A Figura 2 mostra unha mellora constante na recompensa de referencia (QA verificable e satisfacción de rúbricas) xunto co aumento das puntuacións de preferencia, o que indica ganancias consistentes en corrección, cumprimento e calidade de resposta.

Ampliar

A Figura 3 demostra que tanto a frecuencia de chamadas a ferramentas como a lonxitude da xeración se manteñen ben controladas ao longo do adestramento. Destaca que tanto as penalizacións por chamadas a ferramentas como por lonxitude diminuíronmonotonicamente ao longo do adestramento, o que reflicte a adaptación progresiva do modelo cara a unha xeración máis concisa e unha invocación de ferramentas máis selectiva.

Ampliar

A Figura 4 mostra que as normas dos gradientes seguen sendo estables á marxe de picos transitorios, mentres que a diverxencia KL entre o adestramento e a inferencia mostra unha leve tendencia á alza, manténdose dentro da escala 1e-3. Este patrón de deriva é consistente coas observacións noutros marcos de adestramento de RL; dado que o adestramento se mantén estable en todo momento, conservamos unha regularización IS sinxela na Eq. 1 sen intervención adicional.

Avaliacións fóra de liña

Informamos dos resultados nun conxunto de puntos de referencia que abranguen a precisión da busca, a fiabilidade factual, o seguimento de instrucións e a seguridade, que inclúen tanto puntos de referencia públicos como métricas internas de Perplexity (PPLX). Os puntos de referencia públicos inclúen SimpleQA, FRAMES e Facts Open.

• pplx-sbs-search: Aveliación de preferencias cara a cara utilizando un modelo de recompensa interno. Os candidatos compáranse cunha forte liña de base.
• pplx-abstention: Capacidade de rexeitar adecuadamente cando non hai evidencia fiable dispoñible.
• pplx-language-mismatch: Consistencia lingüística en configuracións de cola longa e múltiples voltas.
• pplx-broken-tool-calls (↓): Cumprimento do esquema de chamadas a ferramentas e seguimento de restricións, por exemplo, tool_choice=none.

Configuracións de avaliación predeterminadas. Para os puntos de referencia públicos, permitimos unicamente a ferramenta de busca web, cun orzamento de ata 5 chamadas de ferramentas por exemplo e ata 10 resultados por chamada, xerando ata 8192 tokens de saída a unha temperatura de 0,6.

Ampliar

A Táboa 2 mostra que Qwen3.5-Large-SFT-RL acada unha alta precisión de busca en benchmarks públicos, igualando ou superando a gpt-5.4 en FRAMES e Facts Open ao tempo que emprega orzamentos de ferramentas comparables. En relación co modelo base, o noso enfoque produce ganancias substanciais en métricas internas, especialmente en preferencias (pplx-sbs-search: 0,602 → 0,742), consistencia lingüística e abstención, o que demostra que a canalización en dúas etapas mellora eficazmente os comportamentos críticos para a implementación sen comprometer a capacidade de busca.

Avaliacións de eficiencia no uso de ferramentas

Para medir isto, deseñamos un protocolo de avaliación de orzamento forzado. A cada modelo concédelle acceso a unha ferramenta de busca web (search_web) e a un aviso do sistema que especifica un límite ríxido no número de chamadas de ferramentas permitidas (o "orzamento"). Barrémoste este orzamento desde 0 (sen uso de ferramentas, coñecemento paramétrico puro) ata 10 (recuperación multi-paso xenerosa), rexistrando a precisión en cada nivel. Isto produce unha curva de eficiencia de ferramentas: a puntuación do modelo como función do orzamento de recuperación que ten permitido. Avaliamos en dous puntos de referencia de QA factual, FRAMES e Facts Open.

Ampliar

Destacan varios patróns destes dous puntos de referencia:

• O noso Qwen3.5-397B-SFT-RL post-adestrado acada a mellor precisión de busca en ambos os benchmarks. Mesmo cunha única chamada de ferramenta, obtén un 57,3% en FRAMES, 5,7 puntos por riba de GPT-5.4 e 4,7 puntos por riba de Sonnet 4.6.
  • A vantaxe é máis pronunciada en orzamentos moderados (b=2-7), que é o rango operativo práctico para as implementacións en produción.
• A nosa receita de post-adestramento (SFT + RL) mellora substancialmente a eficiencia no uso de ferramentas en comparación co punto de control base; ver liñas continuas (post-adestradas) fronte a liñas descontinuas (punto de control inicial) na Figura 5.
• Para todos os modelos, observamos rendementos decrecentes arredor do orzamento=7, consistentes en dous benchmarks e todos os modelos, o que suxire que é unha propiedade das tarefas de procura de factualidade máis que dos modelos.

Os resultados anteriores mostran que Qwen3.5-397B-SFT-RL acada maior precisión con menos chamadas a ferramentas. Pero como se traduce isto nun custo real? Convertemos as medicións a nivel de token en custos en dólares utilizando os prezos de API publicados (Alibaba DashScope, OpenAI, Anthropic) para facer a comparación concreta.

Ampliar

No perfil medio (b=4), Qwen3.5-397B-SFT-RL obtén un 73,9% en FRAMES a 2,0 céntimos por consulta, mentres que GPT-5.4 obtén un 67,8% a 8,5 céntimos e Sonnet 4.6 obtén un 62,4% a 15,3 céntimos. Iso supón +6 puntos de precisión a un custo 4 veces menor en comparación con GPT-5.4, e +11,5 puntos a un custo 7,5 veces menor en comparación con Sonnet 4.6.

Estas estimacións utilizan prezos de API de lista sen caché. Con optimizacións de inferencia internas como a reutilización de caché KV, caché de prefixos e servizo MoE cuantizado (397B usa só 17B parámetros activos), o custo efectivo pódese reducir moi por abaixo dos prezos de API de lista.

Conclusión

Separar o cumprimento da implementación da optimización da busca mediante unha canalización de SFT e RL en dúas etapas produce un modelo que é á vez competente e fiable baixo restricións de produción. A combinación de QA verificable e datos de adestramento baseados en rúbricas, xunto coa agregación de recompensas con portas e a conformación da eficiencia ancorada, permite unha optimización multiobxectivo estable sen sacrificar a precisión da busca nin o cumprimento dos mecanismos de protección.

Varios enderezos merecen unha maior investigación. Como se observa na Figura 4, a diverxencia KL entre o adestramento e a inferencia mostra unha tendencia á alza persistente en pasos de adestramento prolongados. Aínda que a corrección IS a nivel de token demostra ser suficiente na nosa configuración actual, non está claro se isto segue sendo certo a maior escala; un tratamento teórico máis fundamentado deste desaxuste —que abarque discrepancias a nivel de infraestrutura e factores específicos da arquitectura como o enrutamento MoE—, xunto con comparacións empíricas cuantitativas das estratexias de mitigación, segue sendo unha cuestión aberta importante. Especificamente para a RL multiobxectivo, as vías prometedoras inclúen o adestramento secuencial (Zeng et al., 2026) con destilación en política para optimizar obxectivos por etapas á vez que se mitiga o esquecemento catastrófico; e a fusión de modelos (Fu et al., 2025; Yang et al., 2026) para desacoplar a optimización específica de tarefas da agregación de capacidades. Finalmente, ampliar a fluxos de traballo realistas con múltiples ferramentas e traxectorias de longo prazo segue a ser un reto aberto importante, que probablemente requira unha mellor asignación de créditos, soporte para execucións parciais e avaliacións.

Referencias

DatologyAI. Datbench: Discriminative, faithful, and efficient vision-language model evaluations. https://www.datologyai.com/blog/datbench-discriminative-faithful-and-efficient-vision-language-model-evaluations, xaneiro de 2026. Publicado o 6 de xaneiro de 2026. Accedido: 2026-03-04.

J. Duchi e H. Namkoong. Variance-based regularization with convex objectives. Preprint de arXiv arXiv:1610.02581, 2016.

Z. Fu, X. Wu, Y. Wang, W. Wang, S. Ye, H. Yin, Y. Chang, Y. Zheng e X. Zhao. Training-free llm merging for multi-task learning. En Proceedings of the 63rd Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), páxinas 33111–33124, 2025.

A. Gunjal, A. Wang, E. Lau, V. Nath, Y. He, B. Liu e S. Hendryx. Rubrics as rewards: Reinforcement learning beyond verifiable domains. Preprint de arXiv arXiv:2507.17746, 2025.

J. Liu, Y. Li, Y. Fu, J. Wang, Q. Liu e Y. Shen. When speed kills stability: Demystifying rl collapse from the training-inference mismatch. Notion Blog, 2025a.

S.-Y. Liu, X. Dong, X. Lu, S. Diao, P. Belcak, M. Liu, M.-H. Chen, H. Yin, Y.-C. F. Wang, K.-T. Cheng, et al. Gdpo: Group reward-decoupled normalization policy optimization for multi-reward rl optimization. Preprint de arXiv arXiv:2601.05242, 2026.

T. Liu, R. Xu, T. Yu, I. Hong, C. Yang, T. Zhao e H. Wang. Openrubrics: Towards scalable synthetic rubric generation for reward modeling and llm alignment. Preprint de arXiv arXiv:2510.07743, 2025b.

R. Lu, Z. Hou, Z. Wang, H. Zhang, X. Liu, Y. Li, S. Feng, J. Tang e Y. Dong. Deepdive: Advancing deep search agents with knowledge graphs and multi-turn rl. Preprint de arXiv arXiv:2509.10446, 2025.

W. Ma, H. Zhang, L. Zhao, Y. Song, Y. Wang, Z. Sui e F. Luo. Stabilizing moe reinforcement learning by aligning training and inference routers. Preprint de arXiv arXiv:2510.11370, 2025.

T. Pham, N. Nguyen, P. Zunjare, W. Chen, Y.-M. Tseng e T. Vu. Sealqa: Raising the bar for reasoning in search-augmented language models. Preprint de arXiv arXiv:2506.01062, 2025.

O. Press, M. Zhang, S. Min, L. Schmidt, N. A. Smith e M. Lewis. Measuring and narrowing the compositionality gap in language models. En Findings of the Association for Computational Linguistics: EMNLP 2023, páxinas 5687–5711, 2023.

P. Qi, X. Zhou, Z. Liu, T. Pang, C. Du, M. Lin e W. S. Lee. Rethinking the trust region in llm reinforcement learning. Preprint de arXiv arXiv:2602.04879, 2026.

Z. Shao, P. Wang, Q. Zhu, R. Xu, J. Song, X. Bi, H. Zhang, M. Zhang, Y. Li, Y. Wu, et al. Deepseekmath: Pushing the limits of mathematical reasoning in open language models. Preprint de arXiv arXiv:2402.03300, 2024.

Z. Tao, J. Wu, W. Yin, J. Zhang, B. Li, H. Shen, K. Li, L. Zhang, X. Wang, Y. Jiang, et al. Webshaper: Agentically data synthesizing via information-seeking formalization. Preprint de arXiv arXiv:2507.15061, 2025.

vLLM e equipos de TorchTitan. No more train-inference mismatch: Bitwise consistent on-policy reinforcement learning with vLLM and TorchTitan. https://blog.vllm.ai /2025/11/10/bitwise-consistent-train-inference.html, nov. de 2025. Blog de vLLM.

J. Wu, W. Yin, Y. Jiang, Z. Wang, Z. Xi, R. Fang, D. Zhou, P. Xie e F. Huang. Webwalker: Benchmarking llms in web traversal, 2025. URL https://arxiv.org/abs/ 2501.07572.

A. Yang, A. Li, B. Yang, B. Zhang, B. Hui, B. Zheng, B. Yu, C. Gao, C. Huang, C. Lv, et al. Qwen3 technical report. Preprint de arXiv arXiv:2505.09388, 2025.

E. Yang, L. Shen, G. Guo, X. Wang, X. Cao, J. Zhang e D. Tao. Model merging in llms, mllms, and beyond: Methods, theories, applications, and opportunities. ACM Computing Surveys, 58(8):1–41, 2026.

F. Yao, L. Liu, D. Zhang, C. Dong, J. Shang e J. Gao. Your efficient rl framework secretly brings you off-policy rl training, agosto de 2025. URL https://fengyao.notion.s ite/off-policy-rl.

A. Zeng, X. Lv, Z. Hou, Z. Du, Q. Zheng, B. Chen, D. Yin, C. Ge, C. Xie, C. Wang, et al. Glm-5: from vibe coding to agentic engineering. Preprint de arXiv arXiv:2602.15763, 2026.

C. Zheng, K. Dang, B. Yu, M. Li, H. Jiang, J. Lin, Y. Liu, H. Lin, C. Wu, F. Hu, et al. Stabilizing reinforcement learning with llms: Formulation and practices. Preprint de arXiv arXiv:2512.01374, 2025a.

C. Zheng, S. Liu, M. Li, X.-H. Chen, B. Yu, C. Gao, K. Dang, Y. Liu, R. Men, A. Yang, et al. Group sequence policy optimization. Preprint de arXiv arXiv:2507.18071, 2025b.

Cita

@online{perplexity2026AdvancingSearchAugmentedLanguageModels,
  author = {{Perplexity} and Denis Yarats and Dongqi Wu and Hang Wu and Randy Ardywibowo and Senzeyu Zhang and Yunfan Zhong and Ziqing Hu and Clare Southern and Riley Carlson and Yi He and Erin McKnight and Mara Sohn and Phi Hoang},
  title = {{Advancing search-augmented language models}},
  date = {2026-04-22},
  url = {https://perplexity.coolkeypoint.com/hub/blog/advancing-search-augmented-language-models}
}