Avanzando en modelos de lenguaje aumentados por bósqueda

Introducción

El entrenamiento de agentes de búsqueda web de vanguardia requiere la optimización conjunta de múltiples objetivos: precisión fáctica, eficiencia en la trayectoria y alineación con las preferencias del usuario. Sin embargo, mejorar una dimensión por sí sola suele degradar a las demás: los modelos entrenados únicamente para la precisión tienden a abusar de las herramientas, mientras que los modelos optimizados para la brevedad pueden sacrificar la fiabilidad o la integridad. En Perplexity, ninguno de estos resultados es aceptable.

Este artículo describe la estrategia de post-entrenamiento de Perplexity para desarrollar agentes de búsqueda web de última generación basados en modelos de código abierto. Una idea clave es que, en el entrenamiento de agentes de búsqueda, la curación de datos y el diseño de recompensas deben estar co-diseñados: los datos determinan qué comportamientos son observables y verificables, y la recompensa determina cómo esas señales se traducen en una señal de optimización. Este principio motiva nuestro proceso de dos etapas: primero realizamos un calentamiento de ajuste fino supervisado (SFT) para inicializar el modelo de política, y luego refinamos el modelo de política mediante el aprendizaje por refuerzo (RL) sobre un conjunto de datos curado y recompensas cuidadosamente diseñadas. Este enfoque de dos etapas permite ganancias fiables en precisión, eficiencia y calidad de respuesta bajo restricciones de producción.

Primero describimos nuestro proceso de entrenamiento de dos etapas (SFT → RL en política), seguido de nuestra construcción de datos de entrenamiento de RL, que abarca tanto la QA del agente de búsqueda verificable como el Chat general basado en rúbricas. Luego presentamos un diseño de recompensa compuesto derivado de este entorno de datos heterogéneo, equilibrando la calidad y la eficiencia mientras se mitiga el pirateo de recompensas. Finalmente, analizamos la dinámica de entrenamiento y los resultados de referencia.

Proceso de entrenamiento de dos etapas

Adoptamos una receta de post-entrenamiento de dos etapas: (i) SFT para establecer comportamientos críticos para la implementación, tales como barandillas (por ejemplo, abstención), seguimiento de instrucciones y coherencia del lenguaje, y (ii) RL en política para mejorar la capacidad de búsqueda, incluyendo la precisión de las respuestas y la eficiencia en el uso de herramientas, preservando al mismo tiempo los comportamientos de la primera etapa.

¿Por qué dos etapas? Optimizar conjuntamente la calidad de la bósqueda y las restricciones de implementación dentro de una sola etapa de RL es difícil sin comprometer al menos un objetivo. Empíricamente, el entrenamiento de solo RL mejora el rendimiento de bósqueda pero tiende a tener un bajo rendimiento en las barandillas de implementación, mientras que el SFT mejora el cumplimiento a costa del rendimiento de bósqueda. Desvincular los objetivos permite que la etapa SFT aborde primero los requisitos no negociables, después de lo cual la RL puede centrarse principalmente en mejorar la capacidad de bósqueda.

Etapa SFT

Inicializamos desde la familia de modelos Qwen3 (Qwen3.5-122B-A10B y Qwen3.5-397B-A17B) (Yang et al., 2025, blogpost de Qwen3.5) y construimos un conjunto de datos de mezcla SFT de dos componentes que se dirige a los comportamientos críticos de implementación descritos anteriormente, preservando al mismo tiempo la capacidad de bósqueda general del modelo base.

Ejemplos orientados a la preferencia. Curamos ejemplos centrados en el seguimiento de instrucciones y el estilo, dirigidos al tono, la coherencia del lenguaje, la claridad y el formato. Estos ejemplos no necesitan admitir una verdad fundamental ónica; más bien, se seleccionan para reflejar los requisitos de escritura del producto y garantizar la coherencia estilística en diversos tipos de consultas.

Trayectorias de uso de herramientas en formato de producción. Empíricamente, encontramos que el SFT sin una cuidadosa curación del conjunto de datos puede degradar sustancialmente la capacidad de bósqueda del modelo base. Para mitigar esto, muestreamos consultas y tareas internas a través de diversos patrones de interacción (de turno ónico, doble y móltiple) y los anotamos con nuestro arnés de llamada de herramientas.

Etapa RL

Comenzando desde el punto de control SFT, aplicamos RL en política para mejorar la precisión y la eficiencia de la bósqueda. Optimizamos el modelo de política utilizando la Optimización de Política Relativa de Grupo (GRPO) (Shao et al., 2024).

donde $G$ es el tamaño del grupo, $o_{i}$ denota la $i$-ésima salida muestreada, y $\hat{A}_{i, t} = \hat{A}_{i}$ es la ventaja. El diseño de la recompensa se detalla en la sección de diseño de recompensas; en resumen, combinamos la corrección de referencia con el ajuste basado en preferencias y el ajuste de eficiencia anclado. Siguiendo trabajos previos (Liu et al., 2025a; Yao et al., 2025; Zheng et al., 2025a), aplicamos Importance Sampling (IS) a nivel de token para corregir la discrepancia entre entrenamiento e inferencia:

Evaluamos varios enfoques para mitigar el desajuste entre entrenamiento e inferencia, incluyendo IS a nivel de secuencia (Zheng et al., 2025b), repetición de enrutamiento (Ma et al., 2025; Zheng et al., 2025b) y entrenamiento consistente bit a bit que integra el kernel del motor de inferencia durante el entrenamiento (Equipos vLLM y TorchTitan, 2025). Empíricamente, bajo nuestra configuración en política, encontramos que el IS a nivel de token es suficiente para evitar el colapso del entrenamiento mientras sigue siendo simple de implementar; esto es consistente con los hallazgos de Zheng et al (2025a).

Datos de entrenamiento RL

Nuestros datos de entrenamiento RL consisten en dos componentes complementarios: QA de agente de bósqueda verificable dirigido a la capacidad de bósqueda general, y Chat general basado en róbricas que refuerza explícitamente las barandillas de implementación para evitar la regresión durante la etapa de entrenamiento RL.

Datos de agente de bósqueda verificable

Construcción del conjunto de datos. Siguiendo el método de expansión secuencial (Tao et al., 2025), construimos un conjunto de datos de QA sintético interno a partir de consultas semilla internas sin depender de un gráfico de conocimiento curado, manteniendo el proceso ligero y fácil de actualizar. Cada ejemplo sintético se genera mediante los siguientes pasos:

1. Selección de semillas. Recuperamos documentos para consultas semilla y seleccionamos entidades con confirmación de hechos de móltiples fuentes como puntos de partida, extrayendo declaraciones atómicas sobre ellos.
2. Construcción de cadena de móltiples saltos. A partir de las declaraciones de la entidad semilla, seleccionamos una que introduce una segunda entidad (por ejemplo, para la semilla “The Mom Test”, la declaración “escrito por Rob Fitzpatrick” introduce al autor como la siguiente entidad). Repetimos este proceso de enlace 2–4 veces, asegurando que cada entidad sea distinta y que ninguna declaración revele trivialmente la respuesta final
3. Síntesis de preguntas sin nombres. Convertimos la cadena de entidades en una pregunta reemplazando recursivamente los nombres de las entidades con sus declaraciones de conexión, produciendo una pregunta anidada que requiere razonamiento de móltiples saltos
4. Verificación. Conservamos solo preguntas con respuestas ónicas verificadas por móltiples solucionadores habilitados para la web independientes.

Ejemplo (3 saltos)

Considera la consulta semilla “The Mom Test”. Recuperamos documentos e identificamos este libro como la entidad semilla, luego extraemos declaraciones fácticas atómicas y construimos iterativamente una cadena de entidades: (i) The Mom Test fue escrito por Rob Fitzpatrick, introduciendo a Rob Fitzpatrick; (ii) la primera startup de Rob Fitzpatrick pasó por Y Combinator (verano de 2007), introduciendo a Y Combinator; (iii) Y Combinator se lanzó en marzo de 2005. Reemplazar recursivamente cada nombre de entidad con su descriptor produce la pregunta sin nombre: “¿Qué libro fue escrito por la persona cuya primera startup pasó por el acelerador lanzado en marzo de 2005, en su cohorte de verano de 2007?” con la respuesta “The Mom Test”.

Aumentación de la diversidad de formatos. Los modelos entrenados ónicamente en QA sintético bruto tienden a ignorar las preferencias de formato y a usar por defecto una estructura de respuesta fija, independientemente de cómo esté redactada la consulta. Para mejorar la diversidad de formatos, aumentamos el conjunto de datos con consultas que incluyen instrucciones de formato explícitas (por ejemplo, “ Muestra una lista de. . . ” o “ Resume. . . en una tabla”), mientras mantenemos la respuesta subyacente sin cambios.

QA verificable póblico (línea base). Construimos un conjunto de datos de QA verificable de línea base a partir de cinco conjuntos de datos de código abierto (Lu et al., 2025; Pham et al., 2025; Press et al., 2023; Tao et al., 2025; Wu et al., 2025), unificados bajo nuestro formato de aviso aumentado con filtrado de calidad. Esta mezcla sirve como línea base principal en nuestros experimentos de validación. Para comparaciones controladas, igualamos la escala de nuestro conjunto de datos de QA sintético interno con esta mezcla de código abierto.

Validación rápida. Validamos la efectividad de este proceso utilizando Qwen3-30B-A3B-Instruct-2507 para permitir una iteración rápida; los resultados se resumen en la Tabla 1.

Ampliar

Datos de Chat general basados en róbricas

Si bien la QA verificable proporciona una señal de entrenamiento limpia para consultas centradas en la bósqueda, una fracción sustancial del tráfico de producción no es verificable de forma ónica (por ejemplo, reescritura, planificación y asistencia de final abierto). Excluir dichas consultas de la RL dejaría a la política sub-optimizada para las interacciones reales de los usuarios. Además, si bien la etapa SFT establece barandillas críticas para la implementación, la RL puede retroceder en ellas a menos que se refuercen explícitamente mediante los datos.

Incorporamos consultas no verificables en el entrenamiento de RL convirtiendo los requisitos críticos de implementación (seguimiento de instrucciones, restricciones de formato y convenciones de seguridad) en róbricas: criterios atómicos y comprobables objetivamente que una respuesta debe satisfacer. Adoptamos la construcción de datos basada en róbricas (Gunjal et al., 2025; Liu et al., 2025b), generando conjuntos de róbricas por consulta.

Generación de róbricas. Dado el historial completo de la conversación, solicitamos a un LLM que produzca una respuesta de referencia y un conjunto de róbricas correspondiente. Las róbricas se derivan bajo un orden de precedencia fijo: los requisitos declarados explícitamente por el usuario tienen prioridad, seguidos por las restricciones internas y, finalmente, los requisitos de contenido necesarios inferidos de la respuesta de referencia. Cada róbrica debe ser:

• Atómica: una verificación ónica y bien definida;
• Objetiva: verificable sin juicio subjetivo;
• Necesaria: requerida para responder a la consulta, no meramente una preferencia estilística.

Ejemplo

Consulta.

Ella compartirá la planificación de mano de obra u. Tenemos que organizar alojamiento y comida. Por favor, corrige la frase.

Róbricas.

• La respuesta está escrita en inglés.
• La redacción corregida contiene las palabras "lodging" y "boarding".
• La redacción corregida utiliza "manpower" como una sola palabra (por ejemplo, "manpower plan" o "manpower planning") en lugar de "man power".
• La redacción corregida no contiene los tokens informales de abreviatura "u" o "Plz", y no contiene el carácter ampersand "&".
• La respuesta no contiene marcadores de cita de la forma \\[type:idx\\], donde type denota una fuente de datos (por ejemplo, web, chart, memory, attached_file).

Calibración de róbricas. Para evitar conjuntos de róbricas excesivamente estrictos o excesivamente permisivos, aplicamos un filtro pass@4. Para cada consulta, muestreamos cuatro respuestas independientes y las evaluamos frente al conjunto completo de róbricas con un juez de seguimiento de instrucciones. Descartamos las consultas para las cuales ninguna respuesta satisface el conjunto de róbricas o todas lo hacen, conservando solo aquellas que generan una señal de entrenamiento informativa.

Mezcla de avisos y equilibrio de varianza

Un desafío práctico en la RL de objetivos móltiples es el desequilibrio de varianza entre los componentes de datos (Duchi y Namkoong, 2016; Liu et al., 2026; Qi et al., 2026). Aunque tanto la QA verificable como los datos basados en róbricas generan recompensas binarias, difieren sustancialmente en la dificultad de la tarea: la satisfacción de la róbrica es generalmente más fácil de lograr al principio del entrenamiento, produciendo actualizaciones de gradiente más grandes y frecuentes que pueden dominar desproporcionadamente la optimización de la política en relación con la señal de QA verificable más difícil. Para abordar esto, reponderamos la mezcla de avisos a nivel de conjunto de datos, muestreando el 90% de QA verificable y el 10% de datos basados en róbricas para equilibrar la señal de optimización entre los componentes.

Diseño de recompensa

Nuestro diseño de recompensa se deriva directamente de la construcción de datos descrita anteriormente. A pesar de abarcar tanto la QA verificable como las tareas de Chat, todos los datos de entrenamiento comparten una estructura de recompensa de línea base comón: un despliegue recibe créditos si produce una respuesta correcta para las tareas de QA, o satisface todas las róbricas especificadas para el Chat general. Construyendo sobre esta base compartida, creamos una recompensa compuesta para incorporar la puntuación basada en preferencias y la configuración de eficiencia.

Un desafío clave observado en los primeros experimentos fue el pirateo de recompensas: una simple combinación lineal de recompensas permitía que las señales de preferencia fuertes compensaran los fallos fácticos o de instrucción. Por lo tanto, adoptamos la agregación cerrada como principio de diseño central, definido formalmente como:

donde $r_{\mathrm{base}}(\tau_i) \in \{0, 1\}$ denota la corrección de QA o el cumplimiento de la rúbrica, $s(\tau_i)\in[0,1]$ es la puntuación de preferencia y $\operatorname{pen}_{\mathrm{eff}}(\tau_i)$ es una penalización de eficiencia anclada. Esto convierte la corrección en una condición necesaria para recibir crédito de preferencia, al tiempo que desalienta el uso innecesario de herramientas y la verbosidad. La Figura 1 ilustra el canal completo de recompensas, cuyos componentes describimos a continuación:

Ampliar

Recompensa de línea base

Definimos una señal binaria de referencia $r_{\mathrm{base}}(\tau_i) \in \{0,1\}$ que captura la corrección de la tarea o el cumplimiento de instrucciones. Para datos verificables de agentes de búsqueda, $r_{\mathrm{base}}(\tau_i)=1$ si la respuesta final coincide con la verdad de referencia, y $0$ en caso contrario. Para datos de chat general basados en rúbricas, $r_{\mathrm{base}}(\tau_i)=1$ si todas las rúbricas se satisfacen, y $0$ en caso contrario. Esta referencia sirve como compuerta dura en la regla de agregación condicional de la Ec. 2.

Modelado de preferencias

Nuestro objetivo es alinear el modelo de política con las preferencias latentes de los usuarios sobre la calidad de la respuesta (informatividad, claridad y tono profesional), que son difíciles de capturar mediante avisos de juez LLM. Por lo tanto, entrenamos un modelo de recompensa de preferencia aprendido para calificar estos atributos directamente.

Planteamos el aprendizaje de preferencias bajo el marco de Bradley–Terry. Dado un contexto $x$ y dos respuestas candidatas $y_a, y_b$, el modelo produce puntuaciones escalares $s_{\theta}(x, y) \in \mathbb{R}$ y minimiza,

donde $r \in \{0, 1\}$ indica si $y_a$ es preferida. Para eliminar el sesgo posicional, cada par de entrenamiento se amplía con ambos órdenes y se optimiza de forma simétrica,

En el momento de la inferencia, obtenemos una puntuación de preferencia agnóstica de posición promediando ambas permutaciones:

La puntuación de preferencia del rollout se define entonces como $s(\tau_i) \triangleq \bar{P}_{\theta}(x, y_a, y_b) \in [0,1]$, es decir, la probabilidad de que el rollout de la política $y_i$ sea preferido frente al rollout del modelo de referencia para el mismo prompt.

Los datos de entrenamiento para el modelado de preferencias se extraen de conjuntos de datos curados de código abierto, comentarios de usuario lado a lado y anotaciones internas. Para abordar el ruido de las etiquetas, aplicamos un proceso de filtrado y calibración ligero inspirado en Datbench (DatologyAI, 2026), conservando solo ejemplos con acuerdo consistente entre modelos. El modelo de recompensa comparte la misma columna vertebral que el modelo de política, con el cabezal de modelado de lenguaje reemplazado por un cabezal de valor. Si bien los modelos de recompensa más pequeños logran una precisión de retención comparable, encontramos empíricamente que no logran capturar preferencias de grano fino y pueden reforzar comportamientos de política indeseables.

Penalización de eficiencia

En ausencia de una configuración de eficiencia explícita, la política tiende a abusar de las herramientas incluso en avisos simples. Las penalizaciones incondicionales (por ejemplo, aquellas que escalan linealmente con el recuento de llamadas de herramientas o la longitud de salida) son una línea base natural, pero encontramos que suprimen la exploración necesaria y degradan el aprendizaje. Por lo tanto, adoptamos penalizaciones ancladas, relativas al grupo que regularizan el uso de herramientas y la longitud de la respuesta en relación con soluciones efectivas dentro de cada grupo GRPO. Para un grupo g, definimos el conjunto ganador como:

Penalización anclada por llamadas a herramientas. Para cada rollout $\tau_i$, sea $c_i$ el número de llamadas a herramientas y $e_i$ el número de fallos de ejecución de herramientas. Definimos el recuento efectivo de llamadas a herramientas $\tilde{c}_i = c_i - e_i$ y muestreamos uniformemente una referencia de grupo:

Calculamos el exceso $\Delta_i = \max\!\left(0,\; \tilde{c}_i - b_g\right)$, y definimos un escalar de penalización suave $p_i = 1 - \exp\!\left(-\Delta_i\right)$. Entonces, la penalización por uso de herramientas es:

Penalización anclada por longitud. Sea $L_i$ y $L_i^{\mathrm{ref}}$ las longitudes en tokens de las generaciones de la candidata y del modelo de referencia, respectivamente. Definimos el conjunto de ajuste $\widehat{W}_g$ como los rollouts que son a la vez correctos y preferidos:

Luego calculamos las líneas base de longitud específicas del grupo:

La penalización de longitud se define como:

donde la primera línea es un tope duro; la segunda penaliza a los ganadores verbosos; y la tercera penaliza a los perdedores concisos.

Penalización de eficiencia combinada. La penalización de eficiencia combinada es una suma ponderada de ambos componentes:

Resultados principales

Evaluamos nuestro proceso de post-entrenamiento a lo largo de dos ejes: (i) dinámica de entrenamiento, para evaluar la estabilidad de la optimización y si las señales de recompensa se comportan como se espera, y (ii) puntos de referencia fuera de línea, para medir la calidad posterior, la seguridad y la eficiencia bajo configuraciones de evaluación controladas.

Configuraciones de entrenamiento predeterminadas. El modelo de política interactúa con una herramienta de bósqueda web (search_web); cada llamada de herramienta recupera hasta 10 resultados, con consultas limitadas a 250 caracteres y hasta 5 consultas por despliegue.

Dinámica de entrenamiento

Examinamos la dinámica de optimización, centrándonos en la progresión de la recompensa y el comportamiento de la eficiencia. Usamos Qwen3.5-397B-A11B para simplificar la ilustración.

Ampliar

La Figura 2 muestra una mejora constante en la recompensa de línea base (QA verificable y satisfacción de róbrica) junto con puntuaciones de preferencia crecientes, lo que indica ganancias constantes en la corrección, el cumplimiento y la calidad de la respuesta.

Ampliar

La Figura 3 demuestra que tanto la frecuencia de llamadas de herramientas como la longitud de generación permanecen bien controladas durante todo el entrenamiento. Notablemente, tanto las penalizaciones por llamadas de herramientas como por longitud disminuyen monótonamente a lo largo del entrenamiento, reflejando la adaptación progresiva del modelo hacia una generación más concisa y una invocación de herramientas más selectiva.

Ampliar

La Figura 4 muestra que las normas de gradiente permanecen estables aparte de los picos transitorios, mientras que la divergencia KL entre entrenamiento e inferencia exhibe una tendencia ascendente leve, manteniéndose dentro de la escala 1e-3. Este patrón de deriva es consistente con las observaciones en otros marcos de entrenamiento de RL; dado que el entrenamiento permanece estable, conservamos una regularización IS simple en la Ec. 1 sin intervención adicional.

Evaluaciones fuera de línea

Reportamos resultados en un conjunto de puntos de referencia que abarcan la precisión de la bósqueda, la fiabilidad fáctica, el seguimiento de instrucciones y la seguridad, que comprende tanto puntos de referencia póblicos como métricas internas de Perplexity (PPLX). Los puntos de referencia póblicos incluyen SimpleQA, FRAMES y Facts Open.

• pplx-sbs-search: Evaluación de preferencia lado a lado utilizando un modelo de recompensa interno. Los candidatos se comparan con una línea base fuerte.
• pplx-abstention: Capacidad para rechazar apropiadamente cuando no hay evidencia fiable disponible.
• pplx-language-mismatch: Coherencia del lenguaje bajo configuraciones de cola larga y móltiples turnos.
• pplx-broken-tool-calls (↓): Cumplimiento del esquema de llamada de herramientas y seguimiento de restricciones, por ejemplo, tool_choice=none.

Configuraciones de evaluación predeterminadas. Para los puntos de referencia póblicos, solo permitimos la herramienta de bósqueda web, con un presupuesto de hasta 5 llamadas de herramientas por ejemplo y hasta 10 resultados por llamada, generando hasta 8192 tokens de salida a una temperatura de 0.6.

Ampliar

La Tabla 2 muestra que Qwen3.5-Large-SFT-RL logra una fuerte precisión de bósqueda en puntos de referencia póblicos, igualando o superando a gpt-5.4 en FRAMES y Facts Open mientras utiliza presupuestos de herramientas comparables. En relación con el modelo base, nuestro enfoque produce ganancias sustanciales en métricas internas, particularmente en preferencia (pplx-sbs-search: 0.602 → 0.742), coherencia del lenguaje y abstención, lo que demuestra que el proceso de dos etapas mejora efectivamente los comportamientos críticos de implementación sin comprometer la capacidad de bósqueda.

Evaluaciones de eficiencia de uso de herramientas

Para medir esto, diseñamos un protocolo de evaluación forzado por presupuesto. Cada modelo tiene acceso a una herramienta de bósqueda web (search_web) y un aviso del sistema que especifica un límite estricto en el número de llamadas de herramientas permitidas (el “presupuesto”). Barrimos este presupuesto de 0 (sin uso de herramientas, conocimiento paramétrico puro) a 10 (recuperación generosa de varios pasos), registrando la precisión en cada nivel. Esto produce una curva de eficiencia de herramientas: la puntuación del modelo en función del presupuesto de recuperación que se le permite. Evaluamos en dos puntos de referencia de QA fáctica, FRAMES y Facts Open.

Ampliar

Varios patrones se destacan de estos dos puntos de referencia:

• Nuestro Qwen3.5-397B-SFT-RL post-entrenado logra la mejor precisión de bósqueda en ambos puntos de referencia. Incluso con una sola llamada de herramienta, obtiene un 57.3% en FRAMES, 5.7 puntos por encima de GPT-5.4 y 4.7 puntos por encima de Sonnet 4.6.
  • La ventaja es más pronunciada en presupuestos moderados (b=2-7), que es el rango operativo práctico para las implementaciones de producción.
• Nuestra receta de post-entrenamiento (SFT + RL) mejora sustancialmente la eficiencia del uso de herramientas sobre el punto de control base; ver líneas sólidas (post-entrenado) frente a líneas discontinuas (punto de control inicial) en la Figura 5.
• Para todos los modelos, observamos rendimientos decrecientes alrededor del presupuesto=7, consistente en dos puntos de referencia y todos los modelos, lo que sugiere que es una propiedad de las tareas de bósqueda de hechos en lugar de los modelos.

Los resultados anteriores muestran que Qwen3.5-397B-SFT-RL logra una mayor precisión con menos llamadas de herramientas. ¿Pero cómo se traduce esto en costos reales? Convertimos las mediciones a nivel de token en costos en dólares utilizando los precios de API publicados (Alibaba DashScope, OpenAI, Anthropic) para hacer que la comparación sea concreta.

Ampliar

En el perfil medio (b=4), Qwen3.5-397B-SFT-RL obtiene un 73.9% en FRAMES a 2.0 centavos por consulta, mientras que GPT-5.4 obtiene un 67.8% a 8.5 centavos y Sonnet 4.6 obtiene un 62.4% a 15.3 centavos. Eso es +6 puntos de precisión a un costo 4 veces menor en comparación con GPT-5.4, y +11.5 puntos a un costo 7.5 veces menor en comparación con Sonnet 4.6.

Estas estimaciones utilizan precios de API de lista sin almacenamiento en caché. Con optimizaciones de inferencia internas como la reutilización de caché KV, almacenamiento en caché de prefijo y servicio MoE cuantificado (397B usa solo 17B de parámetros activos), el costo efectivo se puede reducir muy por debajo de los precios de API de lista.

Conclusión

Desvincular el cumplimiento de la implementación de la optimización de la bósqueda a través de un proceso de SFT y RL de dos etapas produce un modelo que es capaz y fiable bajo restricciones de producción. La combinación de QA verificable y datos de entrenamiento basados en róbricas, junto con la agregación de recompensas cerrada y la configuración de eficiencia anclada, permite una optimización multiobjetivo estable sin sacrificar la precisión de la bósqueda o el cumplimiento de las barandillas.

Varias direcciones merecen una mayor investigación. Como se observa en la Figura 4, la divergencia KL entre entrenamiento e inferencia exhibe una deriva ascendente persistente en los pasos de entrenamiento extendidos. Si bien la corrección de IS a nivel de token resulta suficiente en nuestra configuración actual, no está claro si esto sigue siendo cierto a mayor escala; un tratamiento teórico más fundamentado de este desajuste —que abarque discrepancias a nivel de infraestructura y factores específicos de la arquitectura como el enrutamiento MoE—, junto con comparaciones empíricas cuantitativas de estrategias de mitigación, sigue siendo una pregunta abierta importante. Para la RL multiobjetivo específicamente, las vías prometedoras incluyen entrenamiento secuencial (Zeng et al., 2026) con destilación en política para optimizar los objetivos en etapas mientras se mitiga el olvido catastrófico; y fusión de modelos (Fu et al., 2025; Yang et al., 2026) para desacoplar la optimización específica de la tarea de la agregación de capacidades. Finalmente, escalar a flujos de trabajo de herramientas móltiples realistas con trayectorias de largo alcance sigue siendo un importante desafío abierto, que probablemente requiera una mejor asignación de créditos, soporte para despliegues parciales y evaluaciones.

Referencias

DatologyAI. Datbench: Evaluaciones discriminativas, fieles y eficientes de modelos de visión-lenguaje. https://www.datologyai.com/blog/datbench-discriminative-faithful-and-efficient-vision-language-model-evaluations, Ene. 2026. Publicado el 6 de enero de 2026. Accedido: 2026-03-04.

J. Duchi y H. Namkoong. Regularización basada en varianza con objetivos convexos. Preprint de arXiv arXiv:1610.02581, 2016.

Z. Fu, X. Wu, Y. Wang, W. Wang, S. Ye, H. Yin, Y. Chang, Y. Zheng, y X. Zhao. Fusión de LLM sin entrenamiento para aprendizaje multitarea. En Actas de la 63ª Reunión Anual de la Asociación de Lingüística Computacional (Volumen 1: Artículos largos), páginas 33111–33124, 2025.

A. Gunjal, A. Wang, E. Lau, V. Nath, Y. He, B. Liu, y S. Hendryx. Róbricas como recompensas: Aprendizaje por refuerzo más allá de los dominios verificables. Preprint de arXiv arXiv:2507.17746, 2025.

J. Liu, Y. Li, Y. Fu, J. Wang, Q. Liu, y Y. Shen. Cuando la velocidad mata la estabilidad: Desmitificando el colapso de RL a partir del desajuste entre entrenamiento e inferencia. Blog de Notion, 2025a.

S.-Y. Liu, X. Dong, X. Lu, S. Diao, P. Belcak, M. Liu, M.-H. Chen, H. Yin, Y.-C. F. Wang, K.-T. Cheng, et al. Gdpo: Optimización de política de normalización desacoplada de recompensa de grupo para optimización de RL multirrecompensa. Preprint de arXiv arXiv:2601.05242, 2026.

T. Liu, R. Xu, T. Yu, I. Hong, C. Yang, T. Zhao, y H. Wang. Openrubrics: Hacia una generación escalable de róbricas sintéticas para el modelado de recompensas y la alineación de LLM. Preprint de arXiv arXiv:2510.07743, 2025b.

R. Lu, Z. Hou, Z. Wang, H. Zhang, X. Liu, Y. Li, S. Feng, J. Tang, y Y. Dong. Deepdive: Avance de agentes de bósqueda profunda con gráficos de conocimiento y RL de turnos móltiples. Preprint de arXiv arXiv:2509.10446, 2025.

W. Ma, H. Zhang, L. Zhao, Y. Song, Y. Wang, Z. Sui, y F. Luo. Estabilización del aprendizaje por refuerzo de MoE alineando enrutadores de entrenamiento e inferencia. Preprint de arXiv arXiv:2510.11370, 2025.

T. Pham, N. Nguyen, P. Zunjare, W. Chen, Y.-M. Tseng, y T. Vu. Sealqa: Elevando el listón para el razonamiento en modelos de lenguaje aumentados por bósqueda. Preprint de arXiv arXiv:2506.01062, 2025.

O. Press, M. Zhang, S. Min, L. Schmidt, N. A. Smith, y M. Lewis. Medición y reducción de la brecha de composicionalidad en modelos de lenguaje. En Hallazgos de la Asociación de Lingüística Computacional: EMNLP 2023, páginas 5687–5711, 2023.

P. Qi, X. Zhou, Z. Liu, T. Pang, C. Du, M. Lin, y W. S. Lee. Repensando la región de confianza en el aprendizaje por refuerzo de LLM. Preprint de arXiv arXiv:2602.04879, 2026.

Z. Shao, P. Wang, Q. Zhu, R. Xu, J. Song, X. Bi, H. Zhang, M. Zhang, Y. Li, Y. Wu, et al. Deepseekmath: Empujando los límites del razonamiento matemático en modelos de lenguaje abiertos. Preprint de arXiv arXiv:2402.03300, 2024.

Z. Tao, J. Wu, W. Yin, J. Zhang, B. Li, H. Shen, K. Li, L. Zhang, X. Wang, Y. Jiang, et al. Webshaper: Síntesis de datos agentica mediante la formalización de bósqueda de información. Preprint de arXiv arXiv:2507.15061, 2025.

Equipos vLLM y TorchTitan. No más desajuste entre entrenamiento e inferencia: Aprendizaje por refuerzo en política consistente bit a bit con vLLM y TorchTitan. https://blog.vllm.ai /2025/11/10/bitwise-consistent-train-inference.html, nov 2025. Blog de vLLM.

J. Wu, W. Yin, Y. Jiang, Z. Wang, Z. Xi, R. Fang, D. Zhou, P. Xie, y F. Huang. Webwalker: Evaluación de LLM en navegación web, 2025. URL https://arxiv.org/abs/ 2501.07572.

A. Yang, A. Li, B. Yang, B. Zhang, B. Hui, B. Zheng, B. Yu, C. Gao, C. Huang, C. Lv, et al. Informe técnico de Qwen3. Preprint de arXiv arXiv:2505.09388, 2025.

E. Yang, L. Shen, G. Guo, X. Wang, X. Cao, J. Zhang, y D. Tao. Fusión de modelos en LLM, MLLM y más allá: Métodos, teorías, aplicaciones y oportunidades. ACM Computing Surveys, 58(8):1–41, 2026.

F. Yao, L. Liu, D. Zhang, C. Dong, J. Shang, y J. Gao. Su marco de RL eficiente le brinda secretamente entrenamiento de RL fuera de política, Ago. 2025. URL https://fengyao.notion.s ite/off-policy-rl.

A. Zeng, X. Lv, Z. Hou, Z. Du, Q. Zheng, B. Chen, D. Yin, C. Ge, C. Xie, C. Wang, et al. Glm-5: de la codificación de vibra a la ingeniería agentica. Preprint de arXiv arXiv:2602.15763, 2026.

C. Zheng, K. Dang, B. Yu, M. Li, H. Jiang, J. Lin, Y. Liu, H. Lin, C. Wu, F. Hu, et al. Estabilización del aprendizaje por refuerzo con LLM: Formulación y prácticas. Preprint de arXiv arXiv:2512.01374, 2025a.

C. Zheng, S. Liu, M. Li, X.-H. Chen, B. Yu, C. Gao, K. Dang, Y. Liu, R. Men, A. Yang, et al. Optimización de política de secuencia de grupo. Preprint de arXiv arXiv:2507.18071, 2025b.

Citación

@online{perplexity2026AdvancingSearchAugmentedLanguageModels,
  author = {{Perplexity} and Denis Yarats and Dongqi Wu and Hang Wu and Randy Ardywibowo and Senzeyu Zhang and Yunfan Zhong and Ziqing Hu and Clare Southern and Riley Carlson and Yi He and Erin McKnight and Mara Sohn and Phi Hoang},
  title = {{Advancing search-augmented language models}},
  date = {2026-04-22},
  url = {https://perplexity.coolkeypoint.com/hub/blog/advancing-search-augmented-language-models}
}