Advancing search-augmented language models

Introduction

L'entraînement d'agents de recherche Web frontaliers nécessite l'optimisation conjointe de multiples objectifs : l'exactitude factuelle, l'efficacité des trajectoires et l'alignement sur les préférences des utilisateurs. Pourtant, l'amélioration d'une seule dimension de manière isolée dégrade souvent les autres : les modèles entraînés uniquement pour l'exactitude ont tendance à surutiliser les outils, tandis que ceux optimisés pour la concision peuvent sacrifier la fiabilité ou l'exhaustivité. Chez Perplexity, aucun de ces résultats n'est acceptable.

Cet article décrit le pipeline de post-entraînement de Perplexity pour le développement d'agents de recherche Web de pointe basés sur des modèles open source. Une idée clé est que, dans l'entraînement d'agents de recherche, la curation des données et la conception des récompenses doivent être co-conçues : les données déterminent quels comportements sont observables et vérifiables, et la récompense détermine comment ces signaux sont traduits en signal d'optimisation. Ce principe motive notre pipeline en deux étapes : nous effectuons d'abord un réchauffement par ajustement supervisé (SFT) pour initialiser le modèle de politique, puis nous affinons ce dernier à l'aide de l'apprentissage par renforcement (RL) sur un ensemble de données sélectionnées et des récompenses soigneusement conçues. Cette approche en deux étapes permet des gains fiables en matière d'exactitude, d'efficacité et de qualité des réponses sous les contraintes de production.

Nous décrivons d'abord notre pipeline d'entraînement en deux étapes (SFT → RL en politique), suivi de la construction de nos données d'entraînement RL, couvrant à la fois les questions-réponses vérifiables d'agents de recherche et le clavardage général basé sur des critères. Nous présentons ensuite une conception de récompense composite dérivée de ce cadre de données hétérogènes, équilibrant qualité et efficacité tout en atténuant le piratage de récompense. Enfin, nous analysons la dynamique d'entraînement et les résultats de référence.

Pipeline d'entraînement en deux étapes

Nous adoptons une recette de post-entraînement en deux étapes : (i) le SFT pour établir les comportements essentiels au déploiement tels que les balises de protection (par ex., l'abstention), le suivi des instructions et la cohérence linguistique, et (ii) le RL en politique pour améliorer la capacité de recherche, y compris l'exactitude des réponses et l'efficacité de l'utilisation des outils, tout en préservant les comportements de la première étape.

Pourquoi deux étapes ? L'optimisation conjointe de la qualité de recherche et des contraintes de déploiement au sein d'une seule étape de RL est difficile sans compromettre au moins un objectif. Empiriquement, l'entraînement par RL seul améliore les performances de recherche mais tend à sous-performer sur les balises de protection de déploiement, tandis que le SFT améliore la conformité au détriment des performances de recherche. Dissocier les objectifs permet à l'étape de SFT de traiter d'abord les exigences non négociables, après quoi le RL peut se concentrer principalement sur l'amélioration de la capacité de recherche.

Étape de SFT

Nous initialisons à partir de la famille de modèles Qwen3 (Qwen3.5-122B-A10B et Qwen3.5-397B-A17B) (Yang et al., 2025, article de blogue de Qwen3.5) et construisons un ensemble de données de mélange SFT à deux composants ciblant les comportements critiques pour le déploiement décrits ci-dessus, tout en préservant la capacité de recherche générale du modèle de base.

Exemples axés sur les préférences. Nous sélectionnons des exemples axés sur le suivi des instructions et le style, ciblant le ton, la cohérence linguistique, la clarté et le formatage. Ces exemples ne nécessitent pas de vérité terrain unique ; ils sont plutôt choisis pour refléter les exigences de rédaction du produit et assurer une cohérence stylistique à travers divers types de requêtes.

Trajectoires d'utilisation d'outils au format de production. Empiriquement, nous constatons qu'un SFT sans curation minutieuse des ensembles de données peut dégrader considérablement la capacité de recherche du modèle de base. Pour atténuer cela, nous échantillonnons des requêtes et des tâches internes à travers divers motifs d'interaction (à un, deux et plusieurs tours) et les annotons avec notre harnais d'appel d'outils.

Étape de RL

À partir du point de contrôle SFT, nous appliquons le RL en politique pour améliorer l'exactitude et l'efficacité de la recherche. Nous optimisons le modèle de politique à l'aide de l'optimisation de politique relative de groupe (GRPO) (Shao et al., 2024).

où $G$ est la taille du groupe, $o_{i}$ désigne la $i$-ième sortie échantillonnée et $\hat{A}_{i, t} = \hat{A}_{i}$ est l'avantage. La conception de la récompense est détaillée dans la section sur la conception de la récompense ; en bref, nous combinons l'exactitude de base avec un modelage d'efficacité ancré et basé sur les préférences. En suivant les travaux antérieurs (Liu et al., 2025a ; Yao et al., 2025 ; Zheng et al., 2025a), nous appliquons l'échantillonnage d'importance (IS) au niveau des jetons pour corriger l'inadéquation entre l'entraînement et l'inférence :

Nous évaluons plusieurs approches pour atténuer le décalage entre l'entraînement et l'inférence, notamment l’IS au niveau de la séquence (Zheng et al., 2025b), la relecture de routage (Ma et al., 2025 ; Zheng et al., 2025b) et l’entraînement bit à bit cohérent qui intègre le noyau du moteur d’inférence pendant l’entraînement (vLLM and TorchTitan Teams, 2025). Empiriquement, dans notre configuration sur politique, nous constatons que l’IS au niveau du jeton suffit pour éviter l’effondrement de l’entraînement tout en restant simple à mettre en œuvre ; cela concorde avec les résultats de Zheng et al (2025a).

Données d'entraînement RL

Nos données d'entraînement RL se composent de deux éléments complémentaires : des questions-réponses vérifiables d'agents de recherche ciblant la capacité de recherche générale, et du clavardage général basé sur des critères renforçant explicitement les balises de protection du déploiement pour éviter toute régression pendant l'étape d'entraînement RL.

Données vérifiables d'agents de recherche

Construction de l'ensemble de données. En suivant la méthode d'expansion séquentielle (Tao et al., 2025), nous construisons un ensemble de données de questions-réponses synthétiques internes à partir de requêtes de départ internes sans nous appuyer sur un graphe de connaissances organisé, ce qui maintient le pipeline léger et facile à actualiser. Chaque exemple synthétique est généré par les étapes suivantes :

1. Sélection des graines. Nous récupérons des documents pour les requêtes initiales et sélectionnons des entités dont les faits sont confirmés par plusieurs sources comme points de départ, en extrayant des déclarations atomiques à leur sujet.
2. Construction d'une chaîne à sauts multiples. À partir des déclarations de l'entité graine, nous en sélectionnons une qui introduit une deuxième entité (par exemple, pour la graine « The Mom Test », la déclaration « écrite par Rob Fitzpatrick » introduit l'auteur comme l'entité suivante). Nous répétons ce processus de liaison 2 à 4 fois, en veillant à ce que chaque entité soit distincte et qu'aucune déclaration unique ne révèle de manière triviale la réponse finale.
3. Synthèse de questions sans nom. Nous convertissons la chaîne d'entités en une question en remplaçant de manière récursive les noms d'entités par leurs déclarations de liaison, produisant ainsi une question imbriquée qui nécessite un raisonnement à sauts multiples.
4. Vérification. Nous ne conservons que les questions ayant des réponses uniques vérifiées par plusieurs solveurs indépendants connectés au Web.

Exemple (3 sauts)

Considérez la requête initiale « The Mom Test ». Nous récupérons des documents et identifions ce livre comme l'entité graine, puis extrayons des déclarations factuelles atomiques et construisons de manière itérative une chaîne d'entités : (i) The Mom Test a été écrit par Rob Fitzpatrick, ce qui introduit Rob Fitzpatrick ; (ii) la première entreprise en démarrage de Rob Fitzpatrick est passée par Y Combinator (été 2007), ce qui introduit Y Combinator ; (iii) Y Combinator a été lancé en mars 2005. Le remplacement récursif de chaque nom d'entité par son descripteur donne la question sans nom : « Quel livre a été écrit par la personne dont la première entreprise en démarrage est passée par l'accélérateur lancé en mars 2005, dans sa cohorte de l'été 2007 ? » avec pour réponse « The Mom Test ».

Augmentation de la diversité des formats. Les modèles entraînés uniquement sur des questions-réponses synthétiques brutes ont tendance à ignorer les préférences de formatage et à adopter une structure de réponse fixe, indépendamment de la formulation de la requête. Pour améliorer la diversité des formats, nous enrichissons l'ensemble de données avec des requêtes comprenant des instructions de formatage explicites (par ex., « Afficher une liste de... » ou « Résumer... dans un tableau »), tout en maintenant la réponse sous-jacente inchangée.

Questions-réponses vérifiables publiques (référence). Nous construisons un ensemble de données de référence de questions-réponses vérifiables à partir de cinq ensembles de données open source (Lu et al., 2025 ; Pham et al., 2025 ; Press et al., 2023 ; Tao et al., 2025 ; Wu et al., 2025), unifiés sous notre format d'invite enrichi avec un filtrage de qualité. Ce mélange sert de référence principale dans nos expériences de validation. Pour des comparaisons contrôlées, nous faisons correspondre l'échelle de notre ensemble de données de questions-réponses synthétiques internes à ce mélange open source.

Validation rapide. Nous validons l'efficacité de ce pipeline en utilisant Qwen3-30B-A3B-Instruct-2507 pour permettre une itération rapide ; les résultats sont résumés dans le tableau 1.

Agrandir

Données de clavardage général basées sur des critères

Bien que les questions-réponses vérifiables fournissent un signal d'entraînement propre pour les requêtes axées sur la recherche, une fraction substantielle du trafic de production n'est pas vérifiable de manière unique (par ex., la réécriture, la planification et l'assistance ouverte). Exclure ces requêtes du RL laisserait la politique sous-optimisée pour les interactions réelles des utilisateurs. De plus, bien que l'étape de SFT établisse des balises de protection critiques pour le déploiement, le RL peut régresser sur celles-ci à moins qu'elles ne soient explicitement renforcées par les données.

Nous incorporons des requêtes non vérifiables dans l'entraînement RL en convertissant les exigences critiques pour le déploiement — suivi des instructions, contraintes de formatage et conventions de sécurité — en critères : des critères atomiques et objectivement vérifiables qu'une réponse doit satisfaire. Nous adoptons la construction de données basée sur des critères (Gunjal et al., 2025 ; Liu et al., 2025b), générant des ensembles de critères par requête.

Génération de critères. Étant donné l'historique complet de la conversation, nous invitons un LLM à produire une réponse de référence et un ensemble de critères correspondant. Les critères sont dérivés selon un ordre de priorité fixe : les exigences explicitement exprimées par l'utilisateur ont la priorité, suivies des contraintes internes, et enfin des exigences de contenu nécessaires déduites de la réponse de référence. Chaque critère doit être :

• Atomique : une vérification unique et bien définie ;
• Objectif : vérifiable sans jugement subjectif ;
• Nécessaire : requis pour répondre à la requête, et non pas simplement une préférence stylistique.

Exemple

Requête.

She will share u man power planning. We have to arrange lodging & boarding. Plz correct swntence.

Critères.

• La réponse est rédigée en anglais.
• La formulation corrigée contient les mots « lodging » et « boarding ».
• La formulation corrigée utilise « manpower » en un seul mot (par exemple, « manpower plan » ou « manpower planning ») plutôt que « man power ».
• La formulation corrigée ne contient pas les abréviations informelles « u » ou « Plz », et ne contient pas le caractère esperluette « & ».
• La réponse ne contient pas de marqueurs de citation de la forme \\[type:idx\\], où type désigne une source de données (par exemple, web, chart, memory, attached_file).

Étalonnage des critères. Pour éviter des ensembles de critères trop stricts ou trop permissifs, nous appliquons un filtre pass@4. Pour chaque requête, nous échantillonnons quatre réponses indépendantes et les évaluons par rapport à l'ensemble complet des critères avec un juge de suivi des instructions. Nous rejetons les requêtes pour lesquelles aucune réponse ne satisfait l'ensemble des critères ou pour lesquelles toutes les réponses le satisfont, ne conservant que celles qui produisent un signal d'entraînement informatif.

Mélange d'invites et équilibrage de la variance

Un défi pratique dans le RL à objectifs multiples est le déséquilibre de la variance entre les composants de données (Duchi et Namkoong, 2016 ; Liu et al., 2026 ; Qi et al., 2026). Bien que les questions-réponses vérifiables et les données basées sur des critères produisent toutes deux des récompenses binaires, elles diffèrent considérablement en termes de difficulté de tâche : la satisfaction des critères est généralement plus facile à atteindre au début de l'entraînement, produisant des mises à jour de gradient plus importantes et plus fréquentes qui peuvent dominer de manière disproportionnée l'optimisation de la politique par rapport au signal de questions-réponses vérifiable, qui est plus ardu. Pour y remédier, nous pondérons à nouveau le mélange d'invites au niveau de l'ensemble de données, en échantillonnant 90 % à partir de questions-réponses vérifiables et 10 % à partir de données basées sur des critères pour équilibrer le signal d'optimisation entre les composants.

Conception de la récompense

Notre conception de la récompense découle directement de la construction des données décrite ci-dessus. Bien qu'elles englobent à la fois des tâches de questions-réponses vérifiables et des tâches de critères, toutes les données d'entraînement partagent une structure de récompense de base commune : un déploiement reçoit des crédits s'il produit une réponse correcte pour les tâches de questions-réponses, ou s'il satisfait à tous les critères spécifiés pour le clavardage général. En nous appuyant sur cette fondation partagée, nous construisons une récompense composite pour incorporer un score basé sur les préférences et un modelage de l'efficacité.

Un défi clé observé lors des premières expériences était le piratage de récompense : une simple combinaison linéaire de récompenses permettait à de forts signaux de préférence de compenser des échecs factuels ou instructionnels. Nous adoptons donc l'agrégation contrôlée comme principe de conception fondamental, défini formellement comme suit :

où $r_{\mathrm{base}}(\tau_i) \in \{0, 1\}$ désigne l'exactitude des questions-réponses ou la satisfaction des critères, $s(\tau_i)\in[0,1]$ est le score de préférence et $\operatorname{pen}_{\mathrm{eff}}(\tau_i)$ est une pénalité d'efficacité ancrée. Cela fait de l'exactitude une condition nécessaire pour recevoir des crédits de préférence, tout en décourageant l'utilisation inutile d'outils et la prolixité. La figure 1 illustre le pipeline complet de récompense, dont nous décrivons les composants ci-dessous :

Agrandir

Récompense de base

Nous définissons un signal de base binaire $r_{\mathrm{base}}(\tau_i) \in \{0,1\}$ qui capture l'exactitude de la tâche ou la conformité aux instructions. Pour les données vérifiables d'agents de recherche, $r_{\mathrm{base}}(\tau_i)=1$ si la réponse finale correspond à la vérité terrain, et $0$ sinon. Pour les données de clavardage général basées sur des critères, $r_{\mathrm{base}}(\tau_i)=1$ si tous les critères sont satisfaits, et $0$ sinon. Cette base sert de barrière stricte dans la règle d'agrégation conditionnelle de l'équation 2.

Modélisation des préférences

Nous visons à aligner le modèle de politique sur les préférences latentes des utilisateurs concernant la qualité des réponses — l'informativité, la clarté et le ton professionnel —, qui sont difficiles à capturer via les invites de type juge LLM. Nous entrons donc un modèle de récompense de préférence appris pour noter directement ces attributs.

Nous formulons l'apprentissage des préférences sous le cadre de Bradley-Terry. Étant donné un contexte $x$ et deux réponses candidates $y_a, y_b$, le modèle produit des scores scalaires $s_{\theta}(x, y) \in \mathbb{R}$ et minimise,

où $r \in \{0, 1\}$ indique si $y_a$ est préféré. Pour éliminer le biais positionnel, chaque paire d'entraînement est augmentée avec les deux ordres et optimisée de manière symétrique,

Au moment de l'inférence, nous obtenons un score de préférence agnostique quant à la position en faisant la moyenne des deux permutations :

Le score de préférence du déploiement est alors défini comme $s(\tau_i) \triangleq \bar{P}_{\theta}(x, y_a, y_b) \in [0,1]$, c'est-à-dire la probabilité que le déploiement de la politique $y_i$ soit préféré au déploiement du modèle de référence pour la même invite.

Les données d'entraînement pour la modélisation des préférences proviennent d'ensembles de données open source sélectionnés, de commentaires d'utilisateurs côte à côte et d'annotations internes. Pour traiter le bruit des étiquettes, nous appliquons un pipeline de filtrage et d'étalonnage léger inspiré de Datbench (DatologyAI, 2026), ne conservant que les exemples présentant un accord inter-modèle cohérent. Le modèle de récompense partage la même dorsale que le modèle de politique, la tête de modélisation linguistique étant remplacée par une tête de valeur. Bien que les modèles de récompense plus petits atteignent une exactitude de retenue comparable, nous constatons empiriquement qu'ils ne parviennent pas à capturer les préférences fines et peuvent renforcer des comportements de politique indésirables.

Pénalité d'efficacité

En l'absence d'un modelage explicite de l'efficacité, la politique a tendance à surutiliser les outils, même sur des invites simples. Les pénalités inconditionnelles (par ex., celles qui s'échelonnent de manière linéaire avec le nombre d'appels d'outils ou la longueur de sortie) constituent une référence naturelle, mais nous constatons qu'elles suppriment l'exploration nécessaire et dégradent l'apprentissage. Nous adoptons donc des pénalités ancrées et relatives au groupe qui régularisent l'utilisation des outils et la longueur des réponses par rapport aux solutions efficaces au sein de chaque groupe GRPO. Pour un groupe 𝑔, nous définissons l'ensemble gagnant comme :

Pénalité d'appel d'outils ancrée. Pour chaque déploiement $\tau_i$, soit $c_i$ le nombre d'appels d'outils et $e_i$ le nombre d'échecs d'exécution d'outils. Nous définissons le nombre effectif d'appels d'outils $\tilde{c}_i = c_i - e_i$ et échantillonnons uniformément une référence de groupe :

Nous calculons l'excès $\Delta_i = \max\!\left(0,\; \tilde{c}_i - b_g\right)$ et définissons un scalaire de pénalité lisse $p_i = 1 - \exp\!\left(-\Delta_i\right)$. La pénalité d'outil est alors :

Pénalité de longueur ancrée. Soient $L_i$ et $L_i^{\mathrm{ref}}$ les longueurs de jetons des générations du modèle candidat et du modèle de référence, respectivement. Nous définissons l'ensemble de modelage $\widehat{W}_g$ comme étant les déploiements qui sont à la fois corrects et préférés :

Nous calculons ensuite les références de longueur spécifiques au groupe :

La pénalité de longueur est définie comme suit :

où la première ligne est une limite stricte ; la seconde pénalise les gagnants verbeux ; et la troisième pénalise les perdants laconiques.

Pénalité d'efficacité combinée. La pénalité d'efficacité combinée est une somme pondérée des deux composants :

Principaux résultats

Nous évaluons notre pipeline de post-entraînement selon deux axes : (i) la dynamique d'entraînement, pour évaluer la stabilité de l'optimisation et vérifier si les signaux de récompense se comportent comme prévu, et (ii) les repères hors ligne, pour mesurer la qualité en aval, la sécurité et l'efficacité dans des contextes d'évaluation contrôlés.

Paramètres d'entraînement par défaut. Le modèle de politique interagit avec un outil de recherche Web (search_web) ; chaque appel d'outil récupère jusqu'à 10 résultats, les requêtes étant plafonnées à 250 caractères et jusqu'à 5 requêtes par déploiement.

Dynamique d'entraînement

Nous examinons la dynamique d'optimisation, en nous concentrant sur la progression des récompenses et le comportement d'efficacité. Nous utilisons Qwen3.5-397B-A11B par souci de simplicité d'illustration.

Agrandir

La figure 2 montre une amélioration constante de la récompense de base (questions-réponses vérifiables et satisfaction des critères) parallèlement à l'augmentation des scores de préférence, ce qui indique des gains constants en matière d'exactitude, de conformité et de qualité des réponses.

Agrandir

La figure 3 démontre que la fréquence des appels d'outils et la longueur de génération restent bien contrôlées tout au long de l'entraînement. Notamment, les pénalités d'appel d'outils et de longueur diminuent de manière monotone au cours de l'entraînement, reflétant l'adaptation progressive du modèle vers une génération plus concise et une invocation d'outils plus sélective.

Agrandir

La figure 4 montre que les normes de gradient restent stables à l'exception de pics transitoires, tandis que la divergence KL entre l'entraînement et l'inférence présente une légère tendance à la hausse, tout en restant à l'échelle de 1e-3. Ce profil de dérive est cohérent avec les observations faites dans d'autres cadres d'entraînement par RL ; l'entraînement restant stable de bout en bout, nous conservons une simple régularisation IS dans l'équation 1 sans intervention supplémentaire.

Évaluations hors ligne

Nous rapportons les résultats sur une série de repères couvrant l'exactitude de la recherche, la fiabilité factuelle, le suivi des instructions et la sécurité, comprenant à la fois des repères publics et des métriques internes de Perplexity (PPLX). Les repères publics incluent SimpleQA, FRAMES et Facts Open.

• pplx-sbs-search : Évaluation des préférences côte à côte à l'aide d'un modèle de récompense interne. Les candidats sont comparés à une référence solide.
• pplx-abstention : Capacité à refuser de manière appropriée lorsqu'aucune preuve fiable n'est disponible.
• pplx-language-mismatch : Cohérence linguistique dans des contextes à longue traîne et à tours multiples.
• pplx-broken-tool-calls (↓) : Conformité au schéma d'appel d'outils et respect des contraintes, par exemple, tool_choice=none.

Paramètres d'évaluation par défaut. Pour les repères publics, nous autorisons uniquement l'outil de recherche Web, avec un budget allant jusqu'à 5 appels d'outils par exemple et jusqu'à 10 résultats par appel, générant jusqu'à 8192 jetons de sortie à une température de 0,6.

Agrandir

Le tableau 2 montre que Qwen3.5-Large-SFT-RL atteint une forte exactitude de recherche sur l'ensemble des repères publics, égalant ou dépassant gpt-5.4 sur FRAMES et Facts Open tout en utilisant des budgets d'outils comparables. Par rapport au modèle de base, notre approche génère des gains substantiels sur les métriques internes, en particulier sur la préférence (pplx-sbs-search : 0,602 → 0,742), la cohérence linguistique et l'abstention, démontrant que le pipeline en deux étapes améliore efficacement les comportements essentiels au déploiement sans compromettre la capacité de recherche.

Évaluations de l'efficacité de l'utilisation des outils

Pour mesurer cela, nous concevons un protocole d'évaluation à budget forcé. Chaque modèle a accès à un outil de recherche Web (search_web) et à une invite système qui spécifie une limite stricte sur le nombre d'appels d'outils autorisés (le « budget »). Nous faisons varier ce budget de 0 (aucune utilisation d'outils, connaissances paramétriques pures) à 10 (récupération multi-étape généreuse), en enregistrant l'exactitude à chaque niveau. Cela produit une courbe d'efficacité des outils : le score du modèle en fonction du budget de récupération qui lui est autorisé. Nous évaluons sur deux repères de questions-réponses factuelles, FRAMES et Facts Open.

Agrandir

Plusieurs tendances ressortent de ces deux repères :

• Notre modèle post-entraîné Qwen3.5-397B-SFT-RL atteint la meilleure exactitude de recherche sur les deux repères. Même avec un seul appel d'outil, il obtient un score de 57,3 % sur FRAMES, soit 5,7 points au-dessus de GPT-5.4 et 4,7 points au-dessus de Sonnet 4.6.
  • L'avantage est le plus prononcé aux budgets modérés (b=2-7), qui constituent la plage de fonctionnement pratique pour les déploiements en production.
• Notre recette de post-entraînement (SFT + RL) améliore considérablement l'efficacité de l'utilisation des outils par rapport au point de contrôle de base ; voir les lignes pleines (post-entraîné) par rapport aux lignes pointillées (point de contrôle initial) sur la figure 5.
• Pour tous les modèles, nous observons des rendements décroissants autour de budget=7, ce qui est cohérent entre les deux repères et tous les modèles, suggérant qu'il s'agit d'une propriété des tâches de recherche de factualité plutôt que des modèles.

Les résultats ci-dessus montrent que Qwen3.5-397B-SFT-RL atteint une plus grande exactitude avec moins d'appels d'outils. Mais comment cela se traduit-il en coût réel ? Nous convertissons les mesures au niveau des jetons en coûts en dollars en utilisant la tarification API publiée (Alibaba DashScope, OpenAI, Anthropic) pour rendre la comparaison concrète.

Agrandir

Au profil moyen (b=4), Qwen3.5-397B-SFT-RL obtient un score de 73,9 % sur FRAMES à 2,0 cents par requête, tandis que GPT-5.4 obtient 67,8 % à 8,5 cents et Sonnet 4.6 obtient 62,4 % à 15,3 cents. Cela représente +6 points d'exactitude à un coût 4 fois inférieur par rapport à GPT-5.4, et +11,5 points à un coût 7,5 fois inférieur par rapport à Sonnet 4.6.

Ces estimations utilisent la tarification API de liste sans mise en cache. Avec des optimisations d'inférence internes telles que la réutilisation du cache KV, la mise en cache de préfixes et la mise en service MoE quantifiée (397B n'utilise que 17B de paramètres actifs), le coût effectif peut être réduit bien en deçà de la tarification API de liste.

Conclusion

Dissocier la conformité de déploiement de l'optimisation de la recherche par le biais d'un pipeline SFT et RL en deux étapes permet d'obtenir un modèle à la fois performant et fiable sous les contraintes de production. La combinaison de questions-réponses vérifiables et de données d'entraînement basées sur des critères, associée à l'agrégation de récompenses contrôlées et au modelage de l'efficacité ancrée, permet une optimisation stable à objectifs multiples sans sacrifier l'exactitude de la recherche ni la conformité aux balises de protection.

Plusieurs pistes méritent d'être approfondies. Comme observé sur la figure 4, la divergence KL entre l'entraînement et l'inférence présente une dérive persistante à la hausse lors d'étapes d'entraînement prolongées. Bien que la correction IS au niveau des jetons s'avère suffisante dans notre contexte actuel, il n'est pas certain que cela reste vrai à plus grande échelle ; un traitement théorique plus rigoureux de cette inadéquation — englobant les divergences au niveau de l'infrastructure et les facteurs spécifiques à l'architecture tels que le routage MoE — ainsi que des comparaisons empiriques quantitatives des stratégies d'atténuation, demeure une question ouverte importante. Pour le RL à objectifs multiples en particulier, les avenues prometteuses comprennent l'entraînement séquentiel (Zeng et al., 2026) avec distillation en politique pour optimiser les objectifs par étapes tout en atténuant l'oubli catastrophique ; et la fusion de modèles (Fu et al., 2025 ; Yang et al., 2026) pour découpler l'optimisation spécifique à la tâche de l'agrégation des capacités. Enfin, la mise à l'échelle vers des flux de travail multi-outils réalistes avec des trajectoires à long horizon reste un défi ouvert important, nécessitant probablement une meilleure attribution des crédits, un support pour les déploiements partiels et des évaluations.

Références

DatologyAI. Datbench: Discriminative, faithful, and efficient vision-language model evaluations. https://www.datologyai.com/blog/datbench-discriminative-faithful-and-efficient-vision-language-model-evaluations, Jan. 2026. Published Jan 6, 2026. Accessed: 2026-03-04.

J. Duchi and H. Namkoong. Variance-based regularization with convex objectives. arXiv preprint arXiv:1610.02581, 2016.

Z. Fu, X. Wu, Y. Wang, W. Wang, S. Ye, H. Yin, Y. Chang, Y. Zheng, and X. Zhao. Training-free llm merging for multi-task learning. In Proceedings of the 63rd Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pages 33111–33124, 2025.

A. Gunjal, A. Wang, E. Lau, V. Nath, Y. He, B. Liu, and S. Hendryx. Rubrics as rewards: Reinforcement learning beyond verifiable domains. arXiv preprint arXiv:2507.17746, 2025.

J. Liu, Y. Li, Y. Fu, J. Wang, Q. Liu, and Y. Shen. When speed kills stability: Demystifying rl collapse from the training-inference mismatch. Notion Blog, 2025a.

S.-Y. Liu, X. Dong, X. Lu, S. Diao, P. Belcak, M. Liu, M.-H. Chen, H. Yin, Y.-C. F. Wang, K.-T. Cheng, et al. Gdpo: Group reward-decoupled normalization policy optimization for multi-reward rl optimization. arXiv preprint arXiv:2601.05242, 2026.

T. Liu, R. Xu, T. Yu, I. Hong, C. Yang, T. Zhao, and H. Wang. Openrubrics: Towards scalable synthetic rubric generation for reward modeling and llm alignment. arXiv preprint arXiv:2510.07743, 2025b.

R. Lu, Z. Hou, Z. Wang, H. Zhang, X. Liu, Y. Li, S. Feng, J. Tang, and Y. Dong. Deepdive: Advancing deep search agents with knowledge graphs and multi-turn rl. arXiv preprint arXiv:2509.10446, 2025.

W. Ma, H. Zhang, L. Zhao, Y. Song, Y. Wang, Z. Sui, and F. Luo. Stabilizing moe reinforcement learning by aligning training and inference routers. arXiv preprint arXiv:2510.11370, 2025.

T. Pham, N. Nguyen, P. Zunjare, W. Chen, Y.-M. Tseng, and T. Vu. Sealqa: Raising the bar for reasoning in search-augmented language models. arXiv preprint arXiv:2506.01062, 2025.

O. Press, M. Zhang, S. Min, L. Schmidt, N. A. Smith, and M. Lewis. Measuring and narrowing the compositionality gap in language models. In Findings of the Association for Computational Linguistics: EMNLP 2023, pages 5687–5711, 2023.

P. Qi, X. Zhou, Z. Liu, T. Pang, C. Du, M. Lin, and W. S. Lee. Rethinking the trust region in llm reinforcement learning. arXiv preprint arXiv:2602.04879, 2026.

Z. Shao, P. Wang, Q. Zhu, R. Xu, J. Song, X. Bi, H. Zhang, M. Zhang, Y. Li, Y. Wu, et al. Deepseekmath: Pushing the limits of mathematical reasoning in open language models. arXiv preprint arXiv:2402.03300, 2024.

Z. Tao, J. Wu, W. Yin, J. Zhang, B. Li, H. Shen, K. Li, L. Zhang, X. Wang, Y. Jiang, et al. Webshaper: Agentically data synthesizing via information-seeking formalization. arXiv preprint arXiv:2507.15061, 2025.

vLLM and TorchTitan Teams. No more train-inference mismatch: Bitwise consistent on-policy reinforcement learning with vLLM and TorchTitan. https://blog.vllm.ai /2025/11/10/bitwise-consistent-train-inference.html, nov 2025. vLLM Blog.

J. Wu, W. Yin, Y. Jiang, Z. Wang, Z. Xi, R. Fang, D. Zhou, P. Xie, and F. Huang. Webwalker: Benchmarking llms in web traversal, 2025. URL https://arxiv.org/abs/ 2501.07572.

A. Yang, A. Li, B. Yang, B. Zhang, B. Hui, B. Zheng, B. Yu, C. Gao, C. Huang, C. Lv, et al. Qwen3 technical report. arXiv preprint arXiv:2505.09388, 2025.

E. Yang, L. Shen, G. Guo, X. Wang, X. Cao, J. Zhang, and D. Tao. Model merging in llms, mllms, and beyond: Methods, theories, applications, and opportunities. ACM Computing Surveys, 58(8):1–41, 2026.

F. Yao, L. Liu, D. Zhang, C. Dong, J. Shang, and J. Gao. Your efficient rl framework secretly brings you off-policy rl training, Aug. 2025. URL https://fengyao.notion.s ite/off-policy-rl.

A. Zeng, X. Lv, Z. Hou, Z. Du, Q. Zheng, B. Chen, D. Yin, C. Ge, C. Xie, C. Wang, et al. Glm-5: from vibe coding to agentic engineering. arXiv preprint arXiv:2602.15763, 2026.

C. Zheng, K. Dang, B. Yu, M. Li, H. Jiang, J. Lin, Y. Liu, H. Lin, C. Wu, F. Hu, et al. Stabilizing reinforcement learning with llms: Formulation and practices. arXiv preprint arXiv:2512.01374, 2025a.

C. Zheng, S. Liu, M. Li, X.-H. Chen, B. Yu, C. Gao, K. Dang, Y. Liu, R. Men, A. Yang, et al. Group sequence policy optimization. arXiv preprint arXiv:2507.18071, 2025b.

Citation

@online{perplexity2026AdvancingSearchAugmentedLanguageModels,
  author = {{Perplexity} and Denis Yarats and Dongqi Wu and Hang Wu and Randy Ardywibowo and Senzeyu Zhang and Yunfan Zhong and Ziqing Hu and Clare Southern and Riley Carlson and Yi He and Erin McKnight and Mara Sohn and Phi Hoang},
  title = {{Advancing search-augmented language models}},
  date = {2026-04-22},
  url = {https://perplexity.coolkeypoint.com/hub/blog/advancing-search-augmented-language-models}
}