Faire progresser les modèles de langage augmentés par la recherche

Introduction

L'entraînement d'agents de recherche web de pointe exige l'optimisation conjointe de multiples objectifs : précision factuelle, efficacité de la trajectoire et alignement sur les préférences des utilisateurs. Pourtant, l'amélioration d'une dimension isolée dégrade souvent les autres : les modèles entraînés uniquement pour la précision ont tendance à abuser des outils, tandis que ceux optimisés pour la brièveté peuvent sacrifier la fiabilité ou l'exhaustivité. Chez Perplexity, aucun de ces résultats n'est acceptable.

Cet article décrit le pipeline de post-entraînement de Perplexity pour développer des agents de recherche web de pointe basés sur des modèles open source. Une idée clé est que, dans l'entraînement des agents de recherche, la curation des données et la conception des récompenses doivent être co-conçues : les données déterminent quels comportements sont observables et vérifiables, et la récompense détermine comment ces signaux sont traduits en signaux d'optimisation. Ce principe motive notre pipeline en deux étapes : nous effectuons d'abord un préchauffage d'ajustement supervisé (SFT) pour initialiser le modèle de politique, puis nous affinons ce modèle à l'aide de l'apprentissage par renforcement (RL) sur un jeu de données curaté et des récompenses soigneusement conçues. Cette approche en deux étapes permet des gains fiables en précision, en efficacité et en qualité de réponse sous contraintes de production.

Nous décrivons d'abord notre pipeline d'entraînement en deux étapes (SFT → RL on-policy), suivi de la construction de nos données d'entraînement RL, couvrant à la fois le QA d'agent de recherche vérifiable et le Chat général basé sur des rubriques. Nous présentons ensuite une conception de récompense composite dérivée de ce cadre de données hétérogènes, équilibrant qualité et efficacité tout en atténuant le piratage des récompenses. Enfin, nous analysons la dynamique d'entraînement et les résultats des benchmarks.

Pipeline d'entraînement en deux étapes

Nous adoptons une recette de post-entraînement en deux étapes : (i) SFT pour établir des comportements critiques pour le déploiement tels que les garde-fous (par exemple, l'abstention), le respect des instructions et la cohérence linguistique, et (ii) RL on-policy pour améliorer la capacité de recherche, incluant la précision des réponses et l'efficacité de l'utilisation des outils, tout en préservant les comportements de la première étape.

Pourquoi deux étapes ? Optimiser conjointement la qualité de la recherche et les contraintes de déploiement au sein d'une seule étape de RL est difficile sans compromettre au moins un objectif. Empiriquement, l'entraînement RL uniquement améliore les performances de recherche mais a tendance à être moins performant sur les garde-fous de déploiement, tandis que le SFT améliore la conformité au prix des performances de recherche. Dissocier les objectifs permet à l'étape SFT de répondre d'abord aux exigences non négociables, après quoi le RL peut se concentrer principalement sur l'amélioration de la capacité de recherche.

Étape SFT

Nous initialisons à partir de la famille de modèles Qwen3 (Qwen3.5-122B-A10B et Qwen3.5-397B-A17B) (Yang et al., 2025, article de blog Qwen3.5) et construisons un jeu de données mixte SFT à deux composants ciblant les comportements critiques de déploiement décrits ci-dessus, tout en préservant la capacité de recherche générale du modèle de base.

Exemples axés sur les préférences. Nous curatons des exemples axés sur le respect des instructions et le style, ciblant le ton, la cohérence linguistique, la clarté et la mise en forme. Ces exemples n'ont pas besoin d'admettre une vérité fondamentale unique ; ils sont plutôt sélectionnés pour refléter les exigences de rédaction du produit et assurer une cohérence stylistique à travers divers types de requêtes.

Trajectoires d'utilisation d'outils au format production. Empiriquement, nous constatons que le SFT sans une curation minutieuse des données peut dégrader considérablement la capacité de recherche du modèle de base. Pour atténuer cela, nous échantillonnons des requêtes et des tâches internes à travers divers modèles d'interaction (tour unique, double et multiple) et les annotons avec notre harnais d'appel d'outils.

Étape RL

En partant du point de contrôle SFT, nous appliquons le RL on-policy pour améliorer la précision et l'efficacité de la recherche. Nous optimisons le modèle de politique à l'aide de l'optimisation de politique relative de groupe (GRPO) (Shao et al., 2024).

où $G$ est la taille du groupe, $o_{i}$ désigne la $i$-ème sortie échantillonnée, et $\hat{A}_{i, t} = \hat{A}_{i}$ est l’avantage. La conception de la récompense est détaillée dans la section sur la conception de la récompense ; en bref, nous combinons la correction de base avec un façonnage basé sur les préférences et un façonnage de l’efficacité ancré. Conformément aux travaux antérieurs (Liu et al., 2025a ; Yao et al., 2025 ; Zheng et al., 2025a), nous appliquons l’échantillonnage d’importance (IS) au niveau du jeton pour corriger l’écart entre l’entraînement et l’inférence :

Nous évaluons plusieurs approches pour atténuer l'inadéquation entraînement-inférence, y compris l'IS au niveau de la séquence (Zheng et al., 2025b), la relecture de routage (Ma et al., 2025 ; Zheng et al., 2025b), et l'entraînement cohérent au niveau binaire qui intègre le noyau du moteur d'inférence pendant l'entraînement (Équipes vLLM et TorchTitan, 2025). Empiriquement, dans notre cadre on-policy, nous constatons que l'IS au niveau du jeton est suffisant pour empêcher l'effondrement de l'entraînement tout en restant simple à mettre en œuvre ; cela est cohérent avec les conclusions de Zheng et al (2025a).

Données d'entraînement RL

Nos données d'entraînement RL se composent de deux éléments complémentaires : le QA d'agent de recherche vérifiable ciblant la capacité de recherche générale, et le Chat général basé sur des rubriques renforçant explicitement les garde-fous de déploiement pour éviter la régression pendant l'étape d'entraînement RL.

Données d'agent de recherche vérifiables

Construction du jeu de données. Suite à la méthode d'expansion séquentielle (Tao et al., 2025), nous construisons un jeu de données QA synthétique en interne à partir de requêtes sources sans dépendre d'un graphe de connaissances curaté, gardant le pipeline léger et facile à rafraîchir. Chaque exemple synthétique est généré via les étapes suivantes :

1. Sélection des sources. Nous récupérons des documents pour les requêtes sources et sélectionnons des entités avec une confirmation de fait multi-sources comme points de départ, extrayant des déclarations atomiques à leur sujet.
2. Construction de chaîne multi-sauts. À partir des déclarations de l'entité source, nous en sélectionnons une qui introduit une seconde entité (par exemple, pour la source “The Mom Test”, la déclaration “écrit par Rob Fitzpatrick” introduit l'auteur comme l'entité suivante). Nous répétons ce processus de liaison 2 à 4 fois, en nous assurant que chaque entité est distincte et qu'aucune déclaration unique ne révèle trivialement la réponse finale.
3. Synthèse de questions sans nom. Nous convertissons la chaîne d'entités en une question en remplaçant récursivement les noms d'entités par leurs déclarations de connexion, produisant une question imbriquée qui nécessite un raisonnement multi-sauts.
4. Vérification. Nous conservons uniquement les questions avec des réponses uniques vérifiées par plusieurs solveurs indépendants activés pour le web.

Exemple (3-sauts)

Considérez la requête source “The Mom Test”. Nous récupérons des documents et identifions ce livre comme l'entité source, puis extrayons des déclarations factuelles atomiques et construisons de manière itérative une chaîne d'entités : (i) The Mom Test a été écrit par Rob Fitzpatrick, introduisant Rob Fitzpatrick ; (ii) La première startup de Rob Fitzpatrick est passée par Y Combinator (été 2007), introduisant Y Combinator ; (iii) Y Combinator a été lancé en mars 2005. Le remplacement récursif de chaque nom d'entité par son descripteur donne la question sans nom : “Quel livre a été écrit par la personne dont la première startup est passée par l'accélérateur lancé en mars 2005, dans sa cohorte de l'été 2007 ?” avec la réponse “The Mom Test”.

Augmentation de la diversité des formats. Les modèles entraînés uniquement sur du QA synthétique brut ont tendance à ignorer les préférences de formatage et à adopter par défaut une structure de réponse fixe, quelle que soit la formulation de la requête. Pour améliorer la diversité des formats, nous augmentons le jeu de données avec des requêtes qui incluent des instructions de formatage explicites (par exemple, « Affichez une liste de... » ou « Résumez... dans un tableau »), tout en gardant la réponse sous-jacente inchangée.

QA vérifiable public (référence). Nous construisons un jeu de données QA vérifiable de référence à partir de cinq jeux de données open source (Lu et al., 2025 ; Pham et al., 2025 ; Press et al., 2023 ; Tao et al., 2025 ; Wu et al., 2025), unifiés sous notre format d'invite augmenté avec filtrage de qualité. Ce mélange sert de référence principale dans nos expériences de validation. Pour des comparaisons contrôlées, nous faisons correspondre l'échelle de notre jeu de données QA synthétique interne à ce mélange open source.

Validation rapide. Nous validons l'efficacité de ce pipeline en utilisant Qwen3-30B-A3B-Instruct-2507 pour permettre une itération rapide ; les résultats sont résumés dans le Tableau 1.

Agrandir

Données de Chat général basé sur des rubriques

Alors que le QA vérifiable fournit un signal d'entraînement propre pour les requêtes centrées sur la recherche, une fraction substantielle du trafic de production n'est pas vérifiable de manière unique (par exemple, réécriture, planification et assistance ouverte). Exclure de telles requêtes du RL laisserait la politique sous-optimisée pour les interactions réelles des utilisateurs. De plus, bien que l'étape SFT établisse des garde-fous critiques pour le déploiement, le RL peut régresser sur ceux-ci s'ils ne sont pas explicitement renforcés par les données.

Nous incorporons des requêtes non vérifiables dans l'entraînement RL en convertissant les exigences critiques de déploiement — respect des instructions, contraintes de formatage et conventions de sécurité — en rubriques : des critères atomiques, vérifiables objectivement, qu'une réponse doit satisfaire. Nous adoptons la construction de données basée sur les rubriques (Gunjal et al., 2025 ; Liu et al., 2025b), générant des ensembles de rubriques par requête.

Génération de rubriques. Étant donné l'historique complet de la conversation, nous demandons à un LLM de produire une réponse de référence et un ensemble de rubriques correspondant. Les rubriques sont dérivées selon un ordre de priorité fixe : les exigences explicitement énoncées par l'utilisateur sont prioritaires, suivies des contraintes internes, et enfin des exigences de contenu nécessaires déduites de la réponse de référence. Chaque rubrique doit être :

• Atomique : une vérification unique et bien définie ;
• Objective : vérifiable sans jugement subjectif ;
• Nécessaire : requise pour répondre à la requête, pas simplement une préférence stylistique.

Exemple

Requête.

She will share u man power planning. We have to arrange lodging & boarding. Plz correct swntence.

Rubriques.

• La réponse est rédigée en anglais.
• La formulation corrigée contient les mots "lodging" et "boarding".
• La formulation corrigée utilise "manpower" comme un mot unique (par exemple, "manpower plan" ou "manpower planning") plutôt que "man power".
• La formulation corrigée ne contient pas les jetons d'abréviation informels "u" ou "Plz", et ne contient pas le caractère esperluette "&".
• La réponse ne contient pas de marqueurs de citation sous la forme \\[type:idx\\], où type désigne une source de données (par exemple, web, chart, memory, attached_file).

Calibration des rubriques. Pour éviter des ensembles de rubriques trop stricts ou trop permissifs, nous appliquons un filtre pass@4. Pour chaque requête, nous échantillonnons quatre réponses indépendantes et les évaluons par rapport à l'ensemble complet des rubriques avec un juge de suivi d'instructions. Nous écartons les requêtes pour lesquelles aucune réponse ne satisfait l'ensemble de rubriques ou toutes le font, ne conservant que celles qui produisent un signal d'entraînement informatif.

Mélange d'invites et équilibrage de la variance

Un défi pratique dans le RL multi-objectifs est le déséquilibre de variance entre les composants de données (Duchi et Namkoong, 2016 ; Liu et al., 2026 ; Qi et al., 2026). Bien que les données QA vérifiables et les données basées sur des rubriques produisent toutes deux des récompenses binaires, elles diffèrent considérablement en difficulté de tâche : la satisfaction des rubriques est généralement plus facile à atteindre tôt dans l'entraînement, produisant des mises à jour de gradient plus importantes et plus fréquentes qui peuvent dominer de manière disproportionnée l'optimisation de la politique par rapport au signal QA vérifiable plus difficile. Pour remédier à cela, nous repondérons le mélange d'invites au niveau du jeu de données, en échantillonnant 90 % à partir du QA vérifiable et 10 % à partir des données basées sur les rubriques pour équilibrer le signal d'optimisation entre les composants.

Conception de la récompense

Notre conception de la récompense découle directement de la construction des données décrite ci-dessus. Malgré le fait qu'elles couvrent à la fois le QA vérifiable et les tâches de rubriques, toutes les données d'entraînement partagent une structure de récompense de base commune : un déploiement reçoit des crédits s'il produit une réponse correcte pour les tâches QA, ou s'il satisfait toutes les rubriques spécifiées pour le Chat général. En nous appuyant sur cette base commune, nous construisons une récompense composite pour intégrer le scoring basé sur les préférences et le façonnage de l'efficacité.

Un défi clé observé lors des premières expériences était le reward hacking : une simple combinaison linéaire des récompenses permettait à de forts signaux de préférence de compenser des échecs factuels ou de suivi d’instructions. Nous adoptons donc l’agrégation avec garde comme principe de conception central, défini formellement comme suit :

où $r_{\mathrm{base}}(\tau_i) \in \{0, 1\}$ désigne la justesse en QA ou la satisfaction du barème, $s(\tau_i)\in[0,1]$ est le score de préférence, et $\operatorname{pen}_{\mathrm{eff}}(\tau_i)$ est une pénalité d’efficacité ancrée. Cela fait de la justesse une condition nécessaire pour obtenir un crédit de préférence, tout en décourageant l’usage inutile d’outils et la verbosité. La figure 1 illustre l’ensemble du pipeline de récompense, dont nous décrivons ci-dessous les composants :

Agrandir

Récompense de base

Nous définissons un signal binaire de base $r_{\mathrm{base}}(\tau_i) \in \{0,1\}$ qui capture la justesse de la tâche ou le respect des instructions. Pour les données vérifiables d’agent de recherche, $r_{\mathrm{base}}(\tau_i)=1$ si la réponse finale correspond à la vérité terrain, et $0$ sinon. Pour les données de chat général basées sur un barème, $r_{\mathrm{base}}(\tau_i)=1$ si tous les barèmes sont satisfaits, et $0$ sinon. Cette base sert de garde-fou dur dans la règle d’agrégation conditionnelle de l’équation 2.

Modélisation des préférences

Nous visons à aligner le modèle de politique sur les préférences latentes des utilisateurs concernant la qualité des réponses — informativité, clarté et ton professionnel — qui sont difficiles à capturer via des invites de juge LLM. Nous entraînons donc un modèle de récompense de préférence appris pour noter directement ces attributs.

Nous formulons l’apprentissage des préférences dans le cadre Bradley–Terry. Étant donné un contexte $x$ et deux réponses candidates $y_a, y_b$, le modèle produit des scores scalaires $s_{\theta}(x, y) \in \mathbb{R}$ et minimise,

où $r \in \{0, 1\}$ indique si $y_a$ est préféré. Pour éliminer le biais positionnel, chaque paire d’entraînement est augmentée avec les deux ordres et optimisée de manière symétrique,

Au moment de l'inférence, nous obtenons un score de préférence agnostique à la position en faisant la moyenne des deux permutations :

Le score de préférence du rollout est alors défini comme $s(\tau_i) \triangleq \bar{P}_{\theta}(x, y_a, y_b) \in [0,1]$, c’est-à-dire la probabilité que le rollout de la politique $y_i$ soit préféré au rollout du modèle de référence pour le même prompt.

Les données d'entraînement pour la modélisation des préférences sont tirées de jeux de données open source curatés, des retours d'utilisateurs côte à côte et des annotations internes. Pour traiter le bruit des étiquettes, nous appliquons un pipeline de filtrage et de calibration léger inspiré de Datbench (DatologyAI, 2026), ne conservant que les exemples avec un accord inter-modèles cohérent. Le modèle de récompense partage la même colonne vertébrale que le modèle de politique, la tête de modélisation linguistique étant remplacée par une tête de valeur. Bien que les modèles de récompense plus petits atteignent une précision sur données retenues comparable, nous constatons empiriquement qu'ils ne parviennent pas à capturer les préférences fines et peuvent renforcer des comportements politiques indésirables.

Pénalité d'efficacité

En l'absence de façonnage explicite de l'efficacité, la politique a tendance à abuser des outils même sur des invites simples. Les pénalités inconditionnelles (par exemple, celles qui s'échelonnent linéairement avec le nombre d'appels d'outils ou la longueur de sortie) sont une référence naturelle, mais nous constatons qu'elles suppriment l'exploration nécessaire et dégradent l'apprentissage. Nous adoptons donc des pénalités ancrées et relatives au groupe qui régularisent l'utilisation des outils et la longueur de la réponse par rapport aux solutions efficaces au sein de chaque groupe GRPO. Pour un groupe 𝑔, nous définissons l'ensemble gagnant comme :

Pénalité ancrée pour les appels d’outils. Pour chaque rollout $\tau_i$, soit $c_i$ le nombre d’appels d’outils et $e_i$ le nombre d’échecs d’exécution d’outils. Nous définissons le nombre effectif d’appels d’outils $\tilde{c}_i = c_i - e_i$ et échantillonnons uniformément une référence de groupe :

Nous calculons l’excédent $\Delta_i = \max\!\left(0,\; \tilde{c}_i - b_g\right)$, et définissons un scalaire de pénalité lisse $p_i = 1 - \exp\!\left(-\Delta_i\right)$. La pénalité d’outil est alors :

Pénalité ancrée de longueur. Soient $L_i$ et $L_i^{\mathrm{ref}}$ les longueurs en jetons des générations du candidat et du modèle de référence, respectivement. Nous définissons l’ensemble de façonnage $\widehat{W}_g$ comme les rollouts à la fois corrects et préférés :

Nous calculons ensuite les bases de longueur spécifiques au groupe :

La pénalité de longueur est définie comme :

où la première ligne est un plafond strict ; la deuxième pénalise les gagnants verbeux ; et la troisième pénalise les perdants concis.

Pénalité d'efficacité combinée. La pénalité d'efficacité combinée est une somme pondérée des deux composants :

Principaux résultats

Nous évaluons notre pipeline de post-entraînement selon deux axes : (i) dynamique d'entraînement, pour évaluer la stabilité de l'optimisation et si les signaux de récompense se comportent comme prévu, et (ii) benchmarks hors ligne, pour mesurer la qualité en aval, la sécurité et l'efficacité dans des paramètres d'évaluation contrôlés.

Paramètres d'entraînement par défaut. Le modèle de politique interagit avec un outil de recherche web (search_web) ; chaque appel d'outil récupère jusqu'à 10 résultats, avec des requêtes plafonnées à 250 caractères et jusqu'à 5 requêtes par déploiement.

Dynamique d'entraînement

Nous examinons la dynamique d'optimisation, en nous concentrant sur la progression des récompenses et le comportement d'efficacité. Nous utilisons Qwen3.5-397B-A11B pour la simplicité de l'illustration.

Agrandir

La Figure 2 montre une amélioration constante de la récompense de base (QA vérifiable et satisfaction des rubriques) parallèlement à des scores de préférence croissants, indiquant des gains constants en correction, conformité et qualité des réponses.

Agrandir

La Figure 3 démontre que la fréquence des appels d'outils et la longueur de génération restent bien contrôlées tout au long de l'entraînement. Notamment, les pénalités d'appel d'outil et de longueur diminuent de manière monotone au cours de l'entraînement, reflétant l'adaptation progressive du modèle vers une génération plus concise et une invocation d'outils plus sélective.

Agrandir

La Figure 4 montre que les normes de gradient restent stables en dehors des pics transitoires, tandis que la divergence KL entraînement-inférence présente une légère tendance à la hausse, restant dans l'échelle 1e-3. Ce schéma de dérive est cohérent avec les observations dans d'autres cadres d'entraînement RL ; comme l'entraînement reste stable tout au long, nous conservons une régularisation IS simple dans l'Éq. 1 sans intervention supplémentaire.

Évaluations hors ligne

Nous rapportons les résultats sur une suite de benchmarks couvrant la précision de la recherche, la fiabilité factuelle, le respect des instructions et la sécurité, comprenant à la fois des benchmarks publics et des métriques internes Perplexity (PPLX). Les benchmarks publics incluent SimpleQA, FRAMES et Facts Open.

• pplx-sbs-search : Évaluation des préférences côte à côte utilisant un modèle de récompense interne. Les candidats sont comparés à une base de référence solide.
• pplx-abstention : Capacité à refuser de manière appropriée lorsqu'aucune preuve fiable n'est disponible.
• pplx-language-mismatch : Cohérence linguistique dans des paramètres de longue traîne et multi-tours.
• pplx-broken-tool-calls (↓) : Conformité au schéma d'appel d'outil et respect des contraintes, par exemple, tool_choice=none.

Paramètres d'évaluation par défaut. Pour les benchmarks publics, nous autorisons uniquement l'outil de recherche web, avec un budget allant jusqu'à 5 appels d'outils par exemple et jusqu'à 10 résultats par appel, générant jusqu'à 8192 jetons de sortie à une température de 0,6.

Agrandir

Le Tableau 2 montre que Qwen3.5-Large-SFT-RL atteint une forte précision de recherche sur les benchmarks publics, égalant ou dépassant gpt-5.4 sur FRAMES et Facts Open tout en utilisant des budgets d'outils comparables. Par rapport au modèle de base, notre approche génère des gains substantiels sur les métriques internes, en particulier sur la préférence (pplx-sbs-search : 0,602 → 0,742), la cohérence linguistique et l'abstention, démontrant que le pipeline en deux étapes améliore efficacement les comportements critiques pour le déploiement sans compromettre la capacité de recherche.

Évaluations de l'efficacité de l'utilisation des outils

Pour mesurer cela, nous concevons un protocole d'évaluation à budget forcé. Chaque modèle a accès à un outil de recherche web (search_web) et à une invite système qui spécifie un plafond strict sur le nombre d'appels d'outils autorisés (le "budget"). Nous balayons ce budget de 0 (aucune utilisation d'outil, connaissance purement paramétrique) à 10 (récupération multi-étapes généreuse), enregistrant la précision à chaque niveau. Cela produit une courbe d'efficacité de l'outil : le score du modèle en fonction du budget de récupération autorisé. Nous évaluons sur deux benchmarks QA factuels, FRAMES et Facts Open.

Agrandir

Plusieurs modèles se distinguent de ces deux benchmarks :

• Notre Qwen3.5-397B-SFT-RL post-entraîné atteint la meilleure précision de recherche sur les deux benchmarks. Même avec un seul appel d'outil, il marque 57,3 % sur FRAMES, 5,7 points au-dessus de GPT-5.4 et 4,7 points au-dessus de Sonnet 4.6.
  • L'avantage est le plus prononcé aux budgets modérés (b=2-7), qui est la plage de fonctionnement pratique pour les déploiements en production.
• Notre recette de post-entraînement (SFT + RL) améliore considérablement l'efficacité de l'utilisation des outils par rapport au point de contrôle de base ; voir les lignes pleines (post-entraîné) vs les lignes en pointillés (point de contrôle initial) dans la Figure 5.
• Pour tous les modèles, nous observons des rendements décroissants autour de budget=7, cohérents sur deux benchmarks et tous les modèles, suggérant qu'il s'agit d'une propriété des tâches de recherche de vérité plutôt que des modèles.

Les résultats ci-dessus montrent que Qwen3.5-397B-SFT-RL atteint une précision plus élevée avec moins d'appels d'outils. Mais comment cela se traduit-il en coût réel ? Nous convertissons les mesures au niveau du jeton en coûts en dollars en utilisant les prix API publiés (Alibaba DashScope, OpenAI, Anthropic) pour rendre la comparaison concrète.

Agrandir

Au profil moyen (b=4), Qwen3.5-397B-SFT-RL marque 73,9 % sur FRAMES à 2,0 cents par requête, tandis que GPT-5.4 marque 67,8 % à 8,5 cents et Sonnet 4.6 marque 62,4 % à 15,3 cents. C'est +6 points de précision à un coût 4x inférieur par rapport à GPT-5.4, et +11,5 points à un coût 7,5x inférieur par rapport à Sonnet 4.6.

Ces estimations utilisent les prix API publics sans mise en cache. Avec des optimisations d'inférence en interne telles que la réutilisation du cache KV, la mise en cache de préfixe et le service MoE quantifié (397B utilise seulement 17B paramètres actifs), le coût effectif peut être réduit bien en dessous du prix API public.

Conclusion

Dissocier la conformité de déploiement de l'optimisation de la recherche via un pipeline SFT et RL en deux étapes produit un modèle qui est à la fois capable et fiable sous contraintes de production. La combinaison de données d'entraînement de QA vérifiable et basées sur des rubriques, ainsi que l'agrégation de récompense par porte et le façonnage de l'efficacité ancré, permet une optimisation multi-objectifs stable sans sacrifier la précision de la recherche ou la conformité aux garde-fous.

Plusieurs orientations méritent une enquête plus approfondie. Comme observé dans la Figure 4, la divergence KL entraînement-inférence présente une dérive à la hausse persistante aux étapes d'entraînement étendues. Bien que la correction IS au niveau du jeton s'avère suffisante dans notre cadre actuel, il n'est pas clair si cela reste vrai à plus grande échelle ; un traitement théorique plus rigoureux de cette inadéquation — englobant les divergences au niveau de l'infrastructure et les facteurs spécifiques à l'architecture tels que le routage MoE — ainsi que des comparaisons empiriques quantitatives des stratégies d'atténuation, demeure une question ouverte importante. Pour le RL multi-objectifs spécifiquement, des voies prometteuses incluent l'entraînement séquentiel (Zeng et al., 2026) avec distillation on-policy pour optimiser les objectifs par étapes tout en atténuant l'oubli catastrophique ; et la fusion de modèles (Fu et al., 2025 ; Yang et al., 2026) pour découpler l'optimisation spécifique à la tâche de l'agrégation de capacités. Enfin, le passage à des flux de travail multi-outils réalistes avec des trajectoires à long horizon demeure un défi important, nécessitant probablement une meilleure attribution de crédits, un support pour les déploiements partiels et des évaluations.

Références

DatologyAI. Datbench: Évaluations discriminatives, fidèles et efficaces des modèles vision-langage. https://www.datologyai.com/blog/datbench-discriminative-faithful-and-efficient-vision-language-model-evaluations, janv. 2026. Publié le 6 janv. 2026. Consulté le : 04/03/2026.

J. Duchi et H. Namkoong. Régularisation basée sur la variance avec des objectifs convexes. arXiv preprint arXiv:1610.02581, 2016.

Z. Fu, X. Wu, Y. Wang, W. Wang, S. Ye, H. Yin, Y. Chang, Y. Zheng, et X. Zhao. Fusion LLM sans entraînement pour l'apprentissage multitâche. In Proceedings of the 63rd Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pages 33111–33124, 2025.

A. Gunjal, A. Wang, E. Lau, V. Nath, Y. He, B. Liu, et S. Hendryx. Les rubriques comme récompenses : Apprentissage par renforcement au-delà des domaines vérifiables. arXiv preprint arXiv:2507.17746, 2025.

J. Liu, Y. Li, Y. Fu, J. Wang, Q. Liu, et Y. Shen. Quand la vitesse tue la stabilité : Démystifier l'effondrement du RL à partir de l'inadéquation entraînement-inférence. Notion Blog, 2025a.

S.-Y. Liu, X. Dong, X. Lu, S. Diao, P. Belcak, M. Liu, M.-H. Chen, H. Yin, Y.-C. F. Wang, K.-T. Cheng, et al. Gdpo : Politique d'optimisation de normalisation découplée par récompense de groupe pour l'optimisation RL multi-récompense. arXiv preprint arXiv:2601.05242, 2026.

T. Liu, R. Xu, T. Yu, I. Hong, C. Yang, T. Zhao, et H. Wang. Openrubrics : Vers une génération de rubriques synthétiques évolutives pour la modélisation des récompenses et l'alignement LLM. arXiv preprint arXiv:2510.07743, 2025b.

R. Lu, Z. Hou, Z. Wang, H. Zhang, X. Liu, Y. Li, S. Feng, J. Tang, et Y. Dong. Deepdive : Faire progresser les agents de recherche profonde avec des graphes de connaissances et du RL multi-tours. arXiv preprint arXiv:2509.10446, 2025.

W. Ma, H. Zhang, L. Zhao, Y. Song, Y. Wang, Z. Sui, et F. Luo. Stabilisation de l'apprentissage par renforcement MoE en alignant les routeurs d'entraînement et d'inférence. arXiv preprint arXiv:2510.11370, 2025.

T. Pham, N. Nguyen, P. Zunjare, W. Chen, Y.-M. Tseng, et T. Vu. Sealqa : Élever la barre du raisonnement dans les modèles de langage augmentés par la recherche. arXiv preprint arXiv:2506.01062, 2025.

O. Press, M. Zhang, S. Min, L. Schmidt, N. A. Smith, et M. Lewis. Mesurer et réduire l'écart de compositionnalité dans les modèles de langage. In Findings of the Association for Computational Linguistics: EMNLP 2023, pages 5687–5711, 2023.

P. Qi, X. Zhou, Z. Liu, T. Pang, C. Du, M. Lin, et W. S. Lee. Repenser la région de confiance dans l'apprentissage par renforcement LLM. arXiv preprint arXiv:2602.04879, 2026.

Z. Shao, P. Wang, Q. Zhu, R. Xu, J. Song, X. Bi, H. Zhang, M. Zhang, Y. Li, Y. Wu, et al. Deepseekmath: Pousser les limites du raisonnement mathématique dans les modèles de langage ouverts. arXiv preprint arXiv:2402.03300, 2024.

Z. Tao, J. Wu, W. Yin, J. Zhang, B. Li, H. Shen, K. Li, L. Zhang, X. Wang, Y. Jiang, et al. Webshaper : Synthèse de données par agent via la formalisation de la recherche d'information. arXiv preprint arXiv:2507.15061, 2025.

vLLM et TorchTitan Teams. Plus d'inadéquation entraînement-inférence : Apprentissage par renforcement on-policy cohérent au niveau binaire avec vLLM et TorchTitan. https://blog.vllm.ai /2025/11/10/bitwise-consistent-train-inference.html, nov 2025. vLLM Blog.

J. Wu, W. Yin, Y. Jiang, Z. Wang, Z. Xi, R. Fang, D. Zhou, P. Xie, et F. Huang. Webwalker : Benchmarking des LLM dans la traversée web, 2025. URL https://arxiv.org/abs/ 2501.07572.

A. Yang, A. Li, B. Yang, B. Zhang, B. Hui, B. Zheng, B. Yu, C. Gao, C. Huang, C. Lv, et al. Rapport technique Qwen3. arXiv preprint arXiv:2505.09388, 2025.

E. Yang, L. Shen, G. Guo, X. Wang, X. Cao, J. Zhang, et D. Tao. Fusion de modèles dans les LLM, MLLM et au-delà : Méthodes, théories, applications et opportunités. ACM Computing Surveys, 58(8):1–41, 2026.

F. Yao, L. Liu, D. Zhang, C. Dong, J. Shang, et J. Gao. Votre cadre RL efficace vous apporte secrètement un entraînement RL off-policy, août 2025. URL https://fengyao.notion.s ite/off-policy-rl.

A. Zeng, X. Lv, Z. Hou, Z. Du, Q. Zheng, B. Chen, D. Yin, C. Ge, C. Xie, C. Wang, et al. Glm-5 : du codage d'ambiance à l'ingénierie agentique. arXiv preprint arXiv:2602.15763, 2026.

C. Zheng, K. Dang, B. Yu, M. Li, H. Jiang, J. Lin, Y. Liu, H. Lin, C. Wu, F. Hu, et al. Stabilisation de l'apprentissage par renforcement avec des LLM : Formulation et pratiques. arXiv preprint arXiv:2512.01374, 2025a.

C. Zheng, S. Liu, M. Li, X.-H. Chen, B. Yu, C. Gao, K. Dang, Y. Liu, R. Men, A. Yang, et al. Optimisation de politique de séquence de groupe. arXiv preprint arXiv:2507.18071, 2025b.

Citation

@online{perplexity2026AdvancingSearchAugmentedLanguageModels,
  author = {{Perplexity} and Denis Yarats and Dongqi Wu and Hang Wu and Randy Ardywibowo and Senzeyu Zhang and Yunfan Zhong and Ziqing Hu and Clare Southern and Riley Carlson and Yi He and Erin McKnight and Mara Sohn and Phi Hoang},
  title = {{Advancing search-augmented language models}},
  date = {2026-04-22},
  url = {https://perplexity.coolkeypoint.com/hub/blog/advancing-search-augmented-language-models}
}