Geavanceerde zoek-verrijkte taalmodellen

Het trainen van frontier-webzoekagenten vereist het gelijktijdig optimaliseren van meerdere doelstellingen: feitelijke nauwkeurigheid, efficiëntie van trajecten en afstemming op gebruikersvoorkeuren. Het verbeteren van een enkele dimensie afzonderlijk leidt echter vaak tot een verslechtering van andere: modellen die uitsluitend op nauwkeurigheid zijn getraind, neigen ernaar hulpmiddelen te overgebruiken, terwijl modellen die op beknoptheid zijn geoptimaliseerd, mogelijk de betrouwbaarheid of volledigheid opofferen. Bij Perplexity is geen van beide uitkomsten acceptabel.

Dit artikel beschrijft de post-training-pijplijn van Perplexity voor het ontwikkelen van geavanceerde webzoekagenten op basis van open-source-modellen. Een kernidee is dat bij het trainen van zoekagenten datacuratie en beloningsontwerp gezamenlijk moeten worden vormgegeven: de data bepaalt welke gedragingen waarneembaar en verifieerbaar zijn, en de beloning bepaalt hoe die signalen worden vertaald naar optimalisatiesignalen. Dit principe motiveert onze tweetrapspijplijn: we voeren eerst een Supervised Fine-Tuning (SFT)-opwarming uit om het beleidsmodel te initialiseren, en vervolgens verfijnen we het beleidsmodel met behulp van Reinforcement Learning (RL) over een gecureerde dataset en zorgvuldig ontworpen beloningen. Deze tweetrapsaanpak maakt betrouwbare verbeteringen in nauwkeurigheid, efficiëntie en responskwaliteit mogelijk onder productiebeperkingen.

We beschrijven eerst onze tweetraps-trainingspijplijn (SFT → on-policy RL), gevolgd door de constructie van onze RL-trainingsdata, die zowel verifieerbare QA voor zoekagenten als algemene Chat op basis van rubrieken omvat. Daarna presenteren we een samengesteld beloningsontwerp afgeleid van deze heterogene data-omgeving, waarbij kwaliteit en efficiëntie in balans worden gehouden terwijl beloningsmanipulatie wordt beperkt. Tot slot analyseren we trainingsdynamieken en benchmarkresultaten.

We hanteren een post-training-recept in twee fasen: (i) SFT om voor de inzet kritieke gedragingen vast te stellen, zoals guardrails (bijv. onthouding), het volgen van instructies en taalconsistentie, en (ii) on-policy RL om de zoekcapaciteit te verbeteren, inclusief antwoordnauwkeurigheid en efficiëntie bij het gebruik van hulpmiddelen, terwijl de gedragingen uit de eerste fase behouden blijven.

Waarom twee fasen? Het gezamenlijk optimaliseren van zoekkwaliteit en inzetbeperkingen binnen één RL-fase is lastig zonder ten minste één doelstelling in gevaar te brengen. Empirisch gezien verbetert RL-training alleen de zoekprestaties, maar presteert het ondermaats op inzet-guardrails, terwijl SFT de naleving verbetert ten koste van zoekprestaties. Door de doelstellingen te scheiden, kan de SFT-fase eerst niet-onderhandelbare vereisten aanpakken, waarna RL zich grotendeels kan concentreren op het verbeteren van de zoekcapaciteit.

We initialiseren vanuit de Qwen3-modelfamilie (Qwen3.5-122B-A10B en Qwen3.5-397B-A17B) (Yang et al., 2025, Qwen3.5 blogpost) en construeren een SFT-mengdataset met twee componenten die zich richt op de hierboven beschreven kritieke inzetgedragingen, terwijl de algemene zoekcapaciteit van het basismodel behouden blijft.

Voorkeursgerichte voorbeelden. We cureren voorbeelden die gericht zijn op het volgen van instructies en de stijl, met als doel toon, taalconsistentie, helderheid en formattering. Deze voorbeelden hoeven niet één unieke waarheid toe te laten; ze zijn gekozen om de schrijfvereisten van het product te weerspiegelen en om stilistische consistentie over diverse querytypes heen te waarborgen.

Productie-format trajecten voor toolgebruik. Empirisch gezien stellen we vast dat SFT zonder zorgvuldige datasetcuratie de zoekcapaciteit van het basismodel aanzienlijk kan verslechteren. Om dit te beperken, steekproeven we queries en interne taken over diverse interactiepatronen (enkel-, twee- en meerfasig) en annoteren we deze met ons harnas voor tool-aanroepen.

Startend vanuit het SFT-checkpoint, passen we on-policy RL toe om zoeknauwkeurigheid en efficiëntie te verbeteren. We optimaliseren het beleidsmodel met behulp van Group Relative Policy Optimization (GRPO) (Shao et al., 2024).

\mathcal{J}_{\text{GRPO}}(\theta) = \frac{1}{G}\sum_{i=1}^{G} \frac{1}{|o_i|}\sum_{t=1}^{|o_i|} r_{i,t}(\theta)\hat{A}_{i,t},

waarbij $G$ de groepsgrootte is, $o_{i}$ de $i$ -de gesamplede output aanduidt en $\hat{A}_{i, t} = \hat{A}_{i}$ het voordeel is. De beloningsontwerp wordt in detail besproken in de sectie beloningsontwerp; kort gezegd combineren we baselinecorrectheid met voorkeurgebaseerde en verankerde efficiëntievormgeving. In navolging van eerder werk (Liu et al., 2025a; Yao et al., 2025; Zheng et al., 2025a) passen we token-niveau Importance Sampling (IS) toe om het mismatch tussen training en inferentie te corrigeren:

r_{i,t}(\theta) = \frac{\pi_{\text{train}}(\theta)}{\mu_{\text{infer}}(\theta)}.

We evalueren verschillende benaderingen voor het beperken van de discrepantie tussen training en inferentie, waaronder IS op sequenceniveau (Zheng et al., 2025b), routing replay (Ma et al., 2025; Zheng et al., 2025b), en bitwise consistente training die de kernel van de inferentie-engine tijdens de training integreert (vLLM and TorchTitan Teams, 2025). Empirisch gezien, onder onze on-policy instelling, vinden we dat IS op tokenniveau voldoende is om trainingsinstabiliteit te voorkomen terwijl het eenvoudig te implementeren blijft; dit is consistent met de bevindingen van Zheng et al (2025a).

Onze RL-trainingsdata bestaat uit twee complementaire componenten: verifieerbare QA voor zoekagenten die gericht is op algemene zoekcapaciteit, en op rubrieken gebaseerde algemene Chat die expliciet inzet-guardrails versterkt om regressie tijdens de RL-trainingsfase te voorkomen.

Datasetconstructie. In navolging van de sequentiële uitbreidingsmethode (Tao et al., 2025), construeren we een interne synthetische QA-dataset op basis van interne seed-queries zonder te vertrouwen op een gecureerde kennisgraaf, waardoor de pijplijn lichtgewicht en eenvoudig te vernieuwen blijft. Elk synthetisch voorbeeld wordt gegenereerd via de volgende stappen:

Seed-selectie. We halen documenten op voor seed-queries en selecteren entiteiten met bevestiging uit meerdere bronnen als startpunten, waarbij we atomische verklaringen over hen extraheren.
Constructie van meerhopige keten. Uit de verklaringen van de seed-entiteit selecteren we er een die een tweede entiteit introduceert (bijv. voor de seed “The Mom Test”, introduceert de verklaring “geschreven door Rob Fitzpatrick” de auteur als de volgende entiteit). We herhalen dit koppelingsproces 2–4 keer, waarbij we ervoor zorgen dat elke entiteit uniek is en dat geen enkele verklaring triviaal het uiteindelijke antwoord onthult.
Naamvrije vraagsynthese. We zetten de entiteitsketen om in een vraag door recursief entiteitsnamen te vervangen door hun verbindende verklaringen, wat een geneste vraag oplevert die meerhopig redeneren vereist.
Verificatie. We behouden alleen vragen met unieke antwoorden die zijn geverifieerd door meerdere onafhankelijke web-enabled solvers.

Beschouw de seed-query “The Mom Test”. We halen documenten op en identificeren dit boek als de seed-entiteit, extraheren vervolgens atomische feitelijke verklaringen en bouwen iteratief een entiteitsketen: (i) The Mom Test werd geschreven door Rob Fitzpatrick, waardoor Rob Fitzpatrick wordt geïntroduceerd; (ii) de eerste startup van Rob Fitzpatrick ging door Y Combinator (Zomer 2007), waardoor Y Combinator wordt geïntroduceerd; (iii) Y Combinator werd gelanceerd in maart 2005. Het recursief vervangen van elke entiteitsnaam door zijn descriptor levert de naamvrije vraag op: “Welk boek werd geschreven door de persoon wiens eerste startup door de accelerator ging die in maart 2005 werd gelanceerd, in zijn cohort van zomer 2007?” met als antwoord “The Mom Test”.

Augmentatie van format-diversiteit. Modellen die uitsluitend op ruwe synthetische QA zijn getraind, neigen ernaar format-voorkeuren te negeren en standaard terug te vallen op een vaste antwoordstructuur, ongeacht hoe de query is geformuleerd. Om de format-diversiteit te verbeteren, verrijken we de dataset met queries die expliciete formateringsinstructies bevatten (bijv. "Toon een lijst van..." of "Vat... samen in een tabel"), terwijl het onderliggende antwoord ongewijzigd blijft.

Publieke verifieerbare QA (basislijn). We construeren een basislijn-dataset voor verifieerbare QA op basis van vijf open-source datasets (Lu et al., 2025; Pham et al., 2025; Press et al., 2023; Tao et al., 2025; Wu et al., 2025), verenigd onder ons uitgebreide prompt-formaat met kwaliteitsfiltering. Deze mix dient als primaire basislijn in onze validatie-experimenten. Voor gecontroleerde vergelijkingen stemmen we de schaal van onze interne synthetische QA-dataset af op deze open-source mix.

Snelle validatie. We valideren de effectiviteit van deze pijplijn met behulp van Qwen3-30B-A3B-Instruct-2507 om snelle iteratie mogelijk te maken; resultaten worden samengevat in Tabel 1.

Tabel 1 | Validatie van synthetische verifieerbare QA-dataset

Hoewel verifieerbare QA een schoon trainingssignaal biedt voor zoekgerichte queries, is een aanzienlijk deel van het productieverkeer niet uniek verifieerbaar (bijv. herschrijven, plannen en open-ended assistentie). Het uitsluiten van dergelijke queries van RL zou het beleid ondergeoptimaliseerd laten voor echte gebruikersinteracties. Bovendien, hoewel de SFT-fase kritieke inzet-guardrails vaststelt, kan RL daarop terugvallen tenzij ze expliciet door de data worden versterkt.

We integreren niet-verifieerbare queries in RL-training door voor de inzet kritieke vereisten—het volgen van instructies, formateringsbeperkingen en veiligheidsconventies—om te zetten in rubrieken: atomische, objectief controleerbare criteria waaraan een antwoord moet voldoen. We hanteren dataconstructie op basis van rubrieken (Gunjal et al., 2025; Liu et al., 2025b), waarbij we per query rubriekensets genereren.

Rubrieken genereren. Gegeven de volledige gespreksgeschiedenis, vragen we een LLM om een referentieantwoord en een bijbehorende rubriekenset te produceren. Rubrieken worden afgeleid volgens een vaste prioriteitsvolgorde: vereisten die expliciet door de gebruiker zijn gesteld krijgen voorrang, gevolgd door interne beperkingen, en ten slotte noodzakelijke inhoudelijke vereisten die uit het referentieantwoord worden afgeleid. Elke rubriek moet zijn:

Atomisch: één enkele, goed gedefinieerde controle;
Objectief: verifieerbaar zonder subjectief oordeel;
Noodzakelijk: vereist om de query te beantwoorden, niet slechts een stilistische voorkeur.

Query.

Ze zal u mankrachtplanning delen. We moeten logies & maaltijden regelen. Corrigeer de zin alstublieft.

Rubrieken.

Het antwoord is geschreven in het Engels.
De gecorrigeerde bewoording bevat de woorden "lodging" en "boarding".
De gecorrigeerde bewoording gebruikt "manpower" als één woord (bijvoorbeeld, "manpower plan" of "manpower planning") in plaats van "man power".
De gecorrigeerde bewoording bevat niet de informele afkortingen "u" of "Plz", en bevat niet het ampersand-teken "&".
Het antwoord bevat geen citatiemarkeringen van de vorm \\[type:idx\\], waarbij type een gegevensbron aanduidt (bijvoorbeeld, web, chart, memory, attached_file).

Rubriek-kalibratie. Om te strikte of te permissieve rubriekensets te vermijden, passen we een pass@4-filter toe. Voor elke query bemonsteren we vier onafhankelijke antwoorden en evalueren we deze tegen de volledige rubriekenset met een judge voor instructieopvolging. We verwijderen queries waarvoor geen enkel antwoord voldoet aan de rubriekenset of waarbij alle antwoorden dat wel doen, en behouden alleen diegene die een informatief trainingssignaal opleveren.

Een praktische uitdaging bij multi-doelstelling RL is onbalans in variantie over datacompontenten (Duchi and Namkoong, 2016; Liu et al., 2026; Qi et al., 2026). Hoewel zowel verifieerbare QA als op rubrieken gebaseerde data binaire beloningen opleveren, verschillen ze aanzienlijk in taakmoeilijkheid: rubriek-voldoening is over het algemeen gemakkelijker te bereiken vroeg in de training, wat grotere en frequentere gradiënt-updates oplevert die de beleidsoptimalisatie onevenredig kunnen domineren ten opzichte van het moeilijkere verifieerbare QA-signaal. Om dit aan te pakken, herwegen we de prompt-mix op datasetniveau, waarbij we 90% samplen uit verifieerbare QA en 10% uit op rubrieken gebaseerde data om het optimalisatiesignaal over componenten heen in balans te brengen.

Ons beloningsontwerp volgt direct uit de hierboven beschreven dataconstructie. Ondanks het feit dat het zowel verifieerbare QA- als rubriekstaken omspant, deelt alle trainingsdata een gemeenschappelijke basislijn-beloningsstructuur: een rollout ontvangt credits als deze een correct antwoord genereert voor QA-taken, of voldoet aan alle gespecificeerde rubrieken voor algemene Chat. Voortbouwend op dit gedeelde fundament, construeren we een samengestelde beloning om op voorkeuren gebaseerde scoring en efficiëntievorming te integreren.

Een belangrijke uitdaging die in vroege experimenten werd waargenomen was beloningsmanipulatie: een eenvoudige lineaire combinatie van beloningen stond sterke voorkeurssignalen toe om te compenseren voor feitelijke of instructieve tekortkomingen. We hanteren daarom gated aggregation als een kernprincipe van het ontwerp, formeel gedefinieerd als:

R(\tau_i) = r_{\text{base}}(\tau_i) \cdot s(\tau_i) \;-\; \operatorname{pen}_{\text{eff}}(\tau_i),

waarbij $r_{\mathrm{base}}(\tau_i) \in \{0, 1\}$ QA-correctheid of rubric-tevredenheid aanduidt, $s(\tau_i)\in[0,1]$ de voorkeursscore is en $\operatorname{pen}_{\mathrm{eff}}(\tau_i)$ een verankerde efficiëntiestraf is. Dit maakt correctheid een noodzakelijke voorwaarde om voorkeurspunten te ontvangen, terwijl onnodig gebruik van tools en overbodige uitvoer nog steeds worden ontmoedigd. Figuur 1 illustreert de volledige beloningspijplijn, waarvan we de componenten hieronder beschrijven:

Overzicht van beloningsontwerp. We combineren een basislijn-correctheidssignaal (verifieerbaar/rubriek), een Bradley–Terry voorkeursscore en verankerde efficiëntiestraffen. Voorkeur wordt gefilterd door basislijn-correctheid om beloningsmanipulatie te voorkomen.

We definiëren een binair basissignaal $r_{\mathrm{base}}(\tau_i) \in \{0,1\}$ dat taakcorrectheid of naleving van instructies vastlegt. Voor verifieerbare zoekagentdata, $r_{\mathrm{base}}(\tau_i)=1$ als het uiteindelijke antwoord overeenkomt met de ground truth, en $0$ anders. Voor rubricgebaseerde algemene chatdata, $r_{\mathrm{base}}(\tau_i)=1$ als alle rubrics zijn vervuld, en $0$ anders. Deze baseline dient als de harde poort in de voorwaardelijke aggregatieregel in Vergelijking 2.

We beogen het beleidsmodel af te stemmen op de latente voorkeuren van gebruikers met betrekking tot responskwaliteit—informatiegehalte, helderheid en professionele toon—die moeilijk te vatten zijn via LLM-judge prompts. Daarom trainen we een geleerd beloningsmodel voor voorkeuren om deze eigenschappen direct te scoren.

We formuleren voorkeurleren binnen het Bradley–Terry-raamwerk. Gegeven een context $x$ en twee kandidaatreacties $y_a, y_b$ , produceert het model scalaire scores $s_{\theta}(x, y) \in \mathbb{R}$ en minimaliseert,

\ell_{\text{BT}}(\theta; x, y_a, y_b, r) = -\Big[r \log \sigma(\Delta_\theta) + (1-r) \log\bigl(1 - \sigma(\Delta_\theta)\bigr)\Big], \\ \Delta_\theta = s_\theta(x, y_a) - s_\theta(x, y_b)

waarbij $r \in \{0, 1\}$ aangeeft of $y_a$ de voorkeur heeft. Om positionele bias te elimineren, wordt elk trainingspaar uitgebreid met beide volgordes en symmetrisch geoptimaliseerd,

\mathcal{L}_{\text{sym}} = \tfrac{1}{2}\,\ell_{\text{BT}}(x, y_a, y_b, r) + \tfrac{1}{2}\,\ell_{\text{BT}}(x, y_b, y_a, 1-r).

Tijdens inferentie verkrijgen we een positie-agnostische voorkeursscore door beide permutaties te middelen:

\bar{\Delta}_\theta(x, y_a, y_b) = \tfrac{1}{2}\Big[\Delta_\theta(x, y_a, y_b) - \Delta_\theta(x, y_b, y_a)\Big], \\ \bar{P}_\theta(x, y_a, y_b) = \sigma\bigl(\bar{\Delta}_\theta(x, y_a, y_b)\bigr).

De voorkeursscore van de rollout wordt dan gedefinieerd als $s(\tau_i) \triangleq \bar{P}_{\theta}(x, y_a, y_b) \in [0,1]$ , d.w.z. de waarschijnlijkheid dat de policy-rollout $y_i$ de voorkeur heeft boven de rollout van het referentiemodel voor dezelfde prompt.

Trainingsdata voor voorkeursmodellering is afkomstig uit gecureerde open-source datasets, side-by-side feedback van gebruikers en interne annotaties. Om labelruis aan te pakken, passen we een lichtgewicht filter- en kalibratiepijplijn toe die is geïnspireerd op Datbench (DatologyAI, 2026), waarbij we alleen voorbeelden behouden met consistente cross-model overeenstemming. Het beloningsmodel deelt dezelfde ruggengraat als het beleidsmodel, waarbij het taalmodelleringshoofd is vervangen door een waarde-hoofd. Hoewel kleinere beloningsmodellen vergelijkbare geëvalueerde nauwkeurigheid bereiken, stellen we empirisch vast dat ze er niet in slagen verfijnde voorkeuren vast te leggen en ongewenst beleidsgedrag kunnen versterken.

Bij gebrek aan expliciete efficiëntievorming neigt het beleid ernaar hulpmiddelen te overgebruiken, zelfs bij eenvoudige prompts. Onvoorwaardelijke straffen (bijv. die lineair schalen met het aantal tool-aanroepen of de outputlengte) zijn een natuurlijke basislijn, maar we zien dat ze noodzakelijke verkenning onderdrukken en het leerproces verslechteren. Daarom hanteren we groepsrelatieve, verankerde straffen die het gebruik van hulpmiddelen en de respons-lengte regulariseren ten opzichte van effectieve oplossingen binnen elke GRPO-groep. Voor een groep 𝑔 definiëren we de winnaarsset als:

W_g = \{\, i : r_{\text{base}}(\tau_i) = 1 \,\}.

Verankerde tool-aanroepstraf. Voor elke rollout $\tau_i$ , laat $c_i$ het aantal tool-aanroepen aanduiden en $e_i$ het aantal uitvoeringsfouten van tools. We definiëren de effectieve tool-aanroepentelling $\tilde{c}_i = c_i - e_i$ en bemonsteren uniform een groepsbaseline:

b_g \sim \operatorname{Unif}\!\left(\min_{j \in W_g} \tilde{c}_j,\ \left\lceil \operatorname{mean}_{j \in W_g} \tilde{c}_j \right\rceil\right).

We berekenen het overschot $\Delta_i = \max\!\left(0,\; \tilde{c}_i - b_g\right)$ en definiëren een vloeiende strafscalar $p_i = 1 - \exp\!\left(-\Delta_i\right)$ . De toolstraf is dan:

\operatorname{pen}_{\text{tool}}(\tau_i) = \begin{cases} \alpha_{\text{win}}\, p_i, & i \in W_g, \\ \alpha_{\text{lose}}\, p_i + \beta_{\text{lose}}, & i \notin W_g, \end{cases}

Verankerde lengtestraf. Laat $L_i$ en $L_i^{\mathrm{ref}}$ respectievelijk de tokenlengtes van de kandidaat- en referentiemodelgeneraties aanduiden. We definiëren de vormgevingsverzameling $\widehat{W}_g$ als rollouts die zowel correct als geprefereerd zijn:

\widehat{W}_g = \{\, \underbrace{i \in W_g}_{\text{correct}} \;:\; \underbrace{s(\tau_i) \geq 0.5}_{\text{preferred}} \,\}.

We berekenen vervolgens groepsspecifieke lengtebasislijnen:

\underbrace{b_{g,\text{win}}}_{\substack{\text{avg. ref. length} \\ \text{of winners}}} = \operatorname{mean}_{j \in \widehat{W}_g} L_j^{\text{ref}}, \qquad \underbrace{b_{g,\text{lose}}}_{\substack{\text{avg. ref. length} \\ \text{of losers}}} = \operatorname{mean}_{j \notin \widehat{W}_g} L_j^{\text{ref}}.

De lengtestraf wordt gedefinieerd als:

\operatorname{pen}_{\text{len}}(\tau_i) = \begin{cases} 1, & L_i > \max_j L_j^{\text{cmp}} \\ 1 - \exp\!\left(-\max\!\left(0,\ \dfrac{L_i}{b_{g,\text{win}}} - 1\right)\right), & i \in \widehat{W}_g \\ 1 - \exp\!\left(-\max\!\left(0,\ \dfrac{b_{g,\text{lose}}}{L_i} - 1\right)\right), & i \notin \widehat{W}_g \end{cases}

waarbij de eerste regel een harde limiet is; de tweede straft breedsprakige winnaars; en de derde straft beknopte verliezers.

Gecombineerde efficiëntiestraf. De gecombineerde efficiëntiestraf is een gewogen som van beide componenten:

\operatorname{pen}_{\text{eff}}(\tau_i) = \lambda_{\text{tool}}\, \operatorname{pen}_{\text{tool}}(\tau_i) + \lambda_{\text{len}}\, \operatorname{pen}_{\text{len}}(\tau_i).

We evalueren onze post-training-pijplijn langs twee assen: (i) trainingsdynamieken, om de optimalisatiestabiliteit te beoordelen en of de beloningssignalen zich naar verwachting gedragen, en (ii) offline benchmarks, om downstream kwaliteit, veiligheid en efficiëntie onder gecontroleerde evaluatie-instellingen te meten.

Standaard trainingsinstellingen. Het beleidsmodel interageert met een webzoektool (search_web); elke tool-aanroep haalt tot 10 resultaten op, met queries begrensd op 250 karakters en tot 5 queries per rollout.

We onderzoeken optimalisatiedynamieken, met de focus op beloningsprogressie en efficiëntiegedrag. We gebruiken Qwen3.5-397B-A11B ter illustratie.

Evolutie van basislijn- en voorkeurssignalen tijdens de training.

Figuur 2 toont een gestage verbetering in de basislijn-beloning (verifieerbare QA en rubriek-voldoening) naast toenemende voorkeursscores, wat wijst op consistente winst in correctheid, naleving en responskwaliteit.

Efficiëntiegedrag en verankerde vormingsstraffen tijdens de training.

Figuur 3 demonstreert dat zowel de frequentie van tool-aanroepen als de generatielengte tijdens de gehele training goed onder controle blijven. Met name nemen zowel de tool-aanroepstraf als de lengtestraf monotoon af gedurende de training, wat de progressieve aanpassing van het model weerspiegelt naar beknoptere generatie en selectiever gebruik van tools.

Indicatoren voor optimalisatiestabiliteit.

Figuur 4 toont dat gradiëntnormen stabiel blijven, afgezien van voorbijgaande pieken, terwijl de KL-divergentie tussen training en inferentie een milde opwaartse trend vertoont, binnen de schaal van 1e-3 blijvend. Dit driftpatroon is consistent met observaties in andere RL-trainingsraamwerken; aangezien de training gedurende het hele proces stabiel blijft, behouden we een eenvoudige IS-regularisatie in Eq. 1 zonder extra interventie.

We rapporteren resultaten op een reeks benchmarks die zoeknauwkeurigheid, feitelijke betrouwbaarheid, instructieopvolging en veiligheid omvatten, bestaande uit zowel publieke benchmarks als interne Perplexity (PPLX)-metrieken. Publieke benchmarks omvatten SimpleQA, FRAMES en Facts Open.

pplx-sbs-search: Side-by-side voorkeursevaluatie met behulp van een intern beloningsmodel. Kandidaten worden vergeleken met een sterke basislijn.
pplx-abstention: Het vermogen om adequaat te weigeren wanneer er geen betrouwbaar bewijs beschikbaar is.
pplx-language-mismatch: Taalconsistentie in long-tail en meerfasige instellingen.
pplx-broken-tool-calls (↓): Naleving van het schema voor tool-aanroepen en het volgen van beperkingen, bijvoorbeeld tool_choice=none.

Standaard evaluatie-instellingen. Voor publieke benchmarks staan we alleen de webzoektool toe, met een budget van maximaal 5 tool-aanroepen per voorbeeld en maximaal 10 resultaten per aanroep, waarbij tot 8192 output-tokens worden gegenereerd bij een temperatuur van 0.6.

Tabel 2 | Offline evaluatieresultaten. Nummers tussen haakjes geven het gemiddelde toolgebruik aan. We noteren Qwen3.5-397B-A17B als Qwen3.5-Large, en Qwen3.5-122B-A10B als Qwen3.5-Medium.

Tabel 2 toont aan dat Qwen3.5-Large-SFT-RL een sterke zoeknauwkeurigheid bereikt over publieke benchmarks, en gpt-5.4 evenaart of overtreft op FRAMES en Facts Open bij gebruik van vergelijkbare tool-budgetten. Ten opzichte van het basismodel levert onze aanpak aanzienlijke winst op interne metrieken, met name op voorkeur (pplx-sbs-search: 0.602 → 0.742), taalconsistentie en onthouding, wat aantoont dat de tweetrapspijplijn effectief de voor de inzet kritieke gedragingen verbetert zonder de zoekcapaciteit in gevaar te brengen.

Om dit te meten, ontwerpen we een budget-forced evaluatieprotocol. Elk model krijgt toegang tot een webzoektool (search_web) en een systeemprompt die een harde limiet specificeert op het aantal toegestane tool-aanroepen (het "budget"). We doorlopen dit budget van 0 (geen toolgebruik, pure parametrische kennis) tot 10 (ruime meerstaps-retrieval), waarbij we de nauwkeurigheid op elk niveau vastleggen. Dit resulteert in een tool-efficiency curve: de score van het model als functie van het retrieval-budget dat het is toegestaan. We evalueren op twee feitelijke QA-benchmarks, FRAMES en Facts Open.

Benchmark-nauwkeurigheid vs. Maximaal aantal tool-aanroepen.

Verschillende patronen vallen op in deze twee benchmarks:

Onze getrainde Qwen3.5-397B-SFT-RL bereikt de beste zoeknauwkeurigheid op beide benchmarks. Zelfs met één enkele tool-aanroep scoort het 57.3% op FRAMES, 5.7 punten boven GPT-5.4 en 4.7 punten boven Sonnet 4.6.
- Het voordeel is het meest uitgesproken bij gemiddelde budgetten (b=2-7), wat het praktische werkingsbereik is voor productie-inzet.
Ons post-training-recept (SFT + RL) verbetert de efficiëntie van toolgebruik aanzienlijk ten opzichte van het basis-checkpoint; zie doorgetrokken lijnen (getraind) versus stippellijnen (start-checkpoint) in Figuur 5.
Voor alle modellen observeren we afnemende meeropbrengsten rond budget=7, consistent over twee benchmarks en alle modellen, wat suggereert dat dit een eigenschap is van de feitelijkheid-zoekende taken in plaats van de modellen zelf.

De bovenstaande resultaten laten zien dat Qwen3.5-397B-SFT-RL een hogere nauwkeurigheid bereikt met minder tool-aanroepen. Maar hoe vertaalt zich dit naar werkelijke kosten? We zetten token-metingen om in dollarkosten met behulp van gepubliceerde API-prijzen (Alibaba DashScope, OpenAI, Anthropic) om de vergelijking concreet te maken.

Bij het medium-profiel (b=4) scoort Qwen3.5-397B-SFT-RL 73.9% op FRAMES tegen 2.0 cent per query, terwijl GPT-5.4 67.8% scoort tegen 8.5 cent en Sonnet 4.6 62.4% scoort tegen 15.3 cent. Dat is +6 punten nauwkeurigheid tegen 4x lagere kosten vergeleken met GPT-5.4, en +11.5 punten tegen 7.5x lagere kosten vergeleken met Sonnet 4.6.

Deze schattingen gebruiken lijst-API-prijzen zonder caching. Met interne inferentie-optimalisaties zoals KV-cache hergebruik, prefix caching en gekwantiseerde MoE-servering (397B gebruikt slechts 17B actieve parameters), kunnen de effectieve kosten aanzienlijk onder de lijst-API-prijzen worden verlaagd.

Het scheiden van inzet-naleving van zoekoptimalisatie via een tweetraps SFT- en RL-pijplijn levert een model op dat zowel capabel als betrouwbaar is onder productiebeperkingen. De combinatie van verifieerbare QA- en op rubrieken gebaseerde trainingsdata, samen met gated beloningsaggregatie en verankerde efficiëntievorming, maakt stabiele multi-doelstelling optimalisatie mogelijk zonder zoeknauwkeurigheid of guardrail-naleving op te offeren.

Verschillende richtingen verdienen nader onderzoek. Zoals waargenomen in Figuur 4, vertoont de KL-divergentie tussen training en inferentie een aanhoudende opwaartse drift bij uitgebreide trainingsstappen. Hoewel correctie op tokenniveau voldoende blijkt onder onze huidige instelling, is het onduidelijk of dit op grotere schaal waar blijft; een meer principieel theoretische behandeling van deze discrepantie — inclusief verschillen op infrastructuurniveau en architectuurspecifieke factoren zoals MoE-routing — naast kwantitatieve empirische vergelijkingen van mitigatiestrategieën, blijft een belangrijke open vraag. Specifiek voor multi-doelstelling RL omvatten veelbelovende paden sequentiële training (Zeng et al., 2026) met on-policy distillatie om doelstellingen in fasen te optimaliseren terwijl catastrofale vergetelheid wordt beperkt; en modelsamenvoeging (Fu et al., 2025; Yang et al., 2026) om taakspecifieke optimalisatie te ontkoppelen van capaciteitsaggregatie. Tot slot blijft opschaling naar realistische workflow met tools met lange-termijn-trajecten een belangrijke open uitdaging, die waarschijnlijk betere credit-toewijzing, ondersteuning voor gedeeltelijke rollouts en evaluaties vereist.

DatologyAI. Datbench: Discriminatieve, getrouwe en efficiënte evaluaties voor visie-taalmodellen. https://www.datologyai.com/blog/datbench-discriminative-faithful-and-efficient-vision-language-model-evaluations, Jan. 2026. Gepubliceerd 6 jan 2026. Geraadpleegd: 2026-03-04.

J. Duchi en H. Namkoong. Variantiegebaseerde regularisatie met convexe doelstellingen. arXiv preprint arXiv:1610.02581, 2016.

Z. Fu, X. Wu, Y. Wang, W. Wang, S. Ye, H. Yin, Y. Chang, Y. Zheng en X. Zhao. Training-vrije llm-samenvoeging voor multi-task leren. In Proceedings van de 63e Jaarlijkse Bijeenkomst van de Association for Computational Linguistics (Volume 1: Lange Documenten), pagina's 33111–33124, 2025.

A. Gunjal, A. Wang, E. Lau, V. Nath, Y. He, B. Liu en S. Hendryx. Rubrieken als beloningen: Reinforcement learning voorbij verifieerbare domeinen. arXiv preprint arXiv:2507.17746, 2025.

J. Liu, Y. Li, Y. Fu, J. Wang, Q. Liu en Y. Shen. Wanneer snelheid stabiliteit doodt: Demystificatie van RL-instabiliteit door de discrepantie tussen training en inferentie. Notion Blog, 2025a.

S.-Y. Liu, X. Dong, X. Lu, S. Diao, P. Belcak, M. Liu, M.-H. Chen, H. Yin, Y.-C. F. Wang, K.-T. Cheng, et al. Gdpo: Beleidsoptimalisatie met groepsbeloningsontkoppelde normalisatie voor multi-belonings RL-optimalisatie. arXiv preprint arXiv:2601.05242, 2026.

T. Liu, R. Xu, T. Yu, I. Hong, C. Yang, T. Zhao en H. Wang. Openrubrics: Naar schaalbare synthetische rubriek-generatie voor beloningsmodellering en llm-afstemming. arXiv preprint arXiv:2510.07743, 2025b.

R. Lu, Z. Hou, Z. Wang, H. Zhang, X. Liu, Y. Li, S. Feng, J. Tang en Y. Dong. Deepdive: Vooruitgang van diepe zoekagenten met kennisgrafen en meerfasige RL. arXiv preprint arXiv:2509.10446, 2025.

W. Ma, H. Zhang, L. Zhao, Y. Song, Y. Wang, Z. Sui en F. Luo. Stabilisatie van MoE reinforcement learning door training- en inferentie-routers af te stemmen. arXiv preprint arXiv:2510.11370, 2025.

T. Pham, N. Nguyen, P. Zunjare, W. Chen, Y.-M. Tseng en T. Vu. Sealqa: De lat hoger leggen voor redeneren in zoek-verrijkte taalmodellen. arXiv preprint arXiv:2506.01062, 2025.

O. Press, M. Zhang, S. Min, L. Schmidt, N. A. Smith en M. Lewis. Het meten en verkleinen van de compositionele kloof in taalmodellen. In Findings van de Association for Computational Linguistics: EMNLP 2023, pagina's 5687–5711, 2023.

P. Qi, X. Zhou, Z. Liu, T. Pang, C. Du, M. Lin en W. S. Lee. Herdenken van het vertrouwensgebied in LLM reinforcement learning. arXiv preprint arXiv:2602.04879, 2026.

Z. Shao, P. Wang, Q. Zhu, R. Xu, J. Song, X. Bi, H. Zhang, M. Zhang, Y. Li, Y. Wu, et al. Deepseekmath: De grenzen van wiskundig redeneren in open taalmodellen verleggen. arXiv preprint arXiv:2402.03300, 2024.

Z. Tao, J. Wu, W. Yin, J. Zhang, B. Li, H. Shen, K. Li, L. Zhang, X. Wang, Y. Jiang, et al. Webshaper: Agentische datasynthese via formalisering van informatiebehoefte. arXiv preprint arXiv:2507.15061, 2025.

vLLM and TorchTitan Teams. Geen discrepantie meer tussen training en inferentie: Bitwise consistente on-policy reinforcement learning met vLLM en TorchTitan. https://blog.vllm.ai/2025/11/10/bitwise-consistent-train-inference.html, nov 2025. vLLM Blog.

J. Wu, W. Yin, Y. Jiang, Z. Wang, Z. Xi, R. Fang, D. Zhou, P. Xie en F. Huang. Webwalker: Benchmarking van llms in webnavigatie, 2025. URL https://arxiv.org/abs/ 2501.07572.

A. Yang, A. Li, B. Yang, B. Zhang, B. Hui, B. Zheng, B. Yu, C. Gao, C. Huang, C. Lv, et al. Technisch rapport Qwen3. arXiv preprint arXiv:2505.09388, 2025.

E. Yang, L. Shen, G. Guo, X. Wang, X. Cao, J. Zhang en D. Tao. Modelsamenvoeging in llms, mllms en daarbuiten: Methoden, theorieën, toepassingen en kansen. ACM Computing Surveys, 58(8):1–41, 2026.

F. Yao, L. Liu, D. Zhang, C. Dong, J. Shang en J. Gao. Uw efficiënte RL-raamwerk brengt u in het geheim off-policy RL-training, aug. 2025. URL https://fengyao.notion.site/off-policy-rl.

A. Zeng, X. Lv, Z. Hou, Z. Du, Q. Zheng, B. Chen, D. Yin, C. Ge, C. Xie, C. Wang, et al. Glm-5: van vibe coding naar agentische engineering. arXiv preprint arXiv:2602.15763, 2026.

C. Zheng, K. Dang, B. Yu, M. Li, H. Jiang, J. Lin, Y. Liu, H. Lin, C. Wu, F. Hu, et al. Stabilisatie van reinforcement learning met llms: Formulering en praktijken. arXiv preprint arXiv:2512.01374, 2025a.

C. Zheng, S. Liu, M. Li, X.-H. Chen, B. Yu, C. Gao, K. Dang, Y. Liu, R. Men, A. Yang, et al. Groepssequentie-beleidsoptimalisatie. arXiv preprint arXiv:2507.18071, 2025b.

BibTeX

@online{perplexity2026AdvancingSearchAugmentedLanguageModels,
  author = {{Perplexity} and Denis Yarats and Dongqi Wu and Hang Wu and Randy Ardywibowo and Senzeyu Zhang and Yunfan Zhong and Ziqing Hu and Clare Southern and Riley Carlson and Yi He and Erin McKnight and Mara Sohn and Phi Hoang},
  title = {{Advancing search-augmented language models}},
  date = {2026-04-22},
  url = {https://perplexity.coolkeypoint.com/hub/blog/advancing-search-augmented-language-models}
}

Inleiding

Tweetraps-trainingspijplijn

SFT-fase

RL-fase

RL-trainingsdata

Verifieerbare data voor zoekagenten

Voorbeeld (3-hop)

Op rubrieken gebaseerde algemene Chat-data

Voorbeeld

Prompt-mix en balans van variantie

Beloningsontwerp

Basislijn-beloning

Voorkeursmodellering

Efficiëntiestraf

Belangrijkste resultaten

Trainingsdynamieken

Offline evaluaties

Evaluaties van efficiëntie bij toolgebruik

Conclusie

Referenties

Citatie