Avancerade sökutökade språkmodeller

Att träna frontlinjens webbsökagenter kräver gemensam optimering av flera mål: faktuell noggrannhet, banans effektivitet och anpassning till användarens preferenser. Ändå försämrar ofta förbättringar av en enskild dimension isolerat andra: modeller som tränas enbart för noggrannhet tenderar att överutnyttja verktyg, medan modeller som optimeras för korthet kan offra tillförlitlighet eller fullständighet. Hos Perplexity är inget av utfallen acceptabelt.

Den här artikeln beskriver Perplexity’s efterträningspipeline för att utveckla state-of-the-art webbsökagenter baserade på öppen källkodsmodeller. En nyckelidé är att datakurering och belöningsdesign vid träning av sökagenter måste utformas gemensamt: datan avgör vilka beteenden som är observerbara och verifierbara, och belöningen avgör hur dessa signaler omsätts till optimeringssignaler. Denna princip motiverar vår tvåstegspipeline: vi genomför först en uppvärmning med övervakad finjustering (SFT) för att initiera policymodellen, och därefter förfinar vi policymodellen med förstärkningsinlärning (RL) över ett kurerat dataset och noggrant utformade belöningar. Detta tvåstegsarbetsflöde möjliggör tillförlitliga vinster i noggrannhet, effektivitet och svarskvalitet under produktionsbegränsningar.

Vi beskriver först vår tvåstegs träningspipeline (SFT → on-policy RL), följt av konstruktionen av vår RL-träningsdata, som täcker både verifierbar sökagent-QA och regelbaserad allmän chatt. Därefter presenterar vi en sammansatt belöningsdesign som härrör från denna heterogena datamiljö, vilken balanserar kvalitet och effektivitet samtidigt som den mildrar belöningshackning. Slutligen analyserar vi träningsdynamik och benchmarkresultat.

Vi antar ett recept för efterträning i två steg: (i) SFT för att etablera driftskritiska beteenden såsom skyddsräcken (t.ex. avstående), instruktionsföljsamhet och språklig konsekvens, och (ii) on-policy RL för att förbättra sökförmågan, inklusive svarssnoggrannhet och effektivitet vid verktygsanvändning, samtidigt som beteendena från det första steget bevaras.

Varför två steg? Att gemensamt optimera sökadens kvalitet och driftsbegränsningar inom ett enda RL-steg är svårt utan att kompromissa med minst ett mål. Empiriskt förbättrar enbart RL-träning sökprestandan men tenderar att prestera sämre på driftskyddsräcken, medan SFT förbättrar regelefterlevnaden på bekostnad av sökprestanda. Genom att särskilja målen kan SFT-steget först adressera förhandlingsbara krav, varefter RL främst kan fokusera på att förbättra sökförmågan.

Vi initierar från Qwen3-familjen av modeller (Qwen3.5-122B-A10B och Qwen3.5-397B-A17B) (Yang et al., 2025, Qwen3.5 blogginlägg) och konstruerar ett SFT-blandningsdataset med två komponenter som riktar sig mot de driftskritiska beteenden som beskrivs ovan, samtidigt som basmodellens generella sökförmåga bevaras.

Preferensinriktade exempel. Vi kurerar instruktionsföljande och stilfokuserade exempel som riktar in sig på ton, språklig konsekvens, tydlighet och formatering. Dessa exempel behöver inte ha en unik sanning; de väljs snarare ut för att återspegla produktens skrivkrav och säkerställa stilistisk konsekvens över olika frågetyper.

Produktionsformat för verktygsanvändningstrajektorier. Empiriskt finner vi att SFT utan noggrann datakurering avsevärt kan försämra basmodellens sökförmåga. För att mildra detta samplar vi frågor och interna uppgifter över diverse interaktionsmönster (enkel-, två- och flerturs) och annoterar dem med vår verktygsanropsmekanism.

Med start från SFT-kontrollpunkten tillämpar vi on-policy RL för att förbättra söknoggrannhet och effektivitet. Vi optimerar policymodellen med Group Relative Policy Optimization (GRPO) (Shao et al., 2024).

\mathcal{J}_{\text{GRPO}}(\theta) = \frac{1}{G}\sum_{i=1}^{G} \frac{1}{|o_i|}\sum_{t=1}^{|o_i|} r_{i,t}(\theta)\hat{A}_{i,t},

där $G$ är storleken på gruppen, $o_{i}$ betecknar det $i$ -e samplade utdata, och $\hat{A}_{i, t} = \hat{A}_{i}$ är fördelen. Belöningsdesignen beskrivs i detalj i avsnittet om belöningsdesign; kort sagt kombinerar vi baslinjekorrekthet med preferensbaserad och ankrad effektivitetsformning. I enlighet med tidigare arbete (Liu et al., 2025a; Yao et al., 2025; Zheng et al., 2025a) tillämpar vi token-nivå Importance Sampling (IS) för att korrigera för matchningsfelet mellan träning och inferens:

r_{i,t}(\theta) = \frac{\pi_{\text{train}}(\theta)}{\mu_{\text{infer}}(\theta)}.

Vi utvärderar flera tillvägagångssätt för att mildra matchningsfel mellan träning och inferens, inklusive sekvensnivå-IS (Zheng et al., 2025b), routing-replay (Ma et al., 2025; Zheng et al., 2025b) och bitvis konsekvent träning som integrerar inferensmotorns kärna under träning (vLLM och TorchTitan Teams, 2025). Empiriskt finner vi, under vår on-policy-miljö, att token-nivå IS är tillräckligt för att förhindra träningskollaps samtidigt som det förblir enkelt att implementera; detta överensstämmer med fynden från Zheng et al (2025a).

Vår RL-träningsdata består av två kompletterande komponenter: verifierbar sökagent-QA som riktar sig mot generell sökförmåga, och regelbaserad allmän chatt som uttryckligen förstärker driftskyddsräcken för att förhindra regression under RL-träningssteget.

Datasetkonstruktion. I enlighet med den sekventiella utökningsmetoden (Tao et al., 2025) konstruerar vi ett internt syntetiskt QA-dataset från interna fröfrågor utan att förlita oss på en kurerad kunskapsgraf, vilket håller pipelinen lättviktig och enkel att uppdatera. Varje syntetiskt exempel genereras via följande steg:

Fröval. Vi hämtar dokument för fröfrågor och väljer enheter med faktubekräftelse från flera källor som utgångspunkter, varvid vi extraherar atomära påståenden om dem.
Flerstegskedjekonstruktion. Från fröenhetens påståenden väljer vi ett som introducerar en andra enhet (t.ex. för fröet "The Mom Test" introducerar påståendet "skriven av Rob Fitzpatrick" författaren som nästa enhet). Vi upprepar denna länkningsprocess 2–4 gånger, vilket säkerställer att varje enhet är distinkt och att inget enskilt påstående på ett banalt sätt avslöjar det slutgiltiga svaret
Namnlös frågesyntes. Vi omvandlar enhetskedjan till en fråga genom att rekursivt ersätta enhetsnamn med deras sammankopplande påståenden, vilket producerar en nästlad fråga som kräver flerstegsresonemang
Verifiering. Vi behåller enbart frågor med unika svar som har verifierats av flera oberoende webbaktiverade lösare.

Betrakta fröfrågan "The Mom Test". Vi hämtar dokument och identifierar denna bok som fröenheten, extraherar sedan atomära faktapåståenden och bygger iterativt en enhetskedja: (i) The Mom Test skrevs av Rob Fitzpatrick, vilket introducerar Rob Fitzpatrick; (ii) Rob Fitzpatricks första startup gick igenom Y Combinator (sommaren 2007), vilket introducerar Y Combinator; (iii) Y Combinator lanserades i mars 2005. Att rekursivt ersätta varje enhetsnamn med dess beskrivning ger den namnlösa frågan: "Vilken bok skrevs av den person vars första startup gick igenom den accelerator som lanserades i mars 2005, i dess sommarkohort 2007?" med svaret "The Mom Test".

Formatuppsökande utökning. Modeller som tränas enbart på rå syntetisk QA tenderar att ignorera formateringspreferenser och använda en fast svarsstruktur som standard, oavsett hur frågan är formulerad. För att förbättra formatmångfalden utökar vi datasetet med frågor som inkluderar explicita formateringsinstruktioner (t.ex. "Visa en lista över ..." eller "Sammanfatta ... i en tabell"), samtidigt som det underliggande svaret lämnas oförändrat.

Offentlig verifierbar QA (baslinje). Vi konstruerar ett baslinjedataset för verifierbar QA från fem dataset med öppen källkod (Lu et al., 2025; Pham et al., 2025; Press et al., 2023; Tao et al., 2025; Wu et al., 2025), förenade under vårt utökade promptformat med kvalitetsfiltrering. Denna blandning fungerar som den primära baslinjen i våra valideringsexperiment. För kontrollerade jämförelser matchar vi skalan på vårt interna syntetiska QA-dataset till denna öppen källkods-blandning.

Snabbvalidering. Vi validerar effektiviteten hos denna pipeline med hjälp av Qwen3-30B-A3B-Instruct-2507 för att möjliggöra snabb iteration; resultaten sammanfattas i tabell 1.

Validering av syntetisk verifierbar QA-dataset

Medan verifierbar QA tillhandahåller en ren träningssignal för sökfokuserade frågor är en väsentlig del av produktionstrafiken inte unikt verifierbar (t.ex. omskrivning, planering och öppen assistans). Att utesluta sådana frågor från RL skulle lämna policyn underoptimerad för verkliga användarinteraktioner. Dessutom, medan SFT-steget etablerar driftskritiska skyddsräcken, kan RL uppvisa regression kring dessa om de inte uttryckligen förstärks av datan.

Vi integrerar icke-verifierbara frågor i RL-träning genom att omvandla driftskritiska krav – instruktionsföljsamhet, formateringsbegränsningar och säkerhetskonventioner – till regler: atomära, objektivt kontrollerbara kriterier som ett svar måste uppfylla. Vi antar regelbaserad datakonstruktion (Gunjal et al., 2025; Liu et al., 2025b) och genererar regeluppsättningar per fråga.

Regelgenerering. Givet hela konversationshistoriken uppmanar vi en LLM att producera ett referenssvar och en tillhörande regeluppsättning. Regler härleds under en fast prioriteringsordning: krav som uttryckligen anges av användaren har prioritet, följt av interna begränsningar och slutligen nödvändiga innehållskrav som härleds från referenssvaret. Varje regel måste vara:

Atomär: en enda, väl definierad kontroll;
Objektiv: verifierbar utan subjektiva omdömen;
Nödvändig: krävs för att besvara frågan, inte enbart en stilistisk preferens.

Fråga.

She will share u man power planning. We have to arrange lodging & boarding. Plz correct swntence.

Rubriker.

Svaret är skrivet på engelska.
Den korrigerade formuleringen innehåller orden "lodging" och "boarding".
Den korrigerade formuleringen använder "manpower" som ett enda ord (till exempel "manpower plan" eller "manpower planning") snarare än "man power".
Den korrigerade formuleringen innehåller inte de informella förkortningarna "u" eller "Plz", och den innehåller inte et-tecknet "&".
Svaret innehåller inte ctiteringstecken av typen \\[type:idx\\], där type anger en datakälla (till exempel web, chart, memory, attached_file).

Regelkalibrering. För att undvika alltför strikta eller alltför tillåtande regeluppsättningar tillämpar vi ett pass@4-filter. För varje fråga samplar vi fyra oberoende svar och utvärderar dem mot hela regeluppsättningen med en instruktionsföljande domare. Vi kasserar frågor för vilka inget svar uppfyller regeluppsättningen eller där alla gör det, och behåller enbart de som ger en informativ träningssignal.

En praktisk utmaning vid flermåls-RL är variansobalans över datakomponenter (Duchi och Namkoong, 2016; Liu et al., 2026; Qi et al., 2026). Även om både verifierbar QA och regelbaserad data ger binära belöningar skiljer de sig väsentligt åt i uppgiftssvårighet: regeluppfyllelse är generellt enklare att uppnå tidigt i träningen, vilket producerar större och mer frekventa gradientuppdateringar som oproportionerligt kan dominera policyoptimering i förhållande till den svårare verifierbara QA-signalen. För att åtgärda detta viktar vi om promptblandningen på datasetnivå, varvid vi samplar 90 % från verifierbar QA och 10 % från regelbaserad data för att balansera optimeringssignalen mellan komponenterna.

Vår belöningsdesign följer direkt från den datakonstruktion som beskrivs ovan. Trots att den spänner över både verifierbar QA och regeluppgifter delar all träningsdata en gemensam grundläggande belöningsstruktur: en körning får krediter om den producerar ett korrekt svar för QA-uppgifter, eller uppfyller alla angivna regler för allmän chatt. Med utgångspunkt i denna gemensamma grund konstruerar vi en sammansatt belöning för att införliva preferensbaserad poängsättning och effektivitetsformning.

En central utmaning som observerades i tidiga experiment var belöningshackning: en enkel linjär kombination av belöningar gjorde att starka preferenssignaler kunde kompensera för faktuella eller instruktionsmässiga misslyckanden. Vi antar därför grindad aggregering som en kärndesignprincip, formellt definierad som:

R(\tau_i) = r_{\text{base}}(\tau_i) \cdot s(\tau_i) \;-\; \operatorname{pen}_{\text{eff}}(\tau_i),

där $r_{\mathrm{base}}(\tau_i) \in \{0, 1\}$ betecknar QA-korrekthet eller regeluppfyllelse, $s(\tau_i)\in[0,1]$ är preferenspoängen, och $\operatorname{pen}_{\mathrm{eff}}(\tau_i)$ är ett ankrat effektivitetsstraff. Detta gör korrekthet till ett nödvändigt villkor för att erhålla preferenskrediter, samtidigt som det motverkar onödig verktygsanvändning och mångordighet. Figur 1 illustrerar hela belöningspipelinen, vars komponenter vi beskriver nedan:

Översikt över belöningsdesign. Vi kombinerar en grundläggande korrekthetssignal (verifierbar/rubrik), ett Bradley–Terry-preferenspoäng och ankrade effektivitetsstraff. Preferensen styrs av grundläggande korrekthet för att förhindra belöningshackning.

Vi definierar en binär baslinjesignal $r_{\mathrm{base}}(\tau_i) \in \{0,1\}$ som fångar uppgiftens korrekthet eller regelefterlevnad. För verifierbar sökagentdata, $r_{\mathrm{base}}(\tau_i)=1$ om det slutgiltiga svaret matchar sanningen, och $0$ annars. För regelbaserad allmän chattdata, $r_{\mathrm{base}}(\tau_i)=1$ om alla regler är uppfyllda, och $0$ annars. Denna baslinje fungerar som den hårda gränsen i den villkorliga aggregeringsregeln ekv. 2.

Vi strävar efter att anpassa policymodellen till användarnas latenta preferenser gällande svarskvalitet – informativitet, tydlighet och professionell ton – vilka är svåra att fånga via LLM-domarens prompter. Vi tränar därför en inlärd preferensbelöningsmodell för att poängsätta dessa attribut direkt.

Vi formulerar preferensinlärning under Bradley–Terry-ramverket. Givet en kontext $x$ och två kandidatsvar $y_a, y_b$ producerar modellen skalära poäng $s_{\theta}(x, y) \in \mathbb{R}$ och minimerar,

\ell_{\text{BT}}(\theta; x, y_a, y_b, r) = -\Big[r \log \sigma(\Delta_\theta) + (1-r) \log\bigl(1 - \sigma(\Delta_\theta)\bigr)\Big], \\ \Delta_\theta = s_\theta(x, y_a) - s_\theta(x, y_b)

där $r \in \{0, 1\}$ indikerar huruvida $y_a$ föredras. För att eliminera positionsbias utökas varje träningspar med båda ordningarna och optimeras symmetriskt,

\mathcal{L}_{\text{sym}} = \tfrac{1}{2}\,\ell_{\text{BT}}(x, y_a, y_b, r) + \tfrac{1}{2}\,\ell_{\text{BT}}(x, y_b, y_a, 1-r).

Vid inferenstid erhåller vi ett positionsagnostiskt preferenspoäng genom att medelvärdesberäkna båda permutationerna:

\bar{\Delta}_\theta(x, y_a, y_b) = \tfrac{1}{2}\Big[\Delta_\theta(x, y_a, y_b) - \Delta_\theta(x, y_b, y_a)\Big], \\ \bar{P}_\theta(x, y_a, y_b) = \sigma\bigl(\bar{\Delta}_\theta(x, y_a, y_b)\bigr).

Preferenspoängen för körningen definieras sedan som $s(\tau_i) \triangleq \bar{P}_{\theta}(x, y_a, y_b) \in [0,1]$ , dvs. sannolikheten för att policykörningen $y_i$ föredras framför referensmodellens körning för samma prompt.

Träningsdata för preferensmodellering hämtas från kurerade dataset med öppen källkod, användarfeedback sida vid sida och interna annoteringar. För att hantera etikettsbrus tillämpar vi en lättviktig filtrerings- och kalibreringspipeline inspirerad av Datbench (DatologyAI, 2026), där endast exempel med konsekvent överensstämmelse mellan modeller behålls. Belöningsmodellen delar samma ryggrad som policymodellen, där språkmodelleringshuvudet har ersatts med ett värdehuvud. Även om mindre belöningsmodeller uppnår jämförbar noggrannhet på utelämnade data, finner vi empiriskt att de misslyckas med att fånga finkorniga preferenser och kan förstärka oönskade policybeteenden.

I avsaknad av explicit effektivitetsformning tenderar policyn att överutnyttja verktyg även vid enkla prompter. Ovillkorliga straff (t.ex. sådana som skalar linjärt med antalet verktygsanrop eller utdatalängd) är en naturlig baslinje, men vi finner att de dämpar nödvändig utforskning och försämrar inlärningen. Vi antar därför grupprelativa, ankrade straff som regulariserar verktygsanvändning och svarslängd i förhållande till effektiva lösningar inom varje GRPO-grupp. För en grupp 𝑔 definierar vi vinnarsetet som:

W_g = \{\, i : r_{\text{base}}(\tau_i) = 1 \,\}.

Ankrat verktygsanropsstraff. För varje körning $\tau_i$ , låt $c_i$ beteckna antalet verktygsanrop och $e_i$ antalet misslyckade verktygsutföranden. Vi definierar det effektiva antalet verktygsanrop $\tilde{c}_i = c_i - e_i$ och samplar en gruppbaslinje enhetligt:

b_g \sim \operatorname{Unif}\!\left(\min_{j \in W_g} \tilde{c}_j,\ \left\lceil \operatorname{mean}_{j \in W_g} \tilde{c}_j \right\rceil\right).

Vi beräknar överskottet $\Delta_i = \max\!\left(0,\; \tilde{c}_i - b_g\right)$ och definierar ett mjukt straffskalär $p_i = 1 - \exp\!\left(-\Delta_i\right)$ . Verktygsstraffet blir därefter:

\operatorname{pen}_{\text{tool}}(\tau_i) = \begin{cases} \alpha_{\text{win}}\, p_i, & i \in W_g, \\ \alpha_{\text{lose}}\, p_i + \beta_{\text{lose}}, & i \notin W_g, \end{cases}

Ankrat längdstraff. Låt $L_i$ och $L_i^{\mathrm{ref}}$ beteckna token-längderna för kandidatens respektive referensmodellens genereringar. Vi definierar formningssetet $\widehat{W}_g$ som körningar som är både korrekta och föredragna:

\widehat{W}_g = \{\, \underbrace{i \in W_g}_{\text{correct}} \;:\; \underbrace{s(\tau_i) \geq 0.5}_{\text{preferred}} \,\}.

Vi beräknar sedan gruppspecifika längdbaslinjer:

\underbrace{b_{g,\text{win}}}_{\substack{\text{avg. ref. length} \\ \text{of winners}}} = \operatorname{mean}_{j \in \widehat{W}_g} L_j^{\text{ref}}, \qquad \underbrace{b_{g,\text{lose}}}_{\substack{\text{avg. ref. length} \\ \text{of losers}}} = \operatorname{mean}_{j \notin \widehat{W}_g} L_j^{\text{ref}}.

Längdstraffet definieras som:

\operatorname{pen}_{\text{len}}(\tau_i) = \begin{cases} 1, & L_i > \max_j L_j^{\text{cmp}} \\ 1 - \exp\!\left(-\max\!\left(0,\ \dfrac{L_i}{b_{g,\text{win}}} - 1\right)\right), & i \in \widehat{W}_g \\ 1 - \exp\!\left(-\max\!\left(0,\ \dfrac{b_{g,\text{lose}}}{L_i} - 1\right)\right), & i \notin \widehat{W}_g \end{cases}

där den första raden är ett hårt tak; den andra straffar mångordiga vinnare; och den tredje straffar korta förlorare.

Kombinerat effektivitetsstraff. Det kombinerade effektivitetsstraffet är en viktad summa av båda komponenterna:

\operatorname{pen}_{\text{eff}}(\tau_i) = \lambda_{\text{tool}}\, \operatorname{pen}_{\text{tool}}(\tau_i) + \lambda_{\text{len}}\, \operatorname{pen}_{\text{len}}(\tau_i).

Vi utvärderar vår efterträningspipeline längs två axlar: (i) träningsdynamik, för att bedöma optimeringsstabilitet och huruvida belöningssignalerna beter sig som förväntat, och (ii) offline-benchmarks, för att mäta nedströmskvalitet, säkerhet och effektivitet under kontrollerade utvärderingsmiljöer.

Standardinställningar för träning. Policymodellen interagerar med ett webbsökverktyg (search_web); varje verktygsanrop hämtar upp till 10 resultat, med frågor begränsade till 250 tecken och upp till 5 frågor per körning.

Vi undersöker optimeringsdynamik med fokus på belöningsprogression och effektivitetsbeteende. Vi använder Qwen3.5-397B-A11B för att förenkla illustrationen.

Utveckling av baslinje- och preferenssignaler under träning.

Figur 2 visar en stadig förbättring av baslinjebelöningen (verifierbar QA och regeluppfyllelse) vid sidan av ökande preferenspoäng, vilket indikerar konsekventa vinster i korrekthet, efterlevnad och svarskvalitet.

Effektivitetsbeteende och ankrade formningsstraff under träning.

Figur 3 visar att både frekvensen av verktygsanrop och genereringslängden förblir välkontrollerade under hela träningen. Särskilt värt att notera är att både verktygsanrops- och längdstraffen minskar monotont under träningsförloppet, vilket återspeglar modellens progressiva anpassning mot mer koncis generering och mer selektiv verktygsanvändning.

Figur 4 visar att gradientnormer förblir stabila bortsett från tillfälliga toppar, medan KL-divergensen mellan träning och inferens uppvisar en mild uppåtgående trend och stannar inom 1e-3-skalan. Detta driftmönster överensstämmer med observationer i andra RL-träningsramar; eftersom träningen förblir stabil under hela förloppet behåller vi en enkel IS-regularisering i ekv. 1 utan ytterligare ingrepp.

Vi rapporterar resultat på en svit av benchmarks som spänner över söknoggrannhet, faktuell tillförlitlighet, instruktionsföljsamhet och säkerhet, vilket omfattar både offentliga benchmarks och interna Perplexity (PPLX)-mått. Offentliga benchmarks inkluderar SimpleQA, FRAMES och Facts Open.

pplx-sbs-search: Preferensutvärdering sida vid sida med hjälp av en intern belöningsmodell. Kandidater jämförs mot en stark baslinje.
pplx-abstention: Förmåga att avstå på ett lämpligt sätt när inga tillförlitliga belägg finns tillgängliga.
pplx-language-mismatch: Språklig konsekvens i långsvans- och flertursmiljöer.
pplx-broken-tool-calls (↓): Efterlevnad av verktygsanropsschema och regelefterlevnad, till exempel tool_choice=none.

Standardinställningar för utvärdering. För offentliga benchmarks tillåter vi endast webbsökverktyget, med en budget på upp till 5 verktygsanrop per exempel och upp till 10 resultat per anrop, vilket genererar upp till 8192 utdatatokens vid temperatur 0.6.

Resultat från utvärdering offline. Siffror inom parentes anger genomsnittlig verktygsanvändning. Vi noterar Qwen3.5-397B-A17B som Qwen3.5-Large och Qwen3.5-122B-A10B som Qwen3.5-Medium.

Tabell 2 visar att Qwen3.5-Large-SFT-RL uppnår stark söknoggrannhet över offentliga benchmarks, där den matchar eller överträffar gpt-5.4 på FRAMES och Facts Open samtidigt som den använder jämförbara verktygsbudgetar. Relativt basmodellen ger vårt tillvägagångssätt betydande vinster på interna mått, särskilt gällande preferens (pplx-sbs-search: 0.602 → 0.742), språklig konsekvens och avstående, vilket visar att tvåstegspipelinen effektivt förbättrar driftskritiska beteenden utan att kompromissa med sökförmågan.

För att mäta detta utformar vi ett budgettvingat utvärderingsprotokoll. Varje modell ges tillgång till ett webbsökverktyg (search_web) och en systemprompt som anger ett hårt tak för antalet tillåtna verktygsanrop ("budgeten"). Vi drar denna budget från 0 (ingen verktygsanvändning, ren parametrisk kunskap) till 10 (generös flerstegshämtning) och registrerar noggrannheten på varje nivå. Detta producerar en verktygseffektivitetskurva: modellens poäng som en funktion av den hämtningsbudget den tillåts. Vi utvärderar på två faktuella QA-benchmarks, FRAMES och Facts Open.

Benchmark-noggrannhet vs Max antal verktygsanrop.

Flera mönster sticker ut från dessa två benchmarks:

Vår eftertränade Qwen3.5-397B-SFT-RL uppnår den bästa söknoggrannheten på båda benchmarksen. Redan med ett enda verktygsanrop får den 57,3 % på FRAMES, 5,7 poäng över GPT-5.4 och 4,7 poäng över Sonnet 4.6.
- Fördelen är som mest uttalad vid måttliga budgetar (b=2-7), vilket är det praktiska driftsintervallet för produktionsdistributioner.
Vårt efterträningsrecept (SFT + RL) förbättrar effektiviteten vid verktygsanvändning avsevärt jämfört med baskontrollpunkten; se heltäckande linjer (eftertränade) vs. streckade linjer (startkontrollpunkt) i figur 5.
För alla modeller observerar vi avtagande avkastning omkring budget=7, vilket är konsekvent över två benchmarks och alla modeller, vilket tyder på att det är en egenskap hos de faktussökande uppgifterna snarare än modellerna.

Resultaten ovan visar att Qwen3.5-397B-SFT-RL uppnår högre noggrannhet med färre verktygsanrop. Men hur omsätts detta i faktisk kostnad? Vi omvandlar mått på token-nivå till dollarkostnader med hjälp av publicerad API-prissättning (Alibaba DashScope, OpenAI, Anthropic) för att göra jämförelsen konkret.

Vid den medelstora profilen (b=4) får Qwen3.5-397B-SFT-RL 73,9 % på FRAMES till 2,0 cent per fråga, medan GPT-5.4 får 67,8 % till 8,5 cent och Sonnet 4.6 får 62,4 % till 15,3 cent. Det är +6 procents noggrannhet till 4x lägre kostnad jämfört med GPT-5.4, och +11,5 procent till 7,5x lägre kostnad jämfört med Sonnet 4.6.

Dessa uppskattningar använder listpris för API utan cachning. Med interna inferensoptimeringar såsom återanvändning av KV-cache, prefixcachning och kvantiserad MoE-betjäning (397B använder endast 17B aktiva parametrar) kan den effektiva kostnaden reduceras långt under API-listpriserna.

Att skilja driftsregelefterlevnad från sökoptimering via en tvåstegs SFT- och RL-pipeline ger en modell som är både kapabel och tillförlitlig under produktionsbegränsningar. Kombinationen av verifierbar QA och regelbaserad träningsdata, tillsammans med grindad belöningsaggregering och ankrad effektivitetsformning, möjliggör stabil flermålsoptimering utan att offra söknoggrannhet eller efterlevnad av skyddsräcken.

Flera riktningar förtjänar vidare undersökning. Som observerats i figur 4 uppvisar KL-divergensen mellan träning och inferens en ihållande uppåtgående drift vid utökade träningssteg. Även om IS-korrigering på token-nivå visar sig vara tillräcklig i vår nuvarande miljö är det oklart om detta förblir sant i större skala; en mer principiell teoretisk behandling av detta matchningsfel – som omfattar avvikelser på infrastrukturnivå och arkitekturspecifika faktorer såsom MoE-routing – vid sidan av kvantitativa empiriska jämförelser av mildringsstrategier, förblir en viktig öppen fråga. För flermåls-RL specifikt inkluderar lovande vägar sekventiell träning (Zeng et al., 2026) med on-policy-destillering för att optimera mål i steg samtidigt som katastrofal glömska mildras; och modellsammanslagning (Fu et al., 2025; Yang et al., 2026) för att frikoppla uppgiftsspecifik optimering från kapacitetsaggregering. Slutligen förblir skalning till realistiska flerverktygsarbetsflöden med långhorisontella banor en viktig öppen utmaning, som sannolikt kräver bättre kreditering, stöd för partiella körningar och utvärderingar.

DatologyAI. Datbench: Diskriminativa, trogna och effektiva utvärderingar av syn-språkmodeller. https://www.datologyai.com/blog/datbench-discriminative-faithful-and-efficient-vision-language-model-evaluations, jan. 2026. Publicerad 6 jan. 2026. Åtkomstad: 2026-03-04.

J. Duchi och H. Namkoong. Variansbaserad regularisering med konvexa mål. arXiv preprint arXiv:1610.02581, 2016.

Z. Fu, X. Wu, Y. Wang, W. Wang, S. Ye, H. Yin, Y. Chang, Y. Zheng och X. Zhao. Träningsfri LLM-sammanslagning för flermålsinlärning. I Proceedings of the 63rd Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), sidorna 33111–33124, 2025.

A. Gunjal, A. Wang, E. Lau, V. Nath, Y. He, B. Liu och S. Hendryx. Regler som belöningar: Förstärkningsinlärning bortom verifierbara domäner. arXiv preprint arXiv:2507.17746, 2025.

J. Liu, Y. Li, Y. Fu, J. Wang, Q. Liu och Y. Shen. När hastighet dödar stabilitet: Avmystifiering av RL-kollaps från matchningsfelet mellan träning och inferens. Notion Blog, 2025a.

S.-Y. Liu, X. Dong, X. Lu, S. Diao, P. Belcak, M. Liu, M.-H. Chen, H. Yin, Y.-C. F. Wang, K.-T. Cheng, et al. Gdpo: Group reward-decoupled normalization policy optimization for multi-reward rl optimization. arXiv preprint arXiv:2601.05242, 2026.

T. Liu, R. Xu, T. Yu, I. Hong, C. Yang, T. Zhao och H. Wang. Openrubrics: Mot skalbar syntetisk regelgenerering för belöningsmodellering och LLM-anpassning. arXiv preprint arXiv:2510.07743, 2025b.

R. Lu, Z. Hou, Z. Wang, H. Zhang, X. Liu, Y. Li, S. Feng, J. Tang och Y. Dong. Deepdive: Avancerar djupsökagenter med kunskapsgrafer och flerturs-RL. arXiv preprint arXiv:2509.10446, 2025.

W. Ma, H. Zhang, L. Zhao, Y. Song, Y. Wang, Z. Sui och F. Luo. Stabilisering av MoE-förstärkningsinlärning genom att anpassa tränings- och inferensroutrar. arXiv preprint arXiv:2510.11370, 2025.

T. Pham, N. Nguyen, P. Zunjare, W. Chen, Y.-M. Tseng och T. Vu. Sealqa: Höjer ribban för resonemang i sökutökade språkmodeller. arXiv preprint arXiv:2506.01062, 2025.

O. Press, M. Zhang, S. Min, L. Schmidt, N. A. Smith och M. Lewis. Mätning och minskning av kompositionsklyftan i språkmodeller. I Findings of the Association for Computational Linguistics: EMNLP 2023, sidorna 5687–5711, 2023.

P. Qi, X. Zhou, Z. Liu, T. Pang, C. Du, M. Lin och W. S. Lee. Omprövning av tillitsregionen i LLM-förstärkningsinlärning. arXiv preprint arXiv:2602.04879, 2026.

Z. Shao, P. Wang, Q. Zhu, R. Xu, J. Song, X. Bi, H. Zhang, M. Zhang, Y. Li, Y. Wu, et al. Deepseekmath: Töjer på gränserna för matematiskt resonemang i öppna språkmodeller. arXiv preprint arXiv:2402.03300, 2024.

Z. Tao, J. Wu, W. Yin, J. Zhang, B. Li, H. Shen, K. Li, L. Zhang, X. Wang, Y. Jiang, et al. Webshaper: Agentbaserad datasynetisering via informationssökande formalisering. arXiv preprint arXiv:2507.15061, 2025.

vLLM och TorchTitan Teams. Inga fler matchningsfel mellan träning och inferens: Bitvis konsekvent on-policy-förstärkningsinlärning med vLLM och TorchTitan. https://blog.vllm.ai /2025/11/10/bitwise-consistent-train-inference.html, nov 2025. vLLM Blog.

J. Wu, W. Yin, Y. Jiang, Z. Wang, Z. Xi, R. Fang, D. Zhou, P. Xie och F. Huang. Webwalker: Benchmarkning av LLM:er i webbtraversering, 2025. URL https://arxiv.org/abs/ 2501.07572.

A. Yang, A. Li, B. Yang, B. Zhang, B. Hui, B. Zheng, B. Yu, C. Gao, C. Huang, C. Lv, et al. Qwen3 teknisk rapport. arXiv preprint arXiv:2505.09388, 2025.

E. Yang, L. Shen, G. Guo, X. Wang, X. Cao, J. Zhang och D. Tao. Modellsammanslagning i LLM:er, MLLM:er och bortom: Metoder, teorier, tillämpningar och möjligheter. ACM Computing Surveys, 58(8):1–41, 2026.

F. Yao, L. Liu, D. Zhang, C. Dong, J. Shang och J. Gao. Your efficient rl framework secretly brings you off-policy rl training, aug. 2025. URL https://fengyao.notion.s ite/off-policy-rl.

A. Zeng, X. Lv, Z. Hou, Z. Du, Q. Zheng, B. Chen, D. Yin, C. Ge, C. Xie, C. Wang, et al. Glm-5: from vibe coding to agentic engineering. arXiv preprint arXiv:2602.15763, 2026.

C. Zheng, K. Dang, B. Yu, M. Li, H. Jiang, J. Lin, Y. Liu, H. Lin, C. Wu, F. Hu, et al. Stabilisering av förstärkningsinlärning med LLM:er: Formuleringsmetoder och praxis. arXiv preprint arXiv:2512.01374, 2025a.

C. Zheng, S. Liu, M. Li, X.-H. Chen, B. Yu, C. Gao, K. Dang, Y. Liu, R. Men, A. Yang, et al. Group sequence policy optimization. arXiv preprint arXiv:2507.18071, 2025b.

BibTeX

@online{perplexity2026AdvancingSearchAugmentedLanguageModels,
  author = {{Perplexity} and Denis Yarats and Dongqi Wu and Hang Wu and Randy Ardywibowo and Senzeyu Zhang and Yunfan Zhong and Ziqing Hu and Clare Southern and Riley Carlson and Yi He and Erin McKnight and Mara Sohn and Phi Hoang},
  title = {{Advancing search-augmented language models}},
  date = {2026-04-22},
  url = {https://perplexity.coolkeypoint.com/hub/blog/advancing-search-augmented-language-models}
}

Introduktion

Träningspipeline i två steg

SFT-steg

RL-steg

RL-träningsdata

Verifierbar sökagentdata

Exempel (3 hopp)

Rubrikbaserad allmän chattdata

Exempel

Promptblandning och variansbalansering

Belöningsdesign

Grundläggande belöning

Preferensmodellering

Effektivitetsstraff

Huvudresultat

Träningsdynamik

Utvärderingar offline

Utvärderingar av verktygsanvändningens effektivitet

Slutsats

Referenser

Citering