Avancerede søgeforstærkede sprogmodeller

Introduktion

Træning af avancerede web-søgeagenter kræver fælles optimering af flere mål: faktuel nøjagtighed, banens effektivitet og tilpasning til brugerpræferencer. Alligevel forringer forbedringen af en enkelt dimension isoleret ofte andre: modeller, der udelukkende er trænede til nøjagtighed, har en tendens til at overbruge værktøjer, mens modeller optimeret til korthed kan ofre pålidelighed eller fuldstændigheid. Hos Perplexity er intet af udfaldene acceptabelt.

Denne artikel beskriver Perplexitys eftertræningspipeline til udvikling af state-of-the-art web-søgeagenter baseret på open source-modeller. En central ide er, at datakuratering og belønningsdesign skal co-designes i søgeagenttræning: dataene bestemmer, hvilken adfærd der er observerbar og verifikabel, og belønningen bestemmer, hvordan disse signaler oversættes til optimeringssignal. Dette princip motiverer vores to-trins pipeline: vi foretager først en overvåget finjusteringsopvarmning (SFT) for at initialisere politikmodellen, og derefter forfiner vi politikmodellen ved hjælp af forstærkende læring (RL) over et kurateret datasæt og omhyggeligt designede belønninger. Denne to-trins tilgang muliggør pålidelige gevinster i nøjagtighed, effektivitet og svarkvalitet under produktionsbegrænsninger.

Vi beskriver først vores to-trins træningspipeline (SFT → on-policy RL), efterfulgt af opbygningen af vores RL-træningsdata, der dækker både verifikabel søgeagent-QA og rubrikbaseret generel Chat. Derefter præsenterer vi et sammensat belønningsdesign afledt af denne heterogene dataindstilling, der balancerer kvalitet og effektivitet, samtidig med at belønningshack afbødes. Til sidst analyserer vi træningsdynamik og benchmark-resultater.

To-trins træningspipeline

Vi anvender en to-trins eftertræningsopskrift: (i) SFT til at etablere implementeringskritiske adfærdstyper såsom sikkerhedsforanstaltninger (f.eks. undladelse), instruktionsfølgning og sprogkonsistens, og (ii) on-policy RL til at forbedre søgekapaciteten, herunder svarnøjagtighed og værktøjsbrugseffektivitet, samtidig med at adfærden fra trin et bevares.

Hvorfor to trin? Det er vanskeligt at optimere søgekvalitet og implementeringsbegrænsninger i fællesskab inden for et enkelt RL-trin uden at gå på kompromis med mindst ét mål. Empirisk set forbedrer RL-udelukkende træning søgeydelsen, men har tendens til at underpræstere på implementeringssikkerhedsforanstaltninger, mens SFT forbedrer overholdelse på bekostning af søgeydelse. Adskillelse af målene gør det muligt for SFT-trinnet at imødekomme ikke-forhandlede krav først, hvorefter RL primært kan fokusere på at forbedre søgekapaciteten.

SFT-trin

Vi initialiserer fra Qwen3-familien af modeller (Qwen3.5-122B-A10B og Qwen3.5-397B-A17B) (Yang et al., 2025, Qwen3.5 blogpost) og opbygger et to-komponents SFT-blandingsdatasæt, der retter sig mod de implementeringskritiske adfærdstyper, der er beskrevet ovenfor, samtidig med at grundmodellens generelle søgekapacitet bevares.

Præferenceorienterede eksempler. Vi kuraterer instruktionsfølgende og stilfokuserede eksempler rettet mod tone, sprogkonsistens, klarhed og formatering. Disse eksempler behøver ikke at have en enestående facitliste; i stedet er de udvalgt til at afspejle produktets skrivekrav og sikre stilistisk konsistens på tværs af forskellige forespørgselstyper.

Produktionsformaterede værktøjsbrugsbaner. Empirisk finder vi, at SFT uden omhyggelig databeskæring kan forringe grundmodellens søgekapacitet væsentligt. For at afbøde dette udtager vi stikprøver af forespørgsler og interne opgaver på tværs af forskellige interaktionsmønstre (enkelt-, to- og flertrins) og annoterer dem med vores værktøjskald-sele.

RL-trin

Med udgangspunkt i SFT-kontrolpunktet anvender vi on-policy RL til at forbedre søgenøjagtighed og effektivitet. Vi optimerer politikmodellen ved hjælp af Group Relative Policy Optimization (GRPO) (Shao et al., 2024).

hvor $G$ er gruppens størrelse, $o_{i}$ betegner det $i$-te samplede output, og $\hat{A}_{i, t} = \hat{A}_{i}$ er fordelen. Belønningsdesign er beskrevet i afsnittet om belønningsdesign; kort sagt kombinerer vi baseline-korrekthed med præferencebaseret og ankrede effektivitetsformgivning. Efter tidligere arbejde (Liu et al., 2025a; Yao et al., 2025; Zheng et al., 2025a) anvender vi token-niveau Importance Sampling (IS) til at korrigere for trænings-infertens-mismatch:

Vi evaluerer adskillige tilgange til afbødning af træning-inferens-mismatch, herunder sekvensniveau IS (Zheng et al., 2025b), routing-genafspilning (Ma et al., 2025; Zheng et al., 2025b) og bitwise konsistent træning, der integrerer inferensmaskinens kerne under træning (vLLM and TorchTitan Teams, 2025). Empirisk finder vi under vores on-policy-opsætning, at token-niveau IS er tilstrækkelig til at forhindre træningskollaps, samtidig med at det er enkelt at implementere; dette er i overensstemmelse med konklusionerne fra Zheng et al (2025a).

RL-træningsdata

Vores RL-træningsdata består af to komplementære komponenter: verifikabel søgeagent-QA rettet mod generel søgekapacitet og rubrikbaseret generel Chat, der eksplicit forstærker implementeringssikkerhedsforanstaltninger for at forhindre regression under RL-træningsfasen.

Verifikable søgeagentdata

Datasætkonstruktion. Efter den sekventielle udvidelsesmetode (Tao et al., 2025) konstruerer vi et internt syntetisk QA-datasæt ud fra interne frø-forespørgsler uden at basere os på en kurateret vidensgraf, hvilket holder pipelinen let og nem at opdatere. Hvert syntetisk eksempel genereres via følgende trin:

1. Frø-udvælgelse. Vi henter dokumenter for frø-forespørgsler og vælger enheder med kildebekræftelse fra flere kilder som startpunkter, idet vi udtrækker atomare udsagn om dem.
2. Flertrins-kædekonstruktion. Fra frø-enhedens udsagn vælger vi et, der introducerer en anden enhed (f.eks. for frøet "The Mom Test" introducerer udsagnet "skrevet af Rob Fitzpatrick" forfatteren som den næste enhed). Vi gentager denne sammenkoblingsproces 2–4 gange, idet vi sikrer, at hver enhed er distinkt, og at intet enkelt udsagn banalt afslører det endelige svar
3. Navneløs spørgsmålssyntese. Vi konverterer enhedskæden til et spørgsmål ved rekursivt at erstatte enhedsnavne med deres forbindende udsagn, hvilket producerer et nestet spørgsmål, der kræver flertrins-ræsonnement
4. Verifikation. Vi beholder kun spørgsmål med unikke svar verificeret af flere uafhængige web-aktiverede løsere.

Eksempel (3-hop)

Overvej frø-forespørgslen "The Mom Test". Vi henter dokumenter og identificerer denne bog som frø-enheden, udtrækker derefter atomare faktuelle udsagn og opbygger iterativt en enhedskæde: (i) The Mom Test blev skrevet af Rob Fitzpatrick, hvilket introducerer Rob Fitzpatrick; (ii) Rob Fitzpatricks første startup gik igennem Y Combinator (sommer 2007), hvilket introducerer Y Combinator; (iii) Y Combinator blev lanceret i marts 2005. Rekursivt at erstatte hvert enhedsnavn med sin beskrivelse giver det navneløse spørgsmål: "Hvilken bog blev skrevet af den person, hvis første startup gik igennem den accelerator, der blev lanceret i marts 2005, i dens sommer 2007-kohorte?" med svaret "The Mom Test".

Format-diversitetsforøgelse. Modeller, der udelukkende er trænede på rå syntetisk QA, har en tendens til at ignorere formateringspræferencer og som standard bruge en fast svarstruktur, uanset hvordan forespørgslen er formuleret. For at forbedre formatdiversiteten forstærker vi datasættet med forespørgsler, der indeholder eksklusive formateringsinstruktioner (f.eks. "Vis en liste over . . . " eller "Opsummer . . . i en tabel"), samtidig med at det underliggende svar holdes uændret.

Offentlig verifikabel QA (baseline). Vi konstruerer et baseline verifikabelt QA-datasæt ud fra fem open source-datasæt (Lu et al., 2025; Pham et al., 2025; Press et al., 2023; Tao et al., 2025; Wu et al., 2025), forenet under vores forstærkede prompt-format med kvalitetsfiltrering. Denne blanding fungerer som den primære baseline i vores valideringseksperimenter. Til kontrollerede sammenligninger matcher vi skalaen for vores interne syntetiske QA-datasæt med denne open source-blanding.

Hurtig validering. Vi validerer effektiviteten af denne pipeline ved hjælp af Qwen3-30B-A3B-Instruct-2507 for at muliggøre hurtig iteration; resultaterne er opsummeret i Tabel 1.

Udvid

Rubrikbaserede generelle chatdata

Selvom verifikabel QA giver et rent træningssignal for søgecentrerede forespørgsler, er en væsentlig brøkdel af produktionstrafikken ikke unikt verifikabel (f.eks. omskrivning, planlægning og åben hjælp). At udelukke sådanne forespørgsler fra RL ville efterlade politikken underoptimeret til ægte brugerinteraktioner. Desuden, selvom SFT-trinnet etablerer implementeringskritiske sikkerhedsforanstaltninger, kan RL regrediere på dem, medmindre de eksplicit forstærkes af dataene.

Vi inkorporerer ikke-verifikable forespørgsler i RL-træning ved at konvertere implementeringskritiske krav – instruktionsfølgning, formateringsbegrænsninger og sikkerhedskonventioner – til rubrikker: atomare, objektivt kontrollerbare kriterier, som et svar skal opfylde. Vi anvender rubrikbaseret datakonstruktion (Gunjal et al., 2025; Liu et al., 2025b), hvor der genereres rubriksæt pr. forespørgsel.

Rubrikgenerering. Givet hele samtalehistorikken beder vi en LLM om at producere et referencesvar og et tilsvarende rubriksæt. Rubrikker udledes under en fast præcedensrækkefølge: krav, der udtrykkeligt er angivet af brugeren, har prioritet, efterfulgt af interne begrænsninger og endelig nødvendige indholdskrav udledt fra referencesvaret. Hver rubrik skal være:

• Atomar: en enkelt, veldefineret kontrol;
• Objektiv: verifikabel uden subjektiv vurdering;
• Nødvendig: påkrævet for at besvare forespørgslen, ikke blot en stilistisk præference.

Eksempel

Forespørgsel.

She will share u man power planning. We have to arrange lodging & boarding. Plz correct swntence.

Rubrikker.

• Svaret er skrevet på engelsk.
• Den korrigerede ordlyd indeholder ordene "lodging" og "boarding".
• Den korrigerede ordlyd bruger "manpower" som et enkelt ord (for eksempel "manpower plan" eller "manpower planning") i stedet for "man power".
• Den korrigerede ordlyd indeholder ikke de uformelle forkortelsestokens "u" eller "Plz", og den indeholder ikke og-tegn "&".
• Svaret indeholder ikke citationsmarkører af formen \\[type:idx\\], hvor type betegner en datakilde (for eksempel web, chart, memory, attached_file).

Rubrikkalibrering. For at undgå alt for strenge eller alt for tilladende rubriksæt anvender vi et pass@4-filter. For hver forespørgsel sampler vi fire uafhængige svar og evaluerer dem mod det fulde rubriksæt med en instruktionsfølgende dommer. Vi fravælger forespørgsler, hvor intet svar opfylder rubriksættet, eller hvor alle svar gør det, og beholder kun dem, der giver et informativt træningssignal.

Prompt-blanding og variansbalancering

En praktisk udfordring i multi-objective RL er variansubalance på tværs af datakomponenter (Duchi og Namkoong, 2016; Liu et al., 2026; Qi et al., 2026). Selvom både verifikabel QA og rubrikbaserede data giver binære belønninger, adskiller de sig væsentligt i opgavesværhedsgrad: rubriktopfyldelse er generelt lettere at opnå tidligt i træningen, hvilket producerer større og hyppigere gradientopdateringer, der uforholdsmæssigt kan dominere politikoptimering i forhold til det sværere verifikable QA-signal. For at løse dette vægter vi prompt-blandingen om på datasætniveau, hvor vi sampler 90% fra verifikabel QA og 10% fra rubrikbaserede data for at balancere optimeringssignalet på tværs af komponenter.

Belønningsdesign

Vores belønningsdesign følger direkte af den ovenfor beskrevede datakonstruktion. På trods af at det spænder over både verifikabel QA og rubrikopgaver, deler alle træningsdata en fælles baseline-belønningsstruktur: en udrulning modtager kreditter, hvis den producerer et korrekt svar på QA-opgaver eller opfylder alle specificerede rubrikker for generel chat. Byggende på dette delte fundament konstruerer vi en sammensat belønning for at inkorporere præferencebaseret scoring og effektivitetsformgivning.

En central udfordring observeret i tidlige eksperimenter var belønningshack: en simpel lineær kombination af belønninger tillod stærke præferencesignaler at kompensere for faktuelle eller instruktionsmæssige svigt. Vi anvender derfor gated aggregering som et kernedesignprincip, formelt defineret som:

hvor $r_{\mathrm{base}}(\tau_i) \in \{0, 1\}$ betegner QA-korrekthed eller rubriktopfyldelse, $s(\tau_i)\in[0,1]$ er præferencescoren, og $\operatorname{pen}_{\mathrm{eff}}(\tau_i)$ er en ankret effektivitetsstraf. Dette gør korrekthed til en nødvendig betingelse for at modtage præferencekreditter, samtidig med at unødvendig værktøjsbrug og ordrethed stadig frarådes. Figur 1 illustrerer den fulde belønningspipeline, hvis komponenter vi beskriver nedenfor:

Udvid

Baseline-belønning

Vi definerer et binært baseline-signal $r_{\mathrm{base}}(\tau_i) \in \{0,1\}$, der indfanger opgavekorrekthed eller instruktionsoverholdelse. For verifikable søgeagentdata, $r_{\mathrm{base}}(\tau_i)=1$ hvis det endelige svar matcher facitlisten, og $0$ ellers. For rubrikbaserede generelle chatdata, $r_{\mathrm{base}}(\tau_i)=1$ hvis alle rubrikker er opfyldt, og $0$ ellers. Denne baseline fungerer som den hårde gate i den betingede aggregeringsregel lign. 2.

Præferencemodellering

Vi sigter mod at tilpasse politikmodellen til brugernes latente præferencer vedrørende svarkvalitet – informativitet, klarhed og professionel tone – som er vanskelige at indfange via LLM-dommerprompts. Vi træner derfor en indlært præferencebelønningsmodel til at score disse attributter direkte.

Vi formulerer præferenceindlæring under Bradley–Terry-rammen. Givet en kontekst $x$ og to kandidateksempler på svar $y_a, y_b$ producerer modellen skalare scorer $s_{\theta}(x, y) \in \mathbb{R}$ og minimerer,

hvor $r \in \{0, 1\}$ angiver, om $y_a$ foretrækkes. For at fjerne positionsbias udvides hvert træningspar med begge ordninger og optimeres symmetrisk,

Ved inferenstid opnår vi en positionsuafhængig præferencescore ved at midle begge permutationer:

Udrulningspræferencescoren defineres derefter som $s(\tau_i) \triangleq \bar{P}_{\theta}(x, y_a, y_b) \in [0,1]$, dvs. sandsynligheden for, at politikudrulningen $y_i$ foretrækkes frem for referencemodeludrulningen for den samme prompt.

Træningsdata til præferencemodellering hentes fra kuraterede open source-datasæt, bruger-side-by-side-feedback og interne annoteringer. For at imødegå mærkatstøj anvender vi en letvægtsfiltrerings- og kalibreringspipeline inspireret af Datbench (DatologyAI, 2026), som kun beholder eksempler med konsekvent tværmodel-overensstemmelse. Belønningsmodellen deler den samme ryggrad som politikmodellen, hvor sprogmodelleringshovedet er erstattet af et værdihoved. Mens mindre belønningsmodeller opnår sammenlignelig hold-out-nøjagtighed, finder vi empirisk, at de ikke formår at indfange finkornede præferencer og kan forstærke uønsket politikadfærd.

Effektivitetsstraf

I mangel af eksklusiv effektivitetsformgivning har politikken en tendens til at overbruge værktøjer selv ved enkle prompts. Ubetingede straffe (f.eks. dem, der skalerer lineært med antallet af værktøjskald eller outputlængde) er en naturlig baseline, men vi finder, at de undertrykker nødvendig udforskning og forringer indlæringen. Vi anvender derfor grupperelative, ankrede straffe, som regulariserer værktøjsforbrug og svarlængde i forhold til effektive løsninger inden for hver GRPO-gruppe. For en gruppe 𝑔 definerer vi vundersættet som:

Forankret straf for værktøjskald. For hver rollout $\tau_i$, lad $c_i$ betegne antallet af værktøjskald og $e_i$ antallet af fejl under værktøjsudførelse. Vi definerer det effektive antal værktøjskald $\tilde{c}_i = c_i - e_i$ og udvælger ensartet en gruppestandard:

Vi beregner overskuddet $\Delta_i = \max\!\left(0,\; \tilde{c}_i - b_g\right)$ og definerer en glat strafskalar $p_i = 1 - \exp\!\left(-\Delta_i\right)$. Værktøjsstraffen er da:

Ankret længdestraf. Lad $L_i$ og $L_i^{\mathrm{ref}}$ betegne henholdsvis token-længderne for kandidat- og referencemodelgenerationerne. Vi definerer formgivningssættet $\widehat{W}_g$ som udrulninger, der både er korrekte og foretrukne:

Vi beregner derefter gruppespecifikke længdebaselines:

Længdestraffen defineres som:

hvor den første linje er et hårdt loft; den anden straffer ordrette vindere; og den tredje straffer knappe tabere.

Kombineret effektivitetsstraf. Den kombinerede effektivitetsstraf er en vægtet sum af begge komponenter:

Hovedresultater

Vi evaluerer vores eftertræningspipeline langs to akser: (i) træningsdynamik for at vurdere optimeringsstabilitet og om belønningssignalerne opfører sig som forventet, og (ii) offline benchmarks for at måle downstream-kvalitet, sikkerhed og effektivitet under kontrollerede evalueringsindstillinger.

Standardtræningsindstillinger. Politikmodellen interagerer med et websøgeværktøj (search_web); hvert værktøjskald henter op til 10 resultater, med forespørgsler begrænset til 250 tegn og op til 5 forespørgsler pr. udrulning.

Træningsdynamik

Vi undersøger optimeringsdynamik med fokus på belønningsprogression og effektivitetsadfærd. Vi bruger Qwen3.5-397B-A11B for illustrationens skyld.

Udvid

Figur 2 viser en jævn forbedring i baseline-belønningen (verifikabel QA og rubriktopfyldelse) sideløbende med stigende præferencescorer, hvilket indikerer konsekvente gevinster i korrekthed, overholdelse og svarkvalitet.

Udvid

Figur 3 demonstrerer, at både værktøjskaldsfrekvens og generationslængde forbliver godt kontrolleret under hele træningen. Navnlig aftager både værktøjskalds- og længdestraffen monotont i løbet af træningen, hvilket afspejler modellens progressive tilpasning mod mere kortfattet generering og mere selektiv værktøjsaktivering.

Udvid

Figur 4 viser, at gradientnormer forbliver stabile bortset fra forbigående toppunkter, mens trænings-infertens-KL-divergensen udviser en mild opadgående tendens, idet den forbliver inden for 1e-3-skalaen. Dette driftmønster er i overensstemmelse med observationer i andre RL-træningsrammer; da træningen forbliver stabil hele vejen igennem, bevarer vi en simpel IS-regularisering i lign. 1 uden yderligere indgriben.

Offline-evalueringer

Vi rapporterer resultater på en række benchmarks, der spænder over søgenøjagtighed, faktuel pålidelighed, instruktionsfølgning og sikkerhed, bestående af både offentlige benchmarks og interne Perplexity-metrikker (PPLX). Offentlige benchmarks inkluderer SimpleQA, FRAMES og Facts Open.

• pplx-sbs-search: Side-by-side præferenceevaluering ved hjælp af en intern belønningsmodel. Kandidater sammenlignes med en stærk baseline.
• pplx-abstention: Evne til at afvise på passende vis, når der ikke er nogen pålidelig evidens til rådighed.
• pplx-language-mismatch: Sprogkonsistens under long-tail- og flertrinsindstillinger.
• pplx-broken-tool-calls (↓): Overholdelse af værktøjskaldsskema og begrænsningsfølgning, for eksempel tool_choice=none.

Standardevalueringsindstillinger. For offentlige benchmarks tillader vi kun websøgeværktøjet med et budget på op til 5 værktøjskald pr. eksempel og op til 10 resultater pr. kald, hvilket genererer op til 8192 output-tokens ved temperatur 0,6.

Udvid

Tabel 2 viser, at Qwen3.5-Large-SFT-RL opnår stærk søgenøjagtighed på tværs af offentlige benchmarks, idet den matcher eller overgår gpt-5.4 på FRAMES og Facts Open, mens den bruger sammenlignelige værktøjsbudgetter. I forhold til grundmodellen giver vores tilgang væsentlige gevinster på interne metrikker, især på præference (pplx-sbs-search: 0,602 → 0,742), sprogkonsistens og undladelse, hvilket viser, at to-trins pipelinen effektivt forbedrer implementeringskritiske adfærdstyper uden at gå på kompromis med søgekapaciteten.

Evalueringer af værktøjsbrugseffektivitet

For at måle dette designer vi en budgettvunget evalueringsprotokol. Hver model får adgang til et websøgeværktøj (search_web) og en systemprompt, der angiver en hård grænse for antallet af tilladte værktøjskald ("budgettet"). Vi varierer dette budget fra 0 (ingen værktøjsbrug, ren parametrisk viden) til 10 (generøs flertrins-indhentning) og registrerer nøjagtigheden på hvert niveau. Dette giver en værktøjseffektivitetskurve: modellens score som funktion af det indhentningsbudget, den har tilladelse til. Vi evaluerer på to faktuelle QA-benchmarks, FRAMES og Facts Open.

Udvid

Adskillige mønstre skiller sig ud fra disse to benchmarks:

• Vores eftertrænede Qwen3.5-397B-SFT-RL opnår den bedste søgenøjagtighed på begge benchmarks. Selv med et enkelt værktøjskald scorer den 57,3% på FRAMES, 5,7 point over GPT-5.4 og 4,7 point over Sonnet 4.6.
  • Fordelen er mest udtalt ved moderate budgetter (b=2-7), hvilket er det praktiske driftsområde for produktionsimplementeringer.
• Vores eftertræningsopskrift (SFT + RL) forbedrer værktøjsbrugseffektiviteten væsentligt i forhold til grundkontrolpunktet; se fuldt optrukne linjer (eftertrænede) vs. stiplede linjer (startkontrolpunkt) i Figur 5.
• For alle modeller observerer vi faldende afkast omkring budget=7, konsekvent på tværs af to benchmarks og alle modeller, hvilket antyder, at det er en egenskab ved de faktabsøgende opgaver snarere end modellerne.

Resultaterne ovenfor viser, at Qwen3.5-397B-SFT-RL opnår højere nøjagtighed med færre værktøjskald. Men hvordan oversættes dette til faktiske omkostninger? Vi konverterer token-niveau målinger til dollaromkostninger ved hjælp af offentliggjorte API-priser (Alibaba DashScope, OpenAI, Anthropic) for at gøre sammenligningen konkret.

Udvid

Ved medium-profilen (b=4) scorer Qwen3.5-397B-SFT-RL 73,9% på FRAMES til 2,0 cents pr. forespørgsel, mens GPT-5.4 scorer 67,8% til 8,5 cents og Sonnet 4.6 scorer 62,4% til 15,3 cents. Det er +6 points nøjagtighed til 4x lavere omkostninger sammenlignet med GPT-5.4 og +11,5 points til 7,5x lavere omkostninger sammenlignet med Sonnet 4.6.

Disse estimater bruger listepriser for API uden caching. Med interne inferensoptimeringer såsom genbrug af KV-cache, præfiks-caching og kvantiseret MoE-servering (397B bruger kun 17B aktive parametre) kan de effektive omkostninger reduceres godt under listepriserne for API.

Konklusion

At adskille implementeringsoverholdelse fra søgeoptimering via en to-trins SFT- og RL-pipeline giver en model, der både er kapabel og pålidelig under produktionsbegrænsninger. Kombinationen af verifikabel QA og rubrikbaseret træningsdata sammen med gateret belønningsaggregering og ankret effektivitetsformgivning muliggør stabil multi-objective-optimering uden at offere søgenøjagtighed eller overholdelse af sikkerhedsforanstaltninger.

Adskillige retninger fortjener yderligere undersøgelse. Som observeret i Figur 4 udviser trænings-infertens-KL-divergensen en vedvarende opadgående drift ved udvidede træningstrin. Selvom token-niveau IS-korrektion viser sig at være tilstrækkelig under vores nuværende opsætning, er det uklart, om dette forbliver sandt i større skala; en mere principfast teoretisk behandling af dette mismatch – der omfatter uoverensstemmelser på infrastrukturniveau og arkitekturspecifikke faktorer såsom MoE-routing – sammen med kvantitative empiriske sammenligninger af afbødningsstrategier forbliver et vigtigt ubesvaret spørgsmål. For multi-objective RL specifikt inkluderer lovende veje sekventiel træning (Zeng et al., 2026) med on-policy-distillation for at optimere mål i trin, samtidig med at katastrofal glemning afbødes; og model-sammensmeltning (Fu et al., 2025; Yang et al., 2026) for at afkopple opgavespecifik optimering fra kapacitetsaggregation. Endelig forbliver skalering til realistiske multi-værktøjs-arbejdsprocesser med langsigtede baner en vigtig åben udfordring, der sandsynligvis kræver bedre kredittildeling, understøttelse af delvise udrulninger og evalueringer.

Referencer

DatologyAI. Datbench: Diskriminerende, trofast og effektiv evaluering af syn-sprog-modeller. https://www.datologyai.com/blog/datbench-discriminative-faithful-and-efficient-vision-language-model-evaluations, Jan. 2026. Offentliggjort 6. jan. 2026. Tilgået: 2026-03-04.

J. Duchi og H. Namkoong. Variansbaseret regularisering med konvekse mål. arXiv preprint arXiv:1610.02581, 2016.

Z. Fu, X. Wu, Y. Wang, W. Wang, S. Ye, H. Yin, Y. Chang, Y. Zheng, og X. Zhao. Træningsfri llm-sammensmeltning til multitask-læring. I Proceedings of the 63rd Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), siderne 33111–33124, 2025.

A. Gunjal, A. Wang, E. Lau, V. Nath, Y. He, B. Liu, og S. Hendryx. Rubrikker som belønninger: Forstærkende læring ud over verifikable domæner. arXiv preprint arXiv:2507.17746, 2025.

J. Liu, Y. Li, Y. Fu, J. Wang, Q. Liu, og Y. Shen. Når hastighed slår stabilitet: Afmystificering af rl-kollaps fra trænings-infertens-mismatch. Notion Blog, 2025a.

S.-Y. Liu, X. Dong, X. Lu, S. Diao, P. Belcak, M. Liu, M.-H. Chen, H. Yin, Y.-C. F. Wang, K.-T. Cheng, et al. Gdpo: Group reward-decoupled normalization policy optimization for multi-reward rl optimization. arXiv preprint arXiv:2601.05242, 2026.

T. Liu, R. Xu, T. Yu, I. Hong, C. Yang, T. Zhao, og H. Wang. Openrubrics: Mod skalerbar syntetisk rubrikgenerering til belønningsmodellering og llm-tilpasning. arXiv preprint arXiv:2510.07743, 2025b.

R. Lu, Z. Hou, Z. Wang, H. Zhang, X. Liu, Y. Li, S. Feng, J. Tang, og Y. Dong. Deepdive: Avancering af dybe søgeagenter med vidensgrafer og flertrins-rl. arXiv preprint arXiv:2509.10446, 2025.

W. Ma, H. Zhang, L. Zhao, Y. Song, Y. Wang, Z. Sui, og F. Luo. Stabilisering af moe-forstærkende læring ved at tilpasse trænings- og inferens-routere. arXiv preprint arXiv:2510.11370, 2025.

T. Pham, N. Nguyen, P. Zunjare, W. Chen, Y.-M. Tseng, og T. Vu. Sealqa: Hævning af barren for ræsonnement i søgeforstærkede sprogmodeller. arXiv preprint arXiv:2506.01062, 2025.

O. Press, M. Zhang, S. Min, L. Schmidt, N. A. Smith, og M. Lewis. Måling og indsnævring af kompositionalitetskløften i sprogmodeller. I Findings of the Association for Computational Linguistics: EMNLP 2023, siderne 5687–5711, 2023.

P. Qi, X. Zhou, Z. Liu, T. Pang, C. Du, M. Lin, og W. S. Lee. Genovervejelse af tillidsregionen i llm-forstærkende læring. arXiv preprint arXiv:2602.04879, 2026.

Z. Shao, P. Wang, Q. Zhu, R. Xu, J. Song, X. Bi, H. Zhang, M. Zhang, Y. Li, Y. Wu, et al. Deepseekmath: Flytning af grænserne for matematisk ræsonnement i åbne sprogmodeller. arXiv preprint arXiv:2402.03300, 2024.

Z. Tao, J. Wu, W. Yin, J. Zhang, B. Li, H. Shen, K. Li, L. Zhang, X. Wang, Y. Jiang, et al. Webshaper: Agentisk datasyntese via informationssøgende formalisering. arXiv preprint arXiv:2507.15061, 2025.

vLLM og TorchTitan Teams. Ikke mere trænings-infertens-mismatch: Bitwise konsistent on-policy forstærkende læring med vLLM og TorchTitan. https://blog.vllm.ai /2025/11/10/bitwise-consistent-train-inference.html, nov 2025. vLLM Blog.

J. Wu, W. Yin, Y. Jiang, Z. Wang, Z. Xi, R. Fang, D. Zhou, P. Xie, og F. Huang. Webwalker: Benchmarking af llm'er i webtraversering, 2025. URL https://arxiv.org/abs/ 2501.07572.

A. Yang, A. Li, B. Yang, B. Zhang, B. Hui, B. Zheng, B. Yu, C. Gao, C. Huang, C. Lv, et al. Qwen3 teknisk rapport. arXiv preprint arXiv:2505.09388, 2025.

E. Yang, L. Shen, G. Guo, X. Wang, X. Cao, J. Zhang, og D. Tao. Model-sammensmeltning i llm'er, mllm'er og videre: Metoder, teorier, applikationer og muligheder. ACM Computing Surveys, 58(8):1–41, 2026.

F. Yao, L. Liu, D. Zhang, C. Dong, J. Shang, og J. Gao. Dit effektive rl-framework bringer dig i hemmelighed off-policy rl-træning, aug. 2025. URL https://fengyao.notion.s ite/off-policy-rl.

A. Zeng, X. Lv, Z. Hou, Z. Du, Q. Zheng, B. Chen, D. Yin, C. Ge, C. Xie, C. Wang, et al. Glm-5: fra vibe coding til agentisk ingeniørkunst. arXiv preprint arXiv:2602.15763, 2026.

C. Zheng, K. Dang, B. Yu, M. Li, H. Jiang, J. Lin, Y. Liu, H. Lin, C. Wu, F. Hu, et al. Stabilisering af forstærkende læring med llm'er: Formulering og praksis. arXiv preprint arXiv:2512.01374, 2025a.

C. Zheng, S. Liu, M. Li, X.-H. Chen, B. Yu, C. Gao, K. Dang, Y. Liu, R. Men, A. Yang, et al. Group sequence policy optimization. arXiv preprint arXiv:2507.18071, 2025b.

Citering

@online{perplexity2026AdvancingSearchAugmentedLanguageModels,
  author = {{Perplexity} and Denis Yarats and Dongqi Wu and Hang Wu and Randy Ardywibowo and Senzeyu Zhang and Yunfan Zhong and Ziqing Hu and Clare Southern and Riley Carlson and Yi He and Erin McKnight and Mara Sohn and Phi Hoang},
  title = {{Advancing search-augmented language models}},
  date = {2026-04-22},
  url = {https://perplexity.coolkeypoint.com/hub/blog/advancing-search-augmented-language-models}
}