Þróun leitarauðgaðra tungumálalíkana

Inngangur

Þjálfun nýjustu vefleitarmiðlara (web search agents) krefst þess að hagræða mörgum markmiðum í einu: staðreyndanákvæmni, skilvirkni ferla og samræmingu við óskir notenda. Hins vegar leiðir það oft til þess að aðrir þættir versna ef einni vídd er breytt sjálfstætt: líkön sem eru þjálfuð eingöngu með tilliti til nákvæmni hafa tilhneigingu til að ofnota tól, en líkön sem eru fínstillt fyrir stutt svör gætu fórnað áreiðanleika eða heildstæði. Hjá Perplexity er hvorugur kosturinn ásættanlegur.

Þessi grein lýsir eftirþjálfunarleiðslu Perplexity til að þróa fullkomnustu vefleitarmiðlara sem byggja á opnum líkönum. Lykilhugmyndin er sú að við þjálfun leitarmiðlara verður að hanna gagnasöfnun og umbunarhönnun samhliða: gögnin ákvarða hvaða hegðun er sjáanleg og sannreynanleg, og umbunin ákvarðar hvernig þessum merkjum er breytt í hagræðingarmerki. Þessi regla hvetur til tveggja þrepa leiðslu okkar: við framkvæmum fyrst forhitun með leiðsögn (Supervised Fine-Tuning - SFT) til að frumstilla stefnulíkanið (policy model) og fínstillum það síðan með styrktarnámi (Reinforcement Learning - RL) yfir valið gagnasafn og vandlega hannaða umbun. Þessi tveggja þrepa nálgun gerir kleift að ná áreiðanlegum framförum í nákvæmni, skilvirkni and svargæðum undir skorðum framleiðsluumhverfis.

Við lýsum fyrst tveggja þrepa þjálfunarleiðslu okkar (SFT → stefnubundið RL), og förum síðan yfir smíði RL-þjálfunargagna, sem tekur til bæði sannreynanlegrar spurninga- og svaragerðar (QA) leitarmiðlara og almenns spjalls byggðu á leiðbeiningum (rubrics). Við kynnum því næst samsetta umbunarhönnun sem er fengin úr þessu fjölbreytta gagnaumhverfi, sem jafnar gæði og skilvirkni á meðan dregið er úr umbunarhakkaprófílum. Að lokum greinum við þjálfunardýnamík og niðurstöður viðmiðunarprófa.

Tveggja þrepa þjálfunarleiðsla

Við tileinkum okkur tveggja þrepa eftirþjálfunaruppskrift: (i) SFT til að koma á hegðun sem skiptir sköpum við útsendingu, svo sem öryggishömlum (t.d. að sleppa svörum), eftirfylgni við leiðbeiningar og samræmi í tungumáli, og (ii) stefnubundið RL til að bæta leitargetu, þar með talið nákvæmni svara og skilvirkni við tólanotkun, á meðan hegðun frá fyrsta þrepi er haldið til haga.

Af hverju tvö þrep? Það er erfitt að fínstilla leitarqæði og skorður við útsendingu í einu og sama RL-þorpinu án þess að fórna að minnsta kosti einu markmiði. Reynsla sýnir að RL-einangruð þjálfun bætir leitarafköst en hefur tilhneigingu til að standa sig verr hvað varðar öryggishömlur, á meðan SFT bætir samræmi á kostnað leitarafkasta. Með því að aðgreina markmiðin getur SFT-þrepið fyrst tekist á við ófrávíkjanlegar kröfur, eftir það getur RL einbeitt sér aðallega að því að bæta leitargetu.

SFT-þrep

Við frumstillum frá Qwen3 líkanfjölskyldunni (Qwen3.5-122B-A10B og Qwen3.5-397B-A17B) (Yang et al., 2025, Qwen3.5 bloggpóstur) og smíðum tveggja þátta SFT blöndunargagnasafn sem miðar að hinni mikilvægu útsendingarhegðun sem lýst er hér að ofan, á meðan almenn leitargeta grunnlíkansins er varðveitt.

Dæmi miðuð við óskir. Við veljum dæmi sem miða að leiðbeiningum og stíl og beinast að tón, tungumálasamræmi, skýrleika og sniði. Þessi dæmi þurfa ekki að hafa eina ákveðna sannleika; þau eru heldur valin til að endurspegla kröfur um vöruskrift og tryggja stílsamræmi yfir fjölbreyttar fyrirspurnartegundir.

Ferlar fyrir tólanotkun á framleiðslusniði. Reynsla sýnir okkur að SFT án vandaðrar gagnasafnsvals getur dregið verulega úr leitargetu grunnlíkansins. Til að draga úr þessu tökum við sýnishorn af fyrirspurnum og innri verkefnum yfir fjölbreytt samskiptamynstur (einn, tvo og marga snúninga) og merkjum þau með okkar tólakallsbúnaði (harness).

RL-þrep

Miðað út frá SFT-gáttinni (checkpoint) beitum við stefnubundið RL til að bæta leitarnákvæmni og skilvirkni. Við fínstillum stefnulíkanið með Group Relative Policy Optimization (GRPO) (Shao et al., 2024).

þar sem $G$ er stærð hópsins, $o_{i}$ táknar $i$-ta úttakið sem tekið er sýnishorn af, og $\hat{A}_{i, t} = \hat{A}_{i}$ er yfirburðurinn (advantage). Umbunarhönnun er útskýrð nánar í hlutanum um umbunarhönnun; í stuttu máli, við sameinum grunnréttmæti með umbuna- og akkeristengdri skilvirknimótun. Í kjölfar fyrri vinnu (Liu et al., 2025a; Yao et al., 2025; Zheng et al., 2025a) beitum við auðkennisbundinni mikilvægissýnatöku á táknham (token-level Importance Sampling - IS) til að leiðrétta misræmi milli þjálfunar og ályktunar (inference):

Við metum nokkrar aðferðir til að draga úr misræmi milli þjálfunar og ályktunar, þar á meðal IS á röðarstigi (Zheng et al., 2025b), leiðarspilun (routing replay) (Ma et al., 2025; Zheng et al., 2025b), og tvíundarsamræmda þjálfun sem samþættir kjarna ályktunarvélarinnar við þjálfun (vLLM og TorchTitan teymin, 2025). Af reynslu finnum við, í okkar stefnubundna umhverfi, að IS á táknham dugar til að koma vegum fyrir hrun í þjálfun á meðan það er einfalt í innleiðingu; þetta er í samræmi við niðurstöður frá Zheng et al (2025a).

RL þjálfunargögn

RL þjálfunargögnin okkar samanstanda af tveimur þáttum sem styðja hvorn annan: sannreynanlegu spurninga- og svarakerfi leitarmiðlara sem miðar að almennri leitargetu, og almennu spjalli byggðu á leiðbeiningum sem styrkir útsendingaröryggishömlur skýrlega til að koma í veg fyrir afturför á þjálfunarstigi RL.

Sannreynanleg gögn leitarmiðlara

Gerð gagnasafns. Í kjölfar raðstækkarinnar (sequential expansion method) (Tao et al., 2025) smíðum við tilbúið spurninga- og svarasafn innanhúss úr innri upphafsumtökum (seed queries) án þess að treysta á tilbúið þekkingarnet, sem heldur leiðslunni léttri og auðveldri í uppfærslu. Hvert tilbúið dæmi er búið til með eftirfarandi skrefum:

1. Val á upphafsumtökum. Við sækjum skjöl fyrir upphafsumtök og veljum einingar með staðfestingu á staðreyndum úr mörgum áttum sem upphafspunkta, og drögum út frumstæðar yfirlýsingar um þær.
2. Smíði margra þrepa keðju. Úr yfirlýsingum upphafseiningarinnar veljum við eina sem kynnir til sögunnar aðra einingu (t.d. fyrir upphafseininguna „The Mom Test“, kynnir yfirlýsingin „skrifað af Rob Fitzpatrick“ höfundinn sem næstu einingu). Við endurtökum þetta tengingarferli 2–4 sinnum, og tryggjum að hver eining sé aðskilin og að engin stök yfirlýsing leiði lokaorðið auðveldlega í ljós
3. Spurningamyndun án nafna. Við breytum einingakeðjunni í spurningu með því að skipta eininganöfnum afturkvæmt út fyrir tengiyfirlýsingar þeirra, sem framkallar hreiðraða spurningu sem krefst margra þrepa rökhugsunar
4. Staðfesting. Við höldum aðeins spurningum með einstökum svörum sem staðfestar eru af mörgum sjálfstæðum vefvirkum lausnaraðilum.

Dæmi (3 þrep)

Íhugaðu upphafsumtakið „The Mom Test“. Við sækjum skjöl og auðkennum þessa bók sem upphafseiningu, drögum síðan út frumstæðar staðreyndayfirlýsingar og byggjum ítrekað upp einingakeðju: (i) The Mom Test var skrifuð af Rob Fitzpatrick, sem kynnir til sögunnar Rob Fitzpatrick; (ii) Fyrsti sprotafyrirtæki Rob Fitzpatrick fór í gegnum Y Combinator (sumar 2007), sem kynnir til sögunnar Y Combinator; (iii) Y Combinator var hleypt af stokkunum í mars 2005. Með því að skipta hverju eininganafni afturkvæmt út fyrir lýsandi þátt þess fæst nafnlaus spurning: „Hvaða bók var skrifuð af þeim einstaklingi sem fyrsta sprotafyrirtæki fór í gegnum hraðalinn sem hleypt var af stokkunum í mars 2005, í sumarhópi hans 2007?“ með svarið „The Mom Test“.

Aukning fjölbreytni í sniði. Líkön sem eru einungis þjálfuð á hráum tilbúnum spurninga- og svaragögnum hafa tilhneigingu til að hunsa sniðóskir og nota sjálfgefið fasta svarsnið, óháð því hvernig fyrirspurninni er stillt upp. Til að bæta fjölbreytni í sniði aukum við gagnasafnið með fyrirspurnum sem innihalda skýr fyrirmæli um snið (t.d. „Sýndu lista yfir...“ eða „Samantekt á... í töflu“), á meðan undirliggjandi svar er haft óbreytt.

Opinber sannreynanleg spurninga- og svaragerð (grunnlína). Við smíðum grunnlínu fyrir sannreynanlegt spurninga- og svarasafn úr fimm opnum gagnasöfnum (Lu et al., 2025; Pham et al., 2025; Press et al., 2023; Tao et al., 2025; Wu et al., 2025), samræmd undir okkar aukna hvatningarsniði (prompt format) með gæðasíun. Þessi blanda þjónar sem aðalgrunnlína í staðfestingartilraunum okkar. Til að hafa stjórn á samanburði samræmum við stærð okkar eigin tilbúna spurninga- og svarasafns innanhúss við þessa opnu blöndu.

Fljótleg staðfesting. Við staðfestum virkni þessarar leiðslu með því að nota Qwen3-30B-A3B-Instruct-2507 til að gera hröðum endurtekningum kleift; niðurstöður eru teknar saman í töflu 1.

Stækka

Gögn fyrir almennt spjall byggt á leiðbeiningum

Þó að sannreynanlegt spurninga- og svarasafn veiti hreint þjálfunarmerki fyrir leitartengdar fyrirspurnir, er verulegur hluti framleiðsluumferðar ekki auðveldlega sannreynanlegur (t.d. endurskrifun, áætlunargerð og opnar aðstoðaraðgerðir). Ef slíkar fyrirspurnir væru teknar út úr RL myndi það skilja stefnulíkanið eftir ófullnægjandi fínstillt fyrir raunveruleg samskipti notenda. Þar að auki, þótt SFT-þrepið komi á öryggishömlum sem skipta sköpum við útsendingu, getur RL farið aftur á bak í þeim nema þær séu sérstaklega styrktar með gögnunum.

Við fellum ósannreynanlegar fyrirspurnir inn í RL-þjálfun með því að breyta mikilvægum kröfum um útsendingu – eftirfylgni við leiðbeiningar, sniðskorðum og öryggisreglum – í leiðbeiningar (rubrics): frumstæð, hlutlæg viðmið sem svar verður að uppfylla. Við tileinkum okkur gagnsmíði byggða á leiðbeiningum (Gunjal et al., 2025; Liu et al., 2025b), og búum til leiðbeiningasett fyrir hverja fyrirspurn.

Myndun leiðbeininga. Miðað við allan samræðuferilinn biðjum við LLM um að skila tilvísunarsvari og samsvarandi leiðbeiningasetti. Leiðbeiningar eru dregnar út samkvæmt fastri röð: kröfur sem notandinn tilgreinir sérstaklega hafa forgang, þar á eftir koma innri skorður og að lokum nauðsynlegar kröfur um efni sem ályktað er út frá tilvísunarsvarinu. Hver leiðbeining verður að vera:

• Frumstæð (atomic): ein og vel skilgreind athugun;
• Hlutlæg: sannreynanleg án huglægs mats;
• Nauðsynleg: krafist til að svara fyrirspurninni, ekki bara stílfyrirkomulag.

Dæmi

Fyrirspurn.

She will share u man power planning. We have to arrange lodging & boarding. Plz correct swntence.

Leiðbeiningar.

• Svarið er skrifað á ensku.
• Leiðrétta orðalagið inniheldur orðin „lodging“ og „boarding“.
• Leiðrétta orðalagið notar „manpower“ sem eitt orð (til dæmis „manpower plan“ eða „manpower planning“) frekar en „man power“.
• Leiðrétta orðalagið inniheldur ekki óformlegu skammstöfunartákningarnar „u“ eða „Plz“, og það inniheldur ekki merkið „&“.
• Svarið inniheldur ekki tilvitnunarmerki af gerðinni \\[type:idx\\], þar sem type táknar gagnagjafa (til dæmis web, chart, memory, attached_file).

Kvörðun leiðbeininga. Til að forðast of ströng eða of mild leiðbeiningasett beitum við pass@4 síu. Fyrir hverja fyrirspurn tökum við sýnishorn af fjórum sjálfstæðum svörum og metum þau miðað við alla leiðbeiningasettið með dómara sem fylgir leiðbeiningum. Við fleygjum fyrirspurnum þar sem ekkert svar uppfyllir leiðbeiningasettið eða öll svör gera það, og höldum eingöngu eftir þeim sem gefa upplýsandi þjálfunarmerki.

Blanda hvatninga og jöfnun á breytileika

Praktísk áskorun í fjölmarkmiða-RL er misræmi í breytileika þvert á gagnahluta (Duchi og Namkoong, 2016; Liu et al., 2026; Qi et al., 2026). Þótt bæði sannreynanlegt spurninga- og svarasafn og gögn byggð á leiðbeiningum skili tvíundarumbununum, eru þau töluvert ólík í erfiðleikastigi verkefna: ánægja með leiðbeiningar er almennt auðveldari í framkvæmd snemma í þjálfun, sem framkallar stærri og tíðari stigulsuppfærslur (gradient updates) sem geta óhóflega ráðið ríkjum í fínstillingu stefnu miðað við erfiðara sannreynanlegt spurninga- og svaramerki. Til að takast á við þetta endurvegið við hvatningarblönduna á stigi gagnasafnsins, tökum sýnishorn af 90% frá sannreynanlegu spurninga- og svarasafni og 10% frá gögnum byggðum á leiðbeiningum til að jafna hagræðingarmerkið þvert á hluta.

Umbunarhönnun

Umbunarhönnun okkar fylgir beint frá gagnasmíðinni sem lýst er hér að ofan. Þrátt fyrir að ná yfir bæði sannreynanleg spurninga- og svaraverkefni og leiðbeiningaverkefni, deila öll þjálfunargögn sameiginlegri grunnumbunarbyggingu: úttak fær einingar ef það skilar réttu svari fyrir spurninga- og svaraverkefni, eða uppfyllir allar tilgreindar leiðbeiningar fyrir almennt spjall. Byggt á þessum sameiginlegu grunni smíðum við samsetta umbun til að fella inn einkunnagjöf byggða á óskum og skilvirknimótun.

Lykiláskorun sem sást í fyrstu tilraunum var umbunarhakk: einföld línuleg samsetning umbuna leyfði sterkum óskamerkjum að bæta fyrir staðreynda- eða leiðbeiningabresti. Við tileinkum okkur því hliðaða samantekt (gated aggregation) sem kjarnahönnunarreglu, formlega skilgreinda sem:

þar sem $r_{\mathrm{base}}(\tau_i) \in \{0, 1\}$ táknar spurninga- og svararéttmæti eða fullnægjandi leiðbeiningar, $s(\tau_i)\in[0,1]$ er óskastigið, og $\operatorname{pen}_{\mathrm{eff}}(\tau_i)$ er akkeristengd skilvirkniviðurlög. Þetta gerir réttmæti að nauðsynlegu skilyrði til að fá óskaeiningar, á meðan það dregur þó úr óþarfa tólanotkun og orðagjálfri. Mynd 1 sýnir alla umbunarleiðsluna, en þætti hennar lýsum við hér að neðan:

Stækka

Grunnumbun

Við skilgreinum tvíundargrunnmerki $r_{\mathrm{base}}(\tau_i) \in \{0,1\}$ sem nær yfir réttmæti verkefnis eða fylgni við leiðbeiningar. Fyrir sannreynanleg gögn leitarmiðlara, $r_{\mathrm{base}}(\tau_i)=1$ ef lokaorðið passar við sannleikann, og $0$ annars. Fyrir gögn um almennt spjall byggð á leiðbeiningum, $r_{\mathrm{base}}(\tau_i)=1$ ef allar leiðbeiningar eru uppfylltar, og $0$ annars. Þessi grunnlína þjónar sem harða hliðið í skilyrtu samantektarreglunni jöfnu 2.

Óskalíkanagerð

Markmið okkar er að samræma stefnulíkanið við duldar óskir notenda varðandi gæði svara – upplýsingagildi, skýrleika og faglegan tón – sem eru erfiðar í föngun í gegnum LLM-dómarafyrirmæli. Við þjálfum því lært óskatryggingarumbunalíkan til að gefa þessum eiginleikum einkunn beint.

Við formúlum óskanám undir Bradley-Terry rammaverkinu. Gefið samhengi $x$ og tvö möguleg svör $y_a, y_b$, skilar líkanið stigum $s_{\theta}(x, y) \in \mathbb{R}$ og lágmarkar,

þar sem $r \in \{0, 1\}$ gefur til kynna hvort $y_a$ sé í vali. Til að eyða staðsetningarhllutdrægni er hverju þjálfunarpari bætt við með báðum röðunum og það fínstillt samhverft,

Við ályktunartíma fáum við staðsetningaróháð óskastig með því að meðaltalsreikna báðar umraðanir:

Óskastig úttaksins er þá skilgreint sem $s(\tau_i) \triangleq \bar{P}_{\theta}(x, y_a, y_b) \in [0,1]$, þ.e. líkurnar á því að úttak stefnunnar $y_i$ sé valið umfram úttak tilvísunarlíkansins fyrir sömu fyrirspurn.

Þjálfunargögn fyrir óskalíkanagerð eru sótt úr völdum opnum gagnasöfnum, endurgjöf notenda hlið við hlið og innri merkingum. Til að takast á við merkjasuð, beitum við léttri síunar- og kvarðunarleiðslu sem sækir innblástur frá Datbench (DatologyAI, 2026), þar sem aðeins dæmi með stöðugu samræmi þverpalla eru haldin eftir. Umbunalíkanið deilir sömu burðarás og stefnulíkanið, þar sem tungumálamyndunarhausnum hefur verið skipt út fyrir gildishaus. Þó að minni umbunalíkan nái sambærilegri nákvæmni á fráteknu prófi, finnum við af reynslu að þau mistekst að fanga fínkornaðar óskir og geta styrkt óæskilega stefnuhegðun.

Skilvirkniviðurlög

Ef engin skýr skilvirknimótun er til staðar hefur stefnan tilhneigingu til að ofnota tól jafnvel við einfaldar fyrirspurnir. Óskilyrt viðurlög (t.d. þau sem vaxa línulega með fjölda tólakalla eða lengd úttaks) eru eðlileg grunnlína, en við sjáum að þau bæla niður nauðsynlega leit og draga úr námi. Við tileinkum okkur því hóp-hlutfallsleg, akkeristengd viðurlög sem regluleggera tólanotkun og svarslengd miðað við virkar lausnir innan hvers GRPO hóps. Fyrir hóp 𝑔, skilgreinum við sigursettið sem:

Akkeristengd viðurlög við tólaköllum. Fyrir hvert úttak $\tau_i$, látum $c_i$ tákna fjölda tólakalla og $e_i$ fjölda bilana í tólakeyrslu. Við skilgreinum virkan fjölda tólakalla $\tilde{c}_i = c_i - e_i$ og tökum jafnt sýnishorn af hópgrunnlínu:

Við reiknum út umframafl $\Delta_i = \max\!\left(0,\; \tilde{c}_i - b_g\right)$, og skilgreinum slétta viðurlagatölu $p_i = 1 - \exp\!\left(-\Delta_i\right)$. Tólaviðurlögin eru þá:

Akkeristengd lengdarviðurlög. Látum $L_i$ og $L_i^{\mathrm{ref}}$ tákna táknlengdir framleiðslu umsækjanda og tilvísunarlíkans, í sömu röð. Við skilgreinum mótunarsettið $\widehat{W}_g$ sem úttök sem eru bæði rétt og valin:

Við reiknum því næst hóp-sértækar lengdargrunnlínur:

Lengdarviðurlögin eru skilgreind sem:

þar sem fyrsta línan er harður þröskuldur; sú síðara refsar orðagjörfum sigurvegurum; og sú þriðja refsar stuttorðum tapurum.

Sameiginleg skilvirkniviðurlög. Sameiginleg skilvirkniviðurlög eru vegið summu af báðum þáttum:

Helstu niðurstöður

Við metum eftirþjálfunarleiðsluna okkar eftir tveimur ásum: (i) þjálfunardýnamík, til að meta stöðugleika hagræðingar og hvort umbunarmerkin hegði sér eins og búist er við, og (ii) óskráðum viðmiðunarprófum (offline benchmarks), til að mæla gæði niðurstreymis, öryggi og skilvirkni undir stýrðum matsumhverfum.

Sjálfgefnar þjálfunarstillingar. Stefnulíkanið hefur samskipti við vefleitartól (search_web); hvert tólakall sækir allt að 10 niðurstöður, þar sem fyrirspurnum er haldið innan 250 stafa og allt að 5 fyrirspurnum á úttak.

Dýnamík þjálfunar

Við skoðum hagræðingardýnamík, með áherslu á umbunarframgang og skilvirknihegðun. Við notum Qwen3.5-397B-A11B til einföldunar á myndskreytingu.

Stækka

Mynd 2 sýnir stöðugar framfarir í grunnumbun (sannreynanlegt spurninga- og svarasafn og fullnægjandi leiðbeiningar) samhliða vaxandi óskastigum, sem gefur til kynna samfelldar framfarir í réttmæti, samræmi og gæðum svara.

Stækka

Mynd 3 sýnir að bæði tíðni tólakalla og kynningarlengd haldast vel í skefjum í gegnum þjálfunina. Athyglisvert er að bæði tólakalla- og lengdarviðurlögin minnka einhalla yfir þjálfunartímann, sem endurspeglar stigvaxandi aðlögun líkansins að kjarnyrtari kynningu og sértækari tólakalli.

Stækka

Mynd 4 sýnir að stigulsnorm haldast stöðug að undanskildum stuttum toppum, á meðan KL-frávik milli þjálfunar og ályktunar sýnir væga hækkun, en heldur sig innan 1e-3 mælikvarða. Þetta reifamynstur er í samræmi við athuganir í öðrum RL-þjálfunarrammaverkum; þar sem þjálfunin heldur sér stöðugri í gegn, höldum við einfaldri IS reglulegun í jöfnu 1 án viðbótaraðgerða.

Matsferli án nettengingar

Við tilkynnum niðurstöður á safni viðmiðunarprófa sem ná yfir leitarnákvæmni, áreiðanleika staðreynda, eftirfylgni við leiðbeiningar og öryggi, og samanstanda af bæði opinberum viðmiðunarprófum og innri Perplexity (PPLX) mælingum. Opinber viðmiðunarpróf innihalda SimpleQA, FRAMES og Facts Open.

• pplx-sbs-search: Hlið við hlið óskamat með því að nota innri umbunalíkan. Umsækjendur eru bornir saman við sterka grunnlínu.
• pplx-abstention: Geta til að neita með viðeigandi hætti þegar engin áreiðanleg gögn eru til staðar.
• pplx-language-mismatch: Tungumálasamræmi undir lágenda- og margra snúninga umhverfi.
• pplx-broken-tool-calls (↓): Samræmi við skema tólakalla og fylgni við skorður, til dæmis tool_choice=none.

Sjálfgefnar matstillingar. Fyrir opinber viðmiðunarpróf leyfum við eingöngu vefleitartólið, með fjárhagsáætlun upp á allt að 5 tólaköll á dæmi og allt að 10 niðurstöður á kall, þar sem allt að 8192 úttakstákn eru mynduð við hitastigið 0.6.

Stækka

Tafla 2 sýnir að Qwen3.5-Large-SFT-RL nær sterkri leitarnákvæmni þvert á opinber viðmiðunarpróf, sem jafnast á við eða fer yfir gpt-5.4 á FRAMES og Facts Open á meðan sambærilegum tólafjárhagsáætlunum er beitt. Miðað við grunnlíkanið skilar nálgun okkar verulegum ávinningi á innri mælingum, sérstaklega hvað varðar óskir (pplx-sbs-search: 0.602 → 0.742), tungumálasamræmi og afsal, sem sýnir að tveggja þrepa leiðslan bætir á áhrifaríkan hátt hegðun sem skiptir sköpum við útsendingu án þess að fórna leitargetu.

Mat á skilvirkni í tólanotkun

Til að mæla þetta hönnum við fjárhagsáætlunarþvingaða matssamskiptareglu. Hverju líkani er veitt aðgangur að vefleitartóli (search_web) og kerfisfyrirmælum sem tilgreina harðan þröskuld á fjölda leyfðra tólakalla („fjárhagsáætlun“). Við breiðum úr þessari fjárhagsáætlun frá 0 (engin tólanotkun, hrein stærðfræðileg þekking) upp í 10 (rífleg margra þrepa leit), og skráum nákvæmni á hverju stigi. Þetta framkallar skilvirkniferil tóla: einkunn líkansins sem fall af leitafjárhagsáætluninni sem því er leyfð. Við metum á tveimur staðreynda spurninga- og svaraviðmiðunarprófum, FRAMES og Facts Open.

Stækka

Nokkur atriði standa upp úr í þessum tveimur viðmiðunarprófum:

• Eftirþjálfaða Qwen3.5-397B-SFT-RL líkanið okkar nær bestu leitarnákvæmni á báðum viðmiðunarprófum. Jafnvel með einu tólakalli fær það 57.3% á FRAMES, 5.7 punktum yfir GPT-5.4 og 4.7 punktum yfir Sonnet 4.6.
  • Yfirburðirnir eru mest áberandi við hóflegar fjárhagsáætlun (b=2-7), sem er hagnýtur rekstrarsvið fyrir framleiðsluútsendingar.
• Eftirþjálfunaruppskrift okkar (SFT + RL) bætir skilvirkni tólanotkunar verulega umfram upphaflegu gáttina; sjá heilum línum (eftirþjálfuðum) vs. brotin línum (upphaflegri gátt) á mynd 5.
• Fyrir öll líkön tökum við eftir minnkandi ávinningi í kringum budget=7, sem er stöðugt yfir tvö viðmiðunarpróf og öll líkön, sem gefur til kynna að það sé eiginleiki staðreyndaleitarverkefnanna frekar en líkananna.

Niðurstöðurnar hér að ofan sýna að Qwen3.5-397B-SFT-RL nær meiri nákvæmni með færri tólaköllum. En hvernig skilar þetta sér í raunverulegan kostnað? Við breytum mælingum á táknham í dollarakostnað með því að nota birt API-verðlag (Alibaba DashScope, OpenAI, Anthropic) til að gera samanburðinn áþreifanlegan.

Stækka

Við miðlungs snið (b=4) fær Qwen3.5-397B-SFT-RL 73.9% á FRAMES á 2.0 sent á fyrirspurn, á meðan GPT-5.4 fær 67.8% á 8.5 sent og Sonnet 4.6 fær 62.4% á 15.3 sent. Það er +6 punkta nákvæmni á 4x lægri kostnaði miðað við GPT-5.4, og +11.5 punktum á 7.5x lægri kostnaði miðað við Sonnet 4.6.

Þessar áætlanir nota lista-API-verðlag án skyndiminnis. Með innri ályktunarhagræðingum eins og endurnotkun á KV-skyndiminni, forskeytaskyddiminni og skömmtuðum MoE-þjónum (397B notar aðeins 17B virk færibreytur), er hægt að minnka virkan kostnað vel undir lista-API-verðlagi.

Niðurstaða

Að aðgreina útsendingarsamræmi frá leitarhagræðingu í gegnum tveggja þrepa SFT og RL leiðslu skilar líkani sem er bæði fært og áreiðanlegt undir skorðum framleiðsluumhverfis. Sambland af sannreynanlegum spurninga- og svaragögnum og þjálfunargögnum byggðum á leiðbeiningum, ásamt hliðaðri umbunarsamantekt og akkeristengdri skilvirknimótun, gerir stöðuga fjölmarkmiðahagræðingu mögulega án þess að fórna leitarnákvæmni eða samræmi við öryggishömlum.

Nokkrir stefnur verðskulda frekari rannsókna. Eins og sést á mynd 4 sýnir KL-frávik milli þjálfunar og ályktunar viðvarandi uppbrot við lengri þjálfunarskref. Þó að IS-leiðrétting á táknham reynist duga undir núverandi umhverfi er óljóst hvort það haldi áfram við stærri mælikvarða; ítarlegri fræðileg meðferð á þessu misræmi – sem nær yfir innviðatengd fráviki og arkitektúrsértæka þætti eins og MoE-leiðstýringu – ásamt megindlegum og raunhæfum samanburði á mildunaraðferðum, er áfram mikilvæg óleyst spurning. Sérstaklega fyrir fjölmarkmiða-RL eru efnilegar leiðir meðal annars röðþjálfun (Zeng et al., 2026) með stefnubundinni eimingu til að fínstilla markmið í þrepum á meðan dregið er úr hrikalegu minnisleysi; og líkanasamruni (Fu et al., 2025; Yang et al., 2026) til aðskilnaðar á verkefnasértækri hagræðingu frá getusamantekt. Að lokum er stækkun yfir í raunhæf fjöl-tólaverkflæði með langtímabrautum áfram mikilvæg óleyst áskorun, sem líklega krefst betri einingaúthlutunar, stuðnings við hlutútkomur og mats.

Heimildir

DatologyAI. Datbench: Discriminative, faithful, and efficient vision-language model evaluations. https://www.datologyai.com/blog/datbench-discriminative-faithful-and-efficient-vision-language-model-evaluations, jan. 2026. Birt 6. jan. 2026. Skoðað: 2026-03-04.

J. Duchi og H. Namkoong. Variance-based regularization with convex objectives. arXiv preprint arXiv:1610.02581, 2016.

Z. Fu, X. Wu, Y. Wang, W. Wang, S. Ye, H. Yin, Y. Chang, Y. Zheng, og X. Zhao. Training-free llm merging for multi-task learning. Í Proceedings of the 63rd Annual Meeting of the Association for Computational Linguistics (Bindi 1: Langar greinar), bls. 33111–33124, 2025.

A. Gunjal, A. Wang, E. Lau, V. Nath, Y. He, B. Liu, og S. Hendryx. Rubrics as rewards: Reinforcement learning beyond verifiable domains. arXiv preprint arXiv:2507.17746, 2025.

J. Liu, Y. Li, Y. Fu, J. Wang, Q. Liu, og Y. Shen. When speed kills stability: Demystifying rl collapse from the training-inference mismatch. Notion Blog, 2025a.

S.-Y. Liu, X. Dong, X. Lu, S. Diao, P. Belcak, M. Liu, M.-H. Chen, H. Yin, Y.-C. F. Wang, K.-T. Cheng, et al. Gdpo: Group reward-decoupled normalization policy optimization for multi-reward rl optimization. arXiv preprint arXiv:2601.05242, 2026.

T. Liu, R. Xu, T. Yu, I. Hong, C. Yang, T. Zhao, og H. Wang. Openrubrics: Towards scalable synthetic rubric generation for reward modeling and llm alignment. arXiv preprint arXiv:2510.07743, 2025b.

R. Lu, Z. Hou, Z. Wang, H. Zhang, X. Liu, Y. Li, S. Feng, J. Tang, og Y. Dong. Deepdive: Advancing deep search agents with knowledge graphs and multi-turn rl. arXiv preprint arXiv:2509.10446, 2025.

W. Ma, H. Zhang, L. Zhao, Y. Song, Y. Wang, Z. Sui, og F. Luo. Stabilizing moe reinforcement learning by aligning training and inference routers. arXiv preprint arXiv:2510.11370, 2025.

T. Pham, N. Nguyen, P. Zunjare, W. Chen, Y.-M. Tseng, og T. Vu. Sealqa: Raising the bar for reasoning in search-augmented language models. arXiv preprint arXiv:2506.01062, 2025.

O. Press, M. Zhang, S. Min, L. Schmidt, N. A. Smith, og M. Lewis. Measuring and narrowing the compositionality gap in language models. Í Findings of the Association for Computational Linguistics: EMNLP 2023, bls. 5687–5711, 2023.

P. Qi, X. Zhou, Z. Liu, T. Pang, C. Du, M. Lin, og W. S. Lee. Rethinking the trust region in llm reinforcement learning. arXiv preprint arXiv:2602.04879, 2026.

Z. Shao, P. Wang, Q. Zhu, R. Xu, J. Song, X. Bi, H. Zhang, M. Zhang, Y. Li, Y. Wu, et al. Deepseekmath: Pushing the limits of mathematical reasoning in open language models. arXiv preprint arXiv:2402.03300, 2024.

Z. Tao, J. Wu, W. Yin, J. Zhang, B. Li, H. Shen, K. Li, L. Zhang, X. Wang, Y. Jiang, et al. Webshaper: Agentically data synthesizing via information-seeking formalization. arXiv preprint arXiv:2507.15061, 2025.

vLLM og TorchTitan teymin. No more train-inference mismatch: Bitwise consistent on-policy reinforcement learning with vLLM and TorchTitan. https://blog.vllm.ai /2025/11/10/bitwise-consistent-train-inference.html, nóv. 2025. vLLM Blog.

J. Wu, W. Yin, Y. Jiang, Z. Wang, Z. Xi, R. Fang, D. Zhou, P. Xie, og F. Huang. Webwalker: Benchmarking llms in web traversal, 2025. URL https://arxiv.org/abs/ 2501.07572.

A. Yang, A. Li, B. Yang, B. Zhang, B. Hui, B. Zheng, B. Yu, C. Gao, C. Huang, C. Lv, et al. Qwen3 technical report. arXiv preprint arXiv:2505.09388, 2025.

E. Yang, L. Shen, G. Guo, X. Wang, X. Cao, J. Zhang, og D. Tao. Model merging in llms, mllms, and beyond: Methods, theories, applications, and opportunities. ACM Computing Surveys, 58(8):1–41, 2026.

F. Yao, L. Liu, D. Zhang, C. Dong, J. Shang, og J. Gao. Your efficient rl framework secretly brings you off-policy rl training, ágúst 2025. URL https://fengyao.notion.s ite/off-policy-rl.

A. Zeng, X. Lv, Z. Hou, Z. Du, Q. Zheng, B. Chen, D. Yin, C. Ge, C. Xie, C. Wang, et al. Glm-5: from vibe coding to agentic engineering. arXiv preprint arXiv:2602.15763, 2026.

C. Zheng, K. Dang, B. Yu, M. Li, H. Jiang, J. Lin, Y. Liu, H. Lin, C. Wu, F. Hu, et al. Stabilizing reinforcement learning with llms: Formulation and practices. arXiv preprint arXiv:2512.01374, 2025a.

C. Zheng, S. Liu, M. Li, X.-H. Chen, B. Yu, C. Gao, K. Dang, Y. Liu, R. Men, A. Yang, et al. Group sequence policy optimization. arXiv preprint arXiv:2507.18071, 2025b.

Tilvitnun

@online{perplexity2026AdvancingSearchAugmentedLanguageModels,
  author = {{Perplexity} and Denis Yarats and Dongqi Wu and Hang Wu and Randy Ardywibowo and Senzeyu Zhang and Yunfan Zhong and Ziqing Hu and Clare Southern and Riley Carlson and Yi He and Erin McKnight and Mara Sohn and Phi Hoang},
  title = {{Advancing search-augmented language models}},
  date = {2026-04-22},
  url = {https://perplexity.coolkeypoint.com/hub/blog/advancing-search-augmented-language-models}
}