Rozvíjení jazykových modelů rozšířených o vyhledávání

Trénování špičkových webových vyhledávacích agentů vyžaduje současnou optimalizaci mnoha cílů: faktické přesnosti, efektivity trasování a zarovnání s preferencemi uživatelů. Zlepšení jediného rozměru izolovaně však často zhoršuje ostatní: modely trénované výhradně na přesnost mají tendenci nadužívat nástroje, zatímco modely optimalizované na stručnost mohou obětovat spolehlivost nebo úplnost. Ve společnosti Perplexity není ani jeden výsledek přijatelný.

Tento článek popisuje posttréninkový pipeline společnosti Perplexity pro vývoj nejmodernějších webových vyhledávacích agentů založených na open-source modelech. Klíčovou myšlenkou je, že při trénování vyhledávacích agentů musí být kuratování dat a návrh odměn navrženy společně: data určují, které chování je pozorovatelné a ověřitelné, a odměna určuje, jak jsou tyto signály převedeny na optimalizační signál. Tento princip motivuje náš dvoufázový pipeline zahřátím v podobě řízeného jemného ladění (SFT) pro inicializaci modelu zásad (policy model) a následným vylepšením modelu zásad pomocí posilovaného učení (RL) nad kurátorovanou datovou sadou a pečlivě navrženými odměnami. Tento dvoufázový přístup umožňuje spolehlivé z ၁ískání přesnosti, efektivity a kvality odpovědí za produkčních omezení.

Nejprve popíšeme náš dvoufázový tréninkový pipeline (SFT → on-policy RL) a následně tvorbu našich tréninkových dat pro RL, která pokrývají jak ověřitelné QA pro vyhledávací agenty, tak obecný chat založený na rubrikách. Dále představíme složený návrh odměn odvozený z tohoto heterogenního nastavení dat, který vyvažuje kvalitu a efektivitu a zároveň zmírňuje obcházení odměn (reward hacking). Nakonec analyzujeme tréninkovou dynamiku a výsledky benchmarků.

Přijímáme dvoufázový posttréninkový recept: (i) SFT k vytvoření chování kritického pro nasazení, jako jsou bezpečnostní pojistky (např. zdržení se hlasování), dodržování instrukcí a jazyková konzistence, a (ii) on-policy RL ke zlepšení vyhledávacích schopností, včetně přesnosti odpovědí a efektivity používání nástrojů, při zachování chování z první fáze.

Proč dvě fáze? Současná optimalizace kvality vyhledávání a omezení nasazení v rámci jediné fáze RL je obtížná, aniž by došlo ke kompromisu alespoň jednoho cíle. Empiricky platí, že trénink pouze pomocí RL zlepšuje výkon vyhledávání, ale má tendenci podávat horší výsledky v oblasti bezpečnostních pojistek pro nasazení, zatímco SFT zlepšuje dodržování předpisů za cenu výkonu vyhledávání. Oddělení cílů umožňuje fázi SFT nejprve vyřešit nekompromisní požadavky, po čemž se RL může zaměřit hlavně na zlepšení vyhledávacích schopností.

Inicializujeme z rodiny modelů Qwen3 (Qwen3.5-122B-A10B a Qwen3.5-397B-A17B) (Yang a kol., 2025, blogový příspěvek Qwen3.5) a sestavujeme dvousložkovou datovou sadu směsi SFT zacílenou na výše popsané chování kritické pro nasazení při zachování obecných vyhledávacích schopností základního modelu.

Příklady orientované na preference. Kurátorujeme příklady zaměřené na dodržování instrukcí a styl, které se zaměřují na tón, jazykovou konzistenci, přehlednost a formátování. Tyto příklady nemusí připouštět jedinečnou správnou odpověď; jsou spíše vybírány tak, aby odrážely požadavky na psaní produktů a zajišťovaly stylistickou konzistenci napříč různými typy dotazů.

Trasy použití nástrojů ve formátu pro produkci. Empiricky zjišťujeme, že SFT bez pečlivého kuratování datových sad může výrazně zhoršit vyhledávací schopnosti základního modelu. K zmírnění tohoto problému vzorkujeme dotazy a interní úkoly napříč různými vzory interakce (jedno-, dvou- a vícetolové) a opatřujeme je poznámkami pomocí našeho nástroje pro volání nástrojů.

Počínaje kontrolním bodem SFT aplikujeme on-policy RL ke zlepšení přesnosti a efektivity vyhledávání. Optimalizujeme model zásad pomocí metody Group Relative Policy Optimization (GRPO) (Shao a kol., 2024).

\mathcal{J}_{\text{GRPO}}(\theta) = \frac{1}{G}\sum_{i=1}^{G} \frac{1}{|o_i|}\sum_{t=1}^{|o_i|} r_{i,t}(\theta)\hat{A}_{i,t},

kde $G$ je velikost skupiny, $o_{i}$ označuje $i$ -tý vzorkovaný výstup a $\hat{A}_{i, t} = \hat{A}_{i}$ je výhoda. Návrh odměn je podrobně popsán v sekci návrhu odměn; ve zkratce kombinujeme základní správnost se tvarováním efektivity založeným na preferencích a ukotveným tvarováním. Následujíce dřívější práci (Liu a kol., 2025a; Yao a kol., 2025; Zheng a kol., 2025a), aplikujeme Importance Sampling (IS) na úrovni tokenů k opravě nesouladu mezi tréninkem a inferencí:

r_{i,t}(\theta) = \frac{\pi_{\text{train}}(\theta)}{\mu_{\text{infer}}(\theta)}.

Vyhodnocujeme několik přístupů ke zmírnění nesouladu mezi tréninkem a inferencí, včetně IS na úrovni sekvencí (Zheng a kol., 2025b), opakovacího routování (Ma a kol., 2025; Zheng a kol., 2025b) a bitově konzistentního tréninku, který integruje jádro inferenčního engine během tréninku (týmy vLLM a TorchTitan, 2025). Empiricky zjišťujeme, že v našem nastavení on-policy stačí IS na úrovni tokenů k zabránění zhroucení tréninku a zároveň zůstává jednoduché na implementaci; to je v souladu se zjištěními z Zheng a kol. (2025a).

Naše tréninková data pro RL se skládají ze dvou doplňkových složek: ověřitelného QA pro vyhledávací agenti cílícího na obecné vyhledávací schopnosti a obecného chatu založeného na rubrikách, který explicitně posiluje bezpečnostní pojistky pro nasazení, aby se zabránilo regresi během fáze tréninku RL.

Tvorba datové sady. Následujíce metodu sekvenčního rozšiřování (Tao a kol., 2025), sestavujeme interní syntetickou datovou sadu QA z interních počátečních dotazů, aniž bychom spoléhali na kurátorovaný znalostní graf, čímž udržujeme pipeline nenáročnou a snadno obnovitelnou. Každý syntetický příklad je generován pomocí následujících kroků:

Výběr počátečních bodů. Získáváme dokumenty pro počáteční dotazy a vybíráme entity s vícezdrrojovým potvrzením faktů jako výchozí body, přičemž z nich extrahujeme atomární tvrzení.
Tvorba vícestupňového řetězce. Z výroků počáteční entity vybereme jeden, který zavádí druhou entitu (např. pro počáteční entitu „The Mom Test“ zavádí výrok „napsal Rob Fitzpatrick“ autora jako další entitu). Tento proces propojování opakujeme 2–4krát, přičemž zajišťujeme, že každá entita je odlišná a že žádný jednotlivý výrok triviálně neodhaluje konečnou odpověď.
Syntéza otázek bez jmen. Převedeme řetězec entit na otázku rekurzivním nahrazením názvů entit jejich propojujícími výroky, čímž vytvoříme vnořenou otázku vyžadující vícestupňové uvažování.
Ověření. Ponecháváme si pouze otázky s jedinečnými odpověďmi ověřenými několika nezávislými řešiteli podporujícími web.

Zvažte počáteční dotaz „The Mom Test“. Získáme dokumenty a identifikujeme tuto knihu jako počáteční entitu, poté extrahujeme atomární faktické výroky a iterativně sestavíme řetězec entit: (i) knihu The Mom Test napsal Rob Fitzpatrick, čímž představujeme Roba Fitzpatricka; (ii) první startup Roba Fitzpatricka prošel programem Y Combinator (léto 2007), čímž představujeme Y Combinator; (iii) Y Combinator byl spuštěn v březnu 2005. Rekurzivní nahrazení názvu každé entity jejím deskriptorem přináší otázku bez jmen: „Kterou knihu napsala osoba, jejíž první startup prošel akcelerátorem spuštěným v březnu 2005 v jeho letní kohortě 2007?“ s odpovědí „The Mom Test“.

Rozšíření rozmanitosti formátů. Modely trénované výhradně na surových syntetických QA mají tendenci ignorovat preference formátování a vracet se k pevné struktuře odpovědi bez ohledu na to, jak je dotaz formulován. Ke zlepšení rozmanitosti formátů rozšiřujeme datovou sadu o dotazy obsahující explicitní pokyny k formátování (např. „Zobrazte seznam...“ nebo „Shrňte... do tabulky“), přičemž základní odpověď ponecháváme beze změny.

Veřejné ověřitelné QA (základní linie). Sestavujeme základní datovou sadu ověřitelných QA z pěti open-source datových sad (Lu a kol., 2025; Pham a kol., 2025; Press a kol., 2023; Tao a kol., 2025; Wu a kol., 2025), sjednocených pod naším rozšířeným formátem výzvy s filtrováním kvality. Tato směs slouží jako primární základní linie v našich validačních experimentech. Pro kontrolovaná srovnání přizpůsobujeme rozsah naší interní syntetické datové sady QA této open-source směsi.

Rychlá validace. Ověřujeme účinnost tohoto pipeline pomocí Qwen3-30B-A3B-Instruct-2507 pro umožnění rychlé iterace; výsledky jsou shrnuty v tabulce 1.

Validace syntetické datové sady ověřitelných QA

Zatímco ověřitelné QA poskytuje čistý tréninkový signál pro dotazy zaměřené na vyhledávání, podstatná část produkčního provozu není jedinečně ověřitelná (např. přepisování, plánování a otevřená asistence). Vyloučení takových dotazů z RL by zanechalo model zásad nedostatečně optimalizovaný pro skutečné interakce uživatelů. Navíc, ačkoliv fáze SFT stanovuje bezpečnostní pojistky kritické pro nasazení, RL na nich může zaznamenat regresi, pokud nebudou daty explicitně posíleny.

Zahrnujeme neověřitelné dotazy do tréninku RL tím, že převádíme požadavky kritické pro nasazení – dodržování instrukcí, omezení formátování a bezpečnostní konvence – na rubriky: atomární, objektivně kontrolovatelná kritéria, která musí odpověď splňovat. Přijímáme tvorbu dat založenou na rubrikách (Gunjal a kol., 2025; Liu a kol., 2025b) a generujeme sady rubrik pro každý dotaz.

Generování rubrik. Vzhledem k úplné historii konverzace vyzveme LLM k vytvoření referenční odpovědi a odpovídající sady rubrik. Rubriky jsou odvozeny v rámci pevného pořadí přednosti: požadavky výslovně uvedené uživatelem mají přednost, následují interní omezení a nakonec nezbytné požadavky na obsah odvozené z referenční odpovědi. Každá rubrika musí být:

Atomární: jediná, jasně definovaná kontrola;
Objektivní: ověřitelná bez subjektivního posouzení;
Nezbytná: vyžadovaná k zodpovězení dotazu, nikoliv pouze stylistická preference.

Dotaz.

She will share u man power planning. We have to arrange lodging & boarding. Plz correct swntence.

Rubriky.

Odpověď je napsána v angličtině.
Opravená formulace obsahuje slova "lodging" a "boarding".
Opravená formulace používá "manpower" jako jedno slovo (například "manpower plan" nebo "manpower planning") namísto "man power".
Opravená formulace neobsahuje neformální zkratky "u" ani "Plz" a neobsahuje znak ampersandu "&".
Odpověď neobsahuje značky citací ve tvaru \\[type:idx\\], kde type označuje datový zdroj (například web, chart, memory, attached_file).

Kalibrace rubrik. Abychom se vyhnuli příliš přísným nebo příliš mírným sadám rubrik, aplikujeme filtr pass@4. Pro každý dotaz vzorkujeme čtyři nezávislé odpovědi a vyhodnocujeme je oproti úplné sadě rubrik pomocí rozhodčího pro dodržování instrukcí. Vyřazujeme dotazy, pro které žádná odpověď nesplňuje sadu rubrik nebo je splňují všechny, a ponecháváme pouze ty, které přinášejí informativní tréninkový signál.

Praktickou výzvou při vícekrokovém RL je nerovnováha variance napříč datovými složkami (Duchi a Namkoong, 2016; Liu a kol., 2026; Qi a kol., 2026). Ačkoliv jak ověřitelné QA, tak data založená na rubrikách poskytují binární odměny, výrazně se liší obtížností úkolu: splnění rubriky je obecně snazší dosáhnout na začátku tréninku, což produkuje větší a častější aktualizace gradientů, které mohou nepřiměřeně dominovat optimalizaci modelu zásad vzhledem k obtížnějšímu signálu ověřitelného QA. K vyřešení tohoto problému převažujeme směs výzev na úrovni datové sady, přičemž vzorkujeme 90 % z ověřitelných QA a 10 % z dat založených na rubrikách, abychom vyvážili optimalizační signál napříč složkami.

Náš návrh odměn přímo vychází z výše popsané tvorby dat. Přestože zahrnuje jak ověřitelné QA, tak úkoly založené na rubrikách, všechna tréninková data sdílejí společnou strukturu základní odměny: spuštění získá kredity, pokud vytvoří správnou odpověď pro úkoly QA nebo splní všechny zadané rubriky pro obecný chat. Stavíce na tomto společném základu, sestavujeme složenou odměnu tak, aby zahrnovala bodování založené na preferencích a tvarování efektivity.

Klíčovou výzvou pozorovanou v počátečních experimentech bylo obcházení odměn (reward hacking): jednoduchá lineární kombinace odměn umožnila silným signálům preferencí kompenzovat faktická nebo instrukční selhání. Proto jako základní princip návrhu přijímáme ohraničenou agregaci (gated aggregation), formálně definovanou jako:

R(\tau_i) = r_{\text{base}}(\tau_i) \cdot s(\tau_i) \;-\; \operatorname{pen}_{\text{eff}}(\tau_i),

kde $r_{\mathrm{base}}(\tau_i) \in \{0, 1\}$ označuje správnost QA nebo splnění rubriky, $s(\tau_i)\in[0,1]$ je skóre preference a $\operatorname{pen}_{\mathrm{eff}}(\tau_i)$ je ukotvená penalizace efektivity. Díky tomu je správnost nezbytnou podmínkou pro získání kreditů za preference, přičemž se stále odrazuje od zbytečného používání nástrojů a ukecanosti. Obrázek 1 ilustruje celý pipeline odměn, jehož součásti popisujeme níže:

Přehled návrhu odměn. Kombinujeme základní signál správnosti (ověřitelné QA / rubrika), skóre preference Bradley–Terry a ukotvené penalizace efektivity. Preference je ohraničena základní správností, aby se zabránilo obcházení odměn.

Definujeme binární základní signál $r_{\mathrm{base}}(\tau_i) \in \{0,1\}$ , který zachycuje správnost úkolu nebo dodržování pokynů. Pro data ověřitelných vyhledávacích agentů $r_{\mathrm{base}}(\tau_i)=1$ , pokud konečná odpověď odpovídá pravdivému stavu, a $0$ jinak. Pro data obecného chatu založeného na rubrikách $r_{\mathrm{base}}(\tau_i)=1$ , pokud jsou splněny všechny rubriky, a $0$ jinak. Tato základní linie slouží jako tvrdá brána v pravidle podmíněné agregace (rovnice 2).

Naším cílem je zarovnat model zásad s latentními preferencemi uživatelů ohledně kvality odpovědí – informativnosti, přehlednosti a profesionálního tónu –, které je obtížné zachytit prostřednictvím výzev pro rozhodčího LLM. Trénujeme proto naučený model odměn za preference k přímému bodování těchto atributů.

Formulujeme učení preferencí v rámci rámce Bradley–Terry. Vzhledem ke kontextu $x$ a dvěma kandidátským odpovědím $y_a, y_b$ model vytváří skalární skóre $s_{\theta}(x, y) \in \mathbb{R}$ a minimalizuje,

\ell_{\text{BT}}(\theta; x, y_a, y_b, r) = -\Big[r \log \sigma(\Delta_\theta) + (1-r) \log\bigl(1 - \sigma(\Delta_\theta)\bigr)\Big], \\ \Delta_\theta = s_\theta(x, y_a) - s_\theta(x, y_b)

kde $r \in \{0, 1\}$ označuje, zda je $y_a$ preferováno. K eliminaci poziční zaujatosti je každý tréninkový pár rozšířen o obě řazení a optimalizován symetricky,

\mathcal{L}_{\text{sym}} = \tfrac{1}{2}\,\ell_{\text{BT}}(x, y_a, y_b, r) + \tfrac{1}{2}\,\ell_{\text{BT}}(x, y_b, y_a, 1-r).

V čase inference získáme skóre preference nezávislé na pozici zprůměrováním obou permutací:

\bar{\Delta}_\theta(x, y_a, y_b) = \tfrac{1}{2}\Big[\Delta_\theta(x, y_a, y_b) - \Delta_\theta(x, y_b, y_a)\Big], \\ \bar{P}_\theta(x, y_a, y_b) = \sigma\bigl(\bar{\Delta}_\theta(x, y_a, y_b)\bigr).

Skóre preference spuštění je pak definováno jako $s(\tau_i) \triangleq \bar{P}_{\theta}(x, y_a, y_b) \in [0,1]$ , tj. pravděpodobnost, že spuštění modelu zásad $y_i$ je preferováno před spuštěním referenčního modelu pro stejnou výzvu.

Tréninková data pro modelování preferencí jsou čerpána z kurátorovaných datových sad open-source, zpětné vazby uživatelů side-by-side a interních anotací. K řešení šumu v popiscích aplikujeme lehký pipeline filtrace a kalibrace inspirovaný nástrojem Datbench (DatologyAI, 2026), přičemž ponecháváme pouze příklady s konzistentní shodou napříč modely. Model odměn sdílí stejnou páteř jako model zásad, přičemž hlava pro modelování jazyka je nahrazena hlavou hodnoty. Ačkoliv menší modely odměn dosahují srovnatelné přesnosti na vyčleněných datech, empiricky zjišťujeme, že nedokážou zachytit jemné preference a mohou posilovat nežádoucí chování modelu zásad.

V absenci explicitního tvarování efektivity má model zásad tendenci nadužívat nástroje i u jednoduchých výzev. Bezpodmínečné penalizace (např. ty, které šklálují lineárně s počtem volání nástrojů nebo délkou výstupu) jsou přirozenou základní linií, ale zjišťujeme, že potlačují nezbytné zkoumání a zhoršují učení. Proto přijímáme skupinově relativní, ukotvené penalizace, které regularizují používání nástrojů a délku odpovědi vzhledem k efektivním řešením v rámci každé skupiny GRPO. Pro skupinu 𝑔 definujeme množinu vítězů jako:

W_g = \{\, i : r_{\text{base}}(\tau_i) = 1 \,\}.

Ukotvená penalizace volání nástrojů. Pro každé spuštění $\tau_i$ nechť $c_i$ označuje počet volání nástrojů a $e_i$ počet selhání při provádění nástrojů. Definujeme efektivní počet volání nástrojů $\tilde{c}_i = c_i - e_i$ a rovnoměrně vzorkujeme základní linii skupiny:

b_g \sim \operatorname{Unif}\!\left(\min_{j \in W_g} \tilde{c}_j,\ \left\lceil \operatorname{mean}_{j \in W_g} \tilde{c}_j \right\rceil\right).

Vypočítáme přebytek $\Delta_i = \max\!\left(0,\; \tilde{c}_i - b_g\right)$ a definujeme hladký skalár penalizace $p_i = 1 - \exp\!\left(-\Delta_i\right)$ . Penalizace nástrojů je pak:

\operatorname{pen}_{\text{tool}}(\tau_i) = \begin{cases} \alpha_{\text{win}}\, p_i, & i \in W_g, \\ \alpha_{\text{lose}}\, p_i + \beta_{\text{lose}}, & i \notin W_g, \end{cases}

Ukotvená penalizace délky. Nechť $L_i$ a $L_i^{\mathrm{ref}}$ označují délky tokenů generací kandidátského a referenčního modelu. Definujeme tvarovací množinu $\widehat{W}_g$ jako spuštění, která jsou jak správná, tak preferovaná:

\widehat{W}_g = \{\, \underbrace{i \in W_g}_{\text{correct}} \;:\; \underbrace{s(\tau_i) \geq 0.5}_{\text{preferred}} \,\}.

Poté vypočítáme délkové základní linie specifické pro skupinu:

\underbrace{b_{g,\text{win}}}_{\substack{\text{avg. ref. length} \\ \text{of winners}}} = \operatorname{mean}_{j \in \widehat{W}_g} L_j^{\text{ref}}, \qquad \underbrace{b_{g,\text{lose}}}_{\substack{\text{avg. ref. length} \\ \text{of losers}}} = \operatorname{mean}_{j \notin \widehat{W}_g} L_j^{\text{ref}}.

Penalizace délky je definována jako:

\operatorname{pen}_{\text{len}}(\tau_i) = \begin{cases} 1, & L_i > \max_j L_j^{\text{cmp}} \\ 1 - \exp\!\left(-\max\!\left(0,\ \dfrac{L_i}{b_{g,\text{win}}} - 1\right)\right), & i \in \widehat{W}_g \\ 1 - \exp\!\left(-\max\!\left(0,\ \dfrac{b_{g,\text{lose}}}{L_i} - 1\right)\right), & i \notin \widehat{W}_g \end{cases}

kde první řádek je tvrdý strop; druhý penalizuje ukecané vítěze; a třetí penalizuje stručné poražené.

Kombinovaná penalizace efektivity. Kombinovaná penalizace efektivity je váženým součtem obou složek:

\operatorname{pen}_{\text{eff}}(\tau_i) = \lambda_{\text{tool}}\, \operatorname{pen}_{\text{tool}}(\tau_i) + \lambda_{\text{len}}\, \operatorname{pen}_{\text{len}}(\tau_i).

Vyhodnocujeme náš posttréninkový pipeline ve dvou osách: (i) tréninková dynamika k posouzení stability optimalizace a toho, zda signály odměn fungují podle očekávání, a (ii) offline benchmarky k měření následné kvality, bezpečnosti a efektivity v kontrolovaných nastaveních vyhodnocení.

Výchozí tréninková nastavení. Model zásad interaguje s nástrojem webového vyhledávání (search_web); každé volání nástroje získá až 10 výsledků, přičemž dotazy jsou omezeny na 250 znaků a maximálně 5 dotazů na spuštění.

Zkoumáme optimalizační dynamiku se zaměřením na postup odměn a chování efektivity. Pro jednoduchost ilustrace používáme Qwen3.5-397B-A11B .

Vývoj základních signálů a signálů preferencí během tréninku.

Obrázek 2 ukazuje stabilní zlepšení základní odměny (ověřitelné QA a splnění rubriky) spolu s rostoucími skóre preferencí, což naznačuje konzistentní zisky v oblasti správnosti, dodržování předpisů a kvality odpovědí.

Chování efektivity a ukotvené tvarovací penalizace během tréninku.

Obrázek 3 demonstruje, že jak frekvence volání nástrojů, tak délka generování zůstávají během celého tréninku dobře pod kontrolou. Je pozoruhodné, že jak penalizace volání nástrojů, tak penalizace délky klesají monotónně v průběhu tréninku, což odráží postupnou adaptaci modelu směrem k stručnějšímu generování a selektivnějšímu vyvolávání nástrojů.

Obrázek 4 ukazuje, že normy gradientů zůstávají stabilní kromě přechodných špiček, zatímco divergence KL mezi tréninkem a inferencí vykazuje mírný vzestupný trend a zůstává v měřítku 1e-3. Tento vzorec snosu je v souladu s pozorováními v jiných tréninkových rámcích RL; jelikož trénink zůstává během celého procesu stabilní, ponecháváme si jednoduchou regularizaci IS v rovnici 1 bez dalších zásahů.

Uvádíme výsledky na sadě benchmarků pokrývajících přesnost vyhledávání, faktickou spolehlivost, dodržování instrukcí a bezpečnost, které zahrnují jak veřejné benchmarky, tak interní metriky Perplexity (PPLX). Veřejné benchmarky zahrnují SimpleQA, FRAMES a Facts Open.

pplx-sbs-search: Vyhodnocení preferencí side-by-side pomocí interního modelu odměn. Kandidáti jsou porovnáni s robustní základní linií.
pplx-abstention: Schopnost vhodně odmítnout, když není k dispozici žádný spolehlivý důkaz.
pplx-language-mismatch: Jazyková konzistence v nastaveních long-tail a vícetolových.
pplx-broken-tool-calls (↓): Dodržování schématu volání nástrojů a dodržování omezení, například tool_choice=none.

Výchozí nastavení vyhodnocení. Pro veřejné benchmarky povolujeme pouze nástroj webového vyhledávání s rozpočtem až 5 volání nástrojů na příklad a až 10 výsledků na volání, přičemž generujeme až 8192 výstupních tokenů při teplotě 0,6.

Výsledky offline vyhodnocení. Čísla v závorkách označují průměrné použití nástrojů. Uvádíme Qwen3.5-397B-A17B jako Qwen3.5-Large a Qwen3.5-122B-A10B jako Qwen3.5-Medium.

Tabulka 2 ukazuje, že Qwen3.5-Large-SFT-RL dosahuje vysoké přesnosti vyhledávání napříč veřejnými benchmarky, přičemž vyrovnává nebo překonává gpt-5.4 v FRAMES a Facts Open při použití srovnatelných rozpočtů nástrojů. V porovnání se základním modelem přináší náš přístup podstatné zisky v interních metrikách, zejména v oblasti preferencí (pplx-sbs-search: 0,602 → 0,742), jazykové konzistence a odmítnutí, což demonstruje, že dvoufázový pipeline efektivně zlepšuje chování kritické pro nasazení, aniž by došlo ke kompromisu vyhledávacích schopností.

K měření tohoto efektu navrhujeme evaluační protokol s nuceným rozpočtem budget-forced. Každému modelu je poskytnut přístup k nástroji pro webové vyhledávání (search_web) a systémový prompt, který stanovuje tvrdý limit na počet povolených volání nástroje („rozpočet“). Tento rozpočet procházíme od 0 (bez použití nástroje, čistě parametrická znalost) do 10 (velkorysé vícekrokové vyhledávání) a v každé úrovni zaznamenáváme přesnost. Tím vzniká křivka efektivity nástroje: skóre modelu jako funkce rozpočtu na vyhledávání, který smí využít. Vyhodnocujeme na dvou benchmarkech faktické QA, FRAMES a Facts Open.

Přesnost benchmarku vs Max počet volání nástrojů.

Z těchto dvou benchmarků vyniká několik vzorců:

Náš posttrénovaný Qwen3.5-397B-SFT-RL dosahuje nejlepší přesnosti vyhledávání na obou benchmarkech. Již s jediným voláním nástroje dosahuje 57,3 % v aplikaci FRAMES, což je o 5,7 bodu více než GPT-5.4 a o 4,7 bodu více než Sonnet 4.6.
- Výhoda je nejvýraznější při mírných rozpočtech (b=2-7), což je praktický provozní rozsah pro produkční nasazení.
Náš posttréninkový recept (SFT + RL) podstatně zlepšuje efektivitu používání nástrojů oproti základnímu kontrolnímu bodu; viz plné čáry (posttrénované) vs. čárkované čáry (počáteční kontrolní bod) na obrázku 5.
U všech modelů pozorujeme klesající návratnost kolem rozpočtu = 7, což je konzistentní napříč dvěma benchmarky a všemi modely, což naznačuje, že jde spíše o vlastnost úkolů zaměřených na zjišťování faktů než o vlastnost modelů.

Výše uvedené výsledky ukazují, že Qwen3.5-397B-SFT-RL dosahuje vyšší přesnosti s menším počtem volání nástrojů. Jak se to však promítá do skutečných nákladů? Abychom srovnání učinili konkrétním, převádíme měření na úrovni tokenů na dolarové náklady pomocí zveřejněných cen API (Alibaba DashScope, OpenAI, Anthropic).

Při středním profilu (b=4) dosahuje Qwen3.5-397B-SFT-RL 73,9 % v aplikaci FRAMES při 2,0 centech za dotaz, zatímco GPT-5.4 dosahuje 67,8 % při 8,5 centech a Sonnet 4.6 dosahuje 62,4 % při 15,3 centech. To představuje o 6 bodů vyšší přesnost při 4x nižších nákladech ve srovnání s GPT-5.4 a o 11,5 bodu vyšší přesnost při 7,5x nižších nákladech ve srovnání se Sonnetem 4.6.

Tyto odhady využívají ceníkové ceny API bez mezipaměti. S interními optimalizacemi inference, jako je opakované použití mezipaměti KV, mezipaměť předpon a kvantované servírování MoE (397B používá pouze 17B aktivních parametrů), lze efektivní náklady snížit hluboko pod ceníkové ceny API.

Oddělení dodržování předpisů při nasazení od optimalizace vyhledávání prostřednictvím dvoufázového pipeline SFT a RL přináší model, který je schopný a spolehlivý za produkčních omezení. Kombinace ověřitelných QA a tréninkových dat založených na rubrikách spolu s ohraničenou agregací odměn a ukotveným tvarováním efektivity umožňuje stabilní vícekrokovou optimalizaci, aniž by byla oběťována přesnost vyhledávání nebo dodržování bezpečnostních pojistek.

Několik směrů si zaslouží další zkoumání. Jak je pozorováno na obrázku 4, divergence KL mezi tréninkem a inferencí vykazuje trvalý vzestupný posun při prodloužených tréninkových krocích. Zatímco korekce IS na úrovni tokenů se v našem aktuálním nastavení ukazuje jako dostatečná, není jasné, zda to platí i ve větším měřítku; principielnější teoretické řešení tohoto nesouladu – zahrnující diskrepance na úrovni infrastruktury a faktory specifické pro architekturu, jako je routování MoE – spolu s kvantitativními empirickými srovnáními strategií zmírnění zůstává důležitou otevřenou otázkou. Specificky pro vícekrokové RL slibné cesty zahrnují sekvenční trénink (Zeng a kol., 2026) s on-policy destilací k optimalizaci cílů po fázích a zároveň zmírnění katastrofické zapomnětlivosti; a slučování modelů (Fu a kol., 2025; Yang a kol., 2026) k oddělení optimalizace specifické pro úkol od agregace schopností. Nakonec škálování na realistické pracovní postupy s více nástroji s dlouhodobými trasami zůstává důležitou otevřenou výzvou, která pravděpodobně vyžaduje lepší přiřazení kreditů, podporu částečných spuštění a vyhodnocení.

DatologyAI. Datbench: Discriminative, faithful, and efficient vision-language model evaluations. https://www.datologyai.com/blog/datbench-discriminative-faithful-and-efficient-vision-language-model-evaluations, leden 2026. Publikováno 6. ledna 2026. Přístup: 2026-03-04.

J. Duchi a H. Namkoong. Variance-based regularization with convex objectives. arXiv preprint arXiv:1610.02581, 2016.

Z. Fu, X. Wu, Y. Wang, W. Wang, S. Ye, H. Yin, Y. Chang, Y. Zheng a X. Zhao. Training-free llm merging for multi-task learning. In Proceedings of the 63rd Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), strany 33111–33124, 2025.

A. Gunjal, A. Wang, E. Lau, V. Nath, Y. He, B. Liu a S. Hendryx. Rubrics as rewards: Reinforcement learning beyond verifiable domains. arXiv preprint arXiv:2507.17746, 2025.

J. Liu, Y. Li, Y. Fu, J. Wang, Q. Liu a Y. Shen. When speed kills stability: Demystifying rl collapse from the training-inference mismatch. Notion Blog, 2025a.

S.-Y. Liu, X. Dong, X. Lu, S. Diao, P. Belcak, M. Liu, M.-H. Chen, H. Yin, Y.-C. F. Wang, K.-T. Cheng a kol. Gdpo: Group reward-decoupled normalization policy optimization for multi-reward rl optimization. arXiv preprint arXiv:2601.05242, 2026.

T. Liu, R. Xu, T. Yu, I. Hong, C. Yang, T. Zhao a H. Wang. Openrubrics: Towards scalable synthetic rubric generation for reward modeling and llm alignment. arXiv preprint arXiv:2510.07743, 2025b.

R. Lu, Z. Hou, Z. Wang, H. Zhang, X. Liu, Y. Li, S. Feng, J. Tang a Y. Dong. Deepdive: Advancing deep search agents with knowledge graphs and multi-turn rl. arXiv preprint arXiv:2509.10446, 2025.

W. Ma, H. Zhang, L. Zhao, Y. Song, Y. Wang, Z. Sui a F. Luo. Stabilizing moe reinforcement learning by aligning training and inference routers. arXiv preprint arXiv:2510.11370, 2025.

T. Pham, N. Nguyen, P. Zunjare, W. Chen, Y.-M. Tseng a T. Vu. Sealqa: Raising the bar for reasoning in search-augmented language models. arXiv preprint arXiv:2506.01062, 2025.

O. Press, M. Zhang, S. Min, L. Schmidt, N. A. Smith a M. Lewis. Measuring and narrowing the compositionality gap in language models. In Findings of the Association for Computational Linguistics: EMNLP 2023, strany 5687–5711, 2023.

P. Qi, X. Zhou, Z. Liu, T. Pang, C. Du, M. Lin a W. S. Lee. Rethinking the trust region in llm reinforcement learning. arXiv preprint arXiv:2602.04879, 2026.

Z. Shao, P. Wang, Q. Zhu, R. Xu, J. Song, X. Bi, H. Zhang, M. Zhang, Y. Li, Y. Wu a kol. Deepseekmath: Pushing the limits of mathematical reasoning in open language models. arXiv preprint arXiv:2402.03300, 2024.

Z. Tao, J. Wu, W. Yin, J. Zhang, B. Li, H. Shen, K. Li, L. Zhang, X. Wang, Y. Jiang a kol. Webshaper: Agentically data synthesizing via information-seeking formalization. arXiv preprint arXiv:2507.15061, 2025.

Týmy vLLM a TorchTitan. No more train-inference mismatch: Bitwise consistent on-policy reinforcement learning with vLLM and TorchTitan. https://blog.vllm.ai /2025/11/10/bitwise-consistent-train-inference.html, listopad 2025. vLLM Blog.

J. Wu, W. Yin, Y. Jiang, Z. Wang, Z. Xi, R. Fang, D. Zhou, P. Xie a F. Huang. Webwalker: Benchmarking llms in web traversal, 2025. URL https://arxiv.org/abs/ 2501.07572.

A. Yang, A. Li, B. Yang, B. Zhang, B. Hui, B. Zheng, B. Yu, C. Gao, C. Huang, C. Lv a kol. Qwen3 technical report. arXiv preprint arXiv:2505.09388, 2025.

E. Yang, L. Shen, G. Guo, X. Wang, X. Cao, J. Zhang a D. Tao. Model merging in llms, mllms, and beyond: Methods, theories, applications, and opportunities. ACM Computing Surveys, 58(8):1–41, 2026.

F. Yao, L. Liu, D. Zhang, C. Dong, J. Shang a J. Gao. Your efficient rl framework secretly brings you off-policy rl training, srpen 2025. URL https://fengyao.notion.s ite/off-policy-rl.

A. Zeng, X. Lv, Z. Hou, Z. Du, Q. Zheng, B. Chen, D. Yin, C. Ge, C. Xie, C. Wang a kol. Glm-5: from vibe coding to agentic engineering. arXiv preprint arXiv:2602.15763, 2026.

C. Zheng, K. Dang, B. Yu, M. Li, H. Jiang, J. Lin, Y. Liu, H. Lin, C. Wu, F. Hu a kol. Stabilizing reinforcement learning with llms: Formulation and practices. arXiv preprint arXiv:2512.01374, 2025a.

C. Zheng, S. Liu, M. Li, X.-H. Chen, B. Yu, C. Gao, K. Dang, Y. Liu, R. Men, A. Yang a kol. Group sequence policy optimization. arXiv preprint arXiv:2507.18071, 2025b.

BibTeX

@online{perplexity2026AdvancingSearchAugmentedLanguageModels,
  author = {{Perplexity} and Denis Yarats and Dongqi Wu and Hang Wu and Randy Ardywibowo and Senzeyu Zhang and Yunfan Zhong and Ziqing Hu and Clare Southern and Riley Carlson and Yi He and Erin McKnight and Mara Sohn and Phi Hoang},
  title = {{Advancing search-augmented language models}},
  date = {2026-04-22},
  url = {https://perplexity.coolkeypoint.com/hub/blog/advancing-search-augmented-language-models}
}

Úvod

Dvoufázový tréninkový pipeline

Fáze SFT

Fáze RL

Tréninková data pro RL

Ověřitelná data pro vyhledávací agenti

Příklad (3-hop)

Data obecného chatu založeného na rubrikách

Příklad

Směs výzev a vyvažování variance

Návrh odměn

Základní odměna

Modelování preferencí

Penalizace efektivity

Hlavní výsledky

Tréninková dynamika

Offline vyhodnocení

Vyhodnocení efektivity použití nástrojů

Závěr

Reference

Citace