Надграждане на езикови модели с разширено търсене

Как доразвиваме отворени модели в агенти за търсене, които отговарят по-точно с по-малко извиквания на инструменти.

АвториPerplexity Research

Въведение

Обучението на модерни уеб агенти за търсене изисква съвместно оптимизиране на множество цели: фактическа точност, ефективност на траекторията и привеждане в съответствие с предпочитанията на потребителя. И все пак подобряването на всяко отделно измерение в изолация често влошава другите: моделите, обучени само за точност, са склонни да прекаляват с инструментите, докато моделите, оптимизирани за кратки текстове, могат да жертват надеждността или пълнотата. В Perplexity нито един от тези изходи не е приемлив.

Тази статия описва т.нар. пост-тренировъчен (post-training) конвейер на Perplexity за разработване на съвременни уеб агенти за търсене, базирани на модели с отворен код. Основната идея е, че при обучението на агенти за търсене поддържането на данните и проектирането на наградите трябва да бъдат съгласувани: данните определят кои поведения са наблюдаваеми и проверяеми, а наградата определя как тези сигнали се превръщат в сигнал за оптимизация. Този принцип мотивира нашия двуетапен конвейер: първо провеждаме загрявка за надградено фина настройване (Supervised Fine-Tuning, SFT) за инициализиране на целевия модел (policy model), след което го усъвършенстваме чрез обучение с подсилване (Reinforcement Learning, RL) върху подбран набор от данни и внимателно проектирани награди. Този двуетапен подход дава възможност за надеждни печалби в точността, ефективността и качеството на отговорите при производствени ограничения.

Първо описваме нашия двуетапен конвейер за обучение (SFT → on-policy RL), последван от изграждането на нашите данни за RL обучение, обхващащи както проверяеми въпроси и отговори (QA) за агенти за търсене, така и общ чат (general chat), базиран на рубрики. След това представяме композитен дизайн на наградите, изведен от тази хетерогенна среда от данни, балансиращ качеството и ефективността, като същевременно смекчава заобикалянето на наградите (reward hacking). Накрая анализираме динамиката на обучението и резултатите от бенчмарка.

Двуетапен конвейер за обучение

Приемаме двуетапен рецепт за следтренировъчно обучение: (i) SFT за установяване на критични за внедряването поведения като предпазни мерки (напр. въздържане / abstention), следване на инструкции и езикова последователност, и (ii) on-policy RL за подобряване на възможностите за търсене, включително точност на отговорите и ефективност при използване на инструменти, като същевременно се запазват поведенията от първия етап.

Защо два етапа? Съвместното оптимизиране на качеството на търсенето и ограниченията за внедряване в рамките на един RL етап е трудно, без да се компрометира поне една цел. Емпирично обучението само с RL подобрява ефективността на търсенето, но е склонно да се представя зле по отношение на предпазните мерки за внедряване, докато SFT подобрява съответствието с цената на ефективността на търсенето. Разединяването на целите позволява на SFT етапа да адресира първо изискванията, които не подлежат на преговори, след което RL може да се съсредоточи главно върху подобряването на възможностите за търсене.

SFT етап

Инициализираме от семейството модели Qwen3 (Qwen3.5-122B-A10B и Qwen3.5-397B-A17B) (Yang et al., 2025, блог публикация за Qwen3.5) и изграждаме набор от данни за SFT смес с два компонента, насочени към описаните по-горе критични за внедряването поведения, като същевременно запазваме общата възможност за търсене на базовия модел.

Примери, ориентирани към предпочитанията. Ние подбираме примери, следващи инструкции и фокус върху стила, насочени към тон, езикова последователност, яснота и форматиране. Тези примери не е необходимо да допускат уникална абсолютна истина; по-скоро те са подбрани така, че да отразяват изискванията за писане на продукти и да гарантират стилова последователност в различни типове заявки.

Траектории за използване на инструменти във формат за производство. Емпирично установяваме, че SFT без внимателно куриране на набора от данни може съществено да влоши възможностите за търсене на базовия модел. За да смекчим това, ние вземаме примерни заявки и вътрешни задачи в различни модели на взаимодействие (едно-, дву- и многоходови) и ги анотираме с нашата рамка (harness) за извикване на инструменти.

RL етап

Започвайки от SFT контролната точка (checkpoint), прибягваме до on-policy RL за подобряване на точността и ефективността на търсенето. Оптимизираме целевия модел чрез групова относителна оптимизация на политиката (Group Relative Policy Optimization, GRPO) (Shao et al., 2024).

JGRPO(θ)=1G∑i=1G1∣oi∣∑t=1∣oi∣ri,t(θ)A^i,t,\mathcal{J}_{\text{GRPO}}(\theta) = \frac{1}{G}\sum_{i=1}^{G} \frac{1}{|o_i|}\sum_{t=1}^{|o_i|} r_{i,t}(\theta)\hat{A}_{i,t},

където GG е размерът на групата, oio_{i} обозначава ii-тия извадков изход, а A^i,t=A^i\hat{A}_{i, t} = \hat{A}_{i} е предимството (advantage). Дизайнът на наградите е описан подробно в съответния раздел; накратко, комбинираме коректността на базовото ниво с оформяне на ефективността, базирано на предпочитания и анкерирано. Следвайки предишна работа (Liu et al., 2025a; Yao et al., 2025; Zheng et al., 2025a), прилагаме токен-базирано важностно семплиране (Importance Sampling, IS) за корекция на несъответствието между обучение и инференция:

ri,t(θ)=πtrain(θ)μinfer(θ).r_{i,t}(\theta) = \frac{\pi_{\text{train}}(\theta)}{\mu_{\text{infer}}(\theta)}.

Оценяваме няколко подхода за смекчаване на несъответствието между обучение и инференция, включително IS на ниво последователност (Zheng et al., 2025b), replay с маршрутизиране (Ma et al., 2025; Zheng et al., 2025b) и обучение с битово съгласуване, което интегрира ядрото на инференсния енджин по време на обучението (vLLM and TorchTitan Teams, 2025). Емпирично, при нашата on-policy настройка, установяваме, че IS на ниво токени е достатъчен, за да предотврати колапс на обучението, като същевременно остава лесен за имплементация; това е в съответствие с резултатите от Zheng et al (2025a).

Данни за RL обучение

Нашите данни за RL обучение се състоят от два допълващи се компонента: проверяеми QA за агенти за търсене, насочени към общата способност за търсене, и базиран на рубрики общ чат, който изрично подсилва предпазните мерки за внедряване, за да се предотврати регресия по време на етапа на RL обучение.

Проверяеми данни за агенти за търсене

Изграждане на набор от данни. Следвайки метода на последователно разширяване (Tao et al., 2025), ънструираме вътрешен синтетичен QA набор от данни от вътрешни начални (seed) заявки, без да разчитаме на курирана база от знания (knowledge graph), поддържайки конвейера лек и лесен за актуализиране. Всеки синтетичен пример се генерира чрез следните стъпки:

  1. Избор на начални елементи (Seed selection). Извличаме документи за началните заявки и избираме субекти с потвърждение на фактите от множество източници като отправни точки, извличайки атомни твърдения за тях.
  2. Изграждане на многоходова верига. От твърденията на началния субект избираме това, което въвежда втори субект (напр. за началния „The Mom Test“, твърдението „написана от Роб Фицпатрик“ въвежда автора като следващ субект). Повтаряме този процес на свързване 2–4 пъти, като гарантираме, че всеки субект е отличителен и че нито едно отделно твърдение не разкрива окончателния отговор тривиално.
  3. Синтез на въпроси без имена. Превръщаме веригата от субекти във въпрос, като рекурсивно заменяме имената на субектите с техните свързващи твърдения, създавайки вложен въпрос, изискващ многоходово разсъждение.
  4. Проверка. Запазваме само въпроси с уникални отговори, проверени от множество независими решаващи устройства с достъп до уеб.

Пример (3-ходов)

Разгледайте началната заявка „The Mom Test“. Извличаме документи и идентифицираме тази книга като начален субект, след което извличаме атомни фактически твърдения и изграждаме итеративно верига от субекти: (i) The Mom Test е написана от Роб Фицпатрик, въвеждайки Роб Фицпатрик; (ii) първият стартъп на Роб Фицпатрик минава през Y Combinator (лятото на 2007 г.), въвеждайки Y Combinator; (iii) Y Combinator е стартиран през март 2005 г. Рекурсивното заменяне на името на всеки субект с неговия дескриптор дава въпроса без име: „Коя книга е написана от човека, чийто първи стартъп е преминал през акселератора, стартиран през март 2005 г., в неговия кохорт от лятото на 2007 г.?“ с отговор „The Mom Test“.

Добавяне на разнообразие от формати. Моделите, обучени единствено на сурови синтетични QA, са склонни да пренебрегват предпочитанията за форматиране и да се връщат към фиксирана структура на отговора, независимо от това как е формулирана заявката. За да подобрим разнообразието на форматите, ние разширяваме набора от данни със заявки, които включват изрични инструкции за форматиране (напр. „Покажи списък с...“ или „Обобщи... в таблица“), като същевременно запазваме основния отговор непроменен.

Общодостъпни проверяеми QA (базова линия). Създаваме базов проверяеми QA набор от данни от пет набора от данни с отворен код (Lu et al., 2025; Pham et al., 2025; Press et al., 2023; Tao et al., 2025; Wu et al., 2025), обединени под нашия разширен формат на подкана с филтриране на качеството. Тази смес служи като основна базова линия в нашите експерименти за валидиране. За контролирани сравнения съпоставяме мащаба на нашия собствен вътрешен синтетичен QA набор от данни с тази смес с отворен код.

Бърза валидация. Валидираме ефективността на този конвейер, като използваме Qwen3-30B-A3B-Instruct-2507, за да позволим бърза итерация; резултатите са обобщени в Таблица 1.

Валидиране на синтетичен проверяем QA набор от данни

Данни за общ чат, базирани на рубрики

Въпреки че проверяемите QA предоставят чист сигнал за обучение за заявки, фокусирани върху търсенето, съществена част от производствения трафик не е уникално проверяема (напр. пренаписване, планиране и отговори на открити въпроси). Изключването на такива заявки от RL би оставило политиката недостатъчно оптимизирана за реални потребителски взаимодействия. Освен това, докато SFT етапът установява критични за внедряването предпазни мерки, RL може да регресира по отношение на тях, освен ако те не бъдат изрично подсилени от данните.

Интегрираме непроверяеми заявки в RL обучението, като превръщаме изискванията, критични за внедряването – следване на инструкции, ограничения за форматиране и конвенции за безопасност – в рубрики: атомни, обектно проверяеми критерии, които даден отговор трябва да задоволи. Възприемаме изграждане на данни въз основа на рубрики (Gunjal et al., 2025; Liu et al., 2025b), генерирайки набор от рубрики за всяка заявка.

Генериране на рубрики. Като се има предвид пълната история на разговора, караме LLM да създаде референтен отговор и съответен набор от рубрики. Рубриките се извеждат при фиксиран ред на приоритет: изискванията, изрично посочени от потребителя, са с приоритет, следвани от вътрешни ограничения и накрая необходими изисквания към съдържанието, изведени от референтния отговор. Всяка рубрика трябва да бъде:

  • Атомна: една единствена, добре дефинирана проверка;
  • Обективна: проверяема без субективна преценка;
  • Необходима: изисквана за отговор на заявката, а не просто стилистично предпочитание.

Пример

Заявка.

She will share u man power planning. We have to arrange lodging & boarding. Plz correct swntence.

Рубрики.

  • Отговорът е на английски език.
  • Коригираният израз съдържа думите "lodging" и "boarding".
  • Коригираният израз използва "manpower" като една дума (например „manpower plan“ или „manpower planning“), а не "man power".
  • Коригираният израз не съдържа неформалните съкратени токени "u" или "Plz" и не съдържа символа амперсанд "&".
  • Отговорът не съдържа маркери за цитиране от формата \\[type:idx\\], където type обозначава източник на данни (например web, chart, memory, attached_file).

Калибриране на рубриките. За да избегнем прекалено строги или прекалено хлабави набори от рубрики, прилагаме филтър pass@4. За всяка заявка вземаме четири независими отговора и ги оценяваме спрямо пълния набор от рубрики с помощта на съдия, следващ инструкциите. Отхвърляме заявките, за които нито един отговор не отговаря на набора от рубрики или всички отговарят, като запазваме само тези, които дават информативен сигнал за обучение.

Смес от подкани и балансиране на вариацията

Практическо предизвикателство при многоцелевия RL е дисбалансът на вариацията между компонентите от данни (Duchi and Namkoong, 2016; Liu et al., 2026; Qi et al., 2026). Въпреки че както проверяемите QA, така и данните, базирани на рубрики, водят до двоични награди, те се различават съществено по трудност на задачите: удовлетворяването на рубриките обикновено е по-лесно за постигане в началото на обучението, което води до по-големи и по-чести обновления на градиента, които могат непропорционално да доминират оптимизацията на политиката спрямо по-труден сигнал за проверяеми QA. За да разрешим това, претегляме отново сместа от подкани на ниво набор от данни, като вземаме 90% от проверяеми QA и 10% от данни, базирани на рубрики, за да балансираме сигнала за оптимизация между компонентите.

Дизайн на наградите

Дизайнът на нашите награди следва директно от описаното по-горе изграждане на данни. Въпреки че обхваща както проверяеми QA, така и задачи с рубрики, всички данни за обучение споделят обща базова структура на наградите: генерирането (rollout) получава кредити, ако даде верен отговор за QA задачите или удовлетвори всички посочени рубрики за общия чат. Надграждайки тази споделена основа, ънструираме композитна награда за включване на оценяване въз основа на предпочитания и оформяне на ефективността.

Ключово предизвикателство, наблюдавано в ранните експерименти, беше reward hacking: проста линейна комбинация от награди позволяваше силни сигнали за предпочитания да компенсират фактически или инструкционни неуспехи. Поради това възприемаме gated aggregation като основен принцип на проектиране, формално дефиниран като:

R(τi)=rbase(τi)⋅s(τi)  −  pen⁡eff(τi),R(\tau_i) = r_{\text{base}}(\tau_i) \cdot s(\tau_i) \;-\; \operatorname{pen}_{\text{eff}}(\tau_i),

където rbase(τi)∈{0,1}r_{\mathrm{base}}(\tau_i) \in \{0, 1\} обозначава коректност на QA или удовлетворяване на рубриката, s(τi)∈[0,1]s(\tau_i)\in[0,1] е оценката за предпочитания, а pen⁡eff(τi)\operatorname{pen}_{\mathrm{eff}}(\tau_i) е анкерирано наказание за ефективност. Това прави коректността необходимо условие за получаване на кредити за предпочитания, като същевременно възпира ненужното използване на инструменти и многословието. Фигура 1 илюстрира пълния конвейер за награди, чиито компоненти описваме по-долу:

Преглед на дизайна на наградите. Комбинираме базов сигнал за коректност (проверяем/рубрика), оценка на предпочитанията по Bradley–Terry и анкерирани наказания за ефективност. Предпочитанията се управляват от базовата коректност, за да се предотврати хакване на наградите.

Базова награда

Дефинираме двоичен базов сигнал rbase(τi)∈{0,1}r_{\mathrm{base}}(\tau_i) \in \{0,1\}, който улавя правилността на задачата или спазването на инструкциите. За проверяеми данни на агент за търсене, rbase(τi)=1r_{\mathrm{base}}(\tau_i)=1, ако крайният отговор съвпада с абсолютната истина, и 00 в противен случай. За данни за общ чат, базирани на рубрики, rbase(τi)=1r_{\mathrm{base}}(\tau_i)=1, ако всички рубрики са удовлетворени, и 00 в противен случай. Тази базова линия служи като твърда врата в правилото за условно агрегиране в Ур. 2.

Моделиране на предпочитанията

Целта ни е да приведем целевия модел в съответствие със скритите предпочитания на потребителите по отношение на качеството на отговора – информативност, яснота и професионален тон, които са трудни за улавяне чрез подкани за LLM съдия. Следователно тренираме научен модел за награди от предпочитания, за да оценяваме тези атрибути директно.

Формулираме обучението на предпочитанията в рамките на рамката Bradley–Terry. Предвид контекст xx и два кандидат-отговора ya,yby_a, y_b, моделът произвежда скаларни оценки sθ(x,y)∈Rs_{\theta}(x, y) \in \mathbb{R} и минимизира,

ℓBT(θ;x,ya,yb,r)=−[rlog⁡σ(Δθ)+(1−r)log⁡(1−σ(Δθ))],Δθ=sθ(x,ya)−sθ(x,yb)\ell_{\text{BT}}(\theta; x, y_a, y_b, r) = -\Big[r \log \sigma(\Delta_\theta) + (1-r) \log\bigl(1 - \sigma(\Delta_\theta)\bigr)\Big], \\ \Delta_\theta = s_\theta(x, y_a) - s_\theta(x, y_b)

където r∈{0,1}r \in \{0, 1\} показва дали yay_a е предпочитан. За да се елиминира позиционното изкривяване, всяка тренировъчна двойка се разширява с двете подредби и се оптимизира симетрично,

Lsym=12 ℓBT(x,ya,yb,r)+12 ℓBT(x,yb,ya,1−r).\mathcal{L}_{\text{sym}} = \tfrac{1}{2}\,\ell_{\text{BT}}(x, y_a, y_b, r) + \tfrac{1}{2}\,\ell_{\text{BT}}(x, y_b, y_a, 1-r).

По време на инференция получаваме независеща от позицията оценка за предпочитания чрез усредняване на двете пермутации:

Δˉθ(x,ya,yb)=12[Δθ(x,ya,yb)−Δθ(x,yb,ya)],Pˉθ(x,ya,yb)=σ(Δˉθ(x,ya,yb)).\bar{\Delta}_\theta(x, y_a, y_b) = \tfrac{1}{2}\Big[\Delta_\theta(x, y_a, y_b) - \Delta_\theta(x, y_b, y_a)\Big], \\ \bar{P}_\theta(x, y_a, y_b) = \sigma\bigl(\bar{\Delta}_\theta(x, y_a, y_b)\bigr).

Оценката за предпочитания при генериране (rollout) се дефинира като s(τi)≜Pˉθ(x,ya,yb)∈[0,1]s(\tau_i) \triangleq \bar{P}_{\theta}(x, y_a, y_b) \in [0,1], т.е. вероятността генерирането на политиката yiy_i да се предпочита пред генерирането на референтния модел за същата подкана.

Данните за обучение за моделиране на предпочитания се извличат от курирани набори от данни с отворен код, обратна връзка „един до друг“ (side-by-side) от потребители и вътрешни анотации. За да се справим с шума в етикетите, прилагаме лек конвейер за филтриране и калибриране, вдъхновен от Datbench (DatologyAI, 2026), запазвайки само примери с последователно съгласие между моделите. Моделът на наградите споделя същия гръбнак като целевия модел, като главата за езиково моделиране е заменена с глава за стойност (value head). Въпреки че по-малките модели за награди постигат съизмерима точност върху заделени данни, емпирично установяваме, че те не успяват да уловят фини предпочитания и могат да подсилят нежелани поведения на политиката.

Наказание за ефективност

При липса на изрично оформяне на ефективността политиката е склонна да злоупотребява с инструменти дори при прости подкани. Неусловните наказания (напр. тези, които се мащабират линейно с броя на извикванията на инструменти или дължината на изхода) са естествена базова линия, но установяваме, че те потискат необходимото изследване и влошават обучението. Затова възприемаме групово-относителни, анкерирани наказания, които регулират използването на инструменти и дължината на отговора спрямо ефективните решения във всяка GRPO група. За група 𝑔 дефинираме печелившия набор като:

Wg={ i:rbase(τi)=1 }.W_g = \{\, i : r_{\text{base}}(\tau_i) = 1 \,\}.

Анкерирано наказание за извикване на инструмент. За всяко генериране τi\tau_i нека cic_i обозначава броя на извикванията на инструменти, а eie_i – броя на неуспешните изпълнения на инструменти. Дефинираме ефективния брой извиквания на инструменти c~i=ci−ei\tilde{c}_i = c_i - e_i и вземаме равномерна извадка от групова базова линия:

bg∼Unif⁡ ⁣(min⁡j∈Wgc~j, ⌈mean⁡j∈Wgc~j⌉).b_g \sim \operatorname{Unif}\!\left(\min_{j \in W_g} \tilde{c}_j,\ \left\lceil \operatorname{mean}_{j \in W_g} \tilde{c}_j \right\rceil\right).

Изчисляваме излишъка Δi=max⁡ ⁣(0,  c~i−bg)\Delta_i = \max\!\left(0,\; \tilde{c}_i - b_g\right) и дефинираме гладък скалар на наказанието pi=1−exp⁡ ⁣(−Δi)p_i = 1 - \exp\!\left(-\Delta_i\right). Наказанието за инструмент тогава е:

pen⁡tool(τi)={αwin pi,i∈Wg,αlose pi+βlose,i∉Wg,\operatorname{pen}_{\text{tool}}(\tau_i) = \begin{cases} \alpha_{\text{win}}\, p_i, & i \in W_g, \\ \alpha_{\text{lose}}\, p_i + \beta_{\text{lose}}, & i \notin W_g, \end{cases}

Анкерирано наказание за дължина. Нека LiL_i и LirefL_i^{\mathrm{ref}} обозначават дължините в токени на генерациите на кандидат-модела и референтния модел съответно. Дефинираме оформящия набор (shaping set) W^g\widehat{W}_g като генерирания, които са едновременно верни и предпочитани:

W^g={ i∈Wg⏟correct  :  s(τi)≥0.5⏟preferred }.\widehat{W}_g = \{\, \underbrace{i \in W_g}_{\text{correct}} \;:\; \underbrace{s(\tau_i) \geq 0.5}_{\text{preferred}} \,\}.

След това изчисляваме специфични за групата базови линии за дължина:

bg,win⏟avg. ref. lengthof winners=mean⁡j∈W^gLjref,bg,lose⏟avg. ref. lengthof losers=mean⁡j∉W^gLjref.\underbrace{b_{g,\text{win}}}_{\substack{\text{avg. ref. length} \\ \text{of winners}}} = \operatorname{mean}_{j \in \widehat{W}_g} L_j^{\text{ref}}, \qquad \underbrace{b_{g,\text{lose}}}_{\substack{\text{avg. ref. length} \\ \text{of losers}}} = \operatorname{mean}_{j \notin \widehat{W}_g} L_j^{\text{ref}}.

Наказанието за дължина се дефинира като:

pen⁡len(τi)={1,Li>max⁡jLjcmp1−exp⁡ ⁣(−max⁡ ⁣(0, Libg,win−1)),i∈W^g1−exp⁡ ⁣(−max⁡ ⁣(0, bg,loseLi−1)),i∉W^g\operatorname{pen}_{\text{len}}(\tau_i) = \begin{cases} 1, & L_i > \max_j L_j^{\text{cmp}} \\ 1 - \exp\!\left(-\max\!\left(0,\ \dfrac{L_i}{b_{g,\text{win}}} - 1\right)\right), & i \in \widehat{W}_g \\ 1 - \exp\!\left(-\max\!\left(0,\ \dfrac{b_{g,\text{lose}}}{L_i} - 1\right)\right), & i \notin \widehat{W}_g \end{cases}

където първият ред е твърда горна граница; вторият санкционира многословните победители; а третият санкционира лаконичните губещи.

Комбинирано наказание за ефективност. Комбинираното наказание за ефективност е претеглена сума от двата компонента:

pen⁡eff(τi)=λtool pen⁡tool(τi)+λlen pen⁡len(τi).\operatorname{pen}_{\text{eff}}(\tau_i) = \lambda_{\text{tool}}\, \operatorname{pen}_{\text{tool}}(\tau_i) + \lambda_{\text{len}}\, \operatorname{pen}_{\text{len}}(\tau_i).

Основни резултати

Оценяваме нашия пост-тренировъчен конвейер по две оси: (i) динамика на обучението, за да оценим стабилността на оптимизацията и дали сигналите за награди се държат както се очаква, и (ii) офлайн бенчмаркове, за да измерим качеството надолу по веригата (downstream), безопасността и ефективността при контролирани настройки за оценка.

Стандартни настройки за обучение. Целевият модел взаимодейства с инструмент за уеб търсене (search_web); всяко извикване на инструмент извлича до 10 резултата, като заявките са ограничени до 250 знака и до 5 заявки на генериране.

Динамика на обучението

Разглеждаме динамиката на оптимизацията, като се фокусваме върху прогресията на наградите и поведението по отношение на ефективността. Използваме Qwen3.5-397B-A11B за опростяване на илюстрацията.

Еволюция на базовата линия и сигналите за предпочитания по време на обучение.

Фигура 2 показва устойчиво подобрение в базовата награда (проверяеми QA и удовлетворяване на рубрики) наред с нарастващите оценки за предпочитания, което показва последователни печалби в коректността, съответствието и качеството на отговорите.

Поведение на ефективността и анкерирани оформящи наказания по време на обучение.

Фигура 3 демонстрира, че както честотата на извикване на инструменти, така и дължината на генериране остават добре контролирани по време на обучението. Забележително е, че както наказанията за извикване на инструменти, така и тези за дължина намаляват монотонно в хода на обучението, отразявайки прогресивната адаптация на модела към по-кратко генериране и по-селективно извикване на инструменти.

Индикатори за стабилност на оптимизацията.

Фигура 4 показва, че нормите на градиента остават стабилни, с изключение на временни скокове, докато KL дивергенцията между обучение и инференция показва лека възходяща тенденция, оставайки в рамките на мащаба 1e-3. Този модел на отклонение е в съответствие с наблюденията в други рамки за RL обучение; тъй като обучението остава стабилно през цялото време, запазваме опростена IS регуляризация в Ур. 1 без допълнителна намеса.

Офлайн оценки

Докладваме резултати за набор от бенчмаркове, обхващащи точност на търсенето, фактическа надеждност, следване на инструкции и безопасност, включващи както обществени бенчмаркове, така и вътрешни метрики на Perplexity (PPLX). Обществените бенчмаркове включват SimpleQA, FRAMES и Facts Open.

  • pplx-sbs-search: Оценка на предпочитанията „един до друг“ (side-by-side) с помощта на вътрешен модел на наградите. Кандидатите се сравняват със силна базова линия.
  • pplx-abstention: Способност за подходящ отказ, когато няма налични надеждни доказателства.
  • pplx-language-mismatch: Езикова последователност при настройки с дълга опашка (long-tail) и многоходови настройки.
  • pplx-broken-tool-calls (↓): Съответствие със схемата за извикване на инструменти и спазване на ограниченията, например tool_choice=none.

Стандартни настройки за оценка. За обществените бенчмаркове разрешаваме само инструмента за уеб търсене, с бюджет до 5 извиквания на инструменти на пример и до 10 резултата на извикване, генерирайки до 8192 изходни токена при температура 0,6.

Резултати от офлайн оценка. Числата в скоби показват средното използване на инструменти. Отбелязваме Qwen3.5-397B-A17B като Qwen3.5-Large, а Qwen3.5-122B-A10B като Qwen3.5-Medium.

Таблица 2 показва, че Qwen3.5-Large-SFT-RL постига висока точност на търсене в обществените бенчмаркове, съответствайки на или надминавайки gpt-5.4 на FRAMES и Facts Open, като същевременно използва сравними бюджети за инструменти. Спрямо базовия модел нашият подход води до съществени печалби по вътрешни метрики, особено по отношение на предпочитанията (pplx-sbs-search: 0,602 → 0,742), езиковата последователност и въздържането, което демонстрира, че двуетапният конвейер ефективно подобрява критичните за внедряването поведения без компромис с възможностите за търсене.

Оценки на ефективността при използване на инструменти

За да измерим това, проектираме протокол за оценка с наложен бюджет. На всеки модел се дава достъп до уеб инструмент за търсене (search_web) и системен prompt, който задава твърд лимит върху броя разрешени извиквания на инструмента („бюджетът“). Променяме този бюджет от 0 (без използване на инструмента, чисто параметрично знание) до 10 (щедро многоетапно извличане), като записваме точността на всяко ниво. Това дава крива на ефективност на инструмента: резултатът на модела като функция на бюджета за извличане, който му е разрешен. Оценяваме върху два бенчмарка за фактически QA, FRAMES и Facts Open.

Точност на бенчмарка спрямо Максимален брой извиквания на инструменти.

Няколко модела се открояват от тези два бенчмарка:

  • Нашият пост-трениран Qwen3.5-397B-SFT-RL постига най-добра точност на търсене и в двата бенчмарка. Дори с едно извикване на инструмент той постига 57,3% на FRAMES, което е с 5,7 пункта над GPT-5.4 и с 4,7 пункта над Sonnet 4.6.
    • Предимството е най-изразено при умерени бюджети (b=2-7), което е практичният работен диапазон за производствени внедрявания.
  • Нашата пост-тренировъчна рецепта (SFT + RL) съществено подобрява ефективността на използване на инструменти в сравнение с базовата контролна точка; вижте плътните линии (пост-тренирани) спрямо прекъснатите линии (начална контролна точка) на Фигура 5.
  • За всички модели наблюдаваме намаляваща възвръщаемост около budget=7, последователна в двата бенчмарка и всички модели, което предполага, че това е свойство на задачите за търсене на факти, а не на самите модели.

Резултатите по-горе показват, че Qwen3.5-397B-SFT-RL постига по-висока точност с по-малко извиквания на инструменти. Но как това се превръща в реална цена? Превръщаме измерванията на ниво токени в цени в долари, като използваме публикуваните цени на API (Alibaba DashScope, OpenAI, Anthropic), за да направим сравнението конкретно.

Цена на заявка спрямо точност.

При средния профил (b=4) Qwen3.5-397B-SFT-RL постига 73,9% на FRAMES при 2,0 цента на заявка, докато GPT-5.4 постига 67,8% при 8,5 цента, а Sonnet 4.6 постига 62,4% при 15,3 цента. Това е +6 пункта точност при 4 пъти по-ниска цена в сравнение с GPT-5.4 и +11,5 пункта при 7,5 пъти по-ниска цена в сравнение с Sonnet 4.6.

Тези оценки използват ценообразуване на API по списък без кеширане. С вътрешни оптимизации за инференция като повторно използване на KV кеш, кеширане на префикси и квантизирано MoE обслужване (397B използва само 17B активни параметри), ефективната цена може да бъде намалена значително под ценообразуването на API по списък.

Заключение

Разединяването на съответствието при внедряване от оптимизацията на търсенето чрез двуетапен SFT и RL конвейер води до модел, който е едновременно способен и надежден при производствени ограничения. Комбинацията от проверяеми QA и данни за обучение, базирани на рубрики, заедно с агрегиране на награди с gating и анкерирано оформяне на ефективността, дава възможност за стабилна многоцелева оптимизация, без да се жертва точността на търсенето или съответствието с предпазните мерки.

Няколко направления заслужават по-нататъшно разглеждане. Както е видно от Фигура 4, KL дивергенцията между обучение и инференция показва упорито възходящо отклонение при разширени стъпки на обучение. Въпреки че токен-базираната IS корекция се доказва като достатъчна при настоящата ни настройка, не е ясно дали това остава в сила при по-голям мащаб; по-обосновано от теоретична гледна точка третиране на това несъответствие – обхващащо инфраструктурни несъответствия и специфични за архитектурата фактори като MoE маршрутизиране – наред с количествени емпирични сравнения на стратегиите за смекчаване, остава важен отворен въпрос. Специално за многоцелевия RL обещаващите пътища включват последователно обучение (Zeng et al., 2026) с on-policy дестилация за оптимизиране на целите на етапи, като същевременно се смекчава катастрофалното забравяне; и обединяване на модели (model merging) (Fu et al., 2025; Yang et al., 2026) за отделяне на специфичната за задачата оптимизация от агрегирането на способности. И накрая, мащабирането до реалистични работни процеси с множество инструменти с траектории с дълъг хоризонт остава важно отворено предизвикателство, изискващо вероятно по-добро разпределение на кредитите, поддръжка за частични генерирания и оценки.

Литература

DatologyAI. Datbench: Discriminative, faithful, and efficient vision-language model evaluations. https://www.datologyai.com/blog/datbench-discriminative-faithful-and-efficient-vision-language-model-evaluations, Jan. 2026. Published Jan 6, 2026. Accessed: 2026-03-04.

J. Duchi and H. Namkoong. Variance-based regularization with convex objectives. arXiv preprint arXiv:1610.02581, 2016.

Z. Fu, X. Wu, Y. Wang, W. Wang, S. Ye, H. Yin, Y. Chang, Y. Zheng, and X. Zhao. Training-free llm merging for multi-task learning. In Proceedings of the 63rd Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pages 33111–33124, 2025.

A. Gunjal, A. Wang, E. Lau, V. Nath, Y. He, B. Liu, and S. Hendryx. Rubrics as rewards: Reinforcement learning beyond verifiable domains. arXiv preprint arXiv:2507.17746, 2025.

J. Liu, Y. Li, Y. Fu, J. Wang, Q. Liu, and Y. Shen. When speed kills stability: Demystifying rl collapse from the training-inference mismatch. Notion Blog, 2025a.

S.-Y. Liu, X. Dong, X. Lu, S. Diao, P. Belcak, M. Liu, M.-H. Chen, H. Yin, Y.-C. F. Wang, K.-T. Cheng, et al. Gdpo: Group reward-decoupled normalization policy optimization for multi-reward rl optimization. arXiv preprint arXiv:2601.05242, 2026.

T. Liu, R. Xu, T. Yu, I. Hong, C. Yang, T. Zhao, and H. Wang. Openrubrics: Towards scalable synthetic rubric generation for reward modeling and llm alignment. arXiv preprint arXiv:2510.07743, 2025b.

R. Lu, Z. Hou, Z. Wang, H. Zhang, X. Liu, Y. Li, S. Feng, J. Tang, and Y. Dong. Deepdive: Advancing deep search agents with knowledge graphs and multi-turn rl. arXiv preprint arXiv:2509.10446, 2025.

W. Ma, H. Zhang, L. Zhao, Y. Song, Y. Wang, Z. Sui, and F. Luo. Stabilizing moe reinforcement learning by aligning training and inference routers. arXiv preprint arXiv:2510.11370, 2025.

T. Pham, N. Nguyen, P. Zunjare, W. Chen, Y.-M. Tseng, and T. Vu. Sealqa: Raising the bar for reasoning in search-augmented language models. arXiv preprint arXiv:2506.01062, 2025.

O. Press, M. Zhang, S. Min, L. Schmidt, N. A. Smith, and M. Lewis. Measuring and narrowing the compositionality gap in language models. In Findings of the Association for Computational Linguistics: EMNLP 2023, pages 5687–5711, 2023.

P. Qi, X. Zhou, Z. Liu, T. Pang, C. Du, M. Lin, and W. S. Lee. Rethinking the trust region in llm reinforcement learning. arXiv preprint arXiv:2602.04879, 2026.

Z. Shao, P. Wang, Q. Zhu, R. Xu, J. Song, X. Bi, H. Zhang, M. Zhang, Y. Li, Y. Wu, et al. Deepseekmath: Pushing the limits of mathematical reasoning in open language models. arXiv preprint arXiv:2402.03300, 2024.

Z. Tao, J. Wu, W. Yin, J. Zhang, B. Li, H. Shen, K. Li, L. Zhang, X. Wang, Y. Jiang, et al. Webshaper: Agentically data synthesizing via information-seeking formalization. arXiv preprint arXiv:2507.15061, 2025.

vLLM and TorchTitan Teams. No more train-inference mismatch: Bitwise consistent on-policy reinforcement learning with vLLM and TorchTitan. https://blog.vllm.ai /2025/11/10/bitwise-consistent-train-inference.html, nov 2025. vLLM Blog.

J. Wu, W. Yin, Y. Jiang, Z. Wang, Z. Xi, R. Fang, D. Zhou, P. Xie, and F. Huang. Webwalker: Benchmarking llms in web traversal, 2025. URL https://arxiv.org/abs/ 2501.07572.

A. Yang, A. Li, B. Yang, B. Zhang, B. Hui, B. Zheng, B. Yu, C. Gao, C. Huang, C. Lv, et al. Qwen3 technical report. arXiv preprint arXiv:2505.09388, 2025.

E. Yang, L. Shen, G. Guo, X. Wang, X. Cao, J. Zhang, and D. Tao. Model merging in llms, mllms, and beyond: Methods, theories, applications, and opportunities. ACM Computing Surveys, 58(8):1–41, 2026.

F. Yao, L. Liu, D. Zhang, C. Dong, J. Shang, and J. Gao. Your efficient rl framework secretly brings you off-policy rl training, Aug. 2025. URL https://fengyao.notion.s ite/off-policy-rl.

A. Zeng, X. Lv, Z. Hou, Z. Du, Q. Zheng, B. Chen, D. Yin, C. Ge, C. Xie, C. Wang, et al. Glm-5: from vibe coding to agentic engineering. arXiv preprint arXiv:2602.15763, 2026.

C. Zheng, K. Dang, B. Yu, M. Li, H. Jiang, J. Lin, Y. Liu, H. Lin, C. Wu, F. Hu, et al. Stabilizing reinforcement learning with llms: Formulation and practices. arXiv preprint arXiv:2512.01374, 2025a.

C. Zheng, S. Liu, M. Li, X.-H. Chen, B. Yu, C. Gao, K. Dang, Y. Liu, R. Men, A. Yang, et al. Group sequence policy optimization. arXiv preprint arXiv:2507.18071, 2025b.

Цитиране

BibTeX
@online{perplexity2026AdvancingSearchAugmentedLanguageModels,
  author = {{Perplexity} and Denis Yarats and Dongqi Wu and Hang Wu and Randy Ardywibowo and Senzeyu Zhang and Yunfan Zhong and Ziqing Hu and Clare Southern and Riley Carlson and Yi He and Erin McKnight and Mara Sohn and Phi Hoang},
  title = {{Advancing search-augmented language models}},
  date = {2026-04-22},
  url = {https://perplexity.coolkeypoint.com/hub/blog/advancing-search-augmented-language-models}
}