Іздеу арқылы кеңейтілген тілдік модельдерді жетілдіру

Озық веб-іздеу агенттерін оқыту бірнеше мақсатты бір мезгілде оңтайландыруды талап етеді: нақтылық дәлдігі, траектория тиімділігі және пайдаланушы қалауымен үйлестіру. Дегенмен, кез келген жеке өлшемді оқшау түрде жақсарту жиі басқалардың нашарлауына әкеледі: тек дәлдік үшін оқытылған модельдер құралдарды шамадан тыс пайдалануға бейім, ал қысқалыққа оңтайландырылған модельдер сенімділік немесе толықтылықты құрбан етуі мүмкін. Perplexity жүйесінде бұл екі нәтиже де қабылданбайды.

Бұл мақалада ашық бастапқы кодты модельдер негізінде озық веб-іздеу агенттерін жасауға арналған Perplexity компаниясының оқытудан кейінгі конвейері сипатталған. Негізгі идея мынада: іздеу агентін оқыту кезінде деректерді жинақтау және марапаттау дизайны бірлесіп әзірленуі тиіс: деректер қандай әрекеттердің байқалатын және тексерілетін екенін анықтайды, ал марапаттау бұл сигналдардың оңтайландыру сигналына қалай аударылатынын белгілейді. Бұл принцип біздің екі кезеңді конвейерімізді негіздейді: біз алдымен саясат моделін іске қосу үшін Бақыланатын дәл баптауды (SFT) жүзеге асырамыз, содан кейін жинақталған деректер жиынтығы және мұқият әзірленген сыйақылар негізінде Күшейтілген оқыту (RL) көмегімен саясат моделін жетілдіреміз. Бұл екі кезеңді тәсіл өндірістік шектеулер аясында дәлдік, тиімділік және жауап сапасы бойынша сенімді өсімге қол жеткізуге мүмкіндік береді.

Біз алдымен екі кезеңді оқыту конвейерін (SFT → саясаттағы RL), содан кейін тексерілетін іздеу агентінің СЖ мен айдарға негізделген жалпы чатты қамтитын RL оқыту деректерін құруды сипаттаймыз. Содан кейін біз сапа мен тиімділікті теңестіре отырып және марапаттауды бұзуды азайта отырып, осы гетерогенді деректер параметрлерінен алынған құрама марапаттау дизайнын ұсынамыз. Соңында біз оқыту динамикасы мен бенчмарк нәтижелерін талдаймыз.

Біз оқытудан кейінгі екі кезеңді әдісті қолданамыз: (i) қорғаныш тежеулері (мысалы, қатыспау), нұсқауларды орындау және тіл тұрақтылығы сияқты орналастыру үшін маңызды әрекеттерді орнатуға арналған SFT және (ii) бірінші кезеңдегі әрекеттерді сақтай отырып, іздеу мүмкіндігін, соның ішінде жауап дәлдігі мен құралды пайдалану тиімділігін жақсартуға арналған саясаттағы RL.

Неге екі кезең? Іздеу сапасы мен орналастыру шектеулерін кем дегенде бір мақсатты құрбан етпей, бір RL кезеңі аясында бір мезгілде оңтайландыру қиын. Тәжірибе жүзінде тек RL көмегімен оқыту іздеу өнімділігін жақсартады, бірақ орналастыру қорғаныш тежеулерінде нашар нәтиже көрсетуге бейім, ал SFT іздеу өнімділігі есебінен сәйкестікті жақсартады. Мақсаттарды бөлектеу SFT кезеңіне келіссөз жүргізілмейтін талаптарды бірінші кезекте шешуге мүмкіндік береді, содан кейін RL негізінен іздеу мүмкіндігін жақсартуға назар аудара алады.

Біз Qwen3 модельдер отбасынан (Qwen3.5-122B-A10B және Qwen3.5-397B-A17B) (Yang et al., 2025, Qwen3.5 блогпосты) бастапқы мәнді аламыз және базалық модельдің жалпы іздеу мүмкіндігін сақтай отырып, жоғарыда сипатталған орналастыру үшін маңызды әрекеттерге бағытталған екі компонентті SFT қоспасының деректер жиынтығын құрастырамыз.

Артықшылыққа бағытталған мысалдар. Біз тонға, тіл тұрақтылығына, айқындыққа және пішімдеуге бағытталған нұсқауларды орындау және стильге бағытталған мысалдарды таңдаймыз. Бұл мысалдар бірегей негізгі шындықты талап етпейді; керісінше, олар өнімді жазу талаптарын көрсету және әртүрлі сұрау түрлері бойынша стилистикалық тұрақтылықты қамтамасыз ету үшін таңдалады.

Өндірістік пішімдегі құралды пайдалану траекториялары. Тәжірибе жүзінде деректер жиынтығын мұқият жинақтаусыз SFT базалық модельдің іздеу мүмкіндігін айтарлықтай нашарлататынын көреміз. Мұны азайту үшін біз әртүрлі өзара әрекеттесу үлгілеріндегі (бір, екі және көп қадамды) сұраулар мен ішкі тапсырмаларды іріктейміз және оларды құралдарды шақыру жұмыс жиынтығымен аннотациялаймыз.

SFT бақылау нүктесінен бастап, біз іздеу дәлдігі мен тиімділігін жақсарту үшін саясаттағы RL қолданамыз. Біз Топтық салыстырмалы саясатты оңтайландыру (GRPO) арқылы саясат моделін оңтайландырамыз (Shao et al., 2024).

\mathcal{J}_{\text{GRPO}}(\theta) = \frac{1}{G}\sum_{i=1}^{G} \frac{1}{|o_i|}\sum_{t=1}^{|o_i|} r_{i,t}(\theta)\hat{A}_{i,t},

мұндағы $G$ — топтың өлшемі, $o_{i}$ — $i$ -ші таңдалған шығысты білдіреді, ал $\hat{A}_{i, t} = \hat{A}_{i}$ — артықшылық. Марапаттау дизайны марапаттау дизайны бөлімінде егжей-тегжейлі сипатталған; қысқартып айтқанда, біз негізгі дұрыстықты артықшылыққа негізделген және тірек тиімділігін пішімдеумен біріктіреміз. Алдыңғы жұмыстарға сүйене отырып (Liu et al., 2025a; Yao et al., 2025; Zheng et al., 2025a), біз оқыту мен аралық қорытынды жасау арасындағы сәйкессіздікті түзеу үшін таңба деңгейіндегі маңыздылықты іріктеуді (IS) қолданамыз:

r_{i,t}(\theta) = \frac{\pi_{\text{train}}(\theta)}{\mu_{\text{infer}}(\theta)}.

Біз оқыту мен аралық қорытынды жасау арасындағы сәйкессіздікті азайту үшін бірнеше тәсілді бағалаймыз, соның ішінде тізбек деңгейіндегі IS (Zheng et al., 2025b), бағыттауды қайталау (Ma et al., 2025; Zheng et al., 2025b) және оқыту кезінде аралық қорытынды жасау қозғалтқышының ядросын біріктіретін биттік тұрғыдан тұрақты оқыту (vLLM және TorchTitan Teams, 2025). Тәжірибе жүзінде, саясаттағы параметрлер аясында біз таңба деңгейіндегі IS іске асыру оңай бола тұра, оқытудың күйреуін болдырмау үшін жеткілікті екенін анықтаймыз; бұл Zheng et al (2025a) нәтижелеріне сәйкес келеді.

Біздің RL оқыту деректеріміз екі бір-бірін толықтыратын компоненттен тұрады: жалпы іздеу мүмкіндігіне бағытталған тексерілетін іздеу агентінің СЖ және RL оқыту кезеңінде регрессияны болдырмау үшін орналастыру қорғаныш тежеулерін айқын түрде күшейтетін айдарға негізделген жалпы чат.

Деректер жиынтығын құру. Тізбекті кеңейту әдісіне сүйене отырып (Tao et al., 2025), біз конвейерді жеңіл әрі жаңартуға оңай етіп сақтай отырып, кураторлық білім графтарына сүйенбей, ішкі бастапқы сұраулардан меншікті синтетикалық СЖ деректер жиынтығын құрастырамыз. Әрбір синтетикалық мысал келесі қадамдар арқылы жасалады:

Бастапқы мәндерді таңдау. Біз бастапқы сұраулар үшін құжаттарды аламыз және бастапқы нүктелер ретінде бірнеше көзден фактілерді растайтын нысандарды таңдаймыз, олар туралы атомдық мәлімдемелерді шығарып аламыз.
Көп қадамды тізбекті құру. Бастапқы нысанның мәлімдемелерінен біз екінші нысанды енгізетінін таңдаймыз (мысалы, “The Mom Test” бастапқы мәні үшін “written by Rob Fitzpatrick” мәлімдемесі авторды келесі нысан ретінде енгізеді). Біз әрбір нысанның бөлек екенін және ешбір жеке мәлімдеме қорытынды жауапты оңай ашпайтынын қамтамасыз ете отырып, бұл байланыстыру процесін 2–4 рет қайталаймыз.
Атаусыз сұрақтарды синтездеу. Біз көп қадамды ойлауды қажет ететін кірістірілген сұрақты шығара отырып, нысан атауларын олардың байланыстырушы мәлімдемелерімен рекурсивті түрде ауыстыру арқылы нысандар тізбегін сұраққа айналдырамыз.
Тексеру. Біз тек бірнеше тәуелсіз веб-негізделген шешушілермен тексерілген бірегей жауаптары бар сұрақтарды ғана сақтаймыз.

“The Mom Test” бастапқы сұрауын қарастырайық. Біз құжаттарды аламыз және бұл кітапты бастапқы нысан ретінде анықтаймыз, содан кейін атомдық фактілік мәлімдемелерді шығарып аламыз және нысандар тізбегін итеративті түрде құрастырамыз: (i) The Mom Test кітабын Роб Фитцпатрик жазған, бұл Роб Фитцпатрикті енгізеді; (ii) Роб Фитцпатриктің бірінші стартабы Y Combinator (2007 жылғы жаз) арқылы өткен, бұл Y Combinator жүйесін енгізеді; (iii) Y Combinator 2005 жылдың наурызында іске қосылған. Әрбір нысан атауын оның сипаттамасымен рекурсивті түрде ауыстыру атаусыз сұрақты береді: “2007 жылғы жаздағы топтамасында, 2005 жылдың наурызында іске қосылған акселератордан өткен бірінші стартабы бар адам жазған кітап қайсы?” жауабы “The Mom Test”.

Пішім алуан түрлілігін кеңейту. Тек шикі синтетикалық СЖ көмегімен оқытылған модельдер сұраудың қалай қойылғанына қарамастан, пішімдеу қалауларын елемеуге және бекітілген жауап құрылымына әдепкі бойынша қайтуға бейім. Пішімнің алуан түрлілігін жақсарту үшін біз түпкілікті жауапты өзгеріссіз қалдыра отырып, деректер жиынтығын айқын пішімдеу нұсқауларын қамтитын сұраулармен (мысалы, “Тізімін көрсету . . . ” немесе “Төмендегіні кестеде қорытындылау . . . ”) толықтырамыз.

Жалпыға ортақ тексерілетін СЖ (базалық мән). Біз сапаны сүзу арқылы біздің кеңейтілген сұрау пішіміміз аясында біріктірілген бес ашық бастапқы кодты деректер жиынтығынан (Lu et al., 2025; Pham et al., 2025; Press et al., 2023; Tao et al., 2025; Wu et al., 2025) базалық тексерілетін СЖ деректер жиынтығын құрастырамыз. Бұл қоспа біздің тексеру эксперименттеріміздегі негізгі базалық мән ретінде қызмет етеді. Бақыланатын салыстырулар үшін біз меншікті синтетикалық СЖ деректер жиынтығының ауқымын осы ашық бастапқы кодты қоспадай етеміз.

Жылдам тексеру. Біз жылдам қайталауға қол жеткізу үшін Qwen3-30B-A3B-Instruct-2507 көмегімен осы конвейердің тиімділігін тексереміз; нәтижелер 1-кестеде жинақталған.

Синтетикалық тексерілетін СЖ деректер жиынтығын тексеру

Тексерілетін СЖ іздеуге бағытталған сұраулар үшін таза оқыту сигналын қамтамасыз етсе де, өндірістік трафиктің айтарлықтай бөлігі бірегей түрде тексерілмейді болып табылады (мысалы, қайта жазу, жоспарлау және ашық көмек көрсету). Мұндай сұрауларды RL-ден алып тастау саясатты нақты пайдаланушы өзара әрекеттесулері үшін жеткіліксіз оңтайландырылған күйде қалдырады. Сонымен қатар, SFT кезеңі орналастыру үшін маңызды қорғаныш тежеулерін орнатқанымен, егер олар деректер арқылы айқын түрде күшейтілмесе, RL олар бойынша кері кете алады.

Біз орналастыру үшін маңызды талаптарды — нұсқауларды орындауды, пішімдеу шектеулерін және қауіпсіздік шарттарын айдарларға: жауап қанағаттандыруы тиіс атомдық, объективті түрде тексерілетін критерийлерге айналдыру арқылы тексерілмейтін сұрауларды RL оқытуға біріктіреміз. Біз әр сұрау үшін айдар жиындарын генерациялай отырып, айдарға негізделген деректерді құруды қабылдаймыз (Gunjal et al., 2025; Liu et al., 2025b).

Айдарды генерациялау. Толық сөйлесу тарихы берілген жағдайда, біз LLM-ге сілтеме жауабын және сәйкес айдар жиынын шығаруға пәрмен береміз. Айдарлар бекітілген басымдық тәртібімен алынады: пайдаланушы айқын көрсеткен талаптар басымдыққа ие болады, одан кейін ішкі шектеулер және соңында сілтеме жауабынан анықталған қажетті мазмұн талаптары келеді. Әрбір айдар келесідей болуы тиіс:

Атомдық: жалғыз, жақсы анықталған тексеру;
Объективті: субъектілі пікірсіз тексерілетін;
Қажетті: жай ғана стилистикалық қалау емес, сұрауға жауап беру үшін талап етілетін.

Сұрау.

She will share u man power planning. We have to arrange lodging & boarding. Plz correct swntence.

Айдарлар.

Жауап ағылшын тілінде жазылған.
Түзетілген мәтінде "lodging" және "boarding" сөздері бар.
Түзетілген мәтін "man power" орнына бір сөз ретінде "manpower" сөзін пайдаланады (мысалы, "manpower plan" немесе "manpower planning").
Түзетілген мәтінде "u" немесе "Plz" бейресми қысқартылған таңбалары жоқ және онда "&" амперсанд таңбасы жоқ.
Жауапта \\[type:idx\\] пішіміндегі дәйөзсөз белгілері жоқ, мұнда type деректер көзін білдіреді (мысалы, web, chart, memory, attached_file).

Айдарды калибрлеу. Тым қатал немесе тым жұмсақ айдар жиындарын болдырмау үшін біз pass@4 сүзгісін қолданамыз. Әрбір сұрау үшін біз төрт тәуелсіз жауапты іріктейміз және оларды нұсқауларды орындау төрешісімен толық айдар жиынына қарсы бағалаймыз. Біз ешбір жауап айдар жиынын қанағаттандырмайтын немесе барлық жауаптар қанағаттандыратын сұрауларды алып тастаймыз, тек ақпаратты беретін оқыту сигналын беретіндерін ғана сақтаймыз.

Көп мақсатты RL-дегі практикалық қиындық — бұл деректер компоненттері бойынша дисперсияның теңгерімсіздігі (Duchi and Namkoong, 2016; Liu et al., 2026; Qi et al., 2026). Тексерілетін СЖ пен айдарға негізделген деректер екі де екілік марапаттарды берсе де, олар тапсырманың күрделілігі бойынша айтарлықтай ерекшеленеді: айдардың орындалуы әдетте оқытудың басында қол жеткізу оңайырақ болып табылады, бұл қиынырақ тексерілетін СЖ сигналына қатысты саясатты оңтайландыруда disproportionate түрде басым бола алатын үлкенірек және жиірек градиент жаңартуларын тудырады. Оны шешу үшін біз компоненттер бойынша оңтайландыру сигналын теңестіру үшін тексерілетін СЖ-ден 90% және айдарға негізделген деректерден 10% іріктей отырып, деректер жиынтығы деңгейінде промпт қоспасын қайта салмақтаймыз.

Біздің марапаттау дизайнымыз жоғарыда сипатталған деректерді құрудан тікелей туындайды. Тексерілетін СЖ мен айдар тапсырмаларын қамтитынына қарамастан, барлық оқыту деректері ортақ базалық марапаттау құрылымын бөліседі: егер шығарылым СЖ тапсырмалары үшін дұрыс жауап берсе немесе жалпы чат үшін барлық көрсетілген айдарларды қанағаттандырса, ол кредит алады. Осы ортақ негізге сүйене отырып, біз артықшылыққа негізделген балл қоюды және тиімділікті пішімдеуді біріктіру үшін құрама марапатты құрастырамыз.

Ерте тәжірибелерде байқалған негізгі қиындық сыйақыны «хэкке түсіру» болды: сыйақылардың қарапайым сызықтық комбинациясы күшті артықшылық сигналдарына фактілік немесе нұсқаулық талаптарды орындамауды өтей алуға мүмкіндік берді. Сондықтан біз қақпаланған агрегацияны негізгі жобалау қағидаты ретінде қабылдаймыз, ол формалды түрде былай анықталады:

R(\tau_i) = r_{\text{base}}(\tau_i) \cdot s(\tau_i) \;-\; \operatorname{pen}_{\text{eff}}(\tau_i),

мұндағы $r_{\mathrm{base}}(\tau_i) \in \{0, 1\}$ СЖ дұрыстығын немесе айдардың орындалуын білдіреді, $s(\tau_i)\in[0,1]$ — артықшылық ұпайы, ал $\operatorname{pen}_{\mathrm{eff}}(\tau_i)$ — тірек тиімділік айыппұлы. Бұл артықшылық кредитін алу үшін дұрыстықты қажетті шарт етеді, сонымен бірге қажетсіз құралды пайдалану мен сөзбұйдалыққа жол бермейді. 1-суретте төменде сипаттайтын компоненттері бар толық марапаттау конвейері көрсетілген:

Марапаттау дизайнының шолуы. Біз базалық дұрыстық сигналын (тексерілетін/айдар), Брэдли–Терри артықшылық ұпайын және тірек тиімділік айыппұлдарын біріктіреміз. Марапаттауды бұзудың алдын алу үшін артықшылық базалық дұрыстықпен шектеледі.

Біз тапсырманың дұрыстығын немесе нұсқаулардың сақталуын қамтитын екілік базалық сигналды анықтаймыз. Тексерілетін іздеу агентінің деректері үшін, егер соңғы жауап негізгі шындыққа сәйкес келсе, , ал басқа жағдайда . Айдарға негізделген жалпы чат деректері үшін, егер барлық айдарлар орындалса, , ал басқа жағдайда . Бұл базалық мән 2-теңдеудегі шартты жиынтық ережесінде қатаң шектеу ретінде қызмет етеді. $r_{\mathrm{base}}(\tau_i) \in \{0,1\}$ $r_{\mathrm{base}}(\tau_i)=1$ $0$ $r_{\mathrm{base}}(\tau_i)=1$ $0$

Біз саясат моделін LLM төрешісінің промпттары арқылы түсіндіру қиын болатын жауап сапасы бойынша пайдаланушылардың жасырын қалауларымен — ақпараттылығымен, анықтығымен және кәсіби тонымен үйлестіруді мақсат етеміз. Сондықтан біз бұл атрибуттарды тікелей бағалау үшін үйретілген артықшылық марапаттау моделін оқытамыз.

Біз Брэдли–Терри құрылымы аясында артықшылықты оқытуды тұжырымдаймыз. Мәнтекст $x$ және екі үміткер жауап $y_a, y_b$ берілген жағдайда, модель скаляр ұпайларды $s_{\theta}(x, y) \in \mathbb{R}$ шығарады және келесіні минимизациялайды,

\ell_{\text{BT}}(\theta; x, y_a, y_b, r) = -\Big[r \log \sigma(\Delta_\theta) + (1-r) \log\bigl(1 - \sigma(\Delta_\theta)\bigr)\Big], \\ \Delta_\theta = s_\theta(x, y_a) - s_\theta(x, y_b)

мұндағы $r \in \{0, 1\}$ — $y_a$ артық көрілетінін не көрілмейтінін көрсетеді. Позициялық қиғаштықты жою үшін әрбір оқыту жұбы екі реттілікпен толықтырылады және симметриялы түрде оңтайландырылады,

\mathcal{L}_{\text{sym}} = \tfrac{1}{2}\,\ell_{\text{BT}}(x, y_a, y_b, r) + \tfrac{1}{2}\,\ell_{\text{BT}}(x, y_b, y_a, 1-r).

Аралық қорытынды жасау кезінде біз екі ауыстыруды орташалау арқылы позицияға тәуелсіз артықшылық ұпайын аламыз:

\bar{\Delta}_\theta(x, y_a, y_b) = \tfrac{1}{2}\Big[\Delta_\theta(x, y_a, y_b) - \Delta_\theta(x, y_b, y_a)\Big], \\ \bar{P}_\theta(x, y_a, y_b) = \sigma\bigl(\bar{\Delta}_\theta(x, y_a, y_b)\bigr).

Содан кейін шығарылымның артықшылық ұпайы $s(\tau_i) \triangleq \bar{P}_{\theta}(x, y_a, y_b) \in [0,1]$ ретінде анықталады, яғни саясат шығарылымы $y_i$ сол промпт үшін сілтеме моделінің шығарылымынан артық көрілу ықтималдығы.

Артықшылықты модельдеуге арналған оқыту деректері кураторлық ашық деректер жиынтығынан, пайдаланушының қатарлас кері байланысынан және ішкі аннотациялардан алынады. Белгі шуын шешу үшін біз Datbench (DatologyAI, 2026) шабыттандырған жеңіл салмақты сүзу және калибрлеу конвейерін қолданамыз, тек сәйкес келетін кросс-модельдік келісімі бар мысалдарды ғана сақтаймыз. Марапаттау моделі саясат моделімен бірдей арқауды бөліседі, тілдік модельдеу басы мән басымен ауыстырылған. Кішірек марапаттау модельдері салыстырмалы ұсталған дәлдікке қол жеткізсе де, біз олардың ұсақ бөлшектенген артықшылықтарды түсіре алмайтынын және қажетсіз саясат әрекеттерін күшейте алатынын тәжірибе жүзінде көреміз.

Тиімділікті айқын пішімдеу болмаған кезде, саясат қарапайым промпттардың өзінде құралдарды шамадан тыс пайдалануға бейім. Шартсыз айыппұлдар (мысалы, құралды шақыру санымен немесе шығыс ұзындығымен сызықтық түрде масштабы өзгеретіндеттер) табиғи базалық мән болып табылады, бірақ біз олардың қажетті зерттеуді басып тастайтынын және оқытуды нашарлататынын көреміз. Сондықтан біз әрбір GRPO тобындағы тиімді шешімдерге қатысты құралды пайдалану мен жауап ұзындығын реттейтін топтық салыстырмалы, тірек айыппұлдарды қабылдаймыз. 𝑔 тобы үшін біз жеңімпаздар жиынын келесідей анықтаймыз:

W_g = \{\, i : r_{\text{base}}(\tau_i) = 1 \,\}.

Тірек құралды шақыру айыппұлы. Әрбір $\tau_i$ шығарылымы үшін $c_i$ құралды шақыру санын, ал $e_i$ құралды орындау сәтсіздіктерінің санын білдірсін. Біз тиімді құралды шақыру санын $\tilde{c}_i = c_i - e_i$ анықтаймыз және топтық базалық мәнді бірдей етіп іріктейміз:

b_g \sim \operatorname{Unif}\!\left(\min_{j \in W_g} \tilde{c}_j,\ \left\lceil \operatorname{mean}_{j \in W_g} \tilde{c}_j \right\rceil\right).

Біз артық мөлшерді $\Delta_i = \max\!\left(0,\; \tilde{c}_i - b_g\right)$ есептейміз және тегіс айыппұл скалярын $p_i = 1 - \exp\!\left(-\Delta_i\right)$ анықтаймыз. Содан кейін құрал айыппұлы мынадай болады:

\operatorname{pen}_{\text{tool}}(\tau_i) = \begin{cases} \alpha_{\text{win}}\, p_i, & i \in W_g, \\ \alpha_{\text{lose}}\, p_i + \beta_{\text{lose}}, & i \notin W_g, \end{cases}

Тірек ұзындық айыппұлы. $L_i$ және $L_i^{\mathrm{ref}}$ сәйкесінше үміткер мен сілтеме моделі генерацияларының таңба ұзындықтарын білдірсін. Біз пішімдеу жиынын $\widehat{W}_g$ ретінде дұрыс және артық көрілетін шығарылымдар ретінде анықтаймыз:

\widehat{W}_g = \{\, \underbrace{i \in W_g}_{\text{correct}} \;:\; \underbrace{s(\tau_i) \geq 0.5}_{\text{preferred}} \,\}.

Содан кейін біз топқа тән ұзындық базалық мәндерін есептейміз:

\underbrace{b_{g,\text{win}}}_{\substack{\text{avg. ref. length} \\ \text{of winners}}} = \operatorname{mean}_{j \in \widehat{W}_g} L_j^{\text{ref}}, \qquad \underbrace{b_{g,\text{lose}}}_{\substack{\text{avg. ref. length} \\ \text{of losers}}} = \operatorname{mean}_{j \notin \widehat{W}_g} L_j^{\text{ref}}.

Ұзындық айыппұлы келесідей анықталады:

\operatorname{pen}_{\text{len}}(\tau_i) = \begin{cases} 1, & L_i > \max_j L_j^{\text{cmp}} \\ 1 - \exp\!\left(-\max\!\left(0,\ \dfrac{L_i}{b_{g,\text{win}}} - 1\right)\right), & i \in \widehat{W}_g \\ 1 - \exp\!\left(-\max\!\left(0,\ \dfrac{b_{g,\text{lose}}}{L_i} - 1\right)\right), & i \notin \widehat{W}_g \end{cases}

мұндағы бірінші жол — қатаң шектеу; екіншісі сөзбұйда жеңімпаздарға айыппұл салады; ал үшіншісі қысқа жеңілгендерге айыппұл салады.

Біріктірілген тиімділік айыппұлы. Біріктірілген тиімділік айыппұлы екі компоненттің салмақталған қосындысы болып табылады:

\operatorname{pen}_{\text{eff}}(\tau_i) = \lambda_{\text{tool}}\, \operatorname{pen}_{\text{tool}}(\tau_i) + \lambda_{\text{len}}\, \operatorname{pen}_{\text{len}}(\tau_i).

Біз оқытудан кейінгі конвейерімізді екі ось бойынша бағалаймыз: (i) оқыту тұрақтылығын және марапаттау сигналдарының күтілгендей әрекет ететінін бағалау үшін оқыту динамикасы және (ii) бақыланатын бағалау параметрлері аясында төменгі ағынның сапасын, қауіпсіздігі мен тиімділігін өлшеу үшін оффлайн бенчмарктар.

Әдепкі оқыту параметрлери. Саясат моделі веб-іздеу құралымен (search_web) өзара әрекеттеседі; әрбір құралды шақыру 10 нәтижеге дейін алады, сұраулар 250 таңбамен және әр шығарылымға 5 сұрауға дейін шектеледі.

Біз марапаттаудың прогресі мен тиімділік әрекетіне назар аудара отырып, оқыту динамикасын тексереміз. Иллюстрацияның қарапайымдылығы үшін біз Qwen3.5-397B-A11B пайдаланамыз.

Оқыту кезіндегі базалық және артықшылық сигналдарының эволюциясы.

2-суретте базалық марапаттаудың (тексерілетін СЖ және айдардың орындалуы) тұрақты жақсаруы, сонымен қатар артықшылық ұпайларының артуы көрсетілген, бұл дұрыстықтың, сәйкестіктің және жауап сапасының тұрақты өсімін білдіреді.

Оқыту кезіндегі тиімділік әрекеті және тірек пішімдеу айыппұлдары.

3-сурет құралды шақыру жиілігі де, генерация ұзындығы да оқыту барысында жақсы бақыланатынын көрсетеді. Атап айтқанда, құралды шақыру және ұзындық айыппұлдары екеуі де оқыту барысында монотонды түрде азаяды, бұл модельдің қысқа генерацияға және таңдамалы құралды шақыруға қарай біртіндеп бейімделгенін көрсетеді.

4-сурет градиент нормалары өтпелі шыңдарды қоспағанда тұрақты қалатынын көрсетеді, ал оқыту мен аралық қорытынды жасау арасындағы KL айырмашылығы 1e-3 шкаласы шегінде қала отырып, жұмсақ жоғары қарай трендті көрсетеді. Бұл дрейф үлгісі басқа RL оқыту құрылымдарындағы бақылауларға сәйкес келеді; оқыту барысында тұрақты болып қалатындықтан, біз қосымша араласусыз 1-теңдеуде қарапайым IS регуляризациясын сақтаймыз.

Біз іздеу дәлдігін, фактілік сенімділікті, нұсқауларды орындауды және қауіпсіздікті қамтитын бенчмарктер жиынтығы бойынша нәтижелерді хабарлаймыз, оларға жалпыға ортақ бенчмарктер де, ішкі Perplexity (PPLX) метрикалары да кіреді. Жалпыға ортақ бенчмарктерге SimpleQA, FRAMES және Facts Open кіреді.

pplx-sbs-search: Ішкі марапаттау моделін пайдалана отырып, қатарлас артықшылықты бағалау. Үміткерлер күшті базалық мәнмен салыстырылады.
pplx-abstention: Ешқандай сенімді дәлел болмаған кезде тиісті түрде бас тарту мүмкіндігі.
pplx-language-mismatch: Ұзақ тайлы және көп қадамды параметрлер аясындағы тіл тұрақтылығы.
pplx-broken-tool-calls (↓): Құралды шақыру схемасының сәйкестігі және шектеулерді сақтау, мысалы, tool_choice=none.

Әдепкі бағалау параметрлері. Жалпыға ортақ бенчмарктер үшін біз 0.6 температурада 8192 дейін шығыс таңбаларын генерациялай отырып, әр мысалға 5 құралды шақыруға дейін және әр шақыруға 10 нәтижеге дейін бюджетпен тек веб-іздеу құралын ғана пайдалануға рұқсат етеміз.

Оффлайн бағалау нәтижелері. Жақшаішілік сандар орташа құралды пайдалануды көрсетеді. Біз Qwen3.5-397B-A17B моделін Qwen3.5-Large ретінде, ал Qwen3.5-122B-A10B моделін Qwen3.5-Medium ретінде атаймыз.

2-кесте Qwen3.5-Large-SFT-RL жалпыға ортақ бенчмарктер бойынша ұқсас құрал бюджеттерін пайдалана отырып, FRAMES және Facts Open бойынша gpt-5.4 сәйкес келетінін немесе асатынын көрсетеді. Базалық модельмен салыстырғанда, біздің тәсіліміз ішкі метрикаларда, әсіресе артықшылықта (pplx-sbs-search: 0.602 → 0.742), тіл тұрақтылығында және бас тартуда айтарлықтай өсім береді, бұл екі кезеңді конвейердің іздеу мүмкіндігін құрбан етпей, орналастыру үшін маңызды әрекеттерді тиімді жақсартатынын көрсетеді.

Мұны өлшеу үшін біз бюджетпен мәжбүрленген бағалау хаттамасын әзірлейміз. Әрбір модельге веб-іздеу құралына (search_web) және рұқсат етілген құралды шақырулар санына қатаң шектеуді ("бюджет") анықтайтын жүйелік промптке қолжетімділік беріледі. Біз бұл бюджетті 0-ден (құралды пайдаланбау, таза параметриялық білім) 10-ға дейін (жомарт көп қадамды іздеу) өзгертеміз және әр деңгейдегі дәлдікті жазып аламыз. Бұл құрал тиімділігі қисығын тудырады: модельдің ұпайы ол рұқсат етілген іздеу бюджетінің функциясы ретінде. Біз екі нақты СЖ бенчмаркінде, FRAMES және Facts Open бойынша бағалаймыз.

Бенчмарк дәлдігі мен құралды шақырулардың максималды саны.

Осы екі бенчмарктен бірнеше үлгі көзге түседі:

Біздің оқытудан өткен Qwen3.5-397B-SFT-RL екі бенчмаркте де ең жақсы іздеу дәлдігіне қол жеткізеді. Тіпті бір ғана құралды шақыру арқылы ол FRAMES бойынша 57.3%, GPT-5.4-тен 5.7 пайыздық тармаққа жоғары және Sonnet 4.6-дан 4.7 пайыздық тармаққа жоғары нәтиже көрсетеді.
- Артықшылық орташа бюджеттерде (b=2-7) айқын көрінеді, бұл өндірістік орналастырулар үшін практикалық жұмыс диапазоны болып табылады.
Біздің оқытудан кейінгі әдісіміз (SFT + RL) базалық бақылау нүктесімен салыстырғанда құралды пайдалану тиімділігін айтарлықтай жақсартады; 5-суреттегі тұтас сызықтарды (оқытудан өткен) және үзілген сызықтарды (бастапқы бақылау нүктесі) қараңыз.
Барлық модельдер үшін біз бюджет=7 шамасында азаятын қайтаруларды байқаймыз, бұл модельдердің емес, фактілерді іздеу тапсырмаларының қасиеті екенін көрсете отырып, екі бенчмарк пен барлық модельдер үшін тұрақты болып табылады.

Жоғарыдағы нәтижелер Qwen3.5-397B-SFT-RL аз құралды шақыру арқылы жоғары дәлдікке қол жеткізетінін көрсетеді. Бірақ бұл нақты шығындарға қалай әсер етеді? Салыстыруды нақты ету үшін біз жарияланған API бағасын (Alibaba DashScope, OpenAI, Anthropic) пайдалана отырып, таңба деңгейіндегі өлшемдерді доллар шығындарына айналдырамыз.

Орташа профильде (b=4) Qwen3.5-397B-SFT-RL FRAMES бойынша әр сұрауға 2.0 центпен 73.9% ұпай жинайды, ал GPT-5.4 8.5 центпен 67.8% және Sonnet 4.6 15.3 центпен 62.4% ұпай жинайды. Бұл GPT-5.4-пен салыстырғанда 4 есе төмен құнмен +6 пайыздық дәлдік және Sonnet 4.6-мен салыстырғанда 7.5 есе төмен құнмен +11.5 пайыздық дәлдік.

Бұл бағалаулар кэштеусіз тізімдік API бағасын пайдаланады. KV кэшін қайта пайдалану, префикс кэштеу және квантталған MoE қызмет көрсету (397B тек 17B белсенді параметрлерін пайдаланады) сияқты ішкі аралық қорытынды жасау оңтайландырулары арқылы тиімді құнды тізімдік API бағасынан әлдеқайда төмен деңгейге дейін азайтуға болады.

Екі кезеңді SFT және RL конвейері арқылы орналастыру сәйкестігін іздеуді оңтайландырудан бөлектеу өндірістік шектеулер аясында қабілетті де сенімді модельді береді. Тексерілетін СЖ мен айдарға негізделген оқыту деректерінің комбинациясы, шектелген марапаттау жиынтығымен және тірек тиімділік пішімдеуімен бірге, іздеу дәлдігін немесе қорғаныш тежеулерінің сәйкестігін құрбан етпей, тұрақты көп мақсатты оңтайландыруға мүмкіндік береді.

Бірнеше бағыт қосымша зерттеуге лайық. 4-суретте байқалғандай, оқыту мен аралық қорытынды жасау арасындағы KL айырмашылығы кеңейтілген оқыту қадамдарында тұрақты жоғары қарай дрейфті көрсетеді. Таңба деңгейіндегі IS түзеуі біздің ағымдағы параметріміз аясында жеткілікті екенін дәлелдесе де, мұның үлкенірек ауқымда да солай қалатыны белгісіз; бұл сәйкессіздіктің инфрақұрылымдық деңгейдегі сәйкессіздіктер мен MoE бағыттау сияқты архитектураға тән факторларды қамтитын неғұрлым негізделген теориялық өңделуі — азайту стратегияларының сандық эмпирикалық салыстыруларымен қатар, маңызды ашық сұрақ болып қала береді. Әсіресе көп мақсатты RL үшін перспективалы жолдарға апатты ұмытуды азайта отырып, мақсаттарды кезең-кезеңімен оңтайландыру үшін саясаттағы дистилляциясы бар тізбекті оқыту (Zeng et al., 2026); және тапсырмаға тән оңтайландыруды мүмкіндіктер жиынтығынан ажырату үшін модельді біріктіру (Fu et al., 2025; Yang et al., 2026) кіреді. Соңында, ұзақ мерзімді траекториялары бар нақты көп құралды жұмыс процестеріне масштабтау маңызды ашық қиындық болып қала береді, ол ықтимал түрде жақсырақ кредит тағайындауды, ішінара шығарылымдарды қолдауды және бағалауларды талап етеді.

DatologyAI. Datbench: Discriminative, faithful, and efficient vision-language model evaluations. https://www.datologyai.com/blog/datbench-discriminative-faithful-and-efficient-vision-language-model-evaluations, Jan. 2026. Published Jan 6, 2026. Accessed: 2026-03-04.

J. Duchi and H. Namkoong. Variance-based regularization with convex objectives. arXiv preprint arXiv:1610.02581, 2016.

Z. Fu, X. Wu, Y. Wang, W. Wang, S. Ye, H. Yin, Y. Chang, Y. Zheng, and X. Zhao. Training-free llm merging for multi-task learning. In Proceedings of the 63rd Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pages 33111–33124, 2025.

A. Gunjal, A. Wang, E. Lau, V. Nath, Y. He, B. Liu, and S. Hendryx. Rubrics as rewards: Reinforcement learning beyond verifiable domains. arXiv preprint arXiv:2507.17746, 2025.

J. Liu, Y. Li, Y. Fu, J. Wang, Q. Liu, and Y. Shen. When speed kills stability: Demystifying rl collapse from the training-inference mismatch. Notion Blog, 2025a.

S.-Y. Liu, X. Dong, X. Lu, S. Diao, P. Belcak, M. Liu, M.-H. Chen, H. Yin, Y.-C. F. Wang, K.-T. Cheng, et al. Gdpo: Group reward-decoupled normalization policy optimization for multi-reward rl optimization. arXiv preprint arXiv:2601.05242, 2026.

T. Liu, R. Xu, T. Yu, I. Hong, C. Yang, T. Zhao, and H. Wang. Openrubrics: Towards scalable synthetic rubric generation for reward modeling and llm alignment. arXiv preprint arXiv:2510.07743, 2025b.

R. Lu, Z. Hou, Z. Wang, H. Zhang, X. Liu, Y. Li, S. Feng, J. Tang, and Y. Dong. Deepdive: Advancing deep search agents with knowledge graphs and multi-turn rl. arXiv preprint arXiv:2509.10446, 2025.

W. Ma, H. Zhang, L. Zhao, Y. Song, Y. Wang, Z. Sui, and F. Luo. Stabilizing moe reinforcement learning by aligning training and inference routers. arXiv preprint arXiv:2510.11370, 2025.

T. Pham, N. Nguyen, P. Zunjare, W. Chen, Y.-M. Tseng, and T. Vu. Sealqa: Raising the bar for reasoning in search-augmented language models. arXiv preprint arXiv:2506.01062, 2025.

O. Press, M. Zhang, S. Min, L. Schmidt, N. A. Smith, and M. Lewis. Measuring and narrowing the compositionality gap in language models. In Findings of the Association for Computational Linguistics: EMNLP 2023, pages 5687–5711, 2023.

P. Qi, X. Zhou, Z. Liu, T. Pang, C. Du, M. Lin, and W. S. Lee. Rethinking the trust region in llm reinforcement learning. arXiv preprint arXiv:2602.04879, 2026.

Z. Shao, P. Wang, Q. Zhu, R. Xu, J. Song, X. Bi, H. Zhang, M. Zhang, Y. Li, Y. Wu, et al. Deepseekmath: Pushing the limits of mathematical reasoning in open language models. arXiv preprint arXiv:2402.03300, 2024.

Z. Tao, J. Wu, W. Yin, J. Zhang, B. Li, H. Shen, K. Li, L. Zhang, X. Wang, Y. Jiang, et al. Webshaper: Agentically data synthesizing via information-seeking formalization. arXiv preprint arXiv:2507.15061, 2025.

vLLM and TorchTitan Teams. No more train-inference mismatch: Bitwise consistent on-policy reinforcement learning with vLLM and TorchTitan. https://blog.vllm.ai /2025/11/10/bitwise-consistent-train-inference.html, nov 2025. vLLM Blog.

J. Wu, W. Yin, Y. Jiang, Z. Wang, Z. Xi, R. Fang, D. Zhou, P. Xie, and F. Huang. Webwalker: Benchmarking llms in web traversal, 2025. URL https://arxiv.org/abs/ 2501.07572.

A. Yang, A. Li, B. Yang, B. Zhang, B. Hui, B. Zheng, B. Yu, C. Gao, C. Huang, C. Lv, et al. Qwen3 technical report. arXiv preprint arXiv:2505.09388, 2025.

E. Yang, L. Shen, G. Guo, X. Wang, X. Cao, J. Zhang, and D. Tao. Model merging in llms, mllms, and beyond: Methods, theories, applications, and opportunities. ACM Computing Surveys, 58(8):1–41, 2026.

F. Yao, L. Liu, D. Zhang, C. Dong, J. Shang, and J. Gao. Your efficient rl framework secretly brings you off-policy rl training, Aug. 2025. URL https://fengyao.notion.s ite/off-policy-rl.

A. Zeng, X. Lv, Z. Hou, Z. Du, Q. Zheng, B. Chen, D. Yin, C. Ge, C. Xie, C. Wang, et al. Glm-5: from vibe coding to agentic engineering. arXiv preprint arXiv:2602.15763, 2026.

C. Zheng, K. Dang, B. Yu, M. Li, H. Jiang, J. Lin, Y. Liu, H. Lin, C. Wu, F. Hu, et al. Stabilizing reinforcement learning with llms: Formulation and practices. arXiv preprint arXiv:2512.01374, 2025a.

C. Zheng, S. Liu, M. Li, X.-H. Chen, B. Yu, C. Gao, K. Dang, Y. Liu, R. Men, A. Yang, et al. Group sequence policy optimization. arXiv preprint arXiv:2507.18071, 2025b.

BibTeX

@online{perplexity2026AdvancingSearchAugmentedLanguageModels,
  author = {{Perplexity} and Denis Yarats and Dongqi Wu and Hang Wu and Randy Ardywibowo and Senzeyu Zhang and Yunfan Zhong and Ziqing Hu and Clare Southern and Riley Carlson and Yi He and Erin McKnight and Mara Sohn and Phi Hoang},
  title = {{Advancing search-augmented language models}},
  date = {2026-04-22},
  url = {https://perplexity.coolkeypoint.com/hub/blog/advancing-search-augmented-language-models}
}

Кіріспе

Екі кезеңді оқыту конвейері

SFT кезеңі

RL кезеңі

RL оқыту деректері

Тексерілетін іздеу агентінің деректері

Мысал (3 сатылы)

Айдарға негізделген жалпы чат деректері

Мысал

Промпт қоспасы және дисперсияны теңестіру

Марапаттау дизайны

Базалық марапат

Артықшылықты модельдеу

Тиімділік айыппұлы

Негізгі нәтижелер

Оқыту динамикасы

Оффлайн бағалаулар

Құралды пайдалану тиімділігін бағалаулар

Қорытынды

Әдебиеттер

Дәйексөз