सर्च-ऑगमेंटेड भाषा मॉडलों को आगे बढ़ाना

परिचय

फ्रंटियर वेब सर्च एजेंट्स को प्रशिक्षित करने के लिए कई उद्देश्यों के संयुक्त अनुकूलन (joint optimization) की आवश्यकता होती है: तथ्यात्मक सटीकता, प्रक्षेपवक्र दक्षता (trajectory efficiency), और उपयोगकर्ता की प्राथमिकता के साथ संरेखण। फिर भी, किसी भी एक आयाम में सुधार करने से अक्सर अन्य आयामों में गिरावट आती है: केवल सटीकता के लिए प्रशिक्षित मॉडल टूल का अत्यधिक उपयोग करते हैं, जबकि संक्षिप्तता के लिए अनुकूलित मॉडल विश्वसनीयता या पूर्णता से समझौता कर सकते हैं। Perplexity पर, कोई भी परिणाम स्वीकार्य नहीं है।

यह लेख ओपन-सोर्स मॉडल पर आधारित अत्याधुनिक वेब सर्च एजेंट्स को विकसित करने के लिए Perplexity की पोस्ट-ट्रेनिंग पाइपलाइन का वर्णन करता है। एक मुख्य विचार यह है कि सर्च-एजेंट प्रशिक्षण में, डेटा क्यूरेशन और रिवॉर्ड डिज़ाइन को सह-डिज़ाइन किया जाना चाहिए: डेटा यह निर्धारित करता है कि कौन से व्यवहार अवलोकन योग्य और सत्यापन योग्य हैं, और रिवॉर्ड यह निर्धारित करता है कि उन संकेतों को अनुकूलन संकेत (optimization signal) में कैसे बदला जाता है। यह सिद्धांत हमारी दो-चरणीय पाइपलाइन को प्रेरित करता है: हम पहले पॉलिसी मॉडल को इनिशियलाइज़ करने के लिए सुपरवाइज्ड फाइन-ट्यूनिंग (SFT) वार्मअप करते हैं, और फिर हम एक क्यूरेटेड डेटासेट और सावधानीपूर्वक डिज़ाइन किए गए रिवॉर्ड्स का उपयोग करके रीइन्फोर्समेंट लर्निंग (RL) के माध्यम से पॉलिसी मॉडल को परिष्कृत करते हैं। यह दो-चरणीय दृष्टिकोण उत्पादन बाधाओं के तहत सटीकता, दक्षता और प्रतिक्रिया गुणवत्ता में विश्वसनीय लाभ सक्षम बनाता है।

हम सबसे पहले अपनी दो-चरणीय प्रशिक्षण पाइपलाइन (SFT → ऑन-पॉलिसी RL) का वर्णन करते हैं, जिसके बाद हमारे RL प्रशिक्षण डेटा निर्माण का विवरण है, जिसमें सत्यापन योग्य सर्च-एजेंट QA और रूब्रिक-आधारित सामान्य चैट दोनों शामिल हैं। इसके बाद हम इस विषम डेटा सेटिंग से प्राप्त एक समग्र रिवॉर्ड डिज़ाइन प्रस्तुत करते हैं, जो रिवॉर्ड हैकिंग को कम करते हुए गुणवत्ता और दक्षता को संतुलित करता है। अंत में, हम प्रशिक्षण गतिशीलता और बेंचमार्क परिणामों का विश्लेषण करते हैं।

दो-चरणीय प्रशिक्षण पाइपलाइन

हम एक दो-चरणीय पोस्ट-ट्रेनिंग रेसिपी अपनाते हैं: (i) गार्डरेल्स (जैसे, परहेज) जैसे तैनाती-महत्वपूर्ण व्यवहारों, निर्देश पालन और भाषा स्थिरता को स्थापित करने के लिए SFT, और (ii) पहले चरण के व्यवहारों को संरक्षित करते हुए, उत्तर सटीकता और टूल-उपयोग दक्षता सहित सर्च क्षमता में सुधार करने के लिए ऑन-पॉलिसी RL।

दो चरण क्यों? कम से कम एक उद्देश्य से समझौता किए बिना एकल RL चरण के भीतर सर्च गुणवत्ता और तैनाती बाधाओं का संयुक्त रूप से अनुकूलन करना कठिन है। अनुभवजन्य रूप से, केवल RL प्रशिक्षण सर्च प्रदर्शन में सुधार करता है लेकिन तैनाती गार्डरेल्स पर कम प्रदर्शन करता है, जबकि SFT सर्च प्रदर्शन की कीमत पर अनुपालन में सुधार करता है। उद्देश्यों को अलग करने से SFT चरण को पहले गैर-परक्राम्य आवश्यकताओं को संबोधित करने की अनुमति मिलती है, जिसके बाद RL मुख्य रूप से सर्च क्षमता में सुधार पर ध्यान केंद्रित कर सकता है।

SFT चरण

हम Qwen3 मॉडल परिवार (Qwen3.5-122B-A10B और Qwen3.5-397B-A17B) (Yang et al., 2025, Qwen3.5 ब्लॉगपोस्ट) से इनिशियलाइज़ करते हैं और ऊपर वर्णित तैनाती-महत्वपूर्ण व्यवहारों को लक्षित करते हुए एक दो-घटक SFT मिश्रण डेटासेट का निर्माण करते हैं, साथ ही बेस मॉडल की सामान्य सर्च क्षमता को संरक्षित करते हैं।

प्राथमिकता-उन्मुख उदाहरण। हम टोन, भाषा स्थिरता, स्पष्टता और फॉर्मेटिंग को लक्षित करने वाले निर्देश-पालन और शैली-केंद्रित उदाहरण तैयार करते हैं। इन उदाहरणों को एक अद्वितीय ग्राउंड ट्रुथ स्वीकार करने की आवश्यकता नहीं है; बल्कि, उन्हें उत्पाद लेखन आवश्यकताओं को प्रतिबिंबित करने और विविध क्वेरी प्रकारों में शैलीगत स्थिरता सुनिश्चित करने के लिए चुना गया है।

उत्पादन-प्रारूप टूल-उपयोग प्रक्षेपवक्र। अनुभवजन्य रूप से, हम पाते हैं कि सावधानीपूर्वक डेटासेट क्यूरेशन के बिना SFT बेस मॉडल की सर्च क्षमता को काफी कम कर सकता है। इसे कम करने के लिए, हम विविध इंटरैक्शन पैटर्न (एकल-, दो-, और बहु-टर्न) के पार क्वेरी और आंतरिक कार्यों का नमूना लेते हैं और उन्हें हमारे टूल-कॉलिंग हार्नेस के साथ एनोटेट करते हैं।

RL चरण

SFT चेकपॉइंट से शुरू करते हुए, हम सर्च सटीकता और दक्षता में सुधार करने के लिए ऑन-पॉलिसी RL लागू करते हैं। हम ग्रुप रिलेटिव पॉलिसी ऑप्टिमाइज़ेशन (GRPO) (Shao et al., 2024) का उपयोग करके पॉलिसी मॉडल को अनुकूलित करते हैं।

जहाँ $G$ समूह का आकार है, $o_{i}$ $i$-वें सैंपल किए गए आउटपुट को दर्शाता है, और $\hat{A}_{i, t} = \hat{A}_{i}$ लाभ है। रिवार्ड डिज़ाइन रिवार्ड डिज़ाइन अनुभाग में विस्तार से दिया गया है; संक्षेप में, हम बेसलाइन शुद्धता को preference-आधारित और anchored efficiency shaping के साथ संयोजित करते हैं। पूर्व कार्य (Liu et al., 2025a; Yao et al., 2025; Zheng et al., 2025a) का अनुसरण करते हुए, हम प्रशिक्षण–inference mismatch को ठीक करने के लिए token-level Importance Sampling (IS) लागू करते हैं:

हम प्रशिक्षण-अनुमान बेमेल को कम करने के लिए कई दृष्टिकोणों का मूल्यांकन करते हैं, जिसमें अनुक्रम-स्तर IS (Zheng et al., 2025b), रूटिंग रीप्ले (Ma et al., 2025; Zheng et al., 2025b), और बिटवाइज कंसिस्टेंट ट्रेनिंग शामिल है जो प्रशिक्षण के दौरान इंफरेंस इंजन के कर्नल को एकीकृत करती है (vLLM और TorchTitan Teams, 2025)। अनुभवजन्य रूप से, हमारी ऑन-पॉलिसी सेटिंग के तहत, हम पाते हैं कि प्रशिक्षण पतन को रोकने के लिए टोकन-स्तर IS पर्याप्त है जबकि इसे लागू करना सरल है; यह Zheng et al (2025a) के निष्कर्षों के अनुरूप है।

RL प्रशिक्षण डेटा

हमारा RL प्रशिक्षण डेटा दो पूरक घटकों से बना है: सामान्य सर्च क्षमता को लक्षित करने वाला सत्यापन योग्य सर्च-एजेंट QA, और RL प्रशिक्षण चरण के दौरान प्रतिगमन को रोकने के लिए तैनाती गार्डरेल्स को स्पष्ट रूप से सुदृढ़ करने वाला रूब्रिक-आधारित सामान्य चैट।

सत्यापन योग्य सर्च-एजेंट डेटा

डेटासेट निर्माण। अनुक्रमिक विस्तार विधि (Tao et al., 2025) का पालन करते हुए, हम एक क्यूरेटेड नॉलेज ग्राफ पर भरोसा किए बिना आंतरिक सीड क्वेरी से एक इन-हाउस सिंथेटिक QA डेटासेट का निर्माण करते हैं, जिससे पाइपलाइन हल्की और रिफ्रेश करने में आसान रहती है। प्रत्येक सिंथेटिक उदाहरण निम्नलिखित चरणों के माध्यम से उत्पन्न होता है:

1. सीड चयन। हम सीड क्वेरी के लिए दस्तावेज़ पुनः प्राप्त करते हैं और शुरुआती बिंदुओं के रूप में बहु-स्रोत तथ्य पुष्टि के साथ संस्थाओं का चयन करते हैं, उनके बारे में परमाणु कथन निकालते हैं।
2. मल्टी-हॉप चेन निर्माण। सीड इकाई के बयानों से, हम एक ऐसा बयान चुनते हैं जो दूसरी इकाई का परिचय देता है (उदाहरण के लिए, सीड “द मॉम टेस्ट” के लिए, “रॉब फिट्ज़पैट्रिक द्वारा लिखित” बयान लेखक को अगली इकाई के रूप में पेश करता है)। हम इस लिंकिंग प्रक्रिया को 2-4 बार दोहराते हैं, यह सुनिश्चित करते हुए कि प्रत्येक इकाई अलग है और कोई भी एकल कथन स्पष्ट रूप से अंतिम उत्तर को प्रकट नहीं करता है
3. नाम-मुक्त प्रश्न संश्लेषण। हम संस्थाओं के नाम को उनके कनेक्टिंग कथनों के साथ पुनरावर्ती रूप से बदलकर इकाई श्रृंखला को एक प्रश्न में परिवर्तित करते हैं, एक नेस्टेड प्रश्न उत्पन्न करते हैं जिसके लिए बहु-हॉप तर्क की आवश्यकता होती है
4. सत्यापन। हम केवल उन प्रश्नों को रखते हैं जिनके अद्वितीय उत्तर कई स्वतंत्र वेब-सक्षम सॉल्वरों द्वारा सत्यापित किए गए हैं।

उदाहरण (3-हॉप)

सीड क्वेरी “द मॉम टेस्ट” पर विचार करें। हम दस्तावेज़ प्राप्त करते हैं और इस पुस्तक को सीड इकाई के रूप में पहचानते हैं, फिर परमाणु तथ्यात्मक बयान निकालते हैं और पुनरावर्ती रूप से एक इकाई श्रृंखला बनाते हैं: (i) द मॉम टेस्ट रॉब फिट्ज़पैट्रिक द्वारा लिखी गई थी, रॉब फिट्ज़पैट्रिक को पेश करते हुए; (ii) रॉब फिट्ज़पैट्रिक का पहला स्टार्टअप वाई कॉम्बिनेटर (गर्मियां 2007) के माध्यम से गया, वाई कॉम्बिनेटर को पेश करते हुए; (iii) वाई कॉम्बिनेटर मार्च 2005 में लॉन्च किया गया था। प्रत्येक इकाई नाम को उसके विवरणकर्ता के साथ पुनरावर्ती रूप से बदलने पर नाम-मुक्त प्रश्न मिलता है: “किस पुस्तक को उस व्यक्ति ने लिखा था जिसका पहला स्टार्टअप मार्च 2005 में लॉन्च किए गए एक्सेलेरेटर के समर 2007 कोहॉर्ट में गया था?” उत्तर के साथ “द मॉम टेस्ट”।

प्रारूप-विविधता संवर्द्धन। केवल कच्चे सिंथेटिक QA पर प्रशिक्षित मॉडल फॉर्मेटिंग प्राथमिकताओं की उपेक्षा करते हैं और क्वेरी कैसे भी तैयार की गई हो, एक निश्चित प्रतिक्रिया संरचना पर डिफ़ॉल्ट रूप से आ जाते हैं। प्रारूप विविधता में सुधार करने के लिए, हम डेटासेट को उन क्वेरी के साथ बढ़ाते हैं जिनमें स्पष्ट फॉर्मेटिंग निर्देश शामिल होते हैं (जैसे, “. . . की सूची दिखाएं” या “एक तालिका में . . . का सारांश दें”), जबकि अंतर्निहित उत्तर को अपरिवर्तित रखते हैं।

सार्वजनिक सत्यापन योग्य QA (बेसलाइन)। हम गुणवत्ता फ़िल्टरिंग के साथ हमारे संवर्धित प्रॉम्प्ट प्रारूप के तहत एकीकृत पांच ओपन-सोर्स डेटासेट (Lu et al., 2025; Pham et al., 2025; Press et al., 2023; Tao et al., 2025; Wu et al., 2025) से एक बेसलाइन सत्यापन योग्य QA डेटासेट का निर्माण करते हैं। यह मिश्रण हमारे सत्यापन प्रयोगों में प्राथमिक बेसलाइन के रूप में कार्य करता है। नियंत्रित तुलनाओं के लिए, हम अपने इन-हाउस सिंथेटिक QA डेटासेट के पैमाने का इस ओपन-सोर्स मिश्रण से मिलान करते हैं।

त्वरित सत्यापन। हम तेज़ पुनरावृत्ति (iteration) को सक्षम करने के लिए Qwen3-30B-A3B-Instruct-2507 का उपयोग करके इस पाइपलाइन की प्रभावशीलता को मान्य करते हैं; परिणाम तालिका 1 में संक्षेपित हैं।

बड़ा करें

रूब्रिक-आधारित सामान्य चैट डेटा

जबकि सत्यापन योग्य QA सर्च-केंद्रित क्वेरी के लिए एक स्वच्छ प्रशिक्षण संकेत प्रदान करता है, उत्पादन ट्रैफ़िक का एक बड़ा हिस्सा विशिष्ट रूप से सत्यापन योग्य नहीं है (जैसे, पुनर्लेखन, योजना बनाना, और ओपन-एंडेड सहायता)। ऐसी क्वेरी को RL से बाहर करने से पॉलिसी वास्तविक उपयोगकर्ता इंटरैक्शन के लिए कम-अनुकूलित (under-optimized) रह जाएगी। इसके अलावा, जबकि SFT चरण तैनाती-महत्वपूर्ण गार्डरेल्स स्थापित करता है, RL उन पर प्रतिगमन कर सकता है जब तक कि उन्हें डेटा द्वारा स्पष्ट रूप से सुदृढ़ नहीं किया जाता है।

हम गैर-सत्यापन योग्य क्वेरी को RL प्रशिक्षण में शामिल करते हैं, तैनाती-महत्वपूर्ण आवश्यकताओं—निर्देश पालन, फॉर्मेटिंग बाधाएं, और सुरक्षा सम्मेलनों—को रूब्रिक में बदलकर: परमाणु, उद्देश्यपूर्ण रूप से जांचने योग्य मानदंड जिन्हें एक प्रतिक्रिया को पूरा करना चाहिए। हम रूब्रिक-आधारित डेटा निर्माण (Gunjal et al., 2025; Liu et al., 2025b) को अपनाते हैं, प्रति क्वेरी रूब्रिक सेट उत्पन्न करते हैं।

रूब्रिक निर्माण। पूर्ण वार्तालाप इतिहास को देखते हुए, हम LLM को एक संदर्भ प्रतिक्रिया और संबंधित रूब्रिक सेट तैयार करने के लिए प्रेरित करते हैं। रूब्रिक एक निश्चित प्राथमिकता क्रम के तहत प्राप्त किए जाते हैं: उपयोगकर्ता द्वारा स्पष्ट रूप से बताई गई आवश्यकताएं प्राथमिकता लेती हैं, उसके बाद आंतरिक बाधाएं, और अंत में संदर्भ प्रतिक्रिया से अनुमानित आवश्यक सामग्री आवश्यकताएं। प्रत्येक रूब्रिक होना चाहिए:

• परमाणु (Atomic): एक एकल, अच्छी तरह से परिभाषित जांच;
• उद्देश्यपूर्ण (Objective): व्यक्तिपरक निर्णय के बिना सत्यापन योग्य;
• आवश्यक (Necessary): क्वेरी का उत्तर देने के लिए आवश्यक, न कि केवल एक शैलीगत प्राथमिकता।

उदाहरण

क्वेरी।

She will share u man power planning. We have to arrange lodging & boarding. Plz correct swntence.

रूब्रिक्स।

• प्रतिक्रिया अंग्रेजी में लिखी गई है।
• सही किए गए शब्दों में "lodging" और "boarding" शब्द शामिल हैं।
• सही किए गए शब्दों में "man power" के बजाय एक शब्द के रूप में "manpower" (उदाहरण के लिए, "manpower plan" या "manpower planning") का उपयोग किया गया है।
• सही किए गए शब्दों में अनौपचारिक शॉर्टहैंड टोकन "u" या "Plz" शामिल नहीं हैं, और इसमें एम्परसेंड वर्ण "&" शामिल नहीं है।
• प्रतिक्रिया में \\[type:idx\\] प्रारूप के उद्धरण मार्कर शामिल नहीं हैं, जहाँ type डेटा स्रोत को दर्शाता है (उदाहरण के लिए, web, chart, memory, attached_file)।

रूब्रिक कैलिब्रेशन। अत्यधिक सख्त या अत्यधिक उदार रूब्रिक सेट से बचने के लिए, हम pass@4 फ़िल्टर लागू करते हैं। प्रत्येक क्वेरी के लिए, हम चार स्वतंत्र प्रतिक्रियाओं का नमूना लेते हैं और उनका एक निर्देश-पालन न्यायाधीश के साथ पूर्ण रूब्रिक सेट के खिलाफ मूल्यांकन करते हैं। हम उन क्वेरी को छोड़ देते हैं जिनके लिए कोई प्रतिक्रिया रूब्रिक सेट को संतुष्ट नहीं करती है या सभी प्रतिक्रियाएं ऐसा करती हैं, केवल उन्हीं को बनाए रखते हैं जो जानकारीपूर्ण प्रशिक्षण संकेत देते हैं।

प्रॉम्प्ट मिश्रण और विचरण संतुलन

बहु-उद्देश्य RL में एक व्यावहारिक चुनौती डेटा घटकों के बीच विचरण असंतुलन (variance imbalance) है (Duchi and Namkoong, 2016; Liu et al., 2026; Qi et al., 2026)। हालांकि सत्यापन योग्य QA और रूब्रिक-आधारित डेटा दोनों बाइनरी रिवॉर्ड देते हैं, लेकिन वे कार्य कठिनाई में काफी भिन्न होते हैं: रूब्रिक संतुष्टि आमतौर पर प्रशिक्षण की शुरुआत में प्राप्त करना आसान होता है, जो बड़े और अधिक बारंबार ग्रेडिएंट अपडेट उत्पन्न करते हैं जो कठिन सत्यापन योग्य QA संकेत के सापेक्ष पॉलिसी अनुकूलन पर असमान रूप से हावी हो सकते हैं। इसे संबोधित करने के लिए, हम डेटासेट स्तर पर प्रॉम्प्ट मिश्रण को रीवेट करते हैं, घटकों के बीच अनुकूलन संकेत को संतुलित करने के लिए सत्यापन योग्य QA से 90% और रूब्रिक-आधारित डेटा से 10% नमूना लेते हैं।

रिवॉर्ड डिज़ाइन

हमारा रिवॉर्ड डिज़ाइन ऊपर वर्णित डेटा निर्माण से सीधे अनुसरण करता है। सत्यापन योग्य QA और रूब्रिक कार्यों दोनों में फैले होने के बावजूद, सभी प्रशिक्षण डेटा एक सामान्य बेसलाइन रिवॉर्ड संरचना साझा करते हैं: एक रोलआउट को क्रेडिट प्राप्त होता है यदि वह QA कार्यों के लिए सही उत्तर तैयार करता है, या सामान्य चैट के लिए सभी निर्दिष्ट रूब्रिक्स को संतुष्ट करता है। इस साझा आधार पर निर्माण करते हुए, हम प्राथमिकता-आधारित स्कोरिंग और दक्षता शेपिंग को शामिल करने के लिए एक समग्र रिवॉर्ड का निर्माण करते हैं।

प्रारंभिक प्रयोगों में देखी गई एक मुख्य चुनौती रिवॉर्ड हैकिंग थी: रिवॉर्ड्स का एक सरल रैखिक संयोजन मजबूत प्राथमिकता संकेतों को तथ्यात्मक या निर्देशात्मक विफलताओं के लिए क्षतिपूर्ति करने की अनुमति देता था। इसलिए हम गेटेड एग्रीगेशन को एक मुख्य डिज़ाइन सिद्धांत के रूप में अपनाते हैं, जिसे औपचारिक रूप से इस प्रकार परिभाषित किया गया है:

जहाँ $r_{\mathrm{base}}(\tau_i) \in \{0, 1\}$ QA शुद्धता या rubric satisfaction को दर्शाता है, $s(\tau_i)\in[0,1]$ preference score है, और $\operatorname{pen}_{\mathrm{eff}}(\tau_i)$ anchored efficiency penalty है। इससे correctness, preference क्रेडिट प्राप्त करने के लिए एक आवश्यक शर्त बन जाती है, जबकि अनावश्यक tool use और verbosity को फिर भी हतोत्साहित किया जाता है। Figure 1 संपूर्ण reward pipeline को दर्शाता है, जिसके घटकों का वर्णन हम नीचे करते हैं:

बड़ा करें

बेसलाइन रिवॉर्ड

हम एक binary baseline signal परिभाषित करते हैं जो task correctness या instruction compliance को पकड़ता है। verifiable search-agent data के लिए, यदि अंतिम उत्तर ground truth से मेल खाता है तो ; अन्यथा । rubric-based general chat data के लिए, यदि सभी rubrics संतुष्ट होते हैं तो ; अन्यथा । यह baseline conditional aggregation rule Eq. 2 में hard gate के रूप में कार्य करता है।$r_{\mathrm{base}}(\tau_i) \in \{0,1\}$$r_{\mathrm{base}}(\tau_i)=1$$0$$r_{\mathrm{base}}(\tau_i)=1$$0$

प्राथमिकता मॉडलिंग

हमारा लक्ष्य नीति मॉडल को प्रतिक्रिया गुणवत्ता—सूचनात्मकता, स्पष्टता, और पेशेवर टोन—पर उपयोगकर्ताओं की अव्यक्त प्राथमिकताओं के साथ संरेखित करना है, जिन्हें LLM-न्यायाधीश प्रॉम्प्ट के माध्यम से कैप्चर करना मुश्किल है। इसलिए हम इन विशेषताओं को सीधे स्कोर करने के लिए एक सीखा हुआ प्राथमिकता रिवॉर्ड मॉडल प्रशिक्षित करते हैं।

हम Bradley–Terry framework के अंतर्गत preference learning को सूत्रबद्ध करते हैं। एक context $x$ और दो candidate responses $y_a, y_b$ दिए जाने पर, मॉडल scalar scores $s_{\theta}(x, y) \in \mathbb{R}$ उत्पन्न करता है और न्यूनतम करता है,

जहाँ $r \in \{0, 1\}$ यह दर्शाता है कि $y_a$ पसंद किया गया है या नहीं। positional bias को समाप्त करने के लिए, प्रत्येक training pair को दोनों orderings के साथ बढ़ाया जाता है और सममित रूप से अनुकूलित किया जाता है,

इंफरेंस समय पर, हम दोनों क्रमपरिवर्तनों (permutations) का औसत निकालकर एक स्थिति-अज्ञेयवादी (position-agnostic) प्राथमिकता स्कोर प्राप्त करते हैं:

रोलआउट preference score को फिर $s(\tau_i) \triangleq \bar{P}_{\theta}(x, y_a, y_b) \in [0,1]$ के रूप में परिभाषित किया जाता है, अर्थात, यह संभावना कि policy rollout $y_i$ उसी prompt के लिए reference model rollout की तुलना में अधिक पसंद किया जाता है।

प्राथमिकता मॉडलिंग के लिए प्रशिक्षण डेटा क्यूरेटेड ओपन-सोर्स डेटासेट, उपयोगकर्ता साइड-बाय-साइड फीडबैक, और आंतरिक एनोटेशन से प्राप्त किया जाता है। लेबल शोर को संबोधित करने के लिए, हम Datbench (DatologyAI, 2026) से प्रेरित एक हल्की फ़िल्टरिंग और कैलिब्रेशन पाइपलाइन लागू करते हैं, केवल सुसंगत क्रॉस-मॉडल समझौते वाले उदाहरणों को बनाए रखते हैं। रिवॉर्ड मॉडल पॉलिसी मॉडल के समान बैकबोन साझा करता है, जिसमें भाषा मॉडलिंग हेड को वैल्यू हेड के साथ बदल दिया जाता है। हालांकि छोटे रिवॉर्ड मॉडल तुलनीय होल्ड-आउट सटीकता प्राप्त करते हैं, हम अनुभवजन्य रूप से पाते हैं कि वे सूक्ष्म प्राथमिकताओं को कैप्चर करने में विफल रहते हैं और अवांछनीय पॉलिसी व्यवहारों को सुदृढ़ कर सकते हैं।

दक्षता दंड

स्पष्ट दक्षता शेपिंग के अभाव में, पॉलिसी सरल प्रॉम्प्ट पर भी टूल का अत्यधिक उपयोग करती है। बिना शर्त दंड (जैसे, टूल-कॉल गणना या आउटपुट लंबाई के साथ रैखिक रूप से स्केलिंग) एक प्राकृतिक बेसलाइन हैं, लेकिन हम पाते हैं कि वे आवश्यक अन्वेषण को दबाते हैं और सीखने को कम करते हैं। इसलिए हम समूह-सापेक्ष, एंकर्ड दंड अपनाते हैं जो प्रत्येक GRPO समूह के भीतर प्रभावी समाधानों के सापेक्ष टूल उपयोग और प्रतिक्रिया लंबाई को नियमित करते हैं। समूह 𝑔 के लिए, हम विजेता सेट को इस प्रकार परिभाषित करते हैं:

Anchored tool-call penalty. प्रत्येक rollout $\tau_i$ के लिए, मान लें कि $c_i$ tool calls की संख्या है और $e_i$ tool-execution failures की संख्या है। हम effective tool-call count $\tilde{c}_i = c_i - e_i$ परिभाषित करते हैं और एक group baseline समान रूप से sample करते हैं:

हम excess $\Delta_i = \max\!\left(0,\; \tilde{c}_i - b_g\right)$ की गणना करते हैं, और एक smooth penalty scalar $p_i = 1 - \exp\!\left(-\Delta_i\right)$ परिभाषित करते हैं। फिर tool penalty है:

Anchored length penalty. मान लें कि $L_i$ और $L_i^{\mathrm{ref}}$ क्रमशः candidate और reference model generations की token lengths को दर्शाते हैं। हम shaping set $\widehat{W}_g$ को उन rollouts के रूप में परिभाषित करते हैं जो both correct and preferred हैं:

हम तब समूह-विशिष्ट लंबाई बेसलाइन की गणना करते हैं:

लंबाई दंड को इस प्रकार परिभाषित किया गया है:

जहाँ पहली पंक्ति एक हार्ड कैप है; दूसरी शब्दजाल (verbose) विजेताओं को दंडित करती है; और तीसरी संक्षिप्त (terse) हारने वालों को दंडित करती है।

संयुक्त दक्षता दंड। संयुक्त दक्षता दंड दोनों घटकों का एक भारित योग है:

मुख्य परिणाम

हम दो कुल्हाड़ियों (axes) के साथ अपनी पोस्ट-ट्रेनिंग पाइपलाइन का मूल्यांकन करते हैं: (i) प्रशिक्षण गतिशीलता, अनुकूलन स्थिरता का आकलन करने और यह देखने के लिए कि क्या रिवॉर्ड संकेत अपेक्षा के अनुरूप व्यवहार करते हैं, और (ii) ऑफ़लाइन बेंचमार्क, नियंत्रित मूल्यांकन सेटिंग्स के तहत डाउनस्ट्रीम गुणवत्ता, सुरक्षा, और दक्षता को मापने के लिए।

डिफ़ॉल्ट प्रशिक्षण सेटिंग्स। पॉलिसी मॉडल वेब सर्च टूल (search_web) के साथ इंटरैक्ट करता है; प्रत्येक टूल कॉल 10 परिणाम तक पुनः प्राप्त करता है, जिसमें क्वेरी 250 वर्णों तक और प्रति रोलआउट 5 क्वेरी तक सीमित होती है।

प्रशिक्षण गतिशीलता

हम अनुकूलन गतिशीलता की जांच करते हैं, रिवॉर्ड प्रगति और दक्षता व्यवहार पर ध्यान केंद्रित करते हुए। हम चित्रण की सरलता के लिए Qwen3.5-397B-A11B का उपयोग करते हैं।

बड़ा करें

चित्र 2 बेसलाइन रिवॉर्ड (सत्यापन योग्य QA और रूब्रिक संतुष्टि) में स्थिर सुधार और बढ़ते प्राथमिकता स्कोर को दर्शाता है, जो शुद्धता, अनुपालन, और प्रतिक्रिया गुणवत्ता में निरंतर लाभ का संकेत देता है।

बड़ा करें

चित्र 3 प्रदर्शित करता है कि टूल-कॉल आवृत्ति और पीढ़ी की लंबाई दोनों प्रशिक्षण के दौरान अच्छी तरह से नियंत्रित रहती हैं। विशेष रूप से, टूल-कॉल और लंबाई दंड दोनों प्रशिक्षण के दौरान एकरस रूप से कम होते हैं, जो अधिक संक्षिप्त पीढ़ी और अधिक चयनात्मक टूल आह्वान की ओर मॉडल के प्रगतिशील अनुकूलन को दर्शाता है।

बड़ा करें

चित्र 4 दिखाता है कि ग्रेडिएंट मानदंड क्षणिक स्पाइक्स को छोड़कर स्थिर रहते हैं, जबकि प्रशिक्षण-अनुमान KL विचलन एक हल्का ऊपर की ओर रुझान प्रदर्शित करता है, जो 1e-3 पैमाने के भीतर रहता है। यह बहाव पैटर्न अन्य RL प्रशिक्षण फ्रेमवर्क में देखे गए अवलोकनों के अनुरूप है; चूंकि प्रशिक्षण पूरे समय स्थिर रहता है, हम बिना किसी अतिरिक्त हस्तक्षेप के Eq. 1 में एक सरल IS नियमितीकरण को बनाए रखते हैं।

ऑफ़लाइन मूल्यांकन

हम सर्च सटीकता, तथ्यात्मक विश्वसनीयता, निर्देश पालन, और सुरक्षा में फैले बेंचमार्क के एक सूट पर परिणाम रिपोर्ट करते हैं, जिसमें सार्वजनिक बेंचमार्क और आंतरिक Perplexity (PPLX) मेट्रिक्स दोनों शामिल हैं। सार्वजनिक बेंचमार्क में SimpleQA, FRAMES, और Facts Open शामिल हैं।

• pplx-sbs-search: एक आंतरिक रिवॉर्ड मॉडल का उपयोग करके साइड-बाय-साइड प्राथमिकता मूल्यांकन। उम्मीदवारों की तुलना एक मजबूत बेसलाइन के साथ की जाती है।
• pplx-abstention: जब कोई विश्वसनीय सबूत उपलब्ध न हो तो उचित रूप से मना करने की क्षमता।
• pplx-language-mismatch: लॉन्ग-टेल और मल्टी-टर्न सेटिंग्स के तहत भाषा स्थिरता।
• pplx-broken-tool-calls (↓): टूल-कॉल स्कीमा अनुपालन और बाधा पालन, उदाहरण के लिए, tool_choice=none।

डिफ़ॉल्ट मूल्यांकन सेटिंग्स। सार्वजनिक बेंचमार्क के लिए, हम केवल वेब-सर्च टूल की अनुमति देते हैं, प्रति उदाहरण 5 टूल कॉल तक और प्रति कॉल 10 परिणाम तक के बजट के साथ, 0.6 तापमान पर 8192 आउटपुट टोकन तक उत्पन्न करते हैं।

बड़ा करें

तालिका 2 दिखाती है कि Qwen3.5-Large-SFT-RL सार्वजनिक बेंचमार्क के पार मजबूत सर्च सटीकता प्राप्त करता है, तुलनीय टूल बजट का उपयोग करते हुए FRAMES और Facts Open पर gpt-5.4 के बराबर या उससे बेहतर है। बेस मॉडल के सापेक्ष, हमारा दृष्टिकोण आंतरिक मेट्रिक्स पर पर्याप्त लाभ प्रदान करता है, विशेष रूप से प्राथमिकता (pplx-sbs-search: 0.602 → 0.742), भाषा स्थिरता, और परहेज (abstention) पर, जो यह दर्शाता है कि दो-चरणीय पाइपलाइन सर्च क्षमता से समझौता किए बिना तैनाती-महत्वपूर्ण व्यवहारों में प्रभावी ढंग से सुधार करती है।

टूल उपयोग दक्षता मूल्यांकन

इसे मापने के लिए, हम एक बजट-बाधित मूल्यांकन प्रोटोकॉल डिज़ाइन करते हैं। प्रत्येक मॉडल को वेब सर्च टूल (search_web) और एक सिस्टम प्रॉम्प्ट तक पहुंच दी जाती है जो टूल कॉल की अनुमति वाली संख्या पर एक सख्त कैप निर्दिष्ट करता है ("बजट")। हम इस बजट को 0 (कोई टूल उपयोग नहीं, शुद्ध पैरामीट्रिक ज्ञान) से 10 (उदार मल्टी-स्टेप रिट्रीवल) तक स्कैन करते हैं, प्रत्येक स्तर पर सटीकता दर्ज करते हैं। यह एक टूल-दक्षता वक्र उत्पन्न करता है: मॉडल का स्कोर उस रिट्रीवल बजट के फ़ंक्शन के रूप में जिसकी उसे अनुमति है। हम दो तथ्यात्मक QA बेंचमार्क, FRAMES और Facts Open पर मूल्यांकन करते हैं।

बड़ा करें

इन दो बेंचमार्क से कई पैटर्न स्पष्ट होते हैं:

• हमारा पोस्ट-ट्रेनिंग Qwen3.5-397B-SFT-RL दोनों बेंचमार्क पर सबसे अच्छी सर्च सटीकता प्राप्त करता है। एक टूल कॉल के साथ भी, यह FRAMES पर 57.3% स्कोर करता है, जो GPT-5.4 से 5.7 अंक ऊपर और Sonnet 4.6 से 4.7 अंक ऊपर है।
  • यह लाभ मध्यम बजट (b=2-7) पर सबसे स्पष्ट है, जो उत्पादन तैनाती के लिए व्यावहारिक ऑपरेटिंग रेंज है।
• हमारी पोस्ट-ट्रेनिंग रेसिपी (SFT + RL) बेस चेकपॉइंट पर टूल-उपयोग दक्षता में पर्याप्त सुधार करती है; चित्र 5 में ठोस रेखाएं (पोस्ट-ट्रेनिंग) बनाम डैश वाली रेखाएं (प्रारंभिक चेकपॉइंट) देखें।
• सभी मॉडलों के लिए, हम बजट=7 के आसपास घटते रिटर्न देखते हैं, जो दो बेंचमार्क और सभी मॉडलों के पार सुसंगत है, जो यह सुझाव देता है कि यह मॉडलों के बजाय तथ्यात्मकता-खोज कार्यों की एक संपत्ति है।

उपरोक्त परिणाम दिखाते हैं कि Qwen3.5-397B-SFT-RL कम टूल कॉल के साथ उच्च सटीकता प्राप्त करता है। लेकिन यह वास्तविक लागत में कैसे बदलता है? हम तुलना को ठोस बनाने के लिए प्रकाशित API मूल्य निर्धारण (Alibaba DashScope, OpenAI, Anthropic) का उपयोग करके टोकन-स्तर के मापों को डॉलर लागत में बदलते हैं।

बड़ा करें

मध्यम प्रोफ़ाइल (b=4) पर, Qwen3.5-397B-SFT-RL FRAMES पर 2.0 सेंट प्रति क्वेरी पर 73.9% स्कोर करता है, जबकि GPT-5.4 8.5 सेंट पर 67.8% और Sonnet 4.6 15.3 सेंट पर 62.4% स्कोर करता है। यह GPT-5.4 की तुलना में 4x कम लागत पर +6 अंक सटीकता है, और Sonnet 4.6 की तुलना में 7.5x कम लागत पर +11.5 अंक है।

ये अनुमान कैशिंग के बिना सूची API मूल्य निर्धारण का उपयोग करते हैं। KV कैश पुन: उपयोग, प्रीफ़िक्स कैशिंग, और क्वांटाइज्ड MoE सर्विंग (397B केवल 17B सक्रिय मापदंडों का उपयोग करता है) जैसी इन-हाउस इंफरेंस अनुकूलन के साथ, प्रभावी लागत को सूची API मूल्य निर्धारण से काफी नीचे कम किया जा सकता है।

निष्कर्ष

दो-चरणीय SFT और RL पाइपलाइन के माध्यम से सर्च अनुकूलन से तैनाती अनुपालन को अलग करना एक ऐसा मॉडल तैयार करता है जो उत्पादन बाधाओं के तहत सक्षम और विश्वसनीय दोनों है। सत्यापन योग्य QA और रूब्रिक-आधारित प्रशिक्षण डेटा का संयोजन, गेटेड रिवॉर्ड एकत्रीकरण और एंकर्ड दक्षता शेपिंग के साथ, सर्च सटीकता या गार्डरेल अनुपालन का त्याग किए बिना स्थिर बहु-उद्देश्य अनुकूलन को सक्षम बनाता है।

कई दिशाएं आगे की जांच के योग्य हैं। जैसा कि चित्र 4 में देखा गया है, प्रशिक्षण-अनुमान KL विचलन विस्तारित प्रशिक्षण चरणों में एक निरंतर ऊपर की ओर बहाव प्रदर्शित करता है। हालांकि टोकन-स्तर IS सुधार हमारी वर्तमान सेटिंग के तहत पर्याप्त साबित होता है, लेकिन क्या यह बड़े पैमाने पर सच रहता है यह स्पष्ट नहीं है; इस बेमेल का अधिक सिद्धांतवादी उपचार — जिसमें बुनियादी ढांचे-स्तर की विसंगतियां और MoE रूटिंग जैसे आर्किटेक्चर-विशिष्ट कारक शामिल हैं — शमन रणनीतियों की मात्रात्मक अनुभवजन्य तुलना के साथ, एक महत्वपूर्ण खुला प्रश्न बना हुआ है। विशेष रूप से बहु-उद्देश्य RL के लिए, आशाजनक रास्तों में ऑन-पॉलिसी डिस्टिलेशन के साथ अनुक्रमिक प्रशिक्षण (Zeng et al., 2026) शामिल है ताकि कैटास्ट्रोफिक फॉरगेटिंग को कम करते हुए चरणों में उद्देश्यों का अनुकूलन किया जा सके; और क्षमता एकत्रीकरण से कार्य-विशिष्ट अनुकूलन को अलग करने के लिए मॉडल मर्जिंग (Fu et al., 2025; Yang et al., 2026) शामिल है। अंत में, लंबी-क्षितिज प्रक्षेपवक्र के साथ यथार्थवादी मल्टी-टूल वर्कफ़्लो तक स्केलिंग एक महत्वपूर्ण खुली चुनौती बनी हुई है, जिसके लिए संभवतः बेहतर क्रेडिट्स असाइनमेंट, आंशिक रोलआउट के लिए समर्थन और मूल्यांकन की आवश्यकता है।

संदर्भ

DatologyAI. Datbench: Discriminative, faithful, and efficient vision-language model evaluations. https://www.datologyai.com/blog/datbench-discriminative-faithful-and-efficient-vision-language-model-evaluations, Jan. 2026. Published Jan 6, 2026. Accessed: 2026-03-04.

J. Duchi and H. Namkoong. Variance-based regularization with convex objectives. arXiv preprint arXiv:1610.02581, 2016.

Z. Fu, X. Wu, Y. Wang, W. Wang, S. Ye, H. Yin, Y. Chang, Y. Zheng, and X. Zhao. Training-free llm merging for multi-task learning. In Proceedings of the 63rd Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pages 33111–33124, 2025.

A. Gunjal, A. Wang, E. Lau, V. Nath, Y. He, B. Liu, and S. Hendryx. Rubrics as rewards: Reinforcement learning beyond verifiable domains. arXiv preprint arXiv:2507.17746, 2025.

J. Liu, Y. Li, Y. Fu, J. Wang, Q. Liu, and Y. Shen. When speed kills stability: Demystifying rl collapse from the training-inference mismatch. Notion Blog, 2025a.

S.-Y. Liu, X. Dong, X. Lu, S. Diao, P. Belcak, M. Liu, M.-H. Chen, H. Yin, Y.-C. F. Wang, K.-T. Cheng, et al. Gdpo: Group reward-decoupled normalization policy optimization for multi-reward rl optimization. arXiv preprint arXiv:2601.05242, 2026.

T. Liu, R. Xu, T. Yu, I. Hong, C. Yang, T. Zhao, and H. Wang. Openrubrics: Towards scalable synthetic rubric generation for reward modeling and llm alignment. arXiv preprint arXiv:2510.07743, 2025b.

R. Lu, Z. Hou, Z. Wang, H. Zhang, X. Liu, Y. Li, S. Feng, J. Tang, and Y. Dong. Deepdive: Advancing deep search agents with knowledge graphs and multi-turn rl. arXiv preprint arXiv:2509.10446, 2025.

W. Ma, H. Zhang, L. Zhao, Y. Song, Y. Wang, Z. Sui, and F. Luo. Stabilizing moe reinforcement learning by aligning training and inference routers. arXiv preprint arXiv:2510.11370, 2025.

T. Pham, N. Nguyen, P. Zunjare, W. Chen, Y.-M. Tseng, and T. Vu. Sealqa: Raising the bar for reasoning in search-augmented language models. arXiv preprint arXiv:2506.01062, 2025.

O. Press, M. Zhang, S. Min, L. Schmidt, N. A. Smith, and M. Lewis. Measuring and narrowing the compositionality gap in language models. In Findings of the Association for Computational Linguistics: EMNLP 2023, pages 5687–5711, 2023.

P. Qi, X. Zhou, Z. Liu, T. Pang, C. Du, M. Lin, and W. S. Lee. Rethinking the trust region in llm reinforcement learning. arXiv preprint arXiv:2602.04879, 2026.

Z. Shao, P. Wang, Q. Zhu, R. Xu, J. Song, X. Bi, H. Zhang, M. Zhang, Y. Li, Y. Wu, et al. Deepseekmath: Pushing the limits of mathematical reasoning in open language models. arXiv preprint arXiv:2402.03300, 2024.

Z. Tao, J. Wu, W. Yin, J. Zhang, B. Li, H. Shen, K. Li, L. Zhang, X. Wang, Y. Jiang, et al. Webshaper: Agentically data synthesizing via information-seeking formalization. arXiv preprint arXiv:2507.15061, 2025.

vLLM and TorchTitan Teams. No more train-inference mismatch: Bitwise consistent on-policy reinforcement learning with vLLM and TorchTitan. https://blog.vllm.ai /2025/11/10/bitwise-consistent-train-inference.html, nov 2025. vLLM Blog.

J. Wu, W. Yin, Y. Jiang, Z. Wang, Z. Xi, R. Fang, D. Zhou, P. Xie, and F. Huang. Webwalker: Benchmarking llms in web traversal, 2025. URL https://arxiv.org/abs/ 2501.07572.

A. Yang, A. Li, B. Yang, B. Zhang, B. Hui, B. Zheng, B. Yu, C. Gao, C. Huang, C. Lv, et al. Qwen3 technical report. arXiv preprint arXiv:2505.09388, 2025.

E. Yang, L. Shen, G. Guo, X. Wang, X. Cao, J. Zhang, and D. Tao. Model merging in llms, mllms, and beyond: Methods, theories, applications, and opportunities. ACM Computing Surveys, 58(8):1–41, 2026.

F. Yao, L. Liu, D. Zhang, C. Dong, J. Shang, and J. Gao. Your efficient rl framework secretly brings you off-policy rl training, Aug. 2025. URL https://fengyao.notion.s ite/off-policy-rl.

A. Zeng, X. Lv, Z. Hou, Z. Du, Q. Zheng, B. Chen, D. Yin, C. Ge, C. Xie, C. Wang, et al. Glm-5: from vibe coding to agentic engineering. arXiv preprint arXiv:2602.15763, 2026.

C. Zheng, K. Dang, B. Yu, M. Li, H. Jiang, J. Lin, Y. Liu, H. Lin, C. Wu, F. Hu, et al. Stabilizing reinforcement learning with llms: Formulation and practices. arXiv preprint arXiv:2512.01374, 2025a.

C. Zheng, S. Liu, M. Li, X.-H. Chen, B. Yu, C. Gao, K. Dang, Y. Liu, R. Men, A. Yang, et al. Group sequence policy optimization. arXiv preprint arXiv:2507.18071, 2025b.

उद्धरण

@online{perplexity2026AdvancingSearchAugmentedLanguageModels,
  author = {{Perplexity} and Denis Yarats and Dongqi Wu and Hang Wu and Randy Ardywibowo and Senzeyu Zhang and Yunfan Zhong and Ziqing Hu and Clare Southern and Riley Carlson and Yi He and Erin McKnight and Mara Sohn and Phi Hoang},
  title = {{Advancing search-augmented language models}},
  date = {2026-04-22},
  url = {https://perplexity.coolkeypoint.com/hub/blog/advancing-search-augmented-language-models}
}