സെർച്ച്-വർദ്ധിപ്പിച്ച ഭാഷാ മാഡ്ലുകൾ മുന്നോട്ട് കൊണ്ടുപോകുന്നു

ഫ്രണ്ടിയർ വെബ് സെർച്ച് ഏജന്റുകളെ പരിശീലിപ്പിക്കുന്നതിന് ഒന്നിലധികം ലക്ഷ്യങ്ങൾ സംയോജിപ്പിച്ച് ഒപ്റ്റിമൈസ് ചെയ്യേണ്ടതുണ്ട്: വസ്തുതാപരമായ കൃത്യത, പാതയുടെ കാര്യക്ഷമത, ഉപയോക്തൃ മുൻഗണനാ ക്രമീകരണം. എന്നിരുന്നാലും, ഏതെങ്കിലും ഒരു അളവുകോൽ മാത്രം പ്രത്യേകം മെച്ചപ്പെടുത്തുന്നത് പലപ്പോഴും മറ്റുള്ളവയെ മോശമാക്കുന്നു: കൃത്യതയ്ക്ക് മാത്രമായി പരിശീലിപ്പിച്ച മാഡ്ലുകൾ ടൂളുകൾ അമിതമായി ഉപയോഗിക്കുന്നു, അതേസമയം സംക്ഷിപ്തതയ്ക്കായി ഒപ്റ്റിമൈസ് ചെയ്ത മാഡ്ലുകൾ വിശ്വാസ്യതയോ പൂർണ്ണതയോ ബലിയർപ്പിച്ചേക്കാം. Perplexity-ൽ, ഈ രണ്ട് ഫലങ്ങളും സ്വീകാര്യമല്ല.

ഓപ്പൺ സോഴ്സ് മാഡ്ലുകളെ അടിസ്ഥാനമാക്കി അത്യാധുനിക വെബ് സെർച്ച് ഏജന്റുകൾ വികസിപ്പിക്കുന്നതിനുള്ള Perplexity-യുടെ പോസ്റ്റ്-ട്രെയിനിങ് പൈപ്പ്‌ലൈൻ ഈ ലേഖനം വിവരിക്കുന്നു. സെർച്ച്-ഏജന്റ് പരിശീലനത്തിൽ, ഡാറ്റ ക്യൂറേഷനും റിവാർഡ് രൂപകൽപ്പനയും ഒരുമിച്ച് രൂപകൽപ്പന ചെയ്യണം എന്നതാണ് ഒരു പ്രധാന ആശയം: ഏതൊക്കെ പെരുമാറ്റങ്ങൾ നിരീക്ഷിക്കാവുന്നതും പരിശോധിക്കാവുന്നതുമാണെന്ന് ഡാറ്റ നിർണ്ണയിക്കുന്നു, ആ സിഗ്നലുകൾ എങ്ങനെ ഒപ്റ്റിമൈസേഷൻ സിഗ്നലുകളിലേക്ക് വിവർത്തനം ചെയ്യപ്പെടുന്നു എന്ന് റിവാർഡ് നിർണ്ണയിക്കുന്നു. ഈ തത്വം ഞങ്ങളുടെ രണ്ട് ഘട്ടങ്ങളുള്ള പൈപ്പ്‌ലൈനിന് പ്രേരണയാകുന്നു: പോളിസി മാഡ്ലിനെ പ്രാരംഭ ഘട്ടത്തിലാക്കാൻ ഞങ്ങൾ ആദ്യം ഒരു സൂപ്പർവൈസ്ഡ് ഫൈൻ-ട്യൂണിങ് (SFT) വാർമ്മപ്പ് നടത്തുന്നു, തുടർന്ന് ക്യൂറേറ്റഡ് ഡാറ്റാസെറ്റിലും ശ്രദ്ധാപൂർവ്വം രൂപകൽപ്പന ചെയ്‌ത റിവാർഡുകളിലും റീഇൻഫോഴ്‌സ്‌മെന്റ് ലേണിങ് (RL) ഉപയോഗിച്ച് പോളിസി മാഡ്ലിനെ പരിഷ്കരിക്കുന്നു. ഈ രണ്ട് ഘട്ടങ്ങളുള്ള സമീപനം പ്രൊഡക്ഷൻ പരിമിതികൾക്ക് കീഴിൽ കൃത്യത, കാര്യക്ഷമത, പ്രതികരണ നിലവാരം എന്നിവയിൽ വിശ്വസനീയമായ നേട്ടങ്ങൾ സാധ്യമാക്കുന്നു.

ഞങ്ങൾ ആദ്യം ഞങ്ങളുടെ രണ്ട് ഘട്ടങ്ങളുള്ള പരിശീലന പൈപ്പ്‌ലൈൻ (SFT → ഓൺ-പോളിസി RL) വിവരിക്കുന്നു, അതിനുശേഷം പരിശോധിക്കാവുന്ന സെർച്ച്-ഏജന്റ് QA, റുബ്രിക് അടിസ്ഥാനമാക്കിയുള്ള ജനറൽ ചാറ്റ് എന്നിവ ഉൾക്കൊള്ളുന്ന ഞങ്ങളുടെ RL പരിശീലന ഡാറ്റ നിർമ്മാണം വിശദീകരിക്കുന്നു. തുടർന്ന്, ഗുണനിലവാരവും കാര്യക്ഷമതയും തമ്മിൽ തുലനം ചെയ്യുകയും റിവാർഡ് ഹാക്കിങ് ലഘൂകരിക്കുകയും ചെയ്തുകൊണ്ട്, ഈ വൈവിധ്യമാർന്ന ഡാറ്റാ ക്രമീകരണത്തിൽ നിന്ന് ഉരുത്തിരിഞ്ഞ ഒരു കോമ്പോസിറ്റ് റിവാർഡ് ഡിസൈൻ ഞങ്ങൾ അവതരിപ്പിക്കുന്നു. അവസാനമായി, ഞങ്ങൾ പരിശീലന ഡൈനാമിക്സും ബെഞ്ച്മാർക്ക് ഫലങ്ങളും വിശകലനം ചെയ്യുന്നു.

ഞങ്ങൾ രണ്ട് ഘട്ടങ്ങളുള്ള പോസ്റ്റ്-ട്രെയിനിങ് റെസിപ്പി സ്വീകരിക്കുന്നു: (i) ഗാർഡ്‌റെയിലുകൾ (ഉദാഹരണത്തിന്, ഒഴിവാക്കൽ), നിർദ്ദേശങ്ങൾ പാലിക്കൽ, ഭാഷാ സ്ഥിരത എന്നിവപോലുള്ള വിന്യാസത്തിന് നിർണായകമായ പെരുമാറ്റങ്ങൾ സ്ഥാപിക്കാൻ SFT, (ii) ഒന്നാം ഘട്ടത്തിലെ പെരുമാറ്റങ്ങൾ സംരക്ഷിച്ചുകൊണ്ട്, ഉത്തരത്തിന്റെ കൃത്യതയും ടൂൾ ഉപയോഗ കാര്യക്ഷമതയും ഉൾപ്പെടെയുള്ള സെർച്ച് ശേഷി മെച്ചപ്പെടുത്താൻ ഓൺ-പോളിസി RL.

എന്തുകൊണ്ട് രണ്ട് ഘട്ടങ്ങൾ? ഒരു ലക്ഷ്യം പോലും വിട്ടുവീഴ്ച ചെയ്യാതെ ഒരൊറ്റ RL ഘട്ടത്തിനുള്ളിൽ സെർച്ച് ഗുണനിലവാരവും വിന്യാസ പരിമിതികളും ഒപ്റ്റിമൈസ് ചെയ്യുക എന്നത് ബുദ്ധിമുട്ടാണ്. പ്രായോഗികമായി, RL-മാത്രമുള്ള പരിശീലനം സെർച്ച് പ്രകടനം മെച്ചപ്പെടുത്തുന്നുണ്ടെങ്കിലും വിന്യാസ ഗാർഡ്‌റെയിലുകളിൽ കുറഞ്ഞ പ്രകടനം കാഴ്ചവെക്കുന്നു, അതേസമയം സെർച്ച് പ്രകടനത്തിന്റെ ചെലവിൽ SFT അനുസരണം മെച്ചപ്പെടുത്തുന്നു. ലക്ഷ്യങ്ങളെ വേർതിരിക്കുന്നത് SFT ഘട്ടത്തെ ചർച്ച ചെയ്യാനാവാത്ത ആവശ്യകതകൾ ആദ്യം പരിഹരിക്കാൻ അനുവദിക്കുന്നു, അതിനുശേഷം RL-ന് സെർച്ച് ശേഷി മെച്ചപ്പെടുത്തുന്നതിൽ പ്രധാനമായും ശ്രദ്ധ കേന്ദ്രീകരിക്കാം.

Qwen3 ഫാമിലി മാഡ്ലുകളിൽ നിന്ന് (Qwen3.5-122B-A10B, Qwen3.5-397B-A17B) (Yang et al., 2025, Qwen3.5 ബ്ലോഗ്പോസ്റ്റ്) ഞങ്ങൾ ആരംഭിക്കുകയും, മുകളിൽ വിവരിച്ച വിന്യാസത്തിന് നിർണായകമായ പെരുമാറ്റങ്ങൾ ലക്ഷ്യമിടുന്നതും എന്നാൽ ബേസ് മാഡ്ലിന്റെ പൊതുവായ സെർച്ച് ശേഷി സംരക്ഷിക്കുന്നതുമായ രണ്ട് ഘടകങ്ങളുള്ള ഒരു SFT മിക്സ്ചർ ഡാറ്റാസെറ്റ് നിർമ്മിക്കുകയും ചെയ്യുന്നു.

ഇഷ്ടാനുസൃതമാക്കിയ ഉദാഹരണങ്ങൾ. ശൈലി, ഭാഷാസ്ഥിരത, വ്യക്തത, ഫോർമാറ്റിംഗ് എന്നിവ ലക്ഷ്യമാക്കി, നിർദ്ദേശങ്ങൾ പിന്തുടരുന്നും ശൈലിയെ കേന്ദ്രീകരിച്ചും ഉള്ള ഉദാഹരണങ്ങൾ ഞങ്ങൾ തെരഞ്ഞെടുത്തു സജ്ജീകരിക്കുന്നു. ഈ ഉദാഹരണങ്ങൾക്ക് ഏകദേശം ഒറ്റയടി സത്യാവസ്ഥ ഉണ്ടായിരിക്കണമെന്നില്ല; മറിച്ച്, ഉൽപ്പന്ന രചനാ ആവശ്യകതകൾ പ്രതിഫലിപ്പിക്കുകയും വിവിധതരം ചോദ്യംകളിലാകെ ശൈലിസംബന്ധിയായ സുസ്ഥിരത ഉറപ്പാക്കുകയും ചെയ്യുന്നതിനായാണ് അവ തിരഞ്ഞെടുക്കപ്പെട്ടിരിക്കുന്നത്.

പ്രൊഡക്ഷൻ-ഫോർമാറ്റ് ടൂൾ-ഉപയോഗ പാതകൾ. പ്രായോഗികമായി, ശ്രദ്ധാപൂർവ്വമായ ഡാറ്റാസെറ്റ് ക്യൂറേഷൻ ഇല്ലാതെയുള്ള SFT ബേസ് മാഡ്ലിന്റെ സെർച്ച് ശേഷിയെ ഗണ്യമായി കുറയ്ക്കുമെന്ന് ഞങ്ങൾ കാണുന്നു. ഇത് ലഘૂകരിക്കാൻ, ഞങ്ങൾ വിവിധ ഇന്ററാക്ഷൻ പാറ്റേണുകളിലുടനീളം (ഒറ്റ-, രണ്ട്-, മൾട്ടി-ടേൺ) ക്വറികളും ആന്തരിക ടാസ്കുകളും സാമ്പിൾ ചെയ്യുകയും ഞങ്ങളുടെ ടൂൾ-കോളിങ് ഹാർനസ് ഉപയോഗിച്ച് അവയ്ക്ക് അടയാളപ്പെടുത്തുകയും ചെയ്യുന്നു.

SFT ചെക്ക്‌പോസ്റ്റിൽ നിന്ന് ആരംഭിച്ച്, സെർച്ച് കൃത്യതയും കാര്യക്ഷമതയും മെച്ചപ്പെടുത്താൻ ഞങ്ങൾ ഓൺ-പോളിസി RL പ്രയോഗിക്കുന്നു. ഗ്രൂപ്പ് റിലേറ്റീവ് പോളിസി ഒപ്റ്റിമൈസേഷൻ (GRPO) (Shao et al., 2024) ഉപയോഗിച്ച് ഞങ്ങൾ പോളിസി മാഡ്ലിനെ ഒപ്റ്റിമൈസ് ചെയ്യുന്നു.

\mathcal{J}_{\text{GRPO}}(\theta) = \frac{1}{G}\sum_{i=1}^{G} \frac{1}{|o_i|}\sum_{t=1}^{|o_i|} r_{i,t}(\theta)\hat{A}_{i,t},

ഇവിടെ $G$ ഗ്രൂപ്പിന്റെ መጠനാണ്, $o_{i}$ എന്നത് $i$ -ാമത്തെ സാമ്പിൾ ചെയ്ത ഔട്ട്പുട്ടിനെ സൂചിപ്പിക്കുന്നു, കൂടാതെ $\hat{A}_{i, t} = \hat{A}_{i}$ എന്നത് അഡ്വാൻന്റേജാണ്. റിവാർഡ് ഡിസൈൻ വിഭാഗത്തിൽ റിവാർഡ് രൂപകൽപ്പന വിശദീകരിച്ചിരിക്കുന്നു; ചുരുക്കത്തിൽ, ഞങ്ങൾ അടിസ്ഥാന കൃത്യതയെ മുൻഗണനാ അടിസ്ഥാനത്തിലുള്ളതും നങ്കൂരമിട്ടതുമായ കാര്യക്ഷമത രൂപപ്പെടുത്തലുമായി സംയോജിപ്പിക്കുന്നു. മുൻകാല പ്രവർത്തനങ്ങളെ തുടർന്ന് (Liu et al., 2025a; Yao et al., 2025; Zheng et al., 2025a), ട്രെയിനിങ്-ഇൻഫറൻസ് പൊരുത്തക്കേട് പരിഹരിക്കുന്നതിന് ഞങ്ങൾ ടോക്കൺ-ലെവൽ ഇമ്പോർട്ടൻസ് സാമ്പിളിങ് (IS) പ്രയോഗിക്കുന്നു:

r_{i,t}(\theta) = \frac{\pi_{\text{train}}(\theta)}{\mu_{\text{infer}}(\theta)}.

സീക്വൻസ്-ലെവൽ IS (Zheng et al., 2025b), റൂട്ടിങ് റിപ്ലേ (Ma et al., 2025; Zheng et al., 2025b), ട്രെയിനിങ് സമയത്ത് ഇൻഫറൻസ് എൻജിന്റെ കെർണൽ സമയോചിതമായി സംയോജിപ്പിക്കുന്ന ബിറ്റ്‌വൈസ് സ്ഥിരതയുള്ള പരിശീലനം (vLLM and TorchTitan Teams, 2025) എന്നിവ ഉൾപ്പെടെ ട്രെയിനിങ്-ഇൻഫറൻസ് പൊരുത്തക്കേട് ലഘൂകരിക്കുന്നതിനുള്ള നിരവധി സമീപനങ്ങൾ ഞങ്ങൾ വിലയിരുത്തുന്നു. പ്രായോഗികമായി, ഞങ്ങളുടെ ഓൺ-പോളിസി ക്രമീകരണത്തിന് കീഴിൽ, ടോക്കൺ-ലെവൽ IS നടപ്പിലാക്കാൻ ലളിതമായിരിക്കുമ്പോൾ തന്നെ ട്രെയിനിങ് തകർച്ച തടയാൻ പര്യാപ്തമാണെന്ന് ഞങ്ങൾ കാണുന്നു; ഇത് Zheng et al (2025a)-ൽ നിന്നുള്ള കണ്ടെത്തലുകളുമായി പൊരുത്തപ്പെടുന്നു.

ഞങ്ങളുടെ RL പരിശീലന ഡാറ്റയിൽ രണ്ട് പരസ്പര പൂരക ഘടകങ്ങൾ അടങ്ങിയിരിക്കുന്നു: പൊതുവായ സെർച്ച് ശേഷി ലക്ഷ്യമിടുന്ന പരിശോധിക്കാവുന്ന സെർച്ച്-ഏജന്റ് QA, RL പരിശീലന ഘട്ടത്തിൽ റിഗ്രഷൻ തടയാൻ വിന്യാസ ഗാർഡ്‌റെയിലുകളെ വ്യക്തമായി ശക്തിപ്പെടുത്തുന്ന റുബ്രിക് അടിസ്ഥാനമാക്കിയുള്ള ജനറൽ ചാറ്റ്.

ഡാറ്റാസെറ്റ് നിർമ്മാണം. സീക്വൻഷ്യൽ എക്സ്പാൻഷൻ രീതി പിന്തുടർന്ന് (Tao et al., 2025), ക്യൂറേറ്റഡ് നോളജ് ഗ്രാഫിനെ ആശ്രയിക്കാതെ ആന്തരിക സീഡ് ക്വറികളിൽ നിന്ന് ഞങ്ങൾ ഒരു ഇൻ-ഹൗസ് സിന്തറ്റിക് QA ഡാറ്റാസെറ്റ് നിർമ്മിക്കുന്നു, ഇത് പൈപ്പ്‌ലൈനെ ഭാരം കുറഞ്ഞതും പുതുക്കാൻ എളുപ്പമുള്ളതുമായി നിലനിർത്തുന്നു. ഓരോ സിന്തറ്റിക് ഉദാഹരണവും താഴെ പറയുന്ന ഘട്ടങ്ങളിലൂടെയാണ് ജനറേറ്റ് ചെയ്യുന്നത്:

സീഡ് തിരഞ്ഞെടുക്കൽ. സീഡ് ക്വറികൾക്കായി ഞങ്ങൾ രേഖകൾ വീണ്ടെടുക്കുകയും മൾട്ടി-സോഴ്സ് ഫാക്റ്റ് സ്ഥിരീകരണമുള്ള എൻ്റിറ്റികൾ ആരംഭ പോയിന്റുകളായി തിരഞ്ഞെടുക്കുകയും, അവയെക്കുറിച്ച് ആറ്റോമിക് പ്രസ്താവനകൾ വേർതിരിച്ചെടുക്കുകയും ചെയ്യുന്നു.
മൾട്ടി-ഹോപ്പ് ചെയിൻ നിർമ്മാണം. സീഡ് എൻ്റിറ്റിയുടെ പ്രസ്താവനകളിൽ നിന്ന്, ഞങ്ങൾ രണ്ടാമത്തെ എൻ്റിറ്റിയെ അവതരിപ്പിക്കുന്ന ഒന്ന് തിരഞ്ഞെടുക്കുന്നു (ഉദാഹരണത്തിന്, “The Mom Test” എന്ന സീഡിനായി, “written by Rob Fitzpatrick” എന്ന പ്രസ്താവന രചയിതാവിനെ അടുത്ത എൻ്റിറ്റിയായി അവതരിപ്പിക്കുന്നു). ഓരോ എൻ്റിറ്റിയും വ്യതിരിക്തമാണെന്നും ഒരു പ്രസ്താവനയും അന്തിമ ഉത്തരം എളുപ്പത്തിൽ വെളിപ്പെടുത്തുന്നില്ലെന്നും ഉറപ്പാക്കിക്കൊണ്ട് ഞങ്ങൾ ഈ ലിങ്കിംഗ് പ്രക്രിയ 2-4 തവണ ആവർത്തിക്കുന്നു
പേരില്ലാത്ത ചോദ്യ സമന്വയം. എൻ്റിറ്റി പേരുകൾ അവയുടെ കണക്റ്റിംഗ് പ്രസ്താവനകൾ ഉപയോഗിച്ച് ആവർത്തിച്ച് മാറ്റിസ്ഥാപിച്ചുകൊണ്ട് ഞങ്ങൾ എൻ്റിറ്റി ശൃംഖലയെ ഒരു ചോദ്യമാക്കി മാറ്റുന്നു, ഇത് മൾട്ടി-ഹോപ്പ് റീസണിംഗ് ആവശ്യമായ ഒരു നെസ്റ്റഡ് ചോദ്യം ഉണ്ടാക്കുന്നു
പരിശോധന. ഒന്നിലധികം സ്വതന്ത്ര വെബ്-പ്രാപ്തമാക്കിയ സോൾവറുകൾ വഴി പരിശോധിച്ച തനതായ ഉത്തരങ്ങളുള്ള ചോദ്യങ്ങൾ മാത്രം ഞങ്ങൾ നിലനിർത്തുന്നു.

“The Mom Test” എന്ന സീഡ് ക്വറി പരിഗണിക്കുക. ഞങ്ങൾ രേഖകൾ വീണ്ടെടുക്കുകയും ഈ പുസ്തകത്തെ സീഡ് എൻ്റിറ്റിയായി തിരിച്ചറിയുകയും ചെയ്യുന്നു, തുടർന്ന് ആറ്റോമിക് വസ്തുതാപരമായ പ്രസ്താവനകൾ വേർതിരിച്ചെടുക്കുകയും ആവർത്തിച്ച് ഒരു എൻ്റിറ്റി ശൃംഖല നിർമ്മിക്കുകയും ചെയ്യുന്നു: (i) The Mom Test എഴുതിയത് Rob Fitzpatrick ആണ്, ഇത് Rob Fitzpatrick-നെ അവതരിപ്പിക്കുന്നു; (ii) Rob Fitzpatrick-ന്റെ ആദ്യ സ്റ്റാർട്ടപ്പ് Y Combinator (സമ്മർ 2007) കടന്നുപോയി, ഇത് Y Combinator-നെ അവതരിപ്പിക്കുന്നു; (iii) Y Combinator 2005 മാർച്ചിൽ ആരംഭിച്ചു. ഓരോ എൻ്റിറ്റി നാമവും അതിന്റെ ഡിസ്ക്രിപ്റ്റർ ഉപയോഗിച്ച് ആവർത്തിച്ച് മാറ്റിസ്ഥാപിക്കുന്നത് പേരില്ലാത്ത ചോദ്യം നൽകുന്നു: “2005 മാർച്ചിൽ ആരംഭിച്ച ആക്സിലറേറ്റർ അതിന്റെ സമ്മർ 2007 കോഹർട്ടിൽ കടന്നുപോയ വ്യക്തി എഴുതിയ പുസ്തകം ഏതാണ്?” "The Mom Test" ഉത്തരത്തോടെ.

ഫോർമാറ്റ്-വൈവിധ്യ വർദ്ധനവ്. റോ സിന്തറ്റിക് QA-ൽ മാത്രം പരിശീലിപ്പിച്ച മാഡ്ലുകൾ, ക്വറി എങ്ങനെയാണ് രൂപീകരിച്ചിരിക്കുന്നത് എന്നത് പരിഗണിക്കാതെ തന്നെ, ഫോർമാറ്റിംഗ് മുൻഗണനകൾ അവഗണിക്കുകയും സ്ഥിരമായ ഒരു പ്രതികരണ ഘടനയിലേക്ക് ഡിഫോൾട്ട് ചെയ്യുകയും ചെയ്യുന്നു. ഫോർമാറ്റ് വൈവിധ്യം മെച്ചപ്പെടുത്തുന്നതിനായി, അടിസ്ഥാന ഉത്തരത്തിൽ മാറ്റം വരുത്താതെ തന്നെ, വ്യക്തമായ ഫോർമാറ്റിംഗ് നിർദ്ദേശങ്ങൾ ഉൾക്കൊള്ളുന്ന ക്വറികൾ (ഉദാഹരണത്തിന്, ". . . യുടെ ഒരു ലിസ്റ്റ് കാണിക്കുക" അല്ലെങ്കിൽ "ഒരു പട്ടികയിൽ . . . സംഗ്രഹിക്കുക") ഉപയോഗിച്ച് ഞങ്ങൾ ഡാറ്റാസെറ്റ് വർദ്ധിപ്പിക്കുന്നു.

പബ്ലിക് വെരിഫൈബിൾ QA (ബേസ്‌ലൈൻ). ക്വാളിറ്റി ഫിൽട്ടറിംഗിനൊപ്പം ഞങ്ങളുടെ വർദ്ധിപ്പിച്ച പ്രോംപ്റ്റ് ഫോർമാറ്റിന് കീഴിൽ ഏകീകരിച്ച അഞ്ച് ഓപ്പൺ സോഴ്സ് ഡാറ്റാസെറ്റുകളിൽ നിന്ന് (Lu et al., 2025; Pham et al., 2025; Press et al., 2023; Tao et al., 2025; Wu et al., 2025) ഞങ്ങൾ ഒരു ബേസ്‌ലൈൻ വെരിഫൈബിൾ QA ഡാറ്റാസെറ്റ് നിർമ്മിക്കുന്നു. ഈ മിക്സ്ചർ ഞങ്ങളുടെ വാലിഡേഷൻ പരീക്ഷണങ്ങളിലെ പ്രാഥമിക ബേസ്‌ലൈനായി പ്രവർത്തിക്കുന്നു. നിയന്ത്രിത താരതമ്യങ്ങൾക്കായി, ഞങ്ങളുടെ ഇൻ-ഹൗസ് സിന്തറ്റിക് QA ഡാറ്റാസെറ്റിന്റെ തോത് ഈ ഓപ്പൺ സോഴ്സ് മിക്സ്ചറുമായി ഞങ്ങൾ പൊരുത്തപ്പെടുത്തുന്നു.

പെട്ടെന്നുള്ള വാലിഡേഷൻ. വേഗത്തിലുള്ള ആവർത്തനം സാധ്യമാക്കുന്നതിന് Qwen3-30B-A3B-Instruct-2507 ഉപയോഗിച്ച് ഞങ്ങൾ ഈ പൈപ്പ്‌ലൈനിന്റെ ഫലപ്രാപ്തി സാധൂകരിക്കുന്നു; ഫലങ്ങൾ പട്ടിക 1-ൽ സംഗ്രഹിച്ചിരിക്കുന്നു.

സിന്തറ്റിക് വെരിഫൈബിൾ QA ഡാറ്റാസെറ്റിന്റെ സാധൂകരണം

പരിശോധിക്കാവുന്ന QA സെർച്ച്-കേന്ദ്രീകൃത ക്വറികൾക്കായി വ്യക്തമായ പരിശീലന സിഗ്നൽ നൽകുമ്പോൾ, പ്രൊഡക്ഷൻ ട്രാഫിക്കിന്റെ ഗണ്യമായ ഒരു ഭാഗം തനതായി പരിശോധിക്കാൻ കഴിയാത്തതാണ് (not) (ഉദാഹരണത്തിന്, റൈറ്റിങ്, പ്ലാനിങ്, ഓപ്പൺ എൻഡഡ് സഹായം). അത്തരം ക്വറികളെ RL-ൽ നിന്ന് ഒഴിവാക്കുന്നത് യഥാർത്ഥ ഉപയോക്തൃ ഇടപെടലുകൾക്കായി പോളിസിയെ അപര്യാപ്തമായി ഒപ്റ്റിമൈസ് ചെയ്തതായി അവശേഷിപ്പിക്കും. മാത്രമല്ല, SFT ഘട്ടം വിന്യാസത്തിന് നിർണായകമായ ഗാർഡ്‌റെയിലുകൾ സ്ഥാപിക്കുമ്പോൾ, ഡാറ്റ വ്യക്തമായി ശക്തിപ്പെടുത്തുന്നില്ലെങ്കിൽ RL-ന് അവയിൽ പിന്നോട്ട് പോകാൻ കഴിയും.

വിന്യാസത്തിന് നിർണായകമായ ആവശ്യകതകൾ - നിർദ്ദേശങ്ങൾ പാലിക്കൽ, ഫോർമാറ്റിംഗ് പരിമിതികൾ, സുരക്ഷാ കൺവെൻഷനുകൾ - എന്നിവയെ ഒരു പ്രതികരണം തൃപ്തിപ്പെടുത്തേണ്ട ആറ്റോമിക്, വസ്തുനിഷ്ഠമായി പരിശോധിക്കാവുന്ന മാനദണ്ഡങ്ങളായ റുബ്രിക്കുകളാക്കി മാറ്റിക്കൊണ്ട് ഞങ്ങൾ നോൺ-വെരിഫൈബിൾ ക്വറികളെ RL പരിശീലനത്തിൽ ഉൾപ്പെടുത്തുന്നു. ഞങ്ങൾ റുബ്രിക് അടിസ്ഥാനമാക്കിയുള്ള ഡാറ്റ നിർമ്മാണം സ്വീകരിക്കുകയും (Gunjal et al., 2025; Liu et al., 2025b), ഓരോ ക്വറിക്കും റുബ്രിക് സെറ്റുകൾ ജനറേറ്റ് ചെയ്യുകയും ചെയ്യുന്നു.

റുബ്രിക് ജനറേഷൻ. മുഴുവൻ സംഭാഷണ ചരിത്രവും നൽകിക്കൊണ്ട്, ഒരു റഫറൻസ് പ്രതികരണവും അനുബന്ധ റുബ്രിക് സെറ്റും നിർമ്മിക്കാൻ ഞങ്ങൾ ഒരു LLM-നോട് ആവശ്യപ്പെടുന്നു. ഒരു നിശ്ചിത മുൻഗണനാ ക്രമത്തിലാണ് റുബ്രിക്കുകൾ ഉരുത്തിരിഞ്ഞു വരുന്നത്: ഉപയോക്താവ് വ്യക്തമായി പ്രസ്താവിച്ച ആവശ്യകതകൾക്ക് മുൻഗണന ലഭിക്കുന്നു, തുടർന്ന് ആന്തരിക പരിമിതികൾ, അവസാനമായി റഫറൻസ് പ്രതികരണത്തിൽ നിന്ന് അനുമാനിച്ച ആവശ്യമായ ഉള്ളടക്ക ആവശ്യകതകൾ. ഓരോ റുബ്രിക്കും താഴെ പറയുന്നവയായിരിക്കണം:

ആറ്റോമിക്: ഒറ്റപ്പെട്ട, നന്നായി നിർവചിക്കപ്പെട്ട പരിശോധന;
ഒബ്ജക്ടീവ്: ആത്മനിഷ്ഠമായ വിധിയേതുമില്ലാതെ പരിശോധിക്കാവുന്നത്;
ആവശ്യമായത്: ചോദ്യത്തിന് ഉത്തരം നൽകാൻ ആവശ്യമായത്, വെറും ശൈലിയിലേക്കുള്ള മുൻഗണന മാത്രമല്ല.

ക്വറി.

She will share u man power planning. We have to arrange lodging & boarding. Plz correct swntence.

റുബ്രിക്കുകൾ.

പ്രതികരണം ഇംഗ്ലീഷിലാണ് എഴുതിയിരിക്കുന്നത്.
തിരുത്തിയ പദപ്രയോഗത്തിൽ "lodging", "boarding" എന്നീ വാക്കുകൾ അടങ്ങിയിരിക്കുന്നു.
തിരുത്തിയ പദപ്രയോഗം "മാൻ പവർ" എന്നതിന് പകരം ഒറ്റ വാക്കായി "മാൻപവർ" ഉപയോഗിക്കുന്നു (ഉദാഹരണത്തിന്, "manpower plan" അല്ലെങ്കിൽ "manpower planning").
തിരുത്തിയ പദപ്രയോഗത്തിൽ "u" അല്ലെങ്കിൽ "Plz" എന്നീ അനൗദ്യോഗിക ഷോർട്ട്‌ഹാൻഡ് ടോക്കണുകൾ അടങ്ങിയിട്ടില്ല, കൂടാതെ അതിൽ ആംപെർസാൻഡ് പ്രതീകമായ "&" അടങ്ങിയിട്ടില്ല.
പ്രതികരണത്തിൽ \\[type:idx\\] രൂപത്തിലുള്ള സൈറ്റേഷൻ മാർക്കറുകൾ അടങ്ങിയിട്ടില്ല, ഇവിടെ type എന്നത് ഒരു ഡാറ്റാ സോഴ്സിനെ സൂചിപ്പിക്കുന്നു (ഉദാഹരണത്തിന്, web, chart, memory, attached_file).

റുബ്രിക് കാലിബ്രേഷൻ. അത്യധികം കർശനമായതോ വളരെ അയവുള്ളതോ ആയ റുബ്രിക് സെറ്റുകൾ ഒഴിവാക്കാൻ, ഞങ്ങൾ ഒരു pass@4 ഫിൽട്ടർ പ്രയോഗിക്കുന്നു. ഓരോ ക്വറിക്കും, ഞങ്ങൾ നാല് സ്വതന്ത്ര പ്രതികരണങ്ങൾ സാമ്പിൾ ചെയ്യുകയും ഒരു ഇൻസ്ട്രക്ഷൻ-ഫോളോയിങ് ജഡ്ജ് ഉപയോഗിച്ച് മുഴുവൻ റുബ്രിക് സെറ്റിനെതിരെയും അവയെ വിലയിരുത്തുകയും ചെയ്യുന്നു. ഒരു പ്രതികരണവും റുബ്രിക് സെറ്റ് തൃപ്തിപ്പെടുത്താത്തതോ അല്ലെങ്കിൽ എല്ലാ പ്രതികരണങ്ങളും തൃപ്തിപ്പെടുത്തുന്നതോ ആയ ക്വറികൾ ഞങ്ങൾ ഒഴിവാക്കുന്നു, വിവരദായകമായ പരിശീലന സിഗ്നൽ നൽകുന്നവ മാത്രം നിലനിർത്തുന്നു.

മൾട്ടി-ഒബ്ജക്ടീവ് RL-ലെ പ്രായോഗിക വെല്ലുവിളിയാണ് ഡാറ്റ ഘടകങ്ങളിലുടനീളമുള്ള വേരിയൻസ് അസന്തുലിതാവസ്ഥ (Duchi and Namkoong, 2016; Liu et al., 2026; Qi et al., 2026). പരിശോധിക്കാവുന്ന QA-യും റുബ്രിക് അടിസ്ഥാനമാക്കിയുള്ള ഡാറ്റയും ബൈനറി റിവാർഡുകൾ നൽകുന്നുണ്ടെങ്കിലും, അവ ടാസ്ക് ബുദ്ധിമുട്ടിൽ ഗണ്യമായി വ്യത്യാസപ്പെട്ടിരിക്കുന്നു: പരിശീലനത്തിന്റെ തുടക്കത്തിൽ റുബ്രിക് സംതൃപ്തി പൊതുവെ നേടാൻ എളുപ്പമാണ്, ഇത് വലിയതും കൂടുതൽ പതിവുമായ ഗ്രേഡിയന്റ് അപ്ഡേറ്റുകൾ ഉണ്ടാക്കുന്നു, ഇത് കഠിനമായ പരിശോധിക്കാവുന്ന QA സിഗ്നലുമായി താരതമ്യം ചെയ്യുമ്പോൾ പോളിസി ഒപ്റ്റിമൈസേഷനെ ആധിപത്യം സ്ഥാപിച്ചേക്കാം. ഇത് പരിഹരിക്കാൻ, ഘടകങ്ങളിലുടനീളം ഒപ്റ്റിമൈസേഷൻ സിഗ്നൽ ബാലൻസ് ചെയ്യുന്നതിനായി, ഡാറ്റാസെറ്റ് തലത്തിൽ ഞങ്ങൾ പ്രോംപ്റ്റ് മിക്സ്ചർ റീവെയ്റ്റ് ചെയ്യുന്നു, പരിശോധിക്കാവുന്ന QA-യിൽ നിന്ന് 90% ഉം റുബ്രിക് അടിസ്ഥാനമാക്കിയുള്ള ഡാറ്റയിൽ നിന്ന് 10% ഉം സാമ്പിൾ ചെയ്യുന്നു.

ഞങ്ങളുടെ റിവാർഡ് ഡിസൈൻ മുകളിൽ വിവരിച്ച ഡാറ്റ നിർമ്മാണത്തിൽ നിന്ന് നേരിട്ട് പിന്തുടരുന്നു. പരിശോധിക്കാവുന്ന QA, റുബ്രിക് ടാസ്കുകൾ എന്നിവ ഉൾക്കൊള്ളുന്നുണ്ടെങ്കിലും, എല്ലാ പരിശീലന ഡാറ്റയും പൊതുവായ ഒരു ബേസ്‌ലൈൻ റിവാർഡ് ഘടന പങ്കിടുന്നു: QA ടാസ്കുകൾക്കായി ശരിയായ ഉത്തരം നൽകുകയോ അല്ലെങ്കിൽ പൊതുവായ ചാറ്റിനായി നിർദ്ദിഷ്ട റുബ്രിക്കുകൾ എല്ലാം തൃപ്തിപ്പെടുത്തുകയോ ചെയ്താൽ ഒരു റോളൗട്ടിന് ക്രെഡിറ്റുകൾ ലഭിക്കുന്നു. ഈ പങ്കിട്ട അടിത്തറയിൽ നിർമ്മിച്ച്, മുൻഗണനാ അടിസ്ഥാനത്തിലുള്ള സ്കോറിംഗും കാര്യക്ഷമത രൂപപ്പെടുത്തലും ഉൾപ്പെടുത്തുന്നതിനായി ഞങ്ങൾ ഒരു കോമ്പോസിറ്റ് റിവാർഡ് നിർമ്മിക്കുന്നു.

प्रारंभिक പരീക്ഷണങ്ങളിൽ കണ്ട ഒരു പ്രധാന വെല്ലുവിളിയാണ് റിവാർഡ് ഹാക്കിങ്: റിവാർഡുകളുടെ ലളിതമായ ലീനിയർ കോമ്പിനേഷൻ ശക്തമായ മുൻഗണനാ സിഗ്നലുകളെ വസ്തുതാപരമായ അല്ലെങ്കിൽ നിർദ്ദേശ പരാജയങ്ങൾക്ക് നഷ്ടപരിഹാരം നൽകാൻ അനുവദിച്ചു. അതിനാൽ ഞങ്ങൾ ഗേറ്റഡ് അഗ്രഗേഷൻ ഒരു പ്രധാന ഡിസൈൻ തത്വമായി സ്വീകരിക്കുന്നു, അതിനെ ഔദ്യോഗികമായി ഇങ്ങനെ നിർവചിച്ചിരിക്കുന്നു:

R(\tau_i) = r_{\text{base}}(\tau_i) \cdot s(\tau_i) \;-\; \operatorname{pen}_{\text{eff}}(\tau_i),

ഇവിടെ $r_{\mathrm{base}}(\tau_i) \in \{0, 1\}$ QA കൃത്യതയെയോ റുബ്രിക് സംതൃപ്തിയെയോ സൂചിപ്പിക്കുന്നു, $s(\tau_i)\in[0,1]$ മുൻഗണനാ സ്കോറാണ്, കൂടാതെ $\operatorname{pen}_{\mathrm{eff}}(\tau_i)$ നങ്കൂരമിട്ട കാര്യക്ഷമത പെനാൽറ്റിയാണ്. മുൻഗണനാ ക്രെഡിറ്റുകൾ ലഭിക്കുന്നതിന് ഇത് കൃത്യതയെ ഒരു ആവശ്യകതയാക്കുന്നു, അതേസമയം അനാവശ്യമായ ടൂൾ ഉപയോഗവും വാചകപ്പെരുപ്പവും നിരുത്സാഹപ്പെടുത്തുന്നു. ചിത്രം 1 മുഴുവൻ റിവാർഡ് പൈപ്പ്‌ലൈനും ചിത്രീകരിക്കുന്നു, അതിന്റെ ഘടകങ്ങൾ ഞങ്ങൾ താഴെ വിവരിക്കുന്നു:

റിവാർഡ് ഡിസൈൻ അവലോകനം. ഞങ്ങൾ ഒരു ബേസ്‌ലൈൻ കൃത്യത സിഗ്നൽ (വെരിഫൈബിൾ/റുബ്രിക്), ഒരു ബ്രാഡ്‌ലി-ടെറി മുൻഗണനാ സ്കോർ, നങ്കൂരമിട്ട കാര്യക്ഷമത പെനാൽറ്റികൾ എന്നിവ സംയോജിപ്പിക്കുന്നു. റിവാർഡ് ഹാക്കിങ് തടയാൻ ബേസ്‌ലൈൻ കൃത്യതയിലൂടെ മുൻഗണന ഗേറ്റ് ചെയ്യപ്പെടുന്നു.

ടാസ്ക് കൃത്യതയോ നിർദ്ദേശ പാലനമോ പകർത്തുന്ന ഒരു ബൈനറി ബേസ്‌ലൈൻ സിഗ്നൽ ഞങ്ങൾ നിർവചിക്കുന്നു. പരിശോധിക്കാവുന്ന സെർച്ച്-ഏജന്റ് ഡാറ്റയ്ക്കായി, അന്തിമ ഉത്തരം ഗ്രൗണ്ട് ട്രൂത്തുമായി പൊരുത്തപ്പെടുകയാണെങ്കിൽ , അല്ലാത്തപക്ഷം . റുബ്രിക് അടിസ്ഥാനമാക്കിയുള്ള ജനറൽ ചാറ്റ് ഡാറ്റയ്ക്കായി, എല്ലാ റുബ്രിക്കുകളും തൃപ്തിപ്പെടുത്തുകയാണെങ്കിൽ , അല്ലാത്തപക്ഷം . വ്യവസ്ഥാത അഗ്രഗേഷൻ നിയമമായ സമവാക്യം 2-ൽ ഈ ബേസ്‌ലൈൻ ഒരു ഹാർഡ് ഗേറ്റായി പ്രവർത്തിക്കുന്നു. $r_{\mathrm{base}}(\tau_i) \in \{0,1\}$ $r_{\mathrm{base}}(\tau_i)=1$ $0$ $r_{\mathrm{base}}(\tau_i)=1$ $0$

പ്രതികരണ ഗുണനിലവാരത്തെക്കുറിച്ചുള്ള ഉപയോക്താക്കളുടെ അവ്യക്തമായ മുൻഗണനകളുമായി - വിവരദായകത, വ്യക്തത, പ്രൊഫഷണൽ ടോൺ - പോളിസി മാഡ്ലിനെ വിന്യസിക്കാൻ ഞങ്ങൾ ലക്ഷ്യമിടുന്നു, ഇവ LLM-ജഡ്ജ് പ്രോംപ്റ്റുകൾ വഴി പകർത്താൻ പ്രയാസമാണ്. അതിനാൽ ഈ ആട്രിബ്യൂട്ടുകൾ നേരിട്ട് സ്കോർ ചെയ്യുന്നതിനായി ഞങ്ങൾ പരിശീലിപ്പിച്ച ഒരു മുൻഗണനാ റിവാർഡ് മാഡ്ല് പരിശീലിപ്പിക്കുന്നു.

ബ്രാഡ്‌ലി-ടെറി ഫ്രെയിംവർക്കിന് കീഴിൽ ഞങ്ങൾ മുൻഗണനാ പഠനം രൂപപ്പെടുത്തുന്നു. ഒരു സന്ദർഭം $x$ ഉം രണ്ട് കാൻഡിഡേറ്റ് പ്രതികരണങ്ങൾ $y_a, y_b$ ഉം നൽകിയാൽ, മാഡ്ല് സ്കാലാർ സ്കോറുകൾ $s_{\theta}(x, y) \in \mathbb{R}$ ഉത്പാദിപ്പിക്കുകയും കുറയ്ക്കുകയും ചെയ്യുന്നു,

\ell_{\text{BT}}(\theta; x, y_a, y_b, r) = -\Big[r \log \sigma(\Delta_\theta) + (1-r) \log\bigl(1 - \sigma(\Delta_\theta)\bigr)\Big], \\ \Delta_\theta = s_\theta(x, y_a) - s_\theta(x, y_b)

ഇവിടെ $r \in \{0, 1\}$ എന്നത് $y_a$ മുൻഗണന നൽകിയതാണോ എന്ന് സൂചിപ്പിക്കുന്നു. സ്ഥാനപരമായ പക്ഷപാതം ഇല്ലാതാക്കാൻ, ഓരോ പരിശീലന ജോഡിയും രണ്ട് ക്രമീകരണങ്ങളും ഉപയോഗിച്ച് വർദ്ധിപ്പിക്കുകയും സമമിതിയായി ഒപ്റ്റിമൈസ് ചെയ്യുകയും ചെയ്യുന്നു,

\mathcal{L}_{\text{sym}} = \tfrac{1}{2}\,\ell_{\text{BT}}(x, y_a, y_b, r) + \tfrac{1}{2}\,\ell_{\text{BT}}(x, y_b, y_a, 1-r).

ഇൻഫറൻസ് സമയത്ത്, രണ്ട് പെർമ്യൂട്ടേഷനുകളും ശരാശരി കണക്കാക്കി ഞങ്ങൾ ഒരു പൊസിഷൻ-അഗ്നോസ്റ്റിക് മുൻഗണനാ സ്കോർ നേടുന്നു:

\bar{\Delta}_\theta(x, y_a, y_b) = \tfrac{1}{2}\Big[\Delta_\theta(x, y_a, y_b) - \Delta_\theta(x, y_b, y_a)\Big], \\ \bar{P}_\theta(x, y_a, y_b) = \sigma\bigl(\bar{\Delta}_\theta(x, y_a, y_b)\bigr).

തുടർന്ന് റോളൗട്ട് മുൻഗണനാ സ്കോർ $s(\tau_i) \triangleq \bar{P}_{\theta}(x, y_a, y_b) \in [0,1]$ ആയി നിർവചിക്കപ്പെടുന്നു, അതായത്, ഒരേ പ്രോംപ്റ്റിനായി റഫറൻസ് മാഡ്ല് റോളൗട്ടിനേക്കാൾ പോളിസി റോളൗട്ട് $y_i$ മുൻഗണന നൽകാനുള്ള സാധ്യത.

മുൻഗണനാ മാഡ്ലിംഗിനായുള്ള പരിശീലന ഡാറ്റ ക്യൂറേറ്റഡ് ഓപ്പൺ സോഴ്സ് ഡാറ്റാസെറ്റുകൾ, ഉപയോക്തൃ സൈഡ്-ബൈ-സൈഡ് ഫീഡ്‌ബാക്ക്, ആന്തരിക വ്യാഖ്യാനങ്ങൾ എന്നിവയിൽ നിന്നാണ് എടുത്തത്. ലേബൽ ശബ്ദം പരിഹരിക്കുന്നതിന്, Datbench (DatologyAI, 2026) പ്രചോദന ഉൾക്കൊണ്ട് ഞങ്ങൾ ഒരു ഭാരം കുറഞ്ഞ ഫിൽട്ടറിംഗ്, കാലിബ്രേഷൻ പൈപ്പ്‌ലൈൻ പ്രയോഗിക്കുന്നു, സ്ഥിരമായ ക്രോസ്-മാഡ്ല് ഉടമ്പടിയുള്ള ഉദാഹരണങ്ങൾ മാത്രം നിലനിർത്തുന്നു. ലാംഗ്വേജ് മോഡലിംഗ് ഹെഡിന് പകരം ഒരു വാല്യൂ ഹെഡ് നൽകിക്കൊണ്ട് റിവാർഡ് മാഡ്ല് പോളിസി മാഡ്ലിന്റെ അതേ ബാക്ക്ബോൺ പങ്കിടുന്നു. ചെറിയ റിവാർഡ് മാഡ്ലുകൾ താരതമ്യപ്പെടുത്താവുന്ന ഹെൽഡ്-ഔട്ട് കൃത്യത കൈവരിക്കുമ്പോൾ, അവ സൂക്ഷ്മമായ മുൻഗണനകൾ പകർത്തുന്നതിൽ പരാജയപ്പെടുന്നുവെന്നും അനാവശ്യമായ പോളിസി പെരുമാറ്റങ്ങളെ ശക്തിപ്പെടുത്താമെന്നും ഞങ്ങൾ പ്രായോഗികമായി കാണുന്നു.

വ്യക്തമായ കാര്യക്ഷമത രൂപപ്പെടുത്തൽ ഇല്ലെങ്കിൽ, ലളിതമായ പ്രോംപ്റ്റുകളിൽ പോലും മാഡ്ല് ടൂളുകൾ അമിതമായി ഉപയോഗിക്കാൻ പ്രവണത കാണിക്കുന്നു. നിരുപാധികമായ പെനാൽറ്റികൾ (ഉദാഹരണത്തിന്, ടൂൾ-കോൾ എണ്ണവുമായോ ഔട്ട്പുട്ട് നീളവുമായോ രേഖീയമായി സ്കെയിൽ ചെയ്യുന്നവ) സ്വാഭാവികമായ ഒരു ബേസ്‌ലൈൻ ആണ്, എന്നാൽ അവ ആവശ്യമായ പര്യവേക്ഷണം അടിച്ചമർത്തുകയും പഠനത്തെ തടസ്സപ്പെടുത്തുകയും ചെയ്യുമെന്ന് ഞങ്ങൾ കാണുന്നു. അതിനാൽ ഓരോ GRPO ഗ്രൂപ്പിലെയും ഫലപ്രദമായ പരിഹാരങ്ങളുമായി ബന്ധപ്പെട്ട് ടൂൾ ഉപയോഗവും പ്രതികരണ നീളവും റെഗുലറൈസ് ചെയ്യുന്ന ഗ്രൂപ്പ്-റിലേറ്റീവ്, നങ്കൂരമിട്ട പെനാൽറ്റികൾ ഞങ്ങൾ സ്വീകരിക്കുന്നു. ഒരു ഗ്രൂപ്പ് 𝑔-നായി, ഞങ്ങൾ വിജയികളുടെ സെറ്റ് ഇങ്ങനെ നിർവചിക്കുന്നു:

W_g = \{\, i : r_{\text{base}}(\tau_i) = 1 \,\}.

നങ്കൂരമിട്ട ടൂൾ-കോൾ പെനാൽറ്റി. ഓരോ റോളൗട്ട് $\tau_i$ നും, $c_i$ ടൂൾ കോളുകളുടെ എണ്ണത്തെയും $e_i$ ടൂൾ-എക്സിക്യൂഷൻ പരാജയങ്ങളുടെ എണ്ണത്തെയും സൂചിപ്പിക്കാൻ അനുവദിക്കുക. ഫലപ്രദമായ ടൂൾ-കോൾ എണ്ണം $\tilde{c}_i = c_i - e_i$ എന്ന് ഞങ്ങൾ നിർവചിക്കുകയും ഒരു ഗ്രൂപ്പ് ബേസ്‌ലൈൻ യൂണിഫോമായി സാമ്പിൾ ചെയ്യുകയും ചെയ്യുന്നു:

b_g \sim \operatorname{Unif}\!\left(\min_{j \in W_g} \tilde{c}_j,\ \left\lceil \operatorname{mean}_{j \in W_g} \tilde{c}_j \right\rceil\right).

മിച്ചമുള്ള $\Delta_i = \max\!\left(0,\; \tilde{c}_i - b_g\right)$ ഞങ്ങൾ കണക്കാക്കുകയും, സുഗമമായ ഒരു പെനാൽറ്റി സ്കാലാർ $p_i = 1 - \exp\!\left(-\Delta_i\right)$ നിർവചിക്കുകയും ചെയ്യുന്നു. തുടർന്ന് ടൂൾ പെനാൽറ്റി ഇതാണ്:

\operatorname{pen}_{\text{tool}}(\tau_i) = \begin{cases} \alpha_{\text{win}}\, p_i, & i \in W_g, \\ \alpha_{\text{lose}}\, p_i + \beta_{\text{lose}}, & i \notin W_g, \end{cases}

നങ്കൂരമിട്ട നീള പെനാൽറ്റി. കാൻഡിഡേറ്റിന്റെയും റഫറൻസ് മാഡ്ലിന്റെയും തലമുറകളുടെ ടോക്കൺ നീളം യഥാക്രമം $L_i$ ഉം $L_i^{\mathrm{ref}}$ ഉം സൂചിപ്പിക്കട്ടെ. ശരിയും മുൻഗണനയുള്ളതുമായ റോളൗട്ടുകളായി ഞങ്ങൾ ഷേപ്പിംഗ് സെറ്റ് $\widehat{W}_g$ നിർവചിക്കുന്നു:

\widehat{W}_g = \{\, \underbrace{i \in W_g}_{\text{correct}} \;:\; \underbrace{s(\tau_i) \geq 0.5}_{\text{preferred}} \,\}.

തുടർന്ന് ഞങ്ങൾ ഗ്രൂപ്പ്-നിർദ്ദിഷ്ട നീള ബേസ്‌ലൈനുകൾ കണക്കാക്കുന്നു:

\underbrace{b_{g,\text{win}}}_{\substack{\text{avg. ref. length} \\ \text{of winners}}} = \operatorname{mean}_{j \in \widehat{W}_g} L_j^{\text{ref}}, \qquad \underbrace{b_{g,\text{lose}}}_{\substack{\text{avg. ref. length} \\ \text{of losers}}} = \operatorname{mean}_{j \notin \widehat{W}_g} L_j^{\text{ref}}.

നീള പെനാൽറ്റി ഇങ്ങനെ നിർവചിക്കപ്പെടുന്നു:

\operatorname{pen}_{\text{len}}(\tau_i) = \begin{cases} 1, & L_i > \max_j L_j^{\text{cmp}} \\ 1 - \exp\!\left(-\max\!\left(0,\ \dfrac{L_i}{b_{g,\text{win}}} - 1\right)\right), & i \in \widehat{W}_g \\ 1 - \exp\!\left(-\max\!\left(0,\ \dfrac{b_{g,\text{lose}}}{L_i} - 1\right)\right), & i \notin \widehat{W}_g \end{cases}

ഇവിടെ ആദ്യ വരി ഒരു ഹാർഡ് ക്യാപ് ആണ്; രണ്ടാമത്തേത് വാചകമടിക്കുന്ന വിജയികളെ ശിക്ഷിക്കുന്നു; മൂന്നാമത്തേത് ചുരുങ്ങിയ തോൽവിക്കാരെ ശിക്ഷിക്കുന്നു.

സംയോജിത കാര്യക്ഷമത പെനാൽറ്റി. സംയോജിത കാര്യക്ഷമത പെനാൽറ്റി എന്നത് രണ്ട് ഘടകങ്ങളുടെയും ഭാരമേറിയ തുകയാണ്:

\operatorname{pen}_{\text{eff}}(\tau_i) = \lambda_{\text{tool}}\, \operatorname{pen}_{\text{tool}}(\tau_i) + \lambda_{\text{len}}\, \operatorname{pen}_{\text{len}}(\tau_i).

ഞങ്ങളുടെ പോസ്റ്റ്-ട്രെയിനിങ് പൈപ്പ്‌ലൈനെ ഞങ്ങൾ രണ്ട് അച്ചുതണ്ടുകളിൽ വിലയിരുത്തുന്നു: (i) പരിശീലന ഡൈനാമിക്സ്, ഒപ്റ്റിമൈസേഷൻ സ്ഥിരത വിലയിരുത്തുന്നതിനും റിവാർഡ് സിഗ്നലുകൾ പ്രതീക്ഷിച്ചതുപോലെ പ്രവർത്തിക്കുന്നുണ്ടോ എന്ന് പരിശോധിക്കുന്നതിനും, കൂടാതെ (ii) ഓഫ്‌ലൈൻ ബെഞ്ച്മാർക്കുകൾ, നിയന്ത്രിത വിലയിരുത്തൽ ക്രമീകരണങ്ങൾക്ക് കീഴിൽ ഡൗൺസ്ട്രീം ഗുണനിലവാരം, സുരക്ഷ, കാര്യക്ഷമത എന്നിവ അളക്കുന്നതിന്.

ഡിഫോൾട്ട് പരിശീലന ക്രമീകരണങ്ങൾ. പോളിസി മാഡ്ല് ഒരു വെബ് സെർച്ച് ടൂളുമായി (search_web) ഇടപഴകുന്നു; ഓരോ ടൂൾ കോളും 10 ഫലങ്ങൾ വരെ വീണ്ടെടുക്കുന്നു, ക്വറികൾ 250 പ്രതീകങ്ങളിൽ പരിമിതപ്പെടുത്തിയിരിക്കുന്നു, കൂടാതെ ഒരു റോളൗട്ടിന് 5 ക്വറികൾ വരെ ആകാം.

റിവാർഡ് പുരോഗതിയിലും കാര്യക്ഷമത പെരുമാറ്റത്തിലും ശ്രദ്ധ കേന്ദ്രീകരിച്ചുകൊണ്ട് ഞങ്ങൾ ഒപ്റ്റിമൈസേഷൻ ഡൈനാമിക്സ് പരിശോധിക്കുന്നു. ചിത്രീകരണത്തിന്റെ ലാളിത്യത്തിനായി ഞങ്ങൾ Qwen3.5-397B-A11B ഉപയോഗിക്കുന്നു.

പരിശീലന സമയത്ത് ബേസ്‌ലൈന്റെയും മുൻഗണനാ സിഗ്നലുകളുടെയും പരിണാമം.

ചിത്രം 2 ബേസ്‌ലൈൻ റിവാർഡിൽ (പരിശോധിക്കാവുന്ന QA, റുബ്രിക് സംതൃപ്തി) സ്ഥിരമായ പുരോഗതി കാണിക്കുന്നു, കൂടാതെ വർദ്ധിച്ചുവരുന്ന മുൻഗണനാ സ്കോറുകൾക്കൊപ്പം, കൃത്യത, അനുസരണം, പ്രതികരണ ഗുണനിലവാരം എന്നിവയിൽ സ്ഥിരമായ നേട്ടങ്ങൾ സൂചിപ്പിക്കുന്നു.

പരിശീലന സമയത്തെ കാര്യക്ഷമത പെരുമാറ്റവും നങ്കൂരമിട്ട രൂപപ്പെടുത്തൽ പെനാൽറ്റികളും.

ചിത്രം 3 കാണിക്കുന്നത് ടൂൾ-കോളിങ് ആവൃത്തിയും ജനറേഷൻ നീളവും പരിശീലനത്തിലുടനീളം നന്നായി നിയന്ത്രിക്കപ്പെടുന്നു എന്നാണ്. പ്രധാനപ്പെട്ട കാര്യം, ടൂൾ-കോളിങ്, നീള പെനാൽറ്റികൾ എന്നിവ പരിശീലനത്തിന്റെ ഗതിയിൽ ഏകതാനമായി കുറയുന്നു, ഇത് കൂടുതൽ സംക്ഷിപ്തമായ ജനറേഷനിലേക്കും കൂടുതൽ സെലക്ടീവ് ടൂൾ ഇൻവോക്കേഷനിലേക്കും മാഡ്ലിന്റെ പുരോഗമനപരമായ പൊരുത്തപ്പെടുത്തലിനെ പ്രതിഫലിപ്പിക്കുന്നു.

താൽക്കാലിക സ്പൈക്കുകൾ മാറ്റിനിർത്തിയാൽ ഗ്രേഡിയന്റ് നോർമുകൾ സ്ഥിരതയുള്ളതായി തുടരുന്നുവെന്ന് ചിത്രം 4 കാണിക്കുന്നു, അതേസമയം ട്രെയിനിങ്-ഇൻഫറൻസ് KL വ്യതിചലനം നേരിയ മുകളിലേക്കുള്ള പ്രവണത പ്രകടമാക്കുന്നു, ഇത് 1e-3 സ്കെയിലിനുള്ളിൽ തുടരുന്നു. ഈ ഡ്രിഫ്റ്റ് പാറ്റേൺ മറ്റ് RL പരിശീലന ഫ്രെയിംവർക്കുകളിലെ നിരീക്ഷണങ്ങളുമായി പൊരുത്തപ്പെടുന്നു; പരിശീലനം ഉടനീളം സ്ഥിരതയുള്ളതായി തുടരുന്നതിനാൽ, അധിക ഇടപെടലുകൾ ഒന്നുമില്ലാതെ ഞങ്ങൾ സമവാക്യം 1-ൽ ഒരു ലളിതമായ IS റെഗുലറൈസേഷൻ നിലനിർത്തുന്നു.

സെർച്ച് കൃത്യത, വസ്തുതാപരമായ വിശ്വാസ്യത, നിർദ്ദേശങ്ങൾ പാലിക്കൽ, സുരക്ഷ എന്നിവ ഉൾക്കൊള്ളുന്ന ബെഞ്ച്മാർക്കുകളുടെ ഒരു സ്യൂട്ടിലെ ഫലങ്ങൾ ഞങ്ങൾ റിപ്പോർട്ട് ചെയ്യുന്നു, ഇതിൽ പബ്ലിക് ബെഞ്ച്മാർക്കുകളും ആന്തരിക Perplexity (PPLX) മെട്രിക്സും ഉൾപ്പെടുന്നു. പബ്ലിക് ബെഞ്ച്മാർക്കുകളിൽ SimpleQA, FRAMES, Facts Open എന്നിവ ഉൾപ്പെടുന്നു.

pplx-sbs-search: ഒരു ആന്തരിക റിവാർഡ് മാഡ്ല് ഉപയോഗിച്ച് സൈഡ്-ബൈ-സൈഡ് മുൻഗണനാ വിലയിരുത്തൽ. കാൻഡിഡേറ്റുകൾ ശക്തമായ ഒരു ബേസ്‌ലൈനുമായി താരതമ്യം ചെയ്യപ്പെടുന്നു.
pplx-abstention: വിശ്വസനീയമായ തെളിവുകൾ ലഭ്യമല്ലാത്തപ്പോൾ ഉചിതമായി നിരസിക്കാനുള്ള കഴിവ്.
pplx-language-mismatch: ലോങ്-ടൈൽ, മൾട്ടി-ടേൺ ക്രമീകരണങ്ങൾക്ക് കീഴിലുള്ള ഭാഷാ സ്ഥിരത.
pplx-broken-tool-calls (↓): ടൂൾ-കോൾ സ്കീമ അനുസരണവും കൺസ്ട്രെയിന്റ് ഫോളോയിംഗും, ഉദാഹരണത്തിന്, tool_choice=none.

ഡിഫോൾട്ട് വിലയിരുത്തൽ ക്രമീകരണങ്ങൾ. പബ്ലിക് ബെഞ്ച്മാർക്കുകൾക്കായി, വെബ് സെർച്ച് ടൂൾ മാത്രമേ ഞങ്ങൾ അനുവദിക്കുന്നുള്ളൂ, ഓരോ ഉദാഹരണത്തിനും 5 ടൂൾ കോളുകൾ വരെയും ഓരോ കോളതിനും 10 ഫലങ്ങൾ വരെയും ബജറ്റോടെ, 0.6 താപനിലയിൽ 8192 ഔട്ട്പുട്ട് ടോക്കണുകൾ വരെ ജനറേറ്റ് ചെയ്യുന്നു.

ഓഫ്‌ലൈൻ വിലയിരുത്തൽ ഫലങ്ങൾ. ബ്രാക്കറ്റിലെ സംഖ്യകൾ ശരാശരി ടൂൾ ഉപയോഗത്തെ സൂചിപ്പിക്കുന്നു. ഞങ്ങൾ Qwen3.5-397B-A17B-യെ Qwen3.5-Large എന്നും, Qwen3.5-122B-A10B-യെ Qwen3.5-Medium എന്നും രേഖപ്പെടുത്തുന്നു.

പട്ടിക 2 കാണിക്കുന്നത് Qwen3.5-Large-SFT-RL പബ്ലിക് ബെഞ്ച്മാർക്കുകളിലുടനീളം ശക്തമായ സെർച്ച് കൃത്യത കൈവരിക്കുന്നു എന്നാണ്, താരതമ്യപ്പെടുത്താവുന്ന ടൂൾ ബജറ്റുകൾ ഉപയോഗിക്കുമ്പോൾ FRAMES-ലും Facts Open-ലും gpt-5.4-നെ പൊരുത്തപ്പെടുത്തുകയോ കവിയുകയോ ചെയ്യുന്നു. ബേസ് മാഡ്ലുമായി താരതമ്യപ്പെടുത്തുമ്പോൾ, ഞങ്ങളുടെ സമീപനം ആന്തരിക മെട്രിക്സുകളിൽ ഗണ്യമായ നേട്ടങ്ങൾ നൽകുന്നു, പ്രത്യേകിച്ചും മുൻഗണനയിൽ (pplx-sbs-search: 0.602 → 0.742), ഭാഷാ സ്ഥിരത, ഒഴിവാക്കൽ എന്നിവയിൽ, സെർച്ച് ശേഷിയിൽ വിട്ടുവീഴ്ച ചെയ്യാതെ രണ്ട് ഘട്ടങ്ങളുള്ള പൈപ്പ്‌ലൈൻ വിന്യാസത്തിന് നിർണായകമായ പെരുമാറ്റങ്ങൾ ഫലപ്രദമായി മെച്ചപ്പെടുത്തുന്നുവെന്ന് ഇത് തെളിയിക്കുന്നു.

ഇത് അളക്കാൻ, ഞങ്ങൾ ഒരു ബജറ്റ്-ഫോഴ്സ്ഡ് വിലയിരുത്തൽ പ്രോട്ടോക്കോൾ രൂപകൽപ്പന ചെയ്യുന്നു. ഓരോ മാഡ്ലിനും ഒരു വെബ് സെർച്ച് ടൂളിലേക്കും (search_web) അനുവദനീയമായ ടൂൾ കോളുകളുടെ എണ്ണത്തിൽ കർശനമായ പരിധി വ്യക്തമാക്കുന്ന ഒരു സിസ്റ്റം പ്രോംപ്റ്റിലേക്കും ("ബജറ്റ്") പ്രവേശനം നൽകുന്നു. ഈ ബജറ്റ് 0-ൽ നിന്ന് (ടൂൾ ഉപയോഗമില്ല, ശുദ്ധമായ പാരാമെട്രിക് അറിവ്) 10 വരെ (ഉദാരമായ മൾട്ടി-സ്റ്റെപ്പ് വീണ്ടെടുക്കൽ) ഞങ്ങൾ മാറ്റുന്നു, ഓരോ തലത്തിലും കൃത്യത രേഖപ്പെടുത്തുന്നു. ഇത് ഒരു ടൂൾ-കാര്യക്ഷമത വക്രത ഉണ്ടാക്കുന്നു: അനുവദനീയമായ വീണ്ടെടുക്കൽ ബജറ്റിന്റെ ഒരു പ്രവർത്തനമെന്ന നിലയിൽ മാഡ്ലിന്റെ സ്കോർ. ഞങ്ങൾ രണ്ട് വസ്തുതാപരമായ QA ബെഞ്ച്മാർക്കുകളിൽ, FRAMES, Facts Open എന്നിവയിൽ വിലയിരുത്തുന്നു.

ബെഞ്ച്മാർക്ക് കൃത്യത vs ടൂൾ കോളുകളുടെ പരമാവധി എണ്ണം.

ഈ രണ്ട് ബെഞ്ച്മാർക്കുകളിൽ നിന്നും നിരവധി പാറ്റേണുകൾ വേറിട്ടുനിൽക്കുന്നു:

ഞങ്ങളുടെ പോസ്റ്റ്-ട്രെയിൻഡ് Qwen3.5-397B-SFT-RL രണ്ട് ബെഞ്ച്മാർക്കുകളിലും മികച്ച സെർച്ച് കൃത്യത കൈവരിക്കുന്നു. ഒരൊറ്റ ടൂൾ കോൾ ഉപയോഗിച്ച് പോലും, ഇത് FRAMES-ൽ 57.3% സ്കോർ ചെയ്യുന്നു, GPT-5.4-നേക്കാൾ 5.7 പോയിന്റും Sonnet 4.6-നേക്കാൾ 4.7 പോയിന്റും മുകളിൽ.
- മിതമായ ബജറ്റുകളിൽ (b=2-7) ഈ നേട്ടം ഏറ്റവും പ്രകടമാണ്, ഇത് പ്രൊഡക്ഷൻ വിന്യാസങ്ങൾക്കായുള്ള പ്രായോഗിക പ്രവർത്തന പരിധിയാണ്.
ഞങ്ങളുടെ പോസ്റ്റ്-ട്രെയിനിങ് റെസിപ്പി (SFT + RL) ബേസ് ചെക്ക്‌പോസ്റ്റിനെ അപേക്ഷിച്ച് ടൂൾ ഉപയോഗ കാര്യക്ഷമത ഗണ്യമായി മെച്ചപ്പെടുത്തുന്നു; ചിത്രം 5-ലെ സോളിഡ് ലൈനുകളും (പോസ്റ്റ്-ട്രെയിൻഡ്) ഡാഷ്‌ഡ് ലൈനുകളും (ആരംഭ ചെക്ക്‌പോസ്റ്റ്) തമ്മിൽ കാണുക.
എല്ലാ മാഡ്ലുകൾക്കും, budget=7-ൽ കുറയുന്ന റിട്ടേണുകൾ ഞങ്ങൾ നിരീക്ഷിക്കുന്നു, ഇത് രണ്ട് ബെഞ്ച്മാർക്കുകളിലും എല്ലാ മാഡ്ലുകളിലും സ്ഥിരതയുള്ളതാണ്, ഇത് മാഡ്ലുകളേക്കാൾ ഫാക്ചുയാലിറ്റി തേടുന്ന ടാസ്കുകളുടെ ഒരു സവിശേഷതയാണെന്ന് ഇത് സൂചിപ്പിക്കുന്നു.

Qwen3.5-397B-SFT-RL കുറഞ്ഞ ടൂൾ കോളുകൾ ഉപയോഗിച്ച് ഉയർന്ന കൃത്യത കൈവരിക്കുന്നുവെന്ന് മുകളിലെ ഫലങ്ങൾ കാണിക്കുന്നു. എന്നാൽ ഇത് യഥാർത്ഥ ചെലവിലേക്ക് എങ്ങനെ വിവർത്തനം ചെയ്യപ്പെടും? താരതമ്യം വ്യക്തമാക്കുന്നതിനായി പ്രസിദ്ധീകരിച്ച API വിലനിർണ്ണയം (Alibaba DashScope, OpenAI, Anthropic) ഉപയോഗിച്ച് ഞങ്ങൾ ടോക്കൺ-ലെവൽ അളവുകളെ ഡോളർ ചെലവുകളിലേക്ക് മാറ്റുന്നു.

ഇടത്തരം പ്രൊഫൈലിൽ (b=4), ക്വറിക്ക് 2.0 സെന്റിൽ Qwen3.5-397B-SFT-RL FRAMES-ൽ 73.9% സ്കോർ ചെയ്യുന്നു, അതേസമയം GPT-5.4 ക്വറിക്ക് 8.5 സെന്റിൽ 67.8% ഉം Sonnet 4.6 ക്വറിക്ക് 15.3 സെന്റിൽ 62.4% ഉം സ്കോർ ചെയ്യുന്നു. അതായത് GPT-5.4-നെ അപേക്ഷിച്ച് 4x കുറഞ്ഞ ചെലവിൽ +6 പോയിന്റ് കൃത്യത, Sonnet 4.6-നെ അപേക്ഷിച്ച് 7.5x കുറഞ്ഞ ചെലവിൽ +11.5 പോയിന്റുകൾ.

ഈ കണക്കുകൾ കാഷിംഗ് ഇല്ലാതെയുള്ള ലിസ്റ്റ് API വിലനിർണ്ണയം ഉപയോഗിക്കുന്നു. KV കാഷ് പുനരുപയോഗം, പ്രീഫിക്സ് കാഷിംഗ്, ക്വാണ്ടൈസ്ഡ് MoE സെർവിങ് (397B 17B സജീവ പാരാമീറ്ററുകൾ മാത്രം ഉപയോഗിക്കുന്നു) തുടങ്ങിയ ഇൻ-ഹൗസ് ഇൻഫറൻസ് ഒപ്റ്റിമൈസേഷനുകൾ ഉപയോഗിച്ച്, ലിസ്റ്റ് API വിലനിർണ്ണയത്തേക്കാൾ വളരെ താഴെയായി ഫലപ്രദമായ ചെലവ് കുറയ്ക്കാൻ കഴിയും.

രണ്ട് ഘട്ടങ്ങളുള്ള SFT, RL പൈപ്പ്‌ലൈൻ വഴി സെർച്ച് ഒപ്റ്റിമൈസേഷനിൽ നിന്ന് വിന്യാസ അനുസരണത്തെ വേർതിരിക്കുന്നത് പ്രൊഡക്ഷൻ പരിമിതികൾക്ക് കീഴിൽ കഴിവുള്ളതും വിശ്വസനീയവുമായ ഒരു മാഡ്ലിനെ നൽകുന്നു. പരിശോധിക്കാവുന്ന QA, റുബ്രിക് അടിസ്ഥാനമാക്കിയുള്ള പരിശീലന ഡാറ്റ എന്നിവയുടെ സംയോജനം, ഗേറ്റഡ് റിവാർഡ് അഗ്രഗേഷനും നങ്കൂരമിട്ട കാര്യക്ഷമത രൂപപ്പെടുത്തലിനും ഒപ്പം, സെർച്ച് കൃത്യതയിലോ ഗാർഡ്‌റെയിൽ അനുസരണത്തിലോ വിട്ടുവീഴ്ച ചെയ്യാതെ സുസ്ഥിരമായ മൾട്ടി-ഒബ്ജക്ടീവ് ഒപ്റ്റിമൈസേഷൻ സാധ്യമാക്കുന്നു.

നിരവധി ദിശകൾ കൂടുതൽ അന്വേഷണത്തിന് അർഹമാണ്. ചിത്രം 4-ൽ നിരീക്ഷിച്ചതുപോലെ, വിപുലമായ പരിശീലന ഘട്ടങ്ങളിൽ ട്രെയിനിങ്-ഇൻഫറൻസ് KL വ്യതിചലനം സ്ഥിരമായ മുകളിലേക്കുള്ള ഡ്രിഫ്റ്റ് പ്രകടമാക്കുന്നു. ഞങ്ങളുടെ നിലവിലെ ക്രമീകരണത്തിന് കീഴിൽ ടോക്കൺ-ലെവൽ IS തിരുത്തൽ പര്യാപ്തമാണെന്ന് തെളിയുമ്പോൾ, വലിയ തോതിൽ ഇത് സത്യമായി തുടരുമോ എന്നത് വ്യക്തമല്ല; ഈ പൊരുത്തക്കേടിന്റെ കൂടുതൽ തത്വപരമായ സൈദ്ധാന്തിക მკურნალობა - ഇൻഫ്രാസ്ട്രക്ചർ തലത്തിലുള്ള പൊരുത്തക്കേടുകളും MoE റൂട്ടിംഗ് പോലുള്ള ആർക്കിടെക്ചർ-നിർദ്ദിഷ്ട ഘടകങ്ങളും ഉൾക്കൊള്ളുന്നു - ലഘൂകരണ തന്ത്രങ്ങളുടെ അളവ്പരമായ അനുഭവപരമായ താരതമ്യങ്ങൾക്കൊപ്പം, ഒരു പ്രധാന തുറന്ന ചോദ്യമായി അവശേഷിക്കുന്നു. പ്രത്യേകിച്ചും മൾട്ടി-ഒബ്ജക്ടീവ് RL-ന്, ദുരന്തപരമായ മറവി ലഘൂകരിക്കുന്നതിനിടയിൽ ഘട്ടങ്ങളിലായി ലക്ഷ്യങ്ങൾ ഒപ്റ്റിമൈസ് ചെയ്യുന്നതിന് ഓൺ-പോളിസി ഡിസ്റ്റിലേഷനോടുകൂടിയ സീക്വൻഷ്യൽ പരിശീലനം (Zeng et al., 2026); ടാസ്ക്-നിർദ്ദിഷ്ട ഒപ്റ്റിമൈസേഷനെ ശേഷി സംയോജനത്തിൽ നിന്ന് വേർപെടുത്താൻ മാഡ്ല് മെർജിംഗ് (Fu et al., 2025; Yang et al., 2026) എന്നിവ വാഗ്ദാനമായ വഴികളിൽ ഉൾപ്പെടുന്നു. അവസാനമായി, ദീർഘകാല പാതകളുള്ള യഥാർത്ഥ മൾട്ടി-ടൂൾ വർക്ക്ഫ്ലോകളിലേക്ക് സ്കെയിൽ ചെയ്യുന്നത് ഒരു പ്രധാന തുറന്ന വെല്ലുവിളിയായി തുടരുന്നു, ഇതിന് മികച്ച ക്രെഡിറ്റ് അസൈൻമെന്റ്, ഭാഗിക റോളൗട്ടുകൾക്കുള്ള പിന്തുണ, വിലയിരുത്തലുകൾ എന്നിവ ആവശ്യമായി വന്നേക്കാം.

DatologyAI. Datbench: Discriminative, faithful, and efficient vision-language model evaluations. https://www.datologyai.com/blog/datbench-discriminative-faithful-and-efficient-vision-language-model-evaluations, Jan. 2026. Published Jan 6, 2026. Accessed: 2026-03-04.

J. Duchi and H. Namkoong. Variance-based regularization with convex objectives. arXiv preprint arXiv:1610.02581, 2016.

Z. Fu, X. Wu, Y. Wang, W. Wang, S. Ye, H. Yin, Y. Chang, Y. Zheng, and X. Zhao. Training-free llm merging for multi-task learning. In Proceedings of the 63rd Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pages 33111–33124, 2025.

A. Gunjal, A. Wang, E. Lau, V. Nath, Y. He, B. Liu, and S. Hendryx. Rubrics as rewards: Reinforcement learning beyond verifiable domains. arXiv preprint arXiv:2507.17746, 2025.

J. Liu, Y. Li, Y. Fu, J. Wang, Q. Liu, and Y. Shen. When speed kills stability: Demystifying rl collapse from the training-inference mismatch. Notion Blog, 2025a.

S.-Y. Liu, X. Dong, X. Lu, S. Diao, P. Belcak, M. Liu, M.-H. Chen, H. Yin, Y.-C. F. Wang, K.-T. Cheng, et al. Gdpo: Group reward-decoupled normalization policy optimization for multi-reward rl optimization. arXiv preprint arXiv:2601.05242, 2026.

T. Liu, R. Xu, T. Yu, I. Hong, C. Yang, T. Zhao, and H. Wang. Openrubrics: Towards scalable synthetic rubric generation for reward modeling and llm alignment. arXiv preprint arXiv:2510.07743, 2025b.

R. Lu, Z. Hou, Z. Wang, H. Zhang, X. Liu, Y. Li, S. Feng, J. Tang, and Y. Dong. Deepdive: Advancing deep search agents with knowledge graphs and multi-turn rl. arXiv preprint arXiv:2509.10446, 2025.

W. Ma, H. Zhang, L. Zhao, Y. Song, Y. Wang, Z. Sui, and F. Luo. Stabilizing moe reinforcement learning by aligning training and inference routers. arXiv preprint arXiv:2510.11370, 2025.

T. Pham, N. Nguyen, P. Zunjare, W. Chen, Y.-M. Tseng, and T. Vu. Sealqa: Raising the bar for reasoning in search-augmented language models. arXiv preprint arXiv:2506.01062, 2025.

O. Press, M. Zhang, S. Min, L. Schmidt, N. A. Smith, and M. Lewis. Measuring and narrowing the compositionality gap in language models. In Findings of the Association for Computational Linguistics: EMNLP 2023, pages 5687–5711, 2023.

P. Qi, X. Zhou, Z. Liu, T. Pang, C. Du, M. Lin, and W. S. Lee. Rethinking the trust region in llm reinforcement learning. arXiv preprint arXiv:2602.04879, 2026.

Z. Shao, P. Wang, Q. Zhu, R. Xu, J. Song, X. Bi, H. Zhang, M. Zhang, Y. Li, Y. Wu, et al. Deepseekmath: Pushing the limits of mathematical reasoning in open language models. arXiv preprint arXiv:2402.03300, 2024.

Z. Tao, J. Wu, W. Yin, J. Zhang, B. Li, H. Shen, K. Li, L. Zhang, X. Wang, Y. Jiang, et al. Webshaper: Agentically data synthesizing via information-seeking formalization. arXiv preprint arXiv:2507.15061, 2025.

vLLM and TorchTitan Teams. No more train-inference mismatch: Bitwise consistent on-policy reinforcement learning with vLLM and TorchTitan. https://blog.vllm.ai /2025/11/10/bitwise-consistent-train-inference.html, nov 2025. vLLM Blog.

J. Wu, W. Yin, Y. Jiang, Z. Wang, Z. Xi, R. Fang, D. Zhou, P. Xie, and F. Huang. Webwalker: Benchmarking llms in web traversal, 2025. URL https://arxiv.org/abs/ 2501.07572.

A. Yang, A. Li, B. Yang, B. Zhang, B. Hui, B. Zheng, B. Yu, C. Gao, C. Huang, C. Lv, et al. Qwen3 technical report. arXiv preprint arXiv:2505.09388, 2025.

E. Yang, L. Shen, G. Guo, X. Wang, X. Cao, J. Zhang, and D. Tao. Model merging in llms, mllms, and beyond: Methods, theories, applications, and opportunities. ACM Computing Surveys, 58(8):1–41, 2026.

F. Yao, L. Liu, D. Zhang, C. Dong, J. Shang, and J. Gao. Your efficient rl framework secretly brings you off-policy rl training, Aug. 2025. URL https://fengyao.notion.s ite/off-policy-rl.

A. Zeng, X. Lv, Z. Hou, Z. Du, Q. Zheng, B. Chen, D. Yin, C. Ge, C. Xie, C. Wang, et al. Glm-5: from vibe coding to agentic engineering. arXiv preprint arXiv:2602.15763, 2026.

C. Zheng, K. Dang, B. Yu, M. Li, H. Jiang, J. Lin, Y. Liu, H. Lin, C. Wu, F. Hu, et al. Stabilizing reinforcement learning with llms: Formulation and practices. arXiv preprint arXiv:2512.01374, 2025a.

C. Zheng, S. Liu, M. Li, X.-H. Chen, B. Yu, C. Gao, K. Dang, Y. Liu, R. Men, A. Yang, et al. Group sequence policy optimization. arXiv preprint arXiv:2507.18071, 2025b.

BibTeX

@online{perplexity2026AdvancingSearchAugmentedLanguageModels,
  author = {{Perplexity} and Denis Yarats and Dongqi Wu and Hang Wu and Randy Ardywibowo and Senzeyu Zhang and Yunfan Zhong and Ziqing Hu and Clare Southern and Riley Carlson and Yi He and Erin McKnight and Mara Sohn and Phi Hoang},
  title = {{Advancing search-augmented language models}},
  date = {2026-04-22},
  url = {https://perplexity.coolkeypoint.com/hub/blog/advancing-search-augmented-language-models}
}

ആമുഖം

രണ്ട് ഘട്ടങ്ങളുള്ള പരിശീലന പൈപ്പ്‌ലൈൻ

SFT ഘട്ടം

RL ഘട്ടം

RL പരിശീലന ഡാറ്റ

പരിശോധിക്കാവുന്ന സെർച്ച്-ഏജന്റ് ഡാറ്റ

ഉദാഹരണം (3-ഹോപ്പ്)

റുബ്രിക് അടിസ്ഥാനമാക്കിയുള്ള ജനറൽ ചാറ്റ് ഡാറ്റ

ഉദാഹരണം

പ്രോംപ്റ്റ് മിക്സ്ചറും വേരിയൻസ് ബാലൻസിങ്ങും

റിവാർഡ് ഡിസൈൻ

ബേസ്‌ലൈൻ റിവാർഡ്

പ്രീഫറൻസ് മോഡലിങ്

കാര്യക്ഷമത പെനാൽറ്റി

പ്രധാന ഫലങ്ങൾ

പരിശീലന ഡൈനാമിക്സ്

ഓഫ്‌ലൈൻ വിലയിരുത്തലുകൾ

ടൂൾ ഉപയോഗ കാര്യക്ഷമത വിലയിരുത്തലുകൾ

ഉപസംഹാരം

റഫറൻസുകൾ

ഉദ്ധരണി