النهوض بنماذج اللغة المعززة بالبحث

كيف نقوم بتدريب النماذج المفتوحة لاحقاً لتصبح وكلاء بحث يجيبون بشكل أكثر دقة باستخدام عدد أقل من استدعاءات الأدوات.

المؤلفونPerplexity Research

المقدمة

يتطلب تدريب وكلاء البحث في الويب المتقدمين تحسين أهداف متعددة بشكل مشترك: الدقة الواقعية، وكفاءة المسار، ومواءمة تفضيلات المستخدم. ومع ذلك، فإن تحسين أي بعد بمفرده غالباً ما يؤدي إلى تدهور الأبعاد الأخرى: فالنماذج المدربة حصرياً من أجل الدقة تميل إلى الإفراط في استخدام الأدوات، بينما قد تضحي النماذج المحسّنة من أجل الإيجاز بالموثوقية أو الاكتمال. وفي Perplexity، لا يُعدّ أي من النتيجتين مقبولاً.

تصف هذه المقالة خط أنابيب ما بعد التدريب الخاص بـ Perplexity لتطوير وكلاء بحث في الويب حديثين استناداً إلى نماذج مفتوحة المصدر. والفكرة الرئيسية هي أنه في تدريب وكلاء البحث، يجب تصميم تنظيم البيانات وتصميم المكافآت معاً: فالبيانات تحدد السلوكيات القابلة للملاحظة والتحقق، وتحدد المكافأة كيفية ترجمة تلك الإشارات إلى إشارة تحسين. تحفز هذه المبدأ خط أنابيبنا المكون من مرحلتين: فنحن نقوم أولاً بإجراء عملية إحماء للضبط الدقيق الخاضع للإشراف (SFT) لتحديد نموذج السياسة، ثم نقوم بتحسين نموذج السياسة باستخدام التعلم التعزيزي (RL) عبر مجموعة بيانات منسقة ومكافآت مصممة بعناية. يتيح هذا النهج المكون من مرحلتين مكاسب موثوقة في الدقة والكفاءة جودة الاستجابة في ظل قيود الإنتاج.

نصف أولًا خط أنابيب التدريب ثنائي المراحل لدينا (SFT → التعلم المعزز على السياسة)، يليه بناء بيانات تدريب التعلم المعزز لدينا، بما يشمل كلًا من أسئلة وأجوبة وكيل البحث القابلة للتحقق والمحادثة العامة القائمة على معايير التقييم. ثم نقدم تصميم مكافأة مركبًا مشتقًا من إعداد البيانات غير المتجانس هذا، يوازن بين الجودة والكفاءة مع التخفيف من اختلاس المكافأة. وأخيرًا، نحلل ديناميكيات التدريب ونتائج المعايير.

خط أنابيب التدريب المكون من مرحلتين

نعتمد وصفة ما بعد التدريب من مرحلتين: (أ) الضبط الدقيق الخاضع للإشراف (SFT) لإنشاء سلوكيات حرجة للنشر مثل الحواجز (على سبيل المثال، الامتناع)، واتباع التعليمات، واتساق اللغة، و(ب) التعلم التعزيزي على السياسة لتحسين قدرة البحث، بما في ذلك دقة الإجابة وكفاءة استخدام الأدوات، مع الحفاظ على السلوكيات من المرحلة الأولى.

لماذا مرحلتان؟ يُعد تحسين جودة البحث وقيود النشر بشكل مشترك ضمن مرحلة تعلم تعزيزي واحدة أمراً صعباً دون المساس بهدف واحد على الأقل. تجريبياً، يؤدي التدريب القائم على التعلم التعزيزي وحده إلى تحسين أداء البحث ولكنه يميل إلى الأداء الضعيف في حواجز النشر، بينما يحسن الضبط الدقيق الخاضع للإشراف (SFT) الامتثال على حساب أداء البحث. يسمح فصل الأهداف لمرحلة الضبط الدقيق الخاضع للإشراف بمعالجة المتطلبات غير القابلة للتفاوض أولاً، وبعد ذلك يمكن للتعلم التعزيزي التركيز بشكل أساسي على تحسين قدرة البحث.

مرحلة الضبط الدقيق الخاضع للإشراف (SFT)

نبدأ من عائلة نماذج Qwen3 (Qwen3.5-122B-A10B و Qwen3.5-397B-A17B) (Yang et al., 2025، منشور مدونة Qwen3.5) وننشئ مجموعة بيانات خليطة للضبط الدقيق الخاضع للإشراف مكونة من مكونين تستهدف السلوكيات الحرجة للنشر المذكورة أعلاه، مع الحفاظ على قدرة البحث العامة للنموذج الأساسي.

أمثلة موجهة نحو التفضيلات. نحن ننظم أمثلة موجهة نحو اتباع التعليمات والأسلوب تستهدف النبرة، واتساق اللغة، والوضوح، والتنسيق. لا تحتاج هذه الأمثلة بالضرورة إلى قبول حقيقة أساسية فريدة؛ بل يتم اختيارها لتتطابق مع متطلبات كتابة المنتج وتضمن الاتساق الأسلوبي عبر أنواع الاستعلامات المختلفة.

مسارات استخدام الأدوات بتنسيق الإنتاج. تجريبياً، نجد أن الضبط الدقيق الخاضع للإشراف دون تنظيم دقيق لمجموعة البيانات يمكن أن يؤدي بشكل كبير إلى تدهور قدرة البحث للنموذج الأساسي. للتخفيف من ذلك، نقوم بأخذ عينات من الاستعلامات والمهام الداخلية عبر أنماط تفاعل متنوعة (أحادية، ثنائية، ومتعددة الأدوار) ونعلق عليها باستخدام أداة استدعاء الأدوات الخاصة بنا.

مرحلة التعلم التعزيزي (RL)

بدءاً من نقطة تفتيش الضبط الدقيق الخاضع للإشراف، نطبق التعلم التعزيزي على السياسة لتحسين دقة البحث وكفاءته. نحن نحسن نموذج السياسة باستخدام تحسين سياسة المجموعة النسبية (GRPO) (Shao et al., 2024).

JGRPO(θ)=1G∑i=1G1∣oi∣∑t=1∣oi∣ri,t(θ)A^i,t,\mathcal{J}_{\text{GRPO}}(\theta) = \frac{1}{G}\sum_{i=1}^{G} \frac{1}{|o_i|}\sum_{t=1}^{|o_i|} r_{i,t}(\theta)\hat{A}_{i,t},

حيث GG هو حجم المجموعة، و oio_{i} يدل على الناتج الذي تم أخذ عينات منه للمرة ii، و A^i,t=A^i\hat{A}_{i, t} = \hat{A}_{i} هو الميزة. تم تفصيل تصميم المكافآت في قسم تصميم المكافآت؛ باختصار، نحن نجمع بين الصحة الأساسية وتشكيل الكفاءة المستند إلى التفضيلات والمثبت. باتباع العمل السابق (Liu et al., 2025a؛ Yao et al., 2025؛ Zheng et al., 2025a)، نطبق أخذ عينات الأهمية على مستوى الرمز (IS) لتصحيح عدم التوافق بين التدريب والاستدلال:

ri,t(θ)=πtrain(θ)μinfer(θ).r_{i,t}(\theta) = \frac{\pi_{\text{train}}(\theta)}{\mu_{\text{infer}}(\theta)}.

نقيم عدة نهج للتخفيف من عدم التوافق بين التدريب والاستدلال، بما في ذلك أخذ عينات الأهمية على مستوى التسلسل (Zheng et al., 2025b)، وإعادة تشغيل التوجيه (Ma et al., 2025؛ Zheng et al., 2025b)، والتدريب المتسق ثنائي الاتجاه الذي يدمج نواة محرك الاستدلال أثناء التدريب (فرق vLLM و TorchTitan، 2025). تجريبياً، في إعدادنا على السياسة، نجد أن أخذ عينات الأهمية على مستوى الرمز يكفي لمنع انهيار التدريب مع الحفاظ على سهولة التنفيذ؛ وهذا يتسق مع النتائج الواردة من Zheng et al (2025a).

بيانات تدريب التعلم التعزيزي

تتكون بيانات تدريب التعلم التعزيزي الخاصة بنا من مكونين متكاملين: أسئلة وأجوبة وكلاء البحث القابلة للتحقق التي تستهدف قدرة البحث العامة، والدردشة العامة القائمة على المعايير التي تعزز صراحة حواجز النشر لمنع التراجع أثناء مرحلة تدريب التعلم التعزيزي.

بيانات وكيل البحث القابلة للتحقق

إنشاء مجموعة البيانات. باتباع طريقة التوسع التسلسلي (Tao et al., 2025)، نقوم بإنشاء مجموعة بيانات أسئلة وأجوبة اصطناعية داخلية من استعلامات البذور الداخلية دون الاعتماد على رسم بياني معرفي منسق، مما يحافظ على خط الأنابيب خفيف الوزن وسهل التحديث. يتم إنشاء كل مثال اصطناعي عبر الخطوات التالية:

  1. اختيار البذور. نقوم استرجاع المستندات لاستعلامات البذور ونختار الكيانات ذات التأكيد الواقعي من مصادر متعددة كن نقاط بداية، مستخرجين البيانات الذرية حولها.
  2. بناء سلسلة متعددة القفزات. من بيانات الكيان البذري، نختار واحدة تقدم كياناً ثانياً (على سبيل المثال، بالنسبة للبذرة "The Mom Test"، فإن البيان "كتبه روب فيتزباتريك" يقدم المؤلف ككيان تالي). نكرر عملية الربط هذه 2-4 مرات، مع ضمان أن كل كيان مميز وأنه لا يوجد بيان واحد يكشف بسهولة عن الإجابة النهائية
  3. تركيب الأسئلة الخالية من الأسماء. نقوم بتحويل سلسلة الكيانات إلى سؤال عن طريق استبدال أسماء الكيانات بشكل متكرر ببيانات الربط الخاصة بها، مما ينتج عنه سؤال متداخل يتطلب استدلالاً متعدد القفزات
  4. التحقق. نحتفظ فقط بالأسئلة ذات الإجابات الفريدة التي تم التحقق منها بواسطة عدة أدوات حل مستقلة تمكن الويب.

مثال (3 قفزات)

اعتبر استعلام البذرة "The Mom Test". نقوم باسترجاع المستندات وتحديد هذا الكتاب ككيان بذري، ثم نخرج بيانات واقعية ذرية ونبني بشكل تكراري سلسلة كيانات: (أ) The Mom Test كتبه روب فيتزباتريك، مقدمة روب فيتزباتريك؛ (ب) أول شركة ناشئة لروب فيتزباتريك مرت عبر Y Combinator (صيف 2007)، مقدمة Y Combinator؛ (ج) تم إطلاق Y Combinator في مارس 2005. استبدال كل اسم كيان بوصفه بشكل متكرر ينتج السؤال الخالي من الأسماء: "أي كتاب كتبه الشخص الذي مرت شركته الناشئة الأولى عبر الحاضنة التي تم إطلاقها في مارس 2005، في مجموعة صيف 2007 الخاصة بها؟" مع الإجابة "The Mom Test".

تعزيز تنوع التنسيق. تميل النماذج المدربة حصرياً على الأسئلة والأجوبة الاصطناعية الخام إلى تجاهل تفضيلات التنسيق والافتراض لهيكل استجابة ثابت، بغض النظر عن صياغة الاستعلام. لتحسين تنوع التنسيق، نقوم بتعزيز مجموعة البيانات باستعلامات تتضمن تعليمات تنسيق صريحة (على سبيل المثال، "اعرض قائمة بـ..." أو "تلخيص... في جدول")، مع إبقاء الإجابة الأساسية دون تغيير.

الأسئلة والأجوبة العامة القابلة للتحقق (خط الأساس). نقوم بإنشاء مجموعة بيانات أسئلة وأجوبة قابلة للتحقق كخط أساس من خمس مجموعات بيانات مفتوحة المصدر (Lu et al., 2025؛ Pham et al., 2025؛ Press et al., 2023؛ Tao et al., 2025؛ Wu et al., 2025)، موحدة تحت تنسيق المطالبة المعزز الخاص بنا مع تصفية الجودة. يعمل هذا الخليط كخط أساس أساسي في تجارب التحقق الخاصة بنا. للمقارنات الخاضعة للرقابة، نقوم بمطابقة نطاق مجموعة بيانات الأسئلة والأجوبة الاصطناعية الداخلية الخاصة بنا مع هذا الخليط مفتوح المصدر.

التحقق السريع. نقوم بالتحقق من فعالية خط الأنابيب هذا باستخدام Qwen3-30B-A3B-Instruct-2507 لتمكين التكرار السريع؛ وتتلخص النتائج في الجدول 1.

التحقق من مجموعة بيانات الأسئلة والأجوبة الاصطناعية القابلة للتحقق

بيانات الدردشة العامة القائمة على المعايير

في حين أن الأسئلة والأجوبة القابلة للتحقق توفر إشارة تدريب نظيفة للاستعلامات المتمحورة حول البحث، فإن جزءاً كبيرًا من حركة مرور الإنتاج غير قابل للتحقق بشكل فريد (على سبيل المثال، إعادة الكتابة، والتخطيط، والمساعدة المفتوحة). استبعاد مثل هذه الاستعلامات من التعلم التعزيزي سيترك السياسة غير محسّنة بشكل كافٍ لتفاعلات المستخدم الحقيقية. علاوة على ذلك، في حين أن مرحلة الضبط الدقيق الخاضع للإشراف تنشئ حواجز حرجة للنشر، يمكن للتعلم التعزيزي أن يتراجع عنها ما لم يتم تعزيزها صراحةً بواسطة البيانات.

ندمج الاستعلامات غير القابلة للتحقق في تدريب التعلم التعزيزي عن طريق تحويل متطلبات النشر الحرجة - اتباع التعليمات، وقيود التنسيق، واتفاقيات الأمان - إلى معايير: معايير ذرية وقابلة للتحقق بموضوعية يجب أن تلبيها الاستجابة. نعتمد إنشاء البيانات القائمة على المعايير (Gunjal et al., 2025؛ Liu et al., 2025b)، ونولد مجموعات معايير لكل استعلام.

إنشاء المعايير. بالنظر إلى سجل المحادثة بالكامل، نحث نموذج لغة كبير (LLM) لإنتاج استجابة مرجعية ومجموعة معايير مطابقة. يتم اشتقاق المعايير تحت ترتيب أسبقية ثابت: المتطلبات التي صرح بها المستخدم صراحة تأخذ الأولوية، تليها القيود الداخلية، وأخيراً متطلبات المحتوى الضرورية المستنبطة من الاستجابة المرجعية. يجب أن يكون كل معيار:

  • ذري: فحص واحد ومحدد بدقة؛
  • موضوعي: قابل للتحقق بدون حكم ذاتي؛
  • ضروري: مطلوب للإجابة على الاستعلام، وليس مجرد تفضيل أسلوبي.

مثال

الاستعلام.

She will share u man power planning. We have to arrange lodging & boarding. Plz correct swntence.

المعايير.

  • الاستجابة مكتوبة باللغة الإنجليزية.
  • الصياغة المصححة تحتوي على الكلمات "lodging" و "boarding".
  • تستخدم الصياغة المصححة "manpower" ككلمة واحدة (على سبيل المثال، "manpower plan" أو "manpower planning") بدلاً من "man power".
  • الصياغة المصححة لا تحتوي على رموز الاختصار غير الرسمية "u" أو "Plz"، ولا تحتوي على حرف العطف "&".
  • لا تحتوي الاستجابة على علامات اقتباس من النموذج \\[type:idx\\]، حيث يدل type على مصدر بيانات (على سبيل المثال، web، chart، memory، attached_file).

معايرة المعايير. لتجنب مجموعات المعايير المتسيبة أو المقيدة بشكل مفرط، نطبق مرشح pass@4. لكل استعلام، نأخذ عينات من أربع استجابات مستقلة ونقيمها مقابل مجموعة المعايير الكاملة مع قاضي اتباع التعليمات. نتخلص من الاستعلامات التي لا تلبي فيها أي استجابة مجموعة المعايير أو تلبيها جميع الاستجابات، ونحتفظ فقط بتلك التي تنتج إشارة تدريب غنية بالمعلومات.

خليط المطالبات وموازنة التباين

التحدي العملي في التعلم التعزيزي متعدد الأهداف هو عدم توازن التباين عبر مكونات البيانات (Duchi و Namkoong، 2016؛ Liu et al., 2026؛ Qi et al., 2026). على الرغم من أن كل من الأسئلة والأجوبة القابلة للتحقق والبيانات القائمة على المعايير تنتج مكافآت ثنائية، إلا أنها تختلف بشكل كبير في صعوبة المهام: رضا المعايير عادة ما يكون أسهل في تحقيقه في وقت مبكر من التدريب، مما ينتج عنه تحديثات متدرجة أكبر وأكثر تكراراً يمكن أن تهيمن بشكل غير متناسب على تحسين السياسة مقارنة بإشارة الأسئلة والأجوبة القابلة للتحقق الأكثر صعوبة. لمعالجة ذلك، نعيد وزن خليط المطالبات على مستوى مجموعة البيانات، مأخذين عينات بنسبة 90% من الأسئلة والأجوبة القابلة للتحقق و10% من البيانات القائمة على المعايير لموازنة إشارة التحسين عبر المكونات.

تصميم المكافآت

يتبع تصميم المكافآت الخاص بنا مباشرة من إنشاء البيانات الموضح أعلاه. على الرغم من امتداده لكل من مهام الأسئلة والأجوبة القابلة للتحقق والمهام القائمة على المعايير، تشترك جميع بيانات التدريب في هيكل مكافأة أساسي مشترك: يتلقى العرض رصيداً إذا ينتج إجابة صحيحة لمهام الأسئلة والأجوبة، أو يلبي جميع المعايير المحددة للدردشة العامة. بناءً على هذا الأساس المشترك، ننشئ مكافأة مركبة لدمج التهديف القائم على التفضيلات وتشكيل الكفاءة.

التحدي الرئيسي لوحظ في التجارب المبكرة كان اختراق المكافآت: مزيج خطي بسيط من المكافآت سمح لإشارات التفضيل القوية بتعويض الفشل الواقعي أو التعليمي. لذلك نعتمد التجميع المقيد كمبدأ تصميم أساسي، والمعرف رسمياً كالتالي:

R(τi)=rbase(τi)⋅s(τi)  −  pen⁡eff(τi),R(\tau_i) = r_{\text{base}}(\tau_i) \cdot s(\tau_i) \;-\; \operatorname{pen}_{\text{eff}}(\tau_i),

حيث يدل rbase(τi)∈{0,1}r_{\mathrm{base}}(\tau_i) \in \{0, 1\} على صحة الأسئلة والأجوبة أو رضا المعايير، و s(τi)∈[0,1]s(\tau_i)\in[0,1] هو درجة التفضيل، و pen⁡eff(τi)\operatorname{pen}_{\mathrm{eff}}(\tau_i) هي عقوبة كفاءة مثبتة. هذا يجعل الصحة شرطاً ضرورياً لتلقي رصيد التفضيل، مع الاستمرار في تثبيط استخدام الأدوات غير الضروري والإسهاب. يوضح الشكل 1 خط أنابيب المكافآت بالكامل، ومكوناته التي نوضحها أدناه:

نظرة عامة على تصميم المكافآت. نجمع بين إشارة صحة أساسية (قابل للتحقق/معيار)، ودرجة تفضيل برادلي-تيري، وعقوبات الكفاءة المثبتة. يتم تقييد التفضيل بواسطة الصحة الأساسية لمنع اختراق المكافآت.

المكافأة الأساسية

نحدد إشارة أساسية ثنائية rbase(τi)∈{0,1}r_{\mathrm{base}}(\tau_i) \in \{0,1\} تلتقط صحة المهمة أو الامتثال للتعليمات. بالنسبة لبيانات وكيل البحث القابلة للتحقق، rbase(τi)=1r_{\mathrm{base}}(\tau_i)=1 إذا تطابقة الإجابة النهائية مع الحقيقة الأساسية، و 00 بخلاف ذلك. بالنسبة لبيانات الدردشة العامة القائمة على المعايير، rbase(τi)=1r_{\mathrm{base}}(\tau_i)=1 إذا تم استيفاء جميع المعايير، و 00 بخلاف ذلك. تعمل هذه القاعدة الأساسية كبوابة صعبة في قاعدة التجميع الشرطي المعادلة 2.

نمذجة التفضيلات

نهدف إلى مواءمة نموذج السياسة مع تفضيلات المستخدمين الكامنة حول جودة الاستجابة - المعلوماتية، والوضوح، والنبرة المهنية - والتي يصعب التقاطها عبر مطالبات قاضي نماذج اللغة الكبيرة (LLM-judge). لذلك نقوم بتدريب نموذج مكافأة تفضيل متعلم لتسجيل هذه السمات مباشرة.

نصيغ تعلم التفضيلات في إطار برادلي-تيري. بالنظر إلى السياق xx واثنين من الاستجابات المرشحة ya,yby_a, y_b، ينتج النموذج درجات قيصرية sθ(x,y)∈Rs_{\theta}(x, y) \in \mathbb{R} ويقلل إلى أدنى حد،

ℓBT(θ;x,ya,yb,r)=−[rlog⁡σ(Δθ)+(1−r)log⁡(1−σ(Δθ))],Δθ=sθ(x,ya)−sθ(x,yb)\ell_{\text{BT}}(\theta; x, y_a, y_b, r) = -\Big[r \log \sigma(\Delta_\theta) + (1-r) \log\bigl(1 - \sigma(\Delta_\theta)\bigr)\Big], \\ \Delta_\theta = s_\theta(x, y_a) - s_\theta(x, y_b)

حيث يشير r∈{0,1}r \in \{0, 1\} إلى ما إذا كان yay_a مفضلاً. للقضاء على التحيز الموقعي، يتم تعزيز كل زوج تدريب بكلا الترتيبين وتحسينهما متماثلاً،

Lsym=12 ℓBT(x,ya,yb,r)+12 ℓBT(x,yb,ya,1−r).\mathcal{L}_{\text{sym}} = \tfrac{1}{2}\,\ell_{\text{BT}}(x, y_a, y_b, r) + \tfrac{1}{2}\,\ell_{\text{BT}}(x, y_b, y_a, 1-r).

في وقت الاستدلال، نحصل على درجة تفضيل محايدة للموقع عن طريق حساب المتوسط لكلا التبديلين:

Δˉθ(x,ya,yb)=12[Δθ(x,ya,yb)−Δθ(x,yb,ya)],Pˉθ(x,ya,yb)=σ(Δˉθ(x,ya,yb)).\bar{\Delta}_\theta(x, y_a, y_b) = \tfrac{1}{2}\Big[\Delta_\theta(x, y_a, y_b) - \Delta_\theta(x, y_b, y_a)\Big], \\ \bar{P}_\theta(x, y_a, y_b) = \sigma\bigl(\bar{\Delta}_\theta(x, y_a, y_b)\bigr).

ثم يتم تعريف درجة تفضيل العرض كـ s(τi)≜Pˉθ(x,ya,yb)∈[0,1]s(\tau_i) \triangleq \bar{P}_{\theta}(x, y_a, y_b) \in [0,1]، أي احتمالية أن يكون عرض السياسة yiy_i مفضلاً على عرض النموذج المرجعي لنفس المطالبة.

يتم استخراج بيانات التدريب لنمذجة التفضيلات من مجموعات بيانات منسقة مفتوحة المصدر، وملاحظات المستخدم جنباً إلى جنب، والتعليقات التوضيحية الداخلية. لمعالجة ضوضاء التسميات، نطبق خط أنابيب تصفية ومعايرة خفيف الوزن مستوحى من Datbench (DatologyAI, 2026)، محتفظين فقط بالأمثلة ذات التوافق المتسق بين النماذج. يشترك نموذج المكافأة في نفس الهيكل الأساسي لنموذج السياسة، مع استبدال رأس نمذجة اللغة برأس قيمة. بينما تحقق نماذج المكافأة الأصغر دقة مقبولة محجوزة، نجد تجريبياً أنها تفشل في التقاط التفضيلات الدقيقة ويمكن أن تعزز سلوكيات السياسة غير المرغوب فيها.

عقوبة الكفاءة

في غياب تشكيل الكفاءة الصريح، يميل النموذج إلى الإفراط في استخدام الأدوات حتى في المطالبات البسيطة. العقوبات غير المشروط (على سبيل المثال، تلك التي تتناسب طردياً مع عدد استدعاءات الأدوات أو طول الإخراج) هي خط أساس طبيعي، لكننا نجد أنها تقمع الاستكشاف الضروري وتؤدي إلى تدهور التعلم. لذلك نعتمد عقوبات مثبتة ونسبية للمجموعة تنظم استخدام الأدوات وطول الاستجابة نسبياً للحلول الفعالة داخل كل مجموعة GRPO. لمجموعة 𝑔، نحدد مجموعة الفائزين كالتالي:

Wg={ i:rbase(τi)=1 }.W_g = \{\, i : r_{\text{base}}(\tau_i) = 1 \,\}.

عقوبة استدعاء الأدوات المثبتة. لكل عرض τi\tau_i، ليكن cic_i يشير إلى عدد استدعاءات الأدوات و eie_i عدد إخفاقات تنفيذ الأدوات. نحدد عدد استدعاءات الأدوات الفعال c~i=ci−ei\tilde{c}_i = c_i - e_i ونأخذ عينات موحدة من خط أساس للمجموعة:

bg∼Unif⁡ ⁣(min⁡j∈Wgc~j, ⌈mean⁡j∈Wgc~j⌉).b_g \sim \operatorname{Unif}\!\left(\min_{j \in W_g} \tilde{c}_j,\ \left\lceil \operatorname{mean}_{j \in W_g} \tilde{c}_j \right\rceil\right).

نحسب الزيادة Δi=max⁡ ⁣(0,  c~i−bg)\Delta_i = \max\!\left(0,\; \tilde{c}_i - b_g\right)، ونحدد عدد عقوبة ناعم pi=1−exp⁡ ⁣(−Δi)p_i = 1 - \exp\!\left(-\Delta_i\right). فتكون عقوبة الأداة إذن:

pen⁡tool(τi)={αwin pi,i∈Wg,αlose pi+βlose,i∉Wg,\operatorname{pen}_{\text{tool}}(\tau_i) = \begin{cases} \alpha_{\text{win}}\, p_i, & i \in W_g, \\ \alpha_{\text{lose}}\, p_i + \beta_{\text{lose}}, & i \notin W_g, \end{cases}

عقوبة الطول المثبتة. ليكن LiL_i و LirefL_i^{\mathrm{ref}} يشيران إلى أطوال رموز الأجيال المرشحة والمرجعية، على التوالي. نحدد مجموعة التشكيل W^g\widehat{W}_g كعروض صحيحة ومفضلة في آن واحد:

W^g={ i∈Wg⏟correct  :  s(τi)≥0.5⏟preferred }.\widehat{W}_g = \{\, \underbrace{i \in W_g}_{\text{correct}} \;:\; \underbrace{s(\tau_i) \geq 0.5}_{\text{preferred}} \,\}.

ثم نحسب خطوط الأساس للطول الخاصة بالمجموعة:

bg,win⏟avg. ref. lengthof winners=mean⁡j∈W^gLjref,bg,lose⏟avg. ref. lengthof losers=mean⁡j∉W^gLjref.\underbrace{b_{g,\text{win}}}_{\substack{\text{avg. ref. length} \\ \text{of winners}}} = \operatorname{mean}_{j \in \widehat{W}_g} L_j^{\text{ref}}, \qquad \underbrace{b_{g,\text{lose}}}_{\substack{\text{avg. ref. length} \\ \text{of losers}}} = \operatorname{mean}_{j \notin \widehat{W}_g} L_j^{\text{ref}}.

يتم تعريف عقوبة الطول على النحو التالي:

pen⁡len(τi)={1,Li>max⁡jLjcmp1−exp⁡ ⁣(−max⁡ ⁣(0, Libg,win−1)),i∈W^g1−exp⁡ ⁣(−max⁡ ⁣(0, bg,loseLi−1)),i∉W^g\operatorname{pen}_{\text{len}}(\tau_i) = \begin{cases} 1, & L_i > \max_j L_j^{\text{cmp}} \\ 1 - \exp\!\left(-\max\!\left(0,\ \dfrac{L_i}{b_{g,\text{win}}} - 1\right)\right), & i \in \widehat{W}_g \\ 1 - \exp\!\left(-\max\!\left(0,\ \dfrac{b_{g,\text{lose}}}{L_i} - 1\right)\right), & i \notin \widehat{W}_g \end{cases}

حيث السطر الأول هو سقف صعب؛ والثاني يعاقب الفائزين المسهبين؛ والثالث يعاقب الخاسرين المقتضبين.

عقوبة الكفاءة المركبة. عقوبة الكفاءة المركبة هي مجموع موزون لكلا المكونين:

pen⁡eff(τi)=λtool pen⁡tool(τi)+λlen pen⁡len(τi).\operatorname{pen}_{\text{eff}}(\tau_i) = \lambda_{\text{tool}}\, \operatorname{pen}_{\text{tool}}(\tau_i) + \lambda_{\text{len}}\, \operatorname{pen}_{\text{len}}(\tau_i).

النتائج الرئيسية

نقيم خط أنابيب ما بعد التدريب الخاص بنا على محورين: (أ) ديناميكيات التدريب، لتقييم استقرار التحسين وما إذا كانت إشارات المكافأة تتصرف كما هو متوقع، و(ب) المعايير غير المتصلة بالإنترنت، لقياس الجودة اللاحقة، والأمان، والكفاءة في ظل إعدادات تقييم خاضعة للرقابة.

إعدادات التدريب الافتراضية. يتفاعل نموذج السياسة مع أداة بحث في الويب (search_web)؛ يسترد كل استدعاء أداة ما يصل إلى 10 نتائج، مع تحديد الاستعلامات بحد أقصى 250 حرفاً وما يصل إلى 5 استعلامات لكل عرض.

ديناميكيات التدريب

ندرس ديناميكيات التحسين، مع التركيز على تقدم المكافآت وسلوك الكفاءة. نستخدم Qwen3.5-397B-A11B لبساطة التوضيح.

تطور إشارات الأساس والتفضيل أثناء التدريب.

يوضح الشكل 2 تحسناً مطرداً في مكافأة الأساس (الأسئلة والأجوبة القابلة للتحقق ورضا المعايير) إلى جانب درجات التفضيل المتزايدة، مما يشير إلى مكاسب متسقة في الصحة والامتثال جودة الاستجابة.

سلوك الكفاءة وعقوبات التشكيل المثبتة أثناء التدريب.

يوضح الشكل 3 أن كل من تكرار استدعاء الأدوات وطول الجيل يظل منظماً جيداً طوال التدريب. والجدير بالذكر أن كل من عقوبات استدعاء الأدوات والطول تنخفض تناقصياً بمرور التدريب، مما يعكس التكيف التدريجي للنموذج نحو جيل أكثر إيجازاً واستدعاء أدوات أكثر انتقائية.

مؤشرات استقرار التحسين.

يوضح الشكل 4 أن معايير التدرج تظل مستقرة بغض النظر عن الارتفاعات المؤقتة، بينما تظهر تباعد KL بين التدريب والاستدلال اتجاهاً صعودياً خفيفاً، مع البقاء ضمن نطاق 1e-3. يتسق نمط الانحراف هذا مع الملاحظات في أطر تدريب التعلم التعزيزي الأخرى؛ نظراً لأن التدريب يظل مستقراً طوال الوقت، فنحن نحتفظ بتنظيم IS بسيط في المعادلة 1 دون تدخل إضافي.

التقييمات غير المتصلة بالإنترنت

نبلغ عن النتائج على مجموعة من المعايير التي تمتد عبر دقة البحث، والموثوقية الواقعية، واتباع التعليمات، والأمان، والتي تتكون من كل من المعايير العامة ومقاييس Perplexity (PPLX) الداخلية. تشمل المعايير العامة SimpleQA و FRAMES و Facts Open.

  • pplx-sbs-search: تقييم التفضيل جنباً إلى جنب باستخدام نموذج مكافأة داخلي. تتم مقارنة المرشحين مقابل خط أساس قوي.
  • pplx-abstention: القدرة على الرفض بشكل مناسب عندما لا توجد أدلة موثوقة متاحة.
  • pplx-language-mismatch: اتساق اللغة تحت إعدادات الذيل الطويل ومتعدد الأدوار.
  • pplx-broken-tool-calls (↓): الامتثال لمخطط استدعاء الأدوات واتباع القيود، على سبيل المثال، tool_choice=none.

إعدادات التييم الافتراضية. بالنسبة للمعايير العامة، نسمح فقط بأداة بحث الويب، مع ميزانية تصل إلى 5 استدعاءات أداة لكل مثال وما يصل إلى 10 نتائج لكل استدعاء، مع توليد ما يصل إلى 8192 رمز إخراج عند درجة حرارة 0.6.

نتائج التقييم غير المتصل بالإنترنت. تشير الأرقام بين قوسين إلى متوسط استخدام الأدوات. نلاحظ Qwen3.5-397B-A17B كـ Qwen3.5-Large، و Qwen3.5-122B-A10B كـ Qwen3.5-Medium.

يوضح الجدول 2 أن Qwen3.5-Large-SFT-RL يحقق دقة بحث قوية عبر المعايير العامة، مطابقاً أو متجاوزاً gpt-5.4 على FRAMES و Facts Open مع استخدام ميزانيات أدوات قابلة للمقارنة. بالنسبة للنموذج الأساسي، ينتج نهجنا مكاسب كبيرة على المقاييس الداخلية، لا سيما في التفضيل (pplx-sbs-search: 0.602 → 0.742)، واتساق اللغة، والامتعان، مما يوضح أن خط الأنابيب ذو المرحلتين يحسن بفعالية السلوكيات الحرجة للنشر دون المساس بقدرة البحث.

تقييمات كفاءة استخدام الأدوات

لقياس ذلك، نقوم بتصميم بروتوكول تقييم مفرض الميزانية. يتم منح كل نموذج إمكانية الوصول إلى أداة بحث ويب (search_web) ومطالبة نظام تحدد سقفا صارماً لعدد استدعاءات الأدوات المسموح بها ("الميزانية"). نقوم بمسح هذه الميزانية من 0 (لا يوجد استخدام للأدوات، معرفة بارامترية خالصة) إلى 10 (استرجاع سخي متعدد الخطوات)، مسجلين الدقة في كل مستوى. ينتج عن هذا منحنى كفاءة الأدوات: درجة النموذج كدالة لميزانية الاسترجاع المسموح بها. نقييم على اثنين من معايير الأسئلة والأجوبة الواقعية، FRAMES و Facts Open.

دقة المعيار مقابل الحد الأقصى لعدد استدعاءات الأدوات.

تبرز عدة أنماط من هذين المعيارين:

  • يحقق نموذجنا المدرب لاحقاً Qwen3.5-397B-SFT-RL أفضل دقة بحث على كلا المعيارين. حتى مع استدعاء أداة واحد، فإنه يحقق 57.3% على FRAMES، متجاوزاً GPT-5.4 بـ 5.7 نقطة و Sonnet 4.6 بـ 4.7 نقطة.
    • تكون الميزة أكثر وضوحاً في الميزانيات المعتدلة (b=2-7)، وهو نطاق التشغيل العملي لنشريات الإنتاج.
  • وصفة ما بعد التدريب الخاصة بنا (SFT + RL) تحسن بشكل كبير من كفاءة استخدام الأدوات مقارنة بنقطة التفتيش الأساسية؛ انظر الخطوط المتصلة (المدربة لاحقاً) مقابل الخطوط المتقطعة (نقطة التفتيش المبدئية) في الشكل 5.
  • لجميع النماذج، نلاحظ تناقص العوائد حوالي budget=7، المتسقة عبر معيارين وجميع النماذج، مما يشير إلى أنها خاصية للمهام الساعية للحقيقة وليست للنماذج.

تظهر النتائج أعلاه أن Qwen3.5-397B-SFT-RL يحقق دقة أعلى باستدعاءات أدوات أقل. ولكن كيف يترجم هذا إلى التكلفة الفعلية؟ نقوم بتحويل القياسات على مستوى الرموز إلى تكاليف بالدولار باستخدام تسعير واجهة برمجة التطبيقات المنشورة (Alibaba DashScope، OpenAI، Anthropic) لجعل المقارنة ملموسة.

التكلفة لكل استعلام مقابل الدقة.

في الملف الشخصي المتوسط (b=4)، يحقق Qwen3.5-397B-SFT-RL نسبة 73.9% على FRAMES بتكلفة 2.0 سنت لكل استعلام، بينما يحقق GPT-5.4 نسبة 67.8% بتكلفة 8.5 سنت ويحقق Sonnet 4.6 نسبة 62.4% بتكلفة 15.3 سنت. هذه زيادة بـ +6 نقاط في الدقة بتكلفة أقل بـ 4 مرات مقارنة بـ GPT-5.4، وزيادة بـ +11.5 نقطة بتكلفة أقل بـ 7.5 مرات مقارنة بـ Sonnet 4.6.

تستخدم هذه التقديرات تسعير واجهة برمجة التطبيقات للقائمة بدون التخزين المؤقت. مع تحسينات الاستدلال الداخلية مثل إعادة استخدام ذاكرة التخزين المؤقت KV، والتخزين المؤقت للبادئة، وخدمة MoE المكممة (يستخدم 397B 17B بارامتر نشط فقط)، يمكن تخفيض التكلفة الفعلية بشكل كبير أقل من تسعير واجهة برمجة التطبيقات للقائمة.

الخاتمة

إن فصل الامتثال للنشر عن تحسين البحث عبر خط أنابيب SFT و RL المكون من مرحلتين ينتج نموذجاً قادراً وموثوقاً في ظل قيود الإنتاج. إن الجمع بين الأسئلة والأجوبة القابلة للتحقق وبيانات التدريب القائمة على المعايير، جنباً إلى جنب مع تجميع المكافآت المقيد وتشكيل الكفاءة المثبت، يتيح تحبيذاً مستقراً متعدد الأهداف دون التضحية بدقة البحث أو الامتثال للحواجز.

تستدعي عدة اتجاهات مزيداً من التحقيق. كما لوحظ في الشكل 4، يظهر تباعد KL للتدريب والاستدلال انحرافاً صعودياً مستمراً في خطوات التدريب الممتدة. في حين يثبت تصحيح IS على مستوى الرمز كفايته في إعدادنا الحالي، فمن غير الواضح ما إذا كان هذا يظل صحيحاً على نطاق أكبر؛ يظل العلاج النظري الأكثر مبدئية لهذا عدم التوافق - الذي يضم التناقضات على مستوى البنية التحتية والعوامل الخاصة بالبنية مثل توجيه MoE - إلى جانب المقارنات التجريبية الكمية لاستراتيجيات التخفيف، سؤالاً مفتوحاً هاماً. بالنسبة للتعلم التعزيزي متعدد الأهداف تحديدا، تشمل السبل الواعدة التدريب التسلسلي (Zeng et al., 2026) مع التقطير على السياسة لتحسين الأهداف على مراحل مع تخفيف النسيان الكارثي؛ ودمج النماذج (Fu et al., 2025؛ Yang et al., 2026) لفصل تحسين المهام المحددة عن تجميع القدرات. وأخيراً، يظل التوسع إلى سير العمل الواقعي متعدد الأدوات مع مسارات طويلة الأفق تحدياً مفتوحاً هاماً، ومن المحتمل أن يتطلب تخصيصاً أفضل للرصيد، ودعماً للعروض الجزئية، والتقييمات.

المراجع

DatologyAI. Datbench: تقييمات نموذج الرؤية واللغة التمييزية، والأمينة، والكفؤة. https://www.datologyai.com/blog/datbench-discriminative-faithful-and-efficient-vision-language-model-evaluations، يناير 2026. نشر في 6 يناير 2026. تم الوصول إليه: 2026-03-04.

J. Duchi و H. Namkoong. التنظيم القائم على التباين مع الأهداف المحدبة. طبعة arXiv المسبقة arXiv:1610.02581، 2016.

Z. Fu، X. Wu، Y. Wang، W. Wang، S. Ye، H. Yin، Y. Chang، Y. Zheng، و X. Zhao. دمج نماذج اللغة الكبيرة بدون تدريب للتعلم متعدد المهام. في وقائع الاجتماع السنوي الثالث والستين لرابطة اللغويات الحاسوبية (المجلد 1: الأوراق الطويلة)، الصفحات 33111–33124، 2025.

A. Gunjal، A. Wang، E. Lau، V. Nath، Y. He، B. Liu، و S. Hendryx. المعايير كمكافآت: التعلم التعزيزي ما بعد المجالات القابلة للتحقق. طبعة arXiv المسبقة arXiv:2507.17746، 2025.

J. Liu، Y. Li، Y. Fu، J. Wang، Q. Liu، و Y. Shen. عندما تقتل السرعة الاستقرار: إزالة الغموض عن انهيار التعلم التعزيزي من عدم التوافق بين التدريب والاستدلال. مدونة Notion، 2025a.

S.-Y. Liu، X. Dong، X. Lu، S. Diao، P. Belcak، M. Liu، M.-H. Chen، H. Yin، Y.-C. F. Wang، K.-T. Cheng، وآخرون. Gdpo: تحسين سياسة التطبيع المنفصلة لمكافأة المجموعة لتحسين التعلم التعزيزي متعدد المكافآت. طبعة arXiv المسبقة arXiv:2601.05242، 2026.

T. Liu، R. Xu، T. Yu، I. Hong، C. Yang، T. Zhao، و H. Wang. Openrubrics: نحو إنشاء معايير اصطناعية قابلة للتطوير لنمذجة المكافآت ومواءمة نماذج اللغة الكبيرة. طبعة arXiv المسبقة arXiv:2510.07743، 2025b.

R. Lu، Z. Hou، Z. Wang، H. Zhang، X. Liu، Y. Li، S. Feng، J. Tang، و Y. Dong. Deepdive: النهوض بوكلاء البحث العميق باستخدام الرسوم البيانية المعرفية والتعلم التعزيزي متعدد الأدوار. طبعة arXiv المسبقة arXiv:2509.10446، 2025.

W. Ma، H. Zhang، L. Zhao، Y. Song، Y. Wang، Z. Sui، و F. Luo. استقرار التعلم التعزيزي لـ MoE من خلال مواءمة موجّهي التدريب والاستدلال. طبعة arXiv المسبقة arXiv:2510.11370، 2025.

T. Pham، N. Nguyen، P. Zunjare، W. Chen، Y.-M. Tseng، و T. Vu. Sealqa: رفع سقف الاستدلال في نماذج اللغة المعززة بالبحث. طبعة arXiv المسبقة arXiv:2506.01062، 2025.

O. Press، M. Zhang، S. Min، L. Schmidt، N. A. Smith، و M. Lewis. قياس وتضييق فجوة التركيبية في نماذج اللغة. في نتائج رابطة اللغويات الحاسوبية: EMNLP 2023، الصفحات 5687–5711، 2023.

P. Qi، X. Zhou، Z. Liu، T. Pang، C. Du، M. Lin، و W. S. Lee. إعادة التفكير في منطقة الثقة في التعلم التعزيزي لنماذج اللغة الكبيرة. طبعة arXiv المسبقة arXiv:2602.04879، 2026.

Z. Shao، P. Wang، Q. Zhu، R. Xu، J. Song، X. Bi، H. Zhang، M. Zhang، Y. Li، Y. Wu، وآخرون. Deepseekmath: دفع حدود الاستدلال الرياضي في نماذج اللغة المفتوحة. طبعة arXiv المسبقة arXiv:2402.03300، 2024.

Z. Tao، J. Wu، W. Yin، J. Zhang، B. Li، H. Shen، K. Li، L. Zhang، X. Wang، Y. Jiang، وآخرون. Webshaper: تصنيع البيانات بطريقة وكيلية عبر إضفاء الطابع الرسمي على البحث عن المعلومات. طبعة arXiv المسبقة arXiv:2507.15061، 2025.

فرق vLLM و TorchTitan. لا مزيد من عدم التوافق بين التدريب والاستدلال: التعلم التعزيزي المتسق ثنائي الاتجاه على السياسة مع vLLM و TorchTitan. https://blog.vllm.ai /2025/11/10/bitwise-consistent-train-inference.html، نوفمبر 2025. مدونة vLLM.

J. Wu، W. Yin، Y. Jiang، Z. Wang، Z. Xi، R. Fang، D. Zhou، P. Xie، و F. Huang. Webwalker: قياس أداء نماذج اللغة الكبيرة في اجتياز الويب، 2025. عنوان URL https://arxiv.org/abs/ 2501.07572.

A. Yang، A. Li، B. Yang، B. Zhang، B. Hui، B. Zheng، B. Yu، C. Gao، C. Huang، C. Lv، وآخرون. تقرير Qwen3 التقني. طبعة arXiv المسبقة arXiv:2505.09388، 2025.

E. Yang، L. Shen، G. Guo، X. Wang، X. Cao، J. Zhang، و D. Tao. دمج النماذج في نماذج اللغة الكبيرة، ونماذج الرؤية واللغة الكبيرة، وما بعدها: الطرق، النظريات، التطبيقات، والفرص. مسوحات الحوسبة لـ ACM، 58(8):1–41، 2026.

F. Yao، L. Liu، D. Zhang، C. Dong، J. Shang، و J. Gao. إطار عمل التعلم التعزيزي الفعال الخاص بك يجلب لك سراً تدريب التعلم التعزيزي خارج السياسة، أغسطس 2025. عنوان URL https://fengyao.notion.s ite/off-policy-rl.

A. Zeng، X. Lv، Z. Hou، Z. Du، Q. Zheng، B. Chen، D. Yin، C. Ge، C. Xie، C. Wang، وآخرون. Glm-5: من البرمجة بالمشاعر إلى الهندسة الوكيلية. طبعة arXiv المسبقة arXiv:2602.15763، 2026.

C. Zheng، K. Dang، B. Yu، M. Li، H. Jiang، J. Lin، Y. Liu، H. Lin، C. Wu، F. Hu، وآخرون. استقرار التعلم التعزيزي مع نماذج اللغة الكبيرة: الصياغة والممارسات. طبعة arXiv المسبقة arXiv:2512.01374، 2025a.

C. Zheng، S. Liu، M. Li، X.-H. Chen، B. Yu، C. Gao، K. Dang، Y. Liu، R. Men، A. Yang، وآخرون. تحسين سياسة تسلسل المجموعة. طبعة arXiv المسبقة arXiv:2507.18071، 2025b.

اقتباس

BibTeX
@online{perplexity2026AdvancingSearchAugmentedLanguageModels,
  author = {{Perplexity} and Denis Yarats and Dongqi Wu and Hang Wu and Randy Ardywibowo and Senzeyu Zhang and Yunfan Zhong and Ziqing Hu and Clare Southern and Riley Carlson and Yi He and Erin McKnight and Mara Sohn and Phi Hoang},
  title = {{Advancing search-augmented language models}},
  date = {2026-04-22},
  url = {https://perplexity.coolkeypoint.com/hub/blog/advancing-search-augmented-language-models}
}