كيفية إجراء الضبط الدقيق لنموذج لغوي كبير [ومتى تستخدم RAG أو كتابة الموجّهات بدلًا منه]

يعني الضبط الدقيق لنموذج لغوي كبير (LLM) تحسينَ نموذج لغوي كبير مُدرَّب مسبقًا على مجموعة بيانات صغيرة مخصصة لمهمة بعينها، بحيث يقدّم مخرجات لا يمكنك الحصول عليها من المطالبات وحدها.

يتضمن الضبط الدقيق جمع أزواج من أمثلة المدخلات والمخرجات التي توضّح السلوك الذي تريده، وتنفيذ جولات تدريب تدفع أوزان النموذج نحوها، ثم مقارنة النتيجة بمخرجات النموذج الأصلي. وتجعل الأساليب الفعّالة من حيث المعاملات، مثل LoRA، هذه العملية منخفضة التكلفة بما يكفي لتشغيلها على وحدة معالجة رسومات (GPU) واحدة.

إذا لم تكن راضيًا عن مخرجات النموذج اللغوي الكبير، فابدأ بتحسين مطالباتك والتوليد المعزّز بالاسترجاع (RAG). فالضبط الدقيق يغيّر طريقة تصرّف النموذج اللغوي الكبير، أما عندما تحتاج إلى أن يستخدم معلومات حديثة أو خاصة بك، فعادةً ما تكون المطالبات وRAG خيارًا أفضل.

إليك كيفية إجراء الضبط الدقيق لنموذج لغوي كبير خطوة بخطوة، وأهم أساليب الضبط الدقيق (LoRA وQLoRA)، والتحديات والأخطاء التي قد تُفشل العملية.

ما الضبط الدقيق للنماذج اللغوية الكبيرة، وكيف يختلف عن التدريب المسبق لها

يبني التدريب المسبق للنموذج اللغوي الكبير قدراته اللغوية العامة من الصفر باستخدام مجموعة نصوص ضخمة، بينما يعدّل الضبط الدقيق نموذجًا مدرّبًا مسبقًا على مجموعة بيانات صغيرة لأداء مهمة واحدة.

التدريب المسبق للنموذج اللغوي الكبير هو المرحلة كثيفة الموارد التي ينتج عنها نموذج أساسي. إذ يتعلّم النموذج من مجموعة نصوص واسعة تمنحه معرفة عامة بالقواعد اللغوية والحقائق والاستدلال، لكن من دون تخصص في مهمتك.

يواصل الضبط الدقيق للنموذج اللغوي الكبير تدريب النموذج الأساسي على مجموعة بيانات صغيرة ومنتقاة بعناية، بحيث ينتج المخرجات المطلوبة لمهمة أو حالة استخدام محددة. ومن أمثلة ذلك: تنسيق ثابت، أو أسلوب أو نبرة تعبّر عن العلامة التجارية، أو أنماط خاصة بمجال معيّن، أو استدعاءات موثوقة للأدوات والدوال.

متى تُجري الضبط الدقيق للنماذج اللغوية الكبيرة، ومتى تلجأ بدلًا من ذلك إلى المطالبات أو RAG

لتحسين أداء النموذج اللغوي الكبير، تدرّج في الخطوات: المطالبات -> RAG -> الضبط الدقيق.

حسّن مطالباتك بتعليمات أكثر تفصيلًا، واستخدم RAG لتزويد النموذج بمعلومات محدّثة. ولا تلجأ إلى الضبط الدقيق إلا إذا لم تُحقق تحسينات المطالبات والاسترجاع النتائج المرجوة.

متى تتفوق المطالبات الأفضل على الضبط الدقيق، ومتى لا تكفي

المطالبات هي الأداة الأسرع والأقل تكلفة. وفي كثير من الحالات، تحقق المطالبات الأكثر دقة وتفصيلًا التغييرات المطلوبة في السلوك.

لكن المطالبات الأطول تُبطئ العمل وتزيد تكلفته، ولا يمكنها تجاوز القيود القائمة في النموذج.

علامات تدل على أن المطالبات ربما بلغت حدودها:

• حالات استثنائية جديدة تُفسد المخرجات باستمرار: على سبيل المثال، يُعيد النموذج نصًا نثريًا بينما تحتاج إلى JSON، أو يحيد عن النبرة المطلوبة، فتضطر إلى تعديل المطالبة لمعالجة كل حالة جديدة.
• مطالبة النظام تتضخم باستمرار: تمتد المطالبة إلى مئات الأسطر أو آلافها، ويصعب التحكم فيها.
• تدفع ثمنها في كل استدعاء: تُرسَل المطالبة وتُعالَج من جديد مع كل طلب، فتزداد تكلفة الرموز المميزة وزمن الاستجابة.
• التغييرات لم تعد تُحدث فرقًا: التعليمات الجديدة لا تحسّن المخرجات.

وحتى في هذه الحالة، جرّب أولًا الحلول الأقل تكلفة على مستوى المطالبة. استخدم أمثلة قليلة (few-shot) لتُري النموذج النمط المطلوب (أزواج المدخلات والمخرجات)، أو تسلسل المطالبات لتقسيم المهام الصعبة إلى خطوات أصغر، أو خطافات استدعاء الدوال لإسناد عمليات البحث الدقيقة أو الحسابات إلى أدوات خارجية.

متى يكون RAG أنسب من الضبط الدقيق للنموذج

يغيّر RAG ما يعرفه النموذج اللغوي الكبير، بينما يغيّر الضبط الدقيق طريقة تصرّفه. فإذا كانت الفجوة معرفية، وخاصةً إذا تعلّق الأمر بمعرفة تتغير كثيرًا أو توجد في مستنداتك الخاصة، فإن RAG هو الحل. أما إذا كانت الفجوة سلوكية، فاختر الضبط الدقيق.

يُحدث الضبط الدقيق أيضًا تغييرًا فيما يعرفه النموذج، لكن أي حقائق يستوعبها تتجمّد عند وقت التدريب، وسرعان ما تفقد حداثتها في المجالات سريعة التطور. كما أن المعلومات تُضمَّن في أوزان النموذج، فلا تحتفظ هذه الأوزان بأي سجل لمصدرها.

أما تحديث المستندات المصدرية التي تستخدمها طبقة الاسترجاع فهو أسرع وأقل تكلفة، ويمكن لهذه الطبقة الاستشهاد بالمصادر الدقيقة التي استخدمتها. ولذلك فهو خيار أفضل عندما تحتاج إلى معلومات محدّثة وقابلة للتحقق.

ما عيب RAG؟ إنه طبقة إضافية يجب بناؤها وصيانتها، كما أنه يزيد زمن الاستجابة.

عمليًا، ستحتاج غالبًا إلى كليهما. إذ تجمع أنظمة الإنتاج بين النماذج المضبوطة بدقة وRAG، فتعتمد على أحدهما لضمان اتساق السلوك وعلى الآخر لتوفير الحقائق الحديثة.

الأخطاء والمخاطر والتحديات الشائعة في الضبط الدقيق

حتى عندما يكون الضبط الدقيق هو الأداة المناسبة، فإنه ينطوي على تكاليف ومخاطر:

• التكلفة والوقت: جمع بيانات تدريب نظيفة وممثِّلة وتوفير قدرة الحوسبة اللازمة للتدريب أمران مكلفان.
• النسيان الكارثي: عند تدريب النموذج على مجموعة بيانات ضيقة النطاق، قد يفقد مهاراته العامة ويكتسب أنماط إخفاق جديدة، ما يؤدي إلى أخطاء لم يكن النموذج الأساسي يرتكبها.
• فرط التخصيص: عندما تكون البيانات قليلة جدًا أو متكررة أكثر من اللازم، يحفظ النموذج أمثلة التدريب بدلًا من تعلّم الأنماط، فيؤدي أداءً جيدًا على عينات التدريب لكنه يؤدي أداءً ضعيفًا على المدخلات الحقيقية.
• تقادم المعرفة: سرعان ما تصبح المعرفة المضمّنة في الأوزان قديمة، لذا عليك إعادة التدريب على بيانات جديدة.
• تقادم النموذج: عند إطلاق نموذج أقوى، فإنه غالبًا ما يتفوق على نموذجك المضبوط بدقة دون أي تعديل، فتضطر إلى إعادة العمل من جديد.
• تحديات التقييم وقابلية التكرار: من الصعب إثبات أن النموذج المضبوط بدقة يتفوق على النموذج الأساسي. كما أن جولتَي تدريب على وحدات معالجة الرسومات بالإعدادات نفسها قد تُنتجان نموذجين مختلفين قليلًا.
• حوكمة البيانات: يثير التدريب على بيانات خاصة أو حساسة تساؤلات تتعلق بالخصوصية والترخيص؛ إذ قد يكشف النموذج لاحقًا أجزاءً مما دُرِّب عليه.

أهم أساليب الضبط الدقيق

تختلف الأنواع الرئيسية للضبط الدقيق للنماذج اللغوية الكبيرة باختلاف مقدار ما تغيّره في النموذج: فالضبط الدقيق الكامل يعيد تدريب النموذج بأكمله، بينما تقتصر أساليب الضبط الدقيق الفعّال من حيث المعاملات (PEFT)، مثل LoRA وQLoRA، على تحديث بعض الأوزان فقط. وتستهلك أساليب PEFT جزءًا يسيرًا من الذاكرة التي يتطلبها الضبط الدقيق الكامل، ويمكنها مع الإعدادات المناسبة أن تحقق نتائج مماثلة.

يحدّث الضبط الدقيق الكامل جميع أوزان النموذج. وهو الأعلى تكلفة والأكثر عرضة لخطر النسيان الكارثي. لذا احتفظ به للتغييرات السلوكية الكبيرة عندما تتوفر لديك البيانات وقدرة الحوسبة اللازمة لدعمه.

البديل هو الضبط الدقيق الفعّال من حيث المعاملات، أو PEFT. وهو مصطلح شامل لأساليب تُجمّد معظم النموذج ولا تدرّب سوى مجموعة صغيرة من المعاملات. ويستهلك ذاكرة أقل بكثير، كما أنه أقل عرضة للنسيان، لأن النموذج الأساسي يبقى سليمًا.

عند الرتب المنخفضة، يتعلّم PEFT أقل مما يتعلّمه الضبط الدقيق الكامل، لكن رفع الرتبة وضبط معدل التعلّم يسدّان معظم الفجوة في مهام الضبط على التعليمات.

تشمل أساليب PEFT ما يلي:

• LoRA (التكيّف منخفض الرتبة): نقطة البداية المعتادة؛ إذ يُجمّد الأوزان الأصلية ويدرّب مجموعة صغيرة من معاملات المهايئ المضافة، غالبًا ما تقل عن 1% من الإجمالي، لذا يعمل على وحدة معالجة رسومات استهلاكية واحدة.
• QLoRA (التكيّف منخفض الرتبة المُكمَّم): يضغط النموذج الأساسي إلى دقة 4 بت قبل تطبيق LoRA، ما يتيح لك إجراء الضبط الدقيق لنموذج كبير على وحدة معالجة رسومات واحدة.

إلى جانب ذلك، نستخدم أساليب الضبط على التعليمات والضبط على التفضيلات، بدءًا من التعلّم المعزّز من الملاحظات البشرية (RLHF) ووصولًا إلى بدائل أخف، مثل التحسين المباشر للتفضيلات (DPO) وتحسين التفضيلات بنسبة الأرجحية (ORPO)، لتشكيل طريقة اتباع النموذج للتعليمات ومدى توافقه مع التفضيلات البشرية.

كيفية إجراء الضبط الدقيق لنموذج لغوي كبير خطوة بخطوة

بعد أن تقرر أن الضبط الدقيق للنموذج اللغوي الكبير هو الخيار الصحيح، إليك سير العمل.

تكبير

الخطوة 1: حدّد المهمة وكيف ستقيس النجاح

حدّد السلوك الذي تريده من النموذج اللغوي الكبير، وكيف ستعرف أنك حصلت عليه.

سمِّ المهمة المحددة التي تريد أن يُنجزها النموذج المضبوط بدقة، مثل تصنيف تذاكر الدعم، أو تلخيص العقود بتنسيق ثابت، أو إنشاء التعليمات البرمجية وفق الأسلوب المعتمد في مؤسستك.

ثم حدّد معايير النجاح. ومن الخيارات الشائعة:

• صلاحية المخرجات: على سبيل المثال، هل يمكن تحليل النتيجة بوصفها JSON صالحًا، أو هل تطابق بنية Markdown التي تحتاج إليها؟
• الدرجات الآلية: استخدم مقاييس مثل BLEU أو ROUGE التي تقارن النص المُنشأ بإجابات مرجعية، أو دقة أداء المهمة على مجموعة بيانات مصنّفة.
• تقييمات البشر: معيار تقييم بالدرجات أو بالنجاح والإخفاق للصفات التي يصعب على البرامج النصية تقييمها، مثل النبرة أو مدى الفائدة.
• الموثوقية مع المدخلات الصعبة: هل يتعامل مع المدخلات غير المعتادة التي أربكت النموذج الأساسي؟

الخطوة 2: جهّز مجموعة البيانات

تحدد جودة البيانات مدى نجاح الضبط الدقيق، لذا ابذل جهدًا في جمع مجموعة البيانات المناسبة له.

نسّق بياناتك في صورة أزواج من التعليمات والاستجابات بتنسيق JSONL، بحيث يحتوي كل سطر على المدخل (إضافةً إلى أي سياق) والمخرج الدقيق الذي تريد الحصول عليه.

على سبيل المثال، اطّلع على مجموعات البيانات العامة مثل مجموعة Alpaca-cleaned للتعليمات العامة أو Dolly من Databricks، أو مجموعة banking77 المخصصة لمهمة محددة، التي تضم أكثر من 13,000 استفسار دعم حقيقي مصنّفة ضمن 77 نيّة.

بالنسبة إلى مهمة محددة، يمكن لعدد يتراوح بين بضع مئات وبضعة آلاف من الأمثلة النظيفة والمتنوعة أن يغيّر السلوك، شريطة أن تعكس الأمثلة مدخلات الإنتاج الحقيقية، بما فيها الحالات الاستثنائية، وأن تكون منسّقة بشكل متسق.

ألا تملك أزواجًا من المدخلات والمخرجات بعد؟ أنشئ المجموعة من البيانات المتوفرة لديك، مثل تذاكر الدعم وأفضل الردود عليها، أو المستندات وملخصاتها.

إذا كانت لديك المخرجات فقط، فاستخدم نموذجًا أقوى لإنشاء مدخل معقول لكل منها، أو اكتب يدويًا مجموعة أولية صغيرة ووسّعها باستخدام نموذج «معلّم» أكبر، ثم احتفظ بأفضل الأزواج.

اختتم بتقسيم البيانات إلى مجموعات تدريب وتحقق واختبار، حتى تتمكن من القياس على أمثلة لم يرها النموذج من قبل.

الخطوة 3: اختر نموذجًا أساسيًا وأسلوبًا

ابدأ بنموذج صغير مفتوح المصدر يتراوح حجمه بين 3 و7 مليارات معامل، وبأسلوب للضبط الدقيق الفعّال من حيث المعاملات مثل LoRA أو QLoRA.

تمنحك العائلات المفتوحة مثل Llama وMistral وQwen أساسًا قويًا يمكنك استضافته بنفسك، كما تُبقي أساليب PEFT متطلبات العتاد منخفضة: إذ يُكمِّم QLoRA النموذج الأساسي إلى 4 بت، فلا يتطلب الضبط الدقيق لنموذج بحجم 7B سوى بطاقة رسومات استهلاكية بسعة 16-24 غيغابايت. أما الضبط الدقيق الكامل للنموذج نفسه فيحتاج إلى أضعاف هذه الذاكرة.

الخطوة 4: اضبط المعاملات الفائقة للتدريب

إليك أهم معاملات الضبط الدقيق للنماذج اللغوية الكبيرة والنطاقات المقترحة للبدء:

• معدل التعلّم يتحكم في حجم كل تحديث للأوزان. وقد وجدت دراسة أجراها بيدرمان وزملاؤه عام 2024 أن أفضل معدلات LoRA كانت أعلى بنحو عشرة أضعاف من معدلات الضبط الدقيق الكامل، إذ تتراوح عادةً بين 5e-5 و5e-4 مقابل 1e-5 إلى 5e-5. وتوصي الدراسة بتجربة قيم تتراوح من 1e-5 إلى 5e-4 واستخدام أعلى قيمة يظل معها التدريب مستقرًا.
• حجم الدفعة هو عدد الأمثلة التي يتعلم منها النموذج قبل كل تحديث للأوزان. على وحدة GPU واحدة، استخدم حجم دفعة صغيرًا لكل جهاز يتراوح بين 1 و8، مع تجميع التدرجات للوصول إلى حجم دفعة فعلي يتراوح بين 16 و64 تقريبًا.
• عدد الحِقب التدريبية هو عدد المرات التي يرى فيها النموذج مجموعة البيانات كاملة. عند تدريب النموذج على أداء مهام محددة، يُعد اختيار ما بين 1 و3 حِقب قاعدة عامة جيدة، لكن عمليات تدريب LoRA تحتاج غالبًا إلى المزيد.
• رتبة LoRA (r) تحدد سعة المحوِّل، أي مقدار ما يمكنه تعلمه. ابدأ بقيمة بين 8 و32 للمهام الأبسط وارفعها للمهام الأصعب: ففي دراسة LoRA التي أجراها Biderman وزملاؤه والمذكورة أعلاه، احتاج ضبط نموذج بحجم 7B على التعليمات في مجال البرمجة إلى الرتبة 256 لمجاراة الضبط الدقيق الكامل، بينما اقتربت الرتبة 64 من ذلك في الرياضيات.
• الحد الأقصى لطول التسلسل هو أطول مُدخل ستعالجه عملية التدريب. اضبطه بحيث يغطي أطول أمثلتك، بما لا يتجاوز نافذة السياق الخاصة بالنموذج، إذ يُقتطع أي مُدخل أطول من ذلك.
• الإحماء والجدولة يتحكمان في كيفية تصاعد معدل التعلم وتغيّره على مدار عملية التدريب. والإعدادات الافتراضية المعتادة هي فترة إحماء قصيرة مع تناقص وفق دالة جيب التمام (cosine decay). ومع ذلك، وجدت دراسة Pareja وزملائه على النماذج الصغيرة أن الاستغناء عن الإحماء لم يؤثر سلبًا في النتائج النهائية.

تعامل مع هذه القيم كنقاط انطلاق لعملية مسح للمعاملات الفائقة، لا كإعدادات ثابتة.

الخطوة 5: درِّب النموذج وراقب الخسارة

أثناء التدريب، راقب منحنيَي خسارة التدريب وخسارة التحقق لمعرفة ما إذا كان التدريب يحقق النتيجة المرجوة.

تقيس الخسارة مدى ابتعاد مخرجات النموذج عن أمثلتك، وينبغي أن تنخفض بسلاسة مع تقدم التدريب. تغطي خسارة التدريب البيانات التي يتعلم منها النموذج، بينما تُحسب خسارة التحقق على الأمثلة المحجوزة خارج التدريب.

إذا انخفضت خسارة التدريب وخسارة التحقق معًا، فهذا يعني أن النموذج يتعلم التعميم. أما إذا استمرت خسارة التدريب في الانخفاض بينما استقرت خسارة التحقق أو بدأت في الارتفاع، فهذا يعني أن النموذج يحفظ مجموعة التدريب بدلًا من تعلّم النمط (الإفراط في التخصيص).

تكبير

الخطوة 6: قيِّم النموذج ثم انشره

انخفاض خسارة التدريب لا يضمن صحة المخرجات، لذا قيِّم النموذج المضبوط بدقة وفق المعايير التي حددتها في الخطوة 1.

عندما يجتاز النموذج التقييم، يمكنك نشره بطريقتين:

• شغِّل المحوِّل فوق النموذج الأساسي في بيئة الخدمة وحمِّل كليهما وقت التشغيل؛ فهذا يُبقي المحوِّل قابلًا للاستبدال.
• ادمج المحوِّل في الأوزان الأساسية للحصول على نموذج واحد مستقل أبسط في الاستضافة.

استخدم Perplexity لمنح نموذجك اللغوي الكبير إمكانية الوصول إلى أحدث المعلومات

يُعد الضبط الدقيق الخيار الصحيح عندما تريد تكييف سلوك النموذج وفق احتياجاتك.

إذا كان نموذجك يحتاج إلى معلومات حديثة، وخاصةً المعلومات التي تتغير بسرعة، فأنت بحاجة إلى نظام RAG أو إلى أداة بحث موثوقة تابعة لجهة خارجية.

تعمل منظومة الاسترجاع المخصصة بأفضل شكل مع مجموعات البيانات الخاصة بك، مثل الويكي الداخلي أو سجل دعم العملاء أو العقود أو مستندات المنتجات.

عندما تكون المعرفة التي تريد استخدامها متاحة للعامة، فلا حاجة إلى بناء طبقة استرجاع مخصصة. Perplexity هو محرك إجابات يقدّم ردودًا مصحوبة باستشهادات مضمّنة قابلة للنقر من فهرس ويب مباشر. وتوفّر واجهة Agent API الخاصة به تلك الإجابات المستندة إلى الويب والموثّقة بالمصادر في استدعاء واحد، بحيث يستطيع تطبيقك الاستفادة من المصادر الحالية.

الأسئلة الشائعة حول الضبط الدقيق للنماذج اللغوية الكبيرة

هل يمكنك إجراء ضبط دقيق لنموذج لغوي كبير مجانًا؟

نعم، يمكنك إجراء ضبط دقيق لنموذج لغوي صغير مفتوح مجانًا. على سبيل المثال، توفر لك الباقة المجانية من Google Colab قدرة GPU كافية لتشغيل QLoRA على نموذج يتراوح حجمه بين 3B و8B، وهذا أكثر من كافٍ لمهمة محددة. وتبدأ في الدفع عندما تحتاج إلى ذاكرة أكبر، أو عمليات تدريب أطول، أو نموذج أساسي أكبر مما تستوعبه الباقة المجانية.

هل تحتاج إلى وحدة GPU خاصة بك، أم يمكنك إجراء الضبط الدقيق في السحابة؟

لا تحتاج إلى امتلاك وحدة GPU لإجراء الضبط الدقيق للنماذج اللغوية الكبيرة. إذ تؤجّر الخدمات المُدارة ومزودو خدمات GPU السحابية الأجهزة بالساعة، لذا تكفي وحدة GPU مستأجرة واحدة لتشغيل QLoRA على نموذج صغير. ولا يكون شراء وحدة GPU مجديًا إلا إذا كنت تُجري الضبط الدقيق كثيرًا أو كان عليك الاحتفاظ بجميع بياناتك على أجهزتك الخاصة.

كم من الوقت يستغرق الضبط الدقيق للنماذج اللغوية الكبيرة؟

بالنسبة إلى النماذج اللغوية الصغيرة، قد تنتهي عملية التدريب في غضون دقائق إلى بضع ساعات، حسب حجم مجموعة البيانات والأجهزة المستخدمة. فعلى سبيل المثال، تمكنت Oumi من إجراء ضبط دقيق كامل لنموذج بحجم 0.8B في ما يزيد قليلًا على ساعة على منصتها المستضافة.

أما النماذج الأكبر أو عشرات الآلاف من الأمثلة، فتطيل هذه المدة إلى يوم أو أكثر: فقد استغرقت عمليات تدريب LoRA لدى Emburse على نموذج بحجم 7B مدة 8 ساعات مع 5,000 مثال، ونحو 30 ساعة مع 50,000 مثال على وحدة GPU واحدة بسعة 40GB.

هل يمكنك مواصلة تحديث نموذج مضبوط بدقة مع تغيّر بياناتك؟

يمكنك إعادة الضبط الدقيق على بيانات جديدة، لكن كل جولة تكلّف موارد حوسبة وتنطوي على خطر النسيان الكارثي. وبالنسبة إلى المعرفة التي تتغير كثيرًا، يكون RAG عادةً الحل الأفضل، لأنك تحدّث المستندات المصدر بدلًا من إعادة التدريب.