وكيل يعتمد على النطاق المحلي أولاً للعمل المعرفي الخاص والفعال من حيث التكلفة

Perplexity Portable Computer هو وكيل يعتمد على النطاق المحلي أولاً.

تشغيل الحزمة بالكامل محلياً افتراضياً. يتواجد النموذج والإطار والمحادثة والمسار بأكملها على جهاز المستخدم. يتم استدعاء العمل الذي يحتاج إلى العالم الخارجي، مثل البحث في الويب، أو موصلات، أو التصعيد إلى نموذج مستشار أقوى على السحابة، فقط عند الضرورة ويتم تقييده دائماً بواسطة المستخدم. لذلك، لا تغادر البيانات الحساسة الجهاز أبداً بدون إذن، ولا تتحمل النماذج المحلية أي رسوم استدلال: النظام خاص وفعال من حيث التكلفة بحكم تصميمه.

يتطلب الوكيل الفعال الذي يعتمد على النطاق المحلي أولاً تصميم النموذج والإطار معاً. تفترض الأطر للأغراض العامة نموذجاً حدودياً يمكنه استيعاب سياقات طويلة، والتنقل في سطح أداة واسع، والتخطيط على آفاق زمنية طويلة. النماذج المحلية أقل موثوقية تحت تلك المتطلبات. بدلاً من طلب نموذج صغير لإدارة إطار مصمم لنموذج كبير، قمنا بتشكيل الاثنين حول بعضهما البعض: إطار مصمم خصيصاً لملف تعريف قدرات النموذج، وننموذج مدرب بعدياً لاستخدام هذا الإطار بفعالية.

مقدمة

تطورت القدرات الوكيلة في الأشهر الأخيرة بسرعة عبر مجموعة واسعة من مهام العمل المعرفي. في حين أن هذه التطورات تجلب مكاسب كبيرة في الإنتاجية والكفاءة، فإنها تطرح أيضاً تحديين.

يستهلك الرموز بسرعة متزايدة، ومعه ترتفع التكلفة الإجمالية. عندما يتم الوصول إلى الذكاء من خلال واجهات برمجة التطبيقات للنماذج ذات المصدر المغلق والتي تعمل على تجمعات بعيدة، فإن المعلومات الخاصة والملكية الفكرية تغادر جهاز المستخدم مع كل طلب. مع توسع الوكلاء عبر سير العمل الفردية والمنظمات بأكملها، يصبح استهلاك الرموز وحركة البيانات أكثر صعوبة في الإدارة.

في الوقت نفسه، تحسنت النماذج مفتوحة المصدر بمعدل أسرع. يظهر التقدم بشكل أكثر وضوحاً في النماذج الصغيرة جداً والفعالة مثل NVIDIA Nemotron 3.5 Lightning (بإجمالي 30 مليار معامل)، وQwen 3.6 (35 مليار)، وQwen 3.8 (27 مليار). هذه النماذج الصغيرة تتجاوز وزنها وقادرة الآن على سير العمل الوكيل المعقد. تتقدم أجهزة الاستدلال المحلي بالتوازي: يمكن للأنظمة مثل NVIDIA DGX Spark الآن تشغيل هذه النماذج محلياً. معاً، تجعل هذه الاتجاهات التشغيل المحلي بالكامل عملياً مع السماح للمستخدمين باختيار القدرات الخارجية عند الحاجة، مثل البحث في الويب، أو موصلات، أو التصعيد إلى نموذج سحابي.

يتيح هذا النهج المعتمد على النطاق المحلي أولاً توفيراً كبيراً في التكاليف، نظراً لأن الاستدلال المحلي يتجنب رسوم واجهة برمجة التطبيقات لكل رمز. كما أنه يحل بشكل طبيعي مخاوف الخصوصية والملكية الفكرية: لا تحتاج الرموز الخاصة أبداً إلى الإرسال إلى التجمعات البعيدة وتظل بأمان داخل حدود الجهاز المحلي.

في يونيو، قدمنا أول منسق استدلال هجين بين الخادم المحلي والسحابة والذي يحدد العمل الذي يجب تشغيله على الجهاز والعمل الذي يجب أن يذهب إلى الوكلاء في السحابة. هنا نشرح كيف أنشأنا مثل هذا الوكيل المعتمد على النطاق المحلي أولاً، بما في ذلك الإطار والنماذج المحسنة بشكل متبادل.

نقدم نظرة عامة على خيارات التصميم الرئيسية، ونقيم Computer مقابل الأطر الشهيرة للأغراض العامة مفتوحة المصدر (Hermes وPi) عبر ثلاثة معايير قياسية عامة ومعيار العمل المعرفي المحلي الداخلي الخاص بنا. في معيارنا، مع نموذج Qwen 3.8 27B الذي يعمل على NVIDIA DGX Spark، يحقق Computer أعلى نتيجة، 82.6% مقابل 77.6% لـ Pi و74.0% لـ Hermes. PPLX 27B، نموذجنا المدرب بعدياً أعلى Qwen 3.8 27B، يرفع النتيجة أكثر إلى 85.4%.

تصميم الإطار حول النموذج المحلي

على الرغم من أن النماذج المدمجة على الجهاز قادرة تماماً بالفعل، إلا أنها لا تزال متخلفة عن النماذج الحدودية الأكبر في الأداء. مطلوب إطار مصمم بعناية لتوجيه هذه النماذج بفعالية ومعالجة قيودها.

أثبتت الأطر مفتوحة المصدر الشهيرة مثل Pi وHermes أنها عامة: فهي تعمل بشكل جيد مع مجموعة واسعة من النماذج عبر الأحجام والفئات. لكنها غير محسنة لقدرات النماذج الموجودة على الجهاز. لقد صممنا الإطار المحلي خصيصاً لهذه البيئة، حول عدد ق ciertos من المبادئ الرئيسية.

كفاءة السياق

كان التركيز الرئيسي في تصميم إطارنا هو الاستفادة القصوى من سياق النموذج.

على الرغم من أن النماذج الموجودة على الجهاز مثل Qwen 3.8 27B توفر نوافذ سياق تبلغ 260 ألف رمز، فقد وجدنا تجريبياً أنها تبدأ في مواجهة صعوبات تجاوز 100 ألف رمز. لذلك فإننا نحافظ على الإطار الأساسي موجزاً: موجه نظام بسيط ومجموعة صغيرة من الأدوات الأساسية.

يتم تنظيم جميع القدرات الأخرى في مهارات حسب الطلب يتم تحميلها وإلغاء تحميلها طوال المسار. لقد صممه هذه المهارات لمهام العمل المعرفي الشائعة: البحث، وعلم البيانات، وتصور البيانات، وإنشاء المستندات، وهندسة البرمجيات، والمزيد.

يدعم الإطار أيضاً ضغط السياق، حيث يلخص السياق القديم عندما يطول المسار ليبقى النموذج ضمن نافذته الفعالة.

موصلات كأدوات سطر الأوامر

غالباً ما يتطلب العمل المعرفي اليومي موصلات مثل Gmail وGitHub وOutlook وGoogle Calendar. عادة ما يتم عرض هذه الأجهزة للإطار كـ خوادم بروتوكول سياق النموذج (MCP)، والتي تستهلك تعريفات أدواتها الكبيرة حصة كبيرة من السياق. بدلاً من ذلك، قمنا بتحويل أكثر بروتوكولات MCP استخداماً إلى أدوات سطر أوامر مدمجة وسهلة الاستخدام، مدعومة بمهارات مخصصة تستفيد بشكل أفضل بكثير من السياق الفعال المحدود.

التحقق الذاتي

يتحسن الأداء أيضاً عندما يتحقق الوكيل من عمله الخاص. يضيف التحقق خطوات إضافية، ولكنه يحسن بشكل كبير النتائج النهائية ويضيق الفجوة مع النماذج الحدودية بشكل كبير. يمكن تشغيله بواسطة النموذج نفسه أو بواسطة مجموعة من الخطافات التي تراقب صحة المسار وتطلب التحقق الذاتي عندما يحدث خطأ ما.

التنفيذ في بيئة معزولة

ينفذ الإطار الأدوات في بيئة معزولة على مستوى نظام التشغيل على جهاز المستخدم. تقيد الحدود العمليات، ومسارات نظام الملفات، والوصول إلى الشبكة وفقاً للسياسة. هذا يحد من نطاق التأثير لأمر خاطئ. إذا كانت البيئة المعزولة غير متوفرة، يقوم الإطار بتعطيل نفسه قبل أي استدعاءات للأدوات بدلاً من التدهور إلى التنفيذ بدون بيئة معزولة.

يختلف هذا عن الأطر مفتوحة المصدر مثل Pi وHermes، والتي تشغل الأوامر مباشرة بأذونات المستخدم افتراضياً. في Computer، العزل قيد التشغيل دائماً، ولا يتطلب أي تكوين، ولا يمكن تشغيل الأدوات بدونه.

يوضح الرسم البياني أدناه كيف تتناسب هذه المبادئ معاً في حلقة التنفيذ. المنسق هو رمز إطار حتمي، وليس نموذج لغة كبير (LLM): فهو يحافظ على الحلقة، ويجمع السياق، ويفرض السياسة. يقترح النموذج المحلي الإجراء التالي؛ وينفذ المنسق استدعاءات الأدوات المعتمدة في البيئة المعزولة ويعيد نتائجها إلى النموذج. البحث في الويب، موصلات، واستدعاءات المستشار تعبر حدود الجهاز فقط عند التفعيل والموافقة.

الإطار المحلي يحقق الاستفادة القصوى من نفس النموذج

باستخدام نفس النموذج الأساسي على الجهاز، نقارن إطارنا المحلي بالبدائل ذات الأغراض العامة في بحث الويب وفهم المستندات متعددة الوسائط. تستخدم جميع الأطر نموذج Qwen 3.8 27B مع استدلال متوسط، يعمل على NVIDIA DGX Spark. تعزل هذه المقارنة القدرات التي يساهم بها الإطار نفسه، قبل أي تدريب لاحق للنموذج.

نحن نركز على هاتين القدرتين لأن العمل المعرفي غالباً ما يجمع بين المستندات الخاصة على جهاز المستخدم والمعلومات العامة من الويب لإنتاج عنصر أساسي. يتطلب البحث في الويب الاتصال، لكن استدلال النموذج ومعالجة المستندات الخاصة تظل محلية. تعمل الملفات المحلية كمصدر موثوق، وتضيف المصادر العامة سياقاً، ويمكن للمستخدمين تعطيل البحث في الويب تماماً للعمل في وضع عدم الاتصال بالإنترنت بالكامل.

بحث الويب

نحن نبني إطارنا المحلي إلى جانب محرك بحث Perplexity، الذي حقق أعلى التصنيفات في التقييمات المستقلة. يصل الإطار إليه من خلال واجهة Search as Code.

نحن نقيم جودة البحث على 1,266 مهمة BrowseComp. يستخدم Computer البنية التحتية للبحث الخاصة بـ Perplexity جنباً إلى جنب مع إطارنا المحلي، بينما يعتمد Pi وHermes على Brave، موفر البحث الموصى به لديهما. يصل Computer إلى دقة بنسبة 66.7%، مقارنة بـ 50.2% لـ Pi و43.9% لـ Hermes.

يتمتع Computer أيضاً بأقل متوسط وقت مسجل واستخدام للرموز: 402.1 ثانية و852 ألف رمز لكل مهمة، مقارنة بـ 1,020.9 ثانية و1.01 مليون رمز لـ Hermes، و826.0 ثانية و2.82 مليون رمز لـ Pi. وبالتالي يستخدم Computer وقتاً أقل بنسبة 61% ورموزاً أقل بنسبة 16% مقارنة بـ Hermes، وقتاً أقل بنسبة 51% ورموزاً أقل بنسبة 70% مقارنة بـ Pi.

فهم المستندات متعددة الوسائط على الجهاز

تحمل العديد من المستندات معلومات بشكل مرئي ويس يصعب تحليلها كنص عادي: ملفات PDF، والصفحات الممسوحة ضوئياً، ولقطات الشاشة، والرسوم البيانية، والعروض التقديمية. تعتمد سير العمل هذه على التعرف الضوئي على الحروف (OCR) وفهم الصور، وتستفيد أكثر من نموذج متعدد الوسائط بطبيعته.

تمرر الإطار صفحات المستندات والصور مباشرة إلى النموذج، الذي يفهمها ويجمع بين الأدلة المرئية والنص المستخرج. تبقي معالجة هذه الملفات على الجهاز المستندات الحساسة ومحتواها المستخرج خاصاً.

نحن نقيم فهم المستندات متعددة الوسائط على ParseBench-100، وهي مجموعة فرعية من 100 مهمة من معيار ParseBench القياسي، مع 20 مهمة لكل من الرسوم البيانية، والتخطيط، والجداول، ومحتوى النص، والتنسيق.

يصل Computer إلى متوسط درجات يبلغ 65.1%، مقارنة بـ 34.6% لـ Hermes و13.9% لـ Pi. كما أنه يكمل المهام بأقل وقت وأقل عدد من الرموز: في المتوسط 60.6 ثانية و20.1 ألف رمز لكل مهمة، مقارنة بـ 108.3 ثانية و32.1 ألف رمز لـ Hermes، و410.5 ثانية و829.1 ألف رمز لـ Pi. يتصدر Computer في فئات المستندات الخمس جميعها، مع أكبر ميزة له في الرسوم البيانية. يظل التخطيط صعباً لجميع الأطر الثلاثة.

الجدول 1. متوسط درجات ParseBench-100 حسب فئة المستند لأطر Computer وHermes وPi مع نموذج Qwen 3.8 27B الموجود على الجهاز. يتصدر Computer في الفئات الخمس جميعها.

تضييق الفجوة الحدودية مع التصعيد إلى المستشار

حتى مع إطار مصمم بعناية، لا تزال أصعب المهام تتجاوز قدرات نموذج مدمج على الجهاز. بالنسبة لمثل هذه المهام، يكشف الإطار عن أداة مستشار: يمكن للنموذج المحلي استشارة نموذج حدودي أقوى عندما يحتاج إلى مساعدة في التخطيط، أو حل الغموض، أو التعافي من الفشل المتكرر، أو التحقق من النتيجة النهائية.

يقرر النموذج المحلي متى يطلب المشورة، بينما يحتفظ منسق الإطار بسلطة الأدوات ويتحكم في السياق الذي يتم إرساله. التصعيد اختياري. يقرر المستخدم ما إذا كان سيمكنه وما إذا كان سيووافق على كل استدعاء للمستشار يدوياً أو تلقائياً.

قبل استدعاء المستشار، يحدد الإطار السياق ذي الصلة، ويطبق مصنف PII للإبلاغ عن المعلومات الحساسة، ويظهر للمستخدم ما سيغادر الجهاز. يتلقى المستشار السياق المعتمد فقط ويعيد توجيه النص؛ ليس لديه وصول مباشر إلى ملفات الجهاز أو أدواته أو محادثاته. هذا يحسن كلاً من التكلفة والخصوصية، ونحن نخطط لاستكشاف هذا الاتجاه بشكل أكبر في العمل المستقبلي.

نحن نختبر هذا النهج في مهام هندسة البرمجيات الصعبة، التي تتطلب استدلالاً قوياً وحيث يقصر النموذج المحلي غالباً. لهذا الغرض نستخدم Terminal Bench 2.1، وهو معيار قياسي شهير لـ 89 مهمة لوكلاء البرمجة.

نريد الإجابة على سؤالين: ما مقدار الفجوة مع النموذج الحدودي التي يمكن للتصعيد إلى المستشار إغلاقها، وبأي تكلفة. تكلفة تشغيل النماذج المحلية بالكامل تكاد تكون معدومة، نظراً لأن الاستدلال يحدث على أجهزة المستخدم. ومع ذلك، بمجرد أن يبدأ النموذج في استدعاء المستشار، يبدأ في تكبد تكاليف واجهة برمجة التطبيقات.

كخط أساس للأداء الحدودي، نستخدم Claude Opus 5 الذي يعمل في الإطار المحلي؛ النموذج المحلي هو Qwen 3.8 27B. أخيراً، نربط الاثنين معاً: ينفذ Qwen 3.8 27B المهمة ويصعد إلى مستشار Claude Opus 5 عندما يحتاج إلى مساعدة. نحن لا نقيم التصعيد إلى المستشار مع Pi أو Hermes لأن أياً منهما لا يوفر أداة مستشار مكافئة؛ إضافة واحدة تتطلب تعديل سطح أدواتها ومنطق التنسيق الخاص بها، لذا لن تمثل النتيجة بعد ذلك الإطار الجاهز للاستخدام.

يرفع التصعيد إلى المستشار نتيجة Computer من 59.6% إلى 73.0%، بزيادة قدرها 13.5 نقطة مئوية، بتكلفة مقدرة لواجهة برمجة التطبيقات تبلغ 0.415 دولار لكل تنفيذ. يصل تشغيل Claude Opus 5 بمفرده إلى 82.4% بتكلفة 0.65 دولار لكل تنفيذ. وبالتالي يستعيد التصعيد تقريباً ثلاثة أخماس الفجوة إلى الحدود بتكلفة حوالي ثلثي تكلفة الحدود، ويقرر المستخدم متى تستحق هذه المقايضة إجراؤها.

التدريب اللاحق للإطار والعمل المعرفي

حتى الآن، حافظنا على النموذج المحلي دون تغيير لعزل ما يساهم به الإطار. مع وضع تصميم الإطار في مكانها، تأتي أكبر المكاسب المتبقية من تكييف النموذج نفسه. تظهر لنا بيانات استخدام Perplexity Computer ما يفعله الأشخاص بالفعل في العمل المعرفي، والتي نستخدمها لتخليق بيانات التدريب. نقوم بتدريب النموذج المحلي بعدياً داخل إطار Computer، مسترشدين بالتوزيع الحقيقي للمهام التي يؤديها المستخدمون.

تحديداً، نحدد مجموعة متنوعة من حالات الاستخدام التي تمرن قدرات النموذج المختلفة، والأدوات، وموصلات. من حالات الاستخدام هذه، نقوم بتخليق بيئات تعلم تعزيزي واقعية ونعرّف مهام صعبة ولكن قابلة للتحقق: تتكون كل مهمة من تعليمات، وبيئة، ومتحقق يسجل النتيجة النهائية، حيث البيئة هي حاوية Docker يعمل فيها الإطار. الأهم من ذلك، نظراً لأن المهام اصطناعية، فهي لا تحتوي على أي مستندات حقيقية أو معلومات للمستخدم.

نستخدم هذه البيئات للتدريب على مرحلتين: الضبط الدقيق للرفض متبوعاً بالتعلم التعزيزي. في المرحلة الأولى، نقوم بتشغيل النموذج مقابل كل مهمة عدة مرات، ونختار أفضل المسارات حسب درجة المتحقق، ونتدرب عليها باستخدام التعلم الخاضع للإشراف. تهيئ هذه المرحلة النموذج للإطار المحدد وتوزيع المهام. في المرحلة الثانية، يقوم التعلم التعزيزي بضبط النموذج بشكل أكبر، مما يجعله أكثر قوة.

يتم احتجاز مجموعة فرعية من المهام من التدريب واستخدامها للتقييم النهائي؛ نسمي مجموعة الاحتجاز هذه معيار العمل المعرفي المحلي: 53 مهمة تمتد عبر سبع فئات من العمل المعرفي اليومي، من بحث متعمق إلى إنشاء المستندات. سننشر قريباً تقريراً تقنياً يصف تدريب النموذج بالتفصيل، ونخطط لجعل هذا المعيار التقييمي مفتوح المصدر.

لقد قمنا بتدريب Qwen 3.8 27B بعدياً بهذا النهج، مما ينتج عنه نموذج نسميه PPLX 27B، وقيمناه على معيار العمل المعرفي المحلي. مع نموذج Qwen 3.8 27B الأساسي، يحقق Computer أعلى نتيجة (82.6%، مقارنة بـ 77.6% لـ Pi و74.0% لـ Hermes) ويستخدم أقل عدد من الرموز (520 ألف، مقابل 681 ألف لـ Pi و634 ألف لـ Hermes). يكمل Pi المهام بشكل أسرع بـ 176 ثانية لكل مهمة، مقارنة بـ 218 ثانية لـ Computer و292 ثانية لـ Hermes. يرفع PPLX 27B نتيجة Computer إلى 85.4%، بتكلفة رموز أكثر (678 ألف مقابل 520 ألف). وقته المسجل المقدر هو 250 ثانية.

الجدول 2. فئات مهام معيار العمل المعرفي المحلي.

خاتمة

يظهر بحثنا أن نموذجاً قوياً مفتوح المصدر، مع أجهزة محلية قادرة وإطار مبني لها يمكنه التعامل مع العمل المعرفي الحقيقي بتكلفة استدلال قريبة من الصفر دون الحاجة إلى مغادرة البيانات الحساسة للجهاز.

عبر المعايير المختلفة، تطابق Computer أو تجاوز Hermes وPi في الدقة أثناء تشغيل Qwen 3.8 27B على NVIDIA DGX Spark. من بين المعايير الثلاثة التي تقرير زمن الانتقال واستخدام الرموز، كان Computer الأسرع في BrowseComp وParseBench-100 واستخدم أقل عدد من الرموز على الثلاثة؛ وكان Pi الأسرع في معيار العمل المعرفي المحلي.

جاءت المكاسب من الخيارات التي اتخذناها. لقد بنينا إطاراً محلياً موجزاً مع مهارات يتم تحميلها عند الطلب. لقد قمنا بتحويل موصلات إلى أدوات سطر أوامر مدمجة بدلاً من خوادم MCP. تم عزل التنفيذ في بيئة معزولة للأمان.

تظهر النتائج أيضاً المكان الذي تملك فيه النماذج المدمجة مجالاً للتحسين. على سبيل المثال، في مهام البرمجة الصعبة في Terminal Bench 2.1، يتخلف النموذج المحلي عن النموذج الحدودي عبر الأطر الثلاثة. يعمل التصعيد إلى المستشار على تضييق الفجوة ولكنه لا يغلقها بالكامل؛ لا تزال هناك حاجة للتحسينات المستمرة في قدرات النموذج والأجهزة المحلية لدفع الأداء إلى أبعد من ذلك.

الغرض من بناء الإطار والنموذج للقيود المحلية هو منح المستخدمين تحكماً صريحاً في المعلومات التي تغادر أجهزتهم. هناك أيضاً فوائد من حيث التكلفة للمستخدم. نحن نرى هذه كجزء من تحول أوسع يتحرك فيه الوكلاء ذوو القدرات المتزايدة من البنية التحتية البعيدة إلى الأجهزة الفردية والمحلية. نتوقع أن تؤدي التطورات في الرقاقات، والنماذج، والأجهزة إلى توسيع نطاق وجودة العمل المعرفي الذي يتعامل معه Portable Computer محلياً بشكل مستمر.