Brain: الذاكرة الوكيلية كويكي معرفي

نظام ملفات Markdown منظم، قابل للتعقب، وذاتي التحسين، يتم تجميعه بلا اتصال بالإنترنت ويتم التنقل فيه عند الطلب.

المؤلفونPerplexity Engineering

يقوم مستخدمو Computer بعمل يمتد لأشهر ومئات الجلسات. بحلول الجلسة العاشرة، يجب أن يكون النظام أكثر إنتاجية بكثير مقارنة بالأولى. يجب أن يجمع السياق حول المستخدم، وتفضيلاته، والعمل الذي تم إنجازه بالفعل.

على سبيل المثال، عند طلب رسم مخطط لسير عمل شرحه المستخدم مسبقاً، يجب على Computer استرجاع التفاصيل واستخدامها لإنشاء وإخراج شكل بالأسلوب المفضل للمستخدم. لا ينبغي أن يحتاج المستخدم إلى إعادة شرح تفاصيل سير العمل أو تكرار تفضيله لملفات PDF على عناصر PNG؛ يجب أن يكون النظام قادراً على استعادة هذا السياق بدقة من الجلسات السابقة وتطبيقه تلقائياً.

الذاكرة هي أساس التحسين المستمر للوكيل. يجب أن يكون نظام الذاكرة الفعال منظماً، قابلاً للتعقب، وقابلاً للتكيف، مما يمكن الوكلاء من البحث بالعرض والعمق المناسبين لكل مهمة مع ترسيخ كل قرار في أحدث المعلومات.

المقدمة

تشبع الوكلاء بالسياق ذي الصلة هو مشكلة متعددة الأوجه. أولاً، يحتاج الوكلاء إلى معرفة ما هو موجود وكيفية الوصول إليه. ثانياً، عندما يجدون معلومة مفيدة، فإنهم بحاجة إلى التأكد من أنها كاملة ودقيقة ومحدثة. الحقيقة المعزولة ذات قيمة محدودة ما لم يتمكن الوكيل من العثور على معلومات ذات صلة، والتحقق من أنها تأتي من مصدر موثوق، والتأكد من أنها لا تحتاج إلى تحديث بملاحظة أحدث.

إن حشو ملفات الذاكرة الثابتة مباشرة في سياق النموذج يتيح أقصى قدر من الوصول للوكلاء، ولكنه يمثل مقايضie كلاسيكية بين الدقة والاسترجاع. ستشبع الكثير من المعلومات نافذة سياق الوكيل بعناصر ذات صلة طفيفة متزايدة، بينما سيؤدي القليل جداً إلى تدهور جودة الإجابة بسبب نقص السياق ذي الصلة. في المقابل، فإن الوصول عند الطلب إلى قواعد البيانات الخارجية أكثر مرونة، ولكنه ينقل عبء التنقل إلى الوكيل. غالباً ما تخزن قواعد بيانات المتجهات شجيرات منفصلة، وتتطلب قواعد بيانات الرسم البياني من الوكلاء معرفة كيفية الاستعلام بفعالية.

في الآونة الأخيرة، قدمنا Brain, وهو مكون أساسي لنظام ذاكرة Computer والذي يقدم الأفضل من كلا العالمين. Brain هو ويكي معرفي منظم يقع فوق ملفات الذاكرة الثابتة والأدلة. تربط الاستشهادات الادعاءات بمصادرها، وترتبط أجزاء المعلومات ذات الصلة جانبياً. يجعل الويكي المنظم السياق قابلاً للتنقل عند الطلب، بينما يتم الاحتفاظ بالعناصر المفصلة في الطبقة تحته.

ويكي المعرفة Brain معروض كرسم بياني، حيث الكيانات عُقد والحواف تربط المواضيع ذات الصلة.
نموذج Brain يعتمد على شخصية اصطناعية.

يتصل Brain بنظام ذاكرة شامل مع ثلاثة مكونات رئيسية: تخزين الذاكرة المتينة، ووكلاء المقدمة الذين يستخدمون الذاكرة للإجابة على الاستعلامات، ووكلاء الخلفية الذين يحدثون ويحسنون الذاكرة. يصور الشكل التالي هذه المكونات الواقعة ضمن بنية النظام العامة لـ Brain.

مخطط البنية يوضح تخزين الذاكرة المتينة، ووكلاء المقدمة الذين يقرؤون الذاكرة، ووكلاء الخلفية الذين يحدثون الذاكرة.
يتكون نظام الذاكرة من ذاكرة متينة مشتركة، ووكلاء المقدمة الذين يستخدمون الذاكرة، ووكلاء الخلفية الذين يحدثون الذاكرة.

في هذه المقالة، نوجز كل طبقة بعمق، موضحين كيف ينظم Brain الذاكرة، وكيف يستخدمها الوكلاء، وكيف تبقيه عمليات الخلفية محدثة. نعرض أيضاً نتائج التقييمات الداخلية التي تثبت تصميم Brain، مما يوضح أنه يحسن أداء الوكيل بتكلفة أقل.

تنظيم الذاكرة وتخزينها

تحتاج الذاكرة إلى تمثيل يتوسع ليصل إلى سجل المستخدم الكامل دون فرض كل جزء من السياق في الموجه. يمثل نظام ذاكرة Computer السياق المستمر كنظام ملفات. يقوم Brain بتوليف المعرفة عبر المصادر الخام، وربط المواضيع ذات الصلة وربط المطالبات بالجلسات والملفات التي تدعمها. يتيح لنا هذا الهيكل، المفصل أدناه، تنظيم الذاكرة في شكل مناسب بشكل خاص للوكلاء.

الذاكرة المستندة إلى نظام الملفات

تعيش جلسات Computer بالفعل في بيئة معزولة (sandbox) تحتوي على نظام ملفات، وغلاف (shell)، وأدوات إدخال/إخراج. عند تصميم Brain، أردنا إدخال أقل قدر ممكن من الآليات الجديدة في واجهة التفاعل بين النموذج وذاكرة الوكيل. ولهذا السبب بنينا Brain فوق طبقة سياق أصلية لنظام الملفات. يتم تجسيد الذاكرة كملفات في بيئة المعزولة ضمن دليل memory/، ويستخدم الوكيل ببساطة نفس الأدوات على ملفات الذاكرة التي ي استخدمها بالفعل على كل شيء آخر.

في جذور شجرة الذاكرة توجد ثلاثة أدلة عليا تحافظ على السياق بمستويات تجريد متفاوتة. knowledge/ هو Brain نفسه، وهو ويكي معرفي موالف يربط الكيانات والمفاهيم والمشاريع النشطة والتعلمات السابقة؛ ويحتوي notes/ على مقتطفات مقطرة منظمة كمجلدات موضوعية؛ ويحمل sessions/ الفهارس والملخصات والنصوص الكاملة كتواريخ خام. يظهر الشكل أدناه عرضاً مبسطاً للتخطيط.

شجرة الدليل تظهر memory/ مع مجلدات فرعية knowledge/ و notes/ و sessions/.
عرض نموذجي لتخطيط نظام ملفات الذاكرة.

الأسطح متكررة عن قصد. للأسئلة البسيطة ذات القفزة الواحدة، يكفي غالباً البحث عن مقتطفات داخل /notes عن كلمة رئيسية، بينما تكون طبقة /knowledge مفيدة للغاية للأسئلة التي تتطلب خياطة الأدلة عبر أسابيع أو أشهر من جلسات Computer.

Brain: ويكي المعرفة

تم تنسيق Brain كـ ويكي نموذج لغة كبير (LLM), وهو نظام من ملفات Markdown المرتبطة. يوفر هذا الشكل من ملفات Markdown المهيكلة قليلاً رؤية شاملة للسياق الموجود، بحيث يمكن للوكلاء فهم السجلات المتاحة بسهولة، وكيفية ارتباطها، وأين يمكن العثور عليها. كل صفحة هي عرض مُدار لموضوع واحد؛ ويجب أن تظل مفيدة عند قراءتها وحدها مع تسهيل المزيد من الاستكشاف من خلال الروابط.

تأتي الروابط في نوعين. [[wikilinks]] هي حواف السياق. وهي تربط الصفحات جانبياً؛ قد يرتبط المشروع بصاحبه، أو عميله، أو المفاهيم التي يعتمد عليها. متابعتها تجيب على "ما الذي يحتاج إلى معرفته أيضاً؟" [cite:N] المراجع هي حواف الأدلة. وهي تربط الادعاءات نزولاً إلى الجلسات الخام أو مصادر الموصل التي تدعمها. متابعتها تجيب على "كيف أعرف أن هذا صحيح؟"

توضح الأشكال أدناه شكل جزء من Brain لشخصية اصطناعية، وهي باحثة في إمكانية الوصول تُدعى نادية. يتضمن Brain الخاص بها صفحة عن مشروع نموذج، وسباق تصميم عالمي في اليابان، وتوليف المعرفة من الجلسات والموصلات. يوضح عرض الرسم البياني كيف تربط حواف السياق والأدلة الموجودة في الصفحة الكيانات والمصادر ذات الصلة.

صفحة ويكي Brain نموذجية مقدمة بتنسيق Markdown، تظهر روابط الويكي وحواف الاستشهاد مضمنة.
Brain هو نظام من ملفات Markdown.
رسم فرعي من صفحة ويكي Brain نموذجية، يتم تصوره كرسم بياني للكيانات والمصادر المتصلة.
تشكل حواف السياق والأدلة المضمنة هيكلاً بيانياً لسهولة التنقل.

نظام Brain مدعوم بواسطة Git للحفاظ على تاريخ الإصدارات، مما يدعم طبيعته المتطورة باستمرار. يمكن تعديل الصفحات بمرور الوقت، بينما تسجل سجلات التغييرات التحديثات الرئيسية وتسمح للوكلاء بفحص الإصدارات السابقة والاختلافات بسهولة. يدعم هذا أيضاً التنسيق الوكيلي، وهو أمر بالغ الأهمية حيث قد يستخدم وكلاء متعددون Brain ويحدثونه دفعة واحدة.

استخدام Brain

عند الإجابة على استعلام المستخدم، يحتاج الوكلاء إلى القدرة على العثور على السياق الصحيح بالمستوى الصحيح من التفاصيل. يجعل هيكل Brain من السهل على الوكلاء استكشاف الذاكرة. يمكن للوكلاء الاختيار بين خطوات قابلة للتنفيذ مثل متابعة روابط السياق للعثور على معلومات ذات صلة، أو متابعة روابط الأدلة للتحقق من الادعاءات، أو استدعاء وكيل فرعي للحصول على سياق إضافي وتوليفه. نحن نوجّه عملية الاستكشاف الوكيلي بعدة طرق تهدف إلى تعظيم سهولة وصول الوكلاء إلى المعلومات ذات الصلة.

استراتيجية الاستكشاف

نحن نضمن فهرساً مدمجاً لـ Brain ضمن رسالة المستخدم الأولية، بحيث يبدأ الوكيل بمعرفة عاملة لما موجود بالفعل. يتفاعل الوكيل بعد ذلك مع Brain باستخدام عمليات مألوفة: قراءة عناصر محددة مشار إليها بواسطة الفهرس، باستخدام grep للبحث عبر الصفحات، ومتابعة الروابط وفحص الاستشهادات، ومقارنة مراجعات Git، والنزول إلى الجلسات أو المسارات الخام. يصور كتلة الكود أدناه أوامر نموذجية لشخصية اصطناعية.

bash
# 1. Orient: the index is a map of everything known cat memory/knowledge/index.md # 2. Target: find pages that touch the question grep -Ril "kyoto\|sendai" memory/knowledge/ # 3. Read the page; follow context edges as needed cat memory/knowledge/projects/japan-universal-design-sprint.md cat memory/knowledge/entities/sora-city-laboratory.md # via [[wikilink]] cat memory/knowledge/entities/sapphir-mobility-coop.md # via [[wikilink]] # 4. Only if the claim must be verified: resolve evidence # city bases → [cite:1], [cite:10] → pplx://sessions/<id> # # Example (pseudo, replace with your real tool): # pplx-session-fetch 1eaf53d4-09e0-5823-bb96-c8662f582708 --slice <slice-id> # 5. Some evidence lives outside the sessions # meeting slots → [cite:15] → connector://google-calendar # # pplx-connector-fetch google-calendar --query "japan-sprint"

يستكشف الوكلاء هذا السياق من خلال حلقة موجهة ذاتياً، بدلاً من خط أنابيب ثابت. لذلك، يمكن للوكل الاستمرار في البحث حتى يقتنع بالسياق الذي تم العثور عليه. يمكن للوكيل أيضاً اختيار وقت فحص الاستشهادات والأدلة للعثور على التفاصيل أو التحقق منها. قد يتم اعتماد مسألة تفضيل طفيفة مباشرة من صفحة Brain واحدة، بينما قد يبرر القرار المهم أو التعارض بين المصادر متابعة الاستشهاد وقراءة السجل الأصلي. يتيح الهيكل المستند إلى الرسم البياني للوكيل الاختيار بين خطوات تالية ملموسة، بدلاً من البحث بلا هدف عن معلومات ذات صلة.

مخطط تدفق لوكيل يستكشف تدريجياً Brain من خلال متابعة الروابط بين الصفحات والاستشهادات بالمصادر الأولية.
يمكن للوكيل متابعة روابط Brain إلى صفحات Brain الجديدة أو مصادر الأدلة حتى يقتنع بأن لديه ما يكفي من السياق للمهمة.

تجسيد الملفات

لكي يعمل الاستكشاف الوكيلي، يحتاج الوكيل إلى الوصول إلى شجرة memory/ بالكامل من خلال نظام ملفات بيئة المعزولة (sandbox). يعد نسخ الشجرة بأكملها محلياً في كل مرة يتم فيها تمهيد بيئة معزولة أمراً مكلفاً وغير ضروري، حيث لن يمس الوكيل الغالبية العظمى من تلك الملفات. خيار آخر سيكون استخدام نظام ملفات بعيد، بحيث يمكن للوكلاء الوصول إلى أي ملف دون نسخه محلياً. ومع ذلك، غالباً ما يقوم الوكلاء بآلاف عمليات نظام الملفات في أمر واحد؛ وإذا أصبح كل منها طلب شبكة، تبدأ تكلفة رحلة الذهاب والعودة في السيطرة على حلقة الاستكشاف. في الاختبارات الداخلية، كانت أحمال عمل grep البسيطة عبر مسار مدعوم بـ FUSE عن بُعد أبطأ بحوالي 400 إلى 500 مرة من العمليات المكافئة عبر الملفات المحلية.

بدلاً من ذلك، نبني مجموعة عمل محلية من الملفات المجسدة، بينما تظل مجموعة البيانات الأكبر خلف نظام استرجاع الذاكرة. يقوم Computer بتحميل خريطة أولية مسبقاً (مأخوذة من الذكريات الأخيرة، والجلسات، والملخصات، والمعرفة المتاحة) على بيئة المعزولة عندما يتم تمهيدها. يمتلك وكلاء Computer إمكانية الوصول إلى وكيل الذاكرة، وهو وكيل فرعي يمكنه إجراء البحث الدلالي وتحميل مجموعة جديدة من الملفات. عندما يكون السياق المطلوب غائباً، يمكن لـ Computer استدعاء وكيل الذاكرة مع وصف للمعلومات المطلوبة. يبحث وكيل الذاكرة عبر الملفات، ويعيد توليفاً نصياً فورياً ويجسد السجلات الداعمة كملفات تحت شجرة الذاكرة. وبهذه الطريقة، تتوسع مجموعة العمل بشكل طبيعي وتدريجي بمرور الوقت، مع الحفاظ على المسارات المستقرة وعلاقات المصادر للأدلة الموجودة بالفعل.

مخطط يوضح التحميل المسبق للملفات الأولية بالإضافة إلى استرجاع وكيل الذاكرة عند الطلب لتجسيد الملفات في بيئة المعزولة.
يقوم التحميل المسبق للجلسة والاسترجاع الدلالي بواسطة وكيل الذاكرة بتحميل خريطة أولية للملفات التي من المرجح أن يحتاجها الوكيل.

يحل هذا التصميم بشكل نظيف عنق الزجاجة في زمن الوصول. يضمن تخزين الملفات ذات الصلة محلياً أن عمليات نظام الملفات المطلوبة للاستكشاف تظل سريعة، ويسمح الاسترجاع المجمع لمجموعة الملفات المجسدة بالنمو دون الحاجة إلى مكالمات منفصلة لكل ملف أو تحميل عدد كبير من الملفات غير الصلة. يمنح تصميم الوكيل المتداخل أيضاً Computer فوائد الاسترجاع الوكيلي دون مطالبة الوكيل الرئيسي بالبحث في مجموعة الواجهة الخلفية الكاملة مباشرة في كل مرة، مع الحفاظ على نافذة السياق الخاصة به للمعلومات ذات القيمة الأعلى.

الحفاظ على Brain

يتعلم المستخدمون باستمرار من العمل الذي يقومون به والمحادثات التي يجرونها، لذا يحتاج الذاكرة الوكيلية إلى فعل الشيء نفسه. لكي يظل Brain مفيداً، يجب أن يكون تمثيلاً موجزاً لأهم المعرفة. يجب إنشاء صفحات جديدة للكيانات الجديدة المهمة، وإضافة معلومات جديدة إلى صفحات Brain ذات الصلة، وإزالة السياق القديم في موسمه. على سبيل المثال، إذا تغيرت وظيفة المستخدم، يجب أن يعكس Brain هذا التغيير؛ يجب أن يحتوي على الوظيفة الجديدة للمستخدم ويعطي الأولوية للمعلومات المتعلقة بمسؤولياتهم ومشاريعهم الجديدة.

يتم الحفاظ على Brain بواسطة وكلاء خلفية نسميهم Dream. يعمل وكلاء Dream دون اتصال بالإنترنت عبر الذاكرة المستندة إلى الملفات، ويقومون بتوليف المعلومات الجديدة في تحديثات Brain. لقد حددنا بعناية نطاق وسلوك وكلاء Dream لتنفيذ هذه المهمة بكفاءة، إلى جانب الحواجز الخاصة بـ Dream لضمان أن تحديثات Brain متسقة ودقيقة.

Dream: وكلاء الخلفية لتنقيح الذاكرة

يعمل وكلاء Dream في بيئات معزولة مع إمكانية الوصول إلى نفس نظام الملفات والأدوات للقراءة فقط التي ستتوفر لجلسة Computer تفاعلية، ولكن هدفهم الوحيد هو تحسين السياق للجلسات المستقبلية. يبدأ كل تشغيل من Brain الناتج عن عمليات التشغيل السابقة بدلاً من إعادة بناء سياق المستخدم من الصفر. ثم يستخدم Brain الحالي ليوجه نفسه وينتج Brain محدثاً لتستخدمه عمليات التشغيل المستقبلية.

مخطط الحلقة: الجلسات التفاعلية تغذي Dream، الذي يحدث Brain، مما يحسن الجلسات المستقبلية.
يعمل وكلاء Dream في الخلفية لتحديث Brain، مما يشكل حلقة تحسين ذاتي.

يتلقى وكيل Dream بيئة ويقرر كيف يكتشفها، بدلاً من تلقي مدخلات ثابتة مسطحة في موجه واحد. يمكنه التنقل في الذاكرة المستندة إلى الملفات، واستخدام أدوات موصل معتمدة للقراءة فقط للتحقق من معلومة ما، وتفويض أجزاء محددة من العمل إلى وكلاء فرعيين، بما في ذلك وكيل الذاكرة. يتم تحديد نطاق ومسؤوليات وكيل Dream كـ مهارة.

بشكل عام، يتكون تشغيل Dream من 4 مراحل:

  1. التوجيه: يكمل الوكيل إجراء توجيه مرتب. يحدد النطاق الموثوق، والتعليمات الثابتة، وسجل الحذف، والمدخلات الإضافية، وشروط التوقف.
  2. تلخيص الجلسات: لكل جلسة جديدة (أو شهدت منعطفات جديدة) منذ التحديث الأخير، يكتب الوكيل (أو يحدث) ملخصاً قصيراً للجلسة.
  3. إرفاق الحقائق بالمواضيع: يضيف الوكيل كل ملاحظة يراها مهمة إلى موطنها المناسب، والذي عادة ما يكون صفحة ويكي. يقوم بالتحقيق والاستعلام عن الموصلات المصادق عليها عند توفرها.
  4. تحديث ويكي المعرفة: يقوم الوكيل بتحديث الويكي بناءً على نتائجه. يمكنه إنتاج صفحات جديدة للمواضيع الدائمة، أو مراجعة الصفحات عندما يتغير التوليف الحالي، أو إضافة روابط أو استشهادات جديدة تدعم ادعاءً واقعياً. ويمكنه أيضاً اختيار عدم إجراء أي تغييرات عندما يكون الرسم البياني الحالي صحيحاً بالفعل.

لضمان أن تكون أي تحديثات ل Brain كاملة ومتسقة، يكتب الوكلاء الحالة المقترحة في شجرة إخراج مرحلية. لا يتم إجراء أي تغييرات دائمة حتى يقوم الوكيل بجميع التحديثات التي يراها ضرورية. يجعل تنسيق تلك القرارات في عملية وكيلة واحدة من الممكن تحديث الرسم البياني ككل وليس كصفحات غير ذات صلة.

مخطط حارة السباحة لتشغيل Dream ينتج تحديثات مقترحة لصفحات Brain.
يستخدم وكلاء Dream نظام Brain الحالي والمعلومات الجديدة لاقتراح وكتابة التحديثات.

يجب أن تمر أي تغييرات بنوعين من عمليات التحقق من الصحة. تضمن عمليات التحقق من الصحة الحتمية أن الصفحات منسقة بشكل جيد وتلبي المعايير الموضوعية، مثل البيانات الوصفية المطلوبة وتنسيق الاستشهاد. تضمن عمليات التحقق من التحقق الدلالي أن التوليف المقترح مدعوم بالأدلة المجمعة ويبقى متسقاً مع بقية الرسم البياني. بعد أن ينتهي الوكيل بنجاح، تقارن خطوة مزامنة خاضعة للرقابة الإخراج المرحلي مقابل الحالة السابقة وتطبق التغييرات على المستودع. عند اكتمال خطوة المزامنة، يمكن فحص المجموعة النهائية من التعديلات من خلال تاريخ إصدارات Git.

التحقق من صحة Brain

يجب أن يحافظ نظام الذاكرة المفيد على الأدلة ذات الصلة، ويطرحها عند الحاجة، ويساعد الوكيل على تحويل تلك الأدلة إلى إجابة صحيحة. لذلك نقوم بتقييم Brain على مستويات متعددة: الاستئصال غير المتصل الخاضع للرقابة، وإعادة التشغيل المقترنة المستمرة، والتجارب الإنتاجية العشوائية.

التقييمات غير المتصلة

يستخدم تقييمنا الأساسي غير المتصل مجموعة بيانات داخلية من 640 سؤالاً عبر 44 شخصية اصطناعية. تعيد الشخصيات إنتاج الأنماط المستمدة من الإنتاج في إيقاع الجلسات، وعدد المنعطفات، ومزيج المواضيع، وكثافة الحقائق، بينما لا تحتوي على نص استعلام إنتاجي للحفاظ على خصوصية المستخدم. يتم ملء كل حساب من خلال خط أنابيب الذاكرة الإنتاجي، بما في ذلك استخراج الذاكرة، وملخصات المحادثات، وتجميع Dream لويكي المعرفة. لكل سؤال، ترتبط الإجابة الصحيحة ميكانيكياً بأدلة محددة موجودة في تاريخ الحساب.

على سبيل المثال، بالنسبة لنادية، الشخصية الاصطناعية لباحثة إمكانية الوصول المقدمة سابقاً، تتضمن مجموعة البيانات السؤال: "ما هي المنظمات التي أقابلها في كيوتو وسينداي؟" وتظهر الإجابة (مختبر مدينة سورا في كيوتو وتعاونية سابفير موبيليتي في سينداي) مباشرة على صفحة الويكي المقابلة.

نقارن نفس الأسئلة والحسابات مع تمكين ويكي المعرفة المجمّع مقابل حظبه. تظل أسطح الذاكرة الأخرى متاحة في كلا الحالتين. هذا يعزل المساهمة الإضافية لـ Brain، بدلاً من مقارنة الذاكرة بعدم وجود ذاكرة. بشكل عام، زاد Brain صحة الإجابات من 0.600 إلى 0.661، بزيادة قدرها 6.1 نقاط مئوية، واسترجاع الأدلة من 0.573 إلى 0.625، بزيادة قدرها 5.2 نقاط مئوية. كان التأثير أكبر للأسئلة حول التفضيلات (+10.2 نقطة مئوية)، والتفكير الزمني (+8.6 نقطة مئوية)، واستخراج التفاصيل من النشاط السابق (+6.9 نقطة مئوية). في 84% من الأسئلة، لمس الوكيل بشكل يمكن التحقق منه مصدراً مرتبطاً بالأدلة الذهبية.

مخطط شريطي يقارن صحة الإجابة واسترجاع الأدلة مع وبدون Brain عبر فئات الأسئلة.
يحسن Brain الأداء على معيارنا الداخلي.

قمنا أيضاً بتشغيل استئصالات مطابقة لـ Brain على مجموعات فرعية من معيارين عامين. على LoCoMo، أدى إزالة الويكي إلى تقليل صحة الإجابة بنسبة 4.6 نقطة مئوية في المتوسط، على مدار ثلاثة تشغيلات بنماذج مختلفة. على LongMemEval-S، لم ينتج عنه تغيير ذو دلالة إحصائية. تتسق هذه النتيجة مع الدور المقصود لـ Brain. يختبر LongMemEval-S بشكل أساسي استرداد الحقائق من الجلسات الفردية، حيث توفر النصوص الأساسية مساراً زائداً عن الحاجة للإجابة. يضع LoCoMo تركيزاً أكبر على الأدلة المتناثرة عبر المحادثات والمتحدثين والتواريخ، مما يخلق فرصاً أكبر لمساهمة توليف الويكي عبر الجلسات.

بشكل عام، مع تمكين Brain، حقق وكيل الإنتاج صحة إجابة قدرها 0.91 على LongMemEval-S و0.83 على LoCoMo. نظراً لأن هذه التجارب استخدمت مجموعات فرعية معيارية، فإنها ليست نتائج معيارية نهائية. ومع ذلك، لا تزال الاستئصالات توفر إشارة قوية على أن الويكي يحسن الأداء، خاصة عندما يجب دمج الأدلة عبر المحادثات. ونظراً لأن Brain جزء من Computer، وليس نظام استرجاع محسن خاص بالمعايير، فإننا نعتقد أن التنافسية ستزيد فقط مع المهام التي تشبه سير عمل الإنتاج بشكل أكبر.

التقييمات عبر الإنترنت

لا تستطيع مجموعات البيانات غير المتصلة التقاط كل ميزة من سجلات المستخدم الحقيقية، لذلك نقوم أيضاً بتشغيل تقييم مقترن يومي عبر مجموعات أتراب مستمدة من الإنتاج الطازج. تتم الإجابة على نفس الأسئلة الثابتة مقابل حالة مستخدم متطابقة مع تمكين Brain وتعطيله، ثم يتم الحكم عليها من حيث الصحة والحداثة والاسترجاع.

أثبتت النتائج الأولية المبلغ عنها في 18 يونيو أن Brain يزيد من صحة الإجابة بنسبة 25% والاسترجاع بنسبة 16%. استمرت مكاسب الأداء هذه في الثبات؛ على مدار الثلاثين يوماً الماضية، تفوق الجلسات التي تم تمكين Brain فيها على التحكم في كل تشغيل وكل بعد تم الحكم عليه. بالأرقام المطلقة، استمتع مستخدمو Computer بتحسينات قدرها 9.3 نقطة في الدقة، و8.0 نقاط في الحداثة، و8.9 نقاط في الاسترجاع. استخدمت المسارات الممكّنة بـ Brain أيضاً رموزاً أقل بنسبة 15% تقريباً، وتكلفتها أقل بنسبة 10%، وأكملت التوليد أسرع بنسبة 10%.

مخطط لنتائج التقييم المقترن عبر الإنترنت يوضح المكاسب في الدقة والحداثة والاسترجاع إلى جانب تخفيضات الرموز والتكلفة وزمن الوصول.
يزيد Brain من جودة الإجابة ويقلل التكلفة.

التحسين المستمر

لقد واصلنا تحسين Brain لتقديم تجربة الذاكرة الأفضل للمستخدمين. أحد التغييرات الأخيرة يضع الفهرس المدمج لـ Brain مباشرة في السياق الأولي للوكيل بدلاً من مطالبة الوكيل باكتشافه وقراءته لاحقاً. في تجربة عشوائية، أدى علاج التعبئة المسبقة هذا إلى زيادة استخدام Brain وتقليل الاستياء المتعلق بالذاكرة بنسبة 6.9%.

يعمل جهاز تقييم غير المتصل أيضاً كجزء من خط أنابيب تحسين ذاتي. يتم تشغيل التغييرات المقترحة على وكيل ذاكرة Brain، ومهارات الاسترجاع، والموجهات من خلال الاستئصالات المطابقة على مجموعة البيانات الداخلية والمعايير العامة لدينا. يمكن لوكلاء Computer التكرار على النتائج بشكل مستقل، مع الحفاظ على تغيير كل تكرار، والفروق، والتكلفة كسجل دائم والاحتفاظ فقط بالتغييرات التي تحرك الأرقام. والنتيجة هي نظام يكون فيه مقيمو Brain هم أيضاً محسنوه، مما يدفع التحسينات المستقبلية.

الخاتمة

التعلم المستمر هو أحد التحديات المحددة لبناء أنظمة وكيلة تعمل على مدار الأسابيع والأشهر. نعتقد أن بنيات الذاكرة يتم عرضها بشكل أفضل كبيئات يمكن للوكلاء استكشافها مباشرة باستخدام مجموعات أدواتهم العادية. إن عرض الذاكرة كنظام ملفات، مع Brain كويكي معرفي منظم في الأعلى، يجعل السياق قابلاً للتنقل بكفاءة من خلال أدوات بسيطة ومألوفة.

تم تصميم Brain للتحسين الذاتي، بحيث يمكن لنظام الذاكرة الاستمرار في التحسن مع نمو الاستخدام. يقوم وكلاء خلفية Dream بقطر المعلومات الجديدة في تحديثات Brain، مما يضمن أن وكلاء المقدمة يبدؤون دائماً جلسة جديدة برؤية منظمة لأحدث السياقات. يعمل جهاز الاختبار أيضاً كمساحة اختبار لحلقات البحث التلقائي على بنية الذاكرة الأساسية واجهات الموجهة للوكلاء.

بالفعل، أسفر Brain عن جلسات وكيلة أكثر دقة وأعلى أداء مع تقليل الرموز المستهلكة. يضمن تصميمنا المتسق لـ Brain مع حزمة إنتاج Computer أن تحولات هذه المكاسب مباشرة إلى فوائد حقيقية للمستخدمين.

نواصل بناء المزيد من الإمكانيات لتحسين جودة ذاكرة Computer. في هذه الأثناء، بالنسبة للمستخدمين الذين تم تمكين Brain لديهم، ستتحسن الذاكرة مع كل جلسة.