Brain: ज्ञान विकी के रूप में एजेंटिक मेमोरी
एक संरचित, ट्रैसेबल, स्व-सुधार करने वाला Markdown फ़ाइल सिस्टम, जिसे ऑफ़लाइन संकलित किया जाता है और मांग पर नेविगेट किया जाता है।
कंप्यूटर उपयोगकर्ता ऐसा काम करते हैं जो महीनों और सैकड़ों सत्रों तक फैला होता है। दसवें सत्र तक, सिस्टम को पहले की तुलना में कहीं अधिक उत्पादक होना चाहिए। इसे उपयोगकर्ता, उनकी प्राथमिकताओं और पहले से किए जा चुके काम पर संदर्भ जमा करना चाहिए।
उदाहरण के लिए, जब उपयोगकर्ता द्वारा पहले समझाए गए वर्कफ़्लो का आरेख बनाने के लिए कहा जाता है, तो कंप्यूटर को विवरणों को याद रखना चाहिए और उपयोगकर्ता की पसंदीदा शैली में एक आंकड़ा बनाने और आउटपुट करने के लिए उनका उपयोग करना चाहिए। उपयोगकर्ता को वर्कफ़्लो के विवरण को फिर से समझाने या PNG कलाकृतियों पर PDF के लिए उनकी प्राथमिकता को दोहराने की आवश्यकता नहीं होनी चाहिए; सिस्टम को पिछले सत्रों से उस संदर्भ को सटीक रूप से पुनर्प्राप्त करने और इसे स्वचालित रूप से लागू करने में सक्षम होना चाहिए।
मेमोरी निरंतर एजेंट सुधार की नींव है। एक प्रभावी मेमोरी सिस्टम संरचित, पता लगाने योग्य और अनुकूलनीय होना चाहिए, जिससे एजेंटों को प्रत्येक कार्य के लिए सही चौड़ाई और गहराई में खोज करने में सक्षम बनाया जा सके जबकि हर निर्णय को सबसे वर्तमान जानकारी में ग्राउंड किया जा सके।
परिचय
प्रासंगिक संदर्भ के साथ एजेंटों को प्रभावित करना एक बहुआयामी समस्या है। सबसे पहले, एजेंटों को यह जानने की आवश्यकता है कि क्या मौजूद है और इसे कैसे एक्सेस किया जाए। दूसरा, जब उन्हें जानकारी का एक मददगार टुकड़ा मिलता है, तो उन्हें यह सुनिश्चित करने की आवश्यकता होती है कि यह पूर्ण, सटीक और अद्यतित है। एक अलग तथ्य का सीमित मूल्य होता है जब तक कि एजेंट संबंधित जानकारी नहीं ढूंढ सकता है, यह सत्यापित नहीं कर सकता है कि यह एक विश्वसनीय स्रोत से आता है, और यह सुनिश्चित नहीं करता है कि इसे अधिक हाल के अवलोकन के साथ अपडेट करने की आवश्यकता नहीं है।
मॉडल संदर्भ में स्थिर मेमोरी फ़ाइलों को सीधे भरना एजेंटों के लिए पहुंच को अधिकतम करता है, लेकिन एक क्लासिक परिशुद्धता-रिकॉल ट्रेडऑफ़ प्रस्तुत करता है। बहुत अधिक जानकारी एजेंट के संदर्भ विंडो को तेजी से मामूली प्रासंगिकता की वस्तुओं से संतृप्त कर देगी, जबकि बहुत कम प्रासंगिक संदर्भ की कमी के कारण उत्तर की गुणवत्ता को नीचा दिखाएगी। इसके विपरीत, बाहरी डेटाबेस तक मांग पर पहुंच अधिक लचीली है, लेकिन नेविगेशन का बोझ एजेंट पर डालती है। वेक्टर डेटाबेस अक्सर डिस्कनेक्ट किए गए टुकड़ों को संग्रहीत करते हैं, और ग्राफ़ डेटाबेस को यह जानने के लिए एजेंटों की आवश्यकता होती है कि प्रभावी ढंग से कैसे पूछताछ की जाए।
हाल ही में, हमने Brain पेश किया, जो कंप्यूटर की मेमोरी सिस्टम का एक मुख्य घटक है जो दोनों दुनिया का सर्वश्रेष्ठ प्रदान करता है। Brain एक संरचित ज्ञान विकी है जो स्थिर मेमोरी फ़ाइलों और साक्ष्य के ऊपर बैठता है। उद्धरण दावों को उनके स्रोतों से जोड़ते हैं, और जानकारी के संबंधित टुकड़े पार्श्व रूप से जुड़े होते हैं। संगठित विकी संदर्भ को मांग पर नेविगेट करने योग्य बनाता है, जबकि विस्तृत कलाकृतियाँ इसके नीचे की परत में बरकरार रखी जाती हैं।
Brain तीन प्रमुख घटकों के साथ एक व्यापक मेमोरी सिस्टम से जुड़ता है: टिकाऊ मेमोरी स्टोरेज, अग्रभूमि एजेंट जो प्रश्नों का उत्तर देने के लिए मेमोरी का उपयोग करते हैं, और पृष्ठभूमि एजेंट जो मेमोरी को अपडेट और सुधारते हैं। निम्नलिखित आकृति Brain के समग्र सिस्टम आर्किटेक्चर के भीतर स्थित इन घटकों को दर्शाती है।
इस लेख में, हम प्रत्येक परत का गहराई से वर्णन करते हैं, यह समझाते हुए कि Brain मेमोरी को कैसे व्यवस्थित करता है, एजेंट इसका उपयोग कैसे करते हैं, और पृष्ठभूमि प्रक्रियाएं इसे अद्यतन कैसे रखती हैं। हम आंतरिक मूल्यांकनों के परिणाम भी प्रस्तुत करते हैं जो Brain के डिज़ाइन को मान्य करते हैं, यह प्रदर्शित करते हुए कि यह कम लागत पर एजेंट के प्रदर्शन में सुधार करता है।
मेमोरी संगठन और भंडारण
मेमोरी को एक ऐसे प्रतिनिधित्व की आवश्यकता होती है जो हर संदर्भ के टुकड़े को प्रॉम्प्ट में मजबूर किए बिना उपयोगकर्ता के पूरे इतिहास तक स्केल करता है। कंप्यूटर की मेमोरी सिस्टम लगातार संदर्भ को फ़ाइल सिस्टम के रूप में प्रस्तुत करता है। Brain कच्चे स्रोतों में ज्ञान को संश्लेषित करता है, संबंधित विषयों को जोड़ता है और दावों को उन सत्रों और फ़ाइलों से वापस जोड़ता है जो उनका समर्थन करते हैं। यह संरचना, नीचे विस्तृत है, हमें एजेंटों के लिए विशेष रूप से उपयुक्त रूप में मेमोरी को व्यवस्थित करने की अनुमति देती है।
फ़ाइल सिस्टम-आधारित मेमोरी
कंप्यूटर सत्र पहले से ही फ़ाइल सिस्टम, शेल और I/O यूटिलिटीज़ वाले सैंडबॉक्स में रहते हैं। Brain को डिज़ाइन करते समय, हम मॉडल और एजेंट मेमोरी के बीच के इंटरफ़ेस में कम से कम नए तंत्र पेश करना चाहते थे। इसीलिए हमने फ़ाइल सिस्टम-मूल संदर्भ परत के ऊपर Brain का निर्माण किया। मेमोरी को सैंडबॉक्स में memory/ निर्देशिका के तहत फ़ाइलों के रूप में मटेरियलाइज़ किया जाता है, और एजेंट मेमोरी फ़ाइलों पर बस उन्हीं टूल का उपयोग करता है जिनका वह अन्य सभी चीज़ों पर पहले से ही उपयोग करता है।
मेमोरी ट्री की जड़ में तीन शीर्ष-स्तरीय निर्देशिकाएं बैठती हैं जो अमूर्तता के विभिन्न स्तरों पर संदर्भ बनाए रखती हैं। knowledge/ स्वयं Brain है, एक संश्लेषित ज्ञान विकी जो संस्थाओं, अवधारणाओं, सक्रिय परियोजनाओं और पिछले सीखों को जोड़ती है; notes/ में विषयगत फ़ोल्डरों के रूप में व्यवस्थित आसुत स्निपेट्स शामिल हैं; और sessions/ कच्चे इतिहास के रूप में सूचकांक, सारांश और पूर्ण ट्रांसक्रिप्ट रखता है। नीचे दी गई आकृति लेआउट का एक सरल दृश्य दिखाती है।
सतहें जानबूझकर अतिरेकपूर्ण हैं। सरल, एकल-हॉप प्रश्नों के लिए, किसी कीवर्ड के लिए /notes के भीतर स्निपेट्स की खोज करना अक्सर पर्याप्त होता है, जबकि /knowledge परत उन प्रश्नों के लिए सबसे उपयोगी है जिनके लिए कंप्यूटर सत्रों के हफ्तों या महीनों में साक्ष्य को जोड़ने की आवश्यकता होती है।
Brain: द नॉलेज विकी
Brain को LLM विकी के रूप में स्वरूपित किया गया है, जो लिंक किए गए मार्कडाउन फ़ाइलों की एक प्रणाली है। हल्के ढंग से संरचित मार्कडाउन का यह रूप मौजूदा संदर्भ का एक समग्र दृश्य प्रदान करता है, ताकि एजेंट आसानी से समझ सकें कि कौन से रिकॉर्ड उपलब्ध हैं, वे कैसे संबंधित हैं, और उन्हें कहाँ ढूंढना है। प्रत्येक पृष्ठ एक विषय का अनुरक्षित दृश्य है; लिंक के माध्यम से आगे के अन्वेषण को आसान बनाते हुए इसे अकेले पढ़ने पर उपयोगी रहना चाहिए।
लिंक दो प्रकार के होते हैं। [[wikilinks]] संदर्भ एज हैं। वे पृष्ठों को पार्श्व रूप से जोड़ते हैं; एक प्रोजेक्ट अपने मालिक, अपने क्लाइंट, या उन अवधारणाओं से जुड़ सकता है जिस पर वह निर्भर करता है। उनका अनुसरण करने पर उत्तर मिलता है "मुझे और क्या जानने की आवश्यकता है?" [cite:N] संदर्भ साक्ष्य एज हैं। वे दावों को नीचे कच्चे सत्रों या कनेक्टर स्रोतों से जोड़ते हैं जो उनका समर्थन करते हैं। उनका अनुसरण करने पर उत्तर मिलता है "मुझे कैसे पता चलेगा कि यह सच है?"
नीचे दिए गए आंकड़े दर्शाते हैं कि एक सिंथेटिक पर्सना, नादिया नाम की एक पहुंच शोधकर्ता के लिए Brain का एक हिस्सा कैसा दिखेगा। उसके Brain में एक नमूना परियोजना पर एक पृष्ठ शामिल है, जापान में एक सार्वभौमिक डिज़ाइन स्प्रिंट, सत्रों और कनेक्टर्स से ज्ञान का संश्लेषण करना। ग्राफ़ दृश्य प्रदर्शित करता है कि पृष्ठ में मौजूद संदर्भ और साक्ष्य एज संबंधित संस्थाओं और स्रोतों को कैसे जोड़ते हैं।
संस्करण इतिहास को सुरक्षित रखने के लिए Brain गिट-समर्थित है, जो इसकी निरंतर विकसित होने वाली प्रकृति का समर्थन करता है। समय के साथ पेजों को संपादित किया जा सकता है, जबकि चेंजलॉग मुख्य अपडेट दर्ज करते हैं और एजेंटों को आसानी से पिछले संस्करणों और अंतरों का निरीक्षण करने की अनुमति देते हैं। यह एजेंटिक समन्वय का भी समर्थन करता है, जो महत्वपूर्ण है क्योंकि कई एजेंट एक साथ Brain का उपयोग और अपडेट कर रहे हो सकते हैं।
Brain का उपयोग करना
उपयोगकर्ता के प्रश्न का उत्तर देते समय, एजेंटों को विवरण के सही स्तर पर सही संदर्भ खोजने में सक्षम होने की आवश्यकता होती है। Brain की संरचना एजेंटों के लिए मेमोरी का पता लगाना आसान बनाती है। एजेंट कार्रवाई योग्य चरणों के बीच चयन कर सकते हैं जैसे कि संबंधित जानकारी खोजने के लिए संदर्भ लिंक का पालन करना, दावों को सत्यापित करने के लिए साक्ष्य लिंक का पालन करना, या अतिरिक्त संदर्भ प्राप्त करने और संश्लेषित करने के लिए सबएजेंट को कॉल करना। हम प्रासंगिक जानकारी तक एजेंटों की पहुंच में आसानी को अधिकतम करने के उद्देश्य से कई तरीकों से एजेंटिक अन्वेषण प्रक्रिया का संचालन करते हैं।
अन्वेषण रणनीति
हम प्रारंभिक उपयोगकर्ता संदेश के भीतर Brain का एक कॉम्पैक्ट इंडेक्स शामिल करते हैं, ताकि एजेंट इस बात के कार्यसाधक ज्ञान के साथ शुरू हो कि पहले से क्या मौजूद है। एजेंट तब परिचित संचालन का उपयोग करके Brain के साथ बातचीत करता है: इंडेक्स द्वारा संदर्भित विशिष्ट वस्तुओं को पढ़ना, पृष्ठों पर खोज करने के लिए grep का उपयोग करना, लिंक का पालन करना और उद्धरणों का निरीक्षण करना, Git संशोधनों की तुलना करना, और सत्रों या कच्चे प्रक्षेपवक्रों में उतरना। नीचे दिया गया कोड ब्लॉक एक सिंथेटिक पर्सना के लिए नमूना कमांड दर्शाता है।
# 1. Orient: the index is a map of everything known
cat memory/knowledge/index.md
# 2. Target: find pages that touch the question
grep -Ril "kyoto\|sendai" memory/knowledge/
# 3. Read the page; follow context edges as needed
cat memory/knowledge/projects/japan-universal-design-sprint.md
cat memory/knowledge/entities/sora-city-laboratory.md # via [[wikilink]]
cat memory/knowledge/entities/sapphir-mobility-coop.md # via [[wikilink]]
# 4. Only if the claim must be verified: resolve evidence
# city bases → [cite:1], [cite:10] → pplx://sessions/<id>
#
# Example (pseudo, replace with your real tool):
# pplx-session-fetch 1eaf53d4-09e0-5823-bb96-c8662f582708 --slice <slice-id>
# 5. Some evidence lives outside the sessions
# meeting slots → [cite:15] → connector://google-calendar
#
# pplx-connector-fetch google-calendar --query "japan-sprint"एजेंट एक निश्चित पाइपलाइन के बजाय एक आत्म-निर्देशित लूप के माध्यम से इस संदर्भ का पता लगाते हैं। इसलिए, एजेंट खोज जारी रख सकता है जब तक कि वह पाए गए संदर्भ से संतुष्ट न हो जाए। एजेंट यह भी चुन सकता है कि विवरणों को खोजने या सत्यापित करने के लिए उद्धरणों और साक्ष्य का निरीक्षण कब करना है। प्राथमिकता का एक छोटा मामला सीधे एक Brain पृष्ठ से अपनाया जा सकता है, जबकि एक परिणामी निर्णय या स्रोतों के बीच का संघर्ष उद्धरण का पालन करने और मूल रिकॉर्ड को पढ़ने को सही ठहरा सकता है। ग्राफ़-आधारित संरचना एजेंट को संबंधित जानकारी के लिए बिना उद्देश्य के खोजने के बजाय ठोस अगले चरणों के बीच चयन करने देती है।
फ़ाइल मटेरियलाइज़ेशन
एजेंटिक अन्वेषण के काम करने के लिए, एजेंट को सैंडबॉक्स फ़ाइल सिस्टम के माध्यम से पूरे memory/ ट्री तक पहुँच की आवश्यकता होती है। हर बार सैंडबॉक्स बूट होने पर पूरे ट्री को स्थानीय रूप से कॉपी करना महंगा और अनावश्यक है, क्योंकि एजेंट उन फ़ाइलों के विशाल बहुमत को नहीं छुएगा। दूसरा विकल्प रिमोट फ़ाइल सिस्टम का उपयोग करना होगा, ताकि एजेंट उन्हें स्थानीय रूप से कॉपी किए बिना किसी भी फ़ाइल तक पहुँच सकें। हालाँकि, एजेंट अक्सर एक ही कमांड में हज़ारों फ़ाइल सिस्टम संचालन करते हैं; यदि प्रत्येक एक नेटवर्क अनुरोध बन जाता है, तो राउंड-ट्रिप लागत अन्वेषण लूप पर हावी होने लगती है। आंतरिक परीक्षण में, रिमोट FUSE-समर्थित पथ पर साधारण grep वर्कलोड स्थानीय फ़ाइलों पर समकक्ष संचालन की तुलना में लगभग 400 से 500 गुना धीमे थे।
इसके बजाय, हम मटेरियलाइज़्ड फ़ाइलों का एक स्थानीय कार्यशील सेट बनाते हैं, जबकि बड़ा कॉर्पस एक मेमोरी पुनर्प्राप्ति प्रणाली के पीछे रहता है। कंप्यूटर बूट होने पर सैंडबॉक्स पर एक प्रारंभिक मानचित्र (हाल की यादों, सत्रों, सारांशों और उपलब्ध ज्ञान से लिया गया) प्रीलोड करता है। कंप्यूटर एजेंटों के पास मेमोरी एजेंट तक पहुंच होती है, एक सबएजेंट जो सिमेंटिक खोज कर सकता है और फ़ाइलों का एक नया सेट लोड कर सकता है। जब आवश्यक संदर्भ अनुपस्थित होता है, तो कंप्यूटर आवश्यक जानकारी के विवरण के साथ मेमोरी एजेंट को कॉल कर सकता है। मेमोरी एजेंट फ़ाइलों में खोज करता है, एक तत्काल पाठ संश्लेषण लौटाता है और मेमोरी ट्री के तहत फ़ाइलों के रूप में समर्थन रिकॉर्ड को मटेरियलाइज़ करता है। इस तरह, कार्यशील सेट समय के साथ स्वाभाविक रूप से और धीरे-धीरे फैलता है, पहले से मौजूद साक्ष्य के लिए स्थिर पथ और स्रोत संबंधों को संरक्षित करता है।
यह डिज़ाइन विलंबता बाधा को स्पष्ट रूप से हल करता है। प्रासंगिक फ़ाइलों को स्थानीय रूप से संग्रहीत करना यह सुनिश्चित करता है कि अन्वेषण के लिए आवश्यक फ़ाइल सिस्टम संचालन तेज रहें, और बैッチed पुनर्प्राप्ति से प्रत्येक फ़ाइल के लिए अलग कॉल की आवश्यकता के बिना या बड़ी संख्या में अप्रासंगिक फ़ाइलों को लोड किए बिना मटेरियलाइज़्ड फ़ाइलों के पूल को बढ़ने की अनुमति मिलती है। नेस्टेड-एजेंट डिज़ाइन कंप्यूटर को एजेंटिक पुनर्प्राप्ति के लाभ भी देता है बिना मुख्य एजेंट को हर बार सीधे पूर्ण बैकएंड कॉर्पस की खोज करने की आवश्यकता के, उच्चतम मूल्य की जानकारी के लिए अपनी खुद की संदर्भ खिड़की को संरक्षित करते हुए।
Brain का रख-रखाव
उपयोगकर्ता उस काम से लगातार सीख रहे हैं जो वे करते हैं और जो बातचीत करते हैं, इसलिए एजेंटिक मेमोरी को भी ऐसा करने की आवश्यकता है। Brain को उपयोगी बने रहने के लिए, यह सबसे महत्वपूर्ण ज्ञान का एक संक्षिप्त प्रतिनिधित्व होना चाहिए। महत्वपूर्ण नई संस्थाओं के लिए नए पृष्ठ बनाए जाने चाहिए, प्रासंगिक Brain पृष्ठों में नई जानकारी जोड़ी जानी चाहिए, और पुरानी संदर्भ को मौसमी रूप से हटा दिया जाना चाहिए। उदाहरण के लिए, यदि किसी उपयोगकर्ता की नौकरी बदलती है, तो Brain को उस परिवर्तन को प्रतिबिंबित करना चाहिए; इसमें उपयोगकर्ता की नई नौकरी होनी चाहिए और उनकी नई ज़िम्मेदारियों और परियोजनाओं से संबंधित जानकारी को प्राथमिकता देनी चाहिए।
Brain को पृष्ठभूमि एजेंटों द्वारा बनाए रखा जाता है जिन्हें हम Dream कहते हैं। Dream एजेंट फ़ाइल-आधारित मेमोरी पर ऑफ़लाइन चलते हैं, नई जानकारी को Brain अपडेट में संश्लेषित करते हैं। हमने इस कार्य को कुशलतापूर्वक पूरा करने के लिए Dream एजेंटों के दायरे और व्यवहार को सावधानीपूर्वक परिभाषित किया है, साथ ही यह सुनिश्चित करने के लिए Dream-विशिष्ट गार्डरेल भी हैं कि Brain अपडेट सुसंगत और सटीक हैं।
Dream: मेमोरी रिफाइनमेंट के लिए पृष्ठभूमि एजेंट
Dream एजेंट सैंडबॉक्स में उसी फ़ाइल सिस्टम और रीड-ऑलरेडी टूल तक पहुंच के साथ चलते हैं जो एक इंटरैक्टिव कंप्यूटर सत्र में होगा, लेकिन उनका एकमात्र लक्ष्य भविष्य के सत्रों के लिए संदर्भ में सुधार करना है। प्रत्येक रन उपयोगकर्ता के संदर्भ को खरोंच से पुनर्निर्माण करने के बजाय पहले के रनों द्वारा उत्पादित Brain से शुरू होता है। फिर यह अपने आप को उन्मुख करने के लिए उस वर्तमान Brain का उपयोग करता है और भविष्य के रनों के उपयोग के लिए एक अद्यतन Brain तैयार करता है।
एक Dream एजेंट को एक पर्यावरण प्राप्त होता है और वह तय करता है कि इसका पता कैसे लगाया जाए, बजाय इसके कि उसे एक ही प्रॉम्प्ट में चपटा हुआ एक निश्चित इनपुट प्राप्त हो। यह फ़ाइल-आधारित मेमोरी को नेविगेट कर सकता है, ज्ञान के एक टुकड़े को सत्यापित करने के लिए अनुमोदित रीड-ऑलरेडी कनेक्टर टूल का उपयोग कर सकता है, और मेमोरी एजेंट सहित सबएजेंटों को काम के सीमित हिस्सों को प्रत्यायोजित कर सकता है। Dream एजेंट के दायरे और जिम्मेदारियों को कौशल के रूप में निर्दिष्ट किया गया है।
व्यापक रूप से, एक Dream रन में 4 चरण होते हैं:
- उन्मुख करें: एजेंट एक क्रमित अभिविन्यास प्रक्रिया को पूरा करता है। यह आधिकारिक दायरे, स्थायी निर्देशों, विलोपन लॉग, अतिरिक्त इनपुट और रोकने की स्थिति की पहचान करता है।
- सत्रों का सारांश दें: अंतिम अपडेट के बाद से नए (या नए मोड़ वाले) प्रत्येक सत्र के लिए, एजेंट सत्र का एक छोटा सारांश लिखता (या अपडेट करता) है।
- विषयों में तथ्य संलग्न करें: एजेंट अपने उचित घर में प्रत्येक अवलोकन को जोड़ता है जिसे वह महत्वपूर्ण मानता है, जो आमतौर पर एक विकी पृष्ठ होता है। उपलब्ध होने पर यह प्रमाणित कनेक्टर्स को जांचता और पूछता है।
- ज्ञान विकी अपडेट करें: एजेंट अपने निष्कर्षों के आधार पर विकी को अपडेट करता है। यह टिकाऊ विषयों के लिए नए पृष्ठ तैयार कर सकता है, वर्तमान संश्लेषण बदल जाने पर पृष्ठों को संशोधित कर सकता है, या तथ्यात्मक दावे का समर्थन करने वाले नए लिंक या उद्धरण जोड़ सकता है। जब वर्तमान ग्राफ़ पहले से ही सही हो तो यह कोई परिवर्तन न करने का विकल्प भी चुन सकता है।
यह सुनिश्चित करने के लिए कि Brain के कोई भी अपडेट पूर्ण और सुसंगत हैं, एजेंट एक मंचित आउटपुट ट्री में प्रस्तावित स्थिति लिखते हैं। कोई भी स्थायी परिवर्तन तब तक नहीं किया जाता है जब तक कि एजेंट ने अपने द्वारा आवश्यक सभी अपडेट नहीं कर लिए हों। उन निर्णयों को एक एजेंटिक प्रक्रिया में समन्वयित करना एक असंबद्ध पृष्ठों के रूप में के बजाय पूरे ग्राफ़ को अपडेट करना संभव बनाता है।
किसी भी परिवर्तन को दो प्रकार के सत्यापन जांच पास करने होंगे।deterministic सत्यापन जांच यह सुनिश्चित करती है कि पृष्ठ अच्छी तरह से बने हैं और उद्देश्य मानदंडों को पूरा करते हैं, जैसे आवश्यक फ्रंटमैटर और उद्धरण प्रारूप। सिमेंटिक सत्यापन जांच यह सुनिश्चित करती है कि एक प्रस्तावित संश्लेषण एकत्रित साक्ष्य द्वारा समर्थित है और बाकी ग्राफ़ के साथ संगत रहता है। एजेंट के सफलतापूर्वक समाप्त होने के बाद, एक नियंत्रित सिंक्रनाइज़ेशन चरण मंचित आउटपुट की तुलना पूर्व स्थिति से करता है और रिपॉजिटरी में परिवर्तन लागू करता है। जब सिंक्रनाइज़ेशन चरण पूरा हो जाता है, तो संपादन का अंतिम सेट Git संस्करण इतिहास के माध्यम से निरीक्षण करने योग्य होता है।
Brain को सत्यापित करना
एक उपयोगी मेमोरी सिस्टम को प्रासंगिक साक्ष्य को संरक्षित करना चाहिए, जरूरत पड़ने पर इसे सतह पर लाना चाहिए, और एजेंट को उस साक्ष्य को सही उत्तर में बदलने में मदद करना चाहिए। इसलिए हम कई स्तरों पर Brain का मूल्यांकन करते हैं: नियंत्रित ऑफ़लाइन एब्लेशन, निरंतर युग्मित रीप्ले, और यादृच्छिक उत्पादन प्रयोग।
ऑफ़लाइन मूल्यांकन
हमारा प्राथमिक ऑफ़लाइन मूल्यांकन 44 सिंथेटिक पर्सना में 640 प्रश्नों के आंतरिक डेटासेट का उपयोग करता है। पर्सना सत्र ताल, टर्न काउंट, विषय मिश्रण और तथ्य घनत्व में उत्पादन-व्युत्पन्न पैटर्न को पुनरुत्पादित करते हैं, जबकि उपयोगकर्ता गोपनीयता को संरक्षित करने के लिए कोई उत्पादन प्रश्न पाठ नहीं होता है। प्रत्येक खाता उत्पादन मेमोरी पाइपलाइन के माध्यम सेpopulated होता है, जिसमें मेमोरी निष्कर्षण, वार्तालाप सारांश, और ज्ञान विकी का Dream संकलन शामिल है। प्रत्येक प्रश्न के लिए, सही उत्तर खाते के इतिहास में मौजूद विशिष्ट साक्ष्य से यंत्रवत् बंधा होता है।
उदाहरण के लिए, नादिया के लिए, पहले पेश की गई पहुंच शोधकर्ता सिंथेटिक पर्सना, डेटासेट में प्रश्न शामिल है, "मैं क्योटो और सेंडाइ में किन संगठनों से मिल रहा हूँ?" उत्तर (क्योटो में सोरा सिटी लैब और सेंडाइ में सप्हिर मोबिलिटी कॉप) सीधे संबंधित विकी पृष्ठ पर दिखाई देता है।
हम संकलित नॉलेज विकी को सक्षम बनाम अक्षम करके समान प्रश्नों और खातों की तुलना करते हैं। अन्य मेमोरी सरफेस दोनों स्थितियों में उपलब्ध रहते हैं। यह मेमोरी की तुलना बिना मेमोरी के करने के बजाय Brain के वृद्धिशील योगदान को अलग करता है। कुल मिलाकर, Brain ने उत्तर की सटीकता 0.600 से बढ़ाकर 0.661 कर दी, जो 6.1 प्रतिशत अंकों की वृद्धि है, और साक्ष्य पुनर्प्राप्ति 0.573 से बढ़ाकर 0.625 कर दी, जो 5.2 प्रतिशत अंकों की वृद्धि है। यह प्रभाव प्राथमिकताओं (+10.2 प्रतिशत अंक), तार्किक तर्क (+8.6 प्रतिशत अंक), और पूर्व गतिविधि से विवरण निकालने (+6.9 प्रतिशत अंक) के बारे में प्रश्नों के लिए सबसे बड़ा था। 84% प्रश्नों पर, एजेंट ने सत्यापित रूप से स्वर्ण साक्ष्य से बंधे एक स्रोत को छुआ।
हमने दो सार्वजनिक बेंचिमार्च के सबसेट्स पर मिलान किए गए Brain एब्लेशन भी चलाए। LoCoMo पर, विकी को हटाने से तीन अलग-अलग मॉडलों के साथ तीन रनों पर औसतन 4.6 प्रतिशत अंक उत्तर की सटीकता कम हो गई। LongMemEval-S पर इसने कोई सांख्यिकीय रूप से महत्वपूर्ण परिवर्तन नहीं किया। यह परिणाम Brain की इच्छित भूमिका के अनुरूप है। LongMemEval-S मुख्य रूप से व्यक्तिगत सत्रों से तथ्यों की पुनर्प्राप्ति का परीक्षण करता है, जहाँ अंतर्निहित ट्रांसक्रिप्ट उत्तर के लिए एक अतिरेकपूर्ण पथ प्रदान करते हैं। LoCoMo वार्तालापों, वक्ताओं और तिथियों में बिखरे हुए साक्ष्य पर अधिक जोर देता है, जिससे विकी के क्रॉस-सॉशन संश्लेषण के योगदान के लिए अधिक अवसर मिलते हैं।
कुल मिलाकर, Brain सक्षम होने के साथ, उत्पादन एजेंट ने LongMemEval-S पर 0.91 उत्तर सटीकता और LoCoMo पर 0.83 प्राप्त किया। क्योंकि इन प्रयोगों ने बेंचिमार्च सबसेट्स का उपयोग किया, वे निश्चित बेंचिमार्च परिणाम नहीं हैं। हालांकि, एब्लेशन अभी भी मजबूत संकेत प्रदान करते हैं कि विकी प्रदर्शन में सुधार करता है, खासकर जब साक्ष्य को वार्ताओं में एकीकृत किया जाना चाहिए। चूँकि Brain कंप्यूटर का हिस्सा है, न कि एक अनुकूलित, बेंचिमार्च-विशिष्ट पुनर्प्राप्ति प्रणाली, हम मानते हैं कि प्रतिस्पर्धा केवल उन कार्यों के साथ बढ़ेगी जो उत्पादन वर्कफ़्लो से अधिक मिलते-जुलते हैं।
ऑनलाइन मूल्यांकन
ऑफ़लाइन डेटासेट वास्तविक उपयोगकर्ता इतिहास की हर विशेषता को कैप्चर नहीं कर सकते हैं, इसलिए हम ताजा उत्पादन-व्युत्पन्न समूहों पर दैनिक युग्मित मूल्यांकन भी चलाते हैं। Brain सक्षम और अक्षम होने के साथ मिलान किए गए उपयोगकर्ता राज्य के खिलाफ समान निश्चित प्रश्नों के उत्तर दिए जाते हैं, फिर सटीकता, वर्तमानता और रिकॉल के लिए आंका जाता है।
18 जून को रिपोर्ट किए गए प्रारंभिक परिणाम ने प्रदर्शित किया कि Brain उत्तर की सटीकता 25% और रिकॉल 16% तक बढ़ाता है। ये प्रदर्शन लाभ बने रहे हैं; पिछले 30 दिनों में, Brain-सक्षम सत्रों ने हर रन और हर मूल्यांकित आयाम पर नियंत्रण को मात दी। पूर्ण शब्दों में, कंप्यूटर उपयोगकर्ताओं ने सटीकता में 9.3 अंक, वर्तमानता में 8.0 अंक और रिकॉल में 8.9 अंकों के सुधार का आनंद लिया। Brain-सक्षम प्रक्षेपवक्रों ने लगभग 15% कम टोकन का भी उपयोग किया, 10% कम खर्च किया, और 10% तेजी से उत्पादन पूरा किया।
निरंतर सुधार
उपयोगकर्ताओं को सर्वश्रेष्ठ मेमोरी अनुभव लाने के लिए हमने Brain को परिष्कृत करना जारी रखा है। एक हालिया परिवर्तन Brain के कॉम्पैक्ट इंडेक्स को सीधे एजेंट के शुरुआती संदर्भ में रखता है, बजाय इसके कि एजेंट को इसे बाद में खोजने और पढ़ने की आवश्यकता हो। एक यादृच्छिक प्रयोग में, इस प्रीफिल उपचार ने Brain के उपयोग को बढ़ाया और मेमोरी से संबंधित असंतोष को 6.9% तक कम कर दिया।
ऑफ़लाइन मूल्यांकन हार्नेस भी एक स्वायत्त सुधार पाइपलाइन के हिस्से के रूप में दोगुना हो जाता है। Brain के मेमोरी सबएजेंट, पुनर्प्राप्ति कौशल और प्रॉम्प्ट में प्रस्तावित परिवर्तनों को हमारे आंतरिक डेटासेट और सार्वजनिक बेंचिमार्च पर मिलान किए गए एब्लेशन के माध्यम से चलाया जाता है। कंप्यूटर एजेंट परिणामों पर स्वायत्त रूप से पुनरावृत्ति कर सकते हैं, प्रत्येक पुनरावृत्ति के परिवर्तन, डेल्टा और लागत को एक टिकाऊ रिकॉर्ड के रूप में संरक्षित कर सकते हैं और केवल उन परिवर्तनों को रख सकते हैं जो नंबरों को स्थानांतरित करते हैं। परिणाम एक ऐसा सिस्टम है जहां Brain के मूल्यांकनकर्ता इसके अनुकूलक भी हैं, जो भविष्य के सुधारों को चला रहे हैं।
निष्कर्ष
निरंतर सीखना एजेंट सिस्टम के निर्माण के लिए परिभाषित चुनौतियों में से एक है जो हफ्तों और महीनों तक काम करते हैं। हम मानते हैं कि मेमोरी आर्किटेक्चर को उन वातावरणों के रूप में सबसे अच्छा उजागर किया जाता है जिनका एजेंट अपने सामान्य टूलसेट का उपयोग करके सीधे पता लगा सकते हैं। मेमोरी को फ़ाइल सिस्टम के रूप में उजागर करना, शीर्ष पर एक संरचित ज्ञान विकी के रूप में Brain के साथ, सरल और परिचित टूल के माध्यम से संदर्भ को कुशलतापूर्वक नेविगेट करने योग्य बनाता है।
Brain को आत्म-सुधार के लिए डिज़ाइन किया गया है, ताकि उपयोग बढ़ने के साथ मेमोरी सिस्टम बेहतर होता रहे। Dream पृष्ठभूमि एजेंट ताजा जानकारी को Brain अपडेट में आसुत करते हैं, जिससे यह सुनिश्चित होता है कि अग्रभूमि एजेंट हमेशा सबसे हाल के संदर्भ के संगठित दृश्य के साथ एक नया सत्र शुरू करते हैं। मूल्यांकन हार्नेस मुख्य मेमोरी आर्किटेक्चर और एजेंट-सामने वाले इंटरफेस पर ऑटोरेडार्च लूप के लिए एक परीक्षण मैदान के रूप में दोगुना हो जाता है।
पहले से ही, Brain के परिणामस्वरूप अधिक सटीक और निष्पादित एजेंट सत्र हुए हैं जबकि खर्च किए गए टोकन कम हुए हैं। कंप्यूटर के प्रोडक्शन स्टैक के साथ Brain का हमारा सावधानीपूर्वक सह-डिज़ाइन यह सुनिश्चित करता है कि ये लाभ सीधे उपयोगकर्ताओं के लिए वास्तविक लाभ में अनुवादित हों।
हम कंप्यूटर की मेमोरी की गुणवत्ता में सुधार के लिए और अधिक क्षमताएं बनाना जारी रख रहे हैं। इस बीच, Brain सक्षम उपयोगकर्ताओं के लिए, हर सत्र के साथ मेमोरी में सुधार होगा।