Brain: ज्ञान विकी म्हणून एजन्टिक मेमरी
एक संरचित, ट्रेस करण्यायोग्य, स्वतः सुधारणारी मार्कडाउन फाइलसिस्टम, जी ऑफलाइन कंपाईल केली जाते आणि मागणीनुसार नेव्हिगेट केली जाते.
Computer वापरकर्ते महिने आणि शेकडो सत्रे पसरलेले काम करतात. दहाव्या सत्रापर्यंत, सिस्टीम पहिल्यापेक्षा खूप अधिक उत्पादक असली पाहिजे. तिने वापरकर्त्यावर, त्यांच्या प्राधान्यांवर आणि आधीच केलेल्या कामावर संदर्भ जमा केला पाहिजे.
उदाहरणार्थ, वापरकर्त्याने पूर्वी स्पष्ट केलेल्या वर्कफ्लोची आकृती काढण्यास सांगितले असता, Computer ने तपशील आठवले पाहिजेत आणि वापरकर्त्याच्या पसंतीच्या शैलीमध्ये आकृती तयार करण्यासाठी आणि आउटपुट करण्यासाठी त्यांचा वापर केला पाहिजे. वापरकर्त्याने वर्कफ्लोचे तपशील पुन्हा स्पष्ट करण्याची किंवा PNG कलाकृतींपेक्षा (artifacts) PDF ला प्राधान्य असल्याचे पुनरावृत्ती करण्याची आवश्यकता नाही; सिस्टीम मागील सत्रांमधून तो संदर्भ अचूकपणे पुनर्प्राप्त करण्यास आणि स्वयंचलितपणे लागू करण्यास सक्षम असली पाहिजे.
मेमरी ही सतत एजंट सुधारणांचा पाया आहे. एक प्रभावी मेमरी सिस्टीम संरचित, ट्रेस करण्यायोग्य आणि जुळवून घेणारी असावी, ज्यामुळे एजंटना प्रत्येक कार्यासाठी योग्य रुंदी आणि खोलीवर शोध घेता येईल आणि प्रत्येक निर्णय सर्वात वर्तमान माहितीवर आधारित ठेवता येईल.
परिचय
एजंट्सना संबंधित संदर्भाने समृद्ध करणे हा एक बहुआयामी प्रश्न आहे. प्रथम, एजंटना काय अस्तित्वात आहे आणि त्यात कसा प्रवेश करायचा हे माहित असणे आवश्यक आहे. दुसरे, जेव्हा त्यांना उपयुक्त माहितीचा तुकडा सापडतो, तेव्हा त्यांना खात्री असणे आवश्यक आहे की तो पूर्ण, अचूक आणि अद्ययावत आहे. एक वेगळे तथ्य मर्यादित मूल্যের असते जोपर्यंत एजंट संबंधित माहिती शोधू शकत नाही, ती विश्वसनील स्रोतातून आली आहे याची पडताळणी करू शकत नाही आणि अधिक अलीकडील निरीक्षणासह ती अद्यतनित करण्याची आवश्यकता नाही याची खात्री करू शकत नाही.
स्थिर मेमरी फाइल्स थेट मॉडेल संदर्भात भरणे एजंट्सना प्रवेशयोग्यता जास्तीत जास्त वाढवते, परंतु एक क्लासिक अचूकता-पुनप्राप्ती ट्रेडऑफ सादर करते. खूप जास्त माहिती एजंटची संदर्भ विंडो अधिकाधिक किरकोळ प्रासंगिकतेच्या आयटमने संतृप्त करेल, तर खूप कमी संबंधित संदर्भाच्या अभावामुळे उत्तराची गुणवत्ता कमी करेल. याउलट, बाह्य डेटाबेसमध्ये मागणीनुसार प्रवेश अधिक लवचिक आहे, परंतु नेव्हिगेट करण्याचे ओझे एजंटवर टाकते. व्हॅक्टर डेटाबेस बहुतेकदा विरहित तुकडे संग्रहित करतात, आणि आलेख डेटाबेस एजंटना प्रभावीपणे कसे क्वेरी करायचे हे माहित असणे आवश्यक असते.
अलीकडे, आम्ही Brain सादर केले, जे Computer च्या मेमरी सिस्टीमचा एक मुख्य घटक आहे जो दोन्ही जगांतील सर्वोत्तम गोष्टी प्रदान करतो. Brain हा एक संरचित ज्ञान विकी आहे जो स्थिर मेमरी फाइल्स आणि पुराव्यांवर बसतो. उद्धरण विधानांना त्यांच्या स्रोतांशी जोडतात, आणि माहितीचे संबंधित भाग बाजूने जोडलेले असतात. संघटित विकी मागणीनुसार संदर्भ नेव्हिगेट करण्यायोग्य बनवते, तर तपशीलवार कलाकृती (artifacts) त्याच्या खालील थरात ठेवली जातात.
Brain connects to a comprehensive memory system with three key components: durable memory storage, foreground agents that use memory to answer queries, and background agents that update and improve memory. The following figure depicts these components situated within Brain's overall system architecture.
या लेखामध्ये, आम्ही प्रत्येक थराचे सखोल वर्णन करतो, Brain मेमरी कशी व्यवस्थित करते, एजंट ती कशी वापरतात आणि बॅकग्राउंड प्रक्रिया ती कशी अद्ययावत ठेवतात हे स्पष्ट करतो. आम्ही अंतर्गत मूल्यांकनांचे परिणाम देखील सादर करतो जे Brain च्या डिझाईनची वैधता सिद्ध करतात, आणि कमी खर्चात एजंटची कामगिरी सुधारते हे दाखवून देतात.
मेमरी संस्था आणि स्टोरेज
प्रत्येक संदर्भाचा तुकडा प्रॉम्प्टमध्ये न टाकता वापरकर्त्याच्या संपूर्ण इतिहासापर्यंत मोजले जाणारे प्रतिनिधित्व मेमरीला आवश्यक आहे. Computer ची मेमरी सिस्टीम सतत संदर्भ फाइलसिस्टम म्हणून दर्शवते. Brain कच्च्या स्रोतांवर ज्ञानाचे संश्लेषण करते, संबंधित विषयांना जोडते आणि दाव्यांना त्यांना समर्थन देणाऱ्या सत्रांशी आणि फाइल्सशी जोडते. खाली तपशीलवार वर्णन केलेली ही रचना, आम्हाला एजंटसाठी विशेषतः योग्य असलेल्या स्वरूपात मेमरी व्यवस्थित करण्याची परवानगी देते.
फाइलसिस्टम-आधारित मेमरी
Computer सत्र आधीपासूनच फाइलसिस्टम, शेल आणि I/O युटिलिटी असलेल्या सँडबॉक्समध्ये असतात. Brain डिझाईन करताना, मॉडेल आणि एजंट मेमरी यांच्यातील इंटरफेसमध्ये शक्य तितकी कमी नवीन यंत्रणा आणायची आमची इच्छा होती. म्हणूनच आम्ही फाइलसिस्टम-नेटिव्ह कॉन्टेक्स्ट लेयरवर Brain तयार केली. सँडबॉक्समधील memory/ निर्देशिकेत मेमरी फाइल्स म्हणून सामग्री तयार केली जाते आणि एजंट इतर सर्व गोष्टींवर वापरत असलेली तीच साधने मेमरी फाइल्सवर सहज वापरतो.
मेमरी ट्रीच्या मुळाशी तीन शीर्ष-स्तरीय निर्देशिका बसतात ज्या वेगवेगळ्या स्तरांच्या अभिमूर्तावर संदर्भ कायम ठेवतात. knowledge/ हे स्वतः Brain आहे, एक संश्लेषित ज्ञान विकी जी एंटिटी, संकल्पना, सक्रिय प्रकल्प आणि मागील शिकण्यांना जोडते; notes/ मध्ये शीर्ष की फोल्डर म्हणून व्यवस्थित केलेले गळलेले स्निपेट्स आहेत; आणि sessions/ मध्ये कच्च्या इतिहासाच्या रूपात निर्देशांक, सारांश आणि पूर्ण ट्रान्सक्रिप्ट्स आहेत. खालील आकृती मांडणीचे सरलीकृत दृश्य दर्शवते.
पृष्ठभाग जाणूनबुजून अनावश्यक आहेत. साध्या, सिंगल-हॉप प्रश्नांसाठी, कीवर्डसाठी /notes मधील स्निपेट शोधणे सहसा पुरेसे असते, तर /knowledge लेयर अशा प्रश्नांसाठी सर्वात उपयुक्त असते ज्यांना Computer सत्रांच्या आठवडे किंवा महिन्यांमध्ये पुरावे जोडणे आवश्यक असते.
Brain: ज्ञान विकी
Brain हे LLM विकी म्हणून स्वरूपित केले आहे, जी जोडलेल्या मार्कडाउन फाइल्सची प्रणाली आहे. हलक्या स्वरूपात संरचित मार्कडाउनचे हे रूप विद्यमान संदर्भाचे सर्वसमावेशक दृश्य प्रदान करते, जेणेकरून एजंटना कोणते रेकॉर्ड उपलब्ध आहेत, ते कसे संबंधित आहेत आणि ते कुठे शोधायचे हे सहज समजू शकेल. प्रत्येक पृष्ठ एका विषयाचे राखलेले दृश्य आहे; दुव्यांच्या माध्यमातून पुढील अन्वेषण सोपे करत असताना ते एकट्याने वाचताना देखील उपयुक्त राहिले पाहिजे.
दुवे दोन प्रकारचे येतात. [[wikilinks]] हे संदर्भ एज्ज आहेत. ते पृष्ठांना बाजूने जोडतात; एखादा प्रकल्प त्याच्या मालकाशी, त्याच्या क्लायंटशी किंवा ज्या संकल्पनांवर तो अवलंबून आहे त्याच्याशी जोडला जाऊ शकतो. त्यांचे अनुसरण करणे "मला आणखी काय माहित असणे आवश्यक आहे?" याचे उत्तर देते. [cite:N] संदर्भ हे पुराव्याचे एज्ज आहेत. ते दाव्यांना खाली कच्च्या सत्रांशी किंवा त्यांना समर्थन देणाऱ्या कनेक्टर स्रोतांशी जोडतात. त्यांचे अनुसरण करणे "हे सत्य आहे हे मला कसे कळेल?" याचे उत्तर देते.
खालील आकडेवारी दर्शवते की सिंथेटिक पर्सन, नादिया नावाच्या ॲक्सेसिबिलिटी संशोधकासाठी Brain चा काही भाग कसा असेल. तिच्या Brain मध्ये एका नमुना प्रकल्पावर एक पृष्ठ समाविष्ट आहे, जपानमधील एक सार्वत्रिक डिझाइन स्पिन्ट, सत्रे आणि कनेक्टरमधील ज्ञानाचे संश्लेषण करणे. आलेख दृश्य हे प्रदर्शित करते की पृष्ठामध्ये उपस्थित संदर्भ आणि पुरावे एज्ज संबंधित एंटिटी आणि स्रोतांना कसे जोडतात.
व्हर्जन इतिहास जतन करण्यासाठी Brain Git-समर्थित आहे, ज्यामुळे त्याच्या सतत विकसित होणाऱ्या स्वरूपाला समर्थन मिळते. कालांतराने पृष्ठांमध्ये बदल केले जाऊ शकतात, तर चेंजलॉग प्रमुख अद्यतने रेकॉर्ड करतात आणि एजंटना मागील आवृत्त्या आणि डिफ सहजपणे तपासण्याची परवानगी देतात. हे एजन्टिक समन्वयाला देखील समर्थन देते, जे महत्त्वपूर्ण आहे कारण एकाच वेळी अनेक एजंट Brain वापरत आणि अद्यतनित करत असू शकतात.
Brain वापरणे
वापरकर्त्याच्या प्रश्नाचे उत्तर देताना, एजंटना योग्य तपशील स्तरावर योग्य संदर्भ शोधण्यात सक्षम असणे आवश्यक आहे. Brain ची रचना एजंटना मेमरी शोधणे सोपे करते. संबंधित माहिती शोधण्यासाठी संदर्भ दुव्यांचे अनुसरण करणे, दाव्यांची पडताळणी करण्यासाठी पुराव्याचे दुवे फॉलो करणे, किंवा अतिरिक्त संदर्भ मिळवण्यासाठी आणि संश्लेषित करण्यासाठी सबएजंट कॉल करणे यासारख्या कृती करण्यायोग्य चरणांमधून एजंट निवडू शकतात. संबंधित माहिती सुलभतेने मिळवण्याच्या एजंटच्या क्षमतेला जास्तीत जास्त वाढवण्याच्या उद्देशाने आम्ही एजन्टिक अन्वेषण प्रक्रियेचे अनेक मार्गांनी मार्गदर्शन करतो.
अन्वेषण धोरण
We include a compact index of Brain within the initial user message, so the agent starts with working knowledge of what already exists. The agent then interacts with Brain using familiar operations: reading specific items referenced by the index, using grep to search across pages, following links and inspecting citations, comparing Git revisions, and descending into sessions or raw trajectories. The code block below depicts sample commands for a synthetic persona.
# 1. Orient: the index is a map of everything known
cat memory/knowledge/index.md
# 2. Target: find pages that touch the question
grep -Ril "kyoto\|sendai" memory/knowledge/
# 3. Read the page; follow context edges as needed
cat memory/knowledge/projects/japan-universal-design-sprint.md
cat memory/knowledge/entities/sora-city-laboratory.md # via [[wikilink]]
cat memory/knowledge/entities/sapphir-mobility-coop.md # via [[wikilink]]
# 4. Only if the claim must be verified: resolve evidence
# city bases → [cite:1], [cite:10] → pplx://sessions/<id>
#
# Example (pseudo, replace with your real tool):
# pplx-session-fetch 1eaf53d4-09e0-5823-bb96-c8662f582708 --slice <slice-id>
# 5. Some evidence lives outside the sessions
# meeting slots → [cite:15] → connector://google-calendar
#
# pplx-connector-fetch google-calendar --query "japan-sprint"एजंट निश्चित पाइपलाइन ऐवजी स्वयं-निर्देशित लूपद्वारे या संदर्भाचे अन्वेषण करतात. म्हणून, सापडलेल्या संदर्भाबद्दल समाधान होईपर्यंत एजंट शोध घेणे सुरू ठेवू शकतो. तपशील शोधण्यासाठी किंवा पडताळणी करण्यासाठी उद्धरण आणि पुरावे कधी तपासायचे हे देखील एजंट निवडू शकतो. पसंतीची एक छोटी बाब थेट एका Brain पृष्ठावरून स्वीकारली जाऊ शकते, तर परिणामी निर्णय किंवा स्रोतामधील संघर्ष उद्धरण फॉलो करण्याचे आणि मूळ रेकॉर्ड वाचण्याचे समर्थन करू शकतो. आलेख-आधारित रचना एजंटला संबंधित माहितीसाठी उद्देशहीनपणे शोधण्याऐवजी ठोस पुढील चरणांमधून निवडण्याची परवानगी देते.
फाइल मॅटिरिएलायझेशन
एजन्टिक अन्वेषण कार्य करण्यासाठी, एजंटला सँडबॉक्स फाइलसिस्टमद्वारे संपूर्ण memory/ ट्रीमध्ये प्रवेश असणे आवश्यक आहे. सँडबॉक्स बूट प्रत्येक वेळी संपूर्ण ट्री स्थानिक पातळीवर कॉपी करणे महाग आणि अनावश्यक आहे, कारण एजंट त्यापैकी बहुतांश फाइल्सना स्पर्श करणार नाही. दुसरा पर्याय म्हणजे रिमोट फाइलसिस्टम वापरणे, जेणेकरून एजंट स्थानिक पातळीवर कॉपी न करता कोणत्याही फाइलमध्ये प्रवेश करू शकेल. तथापि, एजंट्स अनेकदा एकाच आदेशात हजारो फाइलसिस्टम ऑपरेशन्स करतात; जर प्रत्येक नेटवर्क विनंती बनली, तर राउंड-ट्रिप खर्च अन्वेषण लूपवर वर्चस्व गाजवू लागतो. अंतर्गत चाचणीमध्ये, रिमोट FUSE-बॅक केलेल्या मार्गावर साधे grep वर्कलोड्स स्थानिक फाइल्सवरील समतुल्य ऑपरेशन्सपेक्षा अंदाजे 400 ते 500 पट slower होते.
त्याऐवजी, आम्ही मेटेरिएलाइज्ड फाइल्सचा एक स्थानिक कार्यरत संच तयार करतो, तर मोठा कॉर्पस मेमरी पुनप्राप्ती प्रणालीच्या मागे राहतो. Computer जेव्हा बूट करतो तेव्हा सँडबॉक्सवर प्रारंभिक नकाशा (अलीकडील मेमरी, सत्रे, सारांश आणि उपलब्ध ज्ञानावरून घेतलेला) प्रीलोड करतो. Computer एजंट्सना मेमरी एजंटमध्ये प्रवेश असतो, जो सबएजंट सिमेंटिक शोध करू शकतो आणि फाइल्सचा नवीन संच लोड करू शकतो. जेव्हा आवश्यक संदर्भ अनुपस्थित असतो, तेव्हा Computer आवश्यक माहितीच्या वर्णनासह मेमरी एजंटला कॉल करू शकतो. मेमरी एजंट फाइल्सवर शोध घेतो, तात्काळ मजकूर संश्लेषण परत करतो आणि मेमरी ट्री अंतर्गत फाइल्स म्हणून समर्थन करणाऱ्या रेकॉर्डना मटेरियल करतो. अशा प्रकारे, कार्यरत संच कालांतराने नैसर्गिक आणि हळhळू वाढतो, आधीपासून उपस्थित असलेल्या पुराव्यासाठी स्थिर मार्ग आणि स्त्रोत संबंध जतन करतो.
हे डिझाईन लेटेंसी बॉटलनेकसाठी स्वच्छपणे सोडवले जाते. संबंधित फाइल्स स्थानिक पातळीवर संग्रहित केल्यामुळे अन्वेषण करण्यासाठी आवश्यक असलेली फाइलसिस्टम ऑपरेशन्स जलद राहतात हे सुनिश्चित होते, आणि बॅच केलेल्या पुनप्राप्तीमुळे प्रत्येक फाइलसाठी स्वतंत्र कॉलची आवश्यकता न घेता किंवा मोठ्या संख्येने ασχετ फाइल्स लोड न करता मेटेरिएलाइज्ड फाइल्सचा पूल वाढू शकतो. नेस्टेड-एजंट डिझाईन मुख्य एजंटला प्रत्येक वेळी पूर्ण बॅकएंड कॉर्पस थेट शोधण्याची आवश्यकता न ेता एजन्टिक पुनप्राप्तीचे फायदे Computer ला देते, सर्वोच्च मूल्याच्या माहितीसाठी स्वतःची संदर्भ विंडो जतन करते.
Brain कायम राखणे
वापरकर्ते ते करत असलेल्या कामातून आणि त्यांच्या संभाषणातून सतत शिकत असतात, त्यामुळे एजन्टिक मेमरीनेही तेच करणे आवश्यक आहे. Brain उपयुक्त राहण्यासाठी, ते सर्वात महत्त्वाच्या ज्ञानाचे संक्षिप्त प्रतिनिधित्व असले पाहिजे. महत्त्वाच्या नवीन एंटिटीसाठी नवीन पृष्ठे तयार केली पाहिजे, संबंधित Brain पृष्ठांमध्ये नवीन माहिती जोडली पाहिजे आणि जुनाट संदर्भ मोसमात काढून टाकला पाहिजे. उदाहरणार्थ, वापरकर्त्याची नोकरी बदलल्यास, Brain ने तो बदल दर्शवला पाहिजे; त्यात वापरकर्त्याची नवीन नोकरी समाविष्ट असावी आणि त्यांच्या नवीन जबाबदाऱ्या आणि प्रकल्पांशी संबंधित माहितीला प्राधान्य दिले पाहिजे.
Brain ची देखभाल बॅकग्राउंड एजंट्सद्वारे केली जाते ज्यांना आपण Dream म्हणतो. Dream एजंट फाइल-आधारित मेमरीवर ऑफलाइन चालतात, नवीन माहिती Brain अद्यतनांमध्ये संश्लेषित करतात. Brain अद्यतने सुसंगत आणि अचूक आहेत याची खात्री करण्यासाठी Dream-विशिष्ट गार्डरॅल्ससह, हे कार्य कार्यक्षमतेने पार पाडण्यासाठी आम्ही Dream एजंट्सची व्याप्ती आणि वर्तन काळजीपूर्वक परिभाषित केले आहे.
Dream: मेमरी रिफायन्मेंटसाठी बॅकग्राउंड एजंट्स
सँडबॉक्समध्ये परस्परसंवादी Computer सत्रात असलेल्या समान फाइलसिस्टम आणि वाच-केवळ साधनांमध्ये प्रवेश करून Dream एजंट चालतात, परंतु त्यांचे एकमेव ध्येय भविष्यातील सत्रांसाठी संदर्भ सुधारणे हे आहे. प्रत्येक रन आधीच्या रनद्वारे उत्पादित Brain पासून सुरू होते वापरकर्त्याचा संदर्भ सुरुवातीपासून पुनर्बांधणी करण्याऐवजी. त्यानंतर ते स्वतःला ओरिएंट करण्यासाठी त्या वर्तमान Brain चा वापर करते आणि भविष्यातील रन्स वापरण्यासाठी एक अद्यतनित Brain तयार करते.
Dream एजंटला वातावरण मिळते आणि ते कसे अन्वेषण करावे हे ठरवते, एका प्रॉम्प्टमध्ये सपाट केलेल्या निश्चित इनपुट प्राप्त करण्याऐवजी. ते फाइल-आधारित मेमरी नेव्हिगेट करू शकते, ज्ञानाच्या तुकड्याची पडताळणी करण्यासाठी मंजूर वाच-केवळ कनेक्टर साधने वापरू शकते, आणि मेमरी एजंटसह कामाचे मर्यादित भाग सबएजंटना डेलिगेट करू शकते. Dream एजंटची व्याप्ती आणि जबाबदाऱ्या कौशल्य म्हणून निर्दिष्ट केल्या आहेत.
सर्वसाधारणपणे, ड्रिम (Dream) रनमध्ये ४ टप्पे असतात:
- ओरिएंट: एजंट क्रमाने केलेली ओरिएंटेशन प्रक्रिया पूर्ण करतो. हे अधिकृत व्याप्ती, स्थायी सूचना, हटवण्याचा लॉग, अतिरिक्त इनपुट आणि थांबण्याच्या परिस्थिती ओळखतो.
- सत्रांचा सारांश द्या: शेवटच्या अद्यतनापासून नवीन असलेल्या (किंवा नवीन टर्न असलेल्या) प्रत्येक सत्रासाठी, एजंट सत्राचा थोडक्यात सारांश लिहितो (किंवा अद्यतनित करतो).
- विषयांना तथ्ये जोडा: एजंट त्याला योग्य वाटणारे प्रत्येक निरीक्षण त्याच्या योग्य घरी जोडते, जे सहसा विकी पृष्ठ असते. उपलब्ध असताना ते प्रमाणीकृत कनेक्टरची चौकशी करते आणि प्रश्न विचारते.
- ज्ञान विकी अद्यतनित करा: एजंट त्याच्या शोधांवर आधारित विकी अद्यतनित करतो. ते टिकाऊ विषयांसाठी नवीन पृष्ठे तयार करू शकते, वर्तमान संश्लेषण बदलले असताना पृष्ठे पुनरावृत्ती करू शकते, किंवा तथ्यात्मक दाव्याला समर्थन देणारे नवीन दुवे किंवा उद्धरण समाविष्ट करू शकते. वर्तमान आलेख आधीपासूनच योग्य असताना कोणतेही बदल न करणे देखील ते निवडू शकते.
Brain मधील कोणतेही अद्यतन पूर्ण आणि सुसंगत आहेत याची खात्री करण्यासाठी, एजंट स्टेज केलेल्या आउटपुट ट्रीमध्ये प्रस्तावित स्थिती लिहितो. एजंटला आवश्यक वाटणारी सर्व अद्यतने पूर्ण होईपर्यंत कोणतेही कायमस्वरूपी बदल केले जात नाहीत. एकाच एजन्टिक प्रक्रियेत त्या निर्णयांचे समन्वय साधल्यामुळे असंबद्ध पृष्ठे म्हणून ऐवजी संपूर्ण आलेखाच्या रूपात अद्यतन करणे शक्य होते.
कोणत्याही बदलांनी दोन प्रकारच्या पडताळणी तपासा पास करणे आवश्यक आहे. Deterministic validation checks हे सुनिश्चित करतात की पृष्ठे चांगल्या प्रकारे तयार केली गेली आहेत आणि वस्तुनिष्ठ निकषांची पूर्तता करतात, जसे की आवश्यक फ्रंटमॅटर आणि उद्धरण स्वरूप (citation format). सिमेंटिक पडताळणी तपासणी हे सुनिश्चित करतात की प्रस्तावित संश्लेषण गोळा केलेल्या पुराव्याद्वारे समर्थित आहे आणि आलेखाच्या बाकीच्या भागाशी सुसंगत राहते. एजंट यशस्वीपणे पूर्ण झाल्यानंतर, एक नियंत्रित सिंक्रोनाइझेशन पायरी स्टेज केलेल्या आउटपुटची मागील स्थितीशी तुलना करते आणि रिपॉझिटरीमध्ये बदल लागू करते. जेव्हा सिंक्रोनाइझेशन पायरी पूर्ण होते, तेव्हा संपादनांचा अंतिम संच Git व्हर्जन इतिहासाद्वारे तपासण्यायोग्य असतो.
Brain ची पडताळणी करणे
उपयुक्त मेमरी सिस्टीमने संबंधित पुरावे जतन केले पाहिजेत, गरज भासल्यास ते समोर आणले पाहिजेत आणि एजंटला त्या पुराव्याचे अचूक उत्तरात रूपांतर करण्यास मदत केली पाहिजे. त्यामुळे आम्ही अनेक स्तरांवर Brain चे मूल्यमापन करतो: नियंत्रित ऑफलाइन एब्लेशन्स, सतत जोडलेले रीप्ले आणि यादृच्छिक उत्पादन प्रयोग.
ऑफलाइन मूल्यांकन
आमचे प्राथमिक ऑफलाइन मूल्यांकन 44 सिंथेटिक पर्सनवरील 640 प्रश्नांचा अंतर्गत डेटासेट वापरते. वापरकर्त्याची गोपनीयता जतन करण्यासाठी कोणतेही उत्पादन क्वेरी मजकूर समाविष्ट न करता, हे पर्सन सत्र कॅडन्स, टर्न काऊंट, टॉपिक मिक्स आणि फॅक्ट डेन्सिटी मधील उत्पादनापासून व्युत्पन्न नमुने पुनउत्पादित करतात. मेमरी एक्स्ट्रॅक्शन, संभाषण सारांश आणि ज्ञान विकीचे Dream चे संकलन यासह उत्पादन मेमरी पाइपलाइनद्वारे प्रत्येक खाते भरले जाते. प्रत्येक प्रश्नासाठी, अचूक उत्तर खात्याच्या इतिहासात उपस्थित असलेल्या विशिष्ट पुराव्याशी यांत्रिकरीत्या जोडलेले असते.
उदाहरणार्थ, नादियासाठी, पूर्वी ओळख करून दिलेली ॲक्सेसिबिलिटी संशोधक सिंथेटिक पर्सन, डेटासेटमध्ये "क्योटो आणि सेन्डाईमध्ये मी कोणत्या संस्थांना भेटत आहे?" हा प्रश्न समाविष्ट आहे. उत्तर (क्योटोमधील सोरा सिटी लॅब आणि सेन्डाईमधील साम्फिर मोबिलिटी कूप) थेट संबंधित विकी पृष्ठावर दिसते.
ज्ञान विकी सक्षम आणि अक्षम केलेल्या समान प्रश्नांची आणि खात्यांची आम्ही तुलना करतो. इतर मेमरी पृष्ठभाग दोन्ही अटींमध्ये उपलब्ध आहेत. यामुळे मेमरी नसलेल्या स्थितीशी तुलना करण्याऐवजी Brain चे वाढीव योगदान वेगळे दिसते. एकूणच, Brain मुळे उत्तरांची अचूकता 0.600 वरून 0.661 पर्यंत वाढली (6.1 टक्के गुणांची वाढ), आणि पुराव्याची आठवण (evidence recall) 0.573 वरून 0.625 पर्यंत वाढली (5.2 टक्के गुणांची वाढ). प्राधान्यांबद्दलचे प्रश्न (+10.2 pp), तात्पुरते तर्क (+8.6 pp), आणि पूर्वीच्या कृतीतून तपशील काढणे (+6.9 pp) यांसाठी हा प्रभाव सर्वात मोठा होता. 84% प्रश्नांवर, एजंटने खात्रीशीरपणे अचूक पुराव्याशी जोडलेला स्त्रोत स्पर्श केला.
आम्ही दोन सार्वजनिक बेंचमार्कच्या उपसंचांवर जुळलेल्या Brain एब्लेशन्स देखील चालवल्या. LoCoMo वर, विकी काढून टाकल्याने वेगवेगळ्या मॉडेल्ससह तीन रन्सवर, उत्तराची अचूकता सरासरी 4.6 टक्के गुणांनी कमी झाली. LongMemEval-S वर यामुळे कोणतेही सांख्यिकीयदृष्ट्या महत्त्वपूर्ण बदल झाले नाहीत. हा निकाल Brain च्या अपेक्षित भूमिकेशी सुसंगत आहे. LongMemEval-S प्रामुख्याने वैयक्तिक सत्रांमधून तथ्यांची पुनर्प्राप्ती तपासते, जिथे अंतर्निहित ट्रान्सक्रिप्ट्स उत्तरासाठी एक अनावश्यक मार्ग प्रदान करतात. LoCoMo संभाषणे, वक्ते आणि तारखांमध्ये विखुरलेल्या पुराव्यांवर अधिक भर देते, ज्यामुळे विकीच्या क्रॉस-ससेशन सं संश्लेषणासाठी योगदान देण्याची अधिक संधी निर्माण होते.
एकंदरीत, Brain सक्षम असताना, उत्पादन एजंटने LongMemEval-S वर 0.91 आणि LoCoMo वर 0.83 उत्तराची अचूकता साध्य केली. हे प्रयोग बेंचमार्क उपसंच वापरत असल्याने, ते निश्चित बेंचमार्क निकाल नाहीत. तथापि, एब्लेशन्स अजूनही मजबूत संकेत देतात की विकी कार्यक्षमता सुधारते, विशेषतः जेव्हा संभाषणामध्ये पुरावा समाकलित करणे आवश्यक असते. Brain हा अनुकूलित, बेंचमार्क-विशिष्ट पुनप्राप्ती सिस्टीमऐवजी Computer चा भाग असल्याने, उत्पादन वर्कफ्लोशी अधिक जवळून साम्य असलेल्या कार्यांसह स्पर्धात्मकता केवळ वाढेल असा आमचा विश्वास आहे.
ऑनलाइन मूल्यांकन
Offline datasets cannot capture every feature of real user histories, so we also run a daily paired evaluation over fresh production-derived cohorts. The same fixed questions are answered against matched user state with Brain enabled and disabled, then judged for correctness, currentness, and recall.
१ जून रोजी नोंदवलेले प्राथमिक निकाल दर्शवतात की Brain उत्तराची अचूकता २५% आणि स्मरणशक्ती (recall) १६% ने वाढवते. हे कामगिरीचे फायदे टिकून राहणे सुरूच आहे; गेल्या ३० दिवसांत, Brain-सक्षम सत्रांनी प्रत्येक रनवर आणि प्रत्येक जज केलेल्या परिमाणावर नियंत्रण मागे टाकले. परिपूर्ण अटींमध्ये, Computer वापरकर्त्यांना अचूकतेमध्ये 9.3 गुणांची, वर्तमानतेमध्ये (currentness) 8.0 गुणांची आणि स्मरणशक्तीमध्ये 8.9 गुणांची सुधारणा अनुभवता आली. Brain-सक्षम ट्रॅजेक्टरीजने अंदाजे 15% कमी टोकन्स वापरले, 10% कमी खर्च केला आणि 10% जलद पिढी पूर्ण केली.
सतत सुधारणा
वापरकर्त्यांना सर्वोत्तम मेमरी अनुभव देण्यासाठी आम्ही Brain परिष्कृत करणे सुरू ठेवले आहे. अलीकडील एका बदलामध्ये Brain चा संक्षिप्त निर्देशांक एजंटला नंतर शोधणे आणि वाचणे आवश्यक करण्याऐवजी थेट एजंटच्या प्रारंभिक संदर्भात ठेवला जातो. यादृच्छिक प्रयोगात, या प्रीफिल उपचाराने Brain चा वापर वाढवला आणि मेमरी-संबंधित असमाधान 6.9% ने कमी केले.
ऑफलाइन मूल्यांकन हार्नेस स्वयंचलित सुधारणा पाइपलाइनचा एक भाग म्हणून देखील दुप्पट होते. Brain च्या मेमरी सबएजंट, पुनप्राप्ती कौशल्ये आणि प्रॉम्प्ट्समधील प्रस्तावित बदल आमच्या अंतर्गत डेटासेट आणि सार्वजनिक बेंचमार्कवरील जुळलेल्या एब्लेशन्सद्वारे चालवले जातात. Computer एजंट्स परिणामांवर स्वयंचलितपणे पुनरावृत्ती करू शकतात, प्रत्येक पुनरावृत्तीचा बदल, डेल्टा आणि खर्च टिकाऊ रेकॉर्ड म्हणून जतन करू शकतात आणि फक्त संख्या हलवणारे बदल ठेवून घेऊ शकतात. याचा परिणाम अशी प्रणाली आहे जिथे Brain चे मूल्यांकनकर्ते त्याचे ऑप्टिमायझर्स देखील आहेत, ज्यामुळे भविष्यातील सुधारणांना चालना मिळते.
निष्कर्ष
आठवडे आणि महिने काम करणाऱ्या एजंट सिस्टीम तयार करण्यासाठी सतत शिकणे ही एक परिभाषित आव्हानांपैकी एक आहे. आमचा विश्वास आहे की मेमरी आर्किटेक्चर हे अशा वातावरणात सर्वोत्तम प्रदर्शित केले जातात जे एजंट त्यांच्या सामान्य साधनांचा वापर करून थेट अन्वेषण करू शकतात. Brain शीर्षस्थानी संरचित ज्ञान विकी म्हणून मेमरी फाइलसिस्टम म्हणून उघडी करणे, साध्या आणि परिचित साधनांद्वारे संदर्भ कार्यक्षमतेने नेव्हिगेट करण्यायोग्य बनवते.
Brain स्वतः सुधारण्यासाठी डिझाइन केलेले आहे, जेणेकरून वापर वाढल्याप्रमाणे मेमरी सिस्टीम अधिक चांगली होत राहू शकेल. ड्रिम (Dream) बॅकग्राउंड एजंट ताजी माहिती Brain अद्यतनांमध्ये वितरीत करतात, ज्यामुळे हे सुनिश्चित होते की फॉरग्राउंड एजंट नेहमी सर्वात अलीकडील संदर्भाच्या संघटित दृश्यांसह नवीन सत्र सुरू करतात. मूल्यमापन हार्नेस मुख्य मेमरी आर्किटेक्चर आणि एजंट-फेसिंग इंटरफेसेसवर ऑटोरिसर्च लूपसाठी चाचणी मैदान म्हणून काम करतो.
Brain मुळे आधीपासूनच टोकन खर्च कमी होत असताना अधिक अचूक आणि कार्यक्षम एजंट सत्रे मिळाली आहेत. Computer च्या प्रॉडक्शन स्टॅकसह Brain च्या आमच्या काळजीपूर्वक सह-डिझाइनमुळे हे फायदे थेट वापरकर्त्यांसाठी वास्तविक फायद्यांमध्ये अनुवादित होतात हे सुनिश्चित होते.
Computer ची मेमरी गुणवत्ता सुधारण्यासाठी आम्ही अधिक क्षमता तयार करणे सुरू ठेवले आहे. दरम्यान, Brain सक्षम केलेल्या वापरकर्त्यांसाठी, प्रत्येक सत्रासह मेमरी सुधारेल.