Brain: Agentická pamäť ako vedomostná wiki

Používatelia Computeru robia prácu, ktorá presahuje mesiace a stovky relácií. Do desiatej relácie by mal byť systém oveľa produktívnejší ako v prvej. Mal by hromadiť kontext o používateľovi, jeho preferenciách a práci, ktorá už bola vykonaná.

Napríklad, keď je požiadaný o nakreslenie diagramu pracovného postupu, ktorý používateľ predtým vysvetlil, Computer by mal si vybaviť podrobnosti a použiť ich na vytvorenie a výstup obrázka v preferovanom štýle používateľa. Používateľ by nemal musieť znova vysvetliti podrobnosti pracovného postupu ani zopakovať svoju preferenciu PDF pred artefaktmi PNG; systém by mal dokázať presne obnoviť tento kontext z minulých relácií a použiť ho automaticky.

Pamäť je základom neustáleho zlepšovania agentov. Efektívny pamäťový systém by mal byť štruktúrovaný, sledovateľný a prispôsobivý, čo agentom umožňuje hľadať v správnej šírke a hĺbke pre každú úlohu a zároveň zakotviť každé rozhodnutie v najaktuálnejších informáciách.

Úvod

Naplnenie agentov relevantným kontextom je mnohostranný problém. Najprv musia agenti vedieť, čo existuje a ako k tomu pristupovať. Po druhé, keď nájdu užitočnú informáciu, musia si byť istí, že je úplná, presná a aktuálna. Izolovaný fakt má obmedzenú hodnotu, pokiaľ agent nedokáže nájsť súvisiace informácie, overiť, že pochádzajú z dôveryhodného zdroja, a zabezpečiť, aby sa nemuseli aktualizovať novším pozorovaním.

Ukladanie statických pamäťových súborov priamo do kontextu modelu maximalizuje dostupnosť pre agentov, ale predstavuje klasický kompromis medzi presnosťou a úplnosťou (precision-recall). Príliš veľa informácií nasýti kontextové okno agenta položkami s čoraz menšou relevanciou, zatiaľ čo príliš málo zhorší kvalitu odpovedí v dôsledku nedostatku relevantného kontextu. Prístup k externým databázam na požiadanie je naopak flexibilnejší, ale presúva bremeno navigácie na agenta. Vektorové databázy často ukladajú odpojené fragmenty a grafové databázy vyžadujú, aby agenti vedeli, ako efektívne dopytovať.

Nedávno sme predstavili Brain, jadrovú komponentu pamäťového systému Computeru, ktorá prináša to najlepšie z oboch svetov. Brain je štruktúrovaná vedomostná wiki, ktorá sa nachádza nad statickými pamäťovými súbormi a dôkazmi. Citácie spájajú tvrdenia s ich zdrojmi a súvisiace informácie sú spojené laterálne. Usporiadaná wiki sprístupňuje kontext na požiadanie, zatiaľ čo podrobné artefakty sú zachované vo vrstve pod ňou.

Brain sa pripája k komplexnému pamäťovému systému s tromi kľúčovými komponentmi: odolným ukladacím priestorom pamäte, agentmi v popredí, ktorí používajú pamäť na zodpovedanie dopytov, a agentmi na pozadí, ktorí aktualizujú a zlepšujú pamäť. Nasledujúci obrázok znázorňuje tieto komponenty umiestnené v rámci celkovej systémovej architektúry systému Brain.

V tomto článku do hĺbky opisujeme jednotlivé vrstvy a vysvetľujeme, ako Brain organizuje pamäť, ako ju agenti používajú a ako procesy na pozadí zabezpečujú jej aktuálnosť. Predstavujeme tiež výsledky interných vyhodnotení, ktoré overujú návrh systému Brain a preukazujú, že zlepšuje výkon agentov pri nižších nákladoch.

Organizácia a ukladanie pamäte

Pamäť potrebuje reprezentáciu, ktorá sa škáluje na plnú históriu používateľa bez toho, aby nútila každý kúsok kontextu do výzvy. Pamäťový systém Computeru reprezentuje pretrvávajúci kontext ako súborový systém. Brain syntetizuje vedomosti naprieč surovými zdrojmi, spája súvisiace predmety a spája tvrdenia späť s reláciami a súbormi, ktoré ich podporujú. Táto štruktúra, podrobne opísaná nižšie, nám umožňuje organizovať pamäť vo forme, ktorá je obzvlášť vhodná pre agentov.

Pamäť založená na súborovom systéme

Relácie Computeru už fungujú v pieskovisku so súborovým systémom, shellom a nástrojmi I/O. Pri navrhovaní systému Brain sme chceli v rozhraní medzi modelom a pamäťou agenta zaviesť čo najmenej nových mechanizmov. Preto sme Brain postavili na vrstve kontextu natívnej pre súborový systém. Pamäť sa materializuje ako súbory v pieskovisku v adresári memory/ a agent jednoducho používa rovnaké nástroje na súbory pamäte, aké už používa na všetko ostatné.

V koreni pamäťového stromu sa nachádzajú tri adresáre najvyššej úrovne, ktoré udržiavajú kontext na rôznych úrovniach abstrakcie. knowledge/ je samotný Brain, syntetizovaná vedomostná wiki, ktorá spája entity, koncepty, aktívne projekty a minulé poznatky; notes/ obsahuje destilované úryvky usporiadané ako tématické priečinky; a sessions/ uchováva indexy, zhrnutia a plné prepisy ako surové histórie. Nasledujúci obrázok ukazuje zjednodušený pohľad na rozloženie.

Povrchy sú zámerne redundantné. Pre jednoduché otázky s jedným preskokom často stačí vyhľadať úryvky v rámci /notes pre kľúčové slovo, zatiaľ čo vrstva /knowledge je najužitočnejšia pre otázky, ktoré vyžadujú spájanie dôkazov naprieč týždňami alebo mesiacmi relácií Computeru.

Brain: Vedomostná wiki

Brain je formátovaný ako LLM wiki, systém prepojených súborov Markdown. Táto forma ľahko štruktúrovaného Markdown poskytuje ucelený pohľad na existujúci kontext, takže agenti môžu ľahko pochopiť, aké záznamy sú dostupné, ako spolu súvisia a kde ich nájsť. Každá stránka je udržiavaným pohľadom na jednu tému; mala by zostať užitočná pri samostatnom čítaní a zároveň uľahčovať ďalší prieskum prostredníctvom odkazov.

Odkazy sa dodávajú v dvoch typoch. [[wikilinks]] sú kontextové hrany. Spájajú stránky laterálne; projekt môže odkazovať na svojho vlastníka, svojho klienta alebo koncepty, na ktorých závisí. Ich sledovanie odpovedá na otázku „čo ešte potrebujem vedieť?“. Odkazy [cite:N] sú hrany dôkazov. Spájajú tvrdenia smerom nadol k surovým reláciám alebo zdrojom konektorov, ktoré ich podporujú. Ich sledovanie odpovedá na otázku „ako viem, že je to pravda?“.

Nasledujúce obrázky znázorňujú, ako by časť systému Brain vyzerala pre syntetickú personu, výskumníčku v oblasti prístupnosti menom Nadia. Jej Brain zahŕňa stránku o vzorovom projekte, šprinte univerzálneho dizajnu v Japonsku, ktorý syntetizuje vedomosti z relácií a konektorov. Zobrazenie grafu demonštruje, ako kontext a hrany dôkazov prítomné na stránke prepájajú súvisiace entity a zdroje.

Brain je zálohovaný systémom Git na zachovanie histórie verzií, čo podporuje jeho neustále sa vyvíjajúcu povahu. Stránky možno v priebehu času upravovať, zatiaľ čo záznamy o zmenách zaznamenávajú kľúčové aktualizácie a umožňujú agentom jednoducho kontrolovať minulé verzie a porovnania (diff). To tiež podporuje agentickú koordináciu, čo je kľúčové, keďže viaceré agenty môžu používateľa Brain používať a aktualizovať naraz.

Používanie systému Brain

Pri odpovedaní na dopyt používateľa musia agenti vedieť nájsť správny kontext na správnej úrovni detailov. Štruktúra systému Brain uľahčuje agentom prehľadávanie pamäte. Agenti si môžu vybrať medzi akčnými krokmi, ako je sledovanie kontextových odkazov na nájdenie súvisiacich informácií, sledovanie odkazov na dôkazy na overenie tvrdení alebo volanie subagenta na získanie a syntézu dodatočného kontextu. Proces agentického prieskumu riadime viacerými spôsobmi, ktorých cieľom je maximalizovať jednoduchosť prístupu agentov k relevantným informáciám.

Stratégia prieskumu

Zahrňujeme kompaktný index systému Brain do počiatočnej správy používateľa, takže agent začína s pracovnými znalosťami o tom, čo už existuje. Agent potom interaguje so systémom Brain pomocou známych operácií: čítania špecifických položiek odkazovaných indexom, použitia grep na vyhľadávanie naprieč stránkami, sledovania odkazov a kontroly citácií, porovnávania revízií Git a zostupovania do relácií alebo surových trajektórií. Blok kódu nižšie zobrazuje ukážkové príkazy pre syntetickú personu.

Agenti skúmajú tento kontext prostredníctvom sebadirectívnej slučky, a nie pevného kanála. Agent preto môže pokračovať v hľadaní, kým nie je spokojný s nájdeným kontextom. Agent si tiež môže zvoliť, kedy skontrolovať citácie a dôkazy na nájdenie alebo overenie podrobností. Drobná záležitosť preferencie sa môže prevziať priamo z jednej stránky Brain, zatiaľ čo závažné rozhodnutie alebo konflikt medzi zdrojmi môže ospravedlniť sledovanie citácie a prečítanie pôvodného záznamu. Štruktúra založená na grafe umožňuje agentovi vybrať si medzi konkrétnymi nasledujúcimi krokmi namiesto bezcieľneho hľadania súvisiacich informácií.

Materializácia súborov

Aby agentické prieskum fungovalo, agent musí mať prístup k celému stromu memory/ prostredníctvom súborového systému pieskoviska. Lokálne kopírovanie celého stromu pri každom spustení pieskoviska je nákladné a zbytočné, pretože agent sa drvivej väčšiny týchto súborov ani nedotkne. Ďalšou možnosťou by bolo použitie vzdialeného súborového systému, aby agenti mali prístup k ľubovoľnému súboru bez ich lokálneho kopírovania. Avšak agenti často vykonávajú tisíce operácií so súborovými systémami v jedinom príkaze; ak sa každá z nich stane sieťovou požiadavkou, náklady na spiatočnú cestu začnú dominovať v prieskumnej slučke. Pri internom testovaní boli jednoduché pracovné zaťaženia grep nad vzdialenou cestou s podporou FUSE približne 400 až 500-krát pomalšie než ekvivalentné operácie nad lokálnymi súbormi.

Namiesto toho vytvárame lokálnu pracovnú sadu materializovaných súborov, zatiaľ čo väčší korpus zostáva za systémom získavania pamäte. Computer pri štarte predbežne nahrá počiatočnú mapu (prevzatú z nedávnych pamätí, relácií, zhrnutí a dostupných vedomostí) do pieskoviska. Agenti Computeru majú prístup k pamäťovému agentovi, subagentovi, ktorý môže vykonávať sémantické vyhľadávanie a načítať novú sadu súborov. Keď chýba potrebný kontext, Computer môže zavolať pamäťového agenta s opisom požadovaných informácií. Pamäťový agent vyhľadáva naprieč súbormi, vracia okamžitú textovú syntézu a materializuje podporné záznamy ako súbory v pamäťovom strome. Týmto spôsobom sa pracovná sada rozširuje prirodzene a postupne v priebehu času, pričom sa zachovávajú stabilné cesty a vzťahy zdrojov pre už prítomné dôkazy.

Tento návrh elegantne rieši problém úzkeho hrdla latencie. Ukladanie relevantných súborov lokálne zaisťuje, že operácie so súborovým systémom potrebné na prieskum zostávajú rýchle, a dávkové získavanie umožňuje fondu materializovaných súborov rásť bez toho, aby vyžadovali samostatné volania pre každý súbor alebo načítanie veľkého množstva irelevantných súborov. Návrh so zgniezdeneými agentmi navyše poskytuje Computeru výhody agentického získavania bez toho, aby vyžadoval, aby hlavný agent priamo prehľadával celý backendový korpus zakaždým, čím si zachováva vlastné kontextové okno pre informácie s najvyššou hodnotou.

Údržba systému Brain

Používatelia sa neustále učia z práce, ktorú robia, a konverzácií, ktoré vedú, takže agentická pamäť musí robiť to isté. Aby Brain zostal užitočný, mal by byť stručnou reprezentáciou najdôležitejších vedomostí. Pre dôležité nové entity by sa mali vytvárať nové stránky, do príslušných stránok Brain by sa mali pridávať nové informácie a zastaraný kontext by sa mal sezónne odstraňovať. Napríklad, ak sa zmení zamestnanie používateľa, Brain by mal túto zmenu odrážať; mal by obsahovať nové zamestnanie používateľa a uprednostňovať informácie súvisiace s jeho novými zodpovednosťami a projektmi.

Brain udržiavajú agenti na pozadí, ktorých nazývame Dream. Agenti Dream spúšťajú offline nad pamäťou založenou na súboroch a syntetizujú nové informácie do aktualizácií systému Brain. Starostlivo sme zadefinovali rozsah a správanie agentov Dream, aby túto úlohu efektívne vykonávali, spolu s ochrannými mechanizmami špecifickými pre Dream na zabezpečenie konzistentnosti a presnosti aktualizácií systému Brain.

Dream: Agenti na pozadí pre vylepšenie pamäte

Agenti Dream fungujú v pieskoviskách s prístupom k rovnakému súborovému systému a nástrojom len na čítanie, aké by mala interaktívna relácia Computeru, ale ich jediným cieľom je zlepšiť kontext pre budúce relácie. Každý beh začína od Brainu vytvoreného predchádzajúcimi behmi namiesto opätovného budovania kontextu používateľa od nuly. Potom používa tento aktuálny Brain na orientáciu a vytvára aktualizovaný Brain pre budúce behy.

Agent Dream dostane prostredie a rozhodne sa, ako ho preskúma, namiesto toho, aby dostal pevný vstup sploštený do jednej výzvy. Môže navigovať v pamäti založenej na súboroch, používať schválené nástroje konektorov len na čítanie na overenie poznatkov a delegovať obmedzené časti práce na subagentov vrátane pamäťového agenta. Rozsah a zodpovednosti agenta Dream sú špecifikované ako Skill.

Vo všeobecnosti sa beh Dream skladá zo 4 fáz:

1. Orientovať sa: Agent dokončí usporiadaný orientačný postup. Identifikuje autoritatívny rozsah, záväzné pokyny, záznam o vymazaní, dodatočné vstupy a podmienky zastavenia.
2. Zhrnúť relácie: Pre každú reláciu, ktorá je nová (alebo mala nové výmeny) od poslednej aktualizácie, agent napíše (alebo aktualizuje) krátke zhrnutie relácie.
3. Pripojiť fakty k predmetom: Agent pridá každé pozorovanie, ktoré považuje za významné, do jeho správneho domova, ktorým je zvyčajne wiki stránka. V prípade dostupnosti skúma a dopytuje overené konektory.
4. Aktualizovať vedomostnú wiki: Agent aktualizuje wiki na základe svojich zistení. Môže vytvárať nové stránky pre trvácne predmety, upravovať stránky, keď sa aktuálna syntéza zmenila, alebo pridávať nové odkazy či citácie podporujúce faktické tvrdenie. Môže sa tiež rozhodnúť nevykonať žiadne zmeny, keď je aktuálny graf už správny.

Aby sa zabezpečilo, že akékoľvek aktualizácie systému Brain sú úplné a konzistentné, agenti zapisujú navrhovaný stav do pripraveného výstupného stromu. Žiadne trvalé zmeny sa nevykonajú, kým agent nevykoná všetky aktualizácie, ktoré považuje za potrebné. Koordinácia týchto rozhodnutí v jednom agentickom procese umožňuje aktualizovať graf ako celok namiesto nesúvisiacich stránok.

Akékoľvek zmeny musia prejsť dvoma typmi overovacích kontrol. Deterministické kontroly platnosti zaisťujú, že stránky sú dobre vytvorené a spĺňajú objektívne kritériá, ako je požadovaná hlavička a formát citácií. Sémantické overovacie kontroly zaisťujú, že navrhovaná syntéza je podložená zozbieranými dôkazmi a zostáva v súlade so zvyškom grafu. Po úspešnom dokončení práce agenta kontrolovaný krok synchronizácie porovná pripravený výstup s predchádzajúcim stavom a aplikuje zmeny do úložiska. Po dokončení kroku synchronizácie je konečná sada úprav kontrolovateľná prostredníctvom histórie verzií Git.

Overovanie systému Brain

Užitočný pamäťový systém musí uchovávať relevantné dôkazy, vynoriť ich v prípade potreby a pomôcť agentovi premeniť tieto dôkazy na správnu odpoveď. Preto hodnotíme Brain na viacerých úrovniach: kontrolované offline abláty, nepretržité párové prehrávanie a randomizované produkčné experimenty.

Offline vyhodnotenia

Naše primárne offline vyhodnotenie využíva interný súbor údajov so 640 otázkami naprieč 44 syntetickými personami. Persony reprodukujú vzorce odvodené z produkcie v kadencii relácií, počte výmen, kombinácii tém a hustote faktov, pričom neobsahujú žiadny text produkčných dopytov, aby sa zachovalo súkromie používateľov. Každý účet je naplnený prostredníctvom produkčného pamäťového kanála vrátane extrakcie pamäte, zhrnutí konverzácií a kompilácie vedomostnej wiki systémom Dream. Pre každú otázku je správna odpoveď mechanicky naviazaná na konkrétne dôkazy prítomné v histórii účtu.

Napríklad pre Nadiu, výskumníčku v oblasti prístupnosti a syntetickú personu predstavenú skôr, súbor údajov obsahuje otázku: „S akými organizáciami sa stretávam v Kjóte a Sendai?“ Odpoveď (Sora City Lab v Kjóte a Sapphir Mobility Coop v Sendai) sa objaví priamo na zodpovedajúcej wiki stránke.

Porovnávame tie isté otázky a účty so zapnutou kompilovanou vedomostnou wiki verzus s vypnutou. Ostatné pamäťové povrchy zostávajú dostupné v oboch podmienkach. To oddeľuje prírastkový príspevok systému Brain namiesto porovnávania pamäte s absenciou pamäte. Celkovo Brain zvýšil správnosť odpovedí z 0,600 na 0,661, čo predstavuje nárast o 6,1 percentuálneho bodu, a vybavenie dôkazov z 0,573 na 0,625, čo predstavuje nárast o 5,2 percentuálneho bodu. Tento vplyv bol najväčší pri otázkach o preferenciách (+10,2 pb), časovom uvažovaní (+8,6 pb) a extrahovaní podrobností z predchádzajúcej aktivity (+6,9 pb). Pri 84 % otázok sa agent preukázateľne dotkol zdroja viazaného na zlaté dôkazy.

Spustili sme aj porovnateľné abláty systému Brain na podmnožinách dvoch verejných benchmarkov. Na LoCoMo odstránenie wiki znížilo správnosť odpovedí v priemere o 4,6 percentuálneho bodu, cez tri behy s rôznymi modelmi. Na LongMemEval-S to nevytvorilo žiadnu štatisticky významnú zmenu. Tento výsledok je v súlade so zamýšľanou úlohou systému Brain. LongMemEval-S primárne testuje obnovu faktov z jednotlivých relácií, kde základné prepisy poskytujú redundantnú cestu k odpovedi. LoCoMo kladie väčší dôraz na dôkazy rozptýlené v konverzáciách, rečníkoch a dátumoch, čím vytvára väčší priestor pre príspevok medzireláciových syntéz wiki.

Celkovo so zapnutým systémom Brain dosiahol produkčný agent správnosť odpovedí 0,91 na LongMemEval-S a 0,83 na LoCoMo. Keďže tieto experimenty použili podmnožiny benchmarkov, nie sú to definitívne výsledky benchmarkov. Abláty však stále poskytujú silný signál, že wiki zlepšuje výkon, najmä keď sa dôkazy musia integrovať naprieč konverzáciami. Keďže Brain je súčasťou Computeru, a nie optimalizovaný systém získavania špecifický pre benchmark, veríme, že konkurencieschopnosť sa bude zvyšovať iba s úlohami, ktoré sa viac podobajú produkčným pracovným postupom.

Online vyhodnotenia

Offline datasety nedokážu zachytiť každú vlastnosť skutočnej histórie používateľov, takže spúšťame aj denné párové vyhodnotenie nad čerstvými kohortami odvodenými z produkcie. Na rovnaké pevné otázky sa odpovedá proti porovnanému stavu používateľa so zapnutým a vypnutým systémom Brain, pričom sa posudzuje správnosť, aktuálnosť a vybavenie.

Predbežné výsledky zverejnené 18. júna preukázali, že Brain zvyšuje správnosť odpovedí o 25 % a vybavenie o 16 %. Tieto výkonnostné zisky sa naďalej udržali; za posledných 30 dní relácie so zapnutým systémom Brain prekonali kontrolnú vzorku pri každom behu a každej posudzovanej dimenzii. V absolútnych vyjadreniach sa používatelia Computeru tešili zlepšeniam o 9,3 bodu v správnosti, 8,0 bodu v aktuálnosti a 8,9 bodu vo vybavení. Trajektórie so zapnutým systémom Brain tiež spotrebovali približne o 15 % menej tokenov, stáli o 10 % menej a dokončili generovanie o 10 % rýchlejšie.

Nepretržité zlepšovanie

Naďalej zdokonaľujeme Brain, aby používateľom prinášal tie najlepšie zážitky s pamäťou. Jedna nedávna zmena umiestňuje kompaktný index systému Brain priamo do počiatočného kontextu agenta namiesto toho, aby vyžadovala, aby agent objavil a prečítal si ho neskôr. V randomizovanom experimente toto predbežné vyplnenie zvýšilo používanie systému Brain a znížilo nespokojnosť súvisiacu s pamäťou o 6,9 %.

Offline hodnotiaca sada tiež slúži ako súčasť autonómneho kanála zlepšovania. Navrhované zmeny pamäťového subagenta systému Brain, vyhľadávacích zručností a výziev sa spúšťajú prostredníctvom porovnaných ablát na našom internom datasete a verejných benchmarkoch. Agenti Computeru môžu iterovať nad výsledkami autonomne, pričom zachovávajú zmeny, delty a náklady každej iterácie ako odolný záznam a ponechávajú si iba tie zmeny, ktoré posúvajú čísla. Výsledkom je systém, kde hodnotitelia systému Brain sú zároveň jeho optimalizátormi, čo poháňa budúce zlepšenia.

Záver

Nepretržité učenie je jednou z určujúcich výziev pri budovaní systémov agentov, ktoré fungujú týždne a mesiace. Sme presvedčení, že pamäťové architektúry sa najlepšie vystavujú ako prostredia, ktoré môžu agenti priamo preskúmavať pomocou svojich bežných sád nástrojov. Sprístupnenie pamäte ako súborového systému so systémom Brain ako štruktúrovanou vedomostnou wiki navrchu robí kontext efektívne navigovateľným pomocou jednoduchých a známych nástrojov.

Brain je navrhnutý na sebezlepšovanie, takže pamäťový systém sa môže s rastúcim používaním neustále zlepšovať. Agenti na pozadí Dream destilujú čerstvé informácie do aktualizácií systému Brain, čím zaisťujú, že agenti v popredí vždy začínajú novú reláciu s usporiadaným pohľadom na najnovší kontext. Hodnotiaca sada zároveň slúži ako testovacie prostredie pre slučky autovýskumu na jadre pamäťovej architektúry a rozhraniach orientovaných na agenta.

Brain už priniesol presnejšie a výkonnejšie relácie agentov a zároveň znížil spotrebované tokeny. Naše starostlivé spoločného navrhovanie systému Brain s produkčným zásobníkom Computeru zaisťuje, že tieto prínosy sa priamo premenia na skutočné výhody pre používateľov.

Naďalej budujeme ďalšie schopnosti na zlepšenie kvality pamäte Computeru. Medzitým sa pre používateľov so zapnutým systémom Brain pamäť zlepší s každou reláciou.