Brain: Agentisch Geheugen als Kenniswiki

Computer-gebruikers verrichten werk dat maanden en honderden sessies omspant. Tegen de tiende sessie zou het systeem veel productiever moeten zijn dan in de eerste. Het moet context verzamelen over de gebruiker, diens voorkeuren en het werk dat al is verricht.

Bijvoorbeeld, wanneer gevraagd wordt om een diagram te tekenen van een workflow die de gebruiker eerder heeft uitgelegd, moet Computer de details herinneren en deze gebruiken om een figuur te maken en uit te voeren in de door de gebruiker geprefereerde stijl. De gebruiker hoeft de details van de workflow niet opnieuw uit te leggen of hun voorkeur voor PDF boven PNG-artefacten te herhalen; het systeem moet die context nauwkeurig kunnen herstellen uit eerdere sessies en deze automatisch kunnen toepassen.

Geheugen is de basis voor continue verbetering van agents. Een effectief geheugensysteem moet gestructureerd, traceerbaar en aanpasbaar zijn, zodat agents voor elke taak op de juiste breedte en diepte kunnen zoeken en elke beslissing kunnen baseren op de meest actuele informatie.

Inleiding

Het doordrenken van agents met relevante context is een veelzijdig probleem. Ten eerste moeten agents weten wat er bestaat en hoe ze hiertoe toegang kunnen krijgen. Ten tweede, wanneer ze een nuttig stuk informatie vinden, moeten ze er zeker van zijn dat het compleet, nauwkeurig en up-to-date is. Een geïsoleerd feit heeft een beperkte waarde tenzij de agent gerelateerde informatie kan vinden, kan verifiëren dat deze afkomstig is van een vertrouwde bron en kan garanderen dat het niet hoeft te worden bijgewerkt met een recentere waarneming.

Het direct proppen van statische geheugenbestanden in de modelcontext maximaliseert de toegankelijkheid voor agents, maar brengt een klassieke precisie-terugroepingsafweging met zich mee. Te veel informatie zal het contextvenster van de agent verzadigen met items van steeds minder betekenis, terwijl te weinig de antwoordkwaliteit zal aantasten als gevolg van een gebrek aan relevante context. Daarentegen is on-demand toegang tot externe databases flexibeler, maar legt het de last van navigatie op de schouders van de agent. Vectordatabases slaan vaak losse fragmenten op, en graafdatabases vereisen dat agents weten hoe ze effectief moeten bevragen.

Onlangs hebben we Brain geïntroduceerd, een kerncomponent van het geheugensysteem van Computer dat het beste van beide werelden biedt. Brain is een gestructureerde kenniswiki die bovenop statische geheugenbestanden en bewijs zit. Citaten koppelen beweringen aan hun bronnen, en gerelateerde stukjes informatie worden zijdelings verbonden. De georganiseerde wiki maakt context op aanvraag navigeerbaar, terwijl gedetailleerde artefacten worden bewaard in de laag daaronder.

Brain maakt verbinding met een alomvattend geheugensysteem met drie sleutelcomponenten: duurzame geheugenopslag, voorgrondagents die geheugen gebruiken om query's te beantwoorden, en achtergrondagents die geheugen bijwerken en verbeteren. De volgende figuur toont deze componenten gesitueerd binnen de algehele systeemarchitectuur van Brain.

In dit artikel beschrijven we elke laag diepgaand, waarbij we uitleggen hoe Brain het geheugen organiseert, hoe agents het gebruiken en hoe achtergrondprocessen het up-to-date houden. We presenteren ook resultaten van interne evaluaties die het ontwerpen van Brain valideren, waarmee wordt aangetoond dat het de prestaties van agents verbetert tegen lagere kosten.

Geheugenorganisatie en -opslag

Het geheugen heeft een representatie nodig die schaalbaar is tot de volledige geschiedenis van een gebruiker zonder elk stuk context in de prompt te dwingen. Het geheugensysteem van Computer vertegenwoordigt persistente context als een bestandssysteem. Brain synthetiseert kennis over ruwe bronnen, verbindt gerelateerde onderwerpen en verbindt claims terug naar de sessies en bestanden die ze ondersteunen. Deze structuur, hieronder gedetailleerd, stelt ons in staat om het geheugen te organiseren in een vorm die bijzonder geschikt is voor agents.

Op bestandssysteem gebaseerd geheugen

Computersessies bevinden zich al in een sandbox met een bestandssysteem, een shell en I/O-hulpprogramma's. Bij het ontwerpen van Brain wilden we zo min mogelijk nieuwe mechanismen introduceren in de interface tussen het model en het agentgeheugen. Daarom hebben we Brain gebouwd bovenop een bestandssysteemeigen contextlaag. Het geheugen wordt gematerialiseerd als bestanden in de sandbox onder een memory/-map, en de agent gebruikt simpelweg dezelfde hulpprogramma's voor geheugenbestanden die hij al voor al het andere gebruikt.

Aan de wortel van de geheugenboom bevinden zich drie top-level mappen die context onderhouden op verschillende niveaus van abstractie. knowledge/ is de Brain zelf, een gesynthetiseerde kenniswiki die entiteiten, concepten, actieve projecten en eerdere leerpunten koppelt; notes/ bevat gedistilleerde fragmenten georganiseerd als onderwerpmappen; en sessions/ bevat indexen, samenvattingen en volledige transcripten als de ruwe geschiedenissen. Het onderstaande figuur toont een vereenvoudigd overzicht van de lay-out.

De oppervlakken zijn opzettelijk redundant. Voor eenvoudige, enkelvoudige hopvragen is het vaak voldoende om te zoeken naar fragmenten binnen /notes naar een trefwoord, terwijl de /knowledge-laag het meest nuttig is voor vragen die vereisen dat bewijs over weken of maanden van Computer-sessies wordt samengevoegd.

Brain: De kenniswiki

Brain is geformatteerd als een LLM-wiki, een systeem van gekoppelde Markdown-bestanden. Deze vorm van licht gestructureerde Markdown biedt een holistisch overzicht van de bestaande context, zodat agents gemakkelijk kunnen begrijpen welke records beschikbaar zijn, hoe ze zich verhouden en waar ze te vinden zijn. Elke pagina is een onderhouden weergave van één onderwerp; deze moet nuttig blijven bij zelfstandig lezen en tegelijkertijd verdere verkenning gemakkelijk maken via koppelingen.

Koppelingen zijn er in twee soorten. [[wikilinks]] zijn contextranden. Ze verbinden pagina's zijdelings; een project kan linken naar zijn eigenaar, zijn klant of de concepten waarvan het afhankelijk is. Het volgen ervan beantwoordt "wat moet ik nog meer weten?" [cite:N]-referenties zijn bewijsranden. Ze verbinden claims naar beneden met de ruwe sessies of connectorbronnen die ze ondersteunen. Het volgen ervan beantwoordt "hoe weet ik dat dit waar is?"

De onderstaande figuren tonen hoe een deel van Brain eruit zou zien voor een synthetische persona, een toegankelijkheidsonderzoeker genaamd Nadia. Haar Brain bevat een pagina over een voorbeeldproject, een universele ontwerpsprint in Japan, waarin kennis uit sessies en connectors wordt gesynthetiseerd. De graafweergave laat zien hoe de context- en bewijsranden in de pagina gerelateerde entiteiten en bronnen koppelen.

Brain wordt ondersteund door Git om de versiegeschiedenis te behouden, ter ondersteuning van het voortdurend evoluerende karakter ervan. Pagina's kunnen in de loop der tijd worden bewerkt, terwijl wijzigingslogboeken belangrijke updates vastleggen en agents in staat stellen om eenvoudig eerdere versies en verschillen te bekijken. Dit ondersteunt ook agentische coördinatie, wat cruciaal is aangezien meerdere agents tegelijkertijd gebruik kunnen maken van Brain en deze kunnen bijwerken.

Brain gebruiken

Bij het beantwoorden van een gebruikersvraag moeten agents in staat zijn om de juiste context te vinden op het juiste niveau van detail. De structuur van Brain maakt het voor agents gemakkelijk om het geheugen te verkennen. Agents kunnen kiezen tussen uitvoerbare stappen zoals het volgen van contextlinks om gerelateerde informatie te vinden, het volgen van bewijzenlinks om claims te verifiëren, of het aanroepen van een subagent om aanvullende context te verkrijgen en te synthetiseren. We sturen het agentische verkenningsproces op een aantal manieren aan die gericht zijn op het maximaliseren van het gemak waarmee agents toegang hebben tot relevante informatie.

Verkenningsstrategie

We voegen een compacte index van Brain toe binnen het initiële gebruikersbericht, zodat de agent begint met werkende kennis van wat al bestaat. De agent communiceert vervolgens met Brain via vertrouwde operaties: het lezen van specifieke items waarnaar door de index wordt verwezen, het gebruik van grep om over pagina's te zoeken, het volgen van links en het inspecteren van citaten, het vergelijken van Git-revisies en het afdalen in sessies of ruwe trajecten. Het onderstaande codeblok toont voorbeeldcommando's voor een synthetische persona.

Agents verkennen deze context via een zelfsturende lus, in plaats van een vaste pijplijn. Daarom kan de agent doorgaan met zoeken totdat hij tevreden is met de gevonden context. De agent kan er ook voor kiezen wanneer hij citaten en bewijs wil inspecteren om details te vinden of te verifiëren. Een kleine kwestie van voorkeur kan direct worden overgenomen van een enkele Brain-pagina, terwijl een ingrijpende beslissing of een conflict tussen bronnen het rechtvaardigen om het citaat te volgen en het originele record te lezen. De op graaf gebaseerde structuur laat de agent kiezen tussen concrete volgende stappen, in plaats van doelloos te zoeken naar gerelateerde informatie.

Bestandsmaterialisatie

Wil agentische verkenning werken, dan moet de agent toegang hebben tot de volledige memory/-boomstructuur via het sandbox-bestandssysteem. Het lokaal kopiëren van de hele boomstructuur telkens wanneer een sandbox wordt opgestart, is duur en onnodig, aangezien de agent het overgrote deel van die bestanden niet zal aanraken. Een andere optie zou zijn om een extern bestandssysteem te gebruiken, zodat agents toegang hebben tot elk bestand zonder ze lokaal te kopiëren. Agents voeren echter vaak duizenden bestandssysteemoperaties uit in een enkel commando; als elke operatie een netwerkaanvraag wordt, begint de round-tripkosten de verkenningsteus te domineren. Bij interne tests waren eenvoudige grep-werkbelastingen over een extern FUSE-ondersteund pad ongeveer 400 tot 500 keer traag dan de equivalente operaties over lokale bestanden.

In plaats daarvan bouwen we een lokale werkset van gematerialiseerde bestanden, terwijl het grotere corpus achter een geheugenophaalsysteem blijft. Computer prelaadt een initiële kaart (ontleend aan recente herinneringen, sessies, samenvattingen en beschikbare kennis) naar de sandbox wanneer deze opstart. Computer-agents hebben toegang tot een Memory Agent, een subagent die semantisch kan zoeken en een nieuwe set bestanden kan laden. Wanneer de benodigde context afwezig is, kan Computer de Memory Agent aanroepen met een beschrijving van de vereiste informatie. De Memory Agent doorzoekt bestanden, retourneert onmiddellijk een tekstsynthese en materialiseert de ondersteunende records als bestanden onder de geheugenboom. Op deze manier breidt de werkset zich op een natuurlijke en geleidelijke manier uit in de loop der tijd, met behoud van stabiele paden en bronrelaties voor reeds aanwezig bewijs.

Dit ontwerp lost het latentieknelpunt netjes op. Het lokaal opslaan van relevante bestanden zorgt ervoor dat de bestandssysteemoperaties die nodig zijn voor verkenning snel blijven, en batchgewijs ophalen zorgt ervoor dat de pool van gematerialiseerde bestanden kan groeien zonder afzonderlijke oproepen voor elk bestand te vereisen of een groot aantal irrelevante bestanden te laden. Het ontwerp met geneste agents geeft Computer ook de voordelen van agentisch ophalen zonder dat de hoofdagent het volledige achtergrondcorpus direct hoeft te doorzoeken, waardoor zijn eigen contextvenster behouden blijft voor de meest waardevolle informatie.

Brain onderhouden

Gebruikers leren voortdurend van het werk dat ze verrichten en de gesprekken die ze voeren, dus agentisch geheugen moet hetzelfde doen. Wil Brain nuttig blijven, dan moet het een beknopte representatie zijn van de belangrijkste kennis. Er moeten nieuwe pagina's worden aangemaakt voor belangrijke nieuwe entiteiten, nieuwe informatie moet worden toegevoegd aan de relevante Brain-pagina's, en verouderde context moet seizoensgebonden worden verwijderd. Als de baan van een gebruiker bijvoorbeeld verandert, moet Brain die wijziging weerspiegelen; het moet de nieuwe baan van de gebruiker bevatten en prioriteit geven aan informatie met betrekking tot hun nieuwe verantwoordelijkheden en projecten.

Brain wordt onderhouden door achtergrondagents die we Dream noemen. Dream-agents voeren offline uit over op bestanden gebaseerd geheugen, waarbij ze nieuwe informatie synthetiseren in Brain-updates. We hebben de omvang en het gedrag van Dream-agents zorgvuldig gedefinieerd om deze taak efficiënt uit te voeren, samen met Dream-specifieke vangrails om ervoor te zorgen dat Brain-updates consistent en nauwkeurig zijn.

Dream: Achtergrondagents voor geheugenverfijning

Dream-agents worden uitgevoerd in sandboxes met toegang tot dezelfde bestandssysteem- en alleen-lezen-tools die een interactieve Computersessie zou hebben, maar hun enige doel is om de context voor toekomstige sessies te verbeteren. Elke run begint vanaf de Brain die door eerdere runs is geproduceerd in plaats van de context van de gebruiker vanaf nul op te bouwen. Het gebruikt vervolgens die huidige Brain om zich te oriënteren en produceert een bijgewerkte Brain die toekomstige runs kunnen gebruiken.

Een Dream-agent ontvangt een omgeving en beslist hoe deze te verkennen, in plaats van een vaste invoer te ontvangen die is platgeslagen tot één prompt. Hij kan door op bestanden gebaseerd geheugen navigeren, goedgekeurde alleen-lezen connector-tools gebruiken om een stuk kennis te verifiëren, en begrensde delen van het werk delegeren aan subagents, inclusief de Memory Agent. De omvang en verantwoordelijkheden van de Dream-agent worden gespecificeerd als een Skill.

In het algemeen bestaat een Dream-uitvoering uit 4 fasen:

1. Oriënteren: De agent voltooit een geordende oriëntatieprocedure. Hij identificeert de autoritative scope, staande instructies, verwijderingslogboek, aanvullende invoer en stopvoorwaarden.
2. Sessies samenvatten: Voor elke sessie die nieuw is (of nieuwe beurten heeft gehad) sinds de laatste update, schrijft (of werkt) de agent een korte samenvatting van de sessie bij.
3. Feiten koppelen aan onderwerpen: De agent voegt elke waarneming die hij significant acht toe aan zijn juiste thuisbasis, wat doorgaans een wiki-pagina is. Hij onderzoekt en bevraagt geauthenticeerde connectors wanneer deze beschikbaar zijn.
4. Kenniswiki bijwerken: De agent werkt de wiki bij op basis van zijn bevindingen. Hij kan nieuwe pagina's produceren voor duurzame onderwerpen, pagina's herzien wanneer de huidige synthese is veranderd, of nieuwe koppelingen of citaten toevoegen die een feitelijke claim ondersteunen. Hij kan er ook voor kiezen om geen wijzigingen aan te brengen wanneer de huidige graaf al correct is.

Om ervoor te zorgen dat eventuele updates van Brain volledig en consistent zijn, schrijven agents de voorgestelde status in een gefaseerde uitvoerboom. Er worden geen permanente wijzigingen aangebracht totdat de agent al de updates heeft doorgevoerd die hij nodig acht. Het coördineren van die beslissingen in één agentisch proces maakt het mogelijk om de graaf als geheel bij te werken in plaats van als ongerelateerde pagina's.

Elke wijziging moet twee typen verificatiecontroles doorstaan. Deterministische validatiecontroles zorgen ervoor dat pagina's goed gevormd zijn en voldoen aan objectieve criteria, zoals vereiste frontmatter en citaatindeling. Semantische verificatiecontroles zorgen ervoor dat een voorgestelde synthese wordt ondersteund door het verzamelde bewijs en consistent blijft met de rest van de graaf. Nadat de agent succesvol is geëindigd, vergelijkt een gecontroleerde synchronisatiestap de gefaseerde uitvoer met de eerdere status en past de wijzigingen toe op de repository. Wanneer een synchronisatiestap is voltooid, is de uiteindelijke set bewerkingen te inspecteren via de Git-versiegeschiedenis.

Brain valideren

Een nuttig geheugensysteem moet relevant bewijs behouden, dit tonen wanneer dat nodig is en de agent helpen om dat bewijs om te zetten in een juist antwoord. We evalueren Brain daarom op meerdere niveaus: gecontroleerde offline ablaties, continue gekoppelde herhaling en gerandomiseerde productie-experimenten.

Offline evaluaties

Onze primaire offline evaluatie maakt gebruik van een interne dataset van 640 vragen over 44 synthetische persona's. De persona's reproduceren uit de productie afgeleide patronen in sessiecadans, aantal beurten, onderwerpmix en feitelijke dichtheid, terwijl ze geen productie-vraagtekst bevatten om de privacy van de gebruikers te behouden. Elk account wordt gevuld via de productiegeheugenpijplijn, inclusief geheugenextractie, conversatiesamenvattingen en de compilatie van de kenniswiki door Dream. Voor elke vraag is het juiste antwoord mechanisch gekoppeld aan specifiek bewijs dat aanwezig is in de geschiedenis van het account.

Bijvoorbeeld, voor Nadia, de eerder geïntroduceerde toegankelijkheidsonderzoeker synthetische persona, bevat de dataset de vraag: "Welke organisaties ontmoet ik in Kyoto en Sendai?" Het antwoord (Sora City Lab in Kyoto en Sapphir Mobility Coop in Sendai) verschijnt direct op de bijbehorende Wikipagina.

We vergelijken dezelfde vragen en accounts waarbij de samengestelde kenniswiki is ingeschakeld versus uitgeschakeld. Andere geheugenoppervlakken blijven in beide omstandigheden beschikbaar. Dit isoleert de incrementele bijdrage van Brain, in plaats van het geheugen te vergelijken met geen geheugen. Over het algemeen verhoogde Brain de correctheid van antwoorden van 0,600 tot 0,661, een stijging van 6,1 procentpunt, en de bewijsterugroeping van 0,573 tot 0,625, een stijging van 5,2 procentpunt. Het effect was het grootst voor vragen over voorkeuren (+10,2 pp), temporeel redeneren (+8,6 pp) en het extraheren van details uit eerdere activiteiten (+6,9 pp). Bij 84% van de vragen raakte de agent aantoonbaar een bron aan die was gebonden aan het gouden bewijs.

We hebben ook gekoppelde Brain-ablaties uitgevoerd op subgroepen van twee openbare benchmarks. Op LoCoMo verminderde het verwijderen van de wiki de antwoordcorrectheid met gemiddeld 4,6 procentpunt, over drie runs met verschillende modellen. Op LongMemEval-S produceerde het geen statistisch significant verschil. Dit resultaat is consistent met de beoogde rol van Brain. LongMemEval-S test primair het herstel van feiten uit individuele sessies, waar de onderliggende transcripten een redundante weg naar het antwoord bieden. LoCoMo legt meer nadruk op bewijs dat verspreid is over conversaties, sprekers en datums, waardoor er meer gelegenheid ontstaat voor de cross-session synthese van de wiki om bij te dragen.

Over het algemeen, met Brain ingeschakeld, behaalde de productieagent 0,91 antwoordcorrectheid op LongMemEval-S en 0,83 op LoCoMo. Omdat deze experimenten benchmarksubgroepen gebruikten, zijn dit geen definitieve benchmarkresultaten. De ablaties bieden echter nog steeds een sterk signaal dat de wiki de prestaties verbetert, vooral wanneer bewijs over conversaties heen moet worden geïntegreerd. Omdat Brain deel uitmaakt van Computer, in plaats van een geoptimaliseerd, benchmark-specifiek ophaalsysteem, geloven we dat het concurrentievermogen alleen maar zal toenemen bij taken die meer lijken op productieworkflows.

Online evaluaties

Offline datasets kunnen niet elk kenmerk van echte gebruikersgeschiedenissen vastleggen, dus voeren we ook een dagelijkse gekoppelde evaluatie uit over verse uit de productie afgeleide cohorten. Dezelfde vaste vragen worden beantwoord tegenover een gekoppelde gebruikersstatus met Brain ingeschakeld en uitgeschakeld, en worden vervolgens beoordeeld op correctheid, actualiteit en terugroeping.

Voorlopige resultaten gerapporteerd op 18 juni toonden aan dat Brain de antwoordcorrectheid verhoogt met 25% en de terugroeping met 16%. Deze prestatiewinsten zijn blijven aanhouden; in de afgelopen 30 dagen presteerden sessies met Brain ingeschakeld beter dan de controlegroep bij elke run en elke beoordeelde dimensie. In absolute termen genoten Computer-gebruikers van verbeteringen van 9,3 punten in correctheid, 8,0 punten in actualiteit en 8,9 punten in terugroeping. De trajecten met Brain ingeschakeld gebruikten ook ongeveer 15% minder tokens, kostten 10% minder en voltooiden de generatie 10% sneller.

Continue verbetering

We zijn doorgegaan met het verfijnen van Brain om de beste geheugenervaring aan gebruikers te bieden. Een recente wijziging plaatst de compacte index van Brain direct in de initiële context van de agent in plaats van te vereisen dat de agent deze later ontdekt en leest. In een gerandomiseerd experiment verhoogde deze prefill-behandeling het gebruik van Brain en verminderde het geheugen-gerelateerde ontevredenheid met 6,9%.

De offline evaluatietoolkit dient tevens als onderdeel van een autonoom verbeteringspijplijn. Voorgestelde wijzigingen in de geheugensubagent, ophaalskills en prompts van Brain worden uitgevoerd via de gekoppelde ablaties op onze interne dataset en openbare benchmarks. Computer-agents kunnen autonoom itereren op de resultaten, waarbij de wijziging, delta's en kosten van elke iteratie worden behouden als een duurzaam record en alleen de wijzigingen worden bewaard die de cijfers verplaatsen. Het resultaat is een systeem waarin de evaluators van Brain tevens de optimizers zijn, wat toekomstige verbeteringen aandrijft.

Conclusie

Continu leren is een van de bepalende uitdagingen voor het bouwen van agentsystemen die weken en maanden werken. Wij zijn van mening dat geheugenarchitecturen het best kunnen worden blootgesteld als omgevingen die agents direct kunnen verkennen met behulp van hun gewone gereedschapssets. Het blootstellen van geheugen als een bestandssysteem, met Brain als een gestructureerde kenniswiki erbovenop, maakt context efficiënt navigeerbaar via eenvoudige en vertrouwde hulpprogramma's.

Brain is ontworpen voor zelfverbetering, zodat het geheugenwatersysteem kan blijven verbeteren naarmate het gebruik groeit. De Dream-achtergrondagents distilleren verse informatie in Brain-updates, zodat de voorgrondagents altijd een nieuwe sessie starten met een georganiseerd overzicht van de meest recente context. De evaluatietoolkit doet tevens dienst als testterrein voor autoweerzoekloops op de kerngeheugenarchitectuur en agent-gerichte interfaces.

Brain heeft nu al geresulteerd in nauwkeurigere en performantere agentsessies, terwijl er minder tokens zijn verbonden. Onze zorgvuldige co-ontwerp van Brain met Computer-productiestack zorgt ervoor dat deze winsten zich direct vertalen in echte voordelen voor gebruikers.

We blijven meer mogelijkheden bouwen om de kwaliteit van het geheugen van Computer te verbeteren. Ondertussen zal voor gebruikers met Brain ingeschakeld het geheugen bij elke sessie verbeteren.