Brain: Agentisk hukommelse som videnswiki

Computer-brugere udfører arbejde, der spænder over måneder og hundrevis af sessioner. Ved tiende Session bør systemet være langt mere produktivt end i den første. Det bør akkumulere kontekst om brugeren, dennes præferencer og det arbejde, der allerede er blevet udført.

For eksempel, når den bliver bedt om at tegne et diagram over en arbejdsproces, som brugeren tidligere har forklaret, bør Computer huske detaljerne og bruge dem til at oprette og udskrive en figur i brugerens foretrukne stil. Brugeren behøver ikke at genforklare detaljerne i arbejdsprocessen eller gentage sin præference for PDF frem for PNG-artefakter; systemet bør være i stand til nøjagtigt at gendanne den kontekst fra tidligere sessioner og anvende den automatisk.

Hukommelse er fundamentet for løbende agentforbedring. Et effektivt hukommelsessystem bør være struktureret, sporbart og tilpasseligt, hvilket sætter agenter i stand til at søge i den rette bredde og dybde for hver opgave, samtidig med at enhver beslutning forankres i den mest aktuelle information.

Introduktion

At besjæle agenter med relevant kontekst er et mangefacetteret problem. For det første skal agenter vide, hvad der eksisterer, og hvordan de får adgang til det. For det andet, når de finder et nyttigt stykke information, skal de være sikre på, at det er fuldstændigt, nøjagtigt og opdateret. Et isoleret faktum har begrænset værdi, medmindre agenten kan finde relateret information, verificere, at det kommer fra en betroet kilde, og sikre, at det ikke behøver at blive opdateret med en nyere observation.

At proppe statiske hukommelsesfiler direkte ind i modelkonteksten maksimerer tilgængeligheden for agenter, men præsenterer et klassisk præcision-genkald-kompromis. For meget information vil mætte agentens kontekstvindue med elementer af stadigt mindre relevans, mens for lidt vil forringe svarkvaliteten på grund af mangel på relevant kontekst. Omvendt er on-demand-adgang til eksterne databaser mere fleksibel, men vælter byrden med navigation over på agenten. Vektordatabaser gemmer ofte usammenhængende fragmenter, og grafdatabaser kræver, at agenter ved, hvordan man forespørger effektivt.

For nylig introducerede vi Brain, en kernekomponent i Computer's hukommelsessystem, der leverer det bedste fra begge verdener. Brain er en struktureret videnswiki, der ligger oven på statiske hukommelsesfiler og evidens. Citationer knytter påstande til deres kilder, og relaterede informationer er forbundet på tværs. Den organiserede wiki gør kontekst navigerbar efter behov, mens detaljerede artefakter bevares i laget nedenunder.

Brain forbinder til et omfattende hukommelsessystem med tre nøglekomponenter: holdbar hukommelseslagring, forgrundsagenter, der bruger hukommelse til at besvare forespørgsler, og baggrundsagenter, der opdaterer og forbedrer hukommelsen. Følgende figur viser disse komponenter placeret i Brains overordnede systemarkitektur.

I denne artikel beskriver vi hvert lag i dybden og forklarer, hvordan Brain organiserer hukommelse, hvordan agenter bruger den, og hvordan baggrundsprocesser holder den opdateret. Vi præsenterer også resultater fra interne evalueringer, der validerer Brains design og viser, at det forbedrer agentens ydeevne til en lavere pris.

Hukommelsesorganisation og -lagring

Hukommelse har brug for en repræsentation, der kan skalere til en brugers fulde historik uden at tvinge alt kontekst ind i prompten. Computer's hukommelsessystem repræsenterer vedholdende kontekst som et filsystem. Brain syntetiserer viden på tværs af rå kilder, forbinder relaterede emner og forbinder påstande tilbage til de sessioner og filer, der understøtter dem. Denne struktur, som er beskrevet nedenfor, giver os mulighed for at organisere hukommelsen i en form, der er særlig velegnet til agenter.

Filsystembaseret hukommelse

Computer-sessioner lever allerede i en sandbox med et filsystem, en skal og I/O-værktøjer. Da vi designede Brain, ønskede vi at introducere så lidt nyt maskineri som muligt i grænsefladen mellem modellen og agentens hukommelse. Derfor har vi bygget Brain oven på et filsystem-nativt kontekstlag. Hukommelsen materialiseres som filer i sandboxen under et memory/ bibliotek, og agenten bruger simpelthen de samme værktøjer på hukommelsesfiler, som den allerede bruger på alt andet.

Ved roden af hukommelsestræet sidder tre mapper på topniveau, der vedligeholder kontekst på forskellige abtraktionsniveauer. knowledge/ er selve Brain, en syntetiseret videnswiki, der sammenkæder enheder, begreber, aktive projekter og tidligere læringer; notes/ indeholder destillerede uddrag organiseret som emnemapper; og sessions/ indeholder indekser, resuméer og fulde transskripter som de rå historikker. Figuren nedenfor viser et forenklet overblik over layoutet.

Overfladerne er bevidst redundante. For simple spørgsmål med et enkelt hop er det ofte nok at søge efter uddrag i /notes efter et nøgleord, mens /knowledge-laget er mest nyttigt til spørgsmål, der kræver sammensyning af evidens på tværs af uger eller måneder med Computer-sessioner.

Brain: Videnswikien

Brain er formateret som en LLM-wiki, et system af sammenkædede Markdown-filer. Denne form for let strukturerede Markdown giver et holistisk overblik over eksisterende kontekst, så agenter nemt kan forstå, hvilke optegnelser der er til rådighed, hvordan de hænger sammen, og hvor de kan findes. Hver side er en vedligeholdt visning af et emne; den bør forblive nyttig, når den læses alene, samtidig med at den gør yderligere udforskning nem via links.

Links findes i to typer. [[wikilinks]] er kontekstkanter. De forbinder sider på tværs; et projekt kan linke til sin ejer, sin klient eller de begreber, det afhænger af. At følge dem besvarer "hvad ellers skal jeg vide?". [cite:N]-referencer er evidenskanter. De forbinder påstande nedad til de rå sessioner eller connector-kilder, der understøtter dem. At følge dem besvarer "hvordan ved jeg, at dette er sandt?"

Figurerne nedenfor viser, hvordan en del af Brain ville se ud for en syntetisk persona, en tilgængelighedsforsker ved navn Nadia. Hendes Brain indeholder en side om et eksempelprojekt, en universel design-sprint i Japan, der syntetiserer viden fra sessioner og connectors. Grafvisningen viser, hvordan de kontekst- og evidenskanter, der findes på siden, sammenkæder relaterede enheder og kilder.

Brain er Git-baseret for at bevare versionshistorikken, hvilket understøtter dens konstant udviklende natur. Sider kan redigeres over tid, mens ændringslogfiler registrerer vigtige opdateringer og gør det nemt for agenter at inspicere tidligere versioner og forskelle. Dette understøtter også agentisk koordinering, hvilket er afgørende, da flere agenter kan bruge og opdatere Brain på samme tid.

Brug af Brain

Når agenter besvarer en brugerforespørgsel, skal de kunne finde den rette kontekst på det rette detaljeniveau. Brains struktur gør det nemt for agenter at udforske hukommelsen. Agenter kan vælge mellem handlingsrettede skridt såsom at følge kontekstlinks for at finde relateret information, følge evidenslinks for at verificere påstande eller kalde på en underagent for at hente og syntetisere yderligere kontekst. Vi styrer den agentiske udforskningsproces på en række måder med det formål at maksimere agenternes nemme adgang til relevant information.

Udforskningsstrategi

Vi inkluderer et kompakt indeks over Brain i den indledende brugerbesked, så agenten starter med et arbejdskendskab til det, der allerede eksisterer. Agenten interagerer derefter med Brain ved hjælp af genkendelige operationer: læsning af specifikke elementer refereret af indekset, brug af grep til at søge på tværs af sider, opfølgning af links og inspektion af citationer, sammenligning af Git-revisioner og nedstigning i sessioner eller rå baner. Kodblokken nedenfor viser eksempelkommandoer for en syntetisk persona.

Agenter udforsker denne kontekst gennem en selvstyret løkke i stedet for en fast pipeline. Derfor kan agenten fortsætte med at søge, indtil den er tilfreds med den fundne kontekst. Agenten kan også vælge, hvornår den vil inspicere citationer og evidens for at finde eller verificere detaljer. Et mindre spørgsmål om præference kan vedtages direkte fra en enkelt Brain-side, mens en konsekvent beslutning eller en konflikt mellem kilder kan berettige at følge citationen og læse den originale optegnelse. Den grafbaserede struktur lader agenten vælge mellem konkrete næste skridt i stedet for at søge formålsløst efter relateret information.

Filmaterialisering

For at agentisk udforskning kan fungere, skal agenten have adgang til hele memory/-træet via sandbox-filsystemet. At kopiere hele træet lokalt hver gang en sandbox bootes, er dyrt og unødvendigt, da agenten ikke vil røre ved langt de fleste af disse filer. En anden mulighed ville være at bruge et fjerntliggende filsystem, så agenter kan få adgang til en hvilken som helst fil uden at kopiere dem lokalt. Agenter udfører imidlertid ofte tusindvis af filsystemoperationer i en enkelt kommando; hvis hver enkelt bliver til en netværksanmodning, begynder round-trip-omkostningerne at dominere udforskningsløkken. I interne tests var simple grep-arbejdsbelastninger over en fjern FUSE-baseret sti ca. 400 til 500 gange langsommere end de tilsvarende operationer over lokale filer.

I stedet opbygger vi et lokalt arbejdssæt af materialiserede filer, mens det større korpus forbliver bag et hukommelseshentningssystem. Computer forloader et indledende kort (hentet fra nylige minder, sessioner, resuméer og tilgængelig viden) på sandboxen, når den bootes. Computer-agenter har adgang til en Memory Agent, en underagent, der kan udføre semantisk søgning og indlæse et nyt sæt filer. Når den nødvendige kontekst mangler, kan Computer kalde Memory Agent med en beskrivelse af den krævede information. Memory Agent søger på tværs af filer, returnerer en øjeblikkelig tekstsyntese og materialiserer de understøttende optegnelser som filer under hukommelsestræet. På denne måde udvides arbejdssættet naturligt og gradvist over tid, hvorved stabile stier og kilderelationer for allerede tilgængelig evidens bevares.

Dette design løser latensflaskehalsen rent. Lagring af relevante filer lokalt sikrer, at de filsystemoperationer, der er nødvendige for udforskning, forbliver hurtige, og batch-hentning gør det muligt for puljen af materialiserede filer at vokse uden at kræve separate kald for hver fil eller indlæsning af et stort antal irrelevante filer. Det indlejrede agentdesign giver også Computer fordelene ved agentisk hentning uden at kræve, at hovedagenten søger direkte i hele backend-korpussen hver gang, hvilket bevarer sit eget kontekstvindue til information af højest værdi.

Vedligeholdelse af Brain

Brugere lærer konstant af det arbejde, de udfører, og de samtaler, de har, så agentisk hukommelse er nødt til at gøre det samme. For at Brain kan forblive nyttig, bør den være en kortfattet repræsentation af den vigtigste viden. Nye sider bør oprettes til vigtige nye enheder, ny information bør tilføjes til de relevante Brain-sider, og forældet kontekst bør fjernes rettidigt. For eksempel, hvis en brugers job ændrer sig, bør Brain afspejle denne ændring; den bør indeholde brugerens nye job og prioritere information relateret til deres nye ansvarsområder og projekter.

Brain vedligeholdes af baggrundsagenter, som vi kalder Dream. Dream-agenter kører offline over filbaseret hukommelse og syntetiserer ny information til Brain-opdateringer. Vi har omhyggeligt defineret omfanget og adfærden for Dream-agenter til effektivt at udføre denne opgave sammen med Dream-specifikke retningslinjer for at sikre, at Brain-opdateringer er konsistente og nøjagtige.

Dream: Baggrundsagenter til hukommelsesforfining

Dream-agenter kører i sandboxes med adgang til det samme filsystem og de samme skrivebeskyttede værktøjer, som en interaktiv Computer-Session ville have, men deres eneste mål er at forbedre konteksten for fremtidige sessioner. Hver kørsel begynder fra den Brain, der blev produceret af tidligere kørsler, i stedet for at genopbygge brugerens kontekst fra bunden. Den bruger derefter den aktuelle Brain til at orientere sig og producerer en opdateret Brain, som fremtidige kørsler kan bruge.

En Dream-agent modtager et miljø og beslutter, hvordan det skal udforskes, i stedet for at modtage et fast input fladtrykt i én prompt. Den kan navigere i filbaseret hukommelse, bruge godkendte skrivebeskyttede connector-værktøjer til at verificere et stykke viden og uddelegere afgrænsede dele af arbejdet til underagenter, herunder Memory Agent. Omfanget og ansvarsområderne for Dream-agenten er specificeret som en Skill.

Overordnet består en Dream-kørsel af 4 faser:

1. Orient: Agenten gennemfører en ordnet orienteringsprocedure. Den identificerer det autoritative omfang, stående instruktioner, slettelseslog, yderligere inputs og stoppebetingelser.
2. Summarize sessions: For hver Session, der er ny (eller har haft nye omgange) siden den seneste opdatering, skriver (eller opdaterer) agenten et kort resumé af sessionen.
3. Attach facts to subjects: Agenten tilføjer enhver observation, den finder væsentlig, til dens rette hjem, som typisk er en wiki-side. Den undersøger og forespørger på godkendte connectors, når de er tilgængelige.
4. Update knowledge wiki: Agenten opdaterer wikien baseret på sine fund. Den kan producere nye sider til holdbare emner, revidere sider, når den aktuelle syntese har ændret sig, eller tilføje nye links eller citationer, der understøtter en faktuel påstand. Den kan også vælge ikke at foretage nogen ændringer, når den aktuelle graf allerede er korrekt.

For at sikre, at eventuelle opdateringer til Brain er fuldstændige og konsistente, skriver agenter foreslået tilstand til et midlertidigt outputtræ. Der foretages ingen permanente ændringer, før agenten har foretaget alle de opdateringer, den finder nødvendige. At koordinere disse beslutninger i én agentisk proces gør det muligt at opdatere grafen som helhed i stedet for som utilsluttede sider.

Enhver ændring skal bestå to typer verifikationstjek. Deterministiske valideringstjek sikrer, at sider er velformede og opfylder objektive kriterier, såsom påkrævet frontmatter og citatformat. Semantiske verifikationstjek sikrer, at en foreslået syntese understøttes af den indsamlede evidens og forbliver konsistent med resten af grafen. Når agenten er færdig med succes, sammenligner et kontrolleret synkroniseringstrin det midlertidige output med den tidligere tilstand og anvender ændringerne på lageret. Når et synkroniseringstrin er fuldført, kan det endelige sæt af rettelser inspiceres via Git-versionshistorikken.

Validering af Brain

Et nyttigt hukommelsessystem skal bevare relevant evidens, overfladebehandle den, når det er nødvendigt, og hjælpe agenten med at omsætte denne evidens til et korrekt svar. Vi evaluerer derfor Brain på flere niveauer: kontrollerede offline-ablations, kontinuerlig parret genafspilning og randomiserede produktionseksperimenter.

Offline-evalueringer

Vores primære offline-evaluering bruger et internt datasæt med 640 spørgsmål på tværs af 44 syntetiske personaer. Personaerne genskaber produktionsafledte mønstre i session-kadence, antal omgange, emnemix og faktatæthed, samtidig med at de ikke indeholder nogen produktionsforespørgselstekst for at beskytte brugernes privatliv. Hver konto udfyldes via produktionshukommelsespipelinen, herunder hukommelsesudtræk, samtaleressuméer og Dreams kompilering af videnswikien. For hvert spørgsmål er det korrekte svar mekanisk knyttet til specifik evidens, der findes i kontoens historik.

For eksempel, for Nadia, den syntetiske persona som tilgængelighedsforsker, der blev introduceret tidligere, indeholder datasættet spørgsmålet: "Hvilke organisationer mødes jeg med i Kyoto og Sendai?". Svaret (Sora City Lab i Kyoto og Sapphir Mobility Coop i Sendai) fremgår direkte af den tilsvarende wiki-side.

Vi sammenligner de samme spørgsmål og konti med den kompilerede videnswiki aktiveret versus tilbageholdt. Andre hukommelsesoverflader forbliver tilgængelige under begge betingelser. Dette isolerer det inkrementelle bidrag fra Brain i stedet for at sammenligne hukommelse med ingen hukommelse. Generelt øgede Brain svarkorrektheden fra 0,600 til 0,661, en stigning på 6,1 procentpoint, og evidensgenkaldelsen fra 0,573 til 0,625, en stigning på 5,2 procentpoint. Effekten var størst for spørgsmål om præferencer (+10,2 pp), tidsmæssig ræsonnering (+8,6 pp) og uddrag af detaljer fra tidligere aktivitet (+6,9 pp). På 84% af spørgsmålene berørte agenten bevisligt en kilde knyttet til guldevidensen.

Vi kørte også matchede Brain-ablations på delmængder af to offentlige benchmarks. På LoCoMo reducerede fjernelse af wikien svarkorrektheden med 4,6 procentpoint i gennemsnit over tre kørsler med forskellige modeller. På LongMemEval-S producerede det ingen statistisk signifikant ændring. Dette resultat er i overensstemmelse med Brains tilsigtede rolle. LongMemEval-S tester primært gendannelse af fakta fra individuelle sessioner, hvor de underliggende transskripter giver en redundant vej til svaret. LoCoMo lægger større vægt på evidens spredt over samtaler, talere og datoer, hvilket skaber flere muligheder for wikien til at bidrage med syntese på tværs af sessioner.

Generelt opnåede produktionsagenten med Brain aktiveret 0,91 i svarkorrekthed på LongMemEval-S og 0,83 på LoCoMo. Da disse eksperimenter brugte benchmark-delmængder, er de ikke definitive benchmarkresultater. Ablations giver dog stadig et stærkt signal om, at wikien forbedrer ydeevnen, især når evidens skal integreres på tværs af samtaler. Da Brain er en del af Computer i stedet for et optimeret, benchmarkspecifikt hentningssystem, tror vi på, at konkurrenceevnen kun vil stige med opgaver, der minder mere om produktionsarbejdsprocesser.

Online-evalueringer

Offline datasæt kan ikke opfange alle funktioner i reelle brugerhistorik, så vi kører også en daglig parret evaluering over friske produktionsafledte kohorter. De samme faste spørgsmål besvares mod matchet brugertilstand med Brain aktiveret og deaktiveret, og bedømmes derefter for korrekthed, aktualitet og genkaldelse.

Foreløbige resultater rapporteret den 18. juni viste, at Brain øger svarkorrektheden med 25% og genkaldelsen med 16%. Disse præstationsgevinster er fortsat gældende; over de seneste 30 dage præsterede Brain-aktiverede sessioner bedre end kontrolgruppen ved hver kørsel og i alle bedømte dimensioner. I absolutte tal nød Computer-brugere godt af forbedringer på 9,3 point i korrekthed, 8,0 point i aktualitet og 8,9 point i genkaldelse. De Brain-aktiverede baner brugte også ca. 15% færre tokens, kostede 10% mindre og gennemførte genereringen 10% hurtigere.

Løbende forbedring

Vi er fortsat med at forfine Brain for at bringe den bedste hukommelsesoplevelse til brugerne. En nyere ændring placerer Brains kompakte indeks direkte i agentens indledende kontekst i stedet for at kræve, at agenten opdager og læser det senere. I et randomiseret eksperiment øgede denne prefill-behandling Brain-brugen og reducerede hukommelsesrelateret utilfredshed med 6,9%.

Offline-evalueringsharnis'et fungerer også som en del af en autonom forbedringspipeline. Foreslåede ændringer til Brains hukommelsesunderagent, hentningsfærdigheder og prompter køres gennem de matchede ablations på vores interne datasæt og offentlige benchmarks. Computer-agenter kan iterere over resultaterne autonomt, idet de bevarer hver iterations ændring, deltas og omkostninger som en holdbar optegnelse og kun beholder de ændringer, der flytter tallene. Resultatet er et system, hvor Brains evaluatorer også er dens optimeringsværktøjer, hvilket driver fremtidige forbedringer.

Konklusion

Kontinuerlig læring er en af de definerende udfordringer ved at bygge agentsystemer, der fungerer over uger og måneder. Vi mener, at hukommelsesarkitekturer bedst eksponeres som miljøer, som agenter direkte kan udforske ved hjælp af deres almindelige værktøjssæt. At eksponere hukommelse som et filsystem med Brain som en struktureret videnswiki ovenpå gør kontekst effektivt navigerbar gennem enkle og genkendelige værktøjer.

Brain er designet til selvforbedring, så hukommelsessystemet kan blive ved med at blive bedre i takt med, at brugen vokser. Dream-baggrundsagenter destillerer frisk information ind i Brain-opdateringer, hvilket sikrer, at forgrundsagenterne altid starter en ny Session med et organiseret overblik over den seneste kontekst. Evalueringsharnis'et fungerer samtidig som en testplads for autoresearch-løbskørsler på kernearkitekturen for hukommelse og de agent-vendte grænseflader.

Brain har allerede resulteret i mere nøjagtige og performante agent-sessioner og samtidig reduceret forbruget af tokens. Vores omhyggelige codesign af Brain med Computer-produktionsstakken sikrer, at disse gevinster omsættes direkte til reelle fordele for brugerne.

Vi fortsætter med at opbygge flere funktioner for at forbedre kvaliteten af Computer's hukommelse. I mellemtiden vil hukommelsen for brugere med Brain aktiveret forbedres med hver enkelt Session.