Brain: Agencijska memorija kao wiki znanja

Korisnici sustava Computer obavljaju posao koji traje mjesecima i stotinama sesija. Do desete sesije sustav bi trebao biti daleko produktivniji nego u prvoj. Trebao bi akumulirati kontekst o korisniku, njihovim željama i poslu koji je već obavljen.

Na primjer, kada se od sustava Computer zatraži da nacrta dijagram tijeka rada koji je korisnik prethodno objasnio, on bi trebao se prisjetiti detalja i upotrijebiti ih za stvaranje i izlaz figure u stilu koji korisnik preferira. Korisnik ne bi trebao ponovno objašnjavati detalje tijeka rada niti ponavljati svoju sklonost PDF-u umjesto PNG artefakata; sustav bi trebao moći točno oporaviti taj kontekst iz prošlih sesija i primijeniti ga automatski.

Memorija je temelj kontinuiranog poboljšanja agenata. Učinkovit memorijski sustav trebao bi biti strukturiran, praćen i prilagodljiv, omogućujući agentima pretraživanje u odgovarajućoj širini i dubini za svaki zadatak, dok svaku odluku temelji na najnovijim informacijama.

Uvod

Opremanje agenata relevantnim kontekstom višestruki je problem. Prvo, agenti moraju znati što postoji i kako mu pristupiti. Drugo, kada pronađu koristan dio informacija, moraju biti sigurni da je potpun, točan i ažuran. Izolirana činjenica ima ograničenu vrijednost osim ako agent može pronaći povezane informacije, provjeriti dolaze li iz pouzdanog izvora i osigurati da ih ne treba ažurirati novijom opaskom.

Trpapanje statičnih memorijskih datoteka izravno u kontekst modela maksimizira pristupačnost agentima, ali predstavlja klasičan kompromis između preciznosti i dohvata. Previše informacija zasićit će prozor konteksta agenta stavkama sve manjeg značaja, dok će premalo informacija umanjiti kvalitetu odgovora zbog nedostatka relevantnog konteksta. Suprotno tomu, pristup vanjskim bazama podataka na zahtjev fleksibilniji je, ali prebacuje teret navigacije na agenta. Vektorske baze podataka često pohranjuju nepovezane fragmente, a grafne baze podataka zahtijevaju da agenti znaju kako učinkovito postavljati upite.

Nedavno smo predstavili Brain, jezgrenu komponentu memorijskog sustava sustava Computer koja pruža najbolje od oba svijeta. Brain je strukturirani wiki znanja koji se nalazi na vrhu statičnih memorijskih datoteka i dokaza. Citati povezuju tvrdnje s njihovim izvorima, a srodne informacije povezane su bočno. Organizirani wiki čini kontekst dostupnim za navigaciju po potrebi, dok se detaljni artefakti zadržavaju u sloju ispod njega.

Brain se povezuje sa sveobuhvatnim memorijskim sustavom s tri ključne komponente: trajnom pohranom memorije, prednjim agentima koji koriste memoriju za odgovaranje na upite te pozadinskim agentima koji ažuriraju i poboljšavaju memoriju. Sljedeća slika prikazuje ove komponente smještene unutar ukupne sistemske arhitekture sustava Brain.

U ovom članku detaljno opisujemo svaki sloj, objašnjavajući kako Brain organizira memoriju, kako je agenti koriste i kako je pozadinski procesi održavaju ažuriranom. Također predstavljamo rezultate iz internih evaluacija koje potvrđuju dizajn sustava Brain, dokazujući da poboljšava performanse agenta uz niže troškove.

Organizacija i pohrana memorije

Memoriji je potrebna reprezentacija koja se skalira na cjelokupnu povijest korisnika bez prisiljavanja svakog dijela konteksta u upit. Memorijski sustav sustava Computer predstavlja trajnu kontekstualnu memoriju kao datotečni sustav. Brain sintetizira znanje iz sirovih izvora, povezujući srodne predmete i povezujući tvrdnje natrag sa sesijama i datotekama koje ih podržavaju. Ova struktura, detaljno opisana u nastavku, omogućuje nam organiziranje memorije u obliku koji je posebno prikladan za agente.

Memorija temeljena na datotečnom sustavu

Sesije računala već se nalaze u sandboxu s datotečnim sustavom, ljuskom i I/O uslužnim programima. Prilikom dizajniranja sustava Brain htjeli smo uvesti što je manje moguće novih mehanizama u sučelje između modela i memorije agenta. Zbog toga smo izgradili Brain na vrhu sloja konteksta izvornog za datotečni sustav. Memorija se materijalizira kao datoteke u sandboxu unutar mape memory/, a agent jednostavno koristi iste alate na memorijskim datotekama koje već koristi na svemu ostalom.

U korijenu stabla memorije nalaze se tri mape najviše razine koje održavaju kontekst na različitim razinama apstrakcije. knowledge/ je sam Brain, sintetizirani wiki znanja koji povezuje entitete, koncepte, aktivne projekte i prošla učenja; notes/ sadrži destilirane isječke organizirane kao tematske mape; a sessions/ sadrži indekse, sažetke i potpune prijepise kao sirove povijesti. Slika u nastavku prikazuje pojednostavljeni prikaz rasporeda.

Površine su namjerno suvišne. Za jednostavna pitanja u jednom skoku često je dovoljno potražiti isječke unutar mape /notes za ključnu riječ, dok je sloj /knowledge najkorisniji za pitanja koja zahtijevaju spajanje dokaza kroz tjedne ili mjesece sesija sustava Computer.

Brain: Wiki znanja

Brain je formatiran kao LLM wiki, sustav povezanih Markdown datoteka. Ovaj oblik blago strukturiranog Markdowna pruža cjelovit pregled postojećeg konteksta, tako da agenti mogu lako razumjeti koji su zapisi dostupni, kako su povezani i gdje ih pronaći. Svaka stranica je održavan prikaz jedne teme; trebala bi ostati korisna kada se čita zasebno, a istovremeno olakšati daljnje istraživanje putem poveznica.

Poveznice dolaze u dvije vrste. [[wikilinks]] su rubovi konteksta. Povezuju stranice bočno; projekt može biti povezan sa svojim vlasnikom, klijentom ili konceptima o kojima ovisi. Njihovo praćenje odgovara na pitanje "što još trebam znati?". [cite:N] reference su rubovi dokaza. One povezuju tvrdnje prema dolje s izvornim sesijama ili izvorima konektora koji ih podržavaju. Njihovo praćenje odgovara na pitanje "kako znam da je ovo istina?"

Donje slike prikazuju kako bi dio sustava Brain izgledao za sintetičku personu, istraživačicu pristupačnosti po imenu Nadia. Njezin Brain uključuje stranicu o uzorku projekta, univerzalnom dizajnu sprinta u Japanu, sintetizirajući znanje iz sesija i konektora. Prikaz grafa pokazuje kako kontekst i rubovi dokaza prisutni na stranici povezuju srodne entitete i izvore.

Brain podržava Git kako bi se očuvala povijest verzija, čime se podržava njegova priroda koja se neprestano razvija. Stranice se mogu uređivati tijekom vremena, dok dnevnici promjena bilježe ključna ažuriranja i omogućuju agentima da lako pregledaju prošle verzije i razlike. To također podržava koordinaciju agenata, što je ključno jer više agenata može koristiti i ažurirati Brain u isto vrijeme.

Korištenje sustava Brain

Prilikom odgovaranja na upit korisnika, agenti moraju moći pronaći pravi kontekst na pravoj razini detalja. Struktura sustava Brain olakšava agentima istraživanje memorije. Agenti mogu birati između radnji kao što su praćenje poveznica konteksta radi pronalaženja srodnih informacija, praćenje poveznica dokaza radi provjere tvrdnji ili pozivanje podagenta radi dobivanja i sintetiziranja dodatnog konteksta. Proces agencijskog istraživanja usmjeravamo na nekoliko načina s ciljem maksimiziranja jednostavnosti pristupa agenata relevantnim informacijama.

Strategija istraživanja

Uključujemo kompaktni indeks sustava Brain unutar početne korisničke poruke, tako da agent započnye s radnim znanjem o tome što već postoji. Agent potom komunicira s Brainom koristeći poznate operacije: čitanje određenih stavki na koje upućuje indeks, korištenje naredbe grep za pretraživanje po stranicama, praćenje poveznica i pregled citata, usporedbu Git revizija i spuštanje u sesije ili sirove putanje. Blok koda u nastavku prikazuje primjer naredbi za sintetičku personu.

Agenti istražuju ovaj kontekst kroz samousmjerenu petlju, umjesto fiksnog cjevovoda. Stoga agent može nastaviti pretraživati sve dok nije zadovoljan pronađenim kontekstom. Agent također može odabrati kada će pregledati citate i dokaze kako bi pronašao ili provjerio detalje. Manje pitanje preferencija može se usvojiti izravno s jedne Brain stranice, dok posljedična odluka ili sukob između izvora može opravdati praćenje citata i čitanje izvornog zapisa. Struktura temeljena na grafu omogućuje agentu da bira između konkretnih sljedećih koraka, umjesto da besciljno traži srodne informacije.

Materijalizacija datoteka

Da bi agencijsko istraživanje funkcioniralo, agent mora imati pristup cijelom stablu memory/ putem datotečnog sustava sandboxa. Lokalno kopiranje cijelog stabla svaki put kada se sandbox pokrene skupo je i nepotrebno jer agent neće dotaknuti veliku većinu tih datoteka. Druga opcija bila bi korištenje udaljenog datotečnog sustava, tako da agenti mogu pristupiti bilo kojoj datoteci bez njihovog lokalnog kopiranja. Međutim, agenti često izvršavaju tisuće operacija datotečnog sustava u jednoj naredbi; ako svaka od njih postane mrežni zahtjev, trošak povratnog putovanja počinje dominirati petljom istraživanja. U internom testiranju, jednostavna opterećenja za grep preko udaljene staze podržane s FUSE-om bila su otprilike 400 do 500 puta sporija od ekvivalentnih operacija nad lokalnim datotekama.

Umjesto toga, gradimo lokalni radni skup materijaliziranih datoteka, dok veći korpus ostaje iza sustava za dohvat memorije. Computer predučitava početnu kartu (preuzetu iz nedavnih memorija, sesija, sažetaka i dostupnog znanja) na sandbox prilikom pokretanja. Agenti sustava Computer imaju pristup agentu za memoriju, podagentu koji može izvršiti semantičko pretraživanje i učitati novi skup datoteka. Kada potreban kontekst nedostaje, Computer može pozvati agenta za memoriju s opisom potrebnih informacija. Agent za memoriju pretražuje datoteke, vraćajući trenutačnu tekstualnu sintezu i materijalizirajući potkrepljujuće zapise kao datoteke pod stablom memorije. Na taj se način radni skup širi prirodno i postupno tijekom vremena, čuvajući stabilne staze i odnose izvora za dokaze koji su već prisutni.

Ovaj dizajn čisto rješava usko grlo latencije. Pohrana relevantnih datoteka lokalno osigurava da operacije datotečnog sustava potrebne za istraživanje ostanu brze, a skupni dohvat omogućuje da skup materijaliziranih datoteka raste bez potrebe za zasebnim pozivima za svaku datoteku ili učitavanjem velikog broja irelevantnih datoteka. Dizajn s ugniježđenim agentima također pruža sustavu Computer prednosti agencijskog dohvata bez zahtijevanja da glavni agent izravno pretražuje cijeli pozadinski korpus svaki put, čuvajući vlastiti prozor konteksta za informacije najveće vrijednosti.

Održavanje sustava Brain

Korisnici neprestano uče iz posla koji obavljaju i razgovora koje vode, stoga agencijska memorija mora učiniti isto. Da bi Brain ostao koristan, trebao bi biti sažet prikaz najvažnijeg znanja. Nove stranice trebaju biti kreirane za važne nove entitete, nove informacije trebaju biti dodane na relevantne Brain stranice, a zastarjeli kontekst treba sezonski ukloniti. Na primjer, ako se korisnikov posao promijeni, Brain bi trebao odražavati tu promjenu; trebao bi sadržavati novi posao korisnika i dati prioritet informacijama vezanim uz njihove nove odgovornosti i projekte.

Brain održavaju pozadinski agenti koje zovemo Dream. Agenti sustava Dream rade izvan mreže nad memorijom temeljenom na datotekama, sintetizirajući nove informacije u ažuriranja sustava Brain. Pomno smo definirali opseg i ponašanje agenata sustava Dream kako bi učinkovito izvršili ovaj zadatak, zajedno s zaštitnim mjerama specifičnima za Dream kako bismo osigurali da su ažuriranja sustava Brain dosljedna i točna.

Dream: Pozadinski agenti za pročišćavanje memorije

Agenti sustava Dream rade u sandboxima s pristupom istom datotečnom sustavu i alatima samo za čitanje koje bi imala interaktivna sesija sustava Computer, ali njihov jedini cilj je poboljšati kontekst za buduće sesije. Svako pokretanje počinje od sustava Brain proizvedenog ranijim pokretanjima umjesto ponovne izgradnje korisničkog konteksta od nule. Zatim koristi taj trenutni Brain kako bi se orijentirao i proizvodi ažurirani Brain koji će buduća pokretanja koristiti.

Agent sustava Dream prima okruženje i odlučuje kako će ga istražiti, umjesto da primi fiksni unos sažet u jedan upit. Može se kretati kroz memoriju temeljenu na datotekama, koristiti odobrene alate konektora samo za čitanje kako bi potvrdio dio znanja i delegirati ograničene dijelove rada podagentima, uključujući agenta za memoriju. Opseg i odgovornosti agenta sustava Dream definirani su kao Skill.

Općenito, izvođenje postupka Dream sastoji se od 4 faze:

1. Orijentacija: Agent dovršava uređen postupak orijentacije. Identificira mjerodavni opseg, stalne upute, zapisnik brisanja, dodatne unose i uvjete za zaustavljanje.
2. Sažmi sesije: Za svaku sesiju koja je nova (ili je imala nove okrete) od posljednjeg ažuriranja, agent piše (ili ažurira) kratki sažetak sesije.
3. Pridruži činjenice subjektima: Agent dodaje svako zapažanje koje smatra značajnim u njegov odgovarajući dom, što je obično wiki stranica. Provjerava i postavlja upite autentificiranim konektorima kada su dostupni.
4. Ažuriraj wiki znanja: Agent ažurira wiki na temelju svojih nalaza. Može izraditi nove stranice za trajne subjekte, revidirati stranice kada se trenutna sinteza promijenila ili dodati nove poveznice ili citate koji podupiru činjeničnu tvrdnju. Također može odlučiti da ne vrši nikakve promjene kada je trenutni graf već točan.

Kako bi se osiguralo da su sva ažuriranja sustava Brain potpuna i dosljedna, agenti pišu predloženo stanje u pripremljeno izlazno stablo. Nikakve trajne promjene se ne vrše sve dok agent ne izvrši sva ažuriranja koja smatra potrebnima. Koordinacija tih odluka u jednom agencijskom procesu omogućuje ažuriranje grafa u cjelini, a ne kao nepovezanih stranica.

Sve promjene moraju proći dvije vrste provjera valjanosti. Determinističke provjere valjanosti osiguravaju da su stranice dobro oblikovane i ispunjavaju objektivne kriterije, kao što su obavezno predznačje (frontmatter) i format citiranja. Semantičke provjere valjanosti osiguravaju da je predložena sinteza podržana prikupljenim dokazima i da ostaje dosljedna s ostatkom grafa. Nakon što agent uspješno završi, kontrolirani korak sinkronizacije uspoređuje pripremljeni izlaz s prethodnim stanjem i primjenjuje promjene na repozitorij. Kada korak sinkronizacije završi, konačni skup izmjena može se pregledati kroz povijest verzija Gita.

Potvrđivanje valjanosti sustava Brain

Koristan sustav memorije mora sačuvati relevantne dokaze, prikazati ih kada je to potrebno i pomoći agentu da te dokaze pretvori u točan odgovor. Stoga ocjenjujemo Brain na više razina: kontrolirane izvanmrežne ablacijske studije, kontinuirana uparena reprodukcija i randomizirani produkcijski eksperimenti.

Izvanmrežne evaluacije

Naša primarna izvanmrežna evaluacija koristi interni skup podataka od 640 pitanja u 44 sintetičke persone. Persone reproduciraju uzorke izvedene iz produkcije u ritmu sesija, broju okreta, masi tema i gustoći činjenica, a istovremeno ne sadrže tekst produkcijskih upita kako bi se očuvala privatnost korisnika. Svaki račun se popunjava kroz produkcijski cjevovod memorije, uključujući ekstrakciju memorije, sažetke razgovora i kompajliranje wikija znanja od strane sustava Dream. Za svako pitanje točan odgovor mehanički je povezan s određenim dokazima prisutnim u povijesti računa.

Na primjer, za Nadiu, prethodno predstavljenu sintetičku personu istraživačice pristupačnosti, skup podataka uključuje pitanje: "S kojim organizacijama se sastajem u Kyotu i Sendaiju?". Odgovor (Sora City Lab u Kyotu i Sapphir Mobility Coop u Sendaiju) pojavljuje se izravno na odgovarajućoj Wiki stranici.

Uspoređujemo ista pitanja i račune s omogućenim, odnosno onemogućenim kompajliranim wikijem znanja. Ostale memorijske površine ostaju dostupne u oba uvjeta. Time se izolira inkrementalni doprinos sustava Brain, umjesto da se memorija uspoređuje s nedostatkom memorije. Sveukupno, Brain je povećao točnost odgovora s 0,600 na 0,661, što je porast od 6,1 postotnih bodova, te dohvat dokaza s 0,573 na 0,625, što je porast od 5,2 postotna boda. Učinak je bio najveći kod pitanja o željama (+10,2 pb), vremenskom zaključivanju (+8,6 pb) i izvlačenju detalja iz prethodne aktivnosti (+6,9 pb). Na 84 % pitanja agent je provjerljivo dotaknuo izvor povezan s pouzdanim dokazima.

Također smo pokrenuli usklađene ablacijske studije sustava Brain na podskupovima dvaju javnih mjerila. Na LoCoMo-u, uklanjanje wikija smanjilo je točnost odgovora za 4,6 postotnih bodova u prosjeku, preko tri pokretanja s različitim modelima. Na LongMemEval-S-u nije proizveo statistički značajnu promjenu. Ovaj rezultat je u skladu s namjeravanom ulogom sustava Brain. LongMemEval-S prvenstveno testira oporavak činjenica iz pojedinačnih sesija, gdje temeljni prijepisi pružaju suvišnu putanju do odgovora. LoCoMo stavlja veći naglasak na dokaze raspršene po razgovorima, govornicima i datumima, stvarajući više prilika da sinteza wikija kroz sesije pridonese.

Sveukupno, s omogućenim sustavom Brain, produkcijski agent postigao je točnost odgovora 0,91 na LongMemEval-S-u i 0,83 na LoCoMo-u. Budući da su ovi eksperimenti koristili podskupove mjerila, to nisu konačni rezultati mjerila. Međutim, ablacijske studije i dalje pružaju snažan signal da wiki poboljšava performanse, posebno kada se dokazi moraju integrirati kroz razgovore. Budući da je Brain dio sustava Computer, umjesto optimiziranog sustava dohvata specifičnog za mjerilo, vjerujemo da će konkurentnost samo rasti sa zadacima koji više nalikuju produkcijskim tijekovima rada.

Mrežne evaluacije

Izvanmrežni skupovi podataka ne mogu uhvatiti svaku značajku stvarne povijesti korisnika, stoga također pokrećemo dnevnu uparenu evaluaciju nad svježim kohortama izvedenim iz produkcije. Na ista fiksna pitanja odgovara se s obzirom na usklađeno stanje korisnika s omogućenim i onemogućenim sustavom Brain, a zatim se ocjenjuju prema točnosti, ažurnosti i dohvatu.

Preliminarni rezultati objavljeni 18. lipnja pokazali su da Brain povećava točnost odgovora za 25% i dohvat za 16%. Ovi dobici u performansama su se nastavili održavati; tijekom proteklih 30 dana sesije s omogućenim sustavom Brain nadmašile su kontrolu u svakom pokretanju i svakoj ocijenjenoj dimenziji. U apsolutnim brojkama, korisnici sustava Computer uživali su u poboljšanjima od 9,3 boda u točnosti, 8,0 bodova u ažurnosti i 8,9 bodova u dohvatu. Putanje s omogućenim sustavom Brain također su koristile otprilike 15% manje tokena, koštale 10% manje i završile generiranje 10% brže.

Kontinuirano poboljšanje

Nastavili smo pročišćavati Brain kako bismo korisnicima pružili najbolje iskustvo memorije. Jedna nedavna promjena stavlja kompaktni indeks sustava Brain izravno u početni kontekst agenta umjesto da zahtijeva od agenta da ga otkrije i pročita kasnije. U randomiziranom eksperimentu, ovaj tretman predpunjenja povećao je korištenje sustava Brain i smanjio nezadovoljstvo povezano s memorijom za 6,9%.

Izvanmrežni okvir za evaluaciju također služi kao dio cjevovoda autonomnog poboljšanja. Predložene promjene u memorijskom podagentu sustava Brain, vještinama dohvata i upitima provode se kroz usklađene ablacijske studije na našem internom skupu podataka i javnim mjerilima. Agenti sustava Computer mogu autonomno ponavljati rezultate, čuvajući svaku iteraciju promjene, delte i trošak kao trajni zapis i zadržavajući samo one promjene koje pomiču brojke. Rezultat je sustav u kojem su evaluatori sustava Brain ujedno i njegovi optimizatori, potičući buduća poboljšanja.

Zaključak

Kontinuirano učenje jedan je od ključnih izazova za izgradnju sustava agenata koji rade tjednima i mjesecima. Vjerujemo da je memorijske arhitekture najbolje izložiti kao okruženja koja agenti mogu izravno istraživati koristeći svoje uobičajene skupove alata. Izlaganje memorije kao datotečnog sustava, s Brainom kao strukturiranim wikijem znanja na vrhu, čini kontekst učinkovito dostupnim za navigaciju putem jednostavnih i poznatih alata.

Brain je dizajniran za samousavršavanje, tako da sustav memorije može nastaviti napredovati s rastom korištenja. Pozadinski agenti sustava Dream destiliraju svježe informacije u ažuriranja sustava Brain, osiguravajući da prednji agenti uvijek započnu novu sesiju s organiziranim pregledom najnovijeg konteksta. Okvir za evaluaciju služi i kao poligon za testiranje petlji automatskog istraživanja na temeljnoj memorijskoj arhitekturi i sučeljima usmjerenim na agente.

Brain je već rezultirao točnijim i učinkovitijim sesijama agenata uz istovremeno smanjenje potrošnje tokena. Naš pažljiv zajednički dizajn sustava Brain s produkcijskim stogom sustava Computer osigurava da se ti dobici izravno prevode u stvarne koristi za korisnike.

Nastavljamo graditi dodatne mogućnosti za poboljšanje kvalitete memorije sustava Computer. U međuvremenu, za korisnike s omogućenim sustavom Brain, memorija će se poboljšavati sa svakom sesijom.