Brain: Agencijska memorija kao wiki znanja

Korisnici sistema Computer obavljaju posao koji traje mesecima i stotinama sesija. Do desete sesije, sistem bi trebalo da bude znatno produktivniji nego u prvoj. Trebalo bi da akumulira kontekst o korisniku, njihovim preferencijama i poslu koji je već obavljen.

Na primer, kada se od sistema Computer zatraži da nacrta dijagram radnog toka koji je korisnik prethodno objasnio, on treba da se seti detalja i iskoristi ih za kreiranje i izlaz figure u željenom stilu korisnika. Korisnik ne bi trebalo da ponovo objašnjava detalje radnog toka niti da ponavlja svoju preferenciju za PDF nad PNG artefakterima; sistem bi trebao biti u stanju da tačno povrati taj kontekst iz prošlih sesija i primeni ga automatski.

Memorija je temelj kontinuiranog unapređenja agenata. Efikasan sistem memorije treba da bude strukturiran, sledljiv i prilagodljiv, omogućavajući agentima da pretražuju odgovarajuću širinu i dubinu za svaki zadatak dok utemeljuju svaku odluku u najsavremenijim informacijama.

Uvod

Usađivanje relevantnog konteksta agentima je višestruk problem. Prvo, agenti moraju da znaju šta postoji i kako da pristupe tome. Drugo, kada pronađu koristan deo informacija, moraju biti sigurni da je potpun, tačan i ažuran. Izolovana činjenica ima ograničenu vrednost osim ako agent ne može da pronađe srodne informacije, potvrdi da dolazi iz pouzdanog izvora i osigura da ne mora biti ažurirana novijim opažanjem.

Trpanje statičnih memorijskih datoteka direktno u kontekst modela maksimizira pristup agentima, ali predstavlja klasičan kompromis između preciznosti i opoziva. Previše informacija zasićivaće prozor konteksta agenta stavkama sve manjeg značaja, dok će premalo pogoršati kvalitet odgovora usled nedostatka relevantnog konteksta. S druge strane, pristup eksternim bazama podataka na zahtev je fleksibilniji, ali prebacuje teret navigacije na agenta. Vektorske baze podataka često skladište nepovezane fragmente, a baze podataka grafikona zahtevaju od agenata da znaju kako efikasno da šalju upite.

Nedavno smo uveli Brain, osnovnu komponentu memorijskog sistema sistema Computer koja donosi najbolje iz oba sveta. Brain je strukturirani wiki znanja koji se nalazi na vrhu statičnih memorijskih datoteka i dokaza. Citati povezuju tvrdnje sa njihovim izvorima, a srodne informacije su povezane bočno. Organizovani wiki čini kontekst dostupnim za navigaciju na zahtev, dok se detaljni artefakteri čuvaju u sloju ispod njega.

Brain se povezuje sa sveobuhvatnim sistemom memorije sa tri ključne komponente: trajnim skladištem memorije, prednjim agentima koji koriste memoriju za odgovaranje na upite, i pozadinskim agentima koji ažuriraju i poboljšavaju memoriju. Sledeća slika prikazuje ove komponente smeštene unutar celokupne arhitekture sistema Brain.

U ovom članku detaljno opisujemo svaki sloj, objašnjavajući kako Brain organizuje memoriju, kako je agenti koriste i kako pozadinski procesi održavaju ažuriranim. Takođe predstavljamo rezultate internih evaluacija koje potvrđuju dizajn sistema Brain, pokazujući da on poboljšava performanse agenata uz niže troškove.

Organizacija i skladištenje memorije

Memoriji je potrebna reprezentacija koja se skalira na celokupnu istoriju korisnika bez primoravanja svakog dela konteksta u upit. Memorijski sistem sistema Computer predstavlja trajni kontekst kao sistem datoteka. Brain sintetiše znanje kroz sirove izvore, povezujući srodne subjekte i povezujući tvrdnje nazad sa sesijama i datotekama koje ih podržavaju. Ova struktura, detaljno opisana u nastavku, omogućava nam da organizujemo memoriju u formi koja izuzetno odgovara agentima.

Memorija zasnovana na sistemu datoteka

Computer sesije već žive u okruženju sa sistemom datoteka, ljuskom i I/O uslužnim programima. Prilikom dizajniranja sistema Brain, želeli smo da uvedemo što je moguće manje nove mehanizacije u interfejs između modela i memorije agenta. Zbog toga smo izgradili Brain na sloju konteksta izvornom za sistem datoteka. Memorija se materijalizuje kao datoteke u okruženju u direktorijumu memory/, a agent jednostavno koristi iste alate na datotekama memorije koje već koristi na svemu ostalom.

U korenu stabla memorije nalaze se tri direktorijuma najvišeg nivoa koji održavaju kontekst na različitim nivoima apstrakcije. knowledge/ je sam Brain, sintetisani wiki znanja koji povezuje entitete, koncepte, aktivne projekte i prošla učenja; notes/ sadrži destilisane isečke organizovane kao tematske fascikle; a sessions/ čuva indekse, rezimee i kompletne transkripte kao sirove istorije. Slika ispod prikazuje pojednostavljeni prikaz rasporeda.

Površine su namerno redundantne. Za jednostavna pitanja u jednom skoku, često je dovoljno pretraživati isečke unutar /notes za ključnu reč, dok je sloj /knowledge najkorisniji za pitanja koja zahtevaju spajanje dokaza kroz nedelje ili mesece sesija sistema Computer.

Brain: Wiki znanja

Brain je formatiran kao LLM wiki, sistem povezanih Markdown datoteka. Ovaj oblik blago strukturiranog Markdown-a pruža holistički pregled postojećeg konteksta, tako da agenti mogu lako da shvate koji su zapisi dostupni, kako se odnose jedni prema drugima i gde da ih pronađu. Svaka stranica je održavan prikaz jedne teme; trebalo bi da ostane korisna kada se čita zasebno, čineći dalja istraživanja lakim kroz veze.

Veze dolaze u dve vrste. [[wikilinks]] su ivice konteksta. One bočno povezuju stranice; projekat može biti povezan sa svojim vlasnikom, svojim klijentom ili konceptima od kojih zavisi. Praćenje ovih veza odgovara na pitanje "šta mi je još potrebno da znam?" [cite:N] reference su ivice dokaza. One povezuju tvrdnje nadole ka sirovim sesijama ili izvorima konektora koji ih podržavaju. Praćenje ovih veza odgovara na pitanje "kako znam da je ovo istina?"

Donje slike prikazuju kako bi deo sistema Brain izgledao za sintetičku ličnost, istraživačicu pristupačnosti po imenu Nadija. Njen Brain uključuje stranicu o uzorku projekta, sprintu univerzalnog dizajna u Japanu, koji sintetiše znanje iz sesija i konektora. Prikaz grafikona pokazuje kako kontekst i ivice dokaza prisutne na stranici povezuju srodne entitete i izvore.

Brain ima podršku za Git radi očuvanja istorije verzija, podržavajući svoju prirodu koja se neprekidno razvija. Stranice se mogu uređivati tokom vremena, dok dnevnici promena beleže ključna ažuriranja i omogućavaju agentima da lako pregledaju prošle verzije i razlike. Ovo takođe podržava agencijsku koordinaciju, što je od kritičnog značaja jer više agenata može istovremeno koristiti i ažurirati Brain.

Korišćenje sistema Brain

Prilikom odgovaranja na upit korisnika, agenti moraju biti u stanju da pronađu pravi kontekst na pravom nivou detalja. Struktura sistema Brain olakšava agentima istraživanje memorije. Agenti mogu birati između primenjivih koraka kao što su praćenje veza konteksta radi pronalaženja srodnih informacija, praćenje veza dokaza radi provere tvrdnji, ili pozivanje podagenta radi pribavljanja i sinteze dodatnog konteksta. Proces agencijskog istraživanja usmeravamo na brojne načine usmerene ka maksimiziranju lakog pristupa agenata relevantnim informacijama.

Strategija istraživanja

Uključujemo kompaktni indeks sistema Brain unutar početne poruke korisnika, tako da agent počinje sa radnim znanjem o tome šta već postoji. Agent potom interaguje sa sistemom Brain koristeći poznate operacije: čitanje specifičnih stavki na koje ukazuje indeks, korišćenje grep-a za pretragu po stranicama, praćenje veza i pregled citata, upoređivanje Git revizija i spuštanje u sesije ili sirove putanje. Blok koda ispod prikazuje uzorke komandi za sintetičku ličnost.

Agenti istražuju ovaj kontekst kroz samousmerenu petlju, umesto kroz fiksni cevovod. Stoga agent može nastaviti pretragu dok ne bude zadovoljan pronađenim kontekstom. Agent takođe može odabrati kada da pregleda citate i dokaze radi pronalaženja ili provere detalja. Manje pitanje preferencija može se usvojiti direktno sa jedne stranice sistema Brain, dok značajna odluka ili sukob između izvora mogu opravdati praćenje citata i čitanje originalnog zapisa. Struktura zasnovana na grafikonu omogućava agentu da bira između konkretnih sledećih koraka, umesto da besciljno pretražuje srodne informacije.

Materijalizacija datoteka

Da bi agencijsko istraživanje funkcionisalo, agent mora imati pristup celom stablu memory/ preko sistema datoteka okruženja. Kopiranje celog stabla lokalno svaki put kada se okruženje pokrene je skupo i nepotrebno, pošto agent neće dodirnuti ogromnu većinu tih datoteka. Druga opcija bila bi korišćenje udaljenog sistema datoteka, tako da agenti mogu pristupiti bilo kojoj datoteci bez njihovog lokalnog kopiranja. Međutim, agenti često obavljaju hiljade operacija sa sistemom datoteka u jednoj komandi; ako svaka postane mrežni zahtev, trošak povratnog putovanja počinje da dominira petljom istraživanja. U internom testiranju, jednostavna grep radna opterećenja preko putućanje podržane udaljenim FUSE-om bila su otprilike 400 do 500 puta sporija od ekvivalentnih operacija nad lokalnim datotekama.

Umesto toga, gradimo lokalni radni skup materijalizovanih datoteka, dok veći korpus ostaje iza memorijskog sistema za pretragu. Computer predučitava početnu mapu (uzetu iz nedavnih memorija, sesija, rezimea i dostupnog znanja) na okruženje kada se pokrene. Agenti sistema Computer imaju pristup memorijskom agentu, podagentu koji može da obavlja semantičku pretragu i učitava novi skup datoteka. Kada potreban kontekst nedostaje, Computer može da pozove memorijskog agenta sa opisom traženih informacija. Memorijski agent pretražuje po datotekama, vraćajući trenutnu tekstualnu sintezu i materijalizujući prateće zapise kao datoteke pod stablom memorije. Na ovaj način, radni skup se širi prirodno i postepeno tokom vremena, čuvajući stabilne putanje i odnose izvora za dokaze koji su već prisutni.

Ovaj dizajn čisto rešava usko grlo latencije. Lokalno skladištenje relevantnih datoteka osigurava da operacije sistema datoteka potrebne za istraživanje ostanu brze, a grupno preuzimanje omogućava da skup materijalizovanih datoteka raste bez zahtevanja posebnih poziva za svaku datoteku ili učitavanja velikog broja irelevantnih datoteka. Dizajn sa ugnježdenim agentima takođe pruža sistemu Computer prednosti agencijskog preuzimanja bez zahtevanja da glavni agent direktno pretražuje ceo pozadinski korpus svaki put, čuvajući sopstveni prozor konteksta za informacije najveće vrednosti.

Održavanje sistema Brain

Korisnici neprekidno uče iz posla koji obavljaju i razgovora koje vode, pa agencijska memorija mora učiniti isto. Da bi Brain ostao koristan, on treba da bude sažeta reprezentacija najvažnijih znanja. Nove stranice treba kreirati za važne nove entitete, nove informacije treba dodati na relevantne Brain stranice, a zastareli kontekst treba sezonski uklanjati. Na primer, ako se korisnikov posao promeni, Brain treba da odražava tu promjenu; trebalo bi da sadrži novi posao korisnika i da da prioritet informacijama u vezi sa njihovim novim odgovornostima i projektima.

Brain održavaju pozadinski agenti koje nazivamo Dream. Dream agenti rade van mreže nad memorijom zasnovanom na datotekama, sintetišući nove informacije u ažuriranja za Brain. Pažljivo smo definisali obim i ponašanje Dream agenata kako bismo efikasno izvršili ovaj zadatak, zajedno sa zaštitnim merama specifičnim za Dream koje osiguravaju da su ažuriranja sistema Brain dosledna i tačna.

Dream: Pozadinski agenti za prečišćavanje memorije

Dream agenti rade u okruženjima sa pristupom istom sistemu datoteka i alatima samo za čitanje koje bi imala interaktivna sesija sistema Computer, ali njihov jedini cilj je da poboljšaju kontekst za buduće sesije. Svako pokretanje počinje od sistema Brain proizvedenog ranijim pokretanjima umesto ponovne izgradnje konteksta korisnika od nule. Zatim koristi taj trenutni Brain da se orijentiše i proizvodi ažurirani Brain koji će buduća pokretanja koristiti.

Dream agent prima okruženje i odlučuje kako da ga istraži, umesto da prima fiksni unos spljošten u jedan upit. Može da se kreće kroz memoriju zasnovanu na datotekama, koristi odobrene alate konektora samo za čitanje radi provere dela znanja i delegira ograničene delove posla podagentima, uključujući memorijskog agenta. Obim i odgovornosti Dream agenta navedeni su kao Skill.

U širem smislu, rad Dream-a se sastoji od 4 faze:

1. Orijentacija: Agent završava uređenu proceduru orijentacije. Identifikuje merodavni obim, važeća uputstva, dnevnik brisanja, dodatne unose i uslove za zaustavljanje.
2. Rezimiraj sesije: Za svaku sesiju koja je nova (ili je imala nova okretanja) od poslednjeg ažuriranja, agent piše (ili ažurira) kratak rezime sesije.
3. Priložite činjenice subjektima: Agent dodaje svako opažanje koje smatra značajnim u njegovo odgovarajuće mesto, što je obično wiki stranica. On ispituje i šalje upite autentifikovanim konektorima kada su dostupni.
4. Ažuriraj wiki znanja: Agent ažurira wiki na osnovu svojih nalaza. Može da proizvede nove stranice za trajne subjekte, revidira stranice kada se trenutna sinteza promenila, ili doda nove veze ili citate koji podržavaju činjeničnu tvrdnju. Takođe može izabrati da ne vrši nikakve promene kada je trenutni grafikon već tačan.

Da bi se osiguralo da su sva ažuriranja sistema Brain potpuna i dosledna, agenti upisuju predloženo stanje u pripremljeno izlazno stablo. Nikakve trajne promene se ne vrše sve dok agent ne izvrši sva ažuriranja koja smatra neophodnim. Koordinacija tih odluka u jednom agencijskom procesu omogućava ažuriranje grafikona u celini, umesto kao nepovezanih stranica.

Sve promene moraju proći dve vrste provera verifikacije. Determinističke provere validacije osiguravaju da su stranice dobro formirane i ispunjavaju objektivne kriterijume, kao što su obavezni prednji materijal i format citata. Provere semantičke verifikacije osiguravaju da je predložena sinteza podržana sakupljenim dokazima i da ostaje dosledna ostatku grafikona. Nakon što agent uspešno završi rad, kontrolisani korak sinhronizacije upoređuje pripremljen izlaz sa prethodnim stanjem i primenjuje promene na skladište. Kada se korak sinhronizacije završi, konačni skup izmena se može pregledati kroz Git istoriju verzija.

Potvrđivanje sistema Brain

Korisan sistem memorije mora sačuvati relevantne dokaze, izneti ih na površinu kada je to potrebno i pomoći agentu da te dokaze pretvori u tačan odgovor. Stoga procenjujemo Brain na više nivoa: kontrolisane ablacije van mreže, kontinuirana uparena reprodukcija i randomizovani produkcioni eksperimenti.

Evaluacije van mreže

Naša primarna evaluacija van mreže koristi interni skup podataka od 640 pitanja u 44 sintetičke ličnosti. Ličnosti reprodukuju obrasce izvedene iz produkcije u kadenci sesija, broju okreta, mešavini tema i gustini činjenica, dok ne sadrže tekst produkcionih upita radi očuvanja privatnosti korisnika. Svaki nalog se popunjava kroz produkcioni cevovod memorije, uključujući ekstrakciju memorije, rezimee razgovora i Dream-ovu kompilaciju wikija znanja. Za svako pitanje, tačan odgovor je mehanički povezan sa specifičnim dokazima prisutnim u istoriji naloga.

Na primer, za Nadiju, ranije predstavljenu sintetičku ličnost istraživačice pristupačnosti, skup podataka uključuje pitanje: „Koje organizacije sastanči u Kjotou i Sendaiju?“ Odgovor (Sora City Lab u Kjotou i Sapphir Mobility Coop u Sendaiju) pojavljuje se direktno na odgovarajućoj Wiki stranici.

Poredimo ista pitanja i naloge sa omogućenim, odnosno onemogućenim kompajliranim wikijem znanja. Ostale površine memorije ostaju dostupne u oba uslova. Ovo izdvaja inkrementalni doprinos sistema Brain, umesto poređenja memorije sa odsustvom memorije. Sve u svemu, Brain je povećao tačnost odgovora sa 0,600 na 0,661, što je porast od 6,1 procentnih poena, i opoziv dokaza sa 0,573 na 0,625, što je porast od 5,2 procentna poena. Efekat je bio najveći kod pitanja o preferencijama (+10,2 pp), temporalnom rezonovanju (+8,6 pp) i izvlačenju detalja iz prethodne aktivnosti (+6,9 pp). Na 84% pitanja, agent je proverljivo dodirnuo izvor vezan za zlatne dokaze.

Takođe smo pokrenuli uparene ablacije sistema Brain na podskupovima dva javna merila. Na LoCoMo-u, uklanjanje wikija smanjilo je tačnost odgovora za prosečno 4,6 procentnih poena, preko tri pokretanja sa različitim modelima. Na LongMemEval-S nije proizvelo statistički značajnu promenu. Ovaj rezultat je u skladu sa namenjenom ulogom sistema Brain. LongMemEval-S primarno testira oporavak činjenica iz pojedinačnih sesija, gde osnovni transkripti pružaju redundantnu putanju do odgovora. LoCoMo stavlja veći naglasak na dokaze rasute po razgovorima, govornicima i datumima, stvarajući više prilika da sinteza wikija kroz sesije doprinese.

Sve u svemu, sa omogućenim sistemom Brain, produkcioni agent je postigao tačnost odgovora 0,91 na LongMemEval-S i 0,83 na LoCoMo. Pošto su ovi eksperimenti koristili podskupove merila, oni nisu konačni rezultati merila. Međutim, ablacije i dalje pružaju snažan signal da wiki poboljšava performanse, posebno kada se dokazi moraju integrisati kroz razgovore. Pošto je Brain deo sistema Computer, a ne optimizovan memorijski sistem specifičan za merila, verujemo da će se konkurentnost samo povećavati sa zadacima koji više podsećaju na produkcione radne tokove.

Mrežne evaluacije

Skupovi podataka van mreže ne mogu da uhvate svaku karakteristiku istorija stvarnih korisnika, pa stoga takođe pokrećemo svakodnevnu uparenu evaluaciju preko svežih kohorti izvedenih iz produkcije. Na ista fiksna pitanja odgovara se prema uparenom stanju korisnika sa omogućenim i onemogućenim sistemom Brain, a zatim se procenjuju tačnost, aktuelnost i opoziv.

Preliminarni rezultati objavljeni 18. juna pokazali su da Brain povećava tačnost odgovora za 25% i opoziv za 16%. Ovi dobici u performansama su se nastavili; tokom proteklih 30 dana, sesije sa omogućenim sistemom Brain nadmašile su kontrolu pri svakom pokretanju i svakoj procenjenoj dimenziji. U apsolutnim brojkama, korisnici sistema Computer uživali su u poboljšanjima od 9,3 poena u tačnosti, 8,0 poena u aktuelnosti i 8,9 poena u opozivu. Putanje sa omogućenim sistemom Brain takođe su koristile otprilike 15% manje tokena, koštale 10% manje i završavale generisanje 10% brže.

Kontinuirano poboljšanje

Nastavili smo sa usavršavanjem sistema Brain kako bismo korisnicima pružili najbolje iskustvo memorije. Jedna nedavna promena postavlja kompaktni indeks sistema Brain direktno u početni kontekst agenta umesto da zahteva od agenta da ga otkrije i pročita kasnije. U randomizovanom eksperimentu, ovaj tretman prefila povećao je upotrebu sistema Brain i smanjio nezadovoljstvo povezano sa memorijom za 6,9%.

Oprema za evaluaciju van mreže takođe služi kao deo autonomnog cevovoda poboljšanja. Predložene promene u memorijskom podagentu, veštinama pretrage i upitima sistema Brain pokreću se kroz uparene ablacije na našem internom skupu podataka i javnim merilima. Agenti sistema Computer mogu autonomno da iteriraju na rezultatima, čuvajući svaku iteraciju izmene, delte i troškove kao trajni zapis i zadržavajući samo one promene koje pomeraju brojeve. Rezultat je sistem u kojem su evaluatori sistema Brain ujedno i njegovi optimizatori, podstičući buduća poboljšanja.

Zaključak

Kontinualno učenje je jedan od presudnih izazova za izgradnju sistema agenata koji rade nedeljama i mesecima. Verujemo da je arhitekture memorije najbolje izložiti kao okruženja koja agenti mogu direktno da istražuju koristeći svoje uobičajene skupove alata. Izlaganje memorije kao sistema datoteka, sa sistemom Brain kao strukturiranim wikijem znanja na vrhu, čini kontekst efikasno dostupnim za navigaciju pomoću jednostavnih i poznatih alata.

Brain je dizajniran za sopstveno unapređenje, tako da sistem memorije može nastaviti da se poboljšava kako upotreba raste. Pozadinski agenti Dream destiluju sveže informacije u ažuriranja za Brain, osiguravajući da prednji agenti uvek započinju novu sesiju sa organizovanim pregledom najnovijeg konteksta. Oprema za evaluaciju istovremeno služi i kao polje za testiranje petlji samostalnog istraživanja na osnovnoj arhitekturi memorije i interfejsima usmerenim ka agentima.

Brain je već rezultirao preciznijim i efikasnijim sesijama agenata uz smanjenje utrošenih tokena. Naše pažljivo zajedničko dizajniranje sistema Brain sa produkcionim stekom sistema Computer osigurava da se ovi dobici direktno prenose u stvarne koristi za korisnike.

Nastavljamo sa izgradnjom dodatnih mogućnosti radi poboljšanja kvaliteta memorije sistema Computer. U međuvremenu, za korisnike sa omogućenim sistemom Brain, memorija će se poboljšavati sa svakom sesijom.