„Brain“: agentinė atmintis kaip žinių „Wiki“

Struktūrizuota, sekama, paties save tobulinanti „Markdown“ failų sistema, kompiliuojama neprisijungus ir naršoma pagal poreikį.

AutoriaiPerplexity Engineering

„Computer“ vartotojai atlieka darbą, kuris apima mėnesius ir šimtus sesijų. Iki dešimtos sesijos sistema turėtų būti kur kas našesnė nei per pirmąją. Ji turėtų kaupti kontekstą apie vartotoją, jo pirmenybes ir jau atliktą darbą.

Pavyzdžiui, paprašius nupiešti darbo eigos diagramą, kurią vartotojas anksčiau paaiškino, „Computer“ turėtų prisiminti detales ir panaudoti jas sukurti bei išvesti figūrą vartotojui pageidaujamu stiliumi. Vartotojui nereikėtų iš naujo aiškinti darbo eigos detalių ar pakartoti pirmenybės teikimo PDF, o ne PNG artefaktams; sistema turėtų sugebėti tiksliai atkurti tą kontekstą iš praėjusių sesijų ir pritaikyti jį automatiškai.

Atmintis yra nuolatinio agento tobulėjimo pagrindas. Efektyvi atminties sistema turėtų būti struktūrizuota, sekama ir pritaikoma, leidžianti agentams ieškoti reikiamos pločio ir gylio kiekvienai užduočiai, o kiekvieną sprendimą pagrįsti pačia naujausia informacija.

Įvadas

Agentų aprūpinimas atitinkamu kontekstu yra įvairiapusė problema. Pirma, agentai turi žinoti, kas egzistuoja ir kaip tai pasiekti. Antra, radę naudingos informacijos fragmentą, jie turi būti tikri, kad jis yra pilnas, tikslus ir atnaujintas. Izoliuotas faktas turi ribotą vertę, nebent agentas gali rasti susijusios informacijos, patvirtinti, kad ji gauta iš patikimo šaltinio, ir užtikrinti, kad jos nereikia atnaujinti naujesniu stebėjimu.

Statinių atminties failų įterpimas tiesiogiai į modelio kontekstą maksimizuoja prieinamumą agentams, tačiau sukelia klasikinį tikslumo ir atgavimo kompromisą. Per daug informacijos prisotins agento konteksto langą vis mažiau svarbos turinčiais elementais, o per mažai sumažins atsakymų kokybę dėl susijusio konteksto trūkumo. Priešingai, prieiga prie išorinių duomenų bazių pagal poreikį yra lankstesnė, tačiau užkrauna naršymo naštą ant agento. Vektorių duomenų bazės dažnai saugo atskirtus fragmentus, o grafų duomenų bazės reikalauja, kad agentai žinotų, kaip efektyviai pateikti užklausas.

Neseniai pristatėme „Brain“ – pagrindinį „Computer“ atminties sistemos komponentą, suteikiantį geriausias abu pasaulius. „Brain“ yra struktūrizuotų žinių „Wiki“, esantis ant statinių atminties failų ir įrodymų. Citatos susieja teiginius su jų šaltiniais, o susiję informacijos fragmentai sujungti šonu. Organizuotas „Wiki“ leidžia pasiekti kontekstą pagal poreikį, o išsamūs artefaktai saugomi po juo esančiame sluoksnyje.

„Brain“ žinių „Wiki“, rodomas kaip grafas, kuriame subjektai yra mazgai, o briaunos jungia susijusias temas.
Pavyzdinis „Brain“, pagrįstas sintetiniu personažu.

„Brain“ jungiasi prie išsamios atminties sistemos su trimis pagrindiniais komponentais: patvaria atminties saugykla, pirmojo plano agentais, kurie naudoja atmintį užklausoms atsakyti, ir fono agentais, kurie atnaujina bei tobulina atmintį. Šis paveikslas vaizduoja šiuos komponentus, esančius bendroje „Brain“ sistemos architektūroje.

Architektūros diagrama, rodanti patvarią atminties saugyklą, pirmojo plano agentus, kurie skaito atmintį, ir fono agentus, kurie atnaujina atmintį.
Atminties sistemą sudaro bendra patvari atmintis, pirmojo plano agentai, kurie naudoja atmintį, ir fono agentai, kurie atnaujina atmintį.

Šiame straipsnyje nuodugniai aprašome kiekvieną sluoksnį, paaiškindami, kaip „Brain“ organizuoja atmintį, kaip agentai ja naudojasi ir kaip foniniai procesai užtikrina jos naujumą. Taip pat pateikiamos vidinių vertinimų, patvirtinančių „Brain“ dizainą, išvados, demonstruojančios, kad tai pagerina agento našumą mažesnėmis sąnaudomis.

Atminties organizavimas ir saugojimas

Atmintžiai reikalingas vaizdavimas, kuris plečiasi iki visos vartotojo istorijos, neįspraudžiant kiekvieno konteksto fragmento į raginimą. „Computer“ atminties sistema pastovų kontekstą vaizduoja kaip failų sistemą. „Brain“ sintezuoja žinias visuose pirminiuose šaltiniuose, sujungdama susijusius subjektus ir teiginius su juos palaikančiomis sesijomis bei failais. Ši struktūra, išsamiai aprašyta toliau, leidžia organizuoti atmintį agentams ypač tinkama forma.

Failų sistema pagrįsta atmintis

Kompiuterio sesijos jau veikia smėlio dėžėje su failų sistema, apvalkale ir įvesties/išvesties paslaugų programomis. Kurdami „Brain“, norėjome įdvesti kuo mažiau naujų mechanizmų modelio ir agento atminties sąsajoje. Štai kodėl „Brain“ sukūrėme ant failų sistemai gimtojo konteksto sluoksnio. Atmintis materializuojama kaip failai smėlio dėžėje, memory/ kataloge, o agentas tiesiog naudoja tuos pačius įrankius atminties failams, kuriuos jau naudoja viskam kitam.

Atminties medžio šaknyje yra trys aukščiausio lygio katalogai, palaikantys kontekstą įvairiais abstrakcijos lygiais. knowledge/ yra pati „Brain“, sintezuotų žinių „Wiki“, sujungianti subjektus, sąvokas, aktyvius projektus ir praeities mokymus; notes/ sudaro išgryninti fragmentai, organizuoti pagal teminius aplankus; o sessions/ talpina rodykles, santraukas ir pilnas stenogramas kaip pirmines istorijas. Žemiau esantis paveikslas rodo supaprastintą išdėstymo vaizdą.

Katalogo medis, rodantis memory/ su knowledge/, notes/ ir sessions/ poaplankiais.
Pavyzdinis atminties failų sistemos išdėstymo vaizdas.

Paviršiai yra sąmoningai pertekliniai. Paprastiems, vieno šuolio klausimams dažnai pakanka ieškoti fragmentų aplanke /notes pagal raktinį žodį, o /knowledge sluoksnis yra naudingiausias klausimams, kuriems reikia sujungti įrodymus per savaites ar mėnesius „Computer“ sesijų.

„Brain“: žinių „Wiki“

„Brain“ formatuojamas kaip LLM „Wiki“, susietų „Markdown“ failų sistema. Ši lengvai struktūrizuoto „Markdown“ forma suteikia holistinį esamo konteksto vaizdą, kad agentai galėtų lengvai suprasti, kokie įrašai yra pasiekiami, kaip jie susiję ir kur juos rasti. Kiekvienas puslapis yra prižiūrimas vienos temos vaizdas; jis turėtų išlikti naudingas skaitant atskirai, o nuorodos leidžia lengvai atlikti tolimesnius tyrimus.

Nuorodos yra dviejų tipų. [[wikilinks]] yra konteksto briaunos. Jos jungia puslapius šonu; projektas gali būti susietas su jo savininku, kliento ar sąvokomis, nuo kurių jis priklauso. Sekant jomis atsakoma į klausimą „ko dar man reikia žinoti?“. [cite:N] nuorodos yra įrodymų briaunos. Jos jungia teiginius žemyn į pirmines sesijas arba jungties šaltinius, kurie juos palaiko. Sekant jomis atsakoma į klausimą „kaip aš žinau, kad tai tiesa?“.

Žemiau pateiktuose paveiksluose vaizduojama, kaip atrodytų „Brain“ dalis sintetiniam personažui – pritaikymo neįgaliesiems tyrinėtojai Nadia. Jos „Brain“ apima puslapį apie pavyzdinį projektą, universalų dizaino sprintą Japonijoje, sintezuojant žinias iš sesijų ir jungčių. Grafo rodinys demonstruoja, kaip puslapyje esančios konteksto ir įrodymų briaunos susieja susijusius subjektus ir šaltinius.

Pavyzdinis „Brain Wiki“ puslapis, pateiktas kaip „Markdown“, rodantis „wikilinks“ ir citavimo briaunas eilutėje.
„Brain“ yra „Markdown“ failų sistema.
Pavyzdinio „Brain Wiki“ puslapio subgrafas, vizualizuotas kaip susijusių subjektų ir šaltinių grafas.
Įterptas kontekstas ir įrodymų briaunos sudaro grafo struktūrą lengvam naršymui.

„Brain“ palaiko „Git“, kad būtų išsaugota versijų istorija, palaikanti nuolat kintančio jo pobūdžio aspektą. Puslapiai laikui bėgant gali būti redaguojami, o pakeitimų žurnalai fiksuoja svarbiausius atnaujinimus ir leidžia agentams lengvai apžiūrėti praeities versijas bei skirtumus. Tai taip pat palaiko agentų koordinavimą, o tai labai svarbu, nes keli agentai gali vienu metu naudoti ir atnaujinti „Brain“.

„Brain“ naudojimas

Atsakydami į vartotojo užklausą, agentai turi sugebėti rasti tinkamą kontekstą reikiamos detalumo pakopos. „Brain“ struktūra leidžia agentams lengvai tyrinėti atmintį. Agentai gali rinktis iš veiksmingų žingsnių, tokių kaip konteksto nuorodų sekimas ieškant susijusios informacijos, įrodymų nuorodų sekimas teiginiams patvirtinti arba subagento kvietimas gauti ir apibendrinti papildomą kontekstą. Agentinį tyrinėjimo procesą valdome įvairiais būdais, kuriais siekiama maksimaliai padidinti agentų prieigą prie susijusios informacijos.

Tyrinėjimo strategija

Pradiniame vartotojo pranešime pateikiame kompaktišką „Brain“ rodyklę, todėl agentas pradeda nuo darbinio žinojimo apie tai, kas jau egzistuoja. Tada agentas sąveikauja su „Brain“ naudodamas pažįstamas operacijas: skaito konkrečius rodyklės nurodytus elementus, naudoja grep paieškai puslapiuose, seka nuorodas ir tikrina citatas, lygina „Git“ pataisas ir leidžiasi į sesijas ar pirmines trajektorijas. Žemiau esantis kodo blokas vaizduoja pavyzdines komandas sintetiniam personažui.

bash
# 1. Orient: the index is a map of everything known cat memory/knowledge/index.md # 2. Target: find pages that touch the question grep -Ril "kyoto\|sendai" memory/knowledge/ # 3. Read the page; follow context edges as needed cat memory/knowledge/projects/japan-universal-design-sprint.md cat memory/knowledge/entities/sora-city-laboratory.md # via [[wikilink]] cat memory/knowledge/entities/sapphir-mobility-coop.md # via [[wikilink]] # 4. Only if the claim must be verified: resolve evidence # city bases → [cite:1], [cite:10] → pplx://sessions/<id> # # Example (pseudo, replace with your real tool): # pplx-session-fetch 1eaf53d4-09e0-5823-bb96-c8662f582708 --slice <slice-id> # 5. Some evidence lives outside the sessions # meeting slots → [cite:15] → connector://google-calendar # # pplx-connector-fetch google-calendar --query "japan-sprint"

Agentai tyrinėja šį kontekstą per savarankišką ciklą, o ne fiksuotą konvejerį. Todėl agentas gali tęsti paiešką, kol bus patenkintas rastu kontekstu. Agentas taip pat gali pasirinkti, kada tikrinti citatas ir įrodymus, kad rastų arba patvirtintų detales. Nedidelis pirmenybės klausimas gali būti tiesiogiai perimtas iš vieno „Brain“ puslapio, o lemiamas sprendimas arba konfliktas tarp šaltinių gali pateisinti citatos sekimą ir pirminio įrašo skaitymą. Grafo pagrindu sukurta struktūra leidžia agentui rinktis iš konkrečių kitų žingsnių, o ne be tikslo ieškoti susijusios informacijos.

Agento, palaipsniui tyrinėjančio „Brain“, sekant nuorodas tarp puslapių ir citatas į pirminius šaltinius, eigos diagrama.
Agentas gali sekti „Brain“ nuorodomis į naujus „Brain“ puslapius arba įrodymų šaltinius, kol įsitikins, kad užduočiai turi pakankamai konteksto.

Failų materializavimas

Kad agentinis tyrinėjimas veiktų, agentas turi turėti prieigą prie visos memory/ medžio struktūros per smėlio dėžės failų sistemą. Kopijuoti visą medį vietoje kiekvieną kartą paleidžiant smėlio dėžę yra brangu ir nereikalingu, nes agentas nelies didžiosios dalies tų failų. Kitas variantas būtų naudoti nuotolinę failų sistemą, kad agentai galėtų pasiekti bet kurį failą jo nekopijuodami vietoje. Tačiau agentai dažnai atlieka tūkstančius failų sistemos operacijų vienos komandos metu; jei kiekviena iš jų tampa tinklo užklausa, kelionės pirmyn ir atgal kaina pradeda dominuoti tyrinėjimo cikle. Vidinio testavimo metu paprasti grep darbo krūviai per nuotolinį FUSE kelią buvo maždaug 400–500 kartų lėtesni nei analogiškos operacijos su vietiniais failais.

Vietoj to mes suformuojame vietinį materializuotų failų darbinį rinkinį, o didesnis korpusas lieka už atminties gavimo sistemos. „Computer“ paleidimo metu smėlio dėžėje iš anksto įkelia pradinį žemėlapį (paimtą iš naujausių atminimų, sesijų, santraukų ir prieinamų žinių). „Computer“ agentai turi prieigą prie atminties agento – subagento, galinčio atlikti semantinę paiešką ir įkelti naują failų rinkinį. Kai trūksta reikiamo konteksto, „Computer“ gali iškviesti atminties agentą su reikalingos informacijos aprašymu. Atminties agentas ieško failuose, pateikdamas tiesioginį tekstinį apibendrinimą ir materializuodamas palaikymo įrašus kaip failus atminties medyje. Tokiu būdu darbinis rinkinys plečiasi natūraliai ir palaipsniui laikui bėgant, išsaugant stabilius kelius ir šaltinio ryšius jau esamiems įrodymams.

Diagrama, rodanti pradinį failų išankstinį įkėlimą ir atminties agento paiešką pagal poreikį, materializuojančią failus smėlio dėžėje.
Atminties agento atliekamas sesijos išankstinis įkėlimas ir semantinė paieška įkelia pradinį failų, kurių agentui labiausiai reikia, žemėlapį.

Šis dizainas švariai išsprendžia delsos trukdžio kliūtį. Atitinkamų failų saugojimas vietoje užtikrina, kad tyrinėjimui reikalingos failų sistemos operacijos išliktų greitos, o paketu pagrįstas gavimas leidžia materializuotų failų baseinui augti nereikalaujant atskirų skambučių kiekvienam failui arba nekraunant didelio kiekio nesusijusių failų. Įdėtojo agento dizainas taip pat suteikia „Computer“ agentinio gavimo privalumus, nereikalaujant, kad pagrindinis agentas tiesiogiai ieškotų visame foniniame korpuse kiekvieną kartą, taip išsaugant savo konteksto langą vertingiausiai informacijai.

„Brain“ palaikymas

Vartotojai nuolat mokosi iš savo atliekamo darbo ir vykdomų pokalbių, todėl agentinė atmintis turi daryti tą patį. Kad „Brain“ išliktų naudingas, jis turėtų būti glaustas svarbiausių žinių vaizdavimas. Reikėtų sukurti naujus puslapius svarbiems naujiems subjektams, nauja informacija turėtų būti pridedama prie susijusių „Brain“ puslapių, o pasenęs kontekstas – laiku pašalintas. Pavyzdžiui, jei vartotojo darbas pasikeičia, „Brain“ turėtų atspindėti šį pokytį; jame turėtų būti naujas vartotojo darbas ir pirmenybė teikiama informacijai, susijusiai su jų naujomis atsakomybėmis ir projektais.

„Brain“ prižiūri fono agentai, kuriuos vadiname „Dream“. „Dream“ agentai veikia neprisijungus prie failų pagrindu veikiančios atminties, sintezuodami naują informaciją į „Brain“ atnaujinimus. Kruopščiai apibrėžėme „Dream“ agentų apimtį ir elgseną, kad šią užduotį atliktume veiksmingai, kartu su „Dream“ skirtais apsauginiais mechanizmais, užtikrinančiais, kad „Brain“ atnaujinimai būtų nuoseklūs ir tikslūs.

„Dream“: fono agentai atminties tobulinimui

„Dream“ agentai veikia smėlio dėžėse, turėdami prieigą prie tos pačios failų sistemos ir tik skaitymui skirtų įrankių, kuriuos turėtų interaktyvi „Computer“ sesija, tačiau jų vienintelis tikslas – pagerinti kontekstą būsimoms sesijoms. Kiekvienas paleidimas prasideda nuo „Brain“, sukurto ankstesnių paleidimų, o ne iš naujo atkuria vartotojo kontekstą nuo nulio. Tada jis naudoja tą esamą „Brain“, kad orientuotųsi, ir sukuria atnaujintą „Brain“, kurį galėtų naudoti būsimi paleidimai.

Ciklo diagrama: interaktyvios sesijos maitina „Dream“, kuris atnaujina „Brain“, kuris pagerina būsimas sesijas.
„Dream“ agentai dirba fone, kad atnaujintų „Brain“, sudarydami savarankiško tobulėjimo ciklą.

„Dream“ agentas gauna aplinką ir nusprendžia, kaip ją tyrinėti, o ne gauna fiksuotą įvestį, sugludintą į vieną raginimą. Jis gali naršyti failų pagrindu veikiančią atmintį, naudoti patvirtintus tik skaitymui skirtus jungtis įrankius žinių daliai patikrinti ir deleguoti ribotas darbo dalis subagentams, įskaitant atminties agentą. „Dream“ agento apimtis ir atsakomybė nurodyta kaip Skill.

Apskritai „Dream“ paleidimas susideda iš 4 fazių:

  1. Orientuotis: Agentas atlieka užsakytą orientacijos procedūrą. Jis identifikuoja autoritetingą apimtį, nuolatines instrukcijas, ištrynimo žurnalą, papildomas įvestis ir sustabdymo sąlygas.
  2. Apibendrinti sesijas: Kiekvienai sesijai, kuri yra nauja (arba turėjo naujų posūkių) nuo paskutinio atnaujinimo, agentas parašo (arba atnaujina) trumpą sesijos santrauką.
  3. Prisegti faktus prie subjektų: Agentas prideda kiekvieną stebėjimą, kurį laiko reikšmingu, į jo tinkamą vietą, kuri paprastai yra „Wiki“ puslapis. Jis tikrina ir pateikia užklausas autentifikuotoms jungtims, kai jos pasiekiamos.
  4. Atnaujinti žinių „Wiki“: Agentas atnaujina „Wiki“ remdamasis savo atradimais. Jis gali sukurti naujus puslapius patvariems subjektams, peržiūrėti puslapius, kai dabartinė sintezė pasikeitė, arba pridėti naujų nuorodų ar citatų, palaikančių faktinį teiginį. Jis taip pat gali pasirinkti nedaryti jokių pakeitimų, kai dabartinis grafas jau yra teisingas.

Siekiant užtikrinti, kad bet kokie „Brain“ atnaujinimai būtų išsamūs ir nuoseklūs, agentai įrašo siūlomą būseną į paruoštos išvesties medį. Jokie nuolatiniai pakeitimai neatliekami, kol agentas neatliko visų atnaujinimų, kuriuos laiko būtinais. Šių sprendimų koordinavimas viename agentiniame procese leidžia atnaujinti grafą kaip visumą, o ne kaip nesusijusius puslapius.

„Dream“ paleidimo, sukuriančio siūlomus „Brain“ puslapių atnaujinimus, takelių diagrama.
„Dream“ agentai naudoja esamą „Brain“ ir naują informaciją, kad pasiūlytų ir parašytų atnaujinimus.

Visi pakeitimai turi praeiti dviejų tipų patvirtinimo patikras. Determinuoti patvirtinimo patikrinimai užtikrina, kad puslapiai yra tinkamai suformuoti ir atitinka objektyvius kriterijus, pvz., privalomą priekinės dalies turinį ir citatos formatą. Semantinio patvirtinimo patikrinimai užtikrina, kad siūloma sintezė yra pagrįsta surinktais įrodymais ir išlieka nuosekli su likusia grafo dalimi. Agentui sėkmingai baigus darbą, valdomas sinchronizavimo žingsnis sulygina paruoštą išvestį su ankstesne būsena ir pritaiko pakeitimus repozitorijai. Kai sinchronizavimo žingsnis baigiasi, galutinį pakeitimų rinkinį galima patikrinti per „Git“ versijų istoriją.

„Brain“ patvirtinimas

Naudinga atminties sistema turi išsaugoti svarbius įrodymus, pateikti juos prireikus ir padėti agentui paversti tuos įrodymus teisingu atsakymu. Todėl „Brain“ vertiname keliais lygiais: valdomais neprisijungus atliekamais abliacijos bandymais, nuolatiniu poriniu pakartojimu ir atsitiktinių imčių gamybos eksperimentais.

Vertinimai neprisijungus

Atliekant pagrindinį vertinimą neprisijungus, naudojamas vidinis 640 klausimų duomenų rinkinys, apimantis 44 sintetinius personažus. Personažai atkuria gamybinius sesijos ritmo, posūkių skaičiaus, temų derinio ir faktų tankio modelius, tačiau juose nėra gamybinių užklausų teksto, siekiant apsaugoti vartotojo privatumą. Kiekviena paskyra užpildoma per gamybinės atminties konvejerį, įskaitant atminties išgavimą, pokalbių santraukas ir „Dream“ žinių „Wiki“ kompiliaciją. Kiekvienam klausimui teisingas atsakymas mechaniškai susietas su konkrečiais įrodymais, esančiais paskyros istorijoje.

Pavyzdžiui, Nadiai, anksčiau pristatytam pritaikymo neįgaliesiems tyrinėtojos sintetiniam personažui, duomenų rinkinys apima klausimą: „Su kokiomis organizacijomis susitinku Kiote ir Sendajuje?“ Atsakymas („Sora City Lab“ Kiote ir „Sapphir Mobility Coop“ Sendajuje) rodomas tiesiog atitinkamame „Wiki“ puslapyje.

Lyginame tuos pačius klausimus ir paskyras, kai sukompiliuota žinių „Wiki“ įjungta arba išjungta. Kitų atmenamų paviršių galima naudotis abiem atvejais. Tai išskiria papildomą „Brain“ indėlį, o ne lygina atmintį su atminties nebuvimu. Apskritai „Brain“ padidino atsakymų teisingumą nuo 0,600 iki 0,661 (prieaugis 6,1 procentinio punkto), o įrodymų atgavimą – nuo 0,573 iki 0,625 (prieaugis 5,2 procentinio punkto). Poveikis buvo didžiausias klausimams apie pirmenybes (+10,2 pp), laikinį samprotavimą (+8,6 pp) ir detalių ištraukimą iš ankstesnės veiklos (+6,9 pp). 84 % klausimų agentas patikrinamai prisilietė prie šaltinio, susieto su pagrindiniais įrodymais.

Stulpelinė diagrama, lyginanti atsakymų teisingumą ir įrodymų atgavimą su „Brain“ ir be jo pagal klausimų kategorijas.
„Brain“ pagerina našumą mūsų vidiniame bendrajame teste.

Taip pat atlikome suderintus „Brain“ abliacijos bandymus su dviejų viešųjų bendrųjų testų poaibiais. „LoCoMo“ atveju „Wiki“ pašalinimas vidutiniškai sumažino atsakymų teisingumą 4,6 procentinio punkto, atlikus tris paleidimus su skirtingais modeliais. „LongMemEval-S“ atveju tai nesukėlė statistiškai reikšmingo pokyčio. Šis rezultatas atitinka numatytą „Brain“ vaidmenį. „LongMemEval-S“ iš esmės išbando faktų atgavimą iš individualių sesijų, kur pagrindiniai stenogramos dokumentai suteikia perteklinį kelią į atsakymą. „LoCoMo“ didesnį dėmesį skiria įrodymams, išbarstytiems tarp pokalbių, pranešėjų ir datų, sukuriant daugiau galimybių „Wiki“ kryžminės sesijos sintezei prisidėti.

Apskritai, su įjungta „Brain“, gamybinis agentas pasiekė 0,91 atsakymų teisingumą „LongMemEval-S“ ir 0,83 „LoCoMo“. Kadangi šie eksperimentai naudojo bendrųjų testų poaibius, jie nėra galutiniai bendrųjų testų rezultatai. Tačiau abliacijos vis tiek suteikia stiprų signalą, kad „Wiki“ pagerina našumą, ypač kai įrodymai turi būti integruoti per pokalbius. Kadangi „Brain“ yra „Computer“ dalis, o ne optimizuota, konkrečiam bendrajam testui skirta gavimo sistema, tikime, kad konkurencingumas tik didės su užduotimis, kurios labiau primena gamybines darbo eigas.

Vertinimai internetu

Duomenų rinkiniai neprisijungus negali užfiksuoti kiekvienos tikros vartotojo istorijos ypatybės, todėl taip pat vykdome kasdienį porinį vertinimą su naujomis gamybinėmis kohortomis. Į tuos pačius fiksuotus klausimus atsakoma pagal suderintą vartotojo būseną su įjungta ir išjungta „Brain“, o vėliau vertinamas teisingumas, aktualumas ir atgavimas.

Birželio 18 d. paskelbti preliminarūs rezultatai parodė, kad „Brain“ padidina atsakymų teisingumą 25 %, o atgavimą – 16 %. Šis našumo prieaugis išliko; per pastarąsias 30 dienų sesijos su įjungta „Brain“ lenkė kontrolinę grupę kiekvieno paleidimo ir kiekvieno vertinamo matmens metu. Absoliučiais skaičiais „Computer“ vartotojai džiaugėsi 9,3 punkto teisingumo, 8,0 punkto aktualumo ir 8,9 punkto atgavimo pagerėjimu. Su „Brain“ veikiančios trajektorijos taip pat sunaudojo maždaug 15 % mažiau žetonų, kainavo 10 % pigiau ir generavimą užbaigė 10 % greičiau.

Internetinių porinio vertinimo rezultatų diagrama, rodianti teisingumo, aktualumo ir atgavimo prieaugį kartu su žetonų, kainos ir delsos sumažėjimu.
„Brain“ padidina atsakymų kokybę ir sumažina kainą.

Nuolatinis tobulėjimas

Toliau tobuliname „Brain“, kad vartotojams pasiūlytume geriausią atminties patirtį. Vienas neseniai atliktas pakeitimas įkelia kompaktišką „Brain“ rodyklę tiesiai į pradinį agento kontekstą, o ne reikalauja, kad agentas ją atrastų ir perskaitytų vėliau. Atsitiktinių imčių eksperimente šis išankstinio užpildymo gydymas padidino „Brain“ naudojimą ir sumažino su atmintimi susijusį nepasitenkinimą 6,9 %.

Vertimo neprisijungus įrankis taip pat tarnauja kaip autonominio tobulinimo konvejerio dalis. Siūlomi pakeitimai „Brain“ atminties subagentui, gavimo įgūdžiams ir raginimams paleidžiami per suderintus abliacijos bandymus mūsų vidiniame duomenų rinkinyje ir viešuosiuose bendruosiuose testuose. „Computer“ agentai gali kartoti rezultatus savarankiškai, išsaugodami kiekvieno iteracijos pakeitimą, pokyčius ir kainą kaip patvarų įrašą ir palikdami tik tuos pakeitimus, kurie judina skaičius. Rezultatas – sistema, kurioje „Brain“ vertintojai taip pat yra jo optimizatoriai, skatinantys būsimus patobulinimus.

Išvada

Nuolatinis mokymasis yra vienas iš pagrindinių iššūkių kuriant agentų sistemas, veikiančias savaites ir mėnesius. Manome, kad atminties architektūras geriausia pateikti kaip aplinkas, kurias agentai gali tiesiogiai tyrinėti naudodami savo įprastus įrankių rinkinius. Atminties pateikimas kaip failų sistemos su „Brain“ kaip struktūrizuotų žinių „Wiki“ viršuje leidžia efektyviai naršyti kontekste naudojant paprastus ir pažįstamus įrankius.

„Brain“ sukurtas savarankiškam tobulėjimui, kad atminties sistema galėtų gerėti augant naudojimui. Fono agentai „Dream“ išgrynina naują informaciją į „Brain“ atnaujinimus, užtikrindami, kad pirmojo plano agentai visada pradėtų naują sesiją su organizuotu naujausio konteksto vaizdu. Vertinimo įrankis taip pat tarnauja kaip bandymų aikštelė savarankiško tyrimo ciklams pagrindinėje atminties architektūroje ir su agentu susijusiose sąsajose.

„Brain“ jau lėmė tikslesnes ir našesnes agentų sesijas, kartu sumažindamas sunaudotų žetonų skaičių. Mūsų kruopštus „Brain“ ir „Computer“ gamybos steko bendras dizainas užtikrina, kad ši nauda tiesiogiai virstų realia nauda vartotojams.

Toliau kuriame daugiau galimybių, pagerinančių „Computer“ atminties kokybę. Tuo tarpu vartotojams, kuriems įjungta „Brain“, atmintis pagerės su kiekviena sesija.