Brain: Memoria degli agenti come wiki della conoscenza

Gli utenti di Computer svolgono attività che durano mesi e centinaia di sessioni. Già alla decima sessione, il sistema dovrebbe essere molto più produttivo rispetto alla prima. Dovrebbe accumulare contesto sull'utente, sulle sue preferenze e sul lavoro già svolto.

Ad esempio, quando gli viene chiesto di disegnare il diagramma di un flusso di lavoro precedentemente spiegato dall'utente, Computer dovrebbe ricordare i dettagli e utilizzarli per creare e produrre una figura nello stile preferito dell'utente. L'utente non dovrebbe aver bisogno di spiegare nuovamente i dettagli del flusso di lavoro o ribadire la sua preferenza per i PDF rispetto agli artifact in PNG; il sistema dovrebbe essere in grado di recuperare accuratamente tale contesto dalle sessioni passate e applicarlo automaticamente.

La memoria è la fondazione del continuo miglioramento degli agenti. Un sistema di memoria efficace deve essere strutturato, tracciabile e adattabile, consentendo agli agenti di effettuare ricerche alla giusta ampiezza e profondità per ogni attività, basando al contempo ogni decisione sulle informazioni più aggiornate.

Introduzione

Inculcare un contesto pertinente agli agenti è un problema sfaccettato. In primo luogo, gli agenti devono sapere cosa esiste e come accedervi. In secondo luogo, quando trovano un'informazione utile, devono essere certi che sia completa, accurata e aggiornata. Un fatto isolato ha un valore limitato a meno che l'agente non riesca a trovare informazioni correlate, a verificare che provenga da una fonte attendibile e ad assicurarsi che non debba essere aggiornato con un'osservazione più recente.

Inserire file di memoria statica direttamente nel contesto del modello massimizza l'accessibilità per gli agenti, ma presenta un classico compromesso tra precisione e richiamo. Troppe informazioni satureranno la finestra di contesto dell'agente con elementi di rilevanza via via minore, mentre una quantità troppo esigua degraderà la qualità delle risposte a causa della mancanza di un contesto pertinente. Per contro, l'accesso su richiesta a database esterni è più flessibile, ma sposta l'onere della navigazione sull'agente. I database vettoriali spesso memorizzano frammenti sconnessi e i database a grafo richiedono agli agenti di sapere come effettuare query in modo efficace.

Recentemente, abbiamo introdotto Brain, un componente fondamentale del sistema di memoria di Computer che offre il meglio di entrambi i mondi. Brain è una knowledge wiki strutturata che si trova sopra i file di memoria statica e le prove. Le citazioni collegano le asserzioni alle loro fonti e le informazioni correlate sono collegate lateralmente. La wiki organizzata rende il contesto navigabile su richiesta, mentre gli artifact dettagliati vengono conservati nello strato sottostante.

Brain si collega a un sistema di memoria completo con tre componenti chiave: memorizzazione duratura della memoria, agenti in primo piano che utilizzano la memoria per rispondere alle query e agenti in background che aggiornano e migliorano la memoria. La figura seguente illustra questi componenti situati all'interno dell'architettura di sistema complessiva di Brain.

In questo articolo descriviamo in dettaglio ogni livello, spiegando come Brain organizza la memoria, come gli agenti la utilizzano e come i processi in background la mantengono aggiornata. Presentiamo inoltre i risultati delle valutazioni interne che convalidano la progettazione di Brain, dimostrando che migliora le prestazioni degli agenti a costi inferiori.

Organizzazione e memorizzazione della memoria

La memoria necessita di una rappresentazione che si adatti all'intera cronologia dell'utente senza costringere ogni singolo pezzo di contesto nel prompt. Il sistema di memoria di Computer rappresenta il contesto persistente come un filesystem. Brain sintetizza le conoscenze attraverso fonti grezze, collegando argomenti correlati e riconnettendo le affermazioni alle sessioni e ai file che le supportano. Questa struttura, descritta in dettaglio di seguito, ci consente di organizzare la memoria in una forma particolarmente adatta agli agenti.

Memoria basata su filesystem

Le sessioni di computer risiedono già in una sandbox con un filesystem, una shell e utilità di I/O. Nel progettare Brain, abbiamo voluto introdurre meno meccanismi nuovi possibili nell'interfaccia tra il modello e la memoria dell'agente. Ecco perché abbiamo costruito Brain su uno strato di contesto nativo per il filesystem. La memoria viene materializzata come file nella sandbox all'interno di una directory memory/ e l'agente utilizza semplicemente sugli stessi file di memoria gli stessi strumenti che utilizza già per qualsiasi altra cosa.

Alla radice dell'albero della memoria si trovano tre directory di primo livello che mantengono il contesto a diversi livelli di astrazione. knowledge/ è il Brain stesso, una knowledge wiki sintetizzata che collega entità, concetti, progetti attivi e apprendimenti passati; notes/ contiene frammenti distillati organizzati in cartelle tematiche; e sessions/ ospita indici, riassunti e trascrizioni complete come cronologie grezze. La figura sottostante mostra una vista semplificata del layout.

Le superfici sono deliberatamente ridondanti. Per domande semplici e a singolo passaggio, è spesso sufficiente cercare frammenti all'interno di /notes per una parola chiave, mentre il livello /knowledge è più utile per le domande che richiedono di unire prove attraverso settimane o mesi di sessioni di Computer.

Brain: The Knowledge Wiki

Brain è formattato come una wiki LLM, un sistema di file Markdown collegati. Questa forma di Markdown leggermente strutturato offre una visione olistica del contesto esistente, in modo che gli agenti possano comprendere facilmente quali record sono disponibili, come si relazionano e dove trovarli. Ogni pagina è una vista gestita di un singolo argomento e deve rimanere utile quando viene letta singolarmente, facilitando al contempo un'ulteriore esplorazione tramite collegamenti.

I collegamenti sono di due tipi. [[wikilinks]] sono archi di contesto. Collegano le pagine lateralmente; un progetto può essere collegato al suo proprietario, al suo cliente o ai concetti da cui dipende. Seguirli risponde alla domanda "cos'altro devo sapere?". I riferimenti [cite:N] sono archi di prova. Collegano le affermazioni verso il basso alle sessioni grezze o alle fonti dei connettori che le supportano. Seguirli risponde alla domanda "come faccio a sapere che questo è vero?"

Le figure sottostanti illustrano quale sarebbe l'aspetto di una porzione di Brain per una persona sintetica, una ricercatrice nel campo dell'accessibilità di nome Nadia. Il suo Brain include una pagina su un progetto di esempio, uno sprint di progettazione universale in Giappone, che sintetizza le conoscenze tratte da sessioni e connettori. La vista a grafo dimostra come il contesto e gli archi di prova presenti nella pagina colleghino entità e fonti correlate.

Brain è supportato da Git per preservare la cronologia delle versioni, sostenendo la sua natura in costante evoluzione. Le pagine possono essere modificate nel tempo, mentre i changelog registrano gli aggiornamenti chiave e consentono agli agenti di ispezionare facilmente le versioni precedenti e i diff. Questo supporta inoltre il coordinamento tra agenti, fondamentale dal momento che più agenti potrebbero utilizzare e aggiornare Brain contemporaneamente.

Utilizzo di Brain

Nel rispondere a una richiesta dell'utente, gli agenti devono essere in grado di trovare il contesto giusto al giusto livello di dettaglio. La struttura di Brain semplifica l'esplorazione della memoria per gli agenti. Gli agenti possono scegliere tra passaggi azionabili come seguire i collegamenti di contesto per trovare informazioni correlate, seguire i collegamenti di prova per verificare le affermazioni o chiamare un subagente per ottenere e sintetizzare ulteriore contesto. Guidiamo il processo di esplorazione degli agenti in diversi modi volti a massimizzare la facilità di accesso degli agenti alle informazioni pertinenti.

Strategia di esplorazione

Includiamo un indice compatto di Brain all'interno del messaggio iniziale dell'utente, in modo che l'agente inizi con una conoscenza operativa di ciò che già esiste. L'agente interagisce quindi con Brain utilizzando operazioni familiari: lettura di elementi specifici a cui fa riferimento l'indice, utilizzo di grep per effettuare ricerche tra le pagine, seguito dei collegamenti e ispezione delle citazioni, confronto delle revisioni di Git e discesa nelle sessioni o nelle traiettorie grezze. Il blocco di codice sottostante raffigura comandi di esempio per una persona sintetica.

Gli agenti esplorano questo contesto attraverso un ciclo auto-diretto, anziché una pipeline fissa. Pertanto, l'agente può continuare a cercare fino a quando non è soddisfatto del contesto trovato. L'agente può anche scegliere quando ispezionare citazioni e prove per trovare o verificare i dettagli. Una questione di preferenza minore può essere adottata direttamente da una singola pagina di Brain, mentre una decisione consequenziale o un conflitto tra le fonti possono giustificare il seguire la citazione e la lettura del record originale. La struttura basata su grafo consente all'agente di scegliere tra passaggi successivi concreti, anziché cercare senza meta informazioni correlate.

Materializzazione dei file

Affinché l'esplorazione basata su agenti funzioni, l'agente deve avere accesso all'intero albero memory/ attraverso il filesystem della sandbox. Copiare l'intero albero localmente ogni volta che viene avviata una sandbox è costoso e non necessario, poiché l'agente non toccherà la stragrande maggioranza di quei file. Un'altra opzione sarebbe quella di utilizzare un filesystem remoto, in modo che gli agenti possano accedere a qualsiasi file senza copiarlo localmente. Tuttavia, gli agenti eseguono spesso migliaia di operazioni sul filesystem in un unico comando; se ciascuna di esse diventa una richiesta di rete, il costo del round-trip inizia a dominare il ciclo di esplorazione. Nei test interni, semplici carichi di lavoro grep su un percorso remoto basato su FUSE sono risultati all'incirca da 400 a 500 volte più lenti rispetto alle operazioni equivalenti su file locali.

Invece, costruiamo un set di lavoro locale di file materializzati, mentre il corpus più ampio rimane dietro un sistema di recupero della memoria. Computer precarica una mappa iniziale (presa da memorie recenti, sessioni, riassunti e conoscenze disponibili) sulla sandbox all'avvio. Gli agenti di Computer hanno accesso a un Memory Agent, un subagente in grado di eseguire ricerche semantiche e caricare un nuovo set di file. Quando il contesto necessario è assente, Computer può chiamare il Memory Agent con una descrizione delle informazioni richieste. Il Memory Agent effettua ricerche tra i file, restituendo un'immediata sintesi testuale e materializzando i record di supporto come file sotto l'albero di memoria. In questo modo, il set di lavoro si espande in modo naturale e graduale nel tempo, preservando percorsi stabili e relazioni di origine per le prove già presenti.

Questa progettazione risolve brillantemente il collo di bottiglia della latenza. La memorizzazione locale dei file pertinenti garantisce che le operazioni sul filesystem necessarie per l'esplorazione rimangano veloci e il recupero in batch consente al pool di file materializzati di crescere senza richiedere chiamate separate per ciascun file o il caricamento di un numero elevato di file non pertinenti. La struttura ad agenti nidificati offre inoltre a Computer i vantaggi del recupero basato su agenti senza richiedere all'agente principale di cercare direttamente nell'intero corpus di backend ogni volta, preservando la propria finestra di contesto per le informazioni di maggior valore.

Mantenimento di Brain

Gli utenti imparano costantemente dal lavoro che svolgono e dalle conversazioni che intrattengono, perciò la memoria basata su agenti deve fare lo stesso. Affinché Brain rimanga utile, deve essere una rappresentazione concisa della conoscenza più importante. Dovrebbero essere create nuove pagine per nuove importanti entità, nuove informazioni dovrebbero essere aggiunte alle pagine di Brain pertinenti e il contesto obsoleto dovrebbe essere rimosso tempestivamente. Ad esempio, se il lavoro di un utente cambia, Brain dovrebbe riflettere tale cambiamento; dovrebbe contenere il nuovo lavoro dell'utente e dare priorità alle informazioni relative alle loro nuove responsabilità e ai loro nuovi progetti.

Brain è gestito da agenti in background che chiamiamo Dream. Gli agenti Dream vengono eseguiti offline sulla memoria basata su file, sintetizzando nuove informazioni negli aggiornamenti di Brain. Abbiamo definito con cura l'ambito e il comportamento degli agenti Dream per svolgere questo compito in modo efficiente, insieme a guardrail specifici per Dream per garantire che gli aggiornamenti di Brain siano coerenti e accurati.

Dream: agenti in background per il perfezionamento della memoria

Gli agenti Dream vengono eseguiti in sandbox con accesso allo stesso filesystem e agli stessi strumenti di sola lettura che avrebbe una sessione interattiva di Computer, ma il loro unico obiettivo è migliorare il contesto per le sessioni future. Ciascuna esecuzione parte dal Brain prodotto da esecuzioni precedenti anziché ricostruire il contesto dell'utente da zero. Utilizza quindi quel Brain corrente per orientarsi e produce un Brain aggiornato da utilizzare per le esecuzioni future.

Un agente Dream riceve un ambiente e decide come esplorarlo, anziché ricevere un input fisso appiattito in un unico prompt. Può navigare nella memoria basata su file, utilizzare strumenti connettori di sola lettura approvati per verificare un elemento di conoscenza e delegare parti delimitate del lavoro a subagenti, tra cui il Memory Agent. L'ambito e le responsabilità dell'agente Dream sono specificati come una Skill.

In linea generale, un'esecuzione di Dream si compone di 4 fasi:

1. Orientati: L'agente completa una procedura di orientamento ordinata. Identifica l'ambito autorevole, le istruzioni permanenti, il log di eliminazione, gli input aggiuntivi e le condizioni di arresto.
2. Riassumi le sessioni: Per ogni sessione nuova (o che ha avuto nuovi turni) dall'ultimo aggiornamento, l'agente scrive (o aggiorna) un breve riassunto della sessione.
3. Associa i fatti ai soggetti: L'agente aggiunge ogni osservazione che ritiene significativa alla sua corretta collocazione, che è tipicamente una pagina wiki. Esamina e interroga i connettori autenticati quando disponibili.
4. Aggiorna la knowledge wiki: L'agente aggiorna la wiki in base ai suoi risultati. Può produrre nuove pagine per soggetti duraturi, rivedere le pagine quando la sintesi corrente è cambiata o aggiungere nuovi collegamenti o citazioni a supporto di un'affermazione fattuale. Può anche scegliere di non apportare alcuna modifica quando il grafo corrente è già corretto.

Per garantire che eventuali aggiornamenti a Brain siano completi e coerenti, gli agenti scrivono lo stato proposto in un albero di output transitorio. Non viene apportata alcuna modifica permanente finché l'agente non ha effettuato tutti gli aggiornamenti che ritiene necessari. Il coordinamento di tali decisioni in un unico processo basato su agenti consente di aggiornare il grafo nel suo complesso anziché come pagine non correlate.

Eventuali modifiche devono superare due tipi di controlli di verifica. I controlli di validazione deterministica assicurano che le pagine siano ben formate e soddisfino criteri oggettivi, come il frontmatter richiesto e il formato delle citazioni. I controlli di verifica semantica assicurano che la sintesi proposta sia supportata dalle prove raccolte e rimanga coerente con il resto del grafo. Al termine dell'esecuzione dell'agente, una fase di sincronizzazione controllata confronta l'output transitorio con lo stato precedente e applica le modifiche al repository. Al completamento della fase di sincronizzazione, l'insieme finale delle modifiche è ispezionabile tramite la cronologia delle versioni di Git.

Convalida di Brain

Un sistema di memoria utile deve preservare le prove pertinenti, metterle in evidenza quando necessario e aiutare l'agente a convertire tali prove in una risposta corretta. Valutiamo pertanto Brain a più livelli: ablazioni offline controllate, riproduzione accoppiata continua ed esperimenti di produzione randomizzati.

Valutazioni offline

La nostra valutazione offline principale utilizza un set di dati interno di 640 domande su 44 persone sintetiche. Le persone riproducono modelli derivati dalla produzione in termini di cadenza delle sessioni, numero di turni, mix di argomenti e densità di fatti, pur non contenendo alcun testo di query di produzione per preservare la privacy dell'utente. Ciascun account viene popolato attraverso la pipeline di memoria di produzione, inclusi l'estrazione della memoria, i riassunti delle conversazioni e la compilazione della knowledge wiki da parte di Dream. Per ogni domanda, la risposta corretta è meccanicamente legata a prove specifiche presenti nella cronologia dell'account.

Ad esempio, per Nadia, la persona sintetica ricercatrice nel campo dell'accessibilità introdotta in precedenza, il dataset include la domanda: "Quali organizzazioni sto incontrando a Kyoto e Sendai?". La risposta (Sora City Lab a Kyoto e Sapphir Mobility Coop a Sendai) appare direttamente sulla pagina Wiki corrispondente.

Confrontiamo le stesse domande e i medesimi account con la knowledge wiki compilata attiva oppure disattivata. Le altre superfici di memoria rimangono disponibili in entrambe le condizioni. Ciò isola il contributo incrementale di Brain, anziché confrontare la memoria con l'assenza di memoria. Nel complesso, Brain ha aumentato la correttezza delle risposte da 0,600 a 0,661, con un incremento di 6,1 punti percentuali, e il recupero delle prove da 0,573 a 0,625, con un incremento di 5,2 punti percentuali. L'effetto maggiore si è registrato per le domande relative alle preferenze (+10,2 pp), al ragionamento temporale (+8,6 pp) e all'estrazione di dettagli da attività precedenti (+6,9 pp). Nell'84% delle domande, l'agente ha verificabilmente toccato una fonte vincolata alle prove di riferimento (gold evidence).

Abbiamo anche eseguito ablazioni abbinate di Brain su sottoinsiemi di due benchmark pubblici. Su LoCoMo, la rimozione della wiki ha ridotto la correttezza delle risposte del 4,6% in media, su tre esecuzioni con modelli diversi. Su LongMemEval-S non ha prodotto alcun cambiamento statisticamente significativo. Questo risultato è coerente con il ruolo previsto per Brain. LongMemEval-S verifica principalmente il recupero di fatti da singole sessioni, laddove le trascrizioni sottostanti forniscono un percorso ridondante verso la risposta. LoCoMo pone maggiore enfasi sulle prove frammentate tra conversazioni, parlanti e date, creando maggiori opportunità per il contributo della sintesi cross-sessione della wiki.

Nel complesso, con Brain abilitato, l'agente di produzione ha raggiunto una correttezza delle risposte pari a 0,91 su LongMemEval-S e a 0,83 su LoCoMo. Poiché questi esperimenti hanno utilizzato sottoinsiemi di benchmark, non costituiscono risultati di benchmark definitivi. Tuttavia, le ablazioni forniscono comunque un forte segnale del fatto che la wiki migliora le prestazioni, specialmente quando le prove devono essere integrate tra le conversazioni. Poiché Brain fa parte di Computer, anziché essere un sistema di recupero ottimizzato e specifico per i benchmark, riteniamo che la competitività non farà che aumentare con attività che assomigliano più da vicino ai flussi di lavoro di produzione.

Valutazioni online

I dataset offline non possono catturare ogni aspetto delle reali cronologie degli utenti, quindi eseguiamo anche una valutazione giornaliera accoppiata su coorti fresche derivate dalla produzione. Vengono risposte le stesse domande fisse sullo stato dell'utente abbinato con Brain abilitato e disabilitato, quindi giudicate per correttezza, attualità e recupero.

I risultati preliminari riportati il 18 giugno hanno dimostrato che Brain aumenta la correttezza delle risposte del 25% e il recupero del 16%. Questi incrementi di prestazioni hanno continuato a persistere; negli ultimi 30 giorni, le sessioni abilitate a Brain hanno superato il controllo in ogni esecuzione e in ogni dimensione valutata. In termini assoluti, gli utenti di Computer hanno beneficiato di miglioramenti di 9,3 punti nella correttezza, 8,0 punti nell'attualità e 8,9 punti nel recupero. Le traiettorie abilitate a Brain hanno anche utilizzato circa il 15% di token in meno, sono costate il 10% in meno e hanno completato la generazione il 10% più velocemente.

Miglioramento continuo

Abbiamo continuato a perfezionare Brain per offrire la migliore esperienza di memoria agli utenti. Una modifica recente inserisce l'indice compatto di Brain direttamente nel contesto iniziale dell'agente, anziché richiedere all'agente di scoprirlo e leggerlo in un secondo momento. In un esperimento randomizzato, questo trattamento di prefill ha aumentato l'utilizzo di Brain e ridotto l'insoddisfazione correlata alla memoria del 6,9%.

L'ambiente di valutazione offline funge anche da parte di una pipeline di miglioramento autonomo. Le modifiche proposte al subagente di memoria, alle skill di recupero e ai prompt di Brain vengono eseguite attraverso le ablazioni abbinate sul nostro dataset interno e sui benchmark pubblici. Gli agenti di Computer possono iterare sui risultati in modo autonomo, preservando le modifiche, i delta e il costo di ogni iterazione come record durevole e mantenendo solo le modifiche che muovono i numeri. Il risultato è un sistema in cui i valutatori di Brain sono anche i suoi ottimizzatori, guidando i miglioramenti futuri.

Conclusione

L'apprendimento continuo è una delle sfide fondamentali per la creazione di sistemi di agenti che operano per settimane e mesi. Riteniamo che le architetture di memoria siano esposte al meglio come ambienti che gli agenti possono esplorare direttamente utilizzando i loro consueti set di strumenti. Esporre la memoria come filesystem, con Brain come knowledge wiki strutturata al di sopra, rende il contesto efficientemente navigabile attraverso strumenti semplici e familiari.

Brain è progettato per l'auto-miglioramento, in modo che il sistema di memoria possa continuare a migliorare man mano che l'utilizzo cresce. Gli agenti in background di Dream distillano nuove informazioni negli aggiornamenti di Brain, assicurando che gli agenti in primo piano inizino sempre una nuova sessione con una visione organizzata del contesto più recente. L'ambiente di valutazione funge al contempo da banco di prova per i cicli di autoricerca sull'architettura di memoria principale e sulle interfacce rivolte agli agenti.

Già ora Brain ha portato a sessioni di agenti più accurate e performanti, riducendo al contempo i token impiegati. La nostra attenta co-progettazione di Brain con lo stack di produzione di Computer assicura che questi guadagni si traducano direttamente in benefici reali per gli utenti.

Stiamo continuando a sviluppare ulteriori funzionalità per migliorare la qualità della memoria di Computer. Nel frattempo, per gli utenti con Brain abilitato, la memoria migliorerà a ogni sessione.