Brain: Pamięć agenta jako wiki wiedzy

Ustrukturyzowany, prześledzalny, samodoskonalący się system plików Markdown, skompilowany offline i przeglądany na żądanie.

AutorzyPerplexity Engineering

Użytkownicy systemu Computer wykonują pracę trwającą miesiące i setki sesji. Do dziesiątej sesji system powinien być znacznie wydajniejszy niż w pierwszej. Powinien gromadzić kontekst na temat użytkownika, jego preferencji oraz pracy, która została już wykonana.

Na przykład, gdy zostaje poproszony o narysowanie diagramu przepływu pracy, który użytkownik wcześniej wyjaśnił, Computer powinien przypomnieć sobie szczegóły i użyć ich do stworzenia oraz wygenerowania rysunku w preferowanym przez użytkownika stylu. Użytkownik nie powinien musieć ponownie wyjaśniać szczegółów przepływu pracy ani powtarzać swoich preferencji dotyczących artefaktów PDF zamiast PNG; system powinien być w stanie dokładne odzyskać ten kontekst z przeszłych sesji i zastosować go automatycznie.

Pamięć jest fundamentem ciągłego doskonalenia agenta. Efektywny system pamięci powinien być ustrukturyzowany, sprawdzalny i elastyczny, umożliwiając agentom wyszukiwanie na odpowiedniej szerokości i głębokości dla każdego zadania, a jednocześnie opierając każdą decyzję na najbardziej aktualnych informacjach.

Wprowadzenie

Wyposażenie agentów w istotny kontekst jest problemem wieloaspektowym. Po pierwsze, agenci muszą wiedzieć, co istnieje i jak uzyskać do tego dostęp. Po drugie, gdy znajdą pomocną informację, muszą mieć pewność, że jest ona kompletna, dokładna i aktualna. Odizolowany fakt ma ograniczoną wartość, chyba że agent może znaleźć powiązane informacje, zweryfikować, czy pochodzą z zaufanego źródła, i upewnić się, że nie wymaga aktualizacji o nowszą obserwację.

Wrzucanie statycznych plików pamięci bezpośrednio do kontekstu modelu maksymalizuje dostępność dla agentów, ale przedstawia klasyczny kompromis między precyzją a przypominaniem. Zbyt duża ilość informacji nasyci okno kontekstu agenta elementami o malejącej istotności, podczas gdy zbyt mała pogorszy jakość odpowiedzi z powodu braku odpowiedniego kontekstu. Z kolei dostęp na żądanie do zewnętrznych baz danych jest bardziej elastyczny, ale przenosi ciężar nawigacji na agenta. Bazy danych wektorowych często przechowują rozłączone fragmenty, a bazy danych grafowych wymagają od agentów wiedzy, jak skutecznie wysyłać zapytania.

Niedawno wprowadziliśmy system Brain, kluczowy komponent systemu pamięci Computer, który zapewnia najlepsze cechy obu rozwiązań. Brain to ustrukturyzowane wiki wiedzy, które znajduje się na górze statycznych plików pamięci i dowodów. Cytaty łączą twierdzenia z ich źródłami, a powiązane informacje są połączone poprzecznie. Zorganizowane wiki sprawia, że kontekst jest nawigowany na żądanie, podczas gdy szczegółowe artefakty są zachowane w warstwę znajdującej się pod nim.

Wiki wiedzy Brain widziana jako graf z węzłami będącymi encjami i krawędziami łączącymi powiązane tematy.
Przykładowa baza Brain oparta na syntetycznej osobie.

System Brain łączy się z wszechstronnym systemem pamięci składającym się z trzech kluczowych komponentów: trwałego magazynu pamięci, agentów pierwszoplanowych korzystających z pamięci do odpowiadania na zapytania oraz agentów w tle aktualizujących i ulepszających pamięć. Poniższy rysunek przedstawia te komponenty usytuowane w ogólnej architekturze systemowej Brain.

Diagram architektury przedstawiający trwała pamięć magazynową, agentów pierwszoplanowych czytających pamięć oraz agentów w tle aktualizujących pamięć.
System pamięci składa się ze współdzielonej pamięci trwałości, agentów pierwszoplanowych korzystających z pamięci oraz agentów w tle aktualizujących pamięć.

W tym artykule szczegółowo opisujemy każdą warstwę, wyjaśniając, w jaki sposób Brain organizuje pamięć, jak z niej korzystają agenci oraz jak procesy w tle dbają o jej aktualność. Przedstawiamy również wyniki wewnętrznych ewaluacji, które potwierdzają poprawność projektu Brain, wykazując, że poprawia on wydajność agenta przy niższym koszcie.

Organizacja i przechowywanie pamięci

Pamięć potrzebuje reprezentacji, która skaluje się do pełnej historii użytkownika bez zmuszania każdego fragmentu kontekstu do wejścia w monit. System pamięci komputera reprezentuje utrwalony kontekst jako system plików. Brain syntetyzuje wiedzę ze surowych źródeł, łącząc powiązane tematy i łącząc roszczenia z powrotem z sesjami i plikami, które je wspierają. Ta struktura, szczegółowo opisana poniżej, pozwala nam zorganizować pamięć w formie szczególnie dobrze przystosowanej dla agentów.

Pamięć oparta na systemie plików

Sesje komputerowe działają już w piaskownica wyposażonej w system plików, powłokę oraz narzędzia we/wy. Projektując Brain, chcieliśmy wprowadzić jak najmniej nowych mechanizmów w interfejsie między modelem a pamięcią agenta. Właśnie dlatego zbudowaliśmy Brain w oparciu o warstwę kontekstową natywną dla systemu plików. Pamięć jest materializowana jako pliki w piaskownica w katalogu memory/, a agent po prostu używa tych samych narzędzi do obsługi plików pamięci, których używa do wszystkiego innego.

U podstaw drzewa pamięci znajdują się trzy katalogi najwyższego poziomu, które utrzymują kontekst na różnych poziomach abstrakcji. knowledge/ to sam system Brain, czyli zsyntetyzowane wiki wiedzy, które łączy encje, pojęcia, aktywne projekty i dawne zdobycze; notes/ zawiera wyselekcjonowane fragmenty zorganizowane w foldery tematyczne; a sessions/ przechowuje indeksy, podsumowania i pełne transkrypcje jako surowe historie. Poniższy rysunek przedstawia uproszczony widok układu.

Drzewo katalogów pokazujące memory/ z podfolderami knowledge/, notes/ i sessions/.
Przykładowy widok układu systemu plików pamięci.

Powierzchnie są celowo nadmiarowe. W przypadku prostych pytań jednohopowych często wystarczy wyszukać fragmenty w katalogu /notes pod kątem słowa kluczowego, podczas gdy warstwa /knowledge jest najbardziej przydatna w przypadku pytań wymagających scalania dowodów z całych tygodni lub miesięcy sesji Computer.

Brain: wiki wiedzy

System Brain jest sformatowany jako LLM wiki, czyli system powiązanych plików Markdown. Ta forma lekko ustrukturyzowanego języka Markdown zapewnia holistyczny widok istniejącego kontekstu, dzięki czemu agenci mogą łatwo zrozumieć, jakie wpisy są dostępne, w jaki sposób są powiązane i gdzie je znaleźć. Każda strona jest utrzymywanym widokem jednego przedmiotu; powinna pozostać użyteczna w przypadku samodzielnego czytania, ułatwiając jednocześnie dalszą eksplorację za pomocą łączy.

Łącza występują w dwóch typach. [[wikilinks]] to krawędzie kontekstowe. Łączą one strony poprzecznie; projekt może łączyć się ze swoim właścicielem, klientem lub koncepcjami, od których zależy. Odpowiedzi na pytania typu "co jeszcze muszę wiedzieć?" odsyłają do nich. Odniesienia [cite:N] to krawędzie dowodowe. Łączą one twierdzenia w dół z surowymi sesjami lub źródłami łączników, które je wspierają. Odpowiedź na pytanie "skąd wiem, że to prawda?" prowadzi przez podążanie za nimi.

Poniższe ryciny przedstawiają, jak wyglądałaby część systemu Brain dla syntetycznej osoby, badacza dostępności o imieniu Nadia. Jej system Brain zawiera stronę poświęconą przykładowemu projektowi, uniwersalnemu sprintowi projektowemu w Japonii, syntetyzującemu wiedzę z sesji i łączników. Widok grafu pokazuje, jak obecne na stronie krawędzie kontekstu i dowodów łączą powiązane encje i źródła.

Przykładowa strona wiki Brain wyrenderowana jako Markdown, pokazująca w tekście linki wiki i krawędzie cytowań.
System Brain to system plików Markdown.
Podgraf z przykładowej strony wiki Brain, wizualizowany jako graf połączonych jednostek i źródeł.
Osadzony kontekst i krawędzie dowodowe tworzą strukturę grafu ułatwiającą nawigację.

System Brain jest wspierany przez system Git w celu zachowania historii wersji, co wspiera jego stale ewoluujący charakter. Strony mogą być edytowane wraz z upływem czasu, podczas gdy dzienniki zmian rejestrują kluczowe aktualizacje i pozwalają agentom łatwo kontrolować przeszłe wersje oraz różnice (diffs). Wspiera to również koordynację między agentami, co ma kluczowe znaczenie, ponieważ wielu agentów może jednocześnie korzystać z systemu Brain i go aktualizować.

Korzystanie z systemu Brain

Odpowiadając na zapytanie użytkownika, agenci muszą umieć znaleźć odpowiedni kontekst na właściwym poziomie szczegółowości. Struktura systemu Brain ułatwia agentom eksplorację pamięci. Agenci mogą wybierać spośród wykonalnych kroków, takich jak podążanie za łączami kontekstowymi w celu znalezienia powiązanych informacji, podążanie za łączami dowodowymi w celu weryfikacji twierdzeń lub wywołanie podagenta w celu uzyskania i syntezy dodatkowego kontekstu. Sterujemy procesem eksploracji przez agentów na wiele sposobów, których celem jest maksymalizacja łatwości dostępu agentów do istotnych informacji.

Strategia eksploracji

Umieszczamy kompaktowy indeks systemu Brain w początkowej wiadomości użytkownika, dzięki czemu agent zaczyna z roboczą wiedzą o tym, co już istnieje. Następnie agent wchodzi w interakcję z systemem Brain za pomocą znanych operacji: czytania określonych elementów wskazywanych przez indeks, używania grep do wyszukiwania na stronach, podążania za łączami i kontrolowania cytatów, porównywania wersji Git oraz schodzenia do sesji lub surowych trajektorii. Poniższy blok kodu przedstawia przykładowe polecenia dla syntetycznej osoby.

bash
# 1. Orient: the index is a map of everything known cat memory/knowledge/index.md # 2. Target: find pages that touch the question grep -Ril "kyoto\|sendai" memory/knowledge/ # 3. Read the page; follow context edges as needed cat memory/knowledge/projects/japan-universal-design-sprint.md cat memory/knowledge/entities/sora-city-laboratory.md # via [[wikilink]] cat memory/knowledge/entities/sapphir-mobility-coop.md # via [[wikilink]] # 4. Only if the claim must be verified: resolve evidence # city bases → [cite:1], [cite:10] → pplx://sessions/<id> # # Example (pseudo, replace with your real tool): # pplx-session-fetch 1eaf53d4-09e0-5823-bb96-c8662f582708 --slice <slice-id> # 5. Some evidence lives outside the sessions # meeting slots → [cite:15] → connector://google-calendar # # pplx-connector-fetch google-calendar --query "japan-sprint"

Agenci eksplorują ten kontekst poprzez samosterującą pętlę, a nie stały potok. Dlatego agent może kontynuować wyszukiwanie, dopóki nie będzie usatysfakcjonowany znalezionym kontekstem. Agent może również zdecydować, kiedy sprawdzić cytaty i dowody, aby znaleźć lub zweryfikować szczegóły. Drobną kwestię preferencji można przyjąć bezpośrednio z pojedynczej strony systemu Brain, podczas gdy decyzja o istotnych skutkach lub konflikt między źródłami może uzasadniać podążanie za cytatem i przeczytanie oryginalnego rekordu. Struktura oparta na grafie pozwala agentowi wybierać pomiędzy konkretnymi kolejnymi krokami, zamiast bezcelowo szukać powiązanych informacji.

Diagram przepływu przedstawiający agenta progresywnie eksplorującego system Brain poprzez podążanie za łączami między stronami i odwołaniami do surowych źródeł.
Agent może podążać za łączami systemu Brain do nowych stron Brain lub źródeł dowodów, dopóki nie upewni się, że ma wystarczający kontekst dla danego zadania.

Materializacja plików

Aby eksploracja przez agenta mogła działać, musi on mieć dostęp do całego drzewa memory/ za pośrednictwem systemu plików piaskownicy. Kopiowanie całego drzewa lokalnie za każdym razem, gdy uruchamiana jest piaskownica, jest kosztowne i niepotrzebne, ponieważ agent nie dotknie zdecydowanej większości tych plików. inną opcją byłoby użycie zdalnego systemu plików, dzięki czemu agenci mogliby uzyskać dostęp do dowolnego pliku bez konieczności kopiowania go lokalnie. Jednak agenci często wykonują tysiące operacji na systemie plików w ramach jednej komendy; jeśli każda z nich stanie się żądaniem sieciowym, koszt rundy komunikacyjnej zaczyna dominować w pętli eksploracji. W testach wewnętrznych proste obciążenia grep w ścieżce obsługiwanej przez zdalny FUSE były około 400 do 500 razy wolniejsze niż analogiczne operacje na plikach lokalnych.

Zamiast tego budujemy lokalny zestaw roboczy zmaterializowanych plików, podczas gdy większy korpus pozostaje za systemem wyszukiwania pamięci. Computer wstępnie ładuje początkową mapę (pobraną z ostatnich wspomnień, sesji, podsumowań i dostępnej wiedzy) do piaskownicy podczas uruchamiania. Agenci Computer mają dostęp do agenta pamięci, czyli podagenta, który może przeprowadzić wyszukiwanie semantyczne i załadować nowy zestaw plików. Gdy brakuje potrzebnego kontekstu, Computer może wywołać agenta pamięci z opisem wymaganych informacji. Agent pamięci przeszukuje pliki, zwracając natychmiastową syntezę tekstu i materializując rekordy pomocnicze jako pliki w drzewie pamięci. W ten sposób zestaw roboczy powiększa się w sposób naturalny i stopniowo w czasie, zachowując stabilne ścieżki i relacje źródłowe dla dowodów już obecnych.

Diagram przedstawiający wstępne ładowanie plików oraz pobieranie danych na żądanie przez agenta pamięci materializującego pliki w piaskownicy.
Wstępne ładowanie sesji i pobieranie semantyczne przez agenta pamięci ładują początkową mapę plików, których agent będzie potrzebował z największym prawdopodobieństwem.

Ten projekt czysto rozwiązuje problem wąskiego gardła opóźnień. Przechowywanie odpowiednich plików lokalnie zapewnia, że operacje na systemie plików wymagane do eksploracji pozostają szybkie, a wsadowe pobieranie pozwala puli zmaterializowanych plików rosnąć bez konieczności oddzielnych wywołań dla każdego pliku lub ładowania dużej liczby nieistotnych plików. Projekt oparty na zagnieżdżonych agentach daje również systemowi Computer korzyści płynące z pobierania agentowego bez konieczności bezpośredniego przeszukiwania przez głównego agenta pełnego korpusu zaplecza za każdym razem, co chroni jego własne okno kontekstu dla informacji o najwyższej wartości.

Utrzymanie systemu Brain

Użytkownicy stale uczą się z wykonywanej przez siebie pracy i prowadzonych rozmów, więc pamięć agentowa musi robić to samo. Aby system Brain pozostał użyteczny, powinien być zwięzłą reprezentacją najważniejszej wiedzy. Należy tworzyć nowe strony dla ważnych nowych encji, dodawać nowe informacje do odpowiednich stron systemu Brain, a przestarzały kontekst należy w odpowiednim czasie usuwać. Na przykład, jeśli praca użytkownika ulegnie zmianie, system Brain powinien to odzwierciedlić; powinien zawierać nową pracę użytkownika i priorytetyzować informacje powiązane z jego nowymi obowiązkami i projektami.

System Brain jest utrzymywany przez agentów w tle, których nazywamy Dream. Agenci Dream działają w trybie offline nad pamięcią opartą na plikach, syntetyzując nowe informacje w aktualizacje systemu Brain. Starannie zdefiniowaliśmy zakres i zachowanie agentów Dream, aby skutecznie wykonywać to zadanie, wraz ze specyficznymi dla Dream zabezpieczeniami zapewniającymi spójność i dokładność aktualizacji Brain.

Dream: agenci w tle do udoskonalania pamięci

Agenci Dream działają w piaskownicach mających dostęp do tego samego systemu plików i narzędzi tylko do odczytu, jakie miałaby interaktywna sesja Computer, ale ich jedynym celem jest poprawa kontekstu dla przyszłych sesji. Każde uruchomienie rozpoczyna się od systemu Brain stworzonego w wyniku wcześniejszych uruchomień, zamiast odbudowywania kontekstu użytkownika od zera. Następnie wykorzystuje ten bieżący system Brain, aby się zorientować i tworzy zaktualizowany system Brain, z którego będą korzystać przyszłe uruchomienia.

Diagram pętli: sesje interaktywne zasilają Dream, który aktualizuje Brain, co usprawnia przyszłe sesje.
Agenci Dream pracują w tle, aby aktualizować system Brain, tworząc pętlę samodoskonalenia.

Agent Dream otrzymuje środowisko i decyduje, jak je eksplorować, zamiast otrzymywać stałe dane wejściowe spłaszczone do jednego monitu. Może poruszać się po pamięci opartej na plikach, używać zatwierdzonych, tylko do odczytu narzędzi łącznika w celu zweryfikowania elementu wiedzy oraz delegować ograniczone części pracy do podagentów, w tym do agenta pamięci. Zakres i obowiązki agenta Dream są określone jako Skill.

Ogólnie rzecz biorąc, przebieg działania systemu Dream składa się z 4 faz:

  1. Orientacja: Agent wykonuje uporządkowaną procedurę orientacji. Identyfikuje autorytatywny zakres, instrukcje stałe, dziennik usunięć, dodatkowe dane wejściowe i warunki zatrzymania.
  2. Podsumowanie sesji: Dla każdej nowej sesji (lub takiej, w której pojawiły się nowe tury) od czasu ostatniej aktualizacji agent pisze (lub aktualizuje) krótkie podsumowanie sesji.
  3. Dołączanie faktów do tematów: Agent dodaje każdą obserwację, którą uzna za istotną, do odpowiedniego dla niej miejsca, którym zazwyczaj jest strona wiki. Bada i wysyła zapytania do uwierzytelnionych łączników, jeśli są dostępne.
  4. Aktualizacja wiki wiedzy: Agent aktualizuje wiki na podstawie swoich ustaleń. Może tworzyć nowe strony dla trwałych tematów, poprawiać strony, gdy bieżąca synteza uległa zmianie, lub dodawać nowe łącza bądź cytaty popierające twierdzenie faktyczne. Może również zdecydować o braku zmian, gdy obecny graf jest już poprawny.

Aby upewnić się, że wszelkie aktualizacje systemu Brain są kompletne i spójne, agenci zapisują proponowany stan w przygotowanym drzewie wyjściowym. Żadne trwałe zmiany nie są wprowadzane dopóki agent nie dokona wszystkich aktualizacji, które uzna za konieczne. Koordynacja tych decyzji w jednym procesie agentowym umożliwia aktualizację całego grafu jako całości, a nie jako powiązanych stron.

Diagram torowy przebiegu systemu Dream tworzącego proponowane aktualizacje stron systemu Brain.
Agenci Dream wykorzystują istniejący system Brain oraz nowe informacje, aby zaproponować i napisać aktualizacje.

Wszelkie zmiany muszą przejść dwa rodzaje kontroli weryfikacyjnych. Deterministyczne kontrole walidacyjne zapewniają, że strony są prawidłowo sformułowane i spełniają obiektywne kryteria, takie jak wymagane frontmatter i format cytowania. Semantyczne kontrole weryfikacyjne zapewniają, że proponowana synteza jest poparta zebranymi dowodami i pozostaje spójna z resztą grafu. Po pomyślnym zakończeniu pracy przez agenta, kontrolowany krok synchronizacji porównuje przygotowane wyjście z wcześniejszym stanem i wprowadza zmiany w repozytorium. Po zakończeniu kroku synchronizacji ostateczny zestaw edycji jest dostępny do sprawdzenia w historii wersji systemu Git.

Weryfikacja systemu Brain

Użyteczny system pamięci musi zachować istotne dowody, udostępniać je w razie potrzeby i pomagać agentowi w przekształceniu tych dowodów w poprawną odpowiedź. W związku z tym oceniamy Brain na wielu poziomach: kontrolowane ablacje offline, ciągłe odtwarzanie w parach oraz randomizowane eksperymenty produkcyjne.

Ewaluacje offline

Nasza główna ewaluacja offline wykorzystuje wewnętrzny zestaw danych zawierający 640 pytań dotyczących 44 syntetycznych osób. Osoby te odtwarzają wzorce wywodzące się z produkcji w zakresie kadencji sesji, liczby tur, miksu tematów i gęstości faktów, nie zawierając przy tym żadnego tekstu z zapytań produkcyjnych w celu ochrony prywatności użytkowników. Każde konto jest wypełniane za pośrednictwem produkcyjnego potoku pamięci, obejmującego ekstrakcję pamięci, podsumowania konwersacji oraz kompilację wiki wiedzy przez Dream. Dla każdego pytania poprawna odpowiedź jest mechanicznie powiązana z konkretnymi dowodami obecnymi w historii konta.

Na przykład dla Nadii, wspomnianej wcześniej syntetycznej osoby będącej badaczką dostępności, zestaw danych zawiera pytanie: "Z jakimi organizacjami spotykam się w Kioto i Sendai?" Odpowiedź (Sora City Lab w Kioto i Sapphir Mobility Coop w Sendai) pojawia się bezpośrednio na odpowiedniej stronie Wiki.

Porównujemy te same pytania i konta przy włączonej oraz wyłączonej skompilowanej wiki wiedzy. Inne obszary pamięci pozostają dostępne w obu warunkach. Pozwala to odizolować przyrostowy wkład systemu Brain zamiast porównywać pamięć z jej brakiem. Ogólnie rzecz biorąc, Brain zwiększył poprawność odpowiedzi z 0,600 do 0,661, co stanowi wzrost o 6,1 punktu procentowego, oraz przywołanie dowodów z 0,573 do 0,625, czyli o 5,2 punktu procentowego. Efekt ten był największy w przypadku pytań dotyczących preferencji (+10,2 pp), rozumowania temporalnego (+8,6 pp) oraz wyodrębniania szczegółów z wcześniejszej aktywności (+6,9 pp). W przypadku 84% pytań agent w sposób weryfikowalny dotknął źródła powiązanego ze złotym dowodem.

Wykres słupkowy porównujący poprawność odpowiedzi i przywoływanie dowodów z systemem Brain i bez niego w podziale na kategorie pytań.
System Brain poprawia wydajność w naszym wewnętrznym benchmarku.

Przeprowadziliśmy również dopasowane ablacje Brain na podzbiorach dwóch publicznych benchmarków. W przypadku LoCoMo usunięcie wiki zmniejszyło poprawność odpowiedzi średnio o 4,6 punktu procentowego w trzech uruchomieniach z różnymi modelami. W przypadku LongMemEval-S nie przyniosło to statystycznie istotnej zmiany. Wynik ten jest spójny z zamierzoną rolą systemu Brain. LongMemEval-S bada przede wszystkim odzyskiwanie faktów z poszczególnych sesji, gdzie leżące u podstaw transkrypcje stanowią nadmiarową ścieżkę do odpowiedzi. LoCoMo kładzie większy nacisk na dowody rozproszone w rozmowach, mówcach i datach, stwarzając większe możliwości wkładu syntezy międzysesyjnej wiki.

Ogólnie rzecz biorąc, przy włączonym systemie Brain agent produkcyjny osiągnął poprawność odpowiedzi na poziomie 0,91 w LongMemEval-S i 0,83 w LoCoMo. Ponieważ eksperymenty te wykorzystywały podzbiory benchmarkowe, nie są one ostatecznymi wynikami benchmarku. Niemniej jednak ablacje nadal stanowią silny sygnał, że wiki poprawia wydajność, zwłaszcza gdy dowody muszą być integrowane w trakcie konwersacji. Ponieważ Brain jest częścią systemu Computer, a nie zoptymalizowanym, specyficznym dla benchmarku systemem wyszukiwania, wierzymy, że konkurencyjność będzie rosnąć tylko w przypadku zadań bardziej przypominających produkcyjne przepływy pracy.

Ewaluacje online

Zestawy danych offline nie są w stanie uchwycić każdej cechy rzeczywistych historii użytkowników, dlatego codziennie przeprowadzamy również sparowaną ewaluację na świeżych kohortach pochodzących z produkcji. Na te same stałe pytania odpowiada się przy dopasowanym stanie użytkownika z włączonym i wyłączonym systemem Brain, a następnie ocenia się je pod kątem poprawności, aktualności i przywoływania.

Wstępne wyniki zgłoszone 18 czerwca wykazały, że Brain zwiększa poprawność odpowiedzi o 25% i przypominanie o 16%. Te zyski wydajnościowe nadal się utrzymują; w ciągu ostatnich 30 dni sesje z włączonym systemem Brain przewyższyły kontrolę w każdym uruchomieniu i każdym ocenianym wymiarze. W ujęciu bezwzględnym użytkownicy systemu Computer cieszyli się poprawą o 9,3 punktu w poprawności, 8,0 punktu w aktualności oraz 8,9 punktu w przypominaniu. Trajektorie z włączonym systemem Brain zużywały również o około 15% mniej tokenów, kosztowały o 10% mniej i kończyły generowanie o 10% szybciej.

Wykres wyników parowanych ewaluacji online pokazujący wzrost poprawności, aktualności i przypominania obok redukcji tokenów, kosztów i opóźnień.
System Brain zwiększa jakość odpowiedzi i obniża koszty.

Ciągłe doskonalenie

Nadal udoskonalamy system Brain, aby zapewnić użytkownikom jak najlepsze wrażenia związane z pamięcią. Jedna z ostatnich zmian umieszcza kompaktowy indeks systemu Brain bezpośrednio w początkowym kontekście agenta, zamiast wymagać od niego odkrywania go i czytania później. W randomizowanym eksperymencie to leczenie prefili zwiększyło wykorzystanie systemu Brain i zmniejszyło niezadowolenie związane z pamięcią o 6,9%.

Środowisko ewaluacji offline służy również jako część autonomicznego potoku doskonalenia. Proponowane zmiany w subagencie pamięci systemu Brain, umiejętnościach pobierania i monitach są uruchamiane za pomocą dopasowanych ablacji w naszym wewnętrznym zestawie danych i publicznych benchmarkach. Agenci Computer mogą iterować po wynikach w sposób autonomiczny, zachowując zmiany, delty i koszty każdej iteracji jako trwały zapis i pozostawiając tylko te zmiany, które przesuwają liczby. Rezultatem jest system, w którym ewaluatory systemu Brain są również jego optymalizatorami, napędzającymi przyszłe ulepszenia.

Wniosek

Uczenie ciągłe jest jednym z najważniejszych wyzwań w budowaniu systemów agentowych działających przez tygodnie i miesiące. Wierzymy, że architektury pamięci najlepiej ujawniać jako środowiska, które agenci mogą bezpośrednio eksplorować za pomocą swoich zwykłych zestawów narzędzi. Udostępnienie pamięci jako systemu plików z umieszczonym na górze systemem Brain jako ustrukturyzowanym wiki wiedzy sprawia, że kontekst jest wydajnie nawigowany za pomocą prostych i znajomych narzędzi.

System Brain został zaprojektowany z myślą o samodoskonaleniu, dzięki czemu system pamięci może stale się rozwijać wraz ze wzrostem wykorzystania. Agenci w tle systemu Dream destylują świeże informacje do aktualizacji Brain, zapewniając, że agenci pierwszoplanowi zawsze rozpoczynają nową sesję ze zorganizowanym widokiem najnowszego kontekstu. Środowisko testowe służy również jako poligon doświadczalny dla pętli autowyszukiwania w architekturze pamięci rdzeniowej i interfejsach przeznaczonych dla agentów.

System Brain już teraz przyczynił się do uzyskania dokładniejszych i wydajniejszych sesji agentów przy jednoczesnym ograniczeniu zużycia tokenów. Staranne współprojektowanie systemu Brain ze stosem produkcyjnym systemu Computer gwarantuje, że te zyski przekładają się bezpośrednio na realne korzyści dla użytkowników.

Nadal rozbudowujemy kolejne możliwości mające na celu poprawę jakości pamięci systemu Computer. W międzyczasie dla użytkowników z włączonym systemem Brain pamięć będzie się poprawiać z każdą sesją.