Brain: Білім викасы ретіндегі агенттік жад

Желіден тыс (offline) компиляцияланатын және сұраныс бойынша шолынатын құрылымды, бақыланатын, өздігінен жетілетін Markdown файлдық жүйесі.

АвторларPerplexity Engineering

Computer пайдаланушылары бірнеше айға және жүздеген сеанстарға созылатын жұмыстарды атқарады. Оныншы сеансқа қарай жүйе біріншісіне қарағанда әлдеқайда өнімді болуы тиіс. Ол пайдаланушы, оның қалаулары және бұрын жасалған жұмыс туралы контекстті жинақтауы керек.

Мысалы, пайдаланушы бұрын түсіндірген жұмыс процесінің диаграммасын салу сұралған кезде, Computer мәліметтерді еске түсіріп, оларды пайдаланушы қалаған стильде фигура жасау және шығару үшін пайдалануы керек. Пайдаланушы жұмыс процесінің мәліметтерін қайта түсіндірудің немесе PNG артефактілеріне қарағанда PDF артықшылығын қайталаудың қажеті жоқ; жүйе бұл контекстті өткен сеанстардан дәл қалпына келтіріп, оны автоматты түрде қолдана алуы тиіс.

Жад – бұл агенттерді үздіксіз жетілдірудің негізі. Тиімді жад жүйесі құрылымдалған, бақыланатын және бейімделгіш болуы тиіс, бұл агенттерге әрбір тапсырма үшін дұрыс ені мен тереңдігінде іздеуге мүмкіндік береді, сонымен бірге барлық шешімдерді ең өзекті ақпаратқа негіздейді.

Кіріспе

Агенттерді тиісті контекстпен қамтамасыз ету – көп қырлы мәселе. Біріншіден, агенттер не бар екенін және оған қалай қол жеткізу керектігін білуі керек. Екіншіден, олар пайдалы ақпаратты тапқан кезде, оның толық, дәл әрі өзекті екеніне көз жеткізуі қажет. Егер агент қатысты ақпаратты таба алмаса, оның сенімді дереккөзден келгенін тексере алмаса және оны анағұрлым жаңа бақылау арқылы жаңарту қажет еместігіне көз жеткізе алмаса, бөлінген фактінің мәні шектеулі болады.

Статикалық жад файлдарын модель контекстіне тікелей толтыру агенттердің қолжетімділігін барынша арттырады, бірақ классикалық дәлдік-еске түсіру компромисс ұсынады. Тым көп ақпарат агенттің контекст терезесін маңыздылығы азайып бара жатқан элементтермен қанықтырады, ал тым азы тиісті контекстің болмауына байланысты жауап сапасын төмендетеді. Керісіншен, сыртқы дерекқорларға сұраныс бойынша қол жеткізу икемдірек, бірақ шолу жүгін агенттің өзіне жүктейді. Векторлық дерекқорлар жиі ажыратылған фрагменттерді сақтайды, ал граф дерекқоры агенттерден тиімді сұрау жасауды білуді талап етеді.

Жақында біз Brain жүйесін таныстырдық, бұл – екі дүниенің де ең жақсысын ұсынатын Computer жад жүйесінің негізгі компоненті. Brain – бұл статикалық жад файлдары мен дәлелдердің үстінде орналасқан құрылымдалған білім викасы. Дәйәкөздер (citations) мәлімдемелерді олардың дереккөздерімен байланыстырады, ал ақпараттың қатысты бөліктері көлденеңінен қосылады. Ұйымдастырылған вика қажет болған кезде контекстті шолуға ыңғайлы етеді, ал егжей-тегжейлі артефактілер оның астындағы қабатта сақталады.

Граф ретінде көрсетілген Brain білім викасы, мұндағы түйіндер – нысандар, ал қабырғалар қатысты тақырыптарды байланыстырады.
Жасанды тұлғаға негізделген Brain мысалы.

Brain үш негізгі компоненті бар жан-жақты жад жүйесіне қосылады: тұрақты жад сақтайманы, сұрақтарға жауап беру үшін жадты пайдаланатын алдыңғы қатардағы агенттер және жадты жаңартатын және жақсартатын фондық агенттер. Келесі суретте Brain жалпы жүйелік архитектурасында орналасқан осы компоненттер көрсетілген.

Тұрақты жад сақтайманын, жадты оқитын алдыңғы қатардағы агенттерді және жадты жаңартатын фондық агенттерді көрсететін архитектура диаграммасы.
Жад жүйесі ортақ тұрақты жадтан, жадты пайдаланатын алдыңғы қатардағы агенттерден және жадты жаңартатын фондық агенттерден тұрады.

Бұл мақалада біз әрбір қабатты егжей-тегжейлі сипаттай отырып, Brain жадты қалай ұйымдастыратынын, агенттер оны қалай пайдаланатынын және фондық процестер оны қалай жаңартып отыратынын түсіндіреміз. Сондай-ақ біз Brain дизайнын растайтын ішкі бағалау нәтижелерін ұсынамыз, бұл оның төменгі шығындармен агент өнімділігін жақсартатынын көрсетеді.

Жадты ұйымдастыру және сақтау

Жад әрбір контекст бөлігін промптке мәжбүрлеп кіргізбей, пайдаланушының толық тарихына дейін масштабталатын көріністі қажет етеді. Computer жад жүйесі тұрақты контекстті файлдық жүйе ретінде көрсетеді. Brain шикі дереккөздердегі білімді синтездеп, қатысты тақырыптарды және шағымдарды оларды қолдайтын сеанстар мен файлдармен байланыстырады. Төменде егжей-тегжейлі сипатталған бұл құрылым бізге жадты агенттер үшін аса қолайлы түрде ұйымдастыруға мүмкіндік береді.

Файлдық жүйеге негізделген жад

Computer сеанстары файлдық жүйесі, қабығы (shell) және енгізу/шығару утилиталары бар сандық қорапта (sandbox) жұмыс істейді. Brain әзірлеу барысында біз модель мен агент жады арасындағы интерфейске мүмкіндігінше аз жаңа механизмдер қосуды жөн көрдік. Сондықтан біз Brain жүйесін файлдық жүйеге негізделген контекст қабатының үстіне тұрғыздық. Жад сандық қораптағы memory/ каталогында файлдар түрінде материализацияланады, ал агент басқа барлық нәрселерге қолданатын сол құралдарды жад файлдарына да қолданады.

Жад ағашының түбірінде абстракцияның әртүрлі деңгейлерінде контекстті сақтайтын үш жоғары деңгейлі каталог орналасқан. knowledge/ – бұл Brain өзі, яғни нысандарды, тұжырымдамаларды, белсенді жобаларды және өткен оқуларды байланыстыратын синтезделген білім викасы; notes/ – тақырыптық қалталар ретінде ұйымдастырылған жинақталған үзінділерді қамтиды; ал sessions/ – шикі тарих ретінде индекстерді, қорытындыларды және толық транскрипттерді сақтайды. Төмендегі суретте орналасудың ықшамдалған көрінісі көрсетілген.

knowledge/, notes/ және sessions/ ішкі қалталары бар memory/ каталогын көрсететін каталог ағашы.
Жад файлдық жүйесінің орналасу мысалы.

Беттер әдейі қайталанатын болып жасалған. Қарапайым, бір қадамдық сұрақтар үшін кілт сөз үшін /notes ішінен үзінділерді іздеу жеткілікті, ал /knowledge қабаты апталар немесе айлар бойы Computer сеанстарының дәлелдерін біріктіруді талап ететін сұрақтар үшін ең пайдалы болып табылады.

Brain: Білім викасы

Brain жүйесі өзара байланысқан Markdown файлдары жүйесі ретінде LLM викасы түrінде пішімделген. Жеңіл құрылымдалған Markdown бұл түрі қолжетімді жазбалардың не екенін, олардың қалай байланысатынын және оларды қайдан табуға болатынын агенттер оңай түсінуі үшін бұрынғы контексттің толық шолуын қамтамасыз етеді. Әрбір бет – бір тақырыптың қолдау көрсетілетін көрінісі; ол сілтемелер арқылы одан әрі зерттеуді жеңілдете отырып, жеке оқылғанда да пайдалы болып қалуы тиіс.

Сілтемелердің екі түрі болады. [[wikilinks]] – бұл контекст қабырғалары. Олар беттерді көлденеңінен байланыстырады; жоба өз иесіне, клиентіне немесе ол тәуелді тұжырымдамаларға сілтеме жасай алады. Оларға өту «маған тағы не білу керек?» деген сұраққа жауап береді. [cite:N] сілтемелері – бұл дәлел қабырғалары. Олар шағымдарды оларды қолдайтын шикі сеанстармен немесе коннектор дереккөздерімен төмен қарай байланыстырады. Оларға өту «мұның шын екенін қалай білемін?» деген сұраққа жауап береді.

Төмендегі суреттер жасанды тұлға, яғни қолжетімділік зерттеушісі Надия үшін Brain бөлігі қалай көрінетінін көрсетеді. Оның Brain жүйесіне үлгі жоба туралы бет, Жапониядағы әмбебап дизайн спринті кіреді, бұл сеанстар мен коннекторлардың білімін синтездейді. Граф көрінісі беттегі контекст пен дәлел қабырғаларының қатысты нысандар мен дереккөздерді қалай байланыстыратынын көрсетеді.

Викисілтемелер мен дәйәкөз қабырғаларын жол ішінде көрсететін Markdown ретінде көрсетілген Brain вика бетінің мысалы.
Brain – Markdown файлдарының жүйесі.
Өзара байланысқан нысандар мен дереккөздер графигі ретінде визуализацияланған мысал Brain вика бетінен алынған ішкі граф.
Енгізілген контекст пен дәлел қабырғалары оңай шолу үшін граф құрылымын құрайды.

Нұсқалар тарихын сақтау және оның үнемі дамып отыратын сипатын қолдау үшін Brain жүйесі Git-пен біріктірілген. Беттерді уақыт өте келе өңдеуге болады, ал өзгерістер журналдары маңызды жаңартуларды тіркеп, агенттерге өткен нұсқалар мен айырмашылықтарды (diffs) оңай тексеруге мүмкіндік береді. Бұл сондай-ақ бірнеше агент бір уақытта Brain жүйесін пайдаланып, жаңарта алатындықтан өте маңызды болып табылатын агенттік үйлестіруді қолдайды.

Brain пайдалану

Пайдаланушының сұрауына жауап берген кезде агенттер дұрыс контекстті қажетті егжей-тегжейлі деңгейде таба алуы керек. Brain құрылымы агенттерге жадты зерттеуді жеңілдетеді. Агенттер қатысты ақпаратты табу үшін контекст сілтемелерін орындау, мәлімдемелерді тексеру үшін дәлел сілтемелерін орындау немесе қосымша контекстті алу және синтездеу үшін қосалқы агентті шақыру сияқты әрекеттердің арасынан таңдай алады. Біз агенттердің қатысты ақпаратқа қол жеткізуін барынша жеңілдетуге бағытталған бірнеше жолмен агенттік зерттеу процесін басқарамыз.

Зерттеу стратегиясы

Біз бастапқы пайдаланушы хабарламасына Brain ықшам индексін қосамыз, осылайша агент бұрыннан бар нәрселер туралы жұмыс білімімен бастайды. Содан кейін агент таныс операцияларды пайдаланып Brain жүйесімен әрекеттеседі: индекспен сілтеме жасалған арнайы элементтерді оқу, беттер бойынша іздеу үшін grep пайдалану, сілтемелерді орындау және дәйәкөздерді тексеру, Git редакцияларын салыстыру және сеанстарға немесе шикі траекторияларға түсу. Төмендегі код блогы жасанды тұлғаға арналған үлгі командаларды көрсетеді.

bash
# 1. Orient: the index is a map of everything known cat memory/knowledge/index.md # 2. Target: find pages that touch the question grep -Ril "kyoto\|sendai" memory/knowledge/ # 3. Read the page; follow context edges as needed cat memory/knowledge/projects/japan-universal-design-sprint.md cat memory/knowledge/entities/sora-city-laboratory.md # via [[wikilink]] cat memory/knowledge/entities/sapphir-mobility-coop.md # via [[wikilink]] # 4. Only if the claim must be verified: resolve evidence # city bases → [cite:1], [cite:10] → pplx://sessions/<id> # # Example (pseudo, replace with your real tool): # pplx-session-fetch 1eaf53d4-09e0-5823-bb96-c8662f582708 --slice <slice-id> # 5. Some evidence lives outside the sessions # meeting slots → [cite:15] → connector://google-calendar # # pplx-connector-fetch google-calendar --query "japan-sprint"

Агенттер бұл контекстті бекітілген құбыр арқылы емес, өзін-өзі басқаратын цикл арқылы зерттейді. Сондықтан агент тапқан контекстке көңілі толғанша іздеуді жалғастыра алады. Агент сондай-ақ мәліметтерді табу немесе тексеру үшін дәйәкөздер мен дәлелдерді қашан тексеру керектігін өзі таңдай алады. Артықшылық туралы кішігірім мәселе бір Brain бетінен тікелей қабылдануы мүмкін, ал маңызды шешім немесе дереккөздер арасындағы қайшылық дәйәкөзді орындауды және түпнұсқа жазбаны оқуды ақтауы мүмкін. Графқа негізделген құрылым агентке қатысты ақпаратты мақсатсыз іздеудің орнына нақты келесі қадамдардың арасынан таңдауға мүмкіндік береді.

Беттер мен бастапқы дереккөздердің сілтемелерін қадағалау арқылы Brain жүйесін біртіндеп зерттейтін агенттің ағын диаграммасы.
Агент тапсырма үшін жеткілікті контекст бар екеніне көз жеткізгенше, Brain сілтемелері арқылы жаңа Brain беттеріне немесе дәлелдер көздеріне өте алады.

Файлды материализациялау

Агенттік зерттеу жұмысының нәтижелі болуы үшін агент сандық қорап файлдық жүйесі арқылы толық memory/ ағашына қол жеткізуі керек. Сандық қорап іске қосылған сайын бүкіл ағашты жергілікті түрде көшіру қымбат әрі қажетсіз, өйткені агент бұл файлдардың басым бөлігіне тиіспейді. Тағы бір нұсқа – қашықтағы файлдық жүйені пайдалану, сонда агенттер файлдарды жергілікті түрде көшірмей-ақ кез келген файлға қол жеткізе алады. Дегенмен, агенттер жиі бір команданың өзінде мыңдаған файлдық жүйе операцияларын орындайды; егер олардың әрқайсысы желілік сұранысқа айналса, сұрау-жауап қайтару құны зерттеу циклінде басым бола бастайды. Ішкі тестілеу кезінде қашықтағы FUSE негізіндегі жол арқылы қарапайым grep жұмыс жүктемелері жергілікті файлдар арқылы орындалатын балама операцияларға қарағанда шамамен 400-500 есе баяу болды.

Оның орнына, үлкен корпус жадты іздеу жүйесінің артында қалғанымен, біз материализацияланған файлдардың жергілікті жұмыс жиынтығын құрамыз. Computer іске қосылған кезде сандық қорапқа бастапқы картаны (соңғы жадтардан, сеанстардан, қорытындылардан және қолжетімді білімнен алынған) алдын ала жүктейді. Computer агенттері семантикалық іздеуді орындай алатын және файлдардың жаңа жиынтығын жүктей алатын қосалқы агент – Memory Agent агенте қол жеткізе алады. Қажетті контекст болмаған кезде, Computer қажетті ақпараттың сипаттамасымен Memory Agent шақыра алады. Memory Agent файлдар бойынша іздеп, дереу мәтіндік синтезді қайтарады және қолдау көрсететін жазбаларды жад ағашының астындағы файлдар ретінде материализациялайды. Осылайша, жұмыс жиынтығы уақыт өте келе табиғи және біртіндеп кеңейіп, бұрыннан бар дәлелдер үшін тұрақты жолдар мен дереккөз қатынастарын сақтайды.

Файлдарды сандық қорапқа материализациялайтын бастапқы файлды алдын ала жүктеу және сұраныс бойынша Memory Agent іздеуін көрсететін диаграмма.
Сеансты алдын ала жүктеу және Memory Agent арқылы семантикалық іздеу агентке көбірек қажет болуы мүмкін файлдардың бастапқы картасын жүктейді.

Бұл дизайн кідіріс (latency) мәселесін таза түрде шешеді. Тиісті файлдарды жергілікті түрде сақтау зерттеу үшін қажетті файлдық жүйе операцияларының жылдам болуын қамтамасыз етеді, ал топтамалық шығарып алу әрбір файл үшін бөлек қоңырауларды немесе көптеген маңызды емес файлдарды жүктеуді талап етпей-ақ материализацияланған файлдар жиынтығының өсуіне мүмкіндік береді. Қосалқы агент дизайны сондай-ақ негізгі агентке әр жолы толық серверлік корпусты тікелей іздеуді талап етпестен агенттік іздеудің артықшылықтарын береді, бұл оның ең жоғары мәнді ақпарат үшін өзінің контекст терезесін сақтайды.

Brain жүйесін қолдау

Пайдаланушылар өздері атқаратын жұмыстарынан және жүргізетін әңгімелерінен үнемі үйреніп отырады, сондықтан агенттік жад та дәл солай істеуі керек. Brain пайдалы болып қалуы үшін ол ең маңызды білімнің қысқаша көрінісі болуы тиіс. Маңызды жаңа нысандар үшін жаңа беттер жасалуы керек, тиісті Brain беттеріне жаңа ақпарат қосылуы керек, ал ескірген контекст маусымдық түрде жойылуы тиіс. Мысалы, егер пайдаланушының жұмысы өзгерсе, Brain бұл өзгерісті көрсетуі керек; онда пайдаланушының жаңа жұмысы болуы керек және олардың жаңа міндеттері мен жобаларына қатысты ақпаратқа басымдық берілуі қажет.

Brain жүйесін біз Dream деп атайтын фондық агенттер қолдап отырады. Dream агенттері файлға негізделген жад бойынша желіден тыс жұмыс істеп, жаңа ақпаратты Brain жаңартуларына біріктіреді. Brain жаңартуларының жүйелі әрі дәл болуын қамтамасыз етуге арналған Dream-ге тән сақтық шараларымен қатар, біз осы тапсырманы тиімді орындау үшін Dream агенттерінің ауқымы мен мінез-құлқын мұқият анықтадық.

Dream: Жадты жақсартуға арналған фондық агенттер

Dream агенттері интерактивті Computer сеансы болатын сондай файлдық жүйеге және тек оқуға арналған құралдарға қолжетімділігі бар сандық қораптарда жұмыс істейді, бірақ олардың жалғыз мақсаты – болашақ сеанстар үшін контекстті жақсарту. Әрбір іске қосу пайдаланушының контекстін нөлден қайта құрудың орнынан бұрынғы іске қосулар арқылы шығарылған Brain жүйесінен басталады. Содан кейін ол өзін бағдарлау үшін сол ағымдағы Brain жүйесін пайдаланады және болашақ іске қосулар үшін жаңартылған Brain шығарады.

Цикл диаграммасы: интерактивті сеанстар Brain жүйесін жаңартатын Dream жүйесін азықтандырады, бұл өз кезегінде болашақ сеанстарды жақсартады.
Dream агенттері Brain жаңарту үшін фондық режимде жұмыс істеп, өздігінен жетілдіру циклін құрайды.

Dream агенті ортаны қабылдап алады және бір промптке жинақталған тіркелген кірісті алудың орнына оны қалай зерттеу керектігін өзі шешеді. Ол файлға негізделген жадты шола алады, білім бөлігін тексеру үшін мақұлданған тек оқуға арналған коннектор құралдарын пайдалана алады және жұмыстың шектеулі бөліктерін қосалқы агенттерге, соның ішінде Жад агентіне (Memory Agent) тапсыра алады. Dream агентінің ауқымы мен міндеттері Skill ретінде көрсетілген.

Жалпы алғанда, Dream жұмысы 4 кезеңнен тұрады:

  1. Бағдарлау: Агент реттелген бағдарлау процедурасын аяқтайды. Ол авторлық ауқымды, тұрақты нұсқауларды, жою журналын, қосымша кірістерді және тоқтату шарттарын анықтайды.
  2. Сеанстарды қорытындылау: Соңғы жаңартудан бері жаңа болған (немесе жаңа айналымдары болған) әрбір сеанс үшін агент сеанстың қысқаша қорытындысын жазады (немесе жаңартады).
  3. Фактілерді субъектілерге қосыңыз: Агент өзі маңызды деп санаған әрбір бақылауды өз орнына, әдетте вика бетіне қосады. Ол қолжетімді болған кезде аутентификацияланған коннекторларды тексереді және сұрайды.
  4. Білім викасын жаңарту: Агент табылған нәтижелер негізінде виканы жаңартады. Ол ұзақ мерзімді тақырыптар үшін жаңа беттерді жасай алады, ағымдағы синтез өзгерген кезде беттерді қайта қарай алады немесе нақты шағымды қолдайтын жаңа сілтемелер мен дәйәкөздерді қоса алады. Сондай-ақ ол ағымдағы граф қазірдің өзінде дұрыс болған кезде ешқандай өзгеріс жасамауды таңдай алады.

Brain жүйесіне енгізілген кез келген өзгерістердің толық әрі жүйелі болуын қамтамасыз ету үшін агенттер ұсынылған күйді дайын шығыс ағашына жазады. Агент өзі қажет деп санаған барлық жаңартуларды жасамайынша ешқандай тұрақты өзгерістер жасалмайды. Бұл шешімдерді бір агенттік процесс аերгінде үйлестіру графты байланысты емес беттер ретінде емес, тұтас күйінде жаңартуға мүмкіндік береді.

Brain беттеріне ұсынылатын жаңартуларды шығаратын Dream жұмысының жүзу жолағының (swimlane) диаграммасы.
Dream агенттері жаңартуларды ұсыну және жазу үшін бар Brain пен жаңа ақпаратты пайдаланады.

Кез келген өзгерістер тексерудің екі түрінен өтуі тиіс. Детерминистік вализациялық тексерулер беттердің дұрыс пішімделгенін және талап етілетін алдыңғы бөлік (frontmatter) пен дәйәкөз пішімі сияқты объективті критерийлерге сай келетінін қамтамасыз етеді. Семантикалық растау тексерулері ұсынылған синтездің жиналған дәлелдермен қолдау табатынын және графтың қалған бөлігімен үйлесімді болатынын қамтамасыз етеді. Агент жұмысын сәтті аяқтағаннан кейін, бақыланатын синхрондау қабаты дайын шығысты бұрынғы күймен салыстырып, өзгерістерді репозиторийге қолданады. Синхрондау қабаты аяқталған кезде, өңдеулердің соңғы жиынтығын Git нұсқалар тарихы арқылы тексеруге болады.

Brain тексеру

Пайдалы жад жүйесі тиісті дәлелдерді сақтап қалуы, қажет болған жағдайда оларды көрсетуі және агентке бұл дәлелдерді дұрыс жауапқа айналдыруға көмектесуі керек. Сондықтан біз Brain жүйесін бірнеше деңгейде бағалаймыз: бақыланатын желіден тыс абляциялар, үздіксіз жұптық қайталау және кездейсоқ өндірістік эксперименттер.

Желіден тыс бағалаулар

Біздің негізгі желіден тыс бағалауымыз 44 жасанды тұлға бойынша 640 сұрақтан тұратын ішкі деректер жиынтығын пайдаланады. Бұл жасанды тұлғалар пайдаланушының құпиялылығын сақтау үшін ешқандай өндірістік сұрау мәтінін қамтымай, сеанс ырғағындағы, айналым санындағы, тақырыптар жиынтығындағы және факт тығыздығындағы өндірістен алынған үлгілерді қайталайды. Әрбір тіркелгі өндірістік жад құбыры (pipeline), соның ішінде жадты шығарып алу, әңгімелесу қорытындылары және Dream жүйесінің білім викасын компиляциялау арқылы толтырылады. Әрбір сұрақ үшін дұрыс жауап тіркелгі тарихында бар нақты дәлелдермен механикалық түрде байланыстырылған.

Мысалы, бұрын енгізілген Надия есімді қолжетімділік зерттеушісі жасанды тұлғасы үшін деректер жиынтығына "Мен Киото мен Сендайда қай ұйымдармен кездесемін?" деген сұрақ кіреді. Жауап (Киотодағы Sora City Lab және Сендайдағы Sapphir Mobility Coop) тиісті Вики бетінде тікелей пайда болады.

Біз компиляцияланған білім викасы қосылған және өшірілген жағдайдағы сұрақтар мен тіркелгілерді салыстырамыз. Басқа жад беттері екі жағдайда да қолжетімді болып қалады. Бұл жадтың болмауымен салыстыру емес, Brain жүйесінің қосымша үлесін бөліп көрсетуге мүмкіндік береді. Жалпы алғанда, Brain жауаптардың дұрыстығын 0,600-ден 0,661-ге дейін (6,1 пайыздық тармаққа), ал дәлелдерді еске түсіруді 0,573-тен 0,625-ке дейін (5,2 пайыздық тармаққа) арттырды. Бұл әсер ең көп артықшылықтар туралы сұрақтарда (+10.2 п.т.), уақыттық пайымдауда (+8.6 п.т.) және алдыңғы әрекеттерден мәліметтерді шығарып алуда (+6.9 п.т.) байқалды. Сұрақтардың 84%-ында агент расталған дәлелдермен байланыстырылған дереккөзге сенімді түрде қол тигізген.

Сұрақ санаты бойынша Brain бар және онсыз жауаптың дұрыстығы мен дәлелдерді еске түсіруді салыстыратын бағаналы диаграмма.
Brain біздің ішкі эталонымыздағы өнімділікті жақсартады.

Сондай-ақ біз екі жалпыға қолжетімді эталонның (benchmark) ішкі жиынтықтарында сәйкестендірілген Brain абляцияларын орындадық. LoCoMo жүйесінде виканы алып тастау әртүрлі модельдері бар үш іске қосу бойынша орта есеппен жауаптың дұрыстығын 4,6 пайыздық тармаққа төмендетті. LongMemEval-S жүйесінде ол ешқандай статистикалық маңызды өзгеріс тудырмады. Бұл нәтиже Brain мақсатты рөліне сәйкес келеді. LongMemEval-S негізінен жеке сеанстардан фактілерді қалпына келтіруді тексереді, мұнда негізгі транскрипттер жауапқа қайталанатын жолды қамтамасыз етеді. LoCoMo әңгімелерде, спикерлерде және күндерде шашыраңқы дәлелдерге көбірек көңіл бөліп, виканың сеансаралық синтезінің үлес қосуына көбірек мүмкіндік жасайды.

Жалпы алғанда, Brain қосылған кезде өндірістік агент LongMemEval-S жүйесінде 0,91 және LoCoMo жүйесінде 0,83 жауап дұрыстығына қол жеткізді. Бұл эксперименттер эталондық ішкі жиынтықтарды пайдаланғандықтан, олар түпкілікті эталондық нәтижелер болып табылмайды. Дегенмен, абляциялар виканың өнімділікті жақсартатыны туралы, әсіресе дәлелдер әңгімелер бойынша біріктірілуі қажет болған кезде күшті сигнал береді. Brain оңтайландырылған, эталонға тән іздеу жүйесі емес, Computer бөлігі болғандықтан, өндірістік жұмыс процестеріне көбірек ұқсайтын тапсырмалармен бәсекеге қабілеттілік тек арта түседі деп есептейміз.

Желідегі бағалаулар

Желіден тыс деректер жиынтығы нақты пайдаланушы тарихтарының әрбір мүмкіндігін түсіре алмайды, сондықтан біз сондай-ақ жаңа өндірістен алынған когорталар бойынша күн сайын жұптық бағалауды жүргіземіз. Сол бекітілген сұрақтарға Brain қосылған және өшірілген сәйкестендірілген пайдаланушы күйіне қарсы жауап беріледі, содан кейін дұрыстығы, өзектілігі және еске түсіруі үшін бағаланады.

Маусымның 18-інде хабарланған алдын ала нәтижелер Brain жауаптың дұрыстығын 25%-ға, ал еске түсіруді 16%-ға арттыратынын көрсетті. Бұл өнімділік көрсеткіштері тұрақты түрде сақталуда; соңғы 30 күн ішінде Brain қосылған сеанстар әрбір жұмыс кезінде және бағаланған коәфициенттер бойынша бақылау көрсеткіштерінен асып түсті. Абсолютті мәнде Computer пайдаланушылары дұрыстықта 9,3 тармаққа, өзектілікте 8,0 тармаққа және еске түсіруде 8,9 тармаққа жақсартуларға қол жеткізді. Сондай-ақ Brain қосылған траекториялар шамамен 15%-ға аз токендерді пайдаланды, құны 10%-ға арзан болды және генерацияны 10%-ға жылдам аяқтады.

Токен, құн және кідіріс қысқаруларымен қатар дұрыстық, өзектілік және еске түсіру көрсеткіштерінің жақсарғанын көрсететін желідегі жұптық бағалау нәтижелерінің диаграммасы.
Brain жауап сапасын арттырып, құнын төмендетеді.

Үздіксіз жетілдіру

Пайдаланушыларға ең жақсы жад тәжірибесін жеткізу үшін біз Brain жүйесін жетілдіруді жалғастырудамыз. Соңғы өзгерістердің бірі агенттің оны кейінірек табуын және оқуын талап етудің орнына Brain ықшам индексін тікелей агенттің бастапқы контекстіне орналастырады. Кездейсоқ экспериментте бұл алдын ала толтыру өңдеуі Brain пайдаланылуын арттырып, жадқа қатысты наразылықты 6,9%-ға төмендетті.

Желіден тыс бағалау құралы сонымен қатар автономиялық жақсарту құбырының бөлігі ретінде қызмет етеді. Brain жадының қосалқы агентіне, іздеу дағдыларына және промпттерге ұсынылатын өзгерістер біздің ішкі деректер жиынтығымыз бен жалпыға қолжетімді эталондардағы сәйкестендірілген абляциялар арқылы өтеді. Computer агенттері әрбір итерацияның өзгерісін, айырмашылықтарын және құнын ұзақ мерзімді жазба ретінде сақтай отырып және тек көрсеткіштерді жақсартатын өзгерістерді ғана қалдыра отырып, нәтижелерді дербес қайталай алады. Нәтижесінде Brain бағалаушылары сонымен бірге оның оңтайландырушылары болып табылатын, болашақ жақсартуларды басқаратын жүйе пайда болады.

Қорытынды

Үздіксіз оқу – бұл апталар мен айлар бойы жұмыс істейтін агент жүйелерін құрудың маңызды міндеттерінің бірі. Біз жад архитектурасы агенттер өздерінің әдеттегі құралдар жиынтығын пайдалана отырып тікелей зерттей алатын орталар ретінде көрсетілгені дұрыс деп есептейміз. Жадты үстінде құрылымдалған білім викасы ретінде Brain бар файлдық жүйе ретінде көрсету қарапайым және таныс құралдар арқылы контекстті тиімді шолуға мүмкіндік береді.

Brain өздігінен жетілдіруге арналған, бұл пайдалану көлемі артқан сайын жад жүйесінің жақсара түсуіне мүмкіндік береді. Dream фондық агенттері жаңа ақпаратты Brain жаңартуларына біріктіріп, алдыңғы қатардағы агенттердің әрқашан ең соңғы контекстің ұйымдасқан көрінісімен жаңа сеансты бастауын қамтамасыз етеді. Бағалау құралы негізгі жад архитектурасы мен агенттерге арналған интерфейстердегі автозерделеу циклдері үшін сынақ алаңы ретінде де қызмет етеді.

Brain жүйесі жұмсалған токендерді азайта отырып, агент сеанстарының дәлірек әрі өнімді болуын қамтамасыз етті. Brain жүйесін Computer өндірістік стекімен мұқият бірге жобалауымыз бұл жетістіктердің пайдаланушылар үшін нақты артықшылықтарға тікелей айналуын қамтамасыз етеді.

Біз Computer жадының сапасын жақсарту үшін көбірек мүмкіндіктер жасауды жалғастырудамыз. Сонымен қатар, Brain қосылған пайдаланушылар үшін жад әр сеанс сайын жақсара түседі.