Vietinis agentas privačiam ir ekonomiškam žinių darbui

Perplexity Portable Computer yra pirmiausia lokaliai veikiantis agentas.

Pagal numatytuosius nustatymus visas stekas veikia lokaliai. Modelis, valdiklis (harness), pokalbis ir trajektorija – viskas gyvena vartotojo kompiuteryje. Darbas, kuriam reikalingas išorinis pasaulis, pavyzdžiui, paieška internete, jungtys arba eskalavimas į galingesnį patarėjo modelį debesyje, paleidžiamas tik prireikus ir visada kontroliuojamas vartotojo. Todėl neskelbtini duomenys niekada nepalieka įrenginio be leidimo, o vietiniai modeliai neturi jokių išvadų (inference) mokesčių: sistema yra privati ir ekonomiška jau dėl savo sandaros.

Veiksmingam vietiniam agentui reikia, kad modelis ir valdiklis būtų kuriami kartu. Bendros paskirties valdikliai daro prielaidą, kad naudojamas pažangiausias modelis, galintis apdoroti ilgus kontekstus, valdyti plačią įrankių sritį ir planuoti ilgam laikotarpiui. Esant tokiems reikalavimams, vietiniai modeliai yra mažiau patikimi. Vietoj to, kad prašytume mažo modelio valdyti valdiklį, sukurtą dideliam modeliui, mes pritaikėme juos vieną prie kito: valdiklis pritaikytas prie modelio galimybių profilio, o modelis papildomai apmokytas veiksmingai naudoti tą valdiklį.

Įvadas

Pastaraisiais mėnesiais agentų galimybės sparčiai pažengė į priekį atliekant įvairias žinių darbinio pobūdžio užduotis. Nors ši pažanga duoda didelę naudą našumui ir efektyvumui, ji taip pat kelia du iššūkius.

Žetonų suvartojimas sparčiai didėja, o kartu su juo – ir bendros išlaidos. Kai prieiga prie intelekto suteikiama per nuotoliniuose klasteriuose veikiančių uždaro kodo modelių API, su kiekviena užklausa privati informacija ir intelektinė nuosavybė palieka vartotojo įrenginį. Agentams plečiantis atskirose darbo eigose ir visose organizacijose, žetonų sąnaudas ir duomenų judėjimą tampa vis sunkiau suvaldyti.

Tuo tarpu atvirojo kodo modeliai tobulėjo dar sparčiau. Pažanga labiausiai pastebima labai mažuose ir efektyviuose modeliuose, tokiuose kaip NVIDIA Nemotron 3.5 Lightning (30 mlrd. bendrų parametrų), Qwen 3.6 (35 mlrd.) ir Qwen 3.8 (27 mlrd.). Šie maži modeliai viršija savo svorio kategoriją ir dabar geba atlikti sudėtingas agentų darbo eigas. Lygiagrečiai tobulėja vietinės išvadų (inference) aparatūros įranga: tokios sistemos kaip NVIDIA DGX Spark dabar gali paleisti šiuos modelius lokaliai. Kartu šios tendencijos užtikrina, kad visiškas veikimas įrenginyje tampa praktiškas, o vartotojai gali pasirinkti išorines galimybes, kai jų reikia, pavyzdžiui, paiešką internete, jungtis arba debesies modelio eskalavimą.

Šis pirmiausia lokalus požiūris leidžia sutaupyti daug lėšų, nes vietinės išvados leidžia išvengti API mokesčių už kiekvieną žetoną. Jis taip pat natūraliai išsprendžia privatumo ir intelektinės nuosavybės problemas: privačių žetonų niekada nereikia perduoti į nutolusius klasterius ir jie saugiai lieka vietinio įrenginio ribose.

Birželio mėnesį pristatėme pirmąjį hibridinį lokalaus ir serverio išvadų orkestratorių, kuris nusprendžia, koks darbas turi būti vykdomas įrenginyje, o koks – nukreipiamas į agentus debesyje. Čia paaiškiname, kaip sukūrėme tokį vietinį agentą, įskaitant valdiklį ir vienas kitam pritaikytus modelius.

Pateikiame pagrindinių dizaino pasirinkimų apžvalgą, įvertiname „Computer“ lyginant su populičiais atvirojo kodo bendros paskirties valdikliais (Hermes ir Pi) pagal tris viešus testus ir mūsų vidinį vietinį žinių darbo testą (Local Knowledge Work Bench). Mūsų teste, naudojant Qwen 3.8 27B modelį, veikiantį „NVIDIA DGX Spark“, „Computer“ pasiekia didžiausią rezultatą – 82,6 %, palyginti su 77,6 % „Pi“ ir 74,0 % „Hermes“ atveju. PPLX 27B, mūsų modelis, papildomai apmokytas virš Qwen 3.8 27B, rezultatą dar pakelia iki 85,4 %.

Valdiklio pritaikymas vietiniam modeliui

Nors kompaktiški įrenginio modeliai jau yra gana pajėgūs, jie vis tiek nusileidžia didesniems pažangiausiems modeliams. Norint veiksmingai valdyti šiuos modelius ir pašalinti jų trūkumus, reikalingas kruopščiai suprojektuotas valdiklis.

Populiarūs atvirojo kodo valdikliai, tokie kaip „Pi“ ir „Hermes“, pasirodė esą universalūs: jie puikiai veikia su įvairiais įvairių dydžių ir klasių modeliais. Tačiau jie nėra optimizuoti įrenginio modelių galimybėms. Vietinį valdiklį specialiai šiai aplinkai sukūrėme vadovaudamiesi keliais pagrindiniais principais.

Konteksto efektyvumas

Pagrindinis mūsų valdiklio kūrimo dėmesys buvo skirtas tam, kad būtų kuo geriau išnaudojamas modelio kontekstas.

Nors įrenginio modeliai, tokie kaip Qwen 3.8 27B, siūlo 260 tūkst. žetonų konteksto langus, praktiškai pastebėjome, kad peržengus 100 tūkst. žetonų ribą jiems pradeda sektis sunkiau. Todėl pagrindinį valdiklį laikome glaustą: minimalią sistemos užklausą ir nedidelį pagrindinių įrankių rinkinį.

Visos kitos galimybės yra modulinės ir tampa poreikio užkraunamais įgūdžiais (skills), kurie užsikrauna ir išsikrauna visos trajektorijos metu. Šiuos įgūdžius sukūrėme dažnoms žinių darbo užduotims: tyrimams, duomenų mokslui, duomenų vizualizacijai, dokumentų kūrimui, programų inžinerijai ir kt.

Valdiklis taip pat palaiko konteksto sutankinimą, apibendrindamas pasenusį kontekstą, kai trajektorija tampa ilga, kad modelis išliktų savo efektyviame lange.

Jungtys kaip komandų eilutės įrankiai

Kasdieniam žinių darbui dažnai reikia jungčių, tokių kaip „Gmail“, „GitHub“, „Outlook“ ir „Google Calendar“. Valdikliui jos dažniausiai pateikiamos kaip MCP serveriai, kurių didelės įrankių apibrėžtys sunaudoja didelę konteksto dalį. Vietoj to dažniausiai naudojamus MCP pavertėme kompaktiškais, lengvai naudojamais komandų eilutės įrankiais, papildytais pasirinktiniais įgūdžiais (skills), kurie kur kas geriau išnaudoja ribotą veiksmingą kontekstą.

Savarankiškas tikrinimas

Našumas taip pat pagerėja, kai agentas pats patikrina savo darbą. Tikrinimas prideda papildomų žingsnių, tačiau jis labai pagerina galutinius rezultatus ir gerokai sumažina atsilikimą nuo pažangiausių modelių. Jį gali inicijuoti pats modelis arba rinkinys kabliukų (hooks), stebinčių trajektorijos būklę ir prašančių savarankiško patikrinimo, kai kas nors klostosi ne taip.

Vykdymas smėlio dėžėje (Sandbox)

Valdiklis vykdo įrankius operacinės sistemos lygio smėlio dėžėje (sandbox) vartotojo įrenginyje. Ši riba apriboja procesus, failų sistemos kelius ir prieigą prie tinklo pagal politiką. Tai apriboja klaidingos komandos pažeidimo spindulį. Jei smėlio dėžė (sandbox) nepasiekiama, valdiklis išsijungia pats prieš bet kokius įrankių iškvietimus, o ne pereina prie vykdikmo be smėlio dėžės.

Tai skiriasi nuo atvirojo kodo valdiklių, tokių kaip „Pi“ ir „Hermes“, kurie pagal nutylėjimą vykdo komandas tiesiogiai naudodami vartotojo teises. „Computer“ izoliacija visada įjungta, jai nereikia jokios konfigūracijos, o įrankiai negali veikti be jos.

Žemiau esančioje schemoje parodyta, kaip šie principai dera tarpusavyje vykdymo cikle. Orkestratorius yra deterministinis valdiklio kodas, o ne didelis kalbos modelis (LLM): jis palaiko ciklą, surenka kontekstą ir užtikrina politiką. Vietinis modelis siūlo kitą veiksmą; orkestratorius vykdo patvirtintus įrankių iškvietimus smėlio dėžėje (sandbox) ir grąžina jų rezultatus modeliui. Paieška internete, jungtys ir patarėjo iškvietimai peržengia įrenginio ribą tik tada, kai tai įjungta ir patvirtinta.

Vietinis valdiklis išspaustai daugiau iš to paties modelio

Naudodami tą patį įrenginio bazinį modelį, lyginame savo vietinį valdiklį su bendros paskirties alternatyvomis internetinių tyrimų ir daugiarūšio dokumentų supratimo srityse. Visi valdikliai naudoja „Qwen 3.8 27B“ modelį su vidutiniu samprotavimu, veikiantį „NVIDIA DGX Spark“. Šis palyginimas atskiria galimybes, kurias suteikia pats valdiklis, iki bet kokio modelio papildomo apmokymo.

Mes susitelkiame į šias dvi galimybes, nes žinių darbas dažnai derina privačius dokumentus vartotojo įrenginyje su vieša informacija iš interneto, kad būtų sukurtas pagrįstas artefaktas. Paieškai internete reikalingas ryšys, tačiau modelio išvados ir privačių dokumentų apdorojimas lieka lokakūs. Vietiniai failai tarnauja kaip autoritetingas šaltinis, viešieji šaltiniai prideda konteksto, o vartotojai gali visiškai išjungti paiešką internete norėdami dirbti visiškai neprisijungę.

Tyrimai internete

Kuriame savo vietinį valdiklį kartu su „Perplexity“ paieškos varikliu, kuris pasiekė aukščiausias vietas nepriklausomuose vertinimuose. Valdiklis prie jo jungiasi per Search as Code sąsają.

Tyrimų kokybę vertiname atlikdami 1 266 BrowseComp užduotis. „Computer“ naudoja „Perplexity“ paieškos infrastruktūrą kartu su mūsų vietiniu valdikliu, o „Pi“ ir „Hermes“ remiasi „Brave“ – jų rekomenduojamu paieškos teikėju. „Computer“ pasiekia 66,7 % tikslumą, palyginti su 50,2 % „Pi“ ir 43,9 % „Hermes“ atveju.

„Computer“ taip pat turi mažiausią vidutinį užregistruotą realų laiką ir žetonų sunaudojimą: 402,1 sekundės ir 852 tūkst. žetonų užduočiai, palyginti su 1 020,9 sekundės ir 1,01 mln. žetonų „Hermes“ atveju bei 826,0 sekundės ir 2,82 mln. žetonų „Pi“ atveju. Todėl „Computer“ sunaudoja 61 % mažiau realaus laiko ir 16 % mažiau žetonų nei „Hermes“, bei 51 % mažiau realaus laiko ir 70 % mažiau žetonų nei „Pi“.

Daugiarūšis dokumentų supratimas įrenginyje

Daugelis dokumentų pateikia informaciją vizualiai ir juos sunku analizuoti kaip paprastą tekstą: tai PDF failai, nuskenuoti puslapiai, ekrano kopijos, diagramos ir pristatymai. Šios darbo eigos priklauso nuo optinio simbolių atpažinimo (OCR) ir vaizdo supratimo, todėl joms labiausiai naudingas gimtojoje kalboje daugiarūšis (multimodal) modelis.

Valdiklis perduoda dokumento puslapius ir vaizdus tiesiogiai modeliui, kuris juos supranta ir sujungia vizualinius įrodymus su išgautu tekstu. Šių failų apdorojimas įrenginyje užtikrina, kad neskelbtini dokumentai ir jų išgautas turinys išliktų privatūs.

Daugiarūšį dokumentų supratimą vertiname naudodami „ParseBench-100“ – 100 užduočių poaibį iš ParseBench testo, turintį po 20 užduočių diagramoms, išdėstymui (layout), lentelėms, teksto turiniui ir formatavimui.

„Computer“ pasiekia vidutinį 65,1 % įvertinimą, palyginti su 34,6 % „Hermes“ ir 13,9 % „Pi“ atveju. Jis taip pat atlieka užduotis per mažiausią laiką ir su mažiausiu žetonų kiekiu: vidutiniškai 60,6 sekundės ir 20,1 tūkst. žetonų užduočiai, palyginti su 108,3 sekundės ir 32,1 tūkst. žetonų „Hermes“ atveju bei 410,5 sekundės ir 829,1 tūkst. žetonų „Pi“ atveju. „Computer“ pirmauja visose penkiose dokumentų kategorijose, o didžiausią pranašumą turi diagramų srityje. Išdėstymas lieka sudėtingas visiems trims valdikliams.

1 lentelė. „ParseBench-100“ vidutinis balas pagal dokumentų kategoriją „Computer“, „Hermes“ ir „Pi“ valdikliams su įrenginyje veikiančiu „Qwen 3.8 27B“ modeliu. „Computer“ pirmauja visose penkiose kategorijose.

Atotrūkio nuo pažangiausių modelių mažinimas pasitelkiant patarėjo eskalavimą

Net ir turint kruopščiai suprojektuotą valdiklį, sunkiausios užduotys vis tiek viršija kompaktiško įrenginio modelio galimybes. Tokioms užduotims valdiklis atveria patarėjo įrankį: vietinis modelis gali pasitarti su galingesniu pažangiausiu modeliu, kai jam reikia pagalbos planuojant, šalinant dviprasmybes, atsigaunant po pakartotinių nesėkmių ar tikrinant galutinį rezultatą.

Vietinis modelis nusprendžia, kada prašyti patarimo, o valdiklio orkestratorius išlaiko įrankio teises ir kontroliuoja, koks kontekstas siunčiamas. Eskalavimas yra pasirinktinis. Vartotojas nusprendžia, ar jį įjungti ir ar patvirtinti kiekvieną patarėjo iškvietimą rankiniu būdu, ar automatiškai.

Prieš patarėjo iškvietimą valdiklis atrenka susijusį kontekstą, pritaiko PII klasifikatorių neskelbtinai informacijai pažymėti ir parodo vartotojui, kas paliktų įrenginį. Patarėjas gauna tik patvirtintą kontekstą ir grąžina tekstinius nurodymus; jis neturi tiesioginės prieigos prie įrenginio failų, įrankių ar pokalbių. Tai pagerina tiek išlaidas, tiek privatumą, ir planuojame toliau tyrinėti šią kryptį ateityje.

Šį požiūrį išbandome su sudėtingomis programų inžinerijos užduotimis, kurioms reikalingas stiprus samprotavimas ir kur vietinis modelis dažniausiai pritrūksta jėgų. Tam naudojame Terminal Bench 2.1 – populiarų 89 užduočių testą programavimo agentams.

Norime atsakyti į du klausimus: kiek atotrūkio iki pažangiausio modelio gali sumažinti patarėjo eskalavimas ir kiek tai kainuoja. Visiškai vietinių modelių paleidimas praktiškai nieko nekainuoja, nes išvados vykdomos vartotojo aparatūroje. Tačiau kai modelis pradeda šauktis patarėjo, jam pradeda kauptis API išlaidos.

Kaip pažangiausio našumo atskaitos tašką naudojame „Claude Opus 5“, veikiantį vietiniame valdiklyje; vietinis modelis yra „Qwen 3.8 27B“. Galiausiai suporuojame juos abu: „Qwen 3.8 27B“ vykdo užduotį ir eskaluoja į „Claude Opus 5“ patarėją, kai jam reikia pagalbos. Nevertiname patarėjo eskalavimo su „Pi“ ar „Hermes“, nes nė vienas iš jų nepateikia ekvivalento patarėjo įrankiui; jo pridėjimas reikalaus modifikuoti įrankio paviršių ir orkestravimo logiką, todėl rezultatas nebeatspastų paruošto naudoti valdiklio.

Patarėjo eskalavimas padidina „Computer“ rezultatą nuo 59,6 % iki 73,0 %, o tai yra 13,5 procentinio punkto prieaugis, esant numatomai API kaina $0,415 už vykdymą. Vien „Claude Opus 5“ paleidimas pasiekia 82,4 % už $0,65 per vykdymą. Taigi eskalavimas atgauna maždaug tris penktadalis atotrūkio iki pažangiausių modelių už maždaug du trečdalius pažangiausių modelių kainos, o vartotojas nusprendžia, ar verta daryti tokį sandorį.

Valdiklio ir žinių darbo papildomas apmokymas

Iki šiol palikome vietinį modelį nepakeistą, kad atskirtume, ką duoda pats valdiklis. Sukūrus valdiklio dizainą, didžiausia likusi nauda gaunama pritaikant patį modelį. „Perplexity Computer“ naudojimo duomenys rodo, ką žmonės iš tikrųjų daro atlikdami žinių darbą, ir juos naudojame mokymo duomenims sintetinti. Papildomai apmokome vietinį modelį „Computer“ valdiklio viduje, vadovaudamiesi realiu vartotojų atliekamų užduočių pasiskirstymu.

Konkrečiai nustatome įvairius naudojimo atvejus, kurie išbando skirtingas modelio galimybes, įrankius ir jungtis. Iš šių naudojimo atvejų sugeneruojame realistiškas pastiprinimo mokymosi (reinforcement learning) aplinkas ir apibrėžiame sudėtingas, bet patikrinamas užduotis: kiekvieną užduotį sudaro instrukcija, aplinka ir vertintojas, įvertinantis galutinį rezultatą, kur aplinka yra „Docker“ konteineris, kuriame veikia valdiklis. Svarbu tai, kad kadangi užduotys yra sintetinės, jose nėra jokių realių dokumentų ar vartotojo informacijos.

Šias aplinkas naudojame dviejų etapų mokymui: atmetimo tiksliajam derinimui (rejection fine-tuning), po kurio seka pastiprinimo mokymasis (reinforcement learning). Pirmajame etape kelis kartus paleidžiame modelį su kiekviena užduotimi, pagal vertintojo balą atrenkame geriausias trajektorijas ir mokome jas taikydami prižiūrimąjį mokymą (supervised learning). Šis etapas inicijuoja modelį konkrečiam valdikliui ir užduočių pasiskirstymui. Antrajame etape pastiprinimo mokymasis dar labiau patikslina modelį, padarydamas jį tvirtesnį.

Dalis užduočių yra atidėta nuo mokymo ir naudojama galutiniam vertinimui; šį atidėtą rinkinį vadiname vietiniu žinių darbo testu (Local Knowledge Work Bench): 53 užduotys, apimančios septynias kasdienio žinių darbo kategorijas – nuo gilaus tyrimo iki dokumentų kūrimo. Netrukus paskelbsime techninę ataskaitą, išsamiai aprašančią modelio mokymą, taip pat planuojame atverti šį vertinimo testą atvirajam kodui.

Papildomai apmokėme „Qwen 3.8 27B“ taikydami šį požiūrį, sukurdami modelį, kurį vadiname „PPLX 27B“, ir įvertinome jį vietinio žinių darbo teste (Local Knowledge Work Bench). Su baziniu „Qwen 3.8 27B“ modeliu „Computer“ pasiekia didžiausią rezultatą (82,6 %, palyginti su 77,6 % „Pi“ ir 74,0 % „Hermes“ atveju) ir sunaudoja mažiausiai žetonų (520 tūkst., palyginti su 681 tūkst. „Pi“ ir 634 tūkst. „Hermes“ atveju). „Pi“ užduotis užbaigia greičiausiai – per 176 sekundes užduočiai, palyginti su 218 sekundžių „Computer“ ir 292 sekundėmis „Hermes“ atveju. „PPLX 27B“ pakelia „Computer“ rezultatą iki 85,4 %, sunaudodamas daugiau žetonų (678 tūkst., palyginti su 520 tūkst.). Jo numatomas realus laikas yra 250 sekundžių.

2 lentelė. Vietinio žinių darbo testo (Local Knowledge Work Bench) užduočių kategorijos.

Išvada

Mūsų tyrimai rodo, kad stiprus atvirojo kodo modelis su pajėgia vietine aparatūra ir joms sukurta valdikliu gali atlikti realų žinių darbą beveik nulinėmis išvadų (inference) sąnaudomis, nereikalaudamas, kad neskelbtini duomenys paliktų įrenginį.

Visiose testų srityse „Computer“ prilygo arba viršijo „Hermes“ ir „Pi“ pagal tikslumą, vykdydamas „Qwen 3.8 27B“ „NVIDIA DGX Spark“ platformoje. Tarp trijų testų, kurie pateikia delsą (latency) ir žetonų naudojimą, „Computer“ buvo greičiausias „BrowseComp“ ir „ParseBench-100“ srityse bei sunaudojo mažiausiai žetonų visuose trijuose; „Pi“ buvo greičiausias vietinio žinių darbo teste (Local Knowledge Work Bench).

Pusiausvyros ir laimėjimai atsirado dėl mūsų priimtų sprendimų. Sukūrėme glaustą vietinį valdiklį su įgūdžiais, kurie užsikrauna pagal poreikį. Vietoj MCP serverių jungtis pavertėme kompaktiškais CLI įrankiais. Saugumo sumetimais vykdymas buvo izoliuotas smėlio dėžėje (sandbox).

Rezultatai taip pat rodo, kur kompaktiški modeliai turi kur tobulėti. Pavyzdžiui, atliekant sudėtingas „Terminal Bench 2.1“ programavimo užduotis, vietinis modelis atsilieka nuo pažangiausio modelio visuose trijuose valdikliuose. Patarėjo eskalavimas sumažina, bet visiškai neuždaro atotrūkio; norint dar labiau pagerinti našumą, vis dar reikalingi nuolatiniai modelio galimybių ir vietinės aparatūros patobulinimai.

Valdiklio ir modelio kūrimo vietiniams apribojimams tikslas – suteikti vartotojams aiškią kontrolę virš to, kokia informacija palieka jų mašinas. Vartotojui taip pat naudinga tai, kad taupomos lėšos. Tai matome kaip dalį platesnio poslinkio, kurio metu vis pajėgesni agentai persikelia iš nuotolinės infrastruktūros į individualius ir vietinius įrenginius. Tikimės, kad lustų, modelių ir įrenginių pažanga nuolat plės žinių darbo, kurį „Portable Computer“ atlieka lokaliai, apimtį ir kokybę.