Helyi-első ügynök a privát és költséghatékony tudásalapú munkához

A Perplexity Portable Computer egy helyi-első ügynök.

Alapértelmezés szerint a teljes verem helyben fut. A modell, a keretrendszer, a beszélgetés és a pályagörbe mind a felhasználó gépén él. A külső világot igénylő munkák – mint például a webes keresés, a csatlakozók vagy a felhőben futó erősebb tanácsadó modellre való eszkaláció – csak szükség esetén indulnak el, és a felhasználó mindig szűri őket. Az érzékeny adatok ezért soha nem hagyják el az eszközt engedély nélkül, a helyi modellek pedig nem járnak inferencia-költséggel: a rendszer felépítéséből adódóan magánjellegű és költséghatékony.

A hatékony helyi-első ügynök megköveteli, hogy a modellt és a keretrendszert együtt tervezzék meg. Az általános célú keretrendszerek olyan határmodellt feltételeznek, amely képes befogadni a hosszú kontextusokat, kezelni a széles eszközfelületet, és hosszú időhorizonton tervezni. A helyi modellek kevésbé megbízhatók ezekkel az igényekkel szemben. Ahelyett, hogy egy kis modellt kérnénk fel egy nagyra épített keretrendszer kezelésére, a kettőt egymáshoz igazítottuk: a modell képességi profiljára szabott keretrendszert, és egy olyan modellt, amelyet utólag arra képeztünk ki, hogy hatékonyan használja ezt a keretrendszert.

Bevezetés

Az ügynöki képességek az elmúlt hónapokban gyorsan fejlődtek a tudásalapú munkafeladatok széles körében. Bár ezek a fejlesztések hatalmas termelékenységi és hatékonysági növekedést hoznak, két kihívást is támasztanak.

A tokenelemzés gyorsan növekszik, és ezzel együtt az általános költségek is. Amikor az intelligenciát távoli fürtökön futó, zárt forráskódú modellek API-jain keresztül érik el, a magánjellegű információk és a szellemi tulajdon minden egyes kéréssel elhagyják a felhasználó eszközét. Ahogy az ügynökök az egyes munkafolyamatokon és egész szervezeteken átívelően skálázódnak, a tokenkiadások és az adatmozgás egyre nehezebben szabályozhatóvá válnak.

Ezzel párhuzamosan a nyílt forráskódú modellek még gyorsabb ütemben fejlődtek. A fejlődés a legjobban a nagyon kis méretű és hatékony modellek esetében látható, mint például az NVIDIA Nemotron 3.5 Lightning (30 milliárd összegzett paraméter), a Qwen 3.6 (35B) és a Qwen 3.8 (27B). Ezek a kis modellek a súlycsoportjuk felett teljesítenek, és mára képesek komplex ügynöki munkafolyamatokra. A helyi inferenciát támogató hardverek ezzel párhuzamosan fejlődnek: az olyan rendszerek, mint az NVIDIA DGX Spark, ma már képesek helyben futtatni ezeket a modelleket. Ezek a trendek együtt teszik praktikussá a teljesen eszközön belüli működést, miközben lehetővé teszik a felhasználók számára, hogy szükség esetén külső képességeket – például webes keresést, csatlakozókat vagy felhőmodell-eszkalációt – vegyenek igénybe.

Ez a helyi-első megközelítés jelentős költségmegtakarítást tesz lehetővé, mivel a helyi inferencia révén elkerülhetők a tokenerőforrásonkénti API-díjak. Emellett természetes módon oldja meg az adatvédelmi és szellemitulajdon-aggályokat: a magánjellegű tokeneket soha nem kell elküldeni a távoli fürtöknek, és biztonságosan a helyi eszköz határein belül maradnak.

Júniusban bemutattuk az első hibrid, helyi-szerveres inferencia-orkesztrátort, amely eldönti, hogy melyik munka fusson az eszközön, és melyik kerüljön a felhőben lévő ügynökökhöz. Itt bemutatjuk, hogyan építettünk fel egy ilyen helyi-első ügynököt, beleértve a keretrendszert és az egymáshoz optimalizált modelleket.

Áttekintést adunk a kulcsfontosságú tervezési döntésekről, és összehasonlítjuk a Computer et a népszerű nyílt forráskódú, általános célú keretrendszerekkel (Hermes és Pi) három nyilvános benchmark és a belső Helyi Tudásalapú Munka Benchmarkunk alapján. A benchmarkunkon az NVIDIA DGX Sparkon futó Qwen 3.8 27B modellel a Computer éri el a legmagasabb pontszámot (82,6% a Pi 77,6%-ával és a Hermes 74,0%-ával szemben). A Qwen 3.8 27B tetejére épített, utólagosan továbbképzett modellünk, a PPLX 27B még tovább, 85,4%-ra emeli a pontszámot.

A keretrendszer megtervezése a helyi modell köré

Bár a kompakt, eszközön belüli modellek mára meglehetősen capabilisek, teljesítményükben még mindig elmaradnak a nagyobb határelemzési modellektől. Gondosan megtervezett keretrendszerre van szükség e modellek hatékony irányításához és korlátaik kezeléséhez.

A népszerű nyílt forráskódú keretrendszerek, mint a Pi és a Hermes, általános célúnak bizonyultak: jól együttműködnek a különböző méretű és osztályú modellek széles körével. Nincsenek azonban optimalizálva az eszközön belüli modellek képességeihez. A helyi keretrendszert kifejezetten ehhez a környezethez, néhány kulcsfontosságú elv mentén terveztük meg.

Kontextushatékonyság

Keretrendszerünk tervezése során a fő fókusz a modell kontextusának legjobb kihasználásán volt.

Bár az olyan eszközön belüli modellek, mint a Qwen 3.8 27B, 260 ezer tokenes kontextusablakot kínálnak, tapasztalataink szerint 100 ezer token felett küzdeni kezdenek. Ezért a magkeretrendszert tömören tartjuk: minimális rendszerutasítás és kis számú alapvető eszköz.

Minden más képesség olyan igény szerinti készségekké van modularizálva, amelyek a pályagörbe során betöltődnek és kiürülnek. Ezeket a készségeket a gyakori tudásalapú munkafeladatokhoz terveztük: kutatás, adattudomány, adatvizualizáció, dokumentumkészítés, szoftverfejlesztés és egyebek.

A keretrendszer támogatja a kontextustömörítést is, összefoglalva a már elavult kontextust, ha a pályagörbe hosszúra nyúlik, így a modell az effektív ablakán belül marad.

Csatlakozók parancssori eszközként

A mindennapi tudásalapú munka gyakran igényel olyan csatlakozókat, mint a Gmail, a GitHub, az Outlook és a Google Naptár. Ezeket általában MCP-szerverökként teszik elérhetővé a keretrendszer számára, amelyek nagy eszközdefiníciói a kontextus jelentős részét emésztik fel. Ehelyett a leggyakrabban használt MCP-ket kompakt, könnyen használható parancssori eszközökké alakítottuk át, kiegészítve egyedi készségekkel, amelyek sokkal jobban kihasználják a korlátozott effektív kontextust.

Önellenőrzés

A teljesítmény akkor is javul, amikor az ügynök ellenőrzi a saját munkáját. Az ellenőrzés extra lépéseket ad hozzá, de nagymértékben javítja a végső eredményeket, és jelentősen szűkíti a határelemzési modellekkel szembeni lemaradást. Ezt maga a modell válthatja ki, vagy egy olyan kampósorozat, amely figyeli a pályagörbe egészségét, és önellenőrzést kér, ha valami hiba történik.

Sandboxban futtatott végrehajtás

A keretrendszer az eszköz operációs rendszerének szintjén működő sandboxban hajtja végre az eszközöket. A határ szabályzat szerint korlátozza a folyamatokat, a fájlrendszer útvonalait és a hálózati hozzáférést. Ez korlátozza egy hibás parancs becsapódási sugarát. Ha a sandbox nem érhető el, a keretrendszer minden eszközhívás előtt letiltja magát, ahelyett hogy a nem sandboxolt végrehajtásra süllyedne.

Ez eltér az olyan nyílt forráskódú keretrendszerektől, mint a Pi és a Hermes, amelyek alapértelmezés szerint közvetlenül a felhasználó jogosultságaival futtatják a parancsokat. A Computerben az izoláció mindig be van van kapcsolva, nem igényel konfigurációt, és az eszközök nem futhatnak enélkül.

Az alábbi ábra bemutatja, hogyan illeszkednek ezek az elvek a végrehajtási ciklusba. Az orkesztrátor egy determinisztikus keretrendszerkód, nem pedig egy LLM: fenntartja a ciklust, összeállítja a kontextust, és betartatja a házirendet. A helyi modell javasolja a következő műveletet; az orkesztrátor végrehajtja a jóváhagyott eszközhívásokat a sandboxban, és visszaküldi az eredményeket a modellnek. A webes keresés, a csatlakozók és a tanácsadói hívások csak akkor lépik át az eszköz határát, ha azok engedélyezve és jóváhagyva vannak.

A helyi keretrendszer többet hoz ki ugyanabból a modellből

Ugyazt az eszközön belüli alapmodellt használva összehasonlítjuk a helyi keretrendszerünket az általános célú alternatívákkal a webes kutatás és a multimodális dokumentumértelmezés terén. Minden keretrendszer az NVIDIA DGX Sparkon futó, közepes szintű következtetési képességgel rendelkező Qwen 3.8 27B modellt használja. Ez az összehasonlítás elkülöníti magának a keretrendszernek a hozzájárulását, még a modell utólagos továbbképzése előtt.

Azért fókuszálunk erre a két képességre, mert a tudásalapú munka gyakran ötvözi a felhasználó eszközén lévő magánjellegű dokumentumokat a webes nyilvános információkkal, hogy megalapozott műterméket hozzon létre. A webes kereséshez kapcsolatra van szükség, de a modellinferencia és a magánjellegű dokumentumok feldolgozása helyben marad. A helyi fájlok szolgálnak hiteles forrásként, a nyilvános források kontextust adnak, a felhasználók pedig teljesen letilthatják a webes keresést a teljesen offline munkához.

Webes kutatás

Helyi keretrendszerünket a Perplexity keresőmotorja mellett építjük ki, amely a legmagasabb helyezéseket érte el független értékelésekben. A keretrendszer a Search as Code felületen keresztül éri el azt.

A kutatási minőséget 1266 BrowseComp feladaton értékeljük. A Computer a Perplexity keresési infrastruktúráját használja a helyi keretrendszerünkkel együtt, míg a Pi és a Hermes a Brave-re, az általuk ajánlott keresésszolgáltatóra támaszkodik. A Computer 66,7%-os pontosságot ér el, szemben a Pi 50,2%-ával és a Hermes 43,9%-ával.

A Computer éri el a legalacsonyabb átlagos rögzített futási időt és tokenfelhasználást is: 402,1 másodperc és 852 ezer token feladatonként, szemben a Hermes 1 020,9 másodpercével és 1,01 millió tokenjével, illetve a Pi 826,0 másodpercével és 2,82 millió tokenjével. A Computer ezáltal 61%-kal kevesebb futási időt és 16%-kal kevesebb tokent használ, mint a Hermes, és 51%-kal kevesebb futási időt és 70%-kal kevesebb tokent, mint a Pi.

Eszközön belüli multimodális dokumentumértelmezés

Számos dokumentum vizuálisan hordoz információt, és nehezen elemezhető sima szövegként: PDF-ek, beolvasott oldalak, képernyőképek, diagramok és prezentációk. Ezek a munkafolyamatok az OCR-re és a képek megértésére támaszkodnak, és a legtöbbet egy natívan multimodális modellből profitálják.

A keretrendszer közvetlenül átadja a dokumentumoldalakat és képeket a modellnek, amely megérti azokat, és egyesíti a vizuális bizonyítékokat a kinyert szöveggel. E fájlok eszközön belüli feldolgozása magánjellegűvé teszi az érzékeny dokumentumokat és azok kinyert tartalmát.

A multimodális dokumentumértelmezést a ParseBench-100-on, a ParseBench benchmark 100 feladatból álló részhalmazán értékeljük, feladatonként 20-20 feladattal a diagramok, az elrendezés, a táblázatok, a szöveges tartalom és a formázás terén.

A Computer 65,1%-os átlagos pontszámot ér el, szemben a Hermes 34,6%-ával és a Pi 13,9%-ával. Ezenkívül a legkevesebb idő alatt és a legkevesebb tokennel végzi el a feladatokat: átlagosan 60,6 másodperc és 20,1 ezer token feladatonként, szemben a Hermes 108,3 másodpercével és 32,1 ezer tokenjével, valamint a Pi 410,5 másodpercével és 829,1 ezer tokenjével. A Computer mind az öt dokumentumkategóriában az élen jár, a legnagyobb előnye a diagramoknál mutatkozik meg. Az elrendezés mindhárom keretrendszer számára nehéz marad.

1. táblázat. A ParseBench-100 átlagos pontszáma dokumentumkategóriánként a Computer, a Hermes és a Pi keretrendszerek esetében az eszközön belüli Qwen 3.8 27B modellel. A Computer mind az öt kategóriában vezet.

A határvonalbeli lemaradás szűkítése tanácsadói eszkalációval

Még egy gondosan megtervezett keretrendszer mellett is a legnehezebb feladatok továbbra is meghaladják a kompakt, eszközön belüli modell képességeit. Az ilyen feladatokhoz a keretrendszer egy tanácsadói eszközt biztosít: a helyi modell egy erősebb határelemzési modellt hívhat segítségül, ha segítségre van szüksége a tervezéshez, a kétértelműség feloldásához, az ismétlődő hibákból való felépüléshez vagy a végső eredmény ellenőrzéséhez.

A helyi modell eldönti, hogy mikor kérjen tanácsot, míg a keretrendszer orkesztrátora megőrzi az eszközfelügyeletet, és szabályozza, hogy milyen kontextus kerül elküldésre. Az eszkaláció opcionális. A felhasználó dönti el, hogy engedélyezi-e azt, és hogy manuálisan vagy automatikusan hagyja-e jóvá az egyes tanácsadói hívásokat.

A tanácsadói hívás előtt a keretrendszer kiválasztja a releváns kontextust, PII-osztályozót alkalmaz az érzékeny információk megjelölésére, és megmutatja a felhasználónak, hogy mi hagyná el az eszközt. A tanácsadó csak a jóváhagyott kontextust kapja meg, és szöveges útmutatást ad vissza; nincs közvetlen hozzáférése az eszköz fájljaihoz, eszközeihez vagy beszélgetéseihez. Ez javítja a költségeket és az adatvédelmet is, és ezt az irányt a jövőbeli munkánk során tovább kívánjuk vizsgálni.

Ezt a megközelítést kihívást jelentő szoftverfejlesztési feladatokon teszteljük, amelyek erős következtetést igényelnek, és amelyek során egy helyi modell a leggyakrabban elmarad. Ehhez a Terminal Bench 2.1-et, a kódolási ügynökök népszerű, 89 feladatból álló benchmarkját használjuk.

Két kérdésre szeretnénk választ kapni: a határelemzési modelltől való lemaradás mekkora részét tudja behozni a tanácsadói eszkaláció, és milyen áron. A teljesen helyi modellek futtatása gyakorlatilag semmibe sem kerül, mivel az inferencia a felhasználó hardverén történik. Amint azonban a modell elkezdni hívni a tanácsadót, API-költségek merülnek fel.

A határelemzési teljesítmény alapvonalaként a helyi keretrendszerben működő Claude Opus 5-öt használjuk; a helyi modell a Qwen 3.8 27B. Végül párosítjuk a kettőt: a Qwen 3.8 27B végrehajtja a feladatot, és egy Claude Opus 5 tanácsadóhoz eszkalál, amikor segítségre van szüksége. A tanácsadói eszkalációt nem értékeljük a Pi-vel vagy a Hermes-szel, mert egyik sem biztosít egyenértékű tanácsadói eszközt; annak hozzáadása megkövetelné az eszközfelület és az orkesztrációs logika módosítását, így az eredmény már nem képviselné a dobozból kikerülő keretrendszert.

A tanácsadói eszkaláció 59,6%-ról 73,0%-ra emeli a Computer pontszámát, ami 13,5 százalékpontos növekedés, 0,415 dolláros becsült API-költséggel bevetésenként. A Claude Opus 5 önálló futtatása 82,4%-ot ér el 0,65 dollárért bevetésenként. Az eszkaláció így a határvonalbeli lemaradás körülbelül ötödét-hatodát hozza vissza a határköltség nagyjából kétharmadáért, és a felhasználó dönti el, hogy megéri-e ezt a kompromisszumot meghozni.

Utólagos továbbképzés a keretrendszerhez és a tudásalapú munkához

Eddig változatlanul hagytuk a helyi modellt, hogy elkülönítsük a keretrendszer hozzájárulását. A keretrendszer kialakításával a megmaradó legnagyobb nyereség magának a modellnek az adaptálásából származik. A Perplexity Computer használati adatai megmutatják, hogy az emberek mit csinálnak a valóságban a tudásalapú munka során, amit a betanítási adatok szintetizálásához használunk. A helyi modellt a Computer keretrendszeren belül képezzük tovább, a felhasználók által végzett feladatok valós eloszlása alapján.

Konkrétan olyan használati esetek sokaságát azonosítjuk, amelyek különböző modellképességeket, eszközöket és csatlakozókat mozgatnak meg. Ebből a használati esetből valósághű megerősítéses tanulási környezeteket szintetizálunk, és kihívást jelentő, de ellenőrizhető feladatokat határozunk meg: minden feladat egy utasításból, egy környezetből és egy ellenőrzőből áll, amely pontozza a végső eredményt, ahol a környezet egy Docker-konténer, amelyben a keretrendszer működik. Fontos, hogy mivel a feladatok szintetikusak, nem tartalmaznak valódi dokumentumokat vagy felhasználói információkat.

Ezeket a környezeteket kétlépcsős képzéshez használjuk: elutasítással egybekötött finomhangolás, amelyet megerősítéses tanulás követ. Az első szakaszban a modellt többször is bevetjük az egyes feladatokkal szemben, az ellenőrzési pontszám alapján kiválasztjuk a legjobb pályagörbéket, és felügyelt tanulással tanítjuk azokon. Ez a szakasz inicializálja a modellt az adott keretrendszerhez és feladateloszláshoz. A második szakaszban a megerősítéses tanulás tovább finomhangolja a modellt, így az robusztusabbá válik.

A feladatok egy részhalmazát visszatartjuk a képzéstől, és a végső értékeléshez használjuk; ezt a visszatartott készletet Helyi Tudásalapú Munka Benchmarknak nevezzük: 53 feladat, amelyek a mindennapi tudásalapú munka hét kategóriáját ölelik fel, a mélyreható kutatástól a dokumentumkészítésig. Hamarosan közzéteszünk egy technikai jelentést, amely részletesen leírja a modell betanítását, és tervezzük ennek a kiértékelési benchmarknak a nyílt forráskóddá tételét.

Ezzel a megközelítéssel képeztük tovább a Qwen 3.8 27B-t, létrehozva a PPLX 27B nevű modellt, amelyet kiértékeltünk a Helyi Tudásalapú Munka Benchmarkon. Az alaptulajdonságú Qwen 3.8 27B modellel a Computer éri el a legmagasabb pontszámot (82,6%, szemben a Pi 77,6%-ával és a Hermes 74,0%-ával), és ez használja a legkevesebb tokent (520 ezer, szemben a Pi 681 ezer és a Hermes 634 ezer tokenjével). A Pi végzi el a leggyorsabban a feladatokat, feladatonként 176 másodperc alatt, szemben a Computer 218 másodpercével és a Hermes 292 másodpercével. A PPLX 27B 85,4%-ra emeli a Computer pontszámát, több token (678 ezer az 520 ezerrel szemben) áron. Becsült futási ideje 250 másodperc.

2. táblázat. A Helyi Tudásalapú Munka Benchmark feladatkategóriái.

Következtetés

Kutatásunk azt mutatja, hogy egy erős nyílt forráskódú modell, képes helyi hardverrel és a számukra épített keretrendszerrel, képes kezelni avalós tudásalapú munkát közel nulla inferencia-költséggel anélkül, hogy az érzékeny adatoknak el kellene hagyniuk az eszközt.

A különböző benchmarkokon a Computer pontosságban elérte vagy meghaladta a Hermest és a Pi-t, miközben az NVIDIA DGX Sparkon futtatta a Qwen 3.8 27B modellt. A késleltetést és a tokenfelhasználást jelentő három benchmark közül a Computer volt a leggyorsabb a BrowseComp és a ParseBench-100 esetében, és mindháromnál a legkevesebb tokent használta; a Pi volt a leggyorsabb a Helyi Tudásalapú Munka Benchmarkon.

A nyereség az általunk hozott döntésekből származott. Egy tömör helyi keretrendszert építettünk ki igény szerint betöltődő készségekkel. A csatlakozókat MCP-szerverek helyett kompakt CLI-eszközökké alakítottuk át. A végrehajtás biztonsági okokból sandboxban történt.

Az eredmények azt is mutatják, hogy a kompakt modellekben van még hova fejlődni. Például a Terminal Bench 2.1 kihívást jelentő kódolási feladatain a helyi modell mindhárom keretrendszerben elmarad a határelemzési modelltől. A tanácsadói eszkaláció szűkíti, de nem zárja be teljesen a lemaradást; a modell képességeinek és a helyi hardvernek a folyamatos fejlesztésére továbbra is szükség van a teljesítmény további növeléséhez.

A keretrendszer és a modell helyi korlátokra való építésének célja, hogy kifejezett ellenőrzést adjon a felhasználóknak a gépeiket elhagyó információk felett. Ennek a felhasználó számára költségelőnyei is vannak. Ezeket egy szélesebb körű elmozdulás részeként látjuk, amely során az egyre capabilisebb ügynökök a távoli infrastruktúrából az egyéni és helyi eszközökre költöznek. Várható, hogy a chipek, modellek és eszközök fejlesztése folyamatosan bővíteni fogja azon tudásalapú munkák körét és minőségét, amelyeket a Portable Computer helyben kezel.