Een lokale agent voor privé en kosteneffectief kenniswerk

Perplexity Portable Computer is een lokale agent.

De gehele stack draait standaard lokaal. Het model, het harnas, het gesprek en het traject bevinden zich allemaal op het apparaat van de gebruiker. Werk dat de buitenwereld vereist, zoals internetzoekopdrachten, connectoren of escalatie naar een sterker advisormodel in de cloud, wordt alleen aangeroepen wanneer dat nodig is en wordt altijd afgeschermd door de gebruiker. Gevoelige gegevens verlaten het apparaat daardoor nooit zonder toestemming, en lokale modellen brengen geen inferentiekosten met zich mee: het systeem is door zijn opzet privé en kosteneffectief.

Voor een effectieve lokale agent moeten het model en het harnas samen worden ontworpen. Harnassen voor algemeen gebruik gaan uit van een grensmodel dat lange contexten kan absorberen, een breed gereedschapsoppervlak kan navigeren en over lange horizonten kan plannen. Lokale modellen zijn minder betrouwbaar onder dergelijke eisen. In plaats van een klein model te vragen een harnas te beheren dat is gebouwd voor een groot model, hebben we beide op elkaar afgestemd: een harnas dat is afgestemd op het vermogensprofiel van het model, en een model dat is getraind om dat harnas effectief te gebruiken.

Inleiding

De vaardigheden van agents zijn de afgelopen maanden snel vooruitgegaan op een breed scala aan kennistaken. Hoewel deze vorderingen zorgen voor grote winst in productiviteit en efficiëntie, leveren ze ook twee uitdagingen op.

Het verbruik van tokens stijgt snel, en daarmee ook de totale kosten. Wanneer intelligentie wordt benaderd via de API\'s van closed-source modellen die op externe clusters draaien, verlaten privégegevens en intellectueel eigendom bij elk verzoek het apparaat van de gebruiker. Naarmate agents opschalen over individuele workflows en hele organisaties heen, worden tokenuitgaven en gegevensstromen steeds moeilijker te beheersen.

Tegelijkertijd zijn open-source modellen in een nog sneller tempo verbeterd. De vooruitgang is het best zichtbaar in zeer kleine en efficiënte modellen zoals NVIDIA Nemotron 3.5 Lightning (30B totale parameters), Qwen 3.6 (35B) en Qwen 3.8 (27B). Deze kleine modellen presteren boven hun gewichtsklasse en zijn inmiddels in staat tot complexe agentworkflows. Lokale inferentiehardware vordert parallel: systemen zoals de NVIDIA DGX Spark kunnen deze modellen nu lokaal uitvoeren. Samen maken deze trends volledige werking op het apparaat praktisch, terwijl gebruikers indien nodig kunnen kiezen voor externe functies, zoals internetzoekopdrachten, connectoren of escalatie naar een cloudmodel.

Deze lokale aanpak maakt aanzienlijke kostenbesparingen mogelijk, aangezien lokale inferentie API-kosten per token vermijdt. Het lost ook op natuurlijke wijze de zorgen over privacy en intellectueel eigendom op: privé-tokens hoeven nooit naar externe clusters te worden verzonden en blijven veilig binnen de grens van het lokale apparaat.

In juni introduceerden we de eerste hybride lokale-serverinferentie-orkestrator die beslist welk werk lokaal moet worden uitgevoerd en welk werk naar agents in de cloud moet gaan. Hier leggen we uit hoe we een dergelijke lokale agent hebben gebouwd, inclusief het harnas en de modellen die voor elkaar zijn geoptimaliseerd.

We geven een overzicht van de belangrijkste ontwerppunten, evalueren Computer tegen populaire open-source harnassen voor algemeen gebruik (Hermes en Pi) aan de hand van drie openbare benchmarks en onze interne Local Knowledge Work Bench. Op onze benchmark, met het Qwen 3.8 27B-model dat draait op een NVIDIA DGX Spark, behaalt Computer de hoogste score, 82,6% versus 77,6% voor Pi en 74,0% voor Hermes. PPLX 27B, ons model dat is getraind bovenop Qwen 3.8 27B, verhoogt de score verder tot 85,4%.

Ontwerp het harnas rond het lokale model

Hoewel compacte modellen op het apparaat al behoorlijk bekwaam zijn, blijven ze qua prestaties achter bij grotere grensmodellen. Er is een zorgvuldig ontworpen harnas nodig om deze modellen effectief te sturen en hun beperkingen aan te pakken.

Populaire open-source harnassen zoals Pi en Hermes zijn algemeen gebleken: ze werken goed met een breed scala aan modellen in verschillende maten en klassen. Maar ze zijn niet geoptimaliseerd voor de mogelijkheden van modellen op het apparaat. We hebben het lokale harnas specifiek ontworpen voor deze omgeving, rond een paar kernprincipes.

Contextefficiëntie

De belangrijkste focus bij het ontwerpen van ons harnas was om optimaal gebruik te maken van de context van het model.

Hoewel modellen op het apparaat zoals Qwen 3.8 27B contextvensters van 260K tokens bieden, ontdekten we empirisch dat ze boven de 100K tokens moeite beginnen te krijgen. We houden het kernharnas daarom beknopt: een minimale systeemprompt en een kleine set kerntools.

Alle andere vaardigheden zijn gemodulariseerd in on-demand skills die gedurende het traject worden geladen en ontladen. We hebben deze skills ontworpen voor veelvoorkomende kennistaken: onderzoek, data science, datavisualisatie, documentcreatie, software engineering en meer.

Het harnas ondersteunt ook contextverdichting, waarbij verouderde context wordt samengevat wanneer een traject lang wordt, zodat het model binnen zijn effectieve venster blijft.

Connectoren als command-line tools

Alledaags kenniswerk vereist vaak connectoren zoals Gmail, GitHub, Outlook en Google Calendar. Deze worden meestal aan een harnas blootgesteld als MCP-servers, waarvan de grote tooldefinities een aanzienlijk deel van de context consumeren. In plaats daarvan hebben we de meest gebruikte MCP\'s omgezet in compacte, eenvoudig te gebruiken command-line tools, aangevuld met aangepaste skills die veel beter gebruikmaken van de beperkte effectieve context.

Zelfverificatie

De prestaties verbeteren ook wanneer de agent zijn eigen werk verifieert. Verificatie voegt extra stappen toe, maar verbetert de uiteindelijke resultaten aanzienlijk en verkleint de kloof naar grensmodellen aanzienlijk. Dit kan worden geactiveerd door het model zelf of door een set hooks die de gezondheid van het traject bewaken en zelfverificatie aanvragen wanneer er iets misgaat.

Sandboxed uitvoering

Het harnas voert tools uit in een sandbox op besturingssysteemniveau op het apparaat van de gebruiker. De grens beperkt processen, bestandssysteempaden en netwerktoegang volgens beleid. Dit beperkt de omvang van de schade van een fout commando. Als de sandbox niet beschikbaar is, schakelt het harnas zichzelf uit voor eventuele toolaanroepen in plaats van te degraderen naar een uitvoering zonder sandbox.

Dit verschilt van open-source harnassen zoals Pi en Hermes, die opdrachten standaard direct uitvoeren met de rechten van de gebruiker. In Computer staat isolatie altijd aan, is er geen configuratie vereist en kunnen tools niet zonder draaien.

Het onderstaande diagram laat zien hoe deze principes samenkomen in de uitvoeringslus. De orkestrator is deterministische harnascode, geen LLM: hij onderhoudt de lus, verzamelt context en handhaaft beleid. Het lokale model stelt de volgende actie voor; de orkestrator voert goedgekeurde toolaanroepen uit in de sandbox en retourneert de resultaten aan het model. Webzoekopdrachten, connectoren en advisor-aanroepen passeren de apparaatgrens alleen wanneer ze zijn ingeschakeld en goedgekeurd.

Een lokaal harnas haalt meer uit hetzelfde model

Met dezelfde lokale basismodel vergelijken we ons lokale harnas met alternatieven voor algemeen gebruik op het gebied van webonderzoek en multimodale documentbegrip. Alle harnassen gebruiken het Qwen 3.8 27B-model met gemiddeld redeneervermogen, draaiend op een NVIDIA DGX Spark. Deze vergelijking isoleert de capaciteiten die door het harnas zelf worden bijgedragen, vóór eventuele post-training van het model.

We richten ons op deze twee vaardigheden omdat kenniswerk privédocumenten op het apparaat van de gebruiker vaak combineert met openbare informatie van het web om een onderbouwd artefact te produceren. Zoeken op het web vereist verbinding, maar modelinferentie en de verwerking van privédocumenten blijven lokaal. Lokale bestanden dienen als de gezaghebbende bron, openbare bronnen voegen context toe en gebruikers kunnen webzoekopdrachten volledig uitschakelen voor volledig offline werk.

Webonderzoek

We bouwen ons lokale harnas naast de zoekmachine van Perplexity, die topnoteringen heeft behaald in onafhankelijke evaluaties. Het harnas heeft er toegang toe via de interface van Search as Code.

We evalueren de onderzoekskwaliteit op 1.266 BrowseComp-taken. Computer gebruikt de zoekinfrastructuur van Perplexity samen met ons lokale harnas, terwijl Pi en Hermes vertrouwen op Brave, hun aanbevolen zoekprovider. Computer bereikt een nauwkeurigheid van 66,7%, vergeleken met 50,2% voor Pi en 43,9% voor Hermes.

Computer heeft ook de laagste gemiddelde geregistreerde wandtijd en tokenteller: 402,1 seconden en 852k tokens per taak, vergeleken met 1.020,9 seconden en 1,01 miljoen tokens voor Hermes, en 826,0 seconden en 2,82 miljoen tokens voor Pi. Computer gebruikt daarom 61% minder wandtijd en 16% minder tokens dan Hermes, en 51% minder wandtijd en 70% minder tokens dan Pi.

Multimodaal documentbegrip op het apparaat

Veel documenten dragen informatie visueel over en zijn moeilijk te parsen als platte tekst: pdf\'s, gescande pagina\'s, screenshots, grafieken en presentaties. Deze workflows zijn afhankelijk van OCR en beeldbegrip, en profiteren het meest van eenネイ티브 multimodale model.

Het harnas geeft documentpagina\'s en afbeeldingen direct door aan het model, dat ze begrijpt en visueel bewijs combineert met de geëxtraheerde tekst. Het verwerken van deze bestanden op het apparaat houdt gevoelige documenten en hun geëxtraheerde inhoud privé.

We evalueren multimodaal documentbegrip op ParseBench-100, een subset van 100 taken van de ParseBench-benchmark, met elk 20 taken voor grafieken, lay-out, tabellen, tekstinhoud en opmaak.

Computer bereikt een gemiddelde score van 65,1%, vergeleken met 34,6% voor Hermes en 13,9% voor Pi. Het voltooiingstijd en tokens zijn ook het laagst: gemiddeld 60,6 seconden en 20,1k tokens per taak, vergeleken met 108,3 seconden en 32,1k tokens voor Hermes, en 410,5 seconden en 829,1k tokens voor Pi. Computer leidt in alle vijf documentcategorieën, met zijn grootste voordeel op grafieken. Lay-out blijft moeilijk voor alle drie de harnassen.

Tabel 1. Gemiddelde score van ParseBench-100 per documentcategorie voor de harnassen Computer, Hermes en Pi met het Qwen 3.8 27B-model op het apparaat. Computer leidt in alle vijf categorieën.

De kloof met grensmodellen verkleinen met advisor-escalatie

Zelfs met een zorgvuldig ontworpen harnas overtreffen de moeilijkste taken nog steeds de mogelijkheden van een compact model op het apparaat. Voor dergelijke taken stelt het harnas een advisor-tool beschikbaar: het lokale model kan een sterker grensmodel raadplegen wanneer het hulp nodig heeft bij planning, het oplossen van dubbelzinnigheid, herstel van herhaalde fouten of het verifiëren van het uiteindelijke resultaat.

Het lokale model beslist wanneer om advies te vragen, terwijl de harnasorkestrator de toolautoriteit behoudt en beheert welke context wordt verzonden. Escalatie is optioneel. De gebruiker beslist of dit wordt ingeschakeld en of elke advisor-aanroep handmatig of automatisch wordt goedgekeurd.

Voor een advisor-aanroep selecteert het harnas de relevante context, past het een PII-classificatie toe om gevoelige informatie te markeren en toont het de gebruiker wat het apparaat zou verlaten. De advisor ontvangt alleen de goedgekeurde context en retourneert tekstbegeleiding; deze heeft geen directe toegang tot de bestanden, tools of gesprekken van het apparaat. Dit verbetert zowel de kosten als de privacy, en we zijn van plan deze richting in toekomstig werk verder te onderzoeken.

We testen deze aanpak op uitdagende software engineering-taken, die sterk redeneervermogen vereisen en waar een lokaal model het vaakst tekortschiet. Hiervoor gebruiken we Terminal Bench 2.1, een populaire benchmark met 89 taken voor coding agents.

We willen twee vragen beantwoorden: hoeveel van de kloof naar een grensmodel kan advisor-escalatie dichten, en tegen welke kosten. Volledige lokale modellen kosten vrijwel niets om te draaien, aangezien inferentie plaatsvindt op de hardware van de gebruiker. Zodra het model echter de advisor begint aan te roepen, brengt dit API-kosten met zich mee.

Als basislijn voor grensopbouw gebruiken we Claude Opus 5 die werkt in het lokale harnas; het lokale model is Qwen 3.8 27B. Ten slotte koppelen we de twee: Qwen 3.8 27B voert de taak uit en escaleert naar een Claude Opus 5-advisor wanneer het hulp nodig heeft. We evalueren advisor-escalatie niet met Pi of Hermes omdat geen van beide een gelijkwaardige advisor-tool biedt; het toevoegen daarvan zou vereisen dat het gereedschapsoppervlak en de orkestratielogica worden gewijzigd, waardoor het resultaat niet langer het kant-en-klare harnas zou vertegenwoordigen.

Advisor-escalatie verhoogt de score van Computer van 59,6% tot 73,0%, een stijging van 13,5 procentpunten, tegen geschatte API-kosten van $ 0,415 per rollout. Het alleen draaien van Claude Opus 5 bereikt 82,4% tegen $ 0,65 per rollout. Escalatie herstelt dus ruwweg drievijfde van de kloof naar de grens tegen ongeveer tweederde van de kosten van de grens, en de gebruiker beslist wanneer die afweging de moeite waard is.

Post-training voor het harnas en kenniswerk

Tot nu toe hebben we het lokale model ongewijzigd gelaten om te isoleren wat het harnas bijdraagt. Nu het harnasontwerp op zijn plaats staat, komen de grootste resterende winsten uit het aanpassen van het model zelf. Gebruiksgegevens van Perplexity Computer laten zien wat mensen daadwerkelijk doen voor kenniswerk, die we gebruiken om trainingsgegevens te synthetiseren. We trainen het lokale model na in het Computer-harnas, geleid door de echte distributie van taken die gebruikers uitvoeren.

Concreet identificeren we een diverse set use cases die verschillende modelmogelijkheden, tools en connectoren oefenen. Uit deze use cases synthetiseren we realistische reinforcement learning-omgevingen en definiëren we uitdagende maar verifieerbare taken: elke taak bestaat uit een instructie, een omgeving en een verificateur die het eindresultaat scoort, waarbij de omgeving een Docker-container is waarin het harnas werkt. Belangrijk is dat, omdat de taken synthetisch zijn, ze geen echte documenten of gebruikersinformatie bevatten.

We gebruiken deze omgevingen voor tweetraps training: rejection fine-tuning gevolgd door reinforcement learning. In de eerste fase rollen we het model meerdere keren uit tegen elke taak, selecteren we de beste trajecten op basis van de score van de verificateur en trainen we erop met supervised learning. Deze fase initialiseert het model voor de specifieke taakdistributie en het harnas. In de tweede fase verfijnt reinforcement learning het model verder, waardoor het robuuster wordt.

Een subset van taken wordt achtergehouden voor de training en gebruikt voor de uiteindelijke evaluatie; we noemen deze achtergehouden set de Local Knowledge Work Bench: 53 taken verdeeld over zeven categorieën van alledaags kenniswerk, van diepgaand onderzoek tot documentcreatie. We zullen binnenkort een technisch rapport publiceren waarin de modeltraining in detail wordt beschreven, en we zijn van plan deze evaluatiebenchmark als open-source uit te brengen.

We hebben Qwen 3.8 27B getraind met deze aanpak, wat resulteerde in een model dat we PPLX 27B noemen, en we hebben dit geëvalueerd op de Local Knowledge Work Bench. Met het basismodel Qwen 3.8 27B behaalt Computer de hoogste score (82,6%, vergeleken met 77,6% voor Pi en 74,0% voor Hermes) en gebruikt het de minste tokens (520k, versus 681k voor Pi en 634k voor Hermes). Pi voltooiingstaken zijn het snelst met 176 seconden per taak, vergeleken met 218 seconden voor Computer en 292 seconden voor Hermes. PPLX 27B tilt de score van Computer naar 85,4%, tegen de prijs van meer tokens (678k versus 520k). De geschatte wandtijd is 250 seconden.

Tabel 2. Taakcategorieën van de Local Knowledge Work Bench.

Conclusie

Ons onderzoek toont aan dat een sterk open-source model, met capabele lokale hardware en een harnas dat daarvoor is gebouwd, echt kenniswerk aankan tegen bijna nul inferentiekosten zonder dat gevoelige gegevens het apparaat hoeven te verlaten.

Over de verschillende benchmarks heen evenaarde of overtrof Computer Hermes en Pi in nauwkeurigheid terwijl Qwen 3.8 27B werd gedraaid op een NVIDIA DGX Spark. Van de drie benchmarks die latentie en tokenteller rapporteren, was Computer het snelst op BrowseComp en ParseBench-100 en gebruikte het de minste tokens op alle drie; Pi was het snelst op de Local Knowledge Work Bench.

De winst kwam voort uit keuzes die we hebben gemaakt. We hebben een beknopt lokaal harnas gebouwd met skills die op aanvraag laden. We hebben connectoren omgezet in compacte CLI-tools in plaats van MCP-servers. De uitvoering was in een sandbox geplaatst voor de veiligheid.

De resultaten tonen ook aan waar compacte modellen ruimte voor verbetering hebben. Zo blijft het lokale model bij de uitdagende codeertaken van Terminal Bench 2.1 achter bij het grensmodel over alle drie de harnassen. Advisor-escalatie verkleint de kloof weliswaar, maar sluit deze niet volledig; er zijn nog steeds continue verbeteringen in modelmogelijkheden en lokale hardware nodig om de prestaties verder te verhogen.

Het doel van het bouwen van het harnas en het model voor lokale beperkingen is om gebruikers expliciete controle te geven over welke informatie hun machines verlaat. Er zijn ook kostenvoordelen voor de gebruiker. We zien deze als onderdeel van een brede verschuiving waarin steeds capable agents verhuizen van externe infrastructuur naar individuele en lokale apparaten. We verwachten dat vorderingen in chips, modellen en apparaten voortdurend het bereik uitbreiden van kenniswerk dat Portable Computer lokaal kan afhandelen.