Agen yang Mengutamakan Lokal untuk Pekerjaan Pengetahuan Privat dan Hemat Biaya

Perplexity Portable Computer adalah agen yang mengutamakan lokal.

Seluruh tumpukan berjalan secara lokal secara default. Model, penggerak (harness), percakapan, dan lintasan semuanya berada di mesin pengguna. Pekerjaan yang memerlukan dunia luar, seperti pencarian web, konektor, atau eskalasi ke model penasihat yang lebih kuat di cloud, dipanggil hanya bila diperlukan dan selalu dikendalikan oleh pengguna. Oleh karena itu, data sensitif tidak pernah meninggalkan perangkat tanpa izin, dan model lokal tidak mengenakan biaya inferensi: sistem ini bersifat privat dan hemat biaya berdasarkan rancangannya.

Agen yang mengutamakan lokal yang efektif memerlukan model dan penggerak (harness) yang dirancang secara bersamaan. Penggerak serbaguna mengasumsikan model terdepan yang dapat menyerap konteks panjang, menavigasi permukaan alat yang luas, dan merencanakan dalam horison yang panjang. Model lokal kurang dapat diandalkan di bawah tuntutan tersebut. Daripada meminta model kecil untuk mengelola penggerak yang dibangun untuk model besar, kami membentuk keduanya agar saling melengkapi: penggerak yang disesuaikan dengan profil kemampuan model, dan model pasca-pelatihan untuk menggunakan penggerak tersebut secara efektif.

Pendahuluan

Kemampuan agen dalam beberapa bulan terakhir telah berkembang pesat di berbagai macam tugas pekerjaan pengetahuan. Meskipun kemajuan ini menghadirkan peningkatan besar dalam produktivitas dan efisiensi, kemajuan ini juga menimbulkan dua tantangan.

Konsumsi token meningkat dengan cepat, begitu pula total pengeluaran. Ketika kecerdasan diakses melalui API dari model sumber tertutup yang berjalan di klaster jarak jauh, informasi pribadi dan kekayaan intelektual meninggalkan perangkat pengguna pada setiap permintaan. Seiring agen berskala di seluruh alur kerja individu dan seluruh organisasi, pengeluaran token dan pergerakan data menjadi semakin sulit diatur.

Pada saat yang sama, model sumber terbuka telah meningkat dengan kecepatan yang bahkan lebih tinggi. Kemajuan paling terlihat pada model yang sangat kecil dan efisien seperti NVIDIA Nemotron 3.5 Lightning (total 30B parameter), Qwen 3.6 (35B), dan Qwen 3.8 (27B). Model-model kecil ini memiliki performa yang melampaui ukuran mereka dan kini mampu melakukan alur kerja agen yang kompleks. Perangkat keras inferensi lokal berkembang secara paralel: sistem seperti NVIDIA DGX Spark kini dapat menjalankan model-model ini secara lokal. Bersama-sama, tren ini membuat pengoperasian di perangkat sepenuhnya praktis sekaligus memungkinkan pengguna memilih kemampuan eksternal bila diperlukan, seperti pencarian web, konektor, atau eskalasi model cloud.

Pendekatan yang mengutamakan lokal ini memungkinkan penghematan biaya yang signifikan, karena inferensi lokal menghindari biaya API per token. Pendekatan ini juga secara alami menyelesaikan masalah privasi dan kekayaan intelektual: token privat tidak perlu ditransmisikan ke klaster jarak jauh dan tetap aman di dalam batas perangkat lokal.

Pada bulan Juni, kami memperkenalkan orkestrator inferensi hibrida lokal-server pertama yang memutuskan pekerjaan mana yang harus berjalan di perangkat dan pekerjaan mana yang harus dikirim ke agen di cloud. Di sini kami menjelaskan bagaimana kami membangun agen yang mengutamakan lokal tersebut, termasuk penggerak dan model yang dioptimalkan bersama satu sama lain.

Kami memberikan gambaran umum tentang pilihan desain utama, mengevaluasi Computer terhadap penggerak serbaguna sumber terbuka populer (Hermes dan Pi) di tiga tolok ukur publik dan Tolok Ukur Pekerjaan Pengetahuan Lokal internal kami. Pada tolok ukur kami, dengan model Qwen 3.8 27B yang berjalan di NVIDIA DGX Spark, Computer mencapai skor tertinggi, yaitu 82,6% berbanding 77,6% untuk Pi dan 74,0% untuk Hermes. PPLX 27B, model pasca-pelatihan kami di atas Qwen 3.8 27B, meningkatkan skor lebih jauh hingga 85,4%.

Merancang penggerak (harness) di sekitar model lokal

Meskipun model di perangkat yang ringkas sudah cukup mumpuni, model tersebut masih tertinggal dari model terdepan yang lebih besar dalam hal kinerja. Penggerak yang dirancang dengan cermat diperlukan untuk mengarahkan model-model ini secara efektif dan untuk mengatasi keterbatasan mereka.

Penggerak sumber terbuka populer seperti Pi and Hermes telah terbukti bersifat serbaguna: penggerak tersebut bekerja dengan baik dengan berbagai macam model di berbagai ukuran dan kelas. Namun, penggerak tersebut tidak dioptimalkan untuk kemampuan model di perangkat. Kami merancang penggerak lokal secara khusus untuk pengaturan ini, di sekitar beberapa prinsip utama.

Efisiensi konteks

Fokus utama dalam merancang penggerak kami adalah untuk memanfaatkan konteks model sebaik-baiknya.

Meskipun model di perangkat seperti Qwen 3.8 27B menawarkan jendela konteks sebesar 260K token, kami menemukan secara empiris bahwa model tersebut mulai kesulitan melebihi 100K token. Oleh karena itu, kami menjaga penggerak inti tetap ringkas: prompt sistem minimal dan sekumpulan kecil alat inti.

Semua kemampuan lainnya dimodularisasi menjadi skill sesuai permintaan yang dimuat dan dilepaskan di sepanjang lintasan. Kami merancang skill ini untuk tugas pekerjaan pengetahuan umum: riset, sains data, visualisasi data, pembuatan dokumen, rekayasa perangkat lunak, dan banyak lagi.

Penggerak ini juga mendukung pemadatan konteks, merangkum konteks usang ketika lintasan menjadi panjang sehingga model tetap berada di dalam jendela efektifnya.

Konektor sebagai alat baris perintah

Pekerjaan pengetahuan sehari-hari sering kali memerlukan konektor seperti Gmail, GitHub, Outlook, dan Google Calendar. Ini biasanya diekspos ke penggerak sebagai server MCP, yang definisi alatnya yang besar menghabiskan sebagian besar konteks. Sebagai gantinya, kami mengubah MCP yang paling sering digunakan menjadi alat baris perintah yang ringkas dan mudah digunakan, dilengkapi dengan skill kustom yang memanfaatkan konteks efektif yang terbatas jauh lebih baik.

Verifikasi mandiri

Kinerja juga meningkat ketika agen memverifikasi pekerjaannya sendiri. Verifikasi menambahkan langkah tambahan, tetapi sangat meningkatkan hasil akhir dan secara substansial mempersempit kesenjangan dengan model terdepan. Verifikasi dapat dipicu oleh model itu sendiri atau oleh serangkaian pengait (hook) yang memantau kesehatan lintasan dan meminta verifikasi mandiri ketika terjadi kesalahan.

Eksekusi dalam kotak pasir (sandbox)

Penggerak mengeksekusi alat dalam kotak pasir tingkat OS di perangkat pengguna. Batas tersebut membatasi proses, jalur sistem file, dan akses jaringan sesuai dengan kebijakan. Ini membatasi radius ledakan dari perintah yang keliru. Jika kotak pasir tidak tersedia, penggerak akan dinonaktifkan sebelum panggilan alat apa pun alih-alih menurunkan kualitas ke eksekusi tanpa kotak pasir.

Ini berbeda dari penggerak sumber terbuka seperti Pi dan Hermes, yang menjalankan perintah secara langsung dengan izin pengguna secara default. Di Computer, isolasi selalu aktif, tidak memerlukan konfigurasi, dan alat tidak dapat berjalan tanpa isolasi tersebut.

Diagram di bawah ini menunjukkan bagaimana prinsip-prinsip ini cocok bersama dalam lingkaran eksekusi. Orkestrator adalah kode penggerak deterministik, bukan LLM: orkestrator mempertahankan lingkaran, merakit konteks, dan menegakkan kebijakan. Model lokal mengusulkan tindakan berikutnya; orkestrator mengeksekusi panggilan alat yang disetujui di kotak pasir dan mengembalikan hasilnya ke model. Pencarian web, konektor, dan panggilan penasihat melintasi batas perangkat hanya saat diaktifkan dan disetujui.

Penggerak lokal memaksimalkan model yang sama

Menggunakan model dasar di perangkat yang sama, kami membandingkan penggerak lokal kami dengan alternatif serbaguna pada riset web dan pemahaman dokumen multimodal. Semua penggerak menggunakan model Qwen 3.8 27B dengan penalaran sedang, berjalan di NVIDIA DGX Spark. Perbandingan ini mengisolasi kemampuan yang disumbangkan oleh penggerak itu sendiri, sebelum pasca-pelatihan model apa pun.

Kami berfokus pada kedua kemampuan ini karena pekerjaan pengetahuan sering kali menggabungkan dokumen privat di perangkat pengguna dengan informasi publik dari web untuk menghasilkan artifact yang beralasan. Pencarian web memerlukan konektivitas, tetapi inferensi model dan pemrosesan dokumen privat tetap lokal. File lokal berfungsi sebagai sumber otoritatif, sumber publik menambahkan konteks, dan pengguna dapat menonaktifkan pencarian web sepenuhnya untuk pekerjaan yang sepenuhnya luring.

Riset web

Kami membangun penggerak lokal berdampingan dengan mesin pencari Perplexity, yang telah mencapai peringkat teratas dalam evaluasi independen. Penggerak mengaksesnya melalui antarmuka Search as Code.

Kami mengevaluasi kualitas riset pada 1.266 tugas BrowseComp. Computer menggunakan infrastruktur pencarian Perplexity beserta penggerak lokal kami, sementara Pi dan Hermes mengandalkan Brave, penyedia pencarian yang mereka rekomendasikan. Computer mencapai akurasi 66,7%, dibandingkan dengan 50,2% untuk Pi dan 43,9% untuk Hermes.

Computer juga memiliki rata-rata waktu nyata (wall time) dan penggunaan token terendah yang tercatat: 402,1 detik dan 852 ribu token per tugas, dibandingkan dengan 1.020,9 detik dan 1,01 juta token untuk Hermes, serta 826,0 detik dan 2,82 juta token untuk Pi. Oleh karena itu, Computer menggunakan waktu nyata 61% lebih sedikit dan token 16% lebih sedikit daripada Hermes, serta waktu nyata 51% lebih sedikit dan token 70% lebih sedikit daripada Pi.

Pemahaman dokumen multimodal di perangkat

Banyak dokumen membawa informasi secara visual dan sulit diurai sebagai teks biasa: PDF, halaman yang dipindai, tangkapan layar, bagan, dan presentasi. Alur kerja ini bergantung pada OCR dan pemahaman gambar, serta paling diuntungkan dari model yang secara natif bersifat multimodal.

Penggerak meneruskan halaman dokumen dan gambar langsung ke model, yang memahaminya dan menggabungkan bukti visual dengan teks yang diekstrak. Memproses file-file ini di perangkat menjaga dokumen sensitif dan konten yang diekstrak tetap privat.

Kami mengevaluasi pemahaman dokumen multimodal pada ParseBench-100, subseratus tugas dari tolok ukur ParseBench, dengan masing-masing 20 tugas untuk bagan, tata letak, tabel, konten teks, dan pemformatan.

Computer mencapai skor rata-rata 65,1%, dibandingkan dengan 34,6% untuk Hermes dan 13,9% untuk Pi. Computer juga menyelesaikan tugas dengan waktu paling sedikit dan token paling sedikit: rata-rata 60,6 detik dan 20,1 ribu token per tugas, dibandingkan dengan 108,3 detik dan 32,1 ribu token untuk Hermes, serta 410,5 detik dan 829,1 ribu token untuk Pi. Computer memimpin di kelima kategori dokumen, dengan keunggulan terbesar pada bagan. Tata letak tetap sulit bagi ketiga penggerak.

Tabel 1. Skor rata-rata ParseBench-100 berdasarkan kategori dokumen untuk penggerak Computer, Hermes, dan Pi dengan model Qwen 3.8 27B di perangkat. Computer memimpin di kelima kategori.

Mempersempit kesenjangan model terdepan dengan eskalasi penasihat

Bahkan dengan penggerak yang dirancang dengan cermat, tugas tersulit masih melampaui kemampuan model di perangkat yang ringkas. Untuk tugas semacam itu, penggerak mengekspos alat penasihat: model lokal dapat berkonsultasi dengan model terdepan yang lebih kuat ketika membutuhkan bantuan dalam perencanaan, menyelesaikan ambiguitas, memulihkan diri dari kegagalan berulang, atau memverifikasi hasil akhir.

Model lokal memutuskan kapan harus meminta saran, sementara orkestrator penggerak mempertahankan otoritas alat dan mengontrol konteks apa yang dikirim. Eskalasi bersifat opsional. Pengguna memutuskan apakah akan mengaktifkannya dan apakah akan menyetujui setiap panggilan penasihat secara manual atau otomatis.

Sebelum panggilan penasihat, penggerak memilih konteks yang relevan, menerapkan pengklasifikasi PII untuk menandai informasi sensitif, dan menunjukkan kepada pengguna apa yang akan meninggalkan perangkat. Penasihat hanya menerima konteks yang disetujui dan mengembalikan panduan teks; penasihat tidak memiliki akses langsung ke file, alat, atau percakapan perangkat. Ini meningkatkan biaya sekaligus privasi, dan kami berencana untuk mengeksplorasi arah ini lebih jauh dalam pekerjaan mendatang.

Kami menguji pendekatan ini pada tugas rekayasa perangkat lunak yang menantang, yang menuntut penalaran yang kuat dan merupakan area di mana model lokal paling sering gagal. Untuk ini, kami menggunakan Terminal Bench 2.1, tolok ukur 89 tugas yang populer untuk agen pengkodean.

Kami ingin menjawab dua pertanyaan: seberapa besar kesenjangan dengan model terdepan yang dapat ditutup oleh eskalasi penasihat, dan dengan biaya berapa. Model yang sepenuhnya lokal hampir tidak memerlukan biaya untuk dijalankan, karena inferensi terjadi pada perangkat keras pengguna. Namun, begitu model mulai memanggil penasihat, model tersebut mulai mengeluarkan biaya API.

Sebagai garis dasar untuk kinerja model terdepan, kami menggunakan Claude Opus 5 yang beroperasi di penggerak lokal; model lokalnya adalah Qwen 3.8 27B. Terakhir, kami memasangkan keduanya: Qwen 3.8 27B mengeksekusi tugas dan meningkatkan ke penasihat Claude Opus 5 saat membutuhkan bantuan. Kami tidak mengevaluasi eskalasi penasihat dengan Pi atau Hermes karena tidak satupun dari keduanya yang menyediakan alat penasihat yang setara; menambahkan alat tersebut akan memerlukan modifikasi permukaan alat dan logika orkestrasinya, sehingga hasilnya tidak lagi mewakili penggerak siap pakai.

Eskalasi penasihat menaikkan skor Computer dari 59,6% menjadi 73,0%, peningkatan sebesar 13,5 poin persentase, dengan perkiraan biaya API sebesar $0,415 per peluncuran. Menjalankan Claude Opus 5 saja mencapai 82,4% pada $0,65 per peluncuran. Eskalasi dengan demikian memulihkan sekitar tiga perlima dari kesenjangan ke model terdepan pada sekitar dua pertiga dari biaya model terdepan, dan pengguna memutuskan kapan pertukaran tersebut layak dilakukan.

Pasca-pelatihan untuk penggerak dan pekerjaan pengetahuan

Sejauh ini, kami mempertahankan model lokal tidak berubah untuk mengisolasi apa yang disumbangkan oleh penggerak. Dengan desain penggerak yang ada, keuntungan terbesar yang tersisa berasal dari penyesuaian model itu sendiri. Data penggunaan Perplexity Computer menunjukkan kepada kami apa yang sebenarnya dilakukan orang untuk pekerjaan pengetahuan, yang kami gunakan untuk mensintesis data pelatihan. Kami melakukan pasca-pelatihan pada model lokal di dalam penggerak Computer, dipandu oleh distribusi nyata dari tugas yang dilakukan pengguna.

Secara konkret, kami mengidentifikasi beragam rangkaian kasus penggunaan yang menguji berbagai kemampuan model, alat, dan konektor. Dari kasus penggunaan ini, kami mensintesis lingkungan pembelajaran penguatan (reinforcement learning) yang realistis dan menentukan tugas yang menantang namun dapat diverifikasi: setiap tugas terdiri dari instruksi, lingkungan, dan verifikator yang menilai hasil akhir, di mana lingkungannya adalah wadah (container) Docker tempat penggerak beroperasi. Yang penting, karena tugas-tugas tersebut bersifat sintetis, tugas-tugas tersebut tidak berisi dokumen nyata atau informasi pengguna.

Kami menggunakan lingkungan ini untuk pelatihan dua tahap: penyetelan halus penolakan (rejection fine-tuning) diikuti oleh pembelajaran penguatan. Pada tahap pertama, kami meluncurkan model terhadap setiap tugas beberapa kali, memilih lintasan terbaik berdasarkan skor verifikator, dan melatihnya dengan pembelajaran terawasi. Tahap ini menginisialisasi model untuk penggerak dan distribusi tugas tertentu. Pada tahap kedua, pembelajaran penguatan semakin menyetel halus model, menjadikannya lebih tangguh.

Sebagian tugas disisihkan dari pelatihan dan digunakan untuk evaluasi akhir; kami menyebut rangkaian yang disisihkan ini sebagai Tolok Ukur Pekerjaan Pengetahuan Lokal: 53 tugas yang mencakup tujuh kategori pekerjaan pengetahuan sehari-hari, mulai dari Penelitian mendalam hingga pembuatan dokumen. Kami akan segera menerbitkan laporan teknis yang menjelaskan pelatihan model secara rinci, dan kami berencana untuk menjadikan tolok ukur evaluasi ini sebagai sumber terbuka.

Kami melakukan pasca-pelatihan pada Qwen 3.8 27B dengan pendekatan ini, menghasilkan model yang kami sebut PPLX 27B, dan mengevaluasinya pada Tolok Ukur Pekerjaan Pengetahuan Lokal. Dengan model dasar Qwen 3.8 27B, Computer mencapai skor tertinggi (82,6%, dibandingkan dengan 77,6% untuk Pi dan 74,0% untuk Hermes) dan menggunakan token paling sedikit (520 ribu, versus 681 ribu untuk Pi dan 634 ribu untuk Hermes). Pi menyelesaikan tugas paling cepat pada 176 detik per tugas, dibandingkan dengan 218 detik untuk Computer dan 292 detik untuk Hermes. PPLX 27B mengangkat skor Computer menjadi 85,4%, dengan biaya lebih banyak token (678 ribu versus 520 ribu). Perkiraan waktu nyatanya adalah 250 detik.

Tabel 2. Kategori tugas Tolok Ukur Pekerjaan Pengetahuan Lokal.

Kesimpulan

Penelitian kami menunjukkan bahwa model sumber terbuka yang kuat, dengan perangkat keras lokal yang mumpuni dan penggerak yang dibangun untuk model tersebut, dapat menangani pekerjaan pengetahuan nyata dengan biaya inferensi mendekati nol tanpa mengharuskan data sensitif meninggalkan perangkat.

Di berbagai tolok ukur, Computer menyamai atau melampaui Hermes dan Pi dalam akurasi saat menjalankan Qwen 3.8 27B pada NVIDIA DGX Spark. Di antara tiga tolok ukur yang melaporkan latensi dan penggunaan token, Computer adalah yang tercepat pada BrowseComp dan ParseBench-100 serta menggunakan token paling sedikit pada ketiga tolok ukur tersebut; Pi adalah yang tercepat pada Tolok Ukur Pekerjaan Pengetahuan Lokal.

Keuntungan tersebut berasal dari pilihan yang kami buat. Kami membangun penggerak lokal yang ringkas dengan skill yang dimuat sesuai permintaan. Kami mengubah konektor menjadi alat CLI yang ringkas alih-alih server MCP. Eksekusi ditempatkan di dalam kotak pasir demi keamanan.

Hasilnya juga menunjukkan di mana model ringkas memiliki ruang untuk peningkatan. Sebagai contoh, pada tugas pengkodean Terminal Bench 2.1 yang menantang, model lokal tertinggal dari model terdepan di ketiga penggerak. Eskalasi penasihat mempersempit tetapi tidak sepenuhnya menutup kesenjangan; peningkatan lanjutan dalam kemampuan model dan perangkat keras lokal masih diperlukan untuk mendorong kinerja lebih jauh.

Tujuan membangun penggerak dan model untuk batasan lokal adalah untuk memberikan kontrol eksplisit kepada pengguna atas informasi apa yang meninggalkan mesin mereka. Ada juga manfaat biaya bagi pengguna. Kami melihat ini sebagai bagian dari pergeseran yang lebih luas di mana agen yang semakin mumpuni berpindah dari infrastruktur jarak jauh ke perangkat individu dan lokal. Kami berharap bahwa kemajuan dalam cip, model, dan perangkat akan terus memperluas jangkauan dan kualitas pekerjaan pengetahuan yang ditangani oleh Portable Computer secara lokal.