PII-TRACE: Mendeteksi Data Pribadi Sebelum Meninggalkan Perangkat

Komputasi hibrida di Mac membagi tugas Perplexity Computer antara model terdepan di cloud dan model lokal di Mac. Agen cloud menangani penelitian, penalaran, dan perencanaan, sementara model lokal bekerja dengan file pribadi dan informasi sensitif.

Batasan ini bergantung pada deteksi informasi pengenal pribadi (PII) sebelum meninggalkan perangkat. Gerbang privasi lokal menjaga konten sensitif tetap di Mac, meredaksi informasi pribadi yang terdeteksi, atau meminta persetujuan sebelum mengirimkannya ke cloud.

Deteksi menjadi lebih sulit dalam percakapan yang panjang dan multibahasa. Pengenal yang sama mungkin muncul beberapa kali di giliran yang berbeda. Satu penyebutan yang terlewat dapat mengekspos informasi yang seharusnya dilindungi oleh sistem.

Pendahuluan

Hari ini, kami memperkenalkan PII-TRACE (Tracing Recurring PII Across Conversational Exchanges), tolok ukur baru untuk mengevaluasi detektor informasi pengenal pribadi (PII), dan PII-Tracer, model 0.6B yang ringkas untuk deteksi PII.

Agen berbasis cloud memaksa pengguna untuk menyeimbangkan konteks, kecerdasan, dan privasi. Lebih banyak konteks pribadi dapat membantu agen memahami pengguna dan menghasilkan hasil yang lebih baik. Namun, menyediakan konteks ini sering kali berarti mengirimkan informasi pribadi ke layanan jarak jauh dan dapat membocorkan informasi pribadi. Informasi yang membuat asisten berguna justru bisa jadi adalah hal yang paling ingin dijaga kerahasiaannya oleh pengguna.

AI Hibrida meringankan trade-off ini dengan membagi pekerjaan antara perangkat pengguna dan model cloud. Namun batasan tersebut hanya melindungi privasi jika perangkat dapat mengenali PII sebelum teks dikirim ke model jarak jauh. Pengguna seharusnya tidak perlu memeriksa setiap pesan sendiri. Perangkat memerlukan detektor PII lokal sebagai gerbang privasinya. Dalam percakapan panjang, pengenal yang sama dapat berulang di berbagai giliran, dan satu penyebutan yang terlewat sudah cukup bagi informasi pribadi untuk lolos.

Perplexity memperkenalkan orkestrator inferensi hibrida server-lokal yang menentukan pekerjaan mana yang harus dijalankan di perangkat dan pekerjaan mana yang harus dikirim ke agen di cloud. Model, perangkat agen, percakapan, dan alur eksekusi semuanya berada di mesin pengguna. Tugas yang memerlukan akses ke dunia luar hanya dipanggil bila perlu dan dibatasi oleh izin pengguna. Hasilnya, hingga disetujui pengguna, konten tersebut tetap berada di perangkat.

PII-Tracer menyediakan satu sinyal kontrol lokal untuk perutean model dengan menandai span yang diprediksi mengandung PII. Aplikasi kemudian memberlakukan kebijakan perutean tersebut. Hal ini menjaga masukan yang relevan tetap di lokal, meredaksi span yang terdeteksi, atau meminta persetujuan eksplisit sebelum meningkatkan ke model cloud. Ini membuat perutean menjadi lebih selektif. PII yang terdeteksi tetap berada di perangkat sementara konteks yang disetujui tetap mendapatkan manfaat dari model cloud terdepan.

Perutean selektif bergantung pada deteksi yang konsisten di seluruh percakapan. Pengenal yang sama dapat berulang di berbagai giliran, dan penyebutan yang terlewat mungkin masih terkirim.

Di antara 12 detektor, PII-Tracer mencatat F1 karakter tertinggi dan cakupan konsisten tertinggi dari pengenal berulang. Tolok ukur tersebut menjelaskan mengapa kedua hasil tersebut penting: pada percakapan yang panjang, menemukan sebagian besar PII tidak sama dengan menemukan setiap salinannya.

Deteksi PII Menghadapi Tantangan Baru dalam AI Hibrida

Deteksi PII adalah masalah keamanan yang sudah lama ada, dan beberapa tolok ukur serta detektor sudah ada. Namun, deteksi PII dalam pengaturan AI hibrida menghadirkan tantangan baru. Secara khusus, detektor harus mengidentifikasi PII dalam percakapan panjang multi-giliran, di mana konteks percakapan menentukan apakah sebuah string harus dianggap sebagai PII. Sebagai contoh, sebuah nama dapat mengidentifikasi pengguna dalam satu percakapan, merujuk pada tokoh publik di percakapan lain, atau sekadar menjadi placeholder yang dihasilkan oleh asisten. Bentuk permukaan saja tidak cukup untuk menentukan apakah sebuah string harus ditandai sebagai PII.

Detektor dan tolok ukur PII yang ada saat ini terutama menargetkan catatan individual. Kami menemukan bahwa detektor yang dirancang untuk memproses satu catatan dalam satu waktu memiliki performa yang buruk pada percakapan yang panjang dan kompleks. Selain itu, tolok ukur yang ada umumnya tidak mengevaluasi konsistensi antar giliran. Akibatnya, performa yang kuat pada tolok ukur ini tidak selalu menghasilkan deteksi PII yang efektif dalam percakapan panjang multi-giliran.

PII-TRACE: Tolok Ukur untuk Deteksi PII yang Kritis terhadap Penerapan

Kami merancang PII-TRACE berdasarkan tiga perilaku yang penting ketika detektor PII digunakan pada percakapan asisten. Yang pertama adalah cakupan konsisten: ketika pengenal muncul beberapa kali atau melintasi giliran pengguna dan asisten, detektor perlu menemukan setiap penyebutan. Yang kedua adalah ketahanan terhadap konteks panjang: percakapan berkisar dari kurang dari 1.000 hingga lebih dari 100.000 karakter, memungkinkan pengukuran apa yang terjadi seiring bertambahnya riwayat. Yang ketiga adalah menangani multibahasa dan konten format campuran: percakapan dapat beralih bahasa dan menggabungkan prosa dengan kode, tabel, atau catatan terstruktur. PII-TRACE mempertahankan pola-pola ini dengan mengevaluasi setiap dialog secara lengkap alih-alih memecahnya menjadi catatan yang terisolasi.

Tolok ukur ini mengukur performa pada dua tingkat yang saling melengkapi. Pada tingkat pengenal, deteksi konsisten menanyakan pertanyaan yang lebih ketat: apakah detektor mencakup setiap karakter di setiap penyebutan dari pengenal yang sama? Kami melaporkan skor ini secara terpisah untuk pengenal dengan beberapa penyebutan dan untuk pengenal yang berulang di berbagai giliran. Pada tingkat karakter, presisi mengukur seberapa banyak teks yang ditandai oleh detektor berlabel PII, recall mengukur seberapa banyak PII berlabel yang ditemukannya, dan F1 menyeimbangkan keduanya.

PII-TRACE berisi 13.148 percakapan sintetis antara pengguna dan asisten di 13 bahasa dan 10 sistem penulisan, dengan 37.431 penyebutan pengenal yang diberi label pada tingkat karakter di sembilan jenis PII. Sebanyak 41% dari percakapan tersebut berisi konten terstruktur. Di antara 5.645 percakapan dengan PII yang diberi label, 63,8% mencakup pengenal yang muncul lebih dari sekali, dan 28,7% mencakup pengenal yang muncul di beberapa giliran.

Membangun kumpulan data sintetis dari percakapan produksi

PII-TRACE mempertahankan struktur giliran dari percakapan sumber tanpa menerbitkan aslinya. Alur ini menulis ulang setiap giliran dan mengganti setiap pengenal berlabel dengan nilai sintetis.

Pertama, beberapa model bahasa menandai sembilan jenis PII dalam percakapan pengguna-asisten produksi. Pass berbasis aturan mengelompokkan pengenal berulang dari jenis yang sama di bawah satu ID entitas. Setiap nilai yang ditandai kemudian diganti dengan placeholder bertipe, meninggalkan templat yang mempertahankan urutan giliran, jenis PII, dan tautan antar penyebutan tetapi tidak ada nilai asli yang ditandai.

Sistem memparafrasekan setiap giliran sambil menjaga placeholder tersebut tetap utuh, lalu memasukkan nilai sintetis yang cocok dengan jenis dan format pengenal tersebut. Penyebutan berulang menerima nilai yang sama dalam suatu percakapan, sementara percakapan yang berbeda menggunakan nilai yang dihasilkan secara independen. Pass perataan akhir menghitung ulang setiap offset karakter.

Tiga gerbang otomatis memeriksa bahwa penggantian cocok dengan span yang disimpan, penyebutan berulang menggunakan nilai yang sama, dan nilai sumber yang ditandai tidak ada di bawah pemindaian ulang Presidio dan ekspresi reguler (regex). Offset yang disimpan juga harus memulihkan substring sintetis yang tepat. Catatan yang gagal akan dibuat ulang atau dibuang. Model bahasa kedua mengaudit sampel, dan manusia meninjau apa pun yang ditandainya sebagai PII.

PII-Tracer: Detektor Ringkas untuk Penggunaan Lokal

PII-Tracer adalah encoder bidireksional 0,6B yang diadaptasi dari fondasi Qwen3. Penyaringan privasi berbeda dari pembuatan teks dan memerlukan pencarian span PII yang relevan serta pengembalian batasannya. Akibatnya, PII-Tracer mengganti masking kausal Qwen3 dengan attention bidireksional yang sadar-padding (padding-aware), sehingga setiap token dapat memanfaatkan giliran sebelumnya dan sesudahnya dalam jendela 4.096 token.

Untuk setiap token, encoder menghasilkan representasi 1.024 dimensi. Kepala penandaan linier menghasilkan skor untuk 37 label yang mungkin: satu label khusus (yang kami gunakan O untuk menandakannya) untuk teks di luar span PII, ditambah empat label posisi span untuk masing-masing sembilan jenis PII. Dalam skema BIOES untuk Pengenalan Entitas Bernama (NER), B (Beginning), I (Inside), dan E (End) menandai span multi-token, sementara S (Single) menandai span satu token. Kepala sekunder juga memprediksi apakah percakapan tersebut berisi materi sensitif, seperti informasi kesehatan atau agama.

Kami melatih PII-Tracer selama tiga epoch pada sekitar 714.000 sampel pelatihan, menggabungkan percakapan asisten multibahasa dengan contoh catatan tunggal. Encoder bidireksional bersama memiliki dua kepala pelatihan: kepala token BIOES 37 kelas yang mendeteksi dan memberi jenis pada span PII, dan kepala tingkat percakapan biner yang memprediksi apakah percakapan tersebut berisi materi sensitif. Kami melatih kedua kepala secara bersamaan menggunakan $\mathcal{L}=1.5\mathcal{L}_{\mathrm{tag}}+0.3\mathcal{L}_{\mathrm{sens}}$. Di sini, $\mathcal{L}_{\mathrm{tag}}$ memberikan bobot lebih pada label PII yang jarang sehingga label `O` yang sering muncul tidak mendominasi, sementara $\mathcal{L}_{\mathrm{sens}}$ memasok sinyal pelatihan tingkat percakapan; koefisien 1,5 dan 0,3 menjaga deteksi span sebagai tugas utama. Sinyal sekunder ini memperkuat deteksi sadar-konteks: model belajar untuk menilai kandidat span dalam percakapan alih-alih sebagai string yang terisolasi, membantu mengurangi positif palsu dengan hanya sedikit pertukaran (tradeoff) pada recall.

Pada waktu inferensi, Viterbi decoder yang dibatasi mencari urutan BIOES valid dengan skor tertinggi alih-alih memberi label pada setiap token secara independen. Sebagai contoh, B-private_person dapat dilanjutkan dengan I-private_person atau ditutup dengan E-private_person, tetapi tidak beralih ke I-private_email. Decoder memetakan kembali hasilnya ke span karakter yang tepat untuk penghilangan (redaksi) atau perutean lokal.

PII-Tracer Unggul pada F1 Karakter dan PII Berulang

Kami membandingkan detektor pada level karakter dan span. Karakter F1 mengevaluasi deteksi karakter demi karakter. Span-overlap F1 mengukur apakah detektor mengidentifikasi bagian mana pun dari item PII, sementara span-containment F1 mengukur apakah detektor menangkap seluruh item tersebut.

PII-Tracer mencapai F1 karakter tertinggi (0,629) di antara 12 sistem yang dievaluasi, serta F1 span-overlap dan span-containment tertinggi kedua. Model-model terdepan, yaitu GPT-5.6-sol dan Claude Sonnet 5, mencapai performa keseluruhan yang sebanding. GPT-5.6-sol memperoleh skor yang lebih tinggi pada kedua metrik F1 tingkat span, tetapi F1 karakter yang lebih rendah. Namun, model terdepan ini memiliki ratusan miliar atau bahkan triliunan parameter dan merupakan model sumber tertutup (closed-source) yang di host di cloud. Akibatnya, model tersebut tidak cocok untuk melindungi data lokal yang sensitif dalam pengaturan AI hibrida di mana teks yang belum disaring harus tetap berada di lokal. Sebaliknya, PII-Tracer memberikan deteksi tingkat span yang mendekati tingkat terdepan hanya dengan 0,6B parameter dan dapat memproses teks yang belum disaring secara lokal sepenuhnya. Detektor PII sumber terbuka (open-source) lainnya memiliki performa yang jauh lebih buruk daripada PII-Tracer.

Menemukan Setiap Penyebutan Berulang

Eksperimen konsistensi menerapkan pengujian yang lebih ketat pada prediksi yang sama. Kumpulan pengujian berisi 899 pengenal yang muncul sekali dan 959 yang muncul lebih dari sekali; 790 dari pengenal berulang merentang di beberapa giliran. Gambar tersebut melaporkan empat kelompok jumlah penyebutan (satu, dua, tiga hingga lima, dan enam hingga sepuluh) dan menghitung pengenal hanya ketika semua karakter berlabelnya ditemukan. Grafik ini memplot PII-Tracer dengan tiga baseline terpilih, sementara tabel agregat melaporkan skor berulang dan lintas giliran untuk kedua belas sistem.

PII-Tracer tetap unggul seiring peningkatan repetisi: skornya bergerak dari 0,917 untuk satu penyebutan menjadi 0,873 untuk dua, 0,796 untuk tiga hingga lima, dan 0,691 untuk enam hingga sepuluh. Pada kelompok terakhir, GPT-5.6-sol mencapai 0,464, sementara GLiNER2-PII dan Claude Opus 4.8 masing-masing mencapai 0,073 dan 0,045. Dalam keseluruhan evaluasi, PII-Tracer menemukan setiap penyebutan dari 79,4% pengenal berulang dan 77,6% pengenal lintas giliran; GPT-5.6-sol mencapai 57,0% dan 55,1% pada dua ukuran yang sama.

Mencakup Percakapan Panjang

Kami pertama-tama mengelompokkan semua 1.922 percakapan pengujian berdasarkan panjang karakter dan mendekode PII-Tracer dengan jendela 4.096 token. Kelompok tersebut berisi 167 percakapan di bawah 1.000 karakter, 1.292 dari 1.000 hingga 10.000, dan 463 pada 10.000 atau lebih.

Recall jendela tunggal adalah 0,975 di bawah 1.000 karakter dan 0,955 dari 1.000 hingga 10.000, tetapi turun menjadi 0,687 untuk percakapan pada atau di atas 10.000 karakter. Presisi tetap mendekati 0,51 pada dua kelompok yang lebih panjang, menunjukkan cakupan masukan sebagai masalah utama.

Untuk mempelajari efek penanganan masukan, kami mengevaluasi checkpoint yang sama dengan pengkodean sliding-window 50%-overlap. Ini meningkatkan recall karakter secara keseluruhan dari 0,830 menjadi 0,965 dan deteksi konsisten multi-penyebutan dari 0,794 menjadi 0,954, tanpa pelatihan ulang.

Konsisten Lintas Bahasa

PII-TRACE mencakup 13 bahasa; eksperimen bahasa melaporkan irisan enam bahasa yang mencakup skrip Latin, Kiril, dan Hangul: Inggris, Jerman, Prancis, Italia, Rusia, dan Korea. Kami menjalankan 12 detektor yang sama pada semua percakapan pengujian di setiap bahasa. Di dalam setiap bahasa, kami mengumpulkan karakter prediksi dan emas serta menghitung F1 karakter.

PII-Tracer memimpin F1 karakter di empat dari enam bahasa, yaitu Jerman (0,735), Prancis (0,633), Italia (0,676), dan Rusia (0,651), serta berada dalam jarak 0,016 dan 0,036 dari hasil terbaik dalam bahasa Inggris dan Korea. Dalam analisis pendukung, hal ini mengarah pada deteksi yang konsisten di semua enam subset bahasa, dengan skor 0,80–0,93. Tampilan per bahasa menunjukkan peningkatan di luar bahasa Inggris.

F1 Karakter Lebih Tinggi daripada Filter Privasi pada Lima Tolok Ukur Standar

Eksperimen terakhir berpindah ke luar PII-TRACE. Kami menjalankan PII-Tracer dan OpenAI Privacy Filter pada split validasi ai4privacy (47.728 dokumen), split uji Nemotron-PII (100.000), set SPY seed tetap (8.688), split uji Gretel PII (5.000), dan split uji TAB ECHR (127).

PII-Tracer memiliki F1 karakter yang lebih tinggi pada setiap kumpulan data: 0,950 versus 0,907 pada ai4privacy, 0,847 versus 0,709 pada Nemotron-PII, 0,585 versus 0,543 pada SPY, 0,952 versus 0,895 pada Gretel PII, dan 0,594 versus 0,350 pada TAB. TAB adalah satu-satunya tolok ukur dalam kelompok ini yang dibangun dari teks asli berlabel manusia. Di sana, PII-Tracer mencapai presisi 0,986 versus 0,982 dan recall 0,425 versus 0,213—dua kali lipat recall pada presisi yang pada dasarnya sama (detail di makalah). Oleh karena itu, F1 yang lebih tinggi terbawa dari percakapan PII-TRACE ke kelima tolok ukur catatan tunggal konvensional dalam perbandingan ini.

Kesimpulan

AI hibrida mengintegrasikan perangkat pengguna ke dalam tumpukan inferensi, menawarkan privasi yang lebih kuat dan biaya yang lebih rendah. Model terdepan di cloud dapat menangani penelitian, penalaran, dan perencanaan, sementara model lokal bekerja dengan file dan data pribadi yang harus tetap berada di perangkat. Pembagian ini bergantung pada pengenalan informasi sensitif sebelum data sensitif apa pun dikirim ke cloud.

PII-Tracer adalah model ringkas untuk mendeteksi PII dalam percakapan multi-giliran, sementara PII-TRACE mengevaluasi apakah detektor dapat secara konsisten mengidentifikasi PII berulang di seluruh percakapan.

Secara bersama-sama, PII-TRACE dan PII-Tracer menyediakan tolok ukur dan model referensi untuk memajukan deteksi PII dalam percakapan multi-giliran dan pengaturan konteks panjang lainnya.

Agen mengambil tugas yang lebih panjang dan bekerja dengan lebih banyak konteks pribadi. Akibatnya, kontrol privasi harus berlaku di seluruh percakapan, bukan hanya pada masukan awal. AI hibrida bergantung pada deteksi lokal yang andal untuk menjaga konteks sensitif tetap berada di perangkat.

Baca makalah arXiv untuk detail tentang tolok ukur PII-TRACE, model PII-Tracer, dan evaluasi kami. Kami berencana untuk merilis PII-TRACE dan PII-Tracer segera.