PII-TRACE: Detekcija ličnih podataka pre nego što napuste uređaj

Hibridno izračunavanje na Mac-u deli zadatke Perplexity Computer-a između naprednih modela u oblaku i lokalnog modela na Mac-u. Agenti u oblaku se bave istraživanjem, rasuđivanjem i planiranjem, dok lokalni model radi sa privatnim datotekama i osetljivim informacijama.

Ova granica zavisi od detekcije lično prepoznatljivih informacija (PII) pre nego što napuste uređaj. Lokalna kapija privatnosti čuva osetljiv sadržaj na Mac-u, rediguje detektovane privatne informacije ili traži odobrenje pre slanja u oblak.

Detekcija postaje teža u dugim, višejezičnim razgovorima. Isti identifikator se može pojaviti nekoliko puta kroz različite razmene. Jedno propušteno pominjanje može izložiti informacije koje sistem treba da zaštiti.

Uvod

Danas predstavljamo PII-TRACE (Tracing Recurring PII Across Conversational Exchanges), novi reper za procenu detektora lično prepoznatljivih informacija (PII) i PII-Tracer, kompaktan model od 0,6B za detekciju PII.

Agenti koji su primarno u oblaku primoravaju korisnike da balansiraju kontekst, inteligenciju i privatnost. Više ličnog konteksta može pomoći agentu da razume korisnika i dâ bolje rezultate. Ali pružanje ovog konteksta često znači slanje privatnih informacija udaljenom servisu i može prouzrokovati curenje ličnih informacija. Informacije koje čine asistenta korisnim mogu biti upravo ono što korisnik najviše želi da zadrži privatnim.

Hibridna veštačka inteligencija olakšava ovaj kompromis deljenjem posla između uređaja korisnika i modela u oblaku. Ali ta granica štiti privatnost samo ako uređaj može da prepozna PII pre nego što se tekst pošalje udaljenom modelu. Korisnici ne bi trebalo sami da pregledaju svaku poruku. Uređaju je potreban lokalni PII detektor kao kapija privatnosti. U dugim razgovorima, isti identifikator može da se ponovi kroz razmene, i jedno propušteno pominjanje je dovoljno da lične informacije prođu.

Perplexity je uveo hibridni orkestrator inferencije na lokalnom serveru koji odlučuje koji posao treba da se pokreće na uređaju, a koji posao treba da ide agentima u oblaku. Model, okruženje agenata, razgovori i putanje izvršavanja se nalaze na mašini korisnika. Zadaci koji zahtevaju pristup spoljnom svetu se pokreću samo kada je to neophodno i zaštićeni su dozvolom korisnika. Kao rezultat toga, dok korisnik ne odobri, taj sadržaj ostaje na uređaju.

PII-Tracer obezbeđuje jedan lokalni kontrolni signal za usmeravanje modela označavanjem opsega za koje se predviđa da sadrže PII. Aplikacija zatim sprovodi politiku usmeravanja. Ona čuva relevantan unos lokalno, rediguje detektovane opsege ili traži eksplicitno odobrenje pre eskalacije na model u oblaku. Ovo čini usmeravanje selektivnijim. Detektovani PII ostaje na uređaju, dok odobreni kontekst i dalje ima koristi od naprednih modela u oblaku.

Selektivno usmeravanje zavisi od dosledne detekcije kroz ceo razgovor. Isti identifikator može da se ponovi kroz razmene, a propušteno pominjanje se i dalje može preneti.

Kroz 12 detektora, PII-Tracer beleži najviši F1 karakter i najvišu doslednu pokrivenost ponovljenih identifikatora. Reper objašnjava zašto su oba rezultata važna: na dugom razgovoru, pronalaženje većine PII nije isto što i pronalaženje svake njegove kopije.

Detekcija PII se suočava sa novim izazovima u hibridnoj veštačkoj inteligenciji

Detekcija PII je dugogodišnji bezbednosni problem i već postoji nekoliko repera i detektora. Međutim, detekcija PII u postavkama hibridne veštačke inteligencije uvodi nove izazove. Konkretno, detektori moraju identifikovati PII u dugim razgovorima sa više razmena, gde konverzacijski kontekst određuje da li se niska treba smatrati PII. Na primer, ime može da identifikuje korisnika u jednom razgovoru, da se odnosi na javnu ličnost u drugom ili da jednostavno bude rezervisani prostor koji je generisao asistent. Sama površinska forma je nedovoljna da se utvrdi da li niska treba da bude označena kao PII.

Postojeći PII detektori i referentne vrednosti prvenstveno ciljaju pojedinačne zapise. Utvrdili smo da detektori dizajnirani za obradu jednog po jednog zapisa imaju loše performanse na dugim, složenim razgovorima. Takođe, postojeće referentne vrednosti uglavnom ne procenjuju doslednost kroz razmene. Kao rezultat toga, dobre performanse na ovim referentnim vrednostima se ne prevode nužno u efikasnu detekciju PII u dugim razgovorima sa više razmena.

PII-TRACE: Reper za detekciju PII kritičnu za primenu

Dizajnirali smo PII-TRACE oko tri ponašanja koja su važna kada se PII detektor koristi u razgovorima sa asistentom. Prvo je dosledna pokrivenost: kada se identifikator pojavi nekoliko puta ili pređe razmene korisnika i asistenta, detektor treba da pronađe svako pominjanje. Drugo je otpornost na dug kontekst: razgovori se kreću od manje od 1.000 do više od 100.000 karaktera, što omogućava merenje šta se dešava kako istorija raste. Treće je rukovanje sa više jezika i sadržajem mešovitog formata: razgovor može da promeni jezik i kombinuje prozu sa kodom, tabelama ili struktuiranim zapisima. PII-TRACE čuva ove obrasce procenjujući svaki pun dijalog umesto da ga deli na izolovane zapise.

Reper meri performanse na dva komplementarna nivoa. Na nivou identifikatora, dosledna detekcija postavlja strože pitanje: da li je detektor pokrio svaki karakter u svakom pominjanju istog identifikatora? Ovaj rezultat izveštavamo posebno za identifikatore sa više pominjanja i za identifikatore koji se ponavljaju kroz razmene. Na nivou karaktera, preciznost meri koliko je teksta označenog od strane detektora označeno kao PII, odziv meri koliko označenog PII nalazi, a F1 balansira to dvoje.

PII-TRACE sadrži 13.148 sintetičkih razgovora između korisnika i asistenta na 13 jezika i 10 sistema pisanja, sa 37.431 pomenutim identifikatorom označenim na nivou karaktera u devet PII tipova. Ukupno 41% razgovora sadrži struktuiran sadržaj. Među 5.645 razgovora sa označenim PII, 63,8% uključuje identifikator koji se pojavljuje više puta, a 28,7% uključuje identifikator koji se pojavljuje u više razmena.

Izgradnja sintetičkog skupa podataka iz proizvodnih razgovora

PII-TRACE čuva strukturu razmene izvornih razgovora bez objavljivanja originala. Cevovod prepisuje svaku razmenu i zamenjuje svaki označeni identifikator sintetičkom vrednošću.

Prvo, više jezičkih modela označava devet tipova PII u proizvodnim razgovorima između korisnika i asistenta. Prolaz zasnovan na pravilima grupiše ponovljene identifikatore istog tipa pod jednim ID-jem entiteta. Svaka označena vrednost se zatim zamenjuje tipiziranim rezervisanim prostorom, ostavljajući šablon koji zadržava redosled razmena, tip PII i veze između pominjanja, ali nijednu od označenih originalnih vrednosti.

Sistem parafrazira svaku razmenu držeći te rezervisane prostore netaknutim, a zatim ubacuje sintetičke vrednosti koje se podudaraju sa tipom i formatom identifikatora. Ponovljena pominjanja dobijaju istu vrednost unutar razgovora, dok različiti razgovori koriste nezavisno generisane vrednosti. Konačni prolaz usklađivanja ponovo izračunava svaki pomak karaktera.

Tri automatizovane kapije proveraštvuju da se zamene podudaraju sa uskladištenim opsezima, ponovljena pominjanja koriste istu vrednost, a označene izvorne vrednosti su odsutne pod ponovnim skeniranjem Presidio i regularnih izraza. Uskladišteni pomak takođe mora da oporavi tačan sintetički podniz. Zapisi koji ne uspeju se ponovo generišu ili odbacuju. Drugi jezički model revidira uzorak, a ljudi pregledaju sve što označi kao PII.

PII-Tracer: Kompaktan detektor za lokalnu upotrebu

PII-Tracer je dvosmerni enkoder od 0,6B prilagođen iz Qwen3 osnove. Prikazivanje privatnosti se razlikuje od generisanja teksta i zahteva pronalaženje relevantnih PII opsega i vraćanje njihovih granica. Kao rezultat toga, PII-Tracer zamenjuje Qwen3-ovu kauzalnu masku dvosmernom pažnjom svesnom popunjavanja, tako da svaki token može da se osloni na ranije i kasnije razmene unutar prozora od 4.096 tokena.

Za svaki token, enkoder proizvodi reprezentaciju od 1.024 dimenzije. Linearna glava označavanja daje rezultate za 37 mogućih oznaka: jednu specijalnu oznaku (koju koristimo O da označimo) za tekst izvan PII opsega, plus četiri oznake pozicije opsega za svaki od devet PII tipova. U BIOES šemi za prepoznavanje imenovanih entiteta, B (početak), I (unutar) i E (kraj) označavaju opseg sa više tokena, dok S (pojedinačni) označava opseg sa jednim tokenom. Pomoćna glava takođe predviđa da li razgovor sadrži osetljiv materijal, kao što su zdravstvene ili verske informacije.

Obučavamo PII-Tracer tri epohe na otprilike 714.000 uzoraka za obuku, kombinišući višejezične razgovore asistenta sa primerima pojedinačnih zapisa. Deljeni dvosmerni enkoder ima dve glave za obuku: BIOES glavu tokena sa 37 klasa koja detektuje i tipizuje PII opsege, i binarnu glavu na nivou razgovora koja predviđa da li razgovor sadrži osetljiv materijal. Obučavamo obe glave zajedno koristeći $\mathcal{L}=1.5\mathcal{L}_{\mathrm{tag}}+0.3\mathcal{L}_{\mathrm{sens}}$. Ovde $\mathcal{L}_{\mathrm{tag}}$ daje retkim PII oznakama veću težinu tako da česta `O` oznaka ne dominira, dok $\mathcal{L}_{\mathrm{sens}}$ obezbeđuje signal za obuku na nivou razgovora; koeficijenti 1,5 i 0,3 čuvaju detekciju opsega kao glavni zadatak. Ovaj pomoćni signal pojačava detekciju svesnu konteksta: model uči da procenjuje opseg kandidata unutar razgovora, a ne kao izolovana niska, što pomaže u smanjenju lažnih pozitiva uz samo malu kompromisnu cenu u odzivu.

U vreme inferencije, ograničeni Viterbi dekoder traži validnu BIOES sekvencu sa najvećim rezultatom umesto da nezavisno označava svaki token. Na primer, B-private_person može da se nastavi sa I-private_person ili da se završi sa E-private_person, ali ne može da se prebaci na I-private_email. Dekoder preslikava rezultat nazad na tačne opsege karaktera radi redigovanja ili lokalnog usmeravanja.

PII-Tracer vodi u F1 karakteru i ponavljajućem PII

Upoređujemo detektore na nivou karaktera i opsega. F1 mera karaktera procenjuje detekciju znak po znak. F1 mera preklapanja opsega meri da li detektor identifikuje bilo koji deo PII stavke, dok F1 mera obuhvata opsega meri da li detektor obuhvata celu stavku.

PII-Tracer je postigao najviši F1 karakter (0,629) među 12 procenjenih sistema, i drugi najviši F1 preklapanja opsega i F1 obuhvata opsega. Napredni modeli, naime GPT-5.6-sol i Claude Sonnet 5, postigli su uporedive ukupne performanse. GPT-5.6-sol je dobio više rezultate na oba F1 metrika na nivou opsega, ali niži F1 karakter. Međutim, ovi napredni modeli imaju stotine milijardi ili čak bilione parametara i modeli su zatvorenog koda koji se hostuju u oblaku. Kao rezultat toga, neprikladni su za zaštitu osetljivih lokalnih podataka u postavkama hibridne veštačke inteligencije gde neprovereni tekst mora da ostane lokalan. Suprotno tome, PII-Tracer isporučuje detekciju na nivou opsega blizu napredne sa samo 0,6B parametara i može da obrađuje neprovereni tekst u potpunosti lokalno. Drugi PII detektori otvorenog koda rade znatno lošije od PII-Tracer-a.

Pronalaženje svakog ponovljenog pominjanja

Eksperiment doslednosti primenjuje stroži test na ista predviđanja. Skup testova sadrži 899 identifikatora koji se pojavljuju jednom i 959 koji se pojavljuju više puta; 790 identifikatora koji se ponavljaju obuhvataju više razmena. Slika izveštava o četiri kanti broja pominjanja (jedno, dva, tri do pet i šest do deset) i računa identifikator samo kada su pronađeni svi njegovi označeni karakteri. Prikazuje PII-Tracer sa tri izabrane osnovne linije, dok agregatna tabela izveštava o ponavljajućim rezultatima i rezultatima u više razmena za svih dvanaest sistema.

PII-Tracer je u prednosti kako se broj ponavljanja povećava: njegov rezultat se kreće od 0,917 za jedno pominjanje do 0,873 za dva, 0,976 za tri do pet, i 0,691 za šest do deset. U poslednjem opsegu, GPT-5.6-sol dostiže 0,464, dok GLiNER2-PII i Claude Opus 4.8 dostižu 0,073 i 0,045. Kroz kompletnu evaluaciju, PII-Tracer pronalazi svako pominjanje 79,4% ponovljenih identifikatora i 77,6% identifikatora koji se prenose kroz razmenu poruka; GPT-5.6-sol dostiže 57,0% i 55,1% na istoj meri.

Pokrivanje dugih razgovora

Prvo grupišemo svih 1.922 test razgovora po dužini karaktera i dekodiramo PII-Tracer sa prozorom od 4.096 tokena. Grupe sadrže 167 razgovora ispod 1.000 karaktera, 1.292 od 1.000 do 10.000 i 463 sa 10.000 ili više.

Odziv sa jednim prozorom je 0,975 ispod 1.000 karaktera i 0,955 od 1.000 do 10.000, ali pada na 0,687 za razgovore sa 10.000 karaktera ili više. Preciznost ostaje blizu 0,51 u dve duže grupe, što ukazuje na pokrivenost unosa kao glavni problem.

Da bismo proučili efekat rukovanja unosom, procenjujemo istu kontrolnu tačku sa dekodiranjem kliznog prozora sa 50% preklapanja. Ovo podiže ukupni odziv karaktera sa 0,830 na 0,965 i doslednu detekciju sa više pominjanja sa 0,794 na 0,954, bez ponovnog obučavanja.

Dosledno u svim jezicima

PII-TRACE pokriva 13 jezika; jezički eksperiment izveštava o delu od šest jezika koji obuhvata latinična, ćirilična i hangul pisma: engleski, nemački, francuski, italijanski, ruski i korejski. Pokrećemo istih 12 detektora na svim test razgovorima na svakom jeziku. Unutar svakog jezika, spajamo predviđene i zlatne karaktere i izračunavamo F1 karakter.

PII-Tracer prednjači u F1 meri karaktera u četiri od šest jezika: nemačkom (0,735), francuskom (0,633), italijanskom (0,676) i ruskom (0,651), i nalazi se unutar 0,016 i 0,036 od najboljih rezultata na engleskom i korejskom. U pratećoj analizi, dovodi do dosledne detekcije u svih šest jezičkih podskupova, sa rezultatom 0,80–0,93. Prikaz po jezicima pokazuje dobitke izvan engleskog jezika.

Viši F1 karakter od filtera privatnosti na pet standardnih repera

Konačni eksperiment se seli izvan PII-TRACE. Pokrećemo PII-Tracer i filter privatnosti OpenAI na razdelniku validacije ai4privacy (47.728 dokumenata), razdelniku testiranja Nemotron-PII (100.000), fiksnom seed SPY skupu (8.688), test razdelniku Gretel PII (5.000) i test razdelniku TAB ECHR (127).

PII-Tracer ima viši F1 karakter na svakom skupu podataka: 0,950 naspram 0,907 na ai4privacy, 0,847 naspram 0,709 na Nemotron-PII, 0,585 naspram 0,543 na SPY, 0,952 naspram 0,895 na Gretel PII i 0,594 naspram 0,350 na TAB. TAB je jedini reper u ovoj grupi napravljen od pravog teksta koji su označili ljudi. Tamo PII-Tracer dostiže 0,986 naspram 0,982 preciznosti i 0,425 naspram 0,213 odziva — dvostruko veći odziv uz suštinski istu preciznost (detalji u radu). Viši F1 se stoga prenosi sa PII-TRACE razgovora na svih pet konvencionalnih repera sa jednim zapisom u ovom poređenju.

Zaključak

Hibridna veštačka inteligencija integriše uređaj korisnika u stek inferencije, nudeći jaču privatnost i nižu cenu. Napredni modeli u oblaku mogu da se bave istraživanjem, rasuđivanjem i planiranjem, dok lokalni modeli rade sa datotekama i ličnim podacima koji treba da ostanu na uređaju. Ova podela zavisi od prepoznavanja osetljivih informacija pre nego što bilo koji osetljiv podatak ode u oblak.

PII-Tracer je kompaktan model za detekciju PII u razgovorima sa više razmena, dok PII-TRACE procenjuje da li detektori mogu dosledno da identifikuju ponavljajući PII tokom celog razgovora.

Zajedno, PII-TRACE i PII-Tracer pružaju reper i referentni model za unapređenje PII detekcije u razgovorima sa više razmena i drugim postavkama sa dugim kontekstom.

Agenti preuzimaju duže zadatke i rade sa više ličnog konteksta. Kao rezultat toga, kontrole privatnosti treba da važe za ceo razgovor, a ne samo za početni unos. Hibridna veštačka inteligencija zavisi od pouzdane lokalne detekcije da bi se osetljiv kontekst zadržao na uređaju.

Pročitajte arXiv rad za detalje o PII-TRACE reperu, PII-Tracer modelu i našoj evaluaciji. Planiramo da uskoro objavimo i PII-TRACE i PII-Tracer.