PII-TRACE: Detekcija osobnih podataka prije nego što napuste uređaj

Hibridno izračunavanje na Macu dijeli zadatke Perplexity Computera između modela najnovije generacije u oblaku i lokalnog modela na Macu. Agenti u oblaku obrađuju istraživanje, zaključivanje i planiranje, dok lokalni model radi s privatnim datotekama i osjetljivim informacijama.

Ta granica ovisi o detekciji osobno prepoznatljivih informacija (PII) prije nego što napuste uređaj. Lokalna vrata privatnosti čuvaju osjetljiv sadržaj na Macu, redigiraju otkrivene privatne informacije ili traže odobrenje prije slanja u oblak.

Detekcija postaje teža u dugim, višejezičnim razgovorima. Isto se spominjanje može pojaviti nekoliko puta u različitim krugovima razgovora. Jedno propušteno spominjanje može izložiti informacije koje sustav mora zaštititi.

Uvod

Danas predstavljamo PII-TRACE (Tracing Recurring PII Across Conversational Exchanges – praćenje ponavljajućeg PII-ja u razgovornim razmjenama), novo mjerilo za procjenu detektora osobno prepoznatljivih informacija (PII), te PII-Tracer, kompaktan model s 0,6B parametara za PII detekciju.

Agenti koji su primarno usmjereni na oblak prisiljavaju korisnike na balansiranje između konteksta, inteligencije i privatnosti. Više osobnog konteksta može pomoći agentu da razumije korisnika i da bolje rezultate. No pružanje tog konteksta često znači slanje privatnih informacija udaljenoj usluzi i može dovesti do propuštanja osobnih informacija. Informacije koje čine asistenta korisnim mogu biti upravo ono što korisnik najviše želi zadržati privatnim.

Hibridna umjetna inteligencija olakšava ovaj kompromis dijeljenjem posla između korisnikova uređaja i modela u oblaku. No ta granica štiti privatnost samo ako uređaj može prepoznati PII prije nego što se tekst pošalje udaljenom modelu. Korisnici ne bi trebali sami pregledavati svaku poruku. Uređaju je potreban lokalni PII detektor kao vrata privatnosti. U dugim razgovorima isti se identifikator može ponavljati kroz krugove, a jedno propušteno spominjanje dovoljno je da osobne informacije prođu dalje.

Perplexity je predstavio hibridni lokalno-poslužiteljski orkestrator zaključivanja koji odlučuje koji se zadaci trebaju izvršavati na uređaju, a koji se trebaju slati agentima u oblaku. Model, okruženje agenata, razgovori i putanje izvršavanja nalaze se na korisnikovom stroju. Zadaci koji zahtijevaju pristup vanjskom svijetu pokreću se samo kada je to nužno i zaštićeni su korisničkim dopuštenjem. Zbog toga taj sadržaj ostaje na uređaju sve dok ga korisnik ne odobri.

PII-Tracer pruža jedan lokalni upravljački signal za usmjeravanje modela označavanjem raspona za koje se predviđa da sadrže PII. Aplikacija zatim provodi pravilo usmjeravanja. Relevantni unos zadržava lokalno, redigira otkrivene raspone ili traži izričito odobrenje prije prosljeđivanja modelu u oblaku. Time usmjeravanje postaje selektivnije. Otkriveni PII ostaje na uređaju, dok odobreni kontekst i dalje koristi prednosti naprednih modela u oblaku.

Selektivno usmjeravanje ovisi o dosljednoj detekciji kroz cijeli razgovor. Isto se spominjanje može ponavljati kroz krugove, a propušteno spominjanje se ipak može prenijeti.

U usporedbi 12 detektora, PII-Tracer bilježi najviši F1 po znakovima i najvišu dosljednu pokrivenost ponavljajućih identifikatora. Mjerilo objašnjava zašto su oba rezultata važna: u dugom razgovoru pronalaženje većine PII-ja nije isto što i pronalaženje svake njegove kopije.

Detekcija PII-ja suočava se s novim izazovima u hibridnoj umjetnoj inteligenciji

Detekcija PII-ja dugogodišnji je sigurnosni problem i već postoji nekoliko mjerila i detektora. Međutim, PII detekcija u okruženjima hibridne umjetne inteligencije uvodi nove izazove. Konkretno, detektori moraju identificirati PII u dugim razgovorima s više krugova, gdje kontekst razgovora određuje treba li se neki niz smatrati PII-jem. Na primjer, ime može identificirati korisnika u jednom razgovoru, odnositi se na javnu osobu u drugom ili jednostavno biti rezervirani znak koji je generirao asistent. Sam površinski oblik nije dovoljan da bi se utvrdilo treba li neki niz označiti kao PII.

Postojeći PII detektori i mjerila prvenstveno su usmjereni na pojedinačne zapise. Utvrdili smo da detektori dizajnirani za obradu jednog po jednog zapisa postižu slabe rezultate u dugim, složenim razgovorima. Također, postojeća mjerila uglavnom ne ocjenjuju dosljednost kroz krugove razgovora. Zbog toga dobre performanse na tim mjerilima ne znače nužno i učinkovitu PII detekciju u dugim razgovorima s više krugova.

PII-TRACE: Mjerilo za PII detekciju ključnu za primjenu

Dizajnirali smo PII-TRACE oko triju ponašanja koja su važna kada se PII detektor koristi u razgovorima s asistentom. Prvo je dosljedna pokrivenost: kada se identifikator pojavi nekoliko puta ili se proteže kroz krugove korisnika i asistenta, detektor mora pronaći svako spominjanje. Drugo je otpornost na dugi kontekst: razgovori se kreću od manje od 1000 do više od 100 000 znakova, što omogućuje mjerenje onoga što se događa kako povijest raste. Treće je rukovanje s više jezika i sadržajem miješanog formata: razgovor može mijenjati jezike i kombinirati prozu s kodom, tablicama ili strukturiranim zapisima. PII-TRACE čuva ove uzorke procjenjujući svaku cjelovitu komunikaciju umjesto da je dijeli na izolirane zapise.

Mjerilo mjeri performanse na dvjema komplementarnim razinama. Na razini identifikatora, dosljedna detekcija postavlja strože pitanje: je li detektor obuhvatio svaki znak u svakom spominjanju istog identifikatora? Ovaj rezultat izvještavamo zasebno za identifikatore s višestrukim spominjanjima i za identifikatore koji se ponavljaju kroz krugove. Na razini znakova, preciznost mjeri koliki je dio teksta označenog detektorom označen kao PII, odziv mjeri koliki dio označenog PII-ja pronalazi, a F1 usklađuje to dvoje.

PII-TRACE sadrži 13 148 sintetičkih razgovora između korisnika i asistenta na 13 jezika i 10 sustava pisanja, s 37 431 spominjanjem identifikatora označenim na razini znakova u devet PII vrsta. Ukupno 41 % razgovora sadrži strukturirani sadržaj. Među 5645 razgovora s označenim PII-jem, 63,8 % uključuje identifikator koji se pojavljuje više puta, a 28,7 % uključuje identifikator koji se pojavljuje u više krugova.

Izrada sintetičkog skupa podataka iz produkcijskih razgovora

PII-TRACE čuva strukturu krugova izvornih razgovora bez objavljivanja originala. Cjevovod prepisuje svaki krug i mijenja svaki označeni identifikator sintetičkom vrijednošću.

Prvo, više jezičnih modela označava devet vrsta PII-ja u produkcijskim razgovorima između korisnika i asistenta. Prolaz temeljen na pravilima grupira ponovljene identifikatore iste vrste pod jedan ID entiteta. Svaka označena vrijednost se zatim zamjenjuje tipiziranim rezerviranim znakom, ostavljajući predložak koji zadržava redoslijed krugova, PII vrstu i veze između spominjanja, ali nijednu od označenih izvornih vrijednosti.

Sustav parafrazira svaki krug dok te rezervirane znakove drži netaknutima, a zatim umeće sintetičke vrijednosti koje odgovaraju vrsti i formatu identifikatora. Ponovljena spominjanja dobivaju istu vrijednost unutar razgovora, dok različiti razgovori koriste neovisno generirane vrijednosti. Konačni prolaz usklađivanja ponovno izračunava svaki pomak znaka.

Tri automatizirana provjernika provjeravaju odgovaraju li zamjene pohranjenim rasponima, koriste li ponovljena spominjanja istu vrijednost i jesu li označene izvorne vrijednosti odsutne prilikom ponovnog skeniranja s pomoću Presidija i regularnih izraza. Pohranjeni pomak također mora rekonstruirati točan sintetički podniz. Zapisi koji ne prođu provjeru se ponovno generiraju ili odbacuju. Drugi jezični model vrši reviziju uzorka, a ljudi pregledavaju sve što on označi kao PII.

PII-Tracer: Kompaktan detektor za lokalnu uporabu

PII-Tracer je dvosmjerni koder s 0,6B parametara prilagođen iz Qwen3 osnove. Provjera privatnosti razlikuje se od generiranja teksta te zahtijeva pronalaženje relevantnih PII raspona i vraćanje njihovih granica. Zbog toga PII-Tracer zamjenjuje Qwen3-ovu uzročnu masku dvosmjernom pažnjom koja uzima u obzir dopunjavanje (padding), tako da svaki token može koristiti i ranije i kasnije krugove unutar prozora od 4096 tokena.

Za svaki token koder proizvodi prikaz od 1024 dimenzije. Linearna glava označavanja daje rezultate za 37 mogućih oznaka: jednu posebnu oznaku (koju označavamo s O) za tekst izvan PII raspona, plus četiri oznake položaja raspona za svaku od devet PII vrsta. U BIOES shemi za prepoznavanje imentovanih entiteta, B (početak), I (unutar) i E (kraj) označavaju raspon s više tokena, dok S (pojedinačno) označava raspon s jednim tokenom. Pomoćna glava također predviđa sadrži li razgovor osjetljiv materijal, kao što su zdravstvene ili vjerske informacije.

Treniramo PII-Tracer tijekom triju epoha na otprilike 714 000 uzoraka za treniranje, kombinirajući višejezične razgovore s asistentom i primjere s pojedinačnim zapisima. Zajednički dvosmjerni koder ima dvije glave za treniranje: 37-klasnu BIOES glavu tokena koja detektira i označava vrste PII raspona te binarnu glavu na razini razgovora koja predviđa sadrži li razgovor osjetljiv materijal. Obje glave treniramo zajednički s pomoću $\mathcal{L}=1.5\mathcal{L}_{\mathrm{tag}}+0.3\mathcal{L}_{\mathrm{sens}}$. Ovdje $\mathcal{L}_{\mathrm{tag}}$ daje veću težinu rijetkim PII oznakama tako da česta `O` oznaka ne dominira, dok $\mathcal{L}_{\mathrm{sens}}$ osigurava signal za treniranje na razini razgovora; koeficijenti 1,5 i 0,3 zadržavaju detekciju raspona kao glavni zadatak. Ovaj pomoćni signal pojačava kontekstno svjesnu detekciju: model uči procijeniti kandidatski raspon unutar razgovora, a ne kao izolirani niz, čime se pomaže u smanjenju lažno pozitivnih rezultata uz samo mali kompromis u pogledu odziva.

U trenutku zaključivanja, ograničeni Viterbijev dekoder traži valjanu BIOES sekvencu s najvećim rezultatom umjesto da označava svaki token zasebno. Na primjer, B-private_person može nastaviti s I-private_person ili završiti s E-private_person, ali ne može prijeći na I-private_email. Dekoder preslikava rezultat natrag na točne raspone znakova radi redakcije ili lokalnog usmjeravanja.

PII-Tracer prednjači u F1 po znakovima i ponavljajućem PII-ju

Uspoređujemo detektore na razini znakova i raspona. F1 po znakovima procjenjuje detekciju znak po znak. F1 preklapanja raspona mjeri prepoznaje li detektor bilo koji dio PII stavke, dok F1 obuhvaćanja raspona mjeri obuhvaća li cijelu stavku.

PII-Tracer je postigao najviši F1 po znakovima (0,629) među 12 ocijenjenih sustava, te drugi najviši F1 preklapanja raspona i F1 obuhvaćanja raspona. Modeli najnovije generacije, odnosno GPT-5.6-sol i Claude Sonnet 5, postigli su usporedive ukupne performanse. GPT-5.6-sol ostvario je više rezultate na oba metrička pokazatelja F1 na razini raspona, ali niži F1 po znakovima. Međutim, ti modeli najnovije generacije imaju stotine milijardi ili čak bilijune parametara i zatvorenog su koda te se hosting izvodi u oblaku. Zbog toga su neprikladni za zaštitu osjetljivih lokalnih podataka u postavkama hibridne umjetne inteligencije gdje neprovjereni tekst mora ostati lokalan. S druge strane, PII-Tracer pruža detekciju na razini raspona blisku modelima najnovije generacije sa samo 0,6B parametara i može obrađivati neprovjereni tekst u potpunosti lokalno. Drugi otvorenokodni PII detektori rade znatno lošije od PII-Tracera.

Pronalaženje svakog ponavljajućeg spominjanja

Eksperiment dosljednosti primjenjuje stroži test na iste predikcije. Skup testnih podataka sadrži 899 identifikatora koji se pojavljuju jednom i 959 koji se pojavljuju više puta; 790 ponavljajućih identifikatora proteže se kroz više krugova. Slika prikazuje četiri razreda prema broju spominjanja (jedno, dva, tri do pet te šest do deset) i broji identifikator samo kada su pronađeni svi njegovi označeni znakovi. Prikazuje PII-Tracer s tri odabrana osnovna modela, dok zbirna tablica prikazuje rezultate ponavljanja i više krugova za svih dvanaest sustava.

PII-Tracer ostaje u prednosti kako se ponavljanje povećava: njegov rezultat prelazi s 0,917 za jedno spominjanje na 0,873 za dva, 0,796 za tri do pet te 0,691 za šest do deset. U posljednjoj skupini GPT-5.6-sol dostiže 0,464, dok GLiNER2-PII i Claude Opus 4.8 dostižu 0,073 i 0,045. Kroz cijelu evaluaciju PII-Tracer pronalazi svako spominjanje 79,4 % ponavljajućih identifikatora i 77,6 % identifikatora koji se pojavljuju u više krugova; GPT-5.6-sol postiže 57,0 % i 55,1 % na istoj dvostrukoj mjeri.

Pokrivanje dugih razgovora

Prvo grupiramo svih 1922 testna razgovora prema duljini znakova i izvodimo dekodiranje modela PII-Tracer s prozorom od 4096 tokena. Skupine sadrže 167 razgovora kraćih od 1000 znakova, 1292 razgovora s duljinom od 1000 do 10 000 te 463 razgovora s 10 000 ili više znakova.

Odziv s jednim prozorom iznosi 0,975 ispod 1000 znakova i 0,955 od 1000 do 10 000, ali pada na 0,687 za razgovore s 10 000 ili više znakova. Preciznost ostaje blizu 0,51 u dvije dulje skupine, što ukazuje na pokrivenost unosa kao glavni problem.

Kako bismo proučili učinak rukovanja unosom, procjenjujemo istu točku provjere s dekodiranjem s kliznim prozorom i 50-postotnim preklapanjem. Time se ukupni odziv znakova povećava s 0,830 na 0,965, a dosljedna detekcija višestrukih spominjanja s 0,794 na 0,954, bez ponovnog treniranja.

Dosljedno na svim jezicima

PII-TRACE obuhvaća 13 jezika; jezični eksperiment izvještava o podskupu od šest jezika koji obuhvaća latinično, ćirilično i hangul pismo: engleski, njemački, francuski, talijanski, ruski i korejski. Pokrećemo istih 12 detektora na svim testnim razgovorima na svakom jeziku. Unutar svakog jezika spajamo predviđene i izvorne znakove te izračunavamo F1 po znakovima.

PII-Tracer vodeći je u F1 po znakovima u četiri od šest jezika: njemačkom (0,735), francuskom (0,633), talijanskom (0,676) i ruskom (0,651), te je unutar 0,016 i 0,036 od najboljih rezultata na engleskom i korejskom. U popratnoj analizi dovodi do dosljedne detekcije u svih šest jezičnih podskupina, s ostvarenih 0,80–0,93. Prikaz po jezicima pokazuje napredak izvan engleskog jezika.

Viši F1 po znakovima od filtra privatnosti na pet standardnih mjerila

Završni eksperiment premješta se izvan okvira PII-TRACE-a. Pokrećemo PII-Tracer i OpenAI filtar privatnosti na validacijskom dijelu skupa ai4privacy (47 728 dokumenata), testnom dijelu Nemotron-PII (100 000), fiksnom zbirnom SPY skupu (8688), testnom dijelu Gretel PII (5000) i TAB ECHR testnom dijelu (127).

PII-Tracer ima viši F1 po znakovima na svakom skupu podataka: 0,950 prema 0,907 na ai4privacyju, 0,847 prema 0,709 na Nemotron-PII-ju, 0,585 prema 0,543 na SPY-ju, 0,952 prema 0,895 na Gretel PII-ju te 0,594 prema 0,350 na TAB-u. TAB je jedino mjerilo u ovoj skupini izrađeno od stvarnoga teksta koji su označili ljudi. Ondje PII-Tracer postiže preciznost od 0,986 prema 0,982 i odziv od 0,425 prema 0,213 – dvostruko veći odziv uz u suštini istu preciznost (detalji su u radu). Viši F1 se stoga prenosi s PII-TRACE razgovora na svih pet konvencionalnih mjerila s jednim zapisom u ovoj usporedbi.

Zaključak

Hibridna umjetna inteligencija integrira korisnikov uređaj u stog zaključivanja, nudeći veću privatnost i nižu cijenu. Modeli najnovije generacije u oblaku mogu se baviti istraživanjem, zaključivanjem i planiranjem, dok lokalni modeli rade s datotekama i osobnim podacima koji trebaju ostati na uređaju. Ova podjela ovisi o prepoznavanju osjetljivih informacija prije nego što ikakvi osjetljivi podaci odu u oblak.

PII-Tracer je kompaktan model za detekciju PII-ja u razgovorima s više krugova, dok PII-TRACE procjenjuje mogu li detektori dosljedno prepoznati ponavljajući PII tijekom cijelog razgovora.

Zajedno, PII-TRACE i PII-Tracer pružaju mjerilo i referentni model za unaprjeđenje PII detekcije u razgovorima s više krugova i drugim okruženjima s dugim kontekstom.

Agenti preuzimaju duže zadatke i rade s više osobnog konteksta. Zbog toga kontrole privatnosti trebaju vrijediti za cijeli razgovor, a ne samo za početni unos. Hibridna umjetna inteligencija oslanja se na pouzdanu lokalnu detekciju kako bi osjetljivi kontekst ostao na uređaju.

Pročitajte rad s arXiv-a za detalje o PII-TRACE mjerilu, modelu PII-Tracer i našoj evaluaciji. Planiramo uskoro izdati i PII-TRACE i PII-Tracer.