PII-TRACE: Детекција личних података пре него што напусте уређај

Хибридно рачунање на Mac-у дели задатке Perplexity Computer-а између врхунских модела у облаку и локалног модела на Mac-у. Агенти у облаку се баве истраживањем, резоновањем и планирањем, док локални модел ради са приватним датотекама и осетљивим информацијама.

Ова граница зависи од откривања личних података (PII) пре него што напусте уређај. Локална капија приватности чува осетљив садржај на Mac-у, редигује детектоване приватне информације или захтева одобрење пре слања у облак.

Детекција постаје тежа у дугим, вишејезичним разговорима. Исти идентификатор се може појавити неколико пута кроз различите размене. Једно пропуштено помињање може изложити информације које систем треба да заштити.

Увод

Данас представљамо PII-TRACE (Tracing Recurring PII Across Conversational Exchanges), нови бенчмарк за евалуацију детектора личних података (PII), и PII-Tracer, компактан модел од 0,6B за детекцију PII.

Агенти који прво користе облак приморавају кориснике да балансирају контекст, интелигенцију и приватност. Више личног контекста може помоћи агенту да разуме корисника и произведе боље резултате. Али пружање овог контекста често значи слање приватних информација удаљеном сервису и може довести до цурења личних података. Информације које асистента чине корисним могу бити управо оно што корисник највише жели да задржи приватним.

Хибридна вештачка интелигенција олакшава овај компромис дељењем посла између корисниковог уређаја и модела у облаку. Али та граница штити приватност само ако уређај може да препозна PII пре него што се текст пошаље удаљеном моделу. Корисници не би требало да морају сами да прегледају сваку поруку. Уређају је потребан локални PII детектор као његова капија приватности. У дугим разговорима, исти идентификатор се може поновити кроз размене, а једно пропуштено помињање је довољно да лични подаци прођу.

Perplexity је увео хибридни оркестратор инференције за локалне сервере који одлучује који посао треба да се извршава на уређају, а који треба да иде агентима у облаку. Модел, оквир агента, разговори и путање извршавања налазе се на корисниковој машини. Задаци који захтевају приступ спољном свету покрећу се само када је то неопходно и заштићени су корисничком дозволом. Као резултат тога, све док корисник не одобри, тај садржај остаје на уређају.

PII-Tracer обезбеђује један сигнал локалне контроле за усмеравање модела тако што обележава распоне за које се предвиђа да садрже PII. Апликација затим примењује политику усмеравања. Она чува релевантан унос локално, редигује детектоване распоне или захтева експлицитно одобрење пре ескалације на модел у облаку. Ово чини усмеравање селективнијим. Детектовани PII остаје на уређају док одобрени контекст и даље користи модове из врха облака.

Селективно усмеравање зависи од конзистентне детекције у целом разговору. Исти идентификатор се може поновити кроз размене, а пропуштено помињање се ипак може пренети.

Кроз 12 детектера, PII-Tracer бележи највећи F1 карактера и највећу конзистентну покривеност поновљених идентификатора. Бенчмарк објашњава зашто су оба резултата важна: у дугом разговору, проналажење већине PII-а није исто што и проналажење сваке његове копије.

Детекција PII се суочава са новим изазовима у хибридној вештачкој интелигенцији

Детекција личних података (PII) је дугогодишњи безбедносни проблем и већ постоје неколико бенчмаркова и детектера. Међутим, детекција PII у поставкама хибридне вештачке интелигенције уводи нове изазове. Конкретно, детектери морају да идентификују PII у дугим разговорима са више размена, где контекст разговора одређује да ли се низ треба сматрати PII. На пример, име може идентификовати корисника у једном разговору, односи се на јавну личност у другом или је једноставно чувар места који је генерисао асистента. Сам површински облик није довољан да се одреди да ли низ треба да буде означен као PII.

Постојећи PII детектери и референтне вредности првенствено циљају појединачне записе. Утврђујемо да детектери дизајнирани за обраду једног по једного записа остварују слабе резултате у дугим, сложеним разговорима. Такође, постојеће референтне вредности углавном не вреднују конзистентност кроз размене. Као резултат тога, снажне перформансе на овим референтним вредностима не значе нужно и ефикасну PII детекцију у дугим разговорима са више размена.

PII-TRACE: Бенчмарк за детекцију PII критичну за примену

Дизајнирали смо PII-TRACE око три понашања која су важна када се детектер PII користи за размене са асистентом. Прво је конзистентна покривеност: када се идентификатор појави неколико пута или пређе размене корисника и асистента, детектер мора да пронађе свако помињање. Друго је робусност на дуг контекст: разговори се крећу од мање од 1.000 до више од 100.000 карактера, омогућавајући мерење шта се дешава како историја расте. Треће је руковање са више језика и садржајем мешовитог формата: разговор може променити језике и комбиновати прозу са кодом, табелама или структурираним записима. PII-TRACE чува ове обрасце евалуацијом сваког пуног дијалога уместо његовог дељења на изоловане записе.

Бенчмарк мери перформансе на два комплементарна нивоа. На нивоу идентификатора, конзистентна детекција поставља строже питање: да ли је детектер покривао сваки карактер у сваком помињању истог идентификатора? Овај резултат пријављујемо одвојено за идентификаторе са више помињања и за идентификаторе који се понављају у више размена. На нивоу карактера, прецизност мери колико је текста који је означио детектер означено као PII, опозив мери колико означеног PII-а проналази, а F1 балансира то двоје.

PII-TRACE садржи 13.148 синтетичких разговора између корисника и асистент у 13 језика и 10 писама, са 37.431 поменутим идентификатором означеним на нивоу карактера кроз девет PII типова. Укупно 41% разговора садржи структурирани садржај. Међу 5.645 разговора са означеним PII, 63,8% укључује идентификатор који се појављује више пута, а 28,7% укључује идентификатор који се појављује кроз више размена.

Изградња синтетичког скупа података из продукционих разговора

PII-TRACE чува структуру размена изворних разговора без објављивања оригинала. Цјевовод преписује сваку размену и замењује сваки означени идентификатор синтетичком вредношћу.

Прво, више језичких модела означава девет типова PII у разговорима између корисника и асистента у производњи. Пролаз заснован на правилима групе поновљене идентификаторе истог типа под једним ID-јем ентитета. Свака означена вредност се затим замењује типским чуварем места, остављајући шаблон који задржава редослед размена, PII тип и везе између помињања, али ниједну од означених оригиналних вредности.

Систем парафразира сваку размену док чува те чуваре места непромењеним, а затим убацује синтетичке вредности које одговарају типу и формату идентификатора. Поновљена помињања добијају исту вредност у оквиру разговора, док различити разговори користе независно генерисане вредности. Завршни пролаз поравнања поново израчунава сваки померај карактера.

Три аутоматизоване капије проверавају да ли се замене подударају са сачуваним распонима, да ли поновљена помињања користе исту вредност и да ли су означене изворне вредности одсутне под Presidio поновним скенирањем регуларних израза. Сачувани померај такође мора да опорави тачан синтетички подниз. Записи који не успеју се регенеришу или одбацују. Други језички модел ревидира узорак, а људи прегледају све што он означи као PII.

PII-Tracer: Компактан детектер за локалну употребу

PII-Tracer је двосмерни енкодер од 0,6B прилагођен из Qwen3 основу. Провера приватности се разликује од генерације текста и захтева проналажење релевантних PII распона и враћање њихових граница. Као резултат тога, PII-Tracer замењује Qwen3 каузалну маску двосмерном пажњом свесном попуњавања, тако да сваки ток може да се ослони на раније и касније размене у оквиру прозора од 4.096 токена.

За сваки токен, енкодер производи репрезентацију од 1.024 димензије. Линеарна глава за означавање производи скоре за 37 могућих ознака: једну специјалну ознаку (коју користимо O да означимо) за текст ван PII распона, плус четири ознаке позиције распона за сваки од девет PII типова. У BIOES шеми за препознавање именованих ентитета, B (Почетак), I (Унутар) и E (Крај) означавају распон од више токена, док S (Један) означава распон од једног токена. Помоћна глава такође предвиђа да ли разговор садржи осетљив материјал, као што су здравствене или верске информације.

Обучавамо PII-Tracer три епохе на отприлике 714.000 узорака за обуку, комбинујући размене вишејезичног асистента са примерима појединачних записа. Дељени двосмерни енкодер има две главе за обуку: BIOES главу за токен у 37 класа која открива и типизира PII распоне, и бинарну главу на нивоу разговора која предвиђа да ли разговор садржи осетљив материјал. Обе главе обучавамо заједно користећи $\mathcal{L}=1.5\mathcal{L}_{\mathrm{tag}}+0.3\mathcal{L}_{\mathrm{sens}}$. Овде $\mathcal{L}_{\mathrm{tag}}$ даје већу тежину ретким PII ознакама тако да честа `O` ознака не доминира, док $\mathcal{L}_{\mathrm{sens}}$ обезбеђује сигнал за обуку на нивоу разговора; коефицијенти 1,5 и 0,3 задржавају детекцију распона као главни задатак. Овај помоћни сигнал појачава контекстно свесну детекцију: модел учи да процењује кандидата за распон у оквиру разговора, а не као изоловани низ, помажући у смањењу лажних позитивних резултата уз само малу компромисну замену у опозиву.

У тренутку инференције, ограничавајући Viterbi декодер тражи важећи BIOES низ са највећим скором уместо независног означавања сваког токена. На пример, B-private_person може да се настави са I-private_person или да се заврши са E-private_person, али не и да се пребаци на I-private_email. Декодер мапира резултат назад на тачне распоне карактера ради редиговања или локалног усмеравања.

PII-Tracer предњачи у F1 карактера и поновљеном PII

Детекטоре упоређујемо на нивоу карактера и распона. F1 за карактере вреднује детекцију карактер по карактер. F1 преклапања распона мере да ли детектер препознаје било који део PII ставке, док F1 садржања распона мере да ли обухвата целу ставку.

PII-Tracer је постигао највећи F1 карактера (0,629) међу 12 евалуираних система, и други највећи F1 преклапања распона и F1 садржаја распона. Врхунски модели, имено GPT-5.6-sol и Claude Sonnet 5, постигли су упоредиве укупне перформансе. GPT-5.6-sol је добио веће резултате на оба метричка F1 нивоа распона, али мањи F1 карактера. Међутим, ови врхунски модели имају стотине милијарди или чак трилионе параметара и затвореног су кода хостовани у облаку. Као резултат тога, они нису погодни за заштиту осетљивих локалних података у поставкама хибридне вештачке интелигенције где несистематизовани текст мора остати локални. Насупрот томе, PII-Tracer испоручује детекцију на нивоу распона близу врхунских са само 0,6B параметара и може да обрађује несистематизовани текст потпуно локално. Други отворени PII детектери раде знатно лошије од PII-Tracer-а.

Проналажење сваког поновљеног помињања

Експеримент конзистентности примењује строжи тест на исте прогнозе. Тестни скуп садржи 899 идентификатора који се појављују једном и 959 који се појављују више пута; 790 идентификатора који се понављају обухватају више размена. Слика извештава о четири сегмента броја помињања (један, два, три до пет, и шест до десет) и рачуна идентификатор само када се пронађу сви његови означени карактери. Приказује PII-Tracer са три изабране основне линије, док збирна табела извештава о резултатима за поновљене и унакрсне размене за свих дванаест система.

PII-Tracer остаје испред како се понављање повећава: његов резултат се помера са 0,917 за једно помињање на 0,873 за два, од 0,796 за три до пет, и на 0,691 за шест до десет. У последњем сегменту, GPT-5.6-sol достиже 0,464, док GLiNER2-PII и Claude Opus 4.8 достижу 0,073 и 0,045. Током целокупне евалуације, PII-Tracer проналази свако помињање за 79,4% узастопних идентификатора и 77,6% идентификатора који се преносе кроз више размена; GPT-5.6-sol достиже 57,0% и 55,1% према те две мере.

Покривање дугих разговора

Прво групишемо свих 1.922 тестних разговора по дужини карактера и декодирамо PII-Tracer са прозором од 4.096 токена. Групе садрже 167 разговора испод 1.000 карактера, 1.292 од 1.000 до 10.000, и 463 од 10.000 или више.

Опозив за један прозор је 0,975 испод 1.000 карактера и 0,955 од 1.000 до 10.000, али пада на 0,687 за разговоре са 10.000 карактера или више. Прецизност остаје око 0,51 у две дуже групе, што указује на покривеност уноса као главни проблем.

Да бисмо проучили ефекат руковања уносом, евалуирамо исту проверну тачку са декодирањем са клизним прозором од 50% преклапања. Ово повећава укупни опозив карактера са 0,830 на 0,965, а конзистентну детекцију са више помињања са 0,794 на 0,954, без поновног обучавања.

Конзистентно кроз језике

PII-TRACE покрива 13 језика; језички експеримент извештава о шестојезичном одсечку који обухвата латинично, ћирилично и хангул писмо: енглески, немачки, француски, италијански, руски и корејски. Покрећемо истих 12 детектера на свим тестним разговорима на сваком језику. Унутар сваког језика, обједињујемо предвиђене и златне карактере и израчунавамо F1 за карактере.

PII-Tracer предњачи у F1 за карактере у четири од шест језика, немачком (0,735), француском (0,633), италијанском (0,676) и руском (0,651), и налази се у оквиру 0,016 и 0,036 од најбољих резултата на енглеском и корејском. У пратећој анализи, доводи до конзистентне детекције у свих шест језичких подскупова, остварујући 0,80–0,93. Погледи по језицима показују добитке изван енглеског.

Већи F1 карактера од филтера приватности на пет стандардних бенчмаркова

Завршни експеримент се сели изван PII-TRACE-а. Покрећемо PII-Tracer и OpenAI филтер приватности на ai4privacy валидационом подскупу (47.728 докумената), Nemotron-PII тестном подскупу (100.000), фиксном seed SPY скупу (8.688), Gretel PII тестном подскупу (5.000) и TAB ECHR тестном подскупу (127).

PII-Tracer има већи F1 за карактере на сваком скупу података: 0,950 наспрам 0,907 на ai4privacy, 0,847 наспрам 0,709 на Nemotron-PII, 0,585 наспрам 0,543 на SPY, 0,952 наспрам 0,895 на Gretel PII, и 0,594 наспрам 0,350 на TAB. TAB је једини референтни стандард у овој групи изграђен од стварног текста који су означили људи. Тамо PII-Tracer достиже 0,986 наспрам 0,982 прецизности и 0,425 наспрам 0,213 опозива — двоструко већи опозив уз суштински исту прецизност (детаљи у раду). Већи F1 се стога преноси са PII-TRACE разговора на свих пет конвенционалних бенчмаркова са једним записом у овом поређењу.

Закључак

Хибридна вештачка интелигенција интегрише корисников уређај у сток инференције, нудећи снажнију приватност и нижу цену. Врхунски модели у облаку могу да се носе са истраживањем, резоновањем и планирањем, док локални модели раде са датотекама и личним подацима који треба да остају на уређају. Ова подела зависи од препознавања осетљивих информација пре него што било који осетљиви податак оде у облак.

PII-Tracer је компактан модел за детекцију PII у разговорима са више размена, док PII-TRACE процењује да ли детектери могу конзистентно да идентификују PII који се понавља током разговора.

Заједно, PII-TRACE и PII-Tracer обезбеђују референтну вредност и референтни модел за унапређење детекције PII у разговорима са више размена и другим поставкама дугог контекста.

Агенти преузимају дуже задатке и раде са више личног контекста. Као резултат тога, контроле приватности треба да важе за цео разговор, а не само за почетни унос. Хибридна вештачка интелигенција зависи од поуздане локалне детекције како би се осетљив контекст задржао на уређају.

Прочитајте arXiv рад за детаље о PII-TRACE бенчмарку, PII-Tracer моделу и нашој евалуацији. Планирамо да ускоро издамо и PII-TRACE и PII-Tracer.