PII-TRACE: Откриване на лични данни, преди да напуснат устройството

Хибридните изчисления на Mac разделят задачите на Perplexity Computer между моделите от най-висок клас в облака и локалния модел на Mac. Облачните агенти се справят с изследванията, разсъжденията и планирането, докато локалният модел работи с лични файлове и чувствителна информация.

Тази граница зависи от откриването на лична информация (PII), преди тя да напусне устройството. Локална порта за поверителност запазва чувствителното съдържание на Mac, редактира откритата лична информация или изисква одобрение, преди да я изпрати в облака.

Детекцията става по-трудна в дълги, многоезични разговори. Един и същ идентификатор може да се появи няколко пъти в различни раздели. Едно пропуснато споменаване може да разкрие информацията, която системата е предназначена да защитава.

Въведение

Днес представяме PII-TRACE (Tracing Recurring PII Across Conversational Exchanges – проследяване на повтарящи се PII в разговори), нов бенчмарк за оценка на детектори за лична информация (PII), и PII-Tracer, компактен модел с 0.6B параметри за откриване на PII.

Първите в облака агенти принуждават потребителите да балансират между контекст, интелигентност и поверителност. Повече личен контекст може да помогне на агента да разбере потребителя и да постигне по-добри резултати. Но предоставянето на този контекст често означава изпращане на лична информация към отдалечена услуга и може да доведе до изтичане на лични данни. Информацията, която прави асистента полезен, може да бъде точно тази, която потребителят най-много иска да запази в тайна.

Хибридният изкуствен интелект улеснява този компромис, като разделя работата между устройството на потребителя и облачните модели. Но тази граница защитава поверителността само ако устройството може да разпознае PII, преди текстът да бъде изпратен към отдалечен модел. Потребителите не трябва да инспектират всяко съобщение сами. Устройството се нуждае от локален PII детектор като своя порта за поверителност. В дълги разговори същият идентификатор може да се повтаря в разделите и едно пропуснато споменаване е достатъчно, за да премине лична информация.

Perplexity въведе хибриден локален сървърен оркестратор за инференция, който решава коя работа трябва да се изпълнява на устройството и коя да отиде при агентите в облака. Моделът, рамката на агента, разговорите и траекториите на изпълнение се намират на машината на потребителя. Задачите, които изискват достъп до външния свят, се извикват само когато е необходимо и се управляват от разрешението на потребителя. В резултат на това, докато потребителят не одобри, това съдържание остава на устройството.

PII-Tracer предоставя един локален контролен сигнал за маршрутизиране на модели чрез маркиране на диапазони, за които се предвижда да съдържат PII. След това приложението прилага политиката за маршрутизиране. То запазва съответния вход локален, редактира засечените диапазони или изисква изрично одобрение преди ескалация към облачен модел. Това прави маршрутизирането по-избирателно. Засечените PII остават на устройството, докато одобреният контекст все още се ползва от предимствата на облачните модели от най-висок клас.

Избирателното маршрутизиране зависи от последователното откриване в целия разговор. Същият идентификатор може да се повтаря в различните раздели, а пропуснатото споменаване може все пак да бъде предадено.

Сред 12 детектора, PII-Tracer регистрира най-високата F1 на знаците и най-високото последователно покритие на повтарящите се идентификатори. Бенчмаркът обяснява защо и двата резултата са от значение: при дълъг разговор намирането на повечето PII не е същото като намирането на всяко тяхно копие.

Откритото откриване на PII изпитва нови предизвикателства в хибридния изкуствен интелект

Откриването на PII е дългогодишен проблем сигурността и вече съществуват няколко бенчмарка и детектора. Откриването на PII в условия на хибриден изкуствен интелект обаче въвежда нови предизвикателства. По-конкретно, детекторите трябва да идентифицират PII в дълги разговори с множество раздели, където контекстът на разговора определя дали един низ трябва да се счита за PII. Например едно име може да идентифицира потребителя в един разговор, да се отнася до публична личност в друг или просто да бъде заместител, генериран от асистент. Само по себе си повърхностното представяне е недостатъчно, за да се определи дали низът трябва да бъде маркиран като PII.

Съществуващите PII детектори и бенчмаркове са насочени основно към индивидуални записи. Установяваме, че детекторите, проектирани да обработват по един запис наведнъж, се представят слабо при дълги и сложни разговори. Освен това съществуващите бенчмаркове обикновено не оценяват последователността в различните раздели. В резултат на това силната производителност на тези бенчмаркове не води непременно до ефективно откриване на PII в дълги разговори с много раздели.

PII-TRACE: Бенчмарк за критично за внедряването откриване на PII

Проектирахме PII-TRACE около три поведения, които имат значение, когато детектор за PII се използва при разговори с асистент. Първото е последователно покритие: когато идентификатор се появява няколко пъти или пресича разделите на потребителя и асистента, детекторът трябва да намери всяко споменаване. Второто е устойчивост на дълъг контекст: разговорите варират от под 1 000 до над 100 000 знака, което позволява да се измери какво се случва с нарастването на историята. Третото е обработката на множество езици и смесено съдържание: разговорът може да сменя езиците и да съчетава проза с код, таблици или структурирани записи. PII-TRACE запазва тези модели, като оценява всеки пълен диалог, вместо да го разделя на изолирани записи.

Бенчмаркът измерва производителността на две допълващи се нива. На ниво идентификатор последователното откриване задава по-строгия въпрос: покри ли детекторът всеки знак във всяко споменаване на същия идентификатор? Отчитаме този резултат отделно за идентификатори с множество споменавания и за идентификатори, които се повтарят в различните раздели. На ниво знак прецизността измерва колко от текста, маркиран от детектора, е етикетиран като PII, припомнянето измерва колко от етикетираните PII той намира, а F1 балансира двете.

PII-TRACE съдържа 13 148 синтетични разговора между потребител и асистент на 13 езика и 10 писмени системи, с 37 431 споменавания на идентификатори, етикетирани на ниво знак в девет PII типа. Общо 41% от разговорите съдържат структурирано съдържание. Сред 5 645 разговора с етикетиран PII, 63.8% включват идентификатор, който се появява повече от веднъж, а 28.7% включват идентификатор, който се появява в множество раздели.

Изграждане на синтетичен набор от данни от производствени разговори

PII-TRACE запазва структурата на разговорите от източника, без да публикува оригиналите. Конвейерът пренаписва всяка реплика и заменя всеки етикетиран идентификатор със синтетична стойност.

Първо, множество езикови модели маркират девет вида PII в производствени разговори между потребител и асистент. Проход, базиран на правила, групира повтарящите се идентификатори от един и същи тип под едно ID на същност. След това всяка маркирана стойност се заменя с типизиран заместител, като се оставя шаблон, който запазва реда на репликите, PII типа и връзките между споменаванията, но нито една от маркираните оригинални стойности.

Системата преформулира всяка реплика, като запазва тези места непокътнати, след което вмъква синтетични стойности, които съответстват на типа и формата на идентификатора. Повтарящите се споменавания получават една и съща стойност в рамките на един разговор, докато различните разговори използват независимо генерирани стойности. Крайният пас на подравняване преизчислява всяко отместване на знаците.

Три автоматизирани проверки проверяват дали заместителите съответстват на съхранените диапазони, дали повтарящите се споменавания използват същата стойност и дали маркираните изходни стойности отсъстват при повторно сканиране с Presidio и регулярни изрази. Съхраненото отместване трябва също да възстанови точното синтетично подниз. Записите, които се провалят, се генерират наново или се отстраняват. Втори езиков модел одитва извадка, а хората преглеждат всичко, което той маркира като PII.

PII-Tracer: Компактен детектор за локална употреба

PII-Tracer е двупосочен кодер с 0.6 милиарда параметъра, адаптиран от основен модел Qwen3. Скринингът за поверителност се различава от генерирането на текст и изисква намиране на съответните PII диапазони и връщане на техните граници. В резултат на това PII-Tracer заменя причинната маска на Qwen3 с двупосочно внимание, съобразено с подложките, така че всеки токен да може да използва както по-ранни, така и по-късни раздели в рамките на прозорец от 4 096 токена.

За всеки токен кодерът произвежда 1 024-мерно представяне. Линейна глава за тагиране произвежда резултати за 37 възможни етикета: един специален етикет (който използваме O за обозначаване) за текст извън PII диапазон, плюс четири етикета за позиция на диапазона за всеки от деветте PII типа. В схемата BIOES за разпознаване на именувани същности, B (Начало), I (Вътре) и E (Край) маркират обхват от множество токени, докато S (Единичен) маркира обхват от един токен. Спомагателна глава също така прогнозира дали разговорът съдържа чувствителен материал, като например здравна или религиозна информация.

Обучаваме PII-Tracer за три епохи върху приблизително 714 000 тренировъчни извадки, комбинирайки многоезични разговори с асистенти с примери с един запис. Споделеният двупосочен кодер има две обучителни глави: 37-класова BIOES токен глава, която открива и класифицира PII диапазони, и бинарна глава на ниво разговор, която предвижда дали разговорът съдържа чувствителен материал. Обучаваме двете глави съвместно, използвайки $\mathcal{L}=1.5\mathcal{L}_{\mathrm{tag}}+0.3\mathcal{L}_{\mathrm{sens}}$. Тук $\mathcal{L}_{\mathrm{tag}}$ дава по-голяма тежест на редките PII етикети, така че честият `O` етикет да не доминира, докато $\mathcal{L}_{\mathrm{sens}}$ предоставя обучителния сигнал на ниво разговор; коефициентите 1.5 и 0.3 запазват откриването на обхвата като основна задача. Този спомагателен сигнал подсилва контекстно-означеното откриване: моделът се научава да преценява кандидат диапазон в рамките на разговора, а не като изолиран низ, което помага за намаляване на фалшиво положителните резултати само с малък компромис в припомнянето.

По време на инференция, ограничен Viterbi декодер търси валидна BIOES последователност с най-висок резултат, вместо да етикетира всеки токен поотделно. Например B-private_person може да продължи с I-private_person или да завърши с E-private_person, но не и да премине към I-private_email. Декодерът връща резултата към точните диапазони от знаци за редакция или локално маршрутизиране.

PII-Tracer води по отношение на F1 на знаците и повтарящите се PII

Сравняваме детектора на ниво знак и на ниво сегмент. Покръателите на знаците F1 оценяват детекцията знак по знак. Покритието на сегментите F1 измерва дали детекторът идентифицира каквато и да е част от PII елемент, докато задържането на сегментите F1 измерва дали той обхваща целия елемент.

PII-Tracer постигна най-високата F1 на знаците (0.629) сред 12-те оценени системи, както и втората най-висока F1 за припокриване на диапазони и F1 за задържане на диапазони. Моделите от най-висок клас, а именно GPT-5.6-sol и Claude Sonnet 5, постигнаха сравнима цялостна производителност. GPT-5.6-sol постигна по-високи резултати по двете метрики F1 на ниво диапазон, но по-ниска F1 на знаците. Въпреки това тези модели от най-висок клас имат стотици милиарди или дори трилиони параметри и са модели с отворен код, хоствани в облака. В резултат на това те са неподходящи за защита на чувствителни локални данни в условия на хибриден изкуствен интелект, където неотложеният текст трябва да остане локален. За разлика от тях, PII-Tracer осигурява откриване на ниво диапазон, близко до това на най-високия клас, само с 0.6B параметри и може да обработва неотложен текст изцяло локално. Други PII детектори с отворен код се представят съществено по-слабо от PII-Tracer.

Намиране на всяко повтарящо се споменаване

Експериментът за последователност прилага по-строг тест към същите прогнози. Тестовият набор съдържа 899 идентификатора, които се появяват веднъж, и 959, които се появяват повече от веднъж; 790 от повтарящите се идентификатори обхващат множество раздели. Фигурата отчита четири категории по брой споменавания (едно, две, три до пет и шест до десет) и отчита идентификатор само когато всички негови етикетирани знаци бъдат открити. Тя показва PII-Tracer с три избрани базови модела, докато обобщената таблица отчита резултатите за повтарящи се и многоезични обекти за всички дванадесет системи.

PII-Tracer излиза напред с увеличаването на повтаряемостта: неговият резултат се променя от 0.917 за едно споменаване до 0.873 за две, 0.796 за три до пет и 0.691 за шест до десет. В последния диапазон GPT-5.6-sol достига 0.464, докато GLiNER2-PII и Claude Opus 4.8 достигат съответно 0.073 и 0.045. В цялостната оценка PII-Tracer открива всяко споменаване на 79.4% от повтарящите се идентификатори и 77.6% от идентификаторите в различни раздели; GPT-5.6-sol достига 57.0% и 55.1% по същите две мерки.

Обхващане на дълги разговори

Първо групираме всички 1 922 тестови разговора по дължина на знаците и дезактивираме PII-Tracer с прозореца от 4 096 токена. Групите съдържат 167 разговора под 1 000 знака, 1 292 от 1 000 до 10 000 и 463 с 10 000 или повече.

Припомнянето в един прозорец е 0.975 под 1 000 знака и 0.955 от 1 000 до 10 000, но спада до 0.687 за разговори с 10 000 или повече знака. Прецизността остава около 0.51 в двете по-дълги групи, което сочат обхвата на входните данни като основен проблем.

За да изследваме ефекта от обработката на входа, оценяваме същата контролна точка с декодиране с плаващ прозорец с 50% припокриване. Това повишава общото припомняне на знаци от 0.830 до 0.965, а последователното откриване на множество споменавания – от 0.794 до 0.954, без повторно обучение.

Последователност в различните езици

PII-TRACE покрива 13 езика; езиковият експеримент отчита шестезичен отрязък, обхващащ латинска, кирилска и хангълска писменост: английски, немски, френски, италиански, руски и корейски. Стартираме същите 12 детектора за всички тестови разговори на всеки език. В рамките на всеки език обединяваме прогнозираните и златните знаци и изчисляваме F1 на знаците.

PII-Tracer води по отношение на F1 на знаците в четири от шест езика: немски (0.735), френски (0.633), италиански (0.676) и руски (0.651), и е в рамките на 0.016 и 0.036 от най-добрите резултати на английски и корейски. В придружаващия анализ той води до последователно откриване във всичките шест езикови подмножества с резултат 0.80–0.93. Прегледът по езици показва печалби извън английския.

По-висока F1 на знаците от филтъра за поверителност на пет стандартни бенчмарка

Крайният експеримент се провежда извън PII-TRACE. Изпълняваме PII-Tracer и филтъра за поверителност на OpenAI върху валидационното разделение на ai4privacy (47 728 документа), тестовото разделение на Nemotron-PII (100 000), фиксиран семпъл SPY набор (8 688), тестовото разделение на Gretel PII (5 000) и тестовото разделение TAB ECHR (127).

PII-Tracer има по-висока F1 на знаците за всеки набор от данни: 0.950 срещу 0.907 в ai4privacy, 0.847 срещу 0.709 в Nemotron-PII, 0.585 срещу 0.543 в SPY, 0.952 срещу 0.895 в Gretel PII и 0.594 срещу 0.350 в TAB. TAB е единственият бенчмарк в тази група, изграден от реални текстове, етикетирани от хора. Там PII-Tracer достига 0.986 срещу 0.982 прецизност и 0.425 срещу 0.213 припомняне – двойно по-голямо припомняне при същата прецизност (подробности в статията). Следователно по-високата F1 се пренася от разговорите в PII-TRACE към всичките пет конвенционални бенчмарка с един запис в това сравнение.

Заключение

Хибридният изкуствен интелект интегрира устройството на потребителя в стека за инференция, предлагайки по-висока поверителност и по-ниска цена. Моделите от най-висок клас в облака могат да се справят с изследвания, разсъждения и планиране, докато локалните модели работят с файлове и лични данни, които трябва да остатнат на устройството. Това разделение зависи от разпознаването на чувствителна информация, преди всякакви чувствителни данни да отидат в облака.

PII-Tracer е компактен модел за откриване на PII в разговори с множество раздели, докато PII-TRACE оценява дали детекторите могат последователно да идентифицират повтарящи се PII в целия разговор.

Заедно PII-TRACE и PII-Tracer осигуряват бенчмарк и референтен модел за напредък в откриването на PII в разговори с множество раздели и други контексти с дълъг обхват.

Агентите поемат по-дълги задачи и работят с повече личен контекст. В резултат на това контролите за поверителност трябва да се запазят в целия разговор, а не само при първоначалното въвеждане. Хибридният изкуствен интелект зависи от надеждно локално откриване, за да задържи чувствителния контекст на устройството.

Прочетете статията в arXiv за подробности относно бенчмарка PII-TRACE, модела PII-Tracer и нашата оценка. Планираме да пуснем както PII-TRACE, така и PII-Tracer скоро.