PII-TRACE: виявлення персональних даних до того, як вони покинуть пристрій
Бенчмарк для 13 мов для послідовного виявлення PII в тривалих розмовах у поєднанні з компактним детектором на 0,6 млрд параметрів для локального запуску.
Гібридні обчислення на Mac розподіляють завдання Perplexity Computer між передовими моделями в хмарі та локальною моделлю на Mac. Хмарні агенти керують дослідженнями, міркуваннями та плануванням, тоді як локальна модель працює з приватними файлами та конфіденційною інформацією.
Ця межа залежить від виявлення особистої інформації (PII) до того, як вона покине пристрій. Локальний шлюз конфіденційності зберігає конфіденційний вміст на Mac, редагує виявлену приватну інформацію або запитує дозвіл перед відправкою до хмари.
Виявлення стає складнішим у довгих багатомовних розмовах. Той самий ідентифікатор може з'являтися кілька разів у різних репліках. Одна пропущена згадка може розкрити інформацію, яку система покликана захищати.
Вступ
Сьогодні ми представляємо PII-TRACE (Tracing Recurring PII Across Conversational Exchanges — відстеження повторюваних PII у розмовних діалогах), новий бенчмарк для оцінки детекторів особистої інформації (PII) та PII-Tracer, компактну модель на 0,6 млрд параметрів для виявлення PII.
Хмарні агенти змушують користувачів шукати баланс між контекстом, інтелектом та конфіденційністю. Більший особистий контекст може допомогти агенту зрозуміти користувача та видавати кращі результати. Але надання цього контексту часто означає надсилання приватної інформації віддаленій службі та може призвести до витоку особистих даних. Інформація, яка робить асистента корисним, може бути саме тим, що користувач найбільше хоче зберегти в таємниці.
Гібридний ШІ спрощує цей компроміс, розподіляючи роботу між пристроєм користувача та хмарними моделями. Але ця межа захищає конфіденційність лише в тому разі, якщо пристрій може розпізнати PII до того, як текст буде надіслано віддаленій моделі. Користувачам не повинно доводитися самостійно перевіряти кожне повідомлення. Пристрою потрібен локальний детектор PII як шлюз конфіденційності. У довгих розмовах той самий ідентифікатор може повторюватися в різних репліках, і однієї пропущеної згадки достатньо, щоб особиста інформація пройшла далі.
Perplexity впровадила гібридний локально-серверний оркестратор інференсу, який визначає, які завдання мають виконуватися на пристрої, а які — відправлятися до агентів у хмарі. Модель, обгортка агента, розмови та траєкторії виконання зберігаються на машині користувача. Завдання, які потребують доступу до зовнішнього світу, викликаються лише за необхідності та захищені дозволом користувача. У результаті, доки користувач не підтвердить це, вміст залишається на пристрої.
PII-Tracer надає один локальний сигнал керування для маршрутизації моделей шляхом позначення інтервалів, які, за прогнозами, містять PII. Потім застосунок забезпечує дотримання політики маршрутизації. Він залишає відповідні вхідні дані локальними, редагує виявлені інтервали або запитує явний дозвіл перед передачею до хмарної моделі. Це робить маршрутизацію більш вибірковою. Виявлені PII залишаються на пристрої, тоді як схвалений контекст продовжує використовувати переваги передових хмарних моделей.
Вибіркова маршрутизація залежить від послідовного виявлення впродовж усієї розмови. Той самий ідентифікатор може повторюватися в різних реплікax, і пропущена згадка все одно може бути передана.
Серед 12 детекторів PII-Tracer реєструє найвищий показник F1 для символів і найвище послідовне охоплення ідентифікаторів, що повторюються. Бенчмарк пояснює, чому обидва результати мають значення: у довгій розмові знайти більшість PII — не те саме, що знайти кожну її копію.
Виявлення PII стикається з новими викликами в гібридному ШІ
Виявлення PII є давньою проблемою безпеки, і вже існує кілька бенчмарків і детекторів. Проте виявлення PII в умовах гібридного ШІ створює нові виклики. Зокрема, детектори повинні ідентифікувати PII у довгих, багатоходових розмовах, де саме контекст діалогу визначає, чи слід вважати рядок PII. Наприклад, ім'я може ідентифікувати користувача в одній розмові, стосуватися публічної особи в іншій або просто бути заповнювачем, згенерованим асистентом. Сам лише поверхневий формат є недостатнім для визначення того, чи слід позначати рядок як PII.
Існуючі детектори та бенчмарки PII орієнтовані переважно на окремі записи. Ми виявили, що детектори, розроблені для обробки одного запису за раз, демонструють низьку ефективність у довгих і складних розмовах. Крім того, існуючі бенчмарки зазвичай не оцінюють послідовність у межах діалогу. У результаті висока продуктивність у цих бенчмарках не обов'язково означає ефективне виявлення PII у довгих багатоходових розмовах.
PII-TRACE: бенчмарк для виявлення PII, критично важливого для розгортання
Ми розробили PII-TRACE з огляду на три поведінкові аспекти, які мають значення, коли детектор PII використовується для розмов із асистентом. Перший — це послідовне охоплення: коли ідентифікатор з'являється кілька разів або перетинає репліки користувача й асистента, детектор повинен знайти кожну згадку. Другий — стійкість до довгого контексту: розмови налічують від менш ніж 1000 до понад 100 000 символів, що дозволяє виміряти, що відбувається зі збільшенням історії. Третій — обробка багатьох мов і вмісту змішаного формату: розмова може перемикатися між мовами та поєднувати прозу з кодом, таблицями або структурованими записами. PII-TRACE зберігає ці шаблони, оцінюючи кожен діалог повністю, замість того щоб розбивати його на ізольовані записи.
Бенчмарк вимірює продуктивність на двох взаємодоповнюючих рівнях. На рівні ідентифікаторів послідовне виявлення ставить суворіше питання: чи охопив детектор кожен символ у кожній згадці того самого ідентифікатора? Ми публікуємо цей бал окремо для ідентифікаторів із кількома згадками та для ідентифікаторів, що повторюються в різних репліках. На рівні символів точність вимірює, яка частина позначеного детектором тексту розмічена як PII, повнота вимірює, скільки розмічених PII він знаходить, а F1 збалансовує ці два показники.
PII-TRACE містить 13 148 синтетичних розмов між користувачем і асистентом 13 мовами з 10 системами писемності, де на рівні символів розмічено 37 431 згадку ідентифікаторів у межах дев'яти типів PII. Загалом 41% розмов містять структурований вміст. Серед 5645 розмов із розміченими PII 63,8% містять ідентифікатор, який з'являється більше одного разу, а 28,7% містять ідентифікатор, що з'являється в кількох репліках.
Створення синтетичного набору даних із робочих розмов
PII-TRACE зберігає структуру реплік вихідних розмов без публікації оригіналів. Конвеєр переписує кожну репліку та замінює кожен розмічений ідентифікатор синтетичним значенням.
По-перше, кілька мовних моделей позначають дев'ять типів PII у робочих розмовах між користувачем і асистентом. Прохід на основі правил групує повторювані ідентифікатори одного типу під одним ідентифікатором сутності. Потім кожне позначене значення замінюється типізованим заповнювачем, залишаючи шаблон, який зберігає порядок реплік, тип PII та зв'язки між згадками, але не містить жодних позначених оригінальних значень.
Система перефразовує кожну репліку, зберігаючи ці заповнювачі незмінними, а потім вставляє синтетичні значення, що відповідають типу та формату ідентифікатора. Повторювані згадки отримують те саме значення в межах розмови, тоді як різні розмови використовують незалежно згенеровані значення. Кінцевий прохід вирівнювання перераховує кожен зсув символів.
Три автоматизовані шлюзи перевіряють, що заміни відповідають збереженим інтервалам, повторювані згадки використовують те саме значення, а позначені вихідні значення відсутні під час повторного сканування за допомогою Presidio та регулярних виразів. Збережений зміщення також має відтворювати точний синтетичний підрядок. Записи, які не пройшли перевірку, створюються заново або відкидаються. Друга мовна модель перевіряє вибірку, а люди переглядають усе, що вона позначає як PII.
PII-Tracer: компактний детектор для локального використання
PII-Tracer — це бі-енкодер на 0,6 млрд параметрів, адаптований на основі архітектури Qwen3. Фільтрація конфіденційності відрізняється від генерації тексту та вимагає знаходження відповідних інтервалів PII і повернення їхніх меж. У результаті PII-Tracer замінює причинну маску Qwen3 на двонаправлену увагу з урахуванням заповнення (padding), тому кожен токен може використовувати як попередні, так і наступні репліки в межах вікна на 4096 токенів.
Для кожного токена енкодер створює 1024-вимірне представлення. Лінійна голова тегування видає оцінки для 37 можливих міток: однієї спеціальної мітки (для якої ми використовуємо O) для тексту поза межами інтервалу PII, а також чотирьох міток позиції в інтервалі для кожного з девяти типів PII. У схемі BIOES для розпізнавання іменованих сутностей B (початок), I (середина) та E (кінець) позначають багатотокенний інтервал, тоді як S (одинарний) позначає однотокенний інтервал. Допоміжна голова також прогнозує, чи містить розмова конфіденційний матеріал, наприклад інформацію про стан здоров'я чи релігійні погляди.
Ми тренуємо PII-Tracer протягом трьох епох на приблизно 714 000 навчальних зразках, поєднуючи багатомовні розмови асистента з прикладами окремих записів. Спільний бі-енкодер має дві навчальні голови: 37-класову голову токенів BIOES, яка виявляє та класифікує інтервали PII, та двійкову голову на рівні розмови, яка прогнозує, чи містить розмова конфіденційний матеріал. Ми тренуємо обидві голови спільно за допомогою . Тут надає більшої ваги рідкісним міткам PII, щоб часта мітка `O` не домінувала, тоді як надає сигнал навчання на рівні розмови; коефіцієнти 1,5 і 0,3 підтримують виявлення інтервалів як основне завдання. Цей допоміжний сигнал підсилює контекстно-залежне виявлення: модель вчиться оцінювати кандидатний інтервал у межах розмови, а не як ізольований рядок, допомагаючи зменшити кількість хибнопозитивних результатів лише за рахунок невеликого компромісу в повноті.
Під час інференсу обмежений декодер Вітербі шукає валідну послідовність BIOES із найвищим балом замість маркування кожного токена окремо. Наприклад, B-private_person може продовжуватися як I-private_person або закриватися як E-private_person, але не перемикатися на I-private_email. Декодер зіставляє результат назад із точними інтервалами символів для редагування або локальної маршрутизації.
PII-Tracer лідирує за показником F1 для символів та повторюваними PII
Ми порівнюємо детектори як на рівні символів, так і на рівні інтервалів. F1 за символами оцінює виявлення посимвольно. F1 перетину інтервалів вимірює, чи визначає детектор будь-яку частину елемента PII, тоді як F1 охоплення інтервалів вимірює, чи захоплює він весь елемент цілком.
PII-Tracer досяг найвищого показника F1 для символів (0,629) серед 12 оцінених систем, а також другого за величиною F1 перетину інтервалів та F1 охоплення інтервалів. Передові моделі, а саме GPT-5.6-sol та Claude Sonnet 5, досягли порівнянної загальної продуктивності. GPT-5.6-sol отримав вищі бали за обома метриками F1 на рівні інтервалів, але нижчий показник F1 для символів. Проте ці передові моделі мають сотні мільярдів або навіть трильйони параметрів і є моделями із закритим кодом, що розміщуються в хмарі. У результаті вони не підходять для захисту конфіденційних локальних даних у середовищах гібридного ШІ, де неперевірений текст має залишатися локальним. Натомість PII-Tracer забезпечує виявлення на рівні інтервалів, близьке до передового рівня, маючи лише 0,6 млрд параметрів і здатний обробляти неперевірений текст повністю локально. Інші відкриті детектори PII працюють значно гірше за PII-Tracer.
Знаходження кожної повторюваної згадки
Експеримент на послідовність застосовує суворіший тест до тих самих передбачень. Тестовий набір містить 899 ідентифікаторів, які з'являються один раз, і 959, які з'являються більше одного разу; 790 ідентифікаторів, що повторюються, охоплюють кілька реплік. На графіку наведено чотири категорії за кількістю згадок (одна, дві, від трьох до п'яти та від шести до десяти), і ідентифікатор зараховується лише тоді, коли знайдені всі його розмічені символи. На графіку зображено PII-Tracer із трьома вибраними базовими моделями, тоді як у збірній таблиці наведено оцінки повторюваних і міжреплікових ідентифікаторів для всіх дванадцяти систем.
PII-Tracer зберігає лідерство зі збільшенням кількості повторень: його оцінка змінюється від 0,917 для однієї згадки до 0,873 для двох, від 0,796 для трьох-п'яти та 0,691 для шести-десяти. У останньому діапазоні GPT-5.6-sol досягає 0,464, тоді як GLiNER2-PII та Claude Opus 4.8 досягають 0,073 та 0,045. За результатами всього оцінювання, PII-Tracer знаходить кожну згадку для 79,4% ідентифікаторів, що повторюються, та 77,6% ідентифікаторів між репліками; GPT-5.6-sol досягає 57,0% та 55,1% за цими двома показниками.
Охоплення довгих розмов
Спочатку ми групуємо всі 1922 тестові розмови за довжиною символів і виконуємо декодування PII-Tracer із вікном на 4096 токенів. Групи містять 167 розмов обсягом менше 1000 символів, 1292 розмови від 1000 до 10 000 та 463 розмови обсягом 10 000 або більше.
Повнота для одного вікна становить 0,975 для менш ніж 1000 символів і 0,955 від 1000 до 10 000, але падає до 0,687 для розмов обсягом від 10 000 символів. Точність залишається на рівні близько 0,51 у двох довшіх групах, що вказує на повноту вхідних даних як основну проблему.
Щоб вивчити ефект обробки вхідних даних, ми оцінюємо ту саму контрольну точку за допомогою декодування ковзним вікном із 50-відсотковим перетином. Це підвищує загальну повноту для символів із 0,830 до 0,965, а послідовне виявлення для кількох згадок — із 0,794 до 0,954 без повторного навчання.
Послідовність для різних мов
PII-TRACE охоплює 13 мов; мовний експеримент охоплює зріз із шести мов, що охоплюють латинську, кириличну та хангыльську системи писемності: англійську, німецьку, французьку, італійську, російську та корейську. Ми запускаємо ті самі 12 детекторів для всіх тестових розмов кожною мовою. У межах кожної мови ми об'єднуємо прогнозовані та золоті символи та обчислюємо F1 для символів.
PII-Tracer лідирує за показником F1 для символів у чотирьох із шести мов: німецькій (0,735), французькій (0,633), італійській (0,676) та російській (0,651), а в англійській та корейській відстає від найкращих результатів лише на 0,016 і 0,036. У супутньому аналізі він забезпечує стабільне виявлення у всіх шести мовних підмножинах із показниками 0,80–0,93. Показники в розрізі мов демонструють покращення поза межами англійської.
Вищий показник F1 для символів порівняно з фільтром конфіденційності на п'яти стандартних бенчмарках
Останній експеримент виходить за межі PII-TRACE. Ми запускаємо PII-Tracer та фільтр конфіденційності OpenAI на валідаційній вибірці ai4privacy (47 728 документів), тестовій вибірці Nemotron-PII (100 000), фіксованому наборі SPY (8688), тестовій вибірці Gretel PII (5000) та тестовій вибірці TAB ECHR (127).
PII-Tracer демонструє вищий показник F1 для символів на кожному наборі даних: 0,950 проти 0,907 на ai4privacy, 0,847 проти 0,709 на Nemotron-PII, 0,585 проти 0,543 на SPY, 0,952 проти 0,895 на Gretel PII та 0,594 проти 0,350 на TAB. TAB — єдиний бенчмарк у цій групі, створений на основі реального тексту, розміченого людиною. У ньому PII-Tracer досягає 0,986 проти 0,982 за точністю та 0,425 проти 0,213 за повнотою — удвічі вища повнота за практично такої ж точності (деталі в статті). Отже, вищий показник F1 переноситься з розмов PII-TRACE на всі п'ять звичайних бенчмарків з одним записом у цьому порівнянні.
Висновок
Гібридний ШІ інтегрує пристрій користувача в стек інференсу, пропонуючи вищий рівень конфіденційності та нижчу вартість. Передові моделі в хмарі можуть виконувати дослідження, міркування та планування, тоді як локальні моделі працюють із файлами та особистими даними, які мають залишатися на пристрої. Цей розподіл залежить від розпізнавання конфіденційної інформації до того, як будь-які чутливі дані потраплять до хмари.
PII-Tracer — це компактна модель для виявлення PII у багатоходових розмовах, тоді як PII-TRACE оцінює, чи можуть детектори стабільно ідентифікувати повторювані PII протягом усього діалогу.
Разом PII-TRACE та PII-Tracer надають бенчмарк і еталонну модель для просування виявлення PII у багатоходових розмовах та інших середовищах із довгим контекстом.
Агенти беруться за довші завдання та працюють із більшим особистим контекстом. У результаті засоби керування конфіденційністю повинні діяти впродовж усієї розмови, а не лише для початкового введеного тексту. Гібридний ШІ залежить від надійного локального виявлення, щоб зберігати конфіденційний контекст на пристрої.
Прочитайте статтю на arXiv, щоб дізнатися подробиці про бенчмарк PII-TRACE, модель PII-Tracer та наше оцінювання. Ми плануємо випустити і PII-TRACE, і PII-Tracer найближчим часом.