PII-TRACE : détecter les données personnelles avant qu'elles ne quittent l'appareil

Le calcul hybride sur Mac répartit les tâches de Perplexity Computer entre les modèles de pointe dans le cloud et un modèle local sur le Mac. Les agents cloud gèrent la recherche, le raisonnement et la planification, tandis que le modèle local travaille avec des fichiers privés et des informations sensibles.

Cette limite dépend de la détection des informations personnelles identifiables (PII) avant qu'elles ne quittent l'appareil. Une barrière de confidentialité locale conserve le contenu sensible sur le Mac, rédige les informations privées détectées ou demande une approbation avant de les envoyer dans le cloud.

La détection devient plus difficile dans les conversations longues et multilingues. Le même identifiant peut apparaître plusieurs fois au cours de différents tours. Une seule mention manquée peut exposer les informations que le système est censé protéger.

Introduction

Aujourd'hui, nous présentons PII-TRACE (Tracing Recurring PII Across Conversational Exchanges), un nouveau repère de référence pour l'évaluation des détecteurs d'informations personnelles identifiables (PII), ainsi que PII-Tracer, un modèle compact de 0,6B pour la détection de PII.

Les agents axés sur le cloud obligent les utilisateurs à trouver un équilibre entre contexte, intelligence et confidentialité. Davantage de contexte personnel peut aider un agent à comprendre l'utilisateur et à produire de meilleurs résultats. Mais fournir ce contexte signifie souvent envoyer des informations privées à un service distant et risque de fuiter des informations personnelles. L'information qui rend un assistant utile peut être précisément celle qu'un utilisateur souhaite le plus garder privée.

L'IA hybride atténue ce compromis en répartissant le travail entre l'appareil de l'utilisateur et les modèles cloud. Mais cette limite ne protège la confidentialité que si l'appareil est capable de reconnaître les PII avant que le texte ne soit envoyé à un modèle distant. Les utilisateurs ne devraient pas avoir à inspecter chaque message eux-mêmes. L'appareil a besoin d'un détecteur de PII local agissant comme sa barrière de confidentialité. Dans les conversations longues, le même identifiant peut réapparaître au fil des tours, et une seule mention manquée suffit pour que des informations personnelles passent au travers.

Perplexity a introduit un orchestrateur d'inférence hybride local-serveur qui décide des tâches à exécuter sur l'appareil et de celles à envoyer aux agents dans le cloud. Le modèle, la structure des agents, les conversations et les trajectoires d'exécution résident tous sur la machine de l'utilisateur. Les tâches nécessitant un accès au monde extérieur ne sont invoquées qu'en cas de nécessité et sont soumises à l'autorisation de l'utilisateur. Par conséquent, tant que l'utilisateur n'a pas approuvé, ce contenu reste sur l'appareil.

PII-Tracer fournit un signal de contrôle local unique pour le routage des modèles en signalant les segments prédits comme contenant des PII. L'application applique ensuite la politique de routage. Elle maintient l'entrée pertinente en local, rédige les segments détectés ou demande une approbation explicite avant d'escalader vers un modèle cloud. Cela rend le routage plus sélectif. Les PII détectées restent sur l'appareil tandis que le contexte approuvé continue de bénéficier des modèles cloud de pointe.

Le routage sélectif dépend d'une détection cohérente à travers l'ensemble de la conversation. Le même identifiant peut réapparaître au fil des tours, et une mention manquée peut tout de même être transmise.

Parmi 12 détecteurs, PII-Tracer enregistre le F1 par caractère le plus élevé et la couverture cohérente la plus élevée des identifiants récurrents. Le repère de référence explique pourquoi ces deux résultats comptent : lors d'une longue conversation, trouver la plupart des PII ne revient pas à trouver chaque copie de celles-ci.

La détection des PII fait face à de nouveaux défis dans l'IA hybride

La détection des PII est un problème de sécurité de longue date, et plusieurs repères de référence et détecteurs existent déjà. Cependant, la détection des PII dans les environnements d'IA hybride introduit de nouveaux défis. En particulier, les détecteurs doivent identifier les PII dans des conversations longues et multi-tours, où le contexte conversationnel détermine si une chaîne doit être considérée comme une PII. Par exemple, un nom peut identifier l'utilisateur dans une conversation, faire référence à une personnalité publique dans une autre, ou simplement être un espace réservé généré par un assistant. La forme de surface seule est insuffisante pour déterminer si une chaîne doit être signalée comme une PII.

Les détecteurs et repères de référence de PII existants ciblent principalement les enregistrements individuels. Nous constatons que les détecteurs conçus pour traiter un enregistrement à la fois obtiennent de piètres résultats sur les conversations longues et complexes. De plus, les repères de référence existants n'évaluent généralement pas la cohérence d'un tour à l'autre. Par conséquent, de solides performances sur ces repères ne se traduisent pas nécessairement par une détection efficace des PII dans les conversations longues et multi-tours.

PII-TRACE : un repère de référence pour la détection de PII critique au déploiement

Nous avons conçu PII-TRACE autour de trois comportements qui comptent lorsqu'un détecteur de PII est utilisé sur des conversations d'assistant. Le premier est la couverture cohérente : lorsqu'un identifiant apparaît plusieurs fois ou traverse des tours d'utilisateur et d'assistant, le détecteur doit trouver chaque mention. Le deuxième est la robustesse face aux contextes longs : les conversations vont de moins de 1 000 à plus de 100 000 caractères, ce qui permet de mesurer ce qui se produit à mesure que l'historique grandit. Le troisième est la gestion de multiples langues et de contenus aux formats mixtes : une conversation peut changer de langue et combiner de la prose avec du code, des tableaux ou des enregistrements structurés. PII-TRACE préserve ces motifs en évaluant chaque dialogue complet au lieu de le diviser en enregistrements isolés.

Le repère de référence mesure les performances à deux niveaux complémentaires. Au niveau de l'identifiant, la détection cohérente pose la question la plus stricte : le détecteur a-t-il couvert chaque caractère de chaque mention du même identifiant ? Nous rapportons ce score séparément pour les identifiants comportant plusieurs mentions et pour les identifiants qui se répètent d'un tour à l'autre. Au niveau des caractères, la précision mesure la proportion de texte marqué par un détecteur qui est étiqueté comme PII, le rappel mesure la proportion de PII étiquetées qu'il trouve, et le F1 équilibre les deux.

PII-TRACE contient 13 148 conversations synthétiques entre utilisateur et assistant dans 13 langues et 10 systèmes d'écriture, avec 37 431 mentions d'identifiants étiquetées au niveau du caractère selon neuf types de PII. Au total, 41 % des conversations contiennent du contenu structuré. Parmi les 5 645 conversations avec des PII étiquetées, 63,8 % incluent un identifiant qui apparaît plus d'une fois, et 28,7 % incluent un identifiant qui apparaît sur plusieurs tours.

Création d'un jeu de données synthétique à partir de conversations de production

PII-TRACE préserve la structure des tours des conversations source sans publier les originaux. Le pipeline réécrit chaque tour et remplace chaque identifiant étiqueté par une valeur synthétique.

Premièrement, plusieurs modèles de langage marquent neuf types de PII dans les conversations de production entre utilisateur et assistant. Une passe basée sur des règles regroupe les identifiants répétés du même type sous un seul ID d'entité. Chaque valeur marquée est ensuite remplacée par un espace réservé typé, laissant un modèle qui conserve l'ordre des tours, le type de PII et les liens entre les mentions, mais aucune des valeurs originales marquées.

Le système paraphrase chaque tour tout en maintenant ces espaces réservés intacts, puis insère des valeurs synthétiques qui correspondent au type et au format de l'identifiant. Les mentions répétées reçoivent la même valeur au sein d'une conversation, tandis que différentes conversations utilisent des valeurs générées indépendamment. La passe d'alignement finale recalcule chaque décalage de caractère.

Trois barrières automatisées vérifient que les remplacements correspondent aux segments stockés, que les mentions répétées utilisent la même valeur et que les valeurs sources marquées sont absentes lors d'une nouvelle analyse par Presidio et expressions régulières. Un décalage stocké doit également permettre de récupérer exactement la sous-chaîne synthétique. Les enregistrements qui échouent sont régénérés ou supprimés. Un deuxième modèle de langage audite un échantillon, et des humains examinent tout ce qu'il signale comme étant des PII.

PII-Tracer : un détecteur compact pour un usage local

PII-Tracer est un encodeur bidirectionnel de 0,6B adapté d'une architecture Qwen3. Le filtrage de la confidentialité diffère de la génération de texte et nécessite de trouver les segments de PII pertinents et de renvoyer leurs limites. Par conséquent, PII-Tracer remplace le masque causal de Qwen3 par une attention bidirectionnelle consciente du remplissage, de sorte que chaque jeton puisse s'appuyer à la fois sur les tours précédents et suivants dans une fenêtre de 4 096 jetons.

Pour chaque jeton, l'encodeur produit une représentation à 1 024 dimensions. Une tête de balisage linéaire produit des scores pour 37 étiquettes possibles : une étiquette spéciale (que nous utilisons O pour désigner) pour le texte situé en dehors d'un segment de PII, plus quatre étiquettes de position de segment pour chacun des neuf types de PII. Dans le système BIOES pour la reconnaissance d'entités nommées, B (Début), I (À l'intérieur) et E (Fin) marquent un segment multi-jeton, tandis que S (Unique) marque un segment à un seul jeton. Une tête auxiliaire prédit également si la conversation contient du matériel sensible, tel que des informations de santé ou religieuses.

Nous entrainons PII-Tracer pendant trois époques sur environ 714 000 échantillons d'entrainement, en combinant des conversations d'assistance multilingues avec des exemples à enregistrement unique. L'encodeur bidirectionnel partagé possède deux têtes d'entrainement : une tête de jeton BIOES à 37 classes qui détecte et type les segments de PII, et une tête binaire au niveau de la conversation qui prédit si la conversation contient du matériel sensible. Nous entrainons les deux têtes conjointement en utilisant $\mathcal{L}=1.5\mathcal{L}_{\mathrm{tag}}+0.3\mathcal{L}_{\mathrm{sens}}$. Ici, $\mathcal{L}_{\mathrm{tag}}$ accorde plus de poids aux étiquettes de PII rares afin que l'étiquette fréquente `O` ne domine pas, tandis que $\mathcal{L}_{\mathrm{sens}}$ fournit le signal d'entrainement au niveau de la conversation ; les coefficients 1,5 et 0,3 maintiennent la détection de segments comme tâche principale. Ce signal auxiliaire renforce la détection sensible au contexte : le modèle apprend à évaluer un segment candidat au sein de la conversation plutôt que comme une chaîne isolée, ce qui aide à réduire les faux positifs avec seulement un petit compromis sur le rappel.

Au moment de l'inférence, un décodeur de Viterbi contraint recherche la séquence BIOES valide ayant le score le plus élevé au lieu de étiqueter chaque jeton indépendamment. Par exemple, B-private_person peut continuer avec I-private_person ou se clore avec E-private_person, mais ne peut pas basculer vers I-private_email. Le décodeur convertit le résultat en segments de caractères exacts pour la rédaction ou le routage local.

PII-Tracer en tête sur le F1 par caractère et les PII récurrentes

Nous comparons les détecteurs au niveau des caractères et des segments. Le F1 par caractère évalue la détection caractère par caractère. Le F1 de chevauchement de segments mesure si le détecteur identifie une partie quelconque d'un élément de PII, tandis que le F1 d'inclusion de segments mesure s'il capture l'élément entier.

PII-Tracer a atteint le F1 par caractère le plus élevé (0,629) parmi les 12 systèmes évalués, ainsi que le deuxième F1 de chevauchement de segments et F1 d'inclusion de segments le plus élevé. Les modèles de pointe, à savoir GPT-5.6-sol et Claude Sonnet 5, ont atteint des performances globales comparables. GPT-5.6-sol a obtenu des scores plus élevés sur les deux métriques F1 au niveau des segments, mais un F1 par caractère inférieur. Cependant, ces modèles de pointe comptent des centaines de milliards, voire des billions de paramètres et sont des modèles à code source fermé hébergés dans le cloud. Par conséquent, ils ne conviennent pas pour protéger les données locales sensibles dans des environnements d'IA hybride où le texte non filtré doit rester local. En revanche, PII-Tracer offre une détection au niveau des segments proche des modèles de pointe avec seulement 0,6B paramètres et peut traiter du texte non filtré entièrement en local. D'autres détecteurs de PII open-source obtiennent des résultats nettement inférieurs à ceux de PII-Tracer.

Trouver chaque mention récurrente

L'expérience de cohérence applique un test plus strict aux mêmes prédictions. L'ensemble de test contient 899 identifiants qui apparaissent une seule fois et 959 qui apparaissent plus d'une fois ; 790 des identifiants récurrents s'étendent sur plusieurs tours. Le graphique présente quatre tranches de nombre de mentions (une, deux, de trois à cinq, et de six à dix) et ne comptabilise un identifiant que lorsque tous ses caractères étiquetés sont trouvés. Il trace PII-Tracer avec trois références sélectionnées, tandis que le tableau global rapporte les scores récurrents et inter-tours pour l'ensemble des douze systèmes.

PII-Tracer garde une longueur d'avance à mesure que la répétition augmente : son score passe de 0,917 pour une mention à 0,873 pour deux, 0,796 pour trois à cinq, et 0,691 pour six à dix. Dans la dernière tranche, GPT-5.6-sol atteint 0,464, tandis que GLiNER2-PII et Claude Opus 4.8 atteignent 0,073 et 0,045. Sur l'ensemble de l'évaluation, PII-Tracer trouve chaque mention de 79,4 % des identifiants récurrents et de 77,6 % des identifiants inter-tours ; GPT-5.6-sol atteint 57,0 % et 55,1 % sur ces deux mêmes mesures.

Couvrir les conversations longues

Nous regroupons d'abord l'ensemble des 1 922 conversations de test par longueur de caractères et décodons PII-Tracer avec la fenêtre de 4 096 jetons. Les groupes contiennent 167 conversations de moins de 1 000 caractères, 1 292 de 1 000 à 10 000, et 463 de 10 000 ou plus.

Le rappel à une seule fenêtre est de 0,975 en dessous de 1 000 caractères et de 0,955 de 1 000 à 10 000, mais chute à 0,687 pour les conversations de 10 000 caractères ou plus. La précision reste proche de 0,51 dans les deux groupes les plus longs, ce qui désigne la couverture des entrées comme le principal problème.

Pour étudier l'effet de la gestion des entrées, nous évaluons le même point de contrôle avec un décodage par fenêtre glissante à 50 % de chevauchement. Cela élève le rappel global des caractères de 0,830 à 0,965 et la détection cohérente multi-mention de 0,794 à 0,954, sans réentrainement.

Cohérent à travers les langues

PII-TRACE couvre 13 langues ; l'expérience linguistique rapporte une tranche de six langues couvrant les écritures latine, cyrillique et hangeul : l'anglais, l'allemand, le français, l'italien, le russe et le coréen. Nous exécutons les 12 mêmes détecteurs sur toutes les conversations de test dans chaque langue. Au sein de chaque langue, nous regroupons les caractères prédits et de référence (gold) et calculons le F1 par caractère.

PII-Tracer est en tête pour le F1 par caractère dans quatre des six langues, à savoir l'allemand (0,735), le français (0,633), l'italien (0,676) et le russe (0,651), et se situe à moins de 0,016 et 0,036 des meilleurs résultats en anglais et en coréen. Dans l'analyse d'accompagnement, il conduit à une détection cohérente dans les six sous-ensembles linguistiques, obtenant des scores de 0,80 à 0,93. La vue par langue montre des gains au-delà de l'anglais.

Un F1 par caractère plus élevé que le filtre de confidentialité sur cinq repères de référence standard

L'expérience finale se déroule en dehors de PII-TRACE. Nous exécutons PII-Tracer et le filtre de confidentialité d'OpenAI sur la division de validation ai4privacy (47 728 documents), la division de test Nemotron-PII (100 000), un ensemble SPY à graine fixe (8 688), la division de test Gretel PII (5 000) et la division de test TAB ECHR (127).

PII-Tracer présente un F1 par caractère plus élevé sur chaque jeu de données : 0,950 contre 0,907 sur ai4privacy, 0,847 contre 0,709 sur Nemotron-PII, 0,585 contre 0,543 sur SPY, 0,952 contre 0,895 sur Gretel PII, et 0,594 contre 0,350 sur TAB. TAB est le seul repère de référence de ce groupe construit à partir de véritables textes étiquetés par des humains. Sur ce jeu de données, PII-Tracer atteint 0,986 contre 0,982 de précision et 0,425 contre 0,213 de rappel, soit deux fois plus de rappel pour pratiquement la même précision (détails dans l'article). Le F1 plus élevé se reporte donc des conversations PII-TRACE vers l'ensemble des cinq repères de référence conventionnels à enregistrement unique de cette comparaison.

Conclusion

L'IA hybride intègre l'appareil de l'utilisateur dans la pile d'inférence, offrant une confidentialité renforcée et un coût inférieur. Les modèles de pointe dans le cloud peuvent gérer la recherche, le raisonnement et la planification, tandis que les modèles locaux travaillent avec des fichiers et des données personnelles qui doivent rester sur l'appareil. Cette division dépend de la reconnaissance des informations sensibles avant que toute donnée sensible ne soit envoyée vers le cloud.

PII-Tracer est un modèle compact permettant de détecter les PII dans les conversations multi-tours, tandis que PII-TRACE évalue si les détecteurs peuvent identifier de manière cohérente les PII récurrentes tout au long d'une conversation.

Ensemble, PII-TRACE et PII-Tracer fournissent un repère de référence et un modèle de référence pour faire progresser la détection des PII dans les conversations multi-tours et autres contextes longs.

Les agents prennent en charge des tâches plus longues et travaillent avec un contexte personnel plus riche. Par conséquent, les contrôles de confidentialité doivent s'appliquer à l'ensemble de la conversation, et pas seulement à l'entrée initiale. L'IA hybride dépend d'une détection locale fiable pour conserver le contexte sensible sur l'appareil.

Lisez l'article arXiv pour plus de détails sur le repère de référence PII-TRACE, le modèle PII-Tracer et notre évaluation. Nous prévoyons de publier prochainement PII-TRACE et PII-Tracer.