PII-TRACE : détecter les données personnelles avant qu'elles ne quittent l'appareil

Le calcul hybride sur Mac divise les tâches de Perplexity Computer entre des modèles de pointe dans le cloud et un modèle local sur le Mac. Les agents cloud gèrent la recherche, le raisonnement et la planification, tandis que le modèle local travaille avec des fichiers privés et des informations sensibles.

Cette limite dépend de la détection des informations personnelles identifiables (PII) avant qu'elles ne quittent l'appareil. Une porte de confidentialité locale conserve le contenu sensible sur le Mac, masque les informations privées détectées ou demande une approbation avant de l'envoyer dans le cloud.

La détection devient plus difficile dans les conversations longues et multilingues. Le même identifiant peut apparaître plusieurs fois au fil de différents tours. Une seule mention manquée peut exposer les informations que le système est censé protéger.

Introduction

Aujourd'hui, nous présentons PII-TRACE (Tracing Recurring PII Across Conversational Exchanges), un nouveau repère de référence pour l'évaluation des détecteurs d'informations personnelles identifiables (PII), ainsi que PII-Tracer, un modèle compact de 0,6B pour la détection de PII.

Les agents axés sur le cloud obligent les utilisateurs à trouver un équilibre entre contexte, intelligence et confidentialité. Davantage de contexte personnel peut aider un agent à comprendre l'utilisateur et à produire de meilleurs résultats. Mais fournir ce contexte implique souvent d'envoyer des informations privées à un service distant et risque de divulguer des informations personnelles. Les informations qui rendent un assistant utile peuvent être précisément celles qu'un utilisateur souhaite le plus garder privées.

L'IA hybride atténue ce compromis en répartissant le travail entre l'appareil de l'utilisateur et les modèles cloud. Mais cette limite ne protège la confidentialité que si l'appareil est capable de reconnaître les PII avant que le texte ne soit envoyé à un modèle distant. Les utilisateurs ne devraient pas avoir à inspecter chaque message eux-mêmes. L'appareil a besoin d'un détecteur de PII local comme porte de confidentialité. Dans les longues conversations, le même identifiant peut réapparaître d'un tour à l'autre, et une seule mention manquée suffit pour que des informations personnelles passent au travers.

Perplexity a introduit un orchestrateur d'inférence hybride local-serveur qui décide des tâches à exécuter sur l'appareil et de celles à envoyer aux agents dans le cloud. Le modèle, la structure d'agent, les conversations et les trajectoires d'exécution résident tous sur la machine de l'utilisateur. Les tâches qui nécessitent un accès au monde extérieur ne sont invoquées qu'en cas de nécessité et sont soumises à l'autorisation de l'utilisateur. Par conséquent, tant que l'utilisateur ne l'approuve pas, ce contenu reste sur l'appareil.

PII-Tracer fournit un signal de contrôle local pour le routage des modèles en signalant les intervalles prédits comme contenant des PII. L'application applique ensuite la politique de routage. Elle conserve l'entrée pertinente en local, masque les intervalles détectés ou demande une approbation explicite avant de passer à un modèle cloud. Cela rend le routage plus sélectif. Les PII détectées restent sur l'appareil tandis que le contexte approuvé bénéficie toujours des modèles cloud de pointe.

Le routage sélectif dépend d'une détection cohérente dans l'ensemble de la conversation. Le même identifiant peut réapparaître d'un tour à l'autre, et une mention manquée peut tout de même être transmise.

Sur 12 détecteurs, PII-Tracer enregistre le F1 par caractère le plus élevé et la couverture cohérente la plus élevée des identifiants récurrents. Le repère de référence explique pourquoi ces deux résultats comptent : dans une longue conversation, trouver la plupart des PII ne revient pas à trouver chaque copie de celles-ci.

La détection de PII fait face à de nouveaux défis dans l'IA hybride

La détection de PII est un problème de sécurité de longue date, et plusieurs repères de référence et détecteurs existent déjà. Cependant, la détection de PII dans les contextes d'IA hybride introduit de nouveaux défis. En particulier, les détecteurs doivent identifier les PII dans des conversations longues et à plusieurs tours, où le contexte conversationnel détermine si une chaîne doit être considérée comme une PII. Par exemple, un nom peut identifier l'utilisateur dans une conversation, faire référence à une personnalité publique dans une autre, ou simplement être un espace réservé généré par un assistant. La forme de surface seule est insuffisante pour déterminer si une chaîne doit être signalée comme une PII.

Les détecteurs et repères de référence PII existants ciblent principalement les enregistrements individuels. Nous constatons que les détecteurs conçus pour traiter un enregistrement à la fois obtiennent de piètres résultats sur les conversations longues et complexes. De même, les repères de référence existants n'évaluent généralement pas la cohérence entre les tours. Par conséquent, de solides performances sur ces repères ne se traduisent pas nécessairement par une détection PII efficace dans les conversations longues et à plusieurs tours.

PII-TRACE : un repère de référence pour la détection de PII critique au déploiement

Nous avons conçu PII-TRACE autour de trois comportements qui comptent lorsqu'un détecteur de PII est utilisé sur des conversations d'assistant. Le premier est la couverture cohérente : lorsqu'un identifiant apparaît plusieurs fois ou traverse des tours d'utilisateur et d'assistant, le détecteur doit trouver chaque mention. Le second est la robustesse face à un contexte long : les conversations vont de moins de 1 000 à plus de 100 000 caractères, ce qui permet de mesurer ce qui se produit à mesure que l'historique grandit. Le troisième est la gestion de plusieurs langues et de contenus aux formats mixtes : une conversation peut changer de langue et combiner de la prose avec du code, des tableaux ou des enregistrements structurés. PII-TRACE préserve ces schémas en évaluant chaque dialogue complet au lieu de le diviser en enregistrements isolés.

Le repère de référence mesure les performances à deux niveaux complémentaires. Au niveau de l'identifiant, la détection cohérente pose la question la plus stricte : le détecteur a-t-il couvert chaque caractère de chaque mention du même identifiant ? Nous rapportons ce score séparément pour les identifiants comportant plusieurs mentions et pour les identifiants qui se répètent d'un tour à l'autre. Au niveau des caractères, la précision mesure la quantité de texte marqué par un détecteur qui est étiquetée comme PII, le rappel mesure la quantité de PII étiquetée qu'il trouve, et le F1 établit l'équilibre entre les deux.

PII-TRACE contient 13 148 conversations synthétiques entre utilisateur et assistant dans 13 langues et 10 systèmes d'écriture, avec 37 431 mentions d'identifiants étiquetées au niveau des caractères dans neuf types de PII. Au total, 41 % des conversations contiennent du contenu structuré. Parmi les 5 645 conversations avec des PII étiquetées, 63,8 % incluent un identifiant qui apparaît plus d'une fois, et 28,7 % incluent un identifiant qui apparaît sur plusieurs tours.

Construire un jeu de données synthétique à partir de conversations de production

PII-TRACE préserve la structure des tours des conversations source sans publier les originaux. Le pipeline réécrit chaque tour et remplace chaque identifiant étiqueté par une valeur synthétique.

Premièrement, plusieurs modèles linguistiques marquent neuf types de PII dans des conversations de production entre utilisateur et assistant. Une passe basée sur des règles regroupe les identifiants répétés du même type sous un seul identifiant d'entité. Chaque valeur marquée est ensuite remplacée par un espace réservé typé, ce qui laisse un modèle qui conserve l'ordre des tours, le type de PII et les liens entre les mentions, mais aucune des valeurs d'origine marquées.

Le système paraphrase chaque tour tout en maintenant ces espaces réservés intacts, puis insère des valeurs synthétiques qui correspondent au type et au format de l'identifiant. Les mentions répétées reçoivent la même valeur au sein d'une conversation, tandis que différentes conversations utilisent des valeurs générées indépendamment. La passe d'alignement finale recalcule chaque décalage de caractère.

Trois portes automatisées vérifient que les remplacements correspondent aux intervalles stockés, que les mentions répétées utilisent la même valeur et que les valeurs sources marquées sont absentes lors d'une nouvelle analyse par Presidio et expression régulière. Un décalage stocké doit également permettre de récupérer la sous-chaîne synthétique exacte. Les enregistrements qui échouent sont régénérés ou supprimés. Un second modèle linguistique audite un échantillon, et des humains examinent tout ce qu'il signale comme étant des PII.

PII-Tracer : un détecteur compact pour un usage local

PII-Tracer est un encodeur bidirectionnel de 0,6B adapté d'une architecture de base Qwen3. Le filtrage de la confidentialité diffère de la génération de texte et nécessite de trouver les intervalles de PII pertinents et de renvoyer leurs limites. Par conséquent, PII-Tracer remplace le masque causal de Qwen3 par une attention bidirectionnelle tenant compte du remplissage, de sorte que chaque jeton puisse exploiter les tours précédents et suivants dans une fenêtre de 4 096 jetons.

Pour chaque jeton, l'encodeur produit une représentation à 1 024 dimensions. Une tête de balisage linéaire produit des scores pour 37 étiquettes possibles : une étiquette spéciale (que nous utilisons O pour désigner) pour le texte situé en dehors d'un intervalle de PII, plus quatre étiquettes de position d'intervalle pour chacun des neuf types de PII. Dans le schéma BIOES pour la reconnaissance d'entités nommées, B (Début), I (À l'intérieur) et E (Fin) marquent un intervalle à plusieurs jetons, tandis que S (Unique) marque un intervalle à un seul jeton. Une tête auxiliaire prédit également si la conversation contient du matériel sensible, tel que des informations relatives à la santé ou à la religion.

Nous entrainons PII-Tracer pendant trois époques sur environ 714 000 échantillons d'entraînement, en combinant des conversations d'assistant multilingues avec des exemples à enregistrement unique. L'encodeur bidirectionnel partagé possède deux têtes d'entraînement : une tête de jeton BIOES à 37 classes qui détecte et type les intervalles de PII, et une tête binaire au niveau de la conversation qui prédit si la conversation contient du matériel sensible. Nous entrainons les deux têtes conjointement à l'aide de $\mathcal{L}=1.5\mathcal{L}_{\mathrm{tag}}+0.3\mathcal{L}_{\mathrm{sens}}$. Ici, $\mathcal{L}_{\mathrm{tag}}$ donne plus de poids aux étiquettes de PII rares afin que l'étiquette fréquente `O` ne domine pas, tandis que $\mathcal{L}_{\mathrm{sens}}$ fournit le signal d'entraînement au niveau de la conversation ; les coefficients 1,5 et 0,3 maintiennent la détection d'intervalles comme tâche principale. Ce signal auxiliaire renforce la détection sensible au contexte : le modèle apprend à juger un intervalle candidat au sein de la conversation plutôt que comme une chaîne isolée, ce qui aide à réduire les faux positifs avec seulement un faible compromis sur le rappel.

Au moment de l'inférence, un décodeur de Viterbi contraint recherche la séquence BIOES valide ayant le score le plus élevé au lieu d'étiqueter chaque jeton indépendamment. Par exemple, B-private_person peut continuer avec I-private_person ou se clore avec E-private_person, mais ne peut pas basculer vers I-private_email. Le décodeur associe à nouveau le résultat à des intervalles de caractères exacts pour le masquage ou le routage local.

PII-Tracer en tête sur le F1 par caractère et les PII récurrentes

Nous comparons les détecteurs aux niveaux des caractères et des intervalles. Le F1 par caractère évalue la détection caractère par caractère. Le F1 de chevauchement d'intervalles mesure si le détecteur identifie une partie quelconque d'un élément PII, tandis que le F1 de contrainte d'intervalles mesure s'il capture l'élément entier.

PII-Tracer a atteint le F1 par caractère le plus élevé (0,629) parmi les 12 systèmes évalués, ainsi que les deuxième plus élevés pour le F1 de chevauchement d'intervalles et le F1 de contrainte d'intervalles. Les modèles de pointe, à savoir GPT-5.6-sol et Claude Sonnet 5, ont atteint des performances globales comparables. GPT-5.6-sol a obtenu des scores plus élevés sur les deux métriques de F1 au niveau des intervalles, mais un F1 par caractère inférieur. Cependant, ces modèles de pointe comptent des centaines de milliards, voire des billions de paramètres et sont des modèles à code source fermé hébergés dans le cloud. Par conséquent, ils ne conviennent pas pour protéger des données locales sensibles dans des contextes d'IA hybride où le texte non filtré doit rester local. En revanche, PII-Tracer offre une détection au niveau des intervalles proche de celle des modèles de pointe avec seulement 0,6B paramètres et peut traiter du texte non filtré entièrement en local. D'autres détecteurs de PII open source affichent des performances nettement inférieures à celles de PII-Tracer.

Trouver chaque mention récurrente

L'expérience de cohérence applique un test plus rigoureux aux mêmes prédictions. Le jeu de test contient 899 identifiants qui apparaissent une fois et 959 qui apparaissent plus d'une fois ; 790 des identifiants récurrents s'étendent sur plusieurs tours. La figure présente quatre tranches de nombre de mentions (une, deux, trois à cinq, et six à dix) et ne compte un identifiant que lorsque la totalité de ses caractères étiquetés est trouvée. Elle trace PII-Tracer avec trois bases de référence sélectionnées, tandis que le tableau agrégé présente les scores récurrents et inter-tours pour les douze systèmes.

PII-Tracer garde une longueur d'avance à mesure que la répétition augmente : son score passe de 0,917 pour une mention à 0,873 pour deux, 0,796 pour trois à cinq, et 0,691 pour six à dix. Dans la dernière tranche, GPT-5.6-sol atteint 0,464, tandis que GLiNER2-PII et Claude Opus 4.8 atteignent 0,073 et 0,045. Sur l'ensemble de l'évaluation, PII-Tracer trouve chaque mention de 79,4 % des identifiants récurrents et de 77,6 % des identifiants inter-tours ; GPT-5.6-sol atteint 57,0 % et 55,1 % sur ces mêmes deux mesures.

Couvrir les conversations longues

Nous regroupons d'abord l'ensemble des 1 922 conversations de test par longueur en caractères et décodons PII-Tracer avec la fenêtre de 4 096 jetons. Les groupes contiennent 167 conversations de moins de 1 000 caractères, 1 292 de 1 000 à 10 000, et 463 de 10 000 ou plus.

Le rappel sur une seule fenêtre est de 0,975 en dessous de 1 000 caractères et de 0,955 de 1 000 à 10 000, mais chute à 0,687 pour les conversations de 10 000 caractères ou plus. La précision reste proche de 0,51 dans les deux groupes les plus longs, ce qui désigne la couverture des entrées comme le principal problème.

Pour étudier l'effet de la gestion des entrées, nous évaluons le même point de contrôle avec un décodage par fenêtre glissante à chevauchement de 50 %. Cela élève le rappel global des caractères de 0,830 à 0,965 et la détection cohérente multi-mention de 0,794 à 0,954, sans réentraînement.

Cohérent d'une langue à l'autre

PII-TRACE couvre 13 langues ; l'expérience linguistique présente une tranche de six langues couvrant les écritures latine, cyrillique et hangul : anglais, allemand, français, italien, russe et coréen. Nous exécutons les 12 mêmes détecteurs sur toutes les conversations de test dans chaque langue. Au sein de chaque langue, nous regroupons les caractères prédits et de référence et calculons le F1 par caractère.

PII-Tracer est en tête du F1 par caractère dans quatre des six langues : allemand (0,735), français (0,633), italien (0,676) et russe (0,651), et se trouve à moins de 0,016 et 0,036 des meilleurs résultats en anglais et en coréen. Dans l'analyse d'accompagnement, il conduit à une détection cohérente dans les six sous-ensembles linguistiques, avec des scores de 0,80 à 0,93. La vue par langue montre des gains au-delà de l'anglais.

F1 par caractère supérieur à celui du filtre de confidentialité sur cinq repères de référence standard

La dernière expérience se déroule en dehors de PII-TRACE. Nous exécutons PII-Tracer et le filtre de confidentialité d'OpenAI sur la division de validation d'ai4privacy (47 728 documents), la division de test de Nemotron-PII (100 000), un ensemble SPY à graine fixe (8 688), la division de test de Gretel PII (5 000) et la division de test TAB ECHR (127).

PII-Tracer obtient un F1 par caractère plus élevé sur chaque jeu de données : 0,950 contre 0,907 sur ai4privacy, 0,847 contre 0,709 sur Nemotron-PII, 0,585 contre 0,543 sur SPY, 0,952 contre 0,895 sur Gretel PII, et 0,594 contre 0,350 sur TAB. TAB est le seul repère de référence de ce groupe construit à partir de textes réels étiquetés par des humains. Sur ce dernier, PII-Tracer atteint 0,986 contre 0,982 de précision et 0,425 contre 0,213 de rappel, soit deux fois plus de rappel pour pratiquement la même précision (détails dans l'article). Le F1 plus élevé se reporte donc des conversations PII-TRACE vers les cinq repères de référence conventionnels à enregistrement unique de cette comparaison.

Conclusion

L'IA hybride intègre l'appareil de l'utilisateur dans la pile d'inférence, offrant une confidentialité renforcée et un coût inférieur. Les modèles de pointe dans le cloud peuvent gérer la recherche, le raisonnement et la planification, tandis que les modèles locaux travaillent avec des fichiers et des données personnelles qui doivent rester sur l'appareil. Cette division dépend de la reconnaissance des informations sensibles avant qu'aucune donnée sensible ne soit envoyée vers le cloud.

PII-Tracer est un modèle compact pour la détection de PII dans les conversations à plusieurs tours, tandis que PII-TRACE évalue si les détecteurs peuvent identifier de manière cohérente les PII récurrentes tout au long d'une conversation.

Ensemble, PII-TRACE et PII-Tracer fournissent un repère de référence et un modèle de référence pour faire progresser la détection de PII dans les conversations à plusieurs tours et d'autres contextes longs.

Les agents prennent en charge des tâches plus longues et travaillent avec davantage de contexte personnel. Par conséquent, les contrôles de confidentialité doivent s'appliquer à l'ensemble de la conversation, et pas seulement à l'entrée initiale. L'IA hybride dépend d'une détection locale fiable pour conserver le contexte sensible sur l'appareil.

Lisez l'article arXiv pour plus de détails sur le repère de référence PII-TRACE, le modèle PII-Tracer et notre évaluation. Nous prévoyons de publier prochainement PII-TRACE et PII-Tracer.