PII-TRACE: Detección de datos personales antes de que salgan del dispositivo

El cómputo híbrido en Mac divide las tareas de Perplexity Computer entre modelos avanzados en la nube y un modelo local en el Mac. Los agentes en la nube se encargan de la investigación, el razonamiento y la planificación, mientras que el modelo local trabaja con archivos privados e información confidencial.

Este límite depende de detectar información de identificación personal (PII) antes de que abandone el dispositivo. Un mecanismo de privacidad local retiene el contenido confidencial en el Mac, redacta la información privada detectada o solicita aprobación antes de enviarla a la nube.

La detección se vuelve más difícil en conversaciones largas y multilingües. El mismo identificador puede aparecer varias veces en diferentes turnos. Una sola mención omitida puede exponer la información que el sistema debe proteger.

Introducción

Hoy presentamos PII-TRACE (Tracing Recurring PII Across Conversational Exchanges), un nuevo benchmark para evaluar detectores de información de identificación personal (PII), y PII-Tracer, un modelo compacto de 0,6 mil millones de parámetros para la detección de PII.

Los agentes centrados en la nube obligan a los usuarios a equilibrar el contexto, la inteligencia y la privacidad. Un mayor contexto personal puede ayudar a un agente a comprender al usuario y producir mejores resultados. Sin embargo, proporcionar este contexto a menudo implica enviar información privada a un servicio remoto y puede filtrar datos personales. La información que hace que un asistente sea útil puede ser exactamente la que el usuario más desea mantener en privado.

La IA híbrida facilita este equilibrio al dividir el trabajo entre el dispositivo del usuario y los modelos en la nube. Pero dicho límite solo protege la privacidad si el dispositivo es capaz de reconocer la PII antes de que el texto se envíe a un modelo remoto. Los usuarios no deberían tener que inspeccionar cada mensaje por sí mismos. El dispositivo necesita un detector de PII local que actúe como su barrera de privacidad. En conversaciones largas, el mismo identificador puede reaparecer a lo largo de los turnos, y una sola mención omitida basta para que la información personal se filtre.

Perplexity introdujo un orquestador de inferencia híbrido local-servidor que decide qué trabajo debe ejecutarse en el dispositivo y cuál debe enviarse a los agentes en la nube. El modelo, el entorno del agente, las conversaciones y las trayectorias de ejecución residen en la máquina del usuario. Las tareas que requieren acceso al exterior solo se invocan cuando es necesario y están controladas por el permiso del usuario. Como resultado, hasta que el usuario lo aprueba, ese contenido permanece en el dispositivo.

PII-Tracer proporciona una señal de control local para el enrutamiento de modelos al marcar los fragmentos en los que se predice la presencia de PII. A continuación, la aplicación aplica la política de enrutamiento. Mantiene la entrada relevante de manera local, redacta los fragmentos detectados o solicita aprobación explícita antes de derivar a un modelo en la nube. Esto hace que el enrutamiento sea más selectivo. La PII detectada permanece en el dispositivo, mientras que el contexto aprobado sigue beneficiándose de los modelos avanzados en la nube.

El enrutamiento selectivo depende de una detección coherente en toda la conversación. El mismo identificador puede reaparecer a lo largo de los turnos y una mención omitida puede terminar transmitiéndose.

Entre 12 detectores, PII-Tracer registra la mayor F1 de caracteres y la mayor cobertura coherente de identificadores recurrentes. El benchmark explica por qué ambos resultados son importantes: en una conversación larga, encontrar la mayor parte de la PII no es lo mismo que encontrar cada copia de esta.

La detección de PII se enfrenta a nuevos retos en la IA híbrida

La detección de PII es un problema de seguridad de larga data y ya existen varios benchmarks y detectores. No obstante, la detección de PII en entornos de IA híbrida introduce nuevos retos. En particular, los detectores deben identificar PII en conversaciones largas y de múltiples turnos, donde el contexto conversacional determina si una cadena debe considerarse PII. Por ejemplo, un nombre puede identificar al usuario en una conversación, referirse a una figura pública en otra o ser simplemente un marcador de posición generado por un asistente. La forma superficial por sí sola es insuficiente para determinar si una cadena debe marcarse como PII.

Los detectores y bancos de pruebas de PII existentes se centran principalmente en registros individuales. Observamos que los detectores diseñados para procesar un registro a la vez obtienen malos resultados en conversaciones largas y complejas. Asimismo, las evaluaciones actuales generalmente no evalúan la consistencia entre turnos. Como resultado, un rendimiento sólido en estas evaluaciones no se traduce necesariamente en una detección eficaz de PII en conversaciones largas y con múltiples turnos.

PII-TRACE: un benchmark para la detección de PII crítica en entornos de implementación

Diseñamos PII-TRACE en torno a tres comportamientos que importan cuando se utiliza un detector de PII en conversaciones con asistentes. El primero es la cobertura coherente: cuando un identificador aparece varias veces o cruza turnos de usuario y asistente, el detector debe encontrar cada mención. El segundo es la robustez ante contextos largos: las conversaciones van desde menos de 1.000 hasta más de 100.000 caracteres, lo que permite medir qué sucede a medida que crece el historial. El tercero es la gestión de múltiples idiomas y contenido de formato mixto: una conversación puede cambiar de idioma y combinar prosa con código, tablas o registros estructurados. PII-TRACE preserva estos patrones al evaluar cada diálogo completo en lugar de dividirlo en registros aislados.

El benchmark mide el rendimiento en dos niveles complementarios. A nivel de identificador, la detección coherente plantea la pregunta más estricta: ¿el detector cubrió todos los caracteres de cada mención del mismo identificador? Informamos esta puntuación por separado para los identificadores con múltiples menciones y para aquellos que se repiten entre turnos. A nivel de carácter, la precisión mide qué parte del texto marcado por un detector está etiquetada como PII, la recuperación mide cuánta PII etiquetada encuentra, y la F1 equilibra ambas.

PII-TRACE contiene 13.148 conversaciones sintéticas entre usuario y asistente en 13 idiomas y 10 sistemas de escritura, con 37.431 menciones de identificadores etiquetadas a nivel de carácter en nueve tipos de PII. Un total del 41% de las conversaciones contienen contenido estructurado. Entre las 5.645 conversaciones con PII etiquetada, el 63,8% incluye un identificador que aparece más de una vez, y el 28,7% incluye un identificador que aparece en múltiples turnos.

Construcción de un conjunto de datos sintético a partir de conversaciones de producción

PII-TRACE preserva la estructura de turnos de las conversaciones de origen sin publicar los originales. El proceso reescribe cada turno y sustituye cada identificador etiquetado por un valor sintético.

En primer lugar, múltiples modelos de lenguaje marcan nueve tipos de PII en conversaciones de producción entre usuarios y asistentes. Una fase basada en reglas agrupa los identificadores repetidos del mismo tipo bajo un único ID de entidad. A continuación, cada valor marcado se reemplaza por un marcador de posición tipado, lo que genera una plantilla que conserva el orden de los turnos, el tipo de PII y los vínculos entre menciones, pero ninguno de los valores originales marcados.

El sistema parafrasea cada turno manteniendo intactos dichos marcadores, e inserta a continuación valores sintéticos que coinciden con el tipo y formato del identificador. Las menciones repetidas reciben el mismo valor dentro de una conversación, mientras que las distintas conversaciones emplean valores generados de forma independiente. La fase de alineación final recalcula cada desplazamiento de caracteres.

Tres mecanismos automáticos verifican que los reemplazos coincidan con los fragmentos almacenados, que las menciones repetidas utilicen el mismo valor y que los valores de origen marcados no estén presentes tras un escaneo con expresiones regulares y Presidio. Un desplazamiento almacenado también debe recuperar la subcadena sintética exacta. Los registros que fallan se regeneran o se descartan. Un segundo modelo de lenguaje audita una muestra, y humanos revisan cualquier elemento que este señale como PII.

PII-Tracer: un detector compacto para uso local

PII-Tracer es un codificador bidireccional de 0,6 mil millones de parámetros adaptado de una arquitectura Qwen3. El filtrado de privacidad difiere de la generación de texto, ya que requiere encontrar los fragmentos de PII relevantes y devolver sus límites. Como resultado, PII-Tracer reemplaza la máscara causal de Qwen3 con atención bidireccional consciente del relleno, de modo que cada token puede aprovechar los turnos anteriores y posteriores dentro de una ventana de 4.096 tokens.

Para cada token, el codificador produce una representación de 1.024 dimensiones. Un cabezal de etiquetado lineal genera puntuaciones para 37 etiquetas posibles: una etiqueta especial (que utilizamos O para denotar) destinada al texto fuera de un fragmento de PII, además de cuatro etiquetas de posición de fragmento para cada uno de los nueve tipos de PII. En el esquema BIOES para el reconocimiento de entidades nombradas, B (Inicio), I (Interior) y E (Fin) marcan un fragmento de múltiples tokens, mientras que S (Único) marca un fragmento de un solo token. Un cabezal auxiliar también predice si la conversación contiene material confidencial, como información médica o religiosa.

Entrenamos PII-Tracer durante tres épocas con aproximadamente 714.000 muestras de entrenamiento, combinando conversaciones multilingües de asistentes con ejemplos de registro único. El codificador bidireccional compartido cuenta con dos cabezales de entrenamiento: un cabezal de tokens BIOES de 37 clases que detecta y clasifica fragmentos de PII, y un cabezal binario a nivel de conversación que predice si esta contiene material confidencial. Entrenamos ambos cabezales de forma conjunta utilizando $\mathcal{L}=1.5\mathcal{L}_{\mathrm{tag}}+0.3\mathcal{L}_{\mathrm{sens}}$. Aquí, $\mathcal{L}_{\mathrm{tag}}$ otorga más peso a las etiquetas de PII raras para que la etiqueta frecuente `O` no domine, mientras que $\mathcal{L}_{\mathrm{sens}}$ proporciona la señal de entrenamiento a nivel de conversación; los coeficientes 1,5 y 0,3 mantienen la detección de fragmentos como la tarea principal. Esta señal auxiliar refuerza la detección sensible al contexto: el modelo aprende a evaluar un fragmento candidato dentro de la conversación en lugar de como una cadena aislada, lo que ayuda a reducir los falsos positivos con solo una pequeña pérdida en la recuperación.

En el momento de la inferencia, un decodificador de Viterbi restringido busca la secuencia BIOES válida con mayor puntuación en lugar de etiquetar cada token de forma independiente. Por ejemplo, B-private_person puede continuar con I-private_person o cerrarse con E-private_person, pero no cambiar a I-private_email. El decodificador mapea el resultado de vuelta a fragmentos de caracteres exactos para su redacción o enrutamiento local.

PII-Tracer lidera en F1 de caracteres y PII recurrente

Comparamos los detectores tanto a nivel de carácter como de fragmento (span). La métrica F1 de caracteres evalúa la detección carácter por carácter. La F1 de solapamiento de fragmentos mide si el detector identifica cualquier parte de un elemento PII, mientras que la F1 de contención de fragmentos mide si captura el elemento completo.

PII-Tracer alcanzó la mayor F1 de caracteres (0,629) entre los 12 sistemas evaluados, y la segunda más alta en F1 de solapamiento y de contención de fragmentos. Los modelos avanzados, a saber, GPT-5.6-sol y Claude Sonnet 5, lograron un rendimiento general comparable. GPT-5.6-sol obtuvo puntuaciones más altas en ambas métricas de F1 a nivel de fragmento, pero una F1 de caracteres menor. Sin embargo, estos modelos avanzados cuentan con cientos de miles de millones o incluso billones de parámetros y son modelos de código cerrado alojados en la nube. Como consecuencia, no son adecuados para proteger datos locales confidenciales en entornos de IA híbrida donde el texto no filtrado debe permanecer en el ámbito local. En contraste, PII-Tracer ofrece una detección a nivel de fragmento cercana a la de los modelos avanzados con solo 0,6B de parámetros y puede procesar texto no filtrado de forma totalmente local. Otros detectores de PII de código abierto muestran un rendimiento considerablemente inferior al de PII-Tracer.

Cómo encontrar cada mención recurrente

El experimento de consistencia aplica una prueba más estricta a las mismas predicciones. El conjunto de prueba contiene 899 identificadores que aparecen una vez y 959 que aparecen más de una vez; 790 de los identificadores recurrentes abarcan múltiples turnos. La figura muestra cuatro tramos según el recuento de menciones (uno, dos, de tres a cinco, y de seis a diez) y cuenta un identificador únicamente cuando se encuentran todos sus caracteres etiquetados. Representa a PII-Tracer junto con tres líneas base seleccionadas, mientras que la tabla agregada muestra las puntuaciones recurrentes y entre turnos para los doce sistemas.

PII-Tracer mantiene la ventaja a medida que aumenta la repetición: su puntuación pasa de 0,917 para una mención a 0,873 para dos, de 0,796 para tres a cinco, y de 0,691 para seis a diez. En el último segmento, GPT-5.6-sol alcanza 0,464, mientras que GLiNER2-PII y Claude Opus 4.8 llegan a 0,073 y 0,045. En toda la evaluación, PII-Tracer encuentra todas las menciones del 79,4% de los identificadores recurrentes y del 77,6% de los identificadores entre turnos; GPT-5.6-sol alcanza el 57,0% y el 55,1% en las mismas dos medidas.

Cobertura de conversaciones largas

Primero agrupamos las 1.922 conversaciones de prueba por longitud de caracteres y decodificamos PII-Tracer con la ventana de 4.096 tokens. Los grupos contienen 167 conversaciones de menos de 1.000 caracteres, 1.292 de 1.000 a 10.000, y 463 de 10.000 o más.

La recuperación en ventana única es de 0,975 por debajo de los 1.000 caracteres y de 0,955 de 1.000 a 10.000, pero desciende a 0,687 en conversaciones iguales o superiores a 10.000 caracteres. La precisión se mantiene cerca de 0,51 en los dos grupos más largos, lo que señala que la cobertura de entrada es el problema principal.

Para estudiar el efecto del tratamiento de las entradas, evaluamos el mismo punto de control con una decodificación de ventana deslizante con un 50% de solapamiento. Esto eleva la recuperación general de caracteres de 0,830 a 0,965 y la detección coherente de múltiples menciones de 0,794 a 0,954, sin necesidad de reentrenamiento.

Consistencia entre idiomas

PII-TRACE abarca 13 idiomas; el experimento lingüístico informa sobre una sección de seis idiomas que abarca alfabetos latinos, cirílicos y hangul: inglés, alemán, francés, italiano, ruso y coreano. Ejecutamos los mismos 12 detectores en todas las conversaciones de prueba de cada idioma. Dentro de cada idioma, agrupamos los caracteres predichos y los de referencia para calcular la F1 de caracteres.

PII-Tracer lidera la métrica F1 de caracteres en cuatro de los seis idiomas: alemán (0,735), francés (0,633), italiano (0,676) y ruso (0,651), y se encuentra a 0,016 y 0,036 de los mejores resultados en inglés y coreano. En el análisis complementario, genera una detección consistente en los seis subconjuntos de idiomas, con puntuaciones de 0,80 a 0,93. La perspectiva por idioma muestra mejoras más allá del inglés.

Mayor F1 de caracteres que el filtro de privacidad en cinco benchmarks estándar

El experimento final se traslada fuera de PII-TRACE. Ejecutamos PII-Tracer y el filtro de privacidad de OpenAI en el conjunto de validación de ai4privacy (47.728 documentos), el conjunto de prueba de Nemotron-PII (100.000), un conjunto SPY de semilla fija (8.688), el conjunto de prueba de Gretel PII (5.000) y el conjunto de prueba TAB ECHR (127).

PII-Tracer obtiene una mayor F1 de caracteres en todos los conjuntos de datos: 0,950 frente a 0,907 en ai4privacy, 0,847 frente a 0,709 en Nemotron-PII, 0,585 frente a 0,543 en SPY, 0,952 frente a 0,895 en Gretel PII y 0,594 frente a 0,350 en TAB. TAB es el único punto de referencia de este grupo construido a partir de texto real etiquetado por humanos. En este, PII-Tracer alcanza 0,986 frente a 0,982 de precisión y 0,425 frente a 0,213 de recuperación; es decir, duplica la recuperación con esencialmente la misma precisión (detalles en el artículo). Por lo tanto, el mayor valor de F1 se transfiere de las conversaciones de PII-TRACE a los cinco puntos de referencia convencionales de registro único en esta comparación.

Conclusión

La inteligencia artificial híbrida integra el dispositivo del usuario en la pila de inferencia, lo que ofrece una mayor privacidad y un menor costo. Los modelos avanzados en la nube pueden encargarse de la investigación, el razonamiento y la planificación, mientras que los modelos locales trabajan con archivos y datos personales que deben permanecer en el dispositivo. Esta división depende de reconocer la información confidencial antes de que cualquier dato de este tipo se envíe a la nube.

PII-Tracer es un modelo compacto para detectar PII en conversaciones de múltiples turnos, mientras que PII-TRACE evalúa si los detectores pueden identificar de forma coherente PII recurrente a lo largo de una conversación.

En conjunto, PII-TRACE y PII-Tracer proporcionan un punto de referencia y un modelo de referencia para impulsar la detección de PII en conversaciones de múltiples turnos y otros entornos de contexto largo.

Los agentes asumen tareas más largas y trabajan con un contexto personal más amplio. Como resultado, los controles de privacidad deben mantenerse en toda la conversación, no solo en la entrada inicial. La IA híbrida depende de una detección local fiable para mantener el contexto confidencial en el dispositivo.

Lea el artículo en arXiv para obtener detalles sobre el benchmark PII-TRACE, el modelo PII-Tracer y nuestra evaluación. Tenemos la intención de publicar tanto PII-TRACE como PII-Tracer próximamente.