PII-TRACE: A Detetar Dados Pessoais Antes de Saírem do Dispositivo
Um benchmark de 13 idiomas para deteção consistente de PII em conversas de longa duração, emparelhado com um detetor compacto de 0,6B concebido para ser executado localmente.
Computação híbrida no Mac divide as tarefas do Perplexity Computer entre modelos de última geração na cloud e um modelo local no Mac. Os agentes na cloud lidam com investigação, raciocínio e planeamento, enquanto o modelo local trabalha com ficheiros privados e informações sensíveis.
Este limite depende da deteção de informação pessoal identificável (PII) antes de esta sair do dispositivo. Uma porta de privacidade local mantém o conteúdo sensível no Mac, anonimiza a informação privada detetada ou solicita aprovação antes de a enviar para a cloud.
A deteção torna-se mais difícil em conversas longas e multilingues. O mesmo identificador pode aparecer várias vezes em diferentes turnos. Uma menção omitida pode expor a informação que o sistema se destina a proteger.
Introdução
Hoje, estamos a introduzir o PII-TRACE (Tracing Recurring PII Across Conversational Exchanges), um novo benchmark para avaliar detetores de informação pessoal identificável (PII), e o PII-Tracer, um modelo compacto de 0,6B para deteção de PII.
Os agentes focados na cloud forçam os utilizadores a equilibrar contexto, inteligência e privacidade. Mais contexto pessoal pode ajudar um agente a compreender o utilizador e a produzir melhores resultados. Mas fornecer este contexto significa frequentemente enviar informação privada para um serviço remoto e pode divulgar informação pessoal. A informação que torna um assistente útil pode ser exatamente o que um utilizador mais deseja manter privado.
A IA híbrida facilita este compromisso dividindo o trabalho entre o dispositivo do utilizador e os modelos na cloud. Mas esse limite só protege a privacidade se o dispositivo puder reconhecer PII antes que o texto seja enviado para um modelo remoto. Os utilizadores não devem ter de inspecionar cada mensagem eles próprios. O dispositivo precisa de um detetor de PII local como sua porta de privacidade. Em conversas longas, o mesmo identificador pode recorrer ao longo dos turnos e uma menção omitida é suficiente para que a informação pessoal passe.
O Perplexity introduziu um orquestrador de inferência híbrido de servidor local que decide que trabalho deve ser executado no dispositivo e que trabalho deve ser enviado para agentes na cloud. O modelo, o motor de agentes, as conversas e as trajetórias de execução residem todos na máquina do utilizador. As tarefas que requerem acesso ao mundo exterior são invocadas apenas quando necessário e são controladas pela permissão do utilizador. Como resultado, até que o utilizador aprove, esse conteúdo permanece no dispositivo.
O PII-Tracer fornece um sinal de controlo local para o encaminhamento de modelos, sinalizando intervalos previstos para conter PII. A aplicação impõe então a política de encaminhamento. Mantém a entrada relevante local, anonimiza os intervalos detetados ou solicita aprovação explícita antes de escalar para um modelo na cloud. Isto torna o encaminhamento mais seletivo. A PII detetada permanece no dispositivo enquanto o contexto aprovado continua a beneficiar dos modelos de última geração na cloud.
O encaminhamento seletivo depende de uma deteção consistente em toda a conversa. O mesmo identificador pode recorrer ao longo dos turnos e uma menção omitida ainda pode ser transmitida.
Em 12 detetores, o PII-Tracer regista o F1 de carateres mais alto e a cobertura consistente mais alta de identificadores recorrentes. O benchmark explica porque é que ambos os resultados importam: numa conversa longa, encontrar a maioria da PII não é o mesmo que encontrar cada cópia da mesma.
A Deteção de PII Enfrenta Novos Desafios em IA Híbrida
A deteção de PII é um problema de segurança de longa data e já existem vários benchmarks e detetores. No entanto, a deteção de PII em ambientes de IA híbrida introduz novos desafios. Em particular, os detetores devem identificar PII em conversas longas e com vários turnos, onde o contexto conversacional determina se uma string deve ser considerada PII. Por exemplo, um nome pode identificar o utilizador numa conversa, referir-se a uma figura pública noutra ou ser simplesmente um marcador de posição gerado por um assistente. A forma de superfície isolada é insuficiente para determinar se uma string deve ser sinalizada como PII.
Os detetores e benchmarks de PII existentes visam principalmente registos individuais. Verificamos que os detetores concebidos para processar um registo de cada vez têm um desempenho fraco em conversas longas e complexas. Além disso, os benchmarks existentes geralmente não avaliam a consistência entre turnos. Como resultado, um forte desempenho nestes benchmarks não se traduz necessariamente numa deteção eficaz de PII em conversas longas e com vários turnos.
PII-TRACE: Um Benchmark para Deteção de PII Crítica para a Implementação
Concebemos o PII-TRACE em torno de três comportamentos que importam quando um detetor de PII é utilizado em conversas de assistentes. O primeiro é a cobertura consistente: quando um identificador aparece várias vezes ou atravessa turnos de utilizador e assistente, o detetor precisa de encontrar todas as menções. O segundo é a robustez a contexto longo: as conversas variam de menos de 1.000 a mais de 100.000 caracteres, tornando possível medir o que acontece à medida que o histórico cresce. O terceiro é o manuseamento de múltiplos idiomas e conteúdo de formato misto: uma conversa pode mudar de idioma e combinar prosa com código, tabelas ou registos estruturados. O PII-TRACE preserva estes padrões avaliando cada diálogo completo em vez de o dividir em registos isolados.
O benchmark mede o desempenho em dois níveis complementares. Ao nível do identificador, a deteção consistente coloca a questão mais rigorosa: o detetor cobriu todos os carateres em cada menção do mesmo identificador? Relatamos esta pontuação separadamente para identificadores com múltiplas menções e para identificadores que se repetem entre turnos. Ao nível do caráter, a precisão mede quanta parte do texto marcado por um detetor é rotulada como PII, a revocação mede quanta PII rotulada encontra, e o F1 equilibra ambos.
O PII-TRACE contém 13.148 conversas sintéticas entre utilizador e assistente em 13 idiomas e 10 sistemas de escrita, com 37.431 menções de identificadores rotuladas ao nível do caráter em nove tipos de PII. Um total de 41% das conversas contém conteúdo estruturado. Entre as 5.645 conversas com PII rotulada, 63,8% incluem um identificador que aparece mais do que uma vez, e 28,7% incluem um identificador que aparece em vários turnos.
Construir um conjunto de dados sintético a partir de conversas de produção
O PII-TRACE preserva a estrutura de turnos das conversas de origem sem publicar os originais. O pipeline reescreve cada turno e substitui cada identificador rotulado por um valor sintético.
Primeiro, múltiplos modelos de linguagem marcam nove tipos de PII em conversas de produção entre utilizador e assistente. Uma passagem baseada em regras agrupa identificadores repetidos do mesmo tipo sob um ID de entidade. Cada valor marcado é então substituído por um marcador de posição tipado, deixando um modelo que retém a ordem de turnos, o tipo de PII e as ligações entre menções, mas nenhum dos valores originais marcados.
O sistema parafraseia cada turno mantendo esses marcadores de posição intactos, e depois insere valores sintéticos que correspondem ao tipo e formato do identificador. Menções repetidas recebem o mesmo valor dentro de uma conversa, enquanto diferentes conversas utilizam valores gerados de forma independente. A passagem de alinhamento final recalcula cada desvio de caráter.
Três portas automatizadas verificam se as substituições correspondem aos intervalos armazenados, se as menções repetidas utilizam o mesmo valor e se os valores de origem marcados estão ausentes sob uma nova análise do Presidio e de expressões regulares. Um desvio armazenado também deve recuperar a substring sintética exata. Os registos que falham são regenerados ou descartados. Um segundo modelo de linguagem audita uma amostra e humanos reveem qualquer coisa que ele sinalize como PII.
PII-Tracer: Um Detetor Compacto para Uso Local
O PII-Tracer é um codificador bidirecional de 0,6B adaptado a partir de uma base Qwen3. A triagem de privacidade é diferente da geração de texto e requer encontrar intervalos de PII relevantes e retornar os seus limites. Como resultado, o PII-Tracer substitui a máscara causal do Qwen3 por atenção bidirecional com deteção de preenchimento, para que cada token possa recorrer a turnos anteriores e posteriores dentro de uma janela de 4.096 tokens.
Para cada token, o codificador produz uma representação de 1.024 dimensões. Um cabeçalho de etiquetagem linear produz pontuações para 37 possíveis rótulos: um rótulo especial (que usamos O para denotar) para texto fora de um intervalo de PII, mais quatro rótulos de posição de intervalo para cada um dos nove tipos de PII. No esquema BIOES para Reconhecimento de Entidades Nomeadas, B (Início), I (Dentro) e E (Fim) marcam um intervalo de vários tokens, enquanto S (Único) marca um intervalo de um token. Um cabeçalho auxiliar também prevê se a conversa contém material sensível, como informações de saúde ou religiosas.
Treinamos o PII-Tracer durante três épocas em cerca de 714.000 amostras de treino, combinando conversas de assistentes multilingues com exemplos de registo único. O codificador bidirecional partilhado tem dois cabeçalhos de treino: um cabeçalho de token BIOES de 37 classes que deteta e classifica intervalos de PII, e um cabeçalho binário ao nível da conversa que prevê se a conversa contém material sensível. Treinamos ambos os cabeçalhos em conjunto utilizando . Aqui, atribui mais peso a rótulos de PII raros para que o rótulo frequente `O` não domine, enquanto fornece o sinal de treino ao nível da conversa; os coeficientes 1,5 e 0,3 mantêm a deteção de intervalos como a tarefa principal. Este sinal auxiliar reforça a deteção sensível ao contexto: o modelo aprende a julgar um intervalo candidato dentro da conversa em vez de como uma string isolada, ajudando a reduzir falsos positivos com apenas uma pequena compensação na revocação.
No momento da inferência, um descodificador de Viterbi restrito procura a sequência BIOES válida com a pontuação mais alta, em vez de rotular cada token de forma independente. Por exemplo, B-private_person pode continuar com I-private_person ou fechar com E-private_person, mas não mudar para I-private_email. O descodificador mapeia o resultado de volta para intervalos de caracteres exatos para anonimização ou encaminhamento local.
O PII-Tracer Lidera no F1 de Carateres e em PII Recorrente
Comparamos os detetores ao nível do caráter e do intervalo. O F1 de carateres avalia a deteção caráter a caráter. O F1 de sobreposição de intervalos mede se o detetor identifica qualquer parte de um item de PII, enquanto o F1 de inclusão de intervalos mede se abrange o item inteiro.
O PII-Tracer alcançou o F1 de carateres mais alto (0,629) entre os 12 sistemas avaliados, e o segundo F1 de sobreposição de intervalos e F1 de inclusão de intervalos mais altos. Os modelos de última geração, nomeadamente o GPT-5.6-sol e o Claude Sonnet 5, alcançaram um desempenho global comparável. O GPT-5.6-sol obteve pontuações mais altas em ambas as métricas de F1 ao nível do intervalo, mas um F1 de carateres inferior. No entanto, estes modelos de última geração têm centenas de milhares de milhões ou mesmo biliões de parâmetros e são modelos de código fechado alojados na cloud. Como resultado, são inadequados para proteger dados locais sensíveis em definições de IA híbrida onde o texto não verificado deve permanecer local. Em contrapartida, o PII-Tracer oferece deteção ao nível do intervalo quase de última geração com apenas 0,6B parâmetros e pode processar texto não verificado de forma totalmente local. Outros detetores de PII de código aberto têm um desempenho substancialmente pior do que o PII-Tracer.
Encontrar Cada Menção Recorrente
O experiência de consistência aplica um teste mais rigoroso às mesmas previsões. O conjunto de teste contém 899 identificadores que aparecem uma vez e 959 que aparecem mais do que uma vez; 790 dos identificadores recorrentes abrangem múltiplos turnos. A figura relata quatro grupos de contagem de menções (um, dois, três a cinco, e seis a dez) e conta um identificador apenas quando todos os seus carateres rotulados são encontrados. Apresenta o PII-Tracer com três linhas de base selecionadas, enquanto a tabela agregada relata pontuações recorrentes e entre turnos para todos os doze sistemas.
O PII-Tracer mantém-se na vanguarda à medida que a repetição aumenta: a sua pontuação passa de 0,917 para uma menção para 0,873 para duas, 0,796 para três a cinco, e 0,691 para seis a dez. No último grupo, o GPT-5.6-sol atinge 0,464, enquanto o GLiNER2-PII e o Claude Opus 4.8 atingem 0,073 e 0,045. Em toda a avaliação, o PII-Tracer encontra todas as menções de 79,4% dos identificadores recorrentes e 77,6% dos identificadores entre turnos; o GPT-5.6-sol atinge 57,0% e 55,1% nas mesmas duas medidas.
Abranger Conversas Longas
Primeiro, agrupamos todas as 1.922 conversas de teste por comprimento de caráter e descodificamos o PII-Tracer com a janela de 4.096 tokens. Os grupos contêm 167 conversas abaixo de 1.000 caracteres, 1.292 de 1.000 a 10.000, e 463 com 10.000 ou mais.
A revocação de janela única é 0,975 abaixo de 1.000 caracteres e 0,955 de 1.000 a 10.000, mas desce para 0,687 para conversas com 10.000 caracteres ou mais. A precisão permanece próxima de 0,51 nos dois grupos mais longos, apontando a cobertura de entrada como o principal problema.
Para estudar o efeito do manuseamento de entradas, avaliamos o mesmo ponto de verificação com descodificação de janela deslizante com 50% de sobreposição. Isto aumenta a revocação global de carateres de 0,830 para 0,965 e a deteção consistente de várias menções de 0,794 para 0,954, sem retreinamento.
Consistente entre Idiomas
O PII-TRACE abrange 13 idiomas; a experiência de idiomas relata uma fração de seis idiomas abrangendo os guiões latino, cirílico e hangul: inglês, alemão, francês, italiano, russo e coreano. Executamos os mesmos 12 detetores em todas as conversas de teste em cada idioma. Dentro de cada idioma, agrupamos os carateres previstos e de referência e calculamos o F1 de carateres.
O PII-Tracer lidera o F1 de carateres em quatro de seis idiomas, alemão (0,735), francês (0,633), italiano (0,676) e russo (0,651), e está a 0,016 e 0,036 dos melhores resultados em inglês e coreano. Na análise complementar, conduz a uma deteção consistente em todos os seis subconjuntos de idiomas, pontuando 0,80–0,93. A vista por idioma mostra ganhos além do inglês.
F1 de Carateres Superior ao do Filtro de Privacidade em Cinco Benchmarks Padrão
A experiência final desloca-se para fora do PII-TRACE. Executamos o PII-Tracer e o Filtro de Privacidade da OpenAI na divisão de validação do ai4privacy (47.728 documentos), divisão de teste do Nemotron-PII (100.000), um conjunto SPY de seed fixa (8.688), a divisão de teste do Gretel PII (5.000) e a divisão de teste TAB ECHR (127).
O PII-Tracer tem um F1 de carateres mais elevado em todos os conjuntos de dados: 0,950 versus 0,907 no ai4privacy, 0,847 versus 0,709 no Nemotron-PII, 0,585 versus 0,543 no SPY, 0,952 versus 0,895 no Gretel PII e 0,594 versus 0,350 no TAB. O TAB é o único benchmark deste grupo construído a partir de texto real rotulado por humanos. Aí, o PII-Tracer atinge 0,986 versus 0,982 de precisão e 0,425 versus 0,213 de revocação — o dobro da revocação essencialmente com a mesma precisão (detalhes no artigo). O F1 mais elevado transita assim das conversas do PII-TRACE para os cinco benchmarks convencionais de registo único nesta comparação.
Conclusão
A IA híbrida integra o dispositivo do utilizador na pilha de inferência, oferecendo maior privacidade e menor custo. Os modelos de última geração na cloud podem lidar com investigação, raciocínio e planeamento, enquanto os modelos locais trabalham com ficheiros e dados pessoais que devem permanecer no dispositivo. Esta divisão depende do reconhecimento de informações sensíveis antes que quaisquer dados sensíveis vão para a cloud.
O PII-Tracer é um modelo compacto para detetar PII em conversas com vários turnos, enquanto o PII-TRACE avalia se os detetores conseguem identificar consistentemente PII recorrente ao longo de uma conversa.
Em conjunto, o PII-TRACE e o PII-Tracer fornecem um benchmark e um modelo de referência para fazer avançar a deteção de PII em conversas com vários turnos e noutros cenários de contexto longo.
Os agentes estão a assumir tarefas mais longas e a trabalhar com mais contexto pessoal. Como resultado, os controlos de privacidade devem manter-se em toda a conversa, e não apenas na entrada inicial. A IA híbrida depende de uma deteção local fiável para manter o contexto sensível no dispositivo.
Leia o artigo do arXiv para obter detalhes sobre o benchmark PII-TRACE, o modelo PII-Tracer e a nossa avaliação. Planeamos lançar o PII-TRACE e o PII-Tracer em breve.