PII-TRACE：デバイスから離れる前に個人データを検出する

Mac上のハイブリッドコンピュートは、Perplexity Computerのタスクをクラウド内の最先端モデルとMac上のローカルモデルに分割します。クラウドエージェントは調査、推論、および計画を処理し、ローカルモデルはプライベートなファイルや機密情報を処理します。

この境界は、個人特定情報（PII）がデバイスから離れる前に検出できるかどうかに依存しています。ローカルプライバシーゲートにより、機密コンテンツをMac上に保持し、検出された個人情報を秘匿化するか、クラウドに送信する前に承認を要求します。

長く多言語にわたる会話では、検出がより困難になります。同じ識別子が異なるターンにわたって複数回出現する場合があります。1回でも言及を見落とすと、システムが保護すべき情報が露出する可能性があります。

はじめに

本日、私たちは個人特定情報（PII）検出器を評価するための新しいベンチマークであるPII-TRACE （Tracing Recurring PII Across Conversational Exchanges：会話のやり取り全体にわたる再帰的PIIの追跡）と、PII検出のためのコンパクトな0.6BモデルであるPII-Tracerを発表します。

クラウドファーストのエージェントは、ユーザーにコンテキスト、インテリジェンス、およびプライバシーのバランスを取ることを強います。より多くのパーソナルコンテキストは、エージェントがユーザーを理解し、より良い結果を生み出すのに役立ちます。しかし、このコンテキストを提供することは、多くの場合、プライベートな情報をリモートサービスに送信することを意味し、個人情報の漏洩につながる可能性があります。アシスタントを便利にしている情報こそが、ユーザーが最もプライベートに保ちたいと望むものである可能性があります。

ハイブリッドAIは、ユーザーのデバイスとクラウドモデルの間で作業を分割することで、このトレードオフを緩和します。しかし、その境界がプライバシーを保護するのは、テキストがリモートモデルに送信される前にデバイスがPIIを認識できる場合のみです。ユーザーがすべてのメッセージを自分自身で検査する必要はありません。デバイスには、プライバシーゲートとして機能するローカルのPII検出器が必要です。長時間の会話では、同じ識別子がターンをまたいで再発することがあり、個人情報が通過するには1回の見落としで十分なのです。

Perplexityは、ハイブリッドなローカル・サーバー推論オーケストレーターを導入しました。これにより、どの処理をデバイス上で実行し、どの処理をクラウド内のエージェントに送信するかを決定します。モデル、エージェントハーネス、会話、および実行の軌跡はすべてユーザーのマシン上に常駐します。外部世界へのアクセスを必要とするタスクは、必要な場合にのみ呼び出され、ユーザーの許可によって制御されます。その結果、ユーザーが承認するまで、そのコンテンツはデバイス内に留まります。

PII-Tracerは、PIIを含んでいると予測されたスパンにフラグを立てることで、モデルルーティングのための1つのローカル制御信号を提供します。その後、アプリケーションがルーティングポリシーを適用します。関連する入力をローカルに保持し、検知されたスパンを秘匿化するか、クラウドモデルにエスカレーションする前に明示的な承認を要求します。これにより、ルーティングの選択性が高まります。検出されたPIIはデバイス上に残る一方で、承認されたコンテキストは引き続き最先端のクラウドモデルの恩恵を受けることができます。

選択的ルーティングは、会話全体を通じた一貫した検出に依存しています。同じ識別子がターンをまたいで再発することがあり、見逃された言及がそのまま送信される可能性があります。

12の検出器の中で、PII-Tracerは最高の文字F1と、再帰的識別子の最も一貫したカバレッジを記録しています。このベンチマークは、なぜ両方の結果が重要であるかを説明しています。長時間の会話において、ほとんどのPIIを見つけることは、そのすべてのコピーを見つけることとは同じではありません。

ハイブリッドAIにおけるPII検出の新たな課題

PII検出は長年のセキュリティ問題であり、すでにいくつかのベンチマークや検出器が存在しています。しかし、ハイブリッドAIの設定におけるPII検出には、新たな課題が伴います。特に、検出器は長時間のマルチターン会話においてPIIを特定する必要があり、その際、文字列をPIIと見なすべきかどうかは会話のコンテキストによって決まります。例えば、名前が、ある会話ではユーザーを特定し、別の会話では公人係を指し示し、あるいは単にアシスタントによって生成されたプレースホルダーである場合があります。文字列がPIIとしてフラグ付けされるべきかどうかを判断するには、表面的な形式だけでは不十分です。

既存のPII検出器やベンチマークは、主に個別のレコードを対象としています。1回に1つのレコードを処理するように設計された検出器は、長く複雑な会話に対してはパフォーマンスが低下することが判明しています。また、既存のベンチマークは一般的に、ターン間の一貫性を評価しません。その結果、これらのベンチマークで高いパフォーマンスを示したとしても、必ずしも長時間のマルチターン会話における効果的なPII検出につながるとは限りません。

PII-TRACE：デプロイが不可欠なPII検出のためのベンチマーク

PII-TRACEは、アシスタントとの会話でPII検出器が使用される際に重要な3つの挙動を中心に設計されています。1つ目は一貫したカバレッジです。識別子が複数回出現する場合や、ユーザーとアシスタントのターンにまたがる場合、検出器はすべての言及を見つける必要があります。2つ目は長いコンテキストに対するロバスト性です。会話は1,000未満から100,000文字を超えるものまで多岐にわたり、履歴が長くなるにつれて何が起こるかを測定可能にします。3つ目は多言語および混在フォーマットのコンテンツの処理です。会話は言語を切り替えたり、散文とコード、表、構造化レコードを組み合わせたりすることがあります。PII-TRACEは、対話を孤立したレコードに分割するのではなく、それぞれの完全な対話を評価することでこれらのパターンを保持します。

このベンチマークは、2つの補完的なレベルでパフォーマンスを測定します。識別子レベルでは、一貫した検出により、より厳格な問いを投げかけます。つまり、検出器は同じ識別子のすべての言及におけるすべての文字を網羅できたかという問いです。このスコアは、複数の言及を持つ識別子と、ターンをまたいで繰り返される識別子のそれぞれについて個別に報告します。文字レベルでは、精度は検出器によってマークされたテキストのうちどれだけがPIIとしてラベル付けされているかを測定し、リコールはラベル付けされたPIIのうちどれだけを見つけたかを測定し、F1は両者のバランスを取ります。

PII-TRACEには、13言語および10種類の文字体系にわたる13,148件の合成ユーザー・アシスタント間の会話が含まれており、9種類のPIIタイプにわたり文字レベルでラベル付けされた37,431件の識別子の言及が含まれています。会話全体の41%に構造化コンテンツが含まれています。PIIのラベルが付いた5,645件の会話のうち、63.8%には2回以上出現する識別子が含まれており、28.7%には複数のターンにわたって出現する識別子が含まれています。

実稼働の会話からの合成データセットの構築

PII-TRACEは、元のソースを公開することなく、ソース会話のターン構造を保持します。パイプラインは各ターンを書き換え、ラベル付けされたすべての識別子を合成値に置き換えます。

まず、複数の言語モデルが、実稼働中のユーザー・アシスタント間の会話における9種類のPIIにマークを付けます。ルールベースのパスにより、同じタイプの繰り返しの識別子が1つのエンティティIDの下にグループ化されます。その後、マークされた各値が型付きのプレースホルダーに置き換えられ、ターンの順序、PIIタイプ、および言及間のリンクは保持しつつ、マークされた元の値は一切含まないテンプレートが残されます。

システムは、それらのプレースホルダーをそのまま維持しながら各ターンをパラフレーズし、識別子のタイプとフォーマットに一致する合成値を挿入します。会話内では繰り返し言及されるものには同じ値が割り当てられ、異なる会話では独立して生成された値が使用されます。最後の整列パスで、すべての文字オフセットが再計算されます。

3つの自動化されたゲートにより、置換が保存されたスパンと一致していること、重複する言及で同じ値が使用されていること、およびマークされたソースの値がPresidioおよび正規表現による再スキャンで存在しないことが確認されます。また、保存されたオフセットから正確な合成サブストリングが復元される必要もあります。失敗したレコードは再生成されるか、破棄されます。2番目の言語モデルがサンプルを監査し、それがPIIとしてフラグ付けしたものは人間がレビューします。

PII-Tracer：ローカル利用のためのコンパクトな検出器

PII-Tracerは、Qwen3のバックボーンを適応させた0.6Bの双方向エンコーダーです。プライバシーのスクリーニングはテキスト生成とは異なり、関連するPIIスパンを見つけてその境界を返す必要があります。その結果、PII-TracerはQwen3の因果マスクをパディング対応の双方向アテンションに置き換えており、すべてのトークンが4,096トークンのウィンドウ内で、より前のターンとより後のターンの両方を利用できるようになっています。

各トークンについて、エンコーダーは1,024次元の表現を生成します。リニアタギングヘッドは、37種類の可能なラベルのスコアを生成します。PIIスパンの外側のテキスト用の1つの特別なラベル（表記にOを使用）に加え、9種類のPIIタイプのそれぞれに対する4つのスパン位置ラベルです。固有表現認識におけるBIOESスキームでは、B（Beginning：開始）、I（Inside：内部）、E（End：終了）が複数トークンのスパンを示し、一方S（Single：単一）が1トークンのスパンを示します。また、補助ヘッドは、健康や宗教に関する情報などの機密素材が会話に含まれているかどうかをも予測します。

PII-Tracerを約714,000件のトレーニングサンプルを用いて3エポックトレーニングし、多言語アシスタントの会話と単一レコードの例を組み合わせています。共有の双方向エンコーダーには2つのトレーニングヘッドがあります。PIIスパンを検出して分類する37クラスのBIOESトークンヘッドと、会話に機密素材が含まれているかどうかを予測するバイナリの会話レベルヘッドです。両方のヘッドを$\mathcal{L}=1.5\mathcal{L}_{\mathrm{tag}}+0.3\mathcal{L}_{\mathrm{sens}}$を使用して共同でトレーニングします。ここで、$\mathcal{L}_{\mathrm{tag}}$は稀なPIIラベルにより多くの重みを与えて頻出する`O`ラベルが支配的にならないようにし、一方$\mathcal{L}_{\mathrm{sens}}$は会話レベルのトレーニング信号を提供します。1.5と0.3の係数により、スパン検出がメインのタスクとして維持されます。この補助的な信号がコンテキストを考慮した検出を強化し、モデルは孤立した文字列としてではなく会話内の候補スパンを判断することを学習し、リコールのわずかなトレードオフのみで偽陽性を減らすのに役立ちます。

推論時には、制約付きのViterbiデコーダーが、各トークンを独立してラベル付けするのではなく、スコアが最も高い有効なBIOESシーケンスを探索します。例えば、B-private_personはI-private_personに継続するか、E-private_personで終了することはできますが、I-private_emailに切り替えることはできません。デコーダーは結果を正確な文字スパンにマッピングし直し、秘匿化（リダクション）やローカルルーティングを行います。

文字F1および再帰的PIIでリードするPII-Tracer

検出器の性能を文字レベルとスパンレベルの両方で比較します。文字単位のF1は、1文字ずつ検出精度を評価します。スパン重複F1は、検出器がPII項目の任意の部分を識別できたかどうかを測定し、スパン包含F1は、項目全体を捉えているかどうかを測定します。

PII-Tracerは、評価された12システムの中で最高値となる文字F1（0.629）を達成し、スパン重複F1とスパン包含F1でも2番目に高い値を記録しました。最先端モデルであるGPT-5.6-solとClaude Sonnet 5は、同等の全体的パフォーマンスを達成しました。GPT-5.6-solは両方のスパンレベルF1メトリクスでより高いスコアを獲得しましたが、文字F1はより低い結果となりました。しかし、これらの最先端モデルは数千億から数兆ものパラメータを持ち、クラウドでホストされるクローズドソースモデルです。その結果、スクリーニングされていないテキストをローカルに保持する必要があるハイブリッドAIの設定において、機密性の高いローカルデータを保護するのには適していません。対照的に、PII-Tracerはわずか0.6Bのパラメータで最先端に近いスパンレベルの検出を実現し、スクリーニングされていないテキストを完全にローカルで処理できます。その他のオープンソースのPII検出器のパフォーマンスは、PII-Tracerよりも大幅に劣っています。

すべての再帰的言及を見つける

一貫性実験では、同じ予測に対してより厳格なテストを適用します。テストセットには、1回出現する899個の識別子と、複数回出現する959個の識別子が含まれており、再帰的識別子のうち790個が複数のターンにまたがっています。この図では、4つの言及回数バケット（1回、2回、3〜5回、6〜10回）を報告しており、ラベル付けされた文字がすべて見つかった場合のみ識別子をカウントします。PII-Tracerを3つの選択されたベースラインと比較してプロットしており、一方の集計表では、12すべてのシステムについて再帰的およびターンをまたぐスコアを報告しています。

PII-Tracerは、繰り返しの増加に対しても優位性を保っています。そのスコアは、1回言及の場合は0.917から、2回の場合は0.873、3〜5回の場合は0.796、6〜10回の場合は0.691へと推移します。最後のバケットでは、GPT-5.6-solが0.464に達する一方、GLiNER2-PIIとClaude Opus 4.8はそれぞれ0.073および0.045となります。全体的な評価を通じて、PII-Tracerは再帰的識別子の79.4%、およびターンをまたぐ識別子の77.6%のすべての言及を検出します。GPT-5.6-solは、同じ2つの測定基準においてそれぞれ57.0%および55.1%に達します。

長時間の会話をカバーする

まず、1,922件のテスト会話をすべて文字長でグループ化し、4,096トークンのウィンドウを使用してPII-Tracerでデコードします。グループには、1,000文字未満の会話が167件、1,000〜10,000文字の会話が1,292件、10,000文字以上の会話が463件含まれています。

シングルウィンドウのリコールは、1,000文字未満で0.975、1,000〜10,000文字で0.955ですが、10,000文字以上の会話では0.687に低下します。精度は長めの2つのグループで約0.51にとどまっており、入力のカバレッジが主な課題であることを示しています。

入力処理の効果を調査するために、50%重複のスライディングウィンドウデコーディングを使用して同じチェックポイントを評価します。これにより、再トレーニングなしで、全体的な文字リコールが0.830から0.965に向上し、マルチ言及の一貫した検出が0.794から0.954に向上します。

言語間での一貫性

PII-TRACEは13言語をカバーしています。言語実験では、ラテン文字、キリル文字、ハングル文字のスクリプトにまたがる6言語のセグメント（英語、ドイツ語、フランス語、イタリア語、ロシア語、韓国語）を報告しています。各言語のすべてのテスト会話に対して、同じ12の検出器を実行します。各言語内で、予測された文字とゴールド標準の文字をプールし、文字F1を計算します。

PII-Tracerは、6言語中4言語（ドイツ語[0.735]、フランス語[0.633]、イタリア語[0.676]、ロシア語[0.651]）で文字F1の首位を獲得しており、英語と韓国語でも最高結果から0.016および0.036の差に迫っています。付随する分析では、6つの言語サブセットすべてにおいて一貫した検出をもたらし、0.80〜0.93のスコアを記録しています。言語別の見解は、英語以外の言語における向上を示しています。

5つの標準ベンチマークにおけるプライバシーフィルターを上回る高い文字F1

最後の実験はPII-TRACEの外で行われます。ai4privacyの検証用分割（47,728ドキュメント）、Nemotron-PIIのテスト用分割（100,000）、固定シードのSPYセット（8,688）、Gretel PIIのテスト用分割（5,000）、およびTAB ECHRのテスト用分割（127）において、PII-TracerとOpenAIプライバシーフィルターを実行します。

PII-Tracerは、すべてのデータセットにおいてより高い文字F1を記録しています。ai4privacyでは0.950対0.907、Nemotron-PIIでは0.847対0.709、SPYでは0.585対0.543、Gretel PIIでは0.952対0.895、TABでは0.594対0.350となっています。TABはこのグループの中で、実際の人間によってラベル付けされたテキストから構築された唯一のベンチマークです。そこでPII-Tracerは、精度0.986対0.982、リコール0.425対0.213を達成しており、本質的に同じ精度でありながら2倍のリコールを実現しています（詳細は論文を参照）。したがって、より高いF1は、PII-TRACEの会話から、この比較における5つの従来の単一レコードベンチマークすべてに引き継がれています。

結論

ハイブリッドAIは、ユーザーのデバイスを推論スタックに統合し、より強力なプライバシーと低コストを提供します。クラウド内の最先端モデルが調査、推論、および計画を処理できる一方で、ローカルモデルはデバイス上に留まるべきファイルや個人データを処理します。この分業は、機密データがクラウドに送信される前に機密情報を認識することにかかっています。

PII-Tracerは、マルチターン会話におけるPIIを検出するためのコンパクトなモデルであり、一方のPII-TRACEは、検出器が会話全体を通じて再帰的なPIIを一貫して識別できるかどうかを評価します。

PII-TRACEとPII-Tracerは一体となって、マルチターン会話やその他の長コンテキストの設定におけるPII検出を進展させるためのベンチマークとリファレンスモデルを提供します。

エージェントは、より長時間のタスクを引き受け、より多くのパーソナルコンテキストを扱っています。その結果、プライバシー制御は初期入力だけでなく、会話全体を通じて維持されるべきです。ハイブリッドAIは、機密コンテキストをデバイス上に保持するための信頼性の高いローカル検出に依存しています。

PII-TRACEベンチマーク、PII-Tracerモデル、および私たちの評価の詳細については、arXivの論文をお読みください。まもなくPII-TRACEとPII-Tracerの両方をリリースする予定です。