BrowseSafeによる安全なAIブラウザの構築
BrowseSafeは、Webページ内に隠された悪意のある指示を検出するためのオープンな検出モデルであり、業界標準のベンチマークです。
本日、私たちは、エージェント技術が活用されるWeb環境においてユーザーの安全を維持することを目的としたオープンな調査ベンチマークおよびコンテンツ検出モデル「BrowseSafe」をリリースいたします。
AIアシスタントが検索ボックスからブラウザ自体へと移行するにつれて、Webの次世代は「ページ」中心から「エージェント」中心へとシフトしていくと予想されます。つまり、情報はどこにあるかという点よりも、誰がそれを取得し、どのように活用するかという点が重要になります。Cometは、ブラウザを単に質問に答える場所から、アシスタントがタスクを遂行できる場所へと変革します。そのため、「常にユーザーの側に立つ」という原則は譲ることができません。
BrowseSafe：リアルタイムのコンテンツスキャンによるエージェントとユーザーの保護
BrowseSafeは、「ページのHTML内に、エージェントを標的とした悪意のある指示が含まれているか」という単一の焦点に絞った質問に答えるために微調整された検出モデルです。汎用的な大規模モデルはこれらのケースを十分に推論できますが、すべてのページで実行するには処理が遅すぎ、コストも高くなる傾向があります。BrowseSafeはWebページ全体をリアルタイムでスキャンし、ブラウザの速度を低下させません。また、防御の有効性を評価および改善するためのリソースとして、評価スイート「BrowseSafe-Bench」も公開いたします。
信頼の境界と多層防御
しかし、AIによるブラウジングの次世代化は、同時に、ユーザーの安全を維持するために新しいアプローチを必要とする次世代のサイバーセキュリティの脅威を意味します。以前の記事では、Cometがどのように多層的な保護を使用して、Webサイトがプロンプトインジェクションでアシスタントを乗っ取ろうとした場合でも、ユーザーが求めた通りの動作をアシスタントに維持させているかについて解説しました。本日は、その問題にどのように取り組んでいるか、すなわち脅威の定義、実世界の攻撃に対するテスト、そしてブラウザ内で安全に実行できるよう悪意のある指示を迅速に特定および阻止するための専門モデルの学習方法に焦点を当てます。
ブラウザにおけるプロンプトインジェクションの仕組み
プロンプトインジェクションとは、AIが読み取るテキスト内に埋め込まれた悪意のある言語であり、AI本来の意図を上書きするように設計されています。ブラウザでは、エージェントがページ全体を読み取るため、攻撃者はコメント、テンプレート、長いフッターなどの場所に潜伏することが可能です。
攻撃者はこれらの場所を利用して、エージェントを密かにリダイレクトする指示を紛れ込ませます。エージェントは、人間がほとんど注意を払わないコンテンツを含むすべてを読み取るため、強力な安全対策を講じなければ、攻撃者はメッセージを通じて行動を乗っ取ることができます。
これらの攻撃は、露骨なフレーズを避けることが多く、洗練された多言語テキストで記述されたり、データ属性やフォームフィールドなど、ブラウザでは視覚的にレンダリングされず、人間が目にすることのないHTML要素内に配置されたりすることもありますが、エージェントはこれらを解析してしまいます。
BrowseSafe-Bench：実世界の環境におけるエージェントセキュリティの推進
これらの攻撃を実際のWebに近い環境で研究するために、私たちはトレーニング済みでオープンソース化された検出モデル「BrowseSafe」と、本番環境のページを模した14,719件のサンプルからなる公開ベンチマーク「BrowseSafe-Bench」を構築しました。これには複雑なHTML、ノイズの多いコンテンツ、そして攻撃者が何をしようとしているのか、指示がページ内のどこにあるのか、言語スタイルがどのようなものかという3つの軸に沿って変化する、悪意のあるサンプルと無害なサンプルが混在しています。
このベンチマークには、11種類の攻撃タイプ、隠されたフィールドから表示される段落やフッターまでを網羅した9種類のインジェクション戦略、そして明示的なコマンドから間接的でカモフラージュされたテキストまでの3つの言語スタイルが含まれています。
多層防御へのアプローチ
私たちの脅威モデルでは、アシスタント自体は信頼できる環境で動作しますが、Webから得られるものはすべて信頼できないものとみなされます。攻撃者はサイト全体を制御する場合もあれば、製品説明、コメント、投稿など、アシスタントがアクセスする良性のページにコンテンツを注入するだけの場合もあります。このリスクを管理するために、Webページ、メール、ファイルなど、信頼できないコンテンツを返す可能性のあるツールはフラグが立てられ、その生の出力は、エージェントが読み取ったり実行したりする前に、常にBrowseSafeによってスキャンされます。
BrowseSafeは、より広範な防御アプローチにおける一つの層です。生データは使用前にスキャンされ、ツールの権限はデフォルトで制限され、機密性の高い操作には明示的なユーザー確認を求める場合があります。これらすべてが既存のブラウザセキュリティ機能の上で実行されます。多層防御により、ユーザーは安全性を犠牲にすることなく、強力なブラウザアシスタントの能力を活用できます。
攻撃の有効性に影響を与える要因は何か？
BrowseSafe-Benchでの評価結果は、明確なパターンを示しています。システムプロンプトの開示を求める、あるいはURLセグメントを介して情報を流出させるようアシスタントに指示するといった直接的な攻撃は、モデルにとって最も検出しやすい部類に入ります。対照的に、多言語による攻撃や、間接的あるいは仮定的な指示として記述された攻撃は、多くの検出器が暗黙的に依存している露骨なキーワードを回避するため、検出が大幅に困難になります。
配置も重要です。コメント内に隠された攻撃は比較的よく検出されますが、表示されるフッター、テーブルセル、またはインラインの段落に書き換えられたバージョンははるかに困難であることが判明し、「隠れた」インジェクションに対する構造的な偏りがあることが明らかになりました。十分に設計された例に基づいた慎重なトレーニングを行うことで、これらのパターンを検出するモデルの能力を大幅に向上させることができます。
BrowseSafeでより安全なエージェントを構築する
BrowseSafeおよびBrowseSafe-Benchは完全にオープンソースです。自律型エージェントを構築する開発者は、ゼロから安全レールを構築することなく、即座にプロンプトインジェクションに対するシステムを強化できます。このオープンウェイトの検出モデルはローカルで実行され、エージェントのコアロジックに到達する前に悪意のある指示にフラグを立てます。これは、ユーザーの動作を遅くすることなくすべてのページをスキャンするのに十分な速度です。
BrowseSafe-Benchの14,000件を超える実世界の攻撃シナリオを使用して、標準的な大規模言語モデルを破壊する複雑なHTMLトラップに対して、独自のモデルをストレス・テストしてください。私たちのチャンキングおよび並列スキャン技術により、エージェントは膨大かつ信頼できないページを効率的に処理できます。ユーザーを危険にさらすことなく、強力なブラウジング機能を提供します。BrowseSafeとBrowseSafe-Benchの構築方法の詳細については、Perplexity Researchのブログをご覧ください。