Cometのセキュリティを初日からいかに構築したか

Cometは、Webサイトの閲覧、コンテンツとのインタラクション、ユーザーに代わって複雑なタスクを完了する強力な機能をAIアシスタントに提供します。これらの機能には、同等の強力な保護策が必要です。Cometを公開する前に、当社はTrail of Bits社を雇用し、正式な監査を通じて防御策のストレステストを実施しました。彼らの取り組みは、ユーザーが重要なタスクのためにCometに依存し始める前に、脆弱性を特定し、緩和策を強化する助けとなりました。

防御策をゼロから構築する

プロンプトインジェクション攻撃は絶えず進化しており、それらに対抗するには多層的なアプローチが必要です。当社は当初から、単一の防御メカニズムでは不十分であることを理解していました。当社の中心的な原則は単純です。すなわち、重層的な保護により、もし1つの層が突破されたとしても、ユーザーの安全を守るための他の層が残るようにすることです。その実践方法を以下に示します。

セキュリティの道のり：重要なマイルストーン

2025年4月：ローンチ前のセキュリティ監査

Cometを公開する前に、当社はTrail of Bits社を雇用し、当社のアーキテクチャの体系的な脅威モデリングを実施しました。彼らのチームは実際の攻撃シナリオをテストし、悪意のある攻撃者が現場で採用する可能性のある手法を用いて防御策の突破を試みました。この監査により、当社の保護システムにおける特定の欠陥が特定され、反復的な修復プロセスが開始されました。当社は、それらがユーザーに影響を及ぼす前に、緩和策を精査し、脆弱性を解消しました。

2025年10月：防御アーキテクチャの公開

当社は、当社の4層防御アーキテクチャのフレームワークと、各コンポーネントの背後にある根拠を説明する詳細な技術記事を公開しました。この記事では、隠れたHTMLおよびCSSインジェクションから、コンテンツの混同やゴールハイジャックまで、当社が防御する特定の攻撃タイプを概説しています。また、バグ報奨金プログラムも発表し、セキュリティ研究者に当社の防御策のテストと脆弱性の報告を呼びかけました。透明性は常に当社のセキュリティアプローチの中核であり、当社の手法を共有することがAI業界全体をより強力にすると確信しています。

2025年12月：BrowseSafeのオープンソース化

AIコミュニティ全体が共有された研究から学ぶことで、セキュリティは向上します。当社は、検知モデルおよび評価ベンチマークであるBrowseSafeをオープンソースツールとしてリリースしました。BrowseSafe-Benchには、11の攻撃タイプ、9のインジェクション戦略、3つの言語スタイルを網羅した14,719件の例が含まれています。手法とデータセットを公開することで、他のAI開発者がより安全なシステムを構築することを支援し、業界全体のセキュリティ基準の向上に貢献しています。開発者コミュニティからの反応は心強く、すでに多くのチームがBrowseSafeを使用して独自のAIアシスタントのセキュリティを向上させています。

学んだ教訓

AIアシスタントのセキュリティを構築することで、進化し続ける脅威環境について重要な教訓を得ました。外部の敵対的テストは、どれほど熟練した内部のチームであっても見落としてしまう死角を明らかにします。脅威モデリングは一度限りの練習ではなく、攻撃手法の進化に合わせて進化させなければならない継続的な規律です。最も重要なことは、セキュリティには業界全体での協力が必要であるということです。研究を共有し、外部の専門家を関与させ、オープン標準に貢献することで、より安全なエコシステムの構築を支援しています。

継続的なコミットメント

当社はCometの進化に合わせて定期的なセキュリティ評価を維持し、新機能がリリース前に厳格な精査を受けることを保証しています。AIセキュリティ研究における誤解を減らすために、堅牢な評価手法と透明性の高い報告に投資しており、Cometの防御策に関する調査結果が正確かつ再現可能であり、扇情的または不完全なセキュリティ主張によって歪められないようにしています。

当社のチームは、活発な脆弱性開示プログラムと非公開のバグ報奨金プログラムも運営しており、世界中のセキュリティ研究者に当社の防御策のテストを依頼しています。AIアシスタントの機能が高まり、ますます機密性の高いタスクを扱うようになるにつれ、当社のセキュリティへの投資もそれに応じて拡大し続けます。