我們如何從第一天起就在 Comet 中建立安全性

Comet 為 AI 助理提供了強大的功能，使其能夠瀏覽網站、與內容互動，並代表使用者完成複雜的任務。這些功能需要同樣強大的防護措施。在公開推出 Comet 之前，我們聘請了 Trail of Bits，透過形式化稽核來對我們的防禦措施進行壓力測試。他們的工作協助我們在使用者開始依賴 Comet 執行敏感任務之前，識別出漏洞並加強我們的緩解措施。

從零開始建立防禦體系

提示詞注入攻擊不斷演變，防禦這些攻擊需要多層次的手段。我們從一開始就知道，單一的防禦機制是不夠的。我們的核心原則很簡單：透過重疊的保護機制，確保如果其中一層遭到繞過，其他層仍然能發揮作用，確保使用者安全。以下是我們將其付諸實踐的方式。

我們的安全歷程：重要里程碑

2025 年 4 月：發布前安全稽核

在公開推出 Comet 之前，我們聘請了 Trail of Bits 對我們的架構進行系統性的威脅建模。他們的團隊測試了現實世界中的攻擊場景，試圖使用對手在野外可能採用的技術來繞過我們的防禦。此次稽核識別了我們保護系統中的具體漏洞，並開啟了迭代修復流程。我們在漏洞影響使用者之前，完善了緩解措施並修復了這些漏洞。

2025 年 10 月：發布我們的防禦架構

我們發布了一篇 詳細的技術文章，解釋了我們的四層防禦架構框架以及每個組件背後的邏輯。該文章概述了我們防禦的具體攻擊類型，從隱藏的 HTML 和 CSS 注入，到內容混淆和目標劫持。我們還宣布了漏洞獎勵計畫，邀請安全研究人員測試我們的防禦並報告漏洞。透明度始終是我們安全方法的核心：我們相信分享我們的方法論能讓整個 AI 產業更加強大。

2025 年 12 月：開源 BrowseSafe

當整個 AI 社群能夠從共享研究中學習時，安全性就會提升。我們將我們的檢測模型和評估基準 BrowseSafe 作為開源工具發布。BrowseSafe-Bench 包含了 14,719 個範例，涵蓋了 11 種攻擊類型、9 種注入策略和 3 種語言風格。透過發布我們的方法論和資料集，我們正在協助其他 AI 開發人員建立更安全的系統，並為全產業的安全標準做出貢獻。開發者社群的反應令人振奮，已有團隊開始使用 BrowseSafe 來提升他們自己的 AI 助理安全性。

我們的經驗教訓

為 AI 助理建立安全性讓我們對不斷變化的威脅環境有了深刻的認識。外部對抗性測試揭示了內部團隊無論多麼專業都可能忽略的盲點。威脅建模不是一次性的練習，而是一項隨著攻擊技術進步而必須演變的持續性學科。最重要的是，安全需要跨產業合作。透過分享研究成果、聘請外部專家以及為開放標準做出貢獻，我們正在協助建立一個更安全的生態系統。

我們的持續承諾

隨著 Comet 的發展，我們維持定期的安全評估，確保新功能在推出前經過嚴格審查。為了協助減少 AI 安全研究中的錯誤資訊，我們致力於建立健全的評估實踐和透明的報告機制，以確保關於 Comet 防禦的發現準確、可重現，且不會被聳動或不完整的安全聲明所扭曲。

我們的團隊也運作著一個蓬勃發展的 漏洞揭露計畫 和私人漏洞獎勵計畫，邀請各地的安全研究人員測試我們的防禦。隨著 AI 助理功能變得日益強大且處理越來越敏感的任務，我們對安全的投入也將持續相應地擴展。