Comment nous avons intégré la sécurité dans Comet dès le premier jour

Comet offre aux assistants IA de puissantes capacités pour naviguer sur les sites Web, interagir avec le contenu et accomplir des tâches complexes au nom des utilisateurs. Ces capacités exigent des mesures de protection tout aussi puissantes. Avant de lancer Comet publiquement, nous avons embauché Trail of Bits pour soumettre nos défenses à des tests de résistance par le biais d'audits formels. Leur travail nous a aidés à identifier les vulnérabilités et à renforcer nos mesures d'atténuation avant que les utilisateurs ne commencent à compter sur Comet pour des tâches sensibles.​

Bâtir la sécurité dès le départ

Les attaques par injection de requêtes (« prompt injection ») évoluent constamment, et s'en défendre exige une approche à plusieurs niveaux. Nous savions dès le départ qu'un seul mécanisme de défense ne suffirait pas. Notre principe fondamental est simple : des protections qui se chevauchent garantissent que si une couche est contournée, d'autres restent en place pour assurer la sécurité des utilisateurs.​ Voici comment nous avons mis cela en pratique.

Notre parcours en matière de sécurité : étapes clés

Avril 2025 : Audit de sécurité préalable au lancement

Avant de lancer Comet publiquement, nous avons embauché Trail of Bits pour mener une modélisation systématique des menaces de notre architecture. Leur équipe a testé des scénarios d'attaque réels, tentant de contourner nos défenses à l'aide de techniques que des adversaires pourraient employer dans la nature. L'audit a identifié des lacunes spécifiques dans notre système de protection et a amorcé un processus de correction itératif. Nous avons affiné nos mesures d'atténuation et comblé les vulnérabilités avant qu'elles ne puissent affecter les utilisateurs.​

Octobre 2025 : Publication de notre architecture de défense

Nous avons publié une publication technique détaillée expliquant notre cadre d'architecture de défense à quatre couches et le raisonnement derrière chaque composant. La publication décrivait les types d'attaques spécifiques contre lesquels nous nous défendons, allant des injections HTML et CSS cachées à la confusion de contenu et au détournement d'objectifs. Nous avons également annoncé notre programme de primes aux bogues, invitant les chercheurs en sécurité à tester nos défenses et à signaler les vulnérabilités. La transparence a toujours été au cœur de notre approche de la sécurité : nous croyons que le partage de notre méthodologie renforce l'ensemble de l'industrie de l'IA.​

Décembre 2025 : Mise en open source de BrowseSafe

La sécurité s'améliore lorsque toute la communauté de l'IA peut tirer des leçons des recherches partagées. Nous avons publié BrowseSafe, notre modèle de détection et notre étalon d'évaluation, sous forme d'outils open source. BrowseSafe-Bench comprend 14 719 exemples couvrant 11 types d'attaques, 9 stratégies d'injection et 3 styles linguistiques. En publiant notre méthodologie et nos ensembles de données, nous aidons d'autres développeurs d'IA à concevoir des systèmes plus sûrs et contribuons aux normes de sécurité de l'ensemble de l'industrie. La réponse de la communauté des développeurs a été encourageante, des équipes utilisant déjà BrowseSafe pour améliorer la sécurité de leur propre assistant IA.​

Ce que nous avons appris

La conception de la sécurité pour les assistants IA nous a enseigné des leçons essentielles sur l'évolution du paysage des menaces. Les tests contradictoires externes révèlent des angles morts que les équipes internes peuvent manquer, peu importe leur compétence. La modélisation des menaces n'est pas un exercice ponctuel, mais une discipline continue qui doit évoluer à mesure que les techniques d'attaque progressent. Plus important encore, la sécurité exige une collaboration à l'échelle de l'industrie. En partageant nos recherches, en faisant appel à des experts externes et en contribuant à des normes ouvertes, nous aidons à bâtir un écosystème plus sûr.

Notre engagement continu

Nous maintenons des évaluations de sécurité régulières à mesure que Comet évolue, garantissant que les nouvelles fonctionnalités font l'objet d'un examen rigoureux avant leur lancement. Pour aider à réduire la désinformation dans la recherche en sécurité sur l'IA, nous investissons dans des pratiques d'évaluation robustes et des rapports transparents afin que les conclusions concernant les défenses de Comet soient exactes, reproductibles et non déformées par des revendications de sécurité sensationnelles ou incomplètes.

Notre équipe gère également un programme de divulgation des vulnérabilités florissant et un programme privé de primes aux bogues, invitant les chercheurs en sécurité du monde entier à tester nos défenses. À mesure que les assistants IA deviennent plus performants et gèrent des tâches de plus en plus sensibles, nos investissements en sécurité continueront d'évoluer en conséquence.​