Jak jsme od prvního dne zabudovali zabezpečení do Comet

Comet poskytuje AI asistovatelným nástrojům výkonné funkce pro procházení webových stránek, interakci s obsahem a plnění složitých úkolů jménem uživatelů. Tyto funkce vyžadují stejně výkonné záruky zabezpečení. Před veřejným spuštěním Comet jsme najali společnost Trail of Bits, aby podrobila naše obranné mechanismy zátěžovým testům prostřednictvím formálních auditů. Jejich práce nám pomohla identifikovat zranitelnosti a posílit naše opatření dříve, než uživatelé začali Comet spoléhat na citlivé úkoly.

Útoky typu prompt injection se neustále vyvíjí a obrana proti nim vyžaduje vícevrstvý přístup. Od začátku jsme věděli, že jediný obranný mechanismus stačit nebude. Naše hlavní zásada je jednoduchá: překrývající se ochrany zajišťují, že pokud je jedna vrstva obejita, ostatní zůstanou zachovány, aby uživatelé byli v bezpečí. Zde je ukázka toho, jak to uvádíme do praxe.

Před veřejným spuštěním Comet jsme najali společnost Trail of Bits k provedení systematického modelování hrozeb naší architektury. Jejich tým testoval reálné scenérie útoků a pokoušel se obejít naši obranu pomocí technik, které by protivníci mohli použít v reálném světě. Audit identifikoval konkrétní mezery v našem systému ochrany a zahájil iterativní proces nápravy. Upřesnili jsme naše zmírňující opatření a uzavřeli zranitelnosti dříve, než mohly ovlivnit uživatele.

Zveřejnili jsme detailní technický příspěvek vysvětlující rámec naší čtyřvrstvé obranné architektury a zdůvodnění každé komponenty. Příspěvek nastínil specifické typy útoků, proti kterým se bráníme, od skrytých injekcí HTML a CSS až po záměnu obsahu a únos cílů. Také jsme oznámili náš program bug bounty a vyzvali bezpečnostní výzkumníky k testování naší obrany a hlášení zranitelností. Transparentnost byla vždy jádrem našeho bezpečnostního přístupu: věříme, že sdílení naší metodiky posiluje celý obor umělé inteligence.

Bezpečnost se zlepšuje, když se celá komunita kolem umělé inteligence může poučit ze sdíleného výzkumu. Vydali jsme BrowseSafe, náš detekční model a evaluační benchmark, jako open-source nástroje. BrowseSafe-Bench obsahuje 14 719 příkladů pokrývajících 11 typů útoků, 9 strategií injekcí a 3 lingvistické styly. Zveřejněním naší metodiky a datových sad pomáháme ostatním vývojářům AI vytvářet bezpečnější systémy a přispíváme ke standardům zabezpečení v celém odvětví. Reakce vývojářské komunity byla povzbudivá a týmy již používají BrowseSafe ke zlepšení zabezpečení vlastního AI asistenta.

Budování zabezpečení pro AI asistenty nás naučilo zásadním lekcím o vyvíjejícím se prostředí hrozeb. Externí testování protivníky odhaluje slepá místa, která interní týmy mohou přehlédnout, bez ohledu na to, jak jsou zručné. Modelování hrozeb není jednorázová aktivita, ale probíhající disciplina, která se musí vyvíjet s tím, jak postupují techniky útoků. Nejdůležitější je, že bezpečnost vyžaduje spolupráci v celém oboru. Sdílením našeho výzkumu, zapojením externích odborníků a přispíváním k otevřeným standardům pomáháme budovat bezpečnější ekosystém.

Udržujeme pravidelná bezpečnostní hodnocení s tím, jak se Comet vyvíjí, a zajišťujeme, že nové funkce procházejí před spuštěním důkladnou prověrkou. Abychom pomohli omezit dezinformace ve výzkumu zabezpečení AI, investujeme do robustních evaluačních postupů a transparentního podávání zpráv, aby zjištění o obraně Comet byla přesná, reprodukovatelná a nebyla zkreslena senzačními nebo neúplnými bezpečnostními tvrzeními.

Náš tým také provozuje prosperující Program pro zveřejňování zranitelností a soukromý program bug bounty, kterými zve bezpečnostní výzkumníky všude k testování naší obrany. Jak se AI asistenti stávají schopnějšími a zvládají stále citlivější úkoly, naše investice do zabezpečení budou i nadále odpovídajícím způsobem růst.

Budování obrany od základu

Naše bezpečnostní cesta: Klíčové milníky

Duben 2025: Bezpečnostní audit před spuštěním

Říjen 2025: Zveřejnění naší obranné architektury

Prosinec 2025: Otevření zdrojového kódu BrowseSafe

Co jsme se naučili

Náš trvalý závazek