Ako sme integrovali bezpečnosť do systému Comet od prvého dňa

Comet poskytuje asistentom s umelou inteligenciou výkonné schopnosti na prehliadanie webových stránok, interakciu s obsahom a plnenie zložitých úloh v mene používateľov. Tieto schopnosti si vyžadujú rovnako silné záruky. Pred verejným uvedením systému Comet na trh sme si najali spoločnosť Trail of Bits, aby prostredníctvom formálnych auditov otestovala našu obranu. Ich práca nám pomohla identifikovať zraniteľné miesta a posilniť naše opatrenia predtým, ako používatelia začali spoliehať na Comet pri citlivých úlohách.

Budovanie obrany od základov

Útoky formou injektáže promptov sa neustále vyvíjajú a obrana proti nim si vyžaduje viacvrstvový prístup. Od začiatku sme vedeli, že jediný obranný mechanizmus stačiť nebude. Naša základná zásada je jednoduchá: prekrývajúce sa ochranné prvky zabezpečujú, že ak je jedna vrstva obídená, ostatné zostávajú v platnosti, aby udržali používateľov v bezpečí. Tu je návod, ako to uvádzame do praxe.

Naša bezpečnostná cesta: Kľúčové míľniky

Apríl 2025: Bezpečnostný audit pred uvedením na trh

Pred verejným uvedením systému Comet sme si najali spoločnosť Trail of Bits na vykonanie systematického modelovania hrozieb našej architektúry. Ich tím testoval reálne scenáre útokov a pokúšal sa obísť našu obranu pomocou techník, ktoré by protivníci mohli použiť v praxi. Audit identifikoval špecifické medzery v našom systéme ochrany a odštartoval iteratívny proces nápravy. Vylepšili sme naše opatrenia a odstránili zraniteľnosti skôr, ako mohli ovplyvniť používateľov.

Október 2025: Zverejnenie našej obrannej architektúry

Zverejnili sme podrobný technický článok vysvetľujúci náš štvorvrstvový rámec obrannej architektúry a dôvody pre každý komponent. Článok načrtol špecifické typy útokov, proti ktorým sa bránime, od skrytých injektáží HTML a CSS až po zmätenie obsahu a únos cieľov. Oznámili sme tiež náš program odmien za odhalenie chýb a vyzvali bezpečnostných výskumníkov, aby otestovali našu obranu a nahlásili zraniteľnosti. Transparentnosť bola vždy jadrom nášho bezpečnostného prístupu: veríme, že zdieľanie našej metodiky posilňuje celý priemysel umelej inteligencie.

December 2025: Open-sourcovanie nástroja BrowseSafe

Bezpečnosť sa zlepšuje, keď sa celá komunita umelej inteligencie môže učiť zo zdieľaného výskumu. Ako open-source nástroje sme vydali BrowseSafe, náš detekčný model a hodnotiaci benchmark. BrowseSafe-Bench obsahuje 14 719 príkladov pokrývajúcich 11 typov útokov, 9 stratégií injektáže a 3 lingvistické štýly. Zverejnením našej metodiky a dátových sád pomáhame ostatným vývojárom umelej inteligencie vytvárať bezpečnejšie systémy a prispievame k celopriemyselným bezpečnostným štandardom. Odozva od vývojárskej komunity je povzbudivá, pričom tímy už používajú BrowseSafe na zlepšenie bezpečnosti vlastných asistentov s umelou inteligenciou.

Čo sme sa naučili

Budovanie bezpečnosti pre asistentov s umelou inteligenciou nás naučilo dôležité lekcie o vyvíjajúcom sa prostredí hrozieb. Externé testovanie protivníkmi odhaľuje slepé miesta, ktoré interné tímy môžu prehliadnuť, bez ohľadu na to, aké sú zručné. Modelovanie hrozieb nie je jednorazové cvičenie, ale pretrvávajúca disciplína, ktorá sa musí vyvíjať s tým, ako napredujú techniky útokov. Najdôležitejšie je, že bezpečnosť si vyžaduje spoluprácu v rámci celého odvetvia. Zdieľaním nášho výskumu, zapájaním externých odborníkov a prispievaním k otvoreným štandardom pomáhame budovať bezpečnejší ekosystém.

Náš pretrvávajúci záväzok

S rozvojom systému Comet udržiavame pravidelné bezpečnostné hodnotenia a zabezpečujeme, aby nové funkcie prešli pred spustením prísnym posúdením. Aby sme pomohli obmedziť dezinformácie vo výskume bezpečnosti umelej inteligencie, investujeme do robustných hodnotiacich postupov a transparentného podávania správ, aby zistenia o obrane systému Comet boli presné, reprodukovateľné a neskreslené senzačnými alebo neúplnými bezpečnostnými tvrdeniami.

Náš tím tiež prevádzkuje prosperujúci program zverejňovania zraniteľností a súkromný program odmien za odhalenie chýb a vyzýva bezpečnostných výskumníkov všade, aby otestovali našu obranu. S tým, ako sa asistenti s umelou inteligenciou stávajú schopnejšími a spracúvajú čoraz citlivejšie úlohy, naše investície do bezpečnosti budú naďalej primerane rásť.