Kako smo izgradili sigurnost u Comet od prvog dana
Iza kulisa sigurnosnog rada Cometa: vanjske revizije, slojevite obrane od prompt-injekcija i otvorena istraživanja.
Comet pruža AI pomoćnicima moćne mogućnosti pregledavanja web-stranica, interakcije sa sadržajem i obavljanja složenih zadataka u ime korisnika. Te mogućnosti zahtijevaju jednako snažne mjere zaštite. Prije nego što smo javno pokrenuli Comet, angažirali smo tvrtku Trail of Bits kako bi kroz formalne revizije testirali našu obranu u ekstremnim uvjetima. Njihov nam je rad pomogao identificirati ranjivosti i ojačati naše mjere zaštite prije nego što su korisnici se počeli oslanjati na Comet za osjetljive zadatke.
Izgradnja obrane od temelja
Napad prompt injection stalno se razvijaju, a obrana od njih zahtijeva višeslojni pristup. Od samog početka znali smo da jedan mehanizam obrane neće biti dovoljan. Naše je temeljno načelo jednostavno: preklapajuće zaštite osiguravaju da, ako je jedan sloj zaobiđen, drugi ostaju kako bi korisnici bili sigurni. Evo kako to provodimo u praksi.
Naš sigurnosni put: Ključne prekretnice
Travanj 2025.: Sigurnosna revizija prije pokretanja
Prije javnog pokretanja Cometa, angažirali smo tvrtku Trail of Bits da provede sustavno modeliranje prijetnji naše arhitekture. Njihov tim testirao je scenarije napada iz stvarnog svijeta, pokušavajući zaobići našu obranu koristeći tehnike koje bi protivnici mogli primijeniti u stvarnosti. Revizija je identificirala specifične praznine u našem sustavu zaštite i pokrenula iterativni proces sanacije. Poboljšali smo naše mjere zaštite i zatvorili ranjivosti prije nego što su mogle utjecati na korisnike.
Listopad 2025.: Objavljivanje naše obrambene arhitekture
Objavili smo detaljan tehnički članak u kojem objašnjavamo naš četveroslojni okvir obrambene arhitekture i razloge iza svake komponente. Članak je naveo specifične vrste napada od kojih se branimo, od skrivenih HTML i CSS injekcija do konfuzije sadržaja i preuzimanja ciljeva. Također smo najavili naš program nagrađivanja za otkrivanje propusta, pozivajući sigurnosne istraživače da testiraju našu obranu i prijave ranjivosti. Transparentnost je uvijek bila bitna za naš sigurnosni pristup: vjerujemo da dijeljenje naše metodologije čini cijelu AI industriju jačom.
Prosinac 2025.: Otvaranje koda alata BrowseSafe
Sigurnost se poboljšava kada cijela AI zajednica može učiti iz zajedničkog istraživanja. Objavili smo BrowseSafe, naš model detekcije i evaluacijski benchmark, kao alate otvorenog koda. BrowseSafe-Bench uključuje 14 719 primjera koji pokrivaju 11 vrsta napada, 9 strategija injektiranja i 3 jezična stila. Objavljivanjem naše metodologije i skupova podataka pomažemo drugim AI programerima u izgradnji sigurnijih sustava i doprinosimo sigurnosnim standardima u cijeloj industriji. Odziv zajednice programera bio je ohrabrujući, a timovi već koriste BrowseSafe kako bi poboljšali sigurnost vlastitih AI pomoćnika.
Što smo naučili
Izgradnja sigurnosti za AI pomoćnike naučila nas je važnim lekcijama o promjenjivom krajoliku prijetnji. Vanjsko kontradiktorno testiranje otkriva slijepe pjege koje interni timovi mogu propustiti, bez obzira na to koliko su vješti. Modeliranje prijetnji nije jednokratna vježba, već stalna disciplina koja se mora razvijati kako napreduju tehnike napada. Što je najvažnije, sigurnost zahtijeva suradnju u cijeloj industriji. Dijeljenjem našeg istraživanja, angažiranjem vanjskih stručnjaka i doprinosom otvorenim standardima pomažemo u izgradnji sigurnijeg ekosustava.
Naša stalna posvećenost
Održavamo redovite sigurnosne procjene kako se Comet razvija, osiguravajući da nove značajke prolaze kroz strogu provjeru prije pokretanja. Kako bismo smanjili dezinformacije u istraživanju AI sigurnosti, ulažemo u robusne prakse evaluacije i transparentno izvještavanje kako bi nalazi o Cometovoj obrani bili točni, reproducibilni i bez iskrivljavanja senzacionalnim ili nepotpunim sigurnosnim tvrdnjama.
Naš tim također vodi uspješan Program otkrivanja ranjivosti i privatni program nagrađivanja za otkrivanje propusta, pozivajući sigurnosne istraživače posvuda da testiraju našu obranu. Kako AI pomoćnici postaju sposobniji i rješavaju sve osjetljivije zadatke, naša će se ulaganja u sigurnost nastaviti proporcionalno razvijati.