Kā mēs izveidojām drošību Comet jau no pirmās dienas
Ieskats Comet drošības darbā: ārējie auditi un aizsardzība.
Comet nodrošina mākslīgā intelekta asistentiemaudzes iespējas pārlūkot tīmekļa vietnes, mijiedarboties ar saturu un veikt sarežģītus uzdevumus lietotāju vārdā. Šīm iespējām ir nepieciešami tikpat jaudīgi drošības pasākumi. Pirms publiskas Comet palaišanas mēs nolīgām Trail of Bits, lai ar formātu auditu palīdzību pārbaudītu mūsu aizsardzības mehānismu noturību. Viņu darbs palīdzēja mums identificēt ievainojamības un nostiprināt mūsu aizsardzības pasākumus, pirms lietotāji sāka paļauties uz Comet, veicot sensitīvus uzdevumus.
Aizsardzības veidošana no pašiem pamatiem
Uznāciena injekcijas uzbrukumi pastāvīgi attīstās, un aizsardzība pret tiem prasa daudzslāņu pieeju. Mēs jau no paša sākuma zinājām, ka ar vienu aizsardzības mehānismu nepietiks. Mūsu pamatprincips ir vienkāršs: savstarpēji pārklājošās aizsardzības nodrošina, ka, ja viens slānis tiek apiets, citi paliek, lai pasargātu lietotājus. Lūk, kā mēs to īstenojam praksē.
Mūsu drošības ceļš: Galvenie sasniegumi
2025. gada aprīlis: Drošības audita priekšlaikus
Pirms Comet publiskas palaišanas mēs nolīgām Trail of Bits, lai veiktu sistemātisku draudu modelēšanu mūsu arhitektūrai. Viņu komanda testēja reālas pasaules uzbrukumu scenārijus, mēģinot apiet mūsu aizsardzību, izmantojot metodes, ko pretinieki varētu izmantot praksē. Audits identificēja konkrētas nepilnības mūsu aizsardzības sistēmā un aizsāka iteratīvu novēršanas procesu. Mēs pilnveidojām savus aizsardzības pasākumus un novērsām ievainojamības, pirms tās paspēja ietekmēt lietotājus.
2025. gada oktābris: Mūsu aizsardzības arhitektūras publicēšana
Mēs publicējām detalizētu tehnisku rakstu , kurā izskaidrots mūsu četru slāņu aizsardzības arhitektūras ietvars un pamatojums katram komponentam. Rakstā tika izklāstīti specifiski uzbrukumu veidi, pret kuriem mēs aizsargājamies, sākot no slēptām HTML un CSS injekcijām līdz satura sajaukšanai un mērķu nolaupīšanai. Mēs arī paziņojām par savu kļūdu atlīdzības programmu, uzaicinot drošības pētniekus pārbaudīt mūsu aizsardzību un ziņot par ievainojamībām. Pārredzamība vienmēr ir bijusi mūsu drošības pieejas pamats: mēs ticam, ka dalīšanās ar mūsu metodoloģiju padara visu mākslīgā intelekta nozari spēcīgāku.
2025. gada decembris: BrowseSafe pirmkoda atvēršana
Drošība uzlabojas, kad visa mākslīgā intelekta kopiena var mācīties no kopīgiem pētījumiem. Mēs izlaidām BrowseSafe, mūsu noteikšanas modeli un novērtēšanas etalonu, kā atvērtā pirmkoda rīkus. BrowseSafe-Bench ietver 14 719 piemērus, kas aptver 11 uzbrukumu veidus, 9 injekcijas stratēģijas un 3 lingvistiskos stilus. Publicējot mūsu metodoloģiju un datu kopas, mēs palīdzam citiem mākslīgā intelekta izstrādātājiem veidot drošākas sistēmas un sniedzam ieguldījumu nozares mēroga drošības standartos. Atsaucība no izstrādātāju kopienas ir bijusi iepriecinoša, jo komandas jau izmanto BrowseSafe, lai uzlabotu savu mākslīgā intelekta asistentu drošību.
Ko mēs esam iemācījušies
Drošības izveide mākslīgā intelekta asistentiem ir iemācījusi mums būtiskas mācības par mainīgo draudu vidi. Ārējā pretinieku testēšana atklāj neredzamās zonas, kuras iekšējās komandas var nepamanīt neatkarīgi no viņu prasmēm. Draudu modelēšana nav vienreizējs pasākums, bet gan nepārtraukta disciplīna, kurai ir jāattīstās līdz ar uzbrukuma tehniku attīstību. Vissvarīgākais ir tas, ka drošība prasa sadarbību visā nozarē. Daloties ar saviem pētījumiem, iesaistot ārējos ekspertus un sniedzot ieguldījumu atvērtajos standarts, mēs palīdzam veidot drošāku ekosistēmu.
Mūsu nepārtrauktā apņemšanās
Mēs veicam regulārus drošības novērtējumus, attīstoties Comet, nodrošinot, ka jaunās funkcijas pirms palaišanas tiek rūpīgi pārbaudītas. Lai palīdzētu mazināt dezinformāciju mākslīgā intelekta drošības pētījumos, mēs ieguldām līdzekļus stabilā novērtēšanas praksē un pārredzamā ziņošanā, lai atklājumi par Comet aizsardzību būtu precīzi, reproducējami un netiktu sagrozīti ar sensacionāliem vai nepilnīgiem drošības apgalvojumiem.
Mūsu komanda arī vada plaukstošu Ievainojamību atklāšanas programmu un privātu kļūdu atlīdzības programmu, aicinot drošības pētniekus visur pārbaudīt mūsu aizsardzību. Tā kā mākslīgā intelekta asistenti kļūst spējīgāki un apstrādā arvien sensitīvākus uzdevumus, mūsu ieguldījums drošībā turpinās attiecīgi mērogoties.