Cum am integrat securitatea în Comet încă din prima zi

Comet oferă asistenților AI capabilități puternice de a naviga pe site-uri web, de a interacționa cu conținutul și de a finaliza sarcini complexe în numele utilizatorilor. Aceste capabilități necesită măsuri de protecție la fel de puternice. Înainte de a lansa public Comet, am angajat Trail de Bits pentru a testa în regim de stres apărarea noastră prin audituri formale. Munca lor ne-a ajutat să identificăm vulnerabilitățile și să ne consolidăm măsurile demitigare înainte ca utilizatorii să înceapă să se bazeze pe Comet pentru sarcini sensibile.​

Construirea apărării de la zero

Atacurile de injectare a prompturilor evoluează constant, iar apărarea împotriva lor necesită o abordare pe mai multe niveluri. Știam de la început că un singur mecanism de apărare nu ar fi suficient. Principiul nostru de bază este simplu: protecțiile suprapuse asigură că, dacă un strat este ocolit, altele rămân pentru a menține utilizatorii în siguranță.​ Iată cum punem asta în practică.

Călătoria noastră în materie de securitate: Etape cheie

Aprilie 2025: Audit de securitate pre-lansare

Înainte de a lansa public Comet, am angajat Trail of Bits pentru a efectua o modelare sistematică a amenințărilor asupra arhitecturii noastre. Echipa lor a testat scenarii de atac din lumea reală, încercând să ocolească apărarea noastră folosind tehnici pe care adversarii le-ar putea utiliza în mediul natural. Auditul a identificat lacune specifice în sistemul nostru de protecție și a inițiat un proces iterativ de remediere. Am perfecționat măsurile de atenuare și am eliminat vulnerabilitățile înainte ca acestea să poată afecta utilizatorii.​

Octombrie 2025: Publicarea arhitecturii noastre de apărare

Am publicat o postare tehnică detaliată care explică cadrul nostru de arhitectură de apărare pe patru niveluri și raționamentul din spatele fiecărei componente. Postarea a subliniat tipuri specifice de atac împotriva cărora ne apărăm, de la injecții HTML și CSS ascunse până la confuzia conținutului și deturnarea obiectivelor. De asemenea, ne-am anunțat programul de recompense pentru erori, invitând cercetătorii în securitate să testeze apărarea noastră și să raporteze vulnerabilitățile. Transparența a fost întotdeauna esențială pentru abordarea noastră în materie de securitate: considerăm că împărtășirea metodologiei noastre face ca întreaga industrie AI să fie mai puternică.​

Decembrie 2025: Lansarea BrowseSafe ca open-source

Securitatea se îmbunătățește atunci când întreaga comunitate AI poate învăța din cercetările partajate. Am lansat BrowseSafe, modelul nostru de detecție și evaluare de referință, ca instrumente open-source. BrowseSafe-Bench include 14.719 exemple care acoperă 11 tipuri de atac, 9 strategii de injectare și 3 stiluri lingvistice. Prin publicarea metodologiei și a seturilor noastre de date, ajutăm alți dezvoltatori de AI să construiască sisteme mai sigure și contribuim la standardele de securitate la nivelul întregii industrii. Răspunsul din partea comunității de dezvoltatori a fost încurajator, echipele folosind deja BrowseSafe pentru a-și îmbunătăți propria securitate a asistentului AI.​

Ce am învățat

Construirea securității pentru asistenții AI ne-a învățat lecții critice despre peisajul în evoluție al amenințărilor. Testarea adversarială externă dezvăluie puncte orbe pe care echipele interne le pot rata, indiferent cât de calificate sunt. Modelarea amenințările nu este un exercițiu unic, ci o disciplină continuă care trebuie să evolueze pe măsură ce tehnicile de atac avansează. Cel mai important, securitatea necesită colaborare în întreaga industrie. Prin împărtășirea cercetărilor noastre, implicarea experților externi și contribuția la standarde deschise, ajutăm la construirea unui ecosistem mai sigur.

Angajamentul nostru continuu

Menținem evaluări regulate de securitate pe măsură ce Comet evoluează, asigurându-ne că noile caracteristici sunt supuse unei analize riguroase înainte de lansare. Pentru a contribui la reducerea dezinformarii în cercetarea privind securitatea AI, investim în practici robuste de evaluare și raportare transparentă, astfel încât constatările privind apărările Comet să fie precise, reproduse și să nu fie distorsionate de afirmații de securitate senzaționale sau incomplete. 

Echipa noastră conduce, de asemenea, un Program de Dezvăluire a Vulnerabilităților în plină dezvoltare și un program privat de recompense pentru erori, invitând cercetătorii în securitate de pretutindeni să testeze apărarea noastră. Pe măsură ce asistenții AI devin mai capabili și gestionează sarcini din ce în ce mai sensibile, investițiile noastre în securitate vor continua să crească în mod corespunzător.​