Як ми забезпечили безпеку Comet з першого дня
Огляд безпеки Comet: зовнішні аудити, багаторівневий захист від ін'єкцій та відкриті дослідження.
Comet надає штучному інтелекту потужні можливості для перегляду вебсайтів, взаємодії з вмістом та виконання складних завдань від імені користувачів. Ці можливості вимагають не менш потужних засобів захисту. Перш ніж випустити Comet для широкого загалу, ми найняли компанію Trail of Bits для перевірки нашої системи захисту за допомогою формальних аудитів. Їхня робота допомогла нам виявити вразливі місця та посилити заходи безпеки ще до того, як користувачі почали покладатися на Comet у виконанні делікатних завдань.
Створення захисту з нуля
Атаки з використанням ін'єкцій інструкцій постійно еволюціонують, і захист від них вимагає багаторівневого підходу. Ми з самого початку знали, що одного механізму захисту буде недостатньо. Наш основний принцип простий: перекриваючі рівні захисту гарантують, що якщо один рівень буде обійдено, інші залишаться, щоб забезпечити безпеку користувачів. Ось як ми втілюємо це на практиці.
Наш шлях до безпеки: Ключові етапи
Квітень 2025: Аудит безпеки перед запуском
Перед публічним запуском Comet ми найняли Trail of Bits для проведення систематичного моделювання загроз нашої архітектури. Їхня команда випробувала реальні сценарії атак, намагаючись обійти наш захист за допомогою технік, які зловмисники можуть використовувати в реальних умовах. Аудит виявив конкретні прогалини в нашій системі захисту та започаткував ітеративний процес виправлення. Ми вдосконалили заходи захисту та усунули вразливості до того, як вони змогли вплинути на користувачів.
Жовтень 2025: Публікація нашої архітектури захисту
Ми опублікували детальну технічну статтю, в якій пояснюється наша чотирирівнева архітектура захисту та обґрунтування кожного компонента. У статті описано конкретні типи атак, від яких ми захищаємося — від прихованих ін'єкцій HTML і CSS до плутанини в контенті та перехоплення цілей. Ми також оголосили про нашу програму винагород за виявлення помилок, запросивши дослідників безпеки протестувати наш захист і повідомити про вразливості. Прозорість завжди була основою нашого підходу до безпеки: ми віримо, що обмін нашою методологією робить всю індустрію штучного інтелекту сильнішою.
Грудень 2025: Відкриття вихідного коду BrowseSafe
Безпека покращується, коли вся спільнота штучного інтелекту може вчитися на спільному досвіді. Ми випустили BrowseSafe, нашу модель виявлення та бенчмарк оцінювання, як інструменти з відкритим вихідним кодом. BrowseSafe-Bench містить 14 719 прикладів, що охоплюють 11 типів атак, 9 стратегій ін'єкцій та 3 лінгвістичні стилі. Публікуючи нашу методологію та набори даних, ми допомагаємо іншим розробникам штучного інтелекту створювати безпечніші системи та робимо внесок у загальногалузеві стандарти безпеки. Реакція спільноти розробників була обнадійливою: команди вже використовують BrowseSafe для покращення безпеки власних асистентів зі штучним інтелектом.
Чого ми навчилися
Створення безпеки для асистентів зі штучного інтелекту дало нам важливі уроки щодо мінливого ландшафту загроз. Зовнішнє тестування на проникнення виявляє "сліпі зони", які внутрішні команди можуть пропустити, якими б кваліфікованими вони не були. Моделювання загроз — це не одноразова процедура, а безперервна дисципліна, яка повинна розвиватися в міру вдосконалення технік атак. Найголовніше, що безпека вимагає співпраці в масштабах всієї галузі. Ділячись нашими дослідженнями, залучаючи зовнішніх експертів і роблячи внесок у відкриті стандарти, ми допомагаємо побудувати безпечнішу екосистему.
Наше незмінне зобов'язання
Ми підтримуємо регулярні оцінки безпеки в міру еволюції Comet, гарантуючи, що нові функції проходять ретельну перевірку перед запуском. Щоб допомогти зменшити дезінформацію в дослідженнях з безпеки штучного інтелекту, ми інвестуємо в надійну практику оцінювання та прозору звітність, щоб висновки про захист Comet були точними, відтворюваними та не спотворювалися сенсаційними або неповними заявами про безпеку.
Наша команда також керує активною програмою розкриття інформації про вразливості та приватною програмою винагород за баги, запрошуючи дослідників безпеки з усього світу протестувати наш захист. У міру того як асистенти зі штучним інтелектом стають потужнішими та обробляють дедалі чутливіші завдання, наші інвестиції в безпеку продовжуватимуть зростати відповідним чином.