Как изградихме сигурността в Comet от първия ден
Работа по сигурността на Comet: външни одити, многопластови защити от инжектиране на подкани и изследвания с отворен код.
Comet предоставя на AI асистенти мощни възможности за сърфиране в уебсайтове, взаимодействие със съдържание и изпълнение на сложни задачи от името на потребителите. Тези възможности изискват също толкова мощни защитни мерки. Преди да пуснем Comet публично, наехме Trail of Bits да подложат защитата ни на стрес тест чрез формални одити. Тяхната работа ни помогна да идентифицираме уязвимости и да засилим смекчаващите мерки, преди потребителите да започнат да разчитат на Comet за чувствителни задачи.
Изграждане на защитата от самото начало
Атаките с инжектиране на подкани непрекъснато се развиват и защитата срещу тях изисква многопластов подход. От самото начало знаехме, че един единствен механизъм за защита няма да е достатъчен. Нашият основен принцип е прост: припокриващите се защити гарантират, че ако един слой бъде заобиколен, други остават, за да пазят потребителите в безопасност. Ето как прилагаме това на практика.
Нашият път в сигурността: Ключови етапи
Април 2025 г.: Одит на сигурността преди пускане на пазара
Преди да пуснем Comet публично, наехме Trail of Bits да извършат систематично моделиране на заплахите за нашата архитектура. Техният екип тества сценарии за атаки от реалния свят, опитвайки се да заобиколи защитите ни с помощта на техники, които противниците биха могли да използват в реална среда. Одитът идентифицира конкретни пропуски в нашата система за защита и даде началото на итеративен процес на отстраняване на пропуските. Прецизирахме мерките си за смекчаване и затворихме уязвимостите, преди те да успеят да засегнат потребителите.
Октомври 2025 г.: Публикуване на нашата защитна архитектура
Публикувахме подробна техническа публикация , обясняваща нашата четирислойна рамка за защитна архитектура и обосновката зад всеки компонент. Публикацията очертава конкретни видове атаки, срещу които се защитаваме, от скрити HTML и CSS инжекции до объркване на съдържанието и отклоняване на целите. Обявихме и нашата програма за награди за открити бъгове, канейки изследователи на сигурността да тестват защитите ни и да докладват за уязвимости. Прозрачността винаги е била в основата на нашия подход към сигурността: вярваме, че споделянето на нашата методология прави цялата индустрия за изкуствен интелект по-силна.
Декември 2025 г.: Публикуване на BrowseSafe с отворен код
Сигурността се подобрява, когато цялата общност за изкуствен интелект може да се учи от споделени изследвания. Публикувахме BrowseSafe, нашия модел за откриване и бенчмарк за оценка, като инструменти с отворен код. BrowseSafe-Bench включва 14 719 примерa, покриващи 11 вида атаки, 9 стратегии за инжектиране и 3 лингвистични стила. Като публикуваме нашата методология и набори от данни, помагаме на други разработчици на изкуствен интелект да изграждат по-безопасни системи и допринасяме за стандартите за сигурност в цялата индустрия. Реакцията от общността на разработчиците беше насърчителна, като екипи вече използват BrowseSafe, за да подобрят сигурността на собствените си AI асистенти.
Какво научихме
Изграждането на сигурност за AI асистенти ни научи на критични уроци за развиващия се пейзаж на заплахите. Външното състезателно тестване разкрива слепи петна, които вътрешните екипи могат да пропуснат, независимо колко опитни са. Моделирането на заплахи не е еднократно упражнение, а постоянна дисциплина, която трябва да се развива с напредването на техниките за атака. Най-важното е, че сигурността изисква сътрудничество в цялата индустрия. Като споделяме нашите изследвания, ангажираме външни експерти и допринасяме за отворени стандарти, помагаме за изграждането на по-безопасна екосистема.
Нашият постоянен ангажимент
Поддържаме редовни оценки на сигурността с еволюцията на Comet, като гарантираме, че новите функции преминават през строг анализ преди пускане на пазара. За да помогнем за намаляване на дезинформацията в изследванията на сигурността на изкуствения интелект, инвестираме в надеждни практики за оценка и прозрачно отчитане, така че констатациите относно защитите на Comet да бъдат точни, възпроизводими и да не се изкривяват от сензационни или непълни твърдения за сигурност.
Нашият екип също така ръководи процъфтяваща Програма за оповестяване на уязвимости и частна програма за награди за бъгове, канейки изследователи на сигурността навсякъде да тестват нашите защити. Тъй като AI асистентите стават все по-способни и се справят с все по-чувствителни задачи, нашите инвестиции в сигурността ще продължат да се мащабират съответно.