Comet жүйесіне қауіпсіздікті бірінші күннен бастап қалай енгіздік
Comet қауіпсіздік жұмысы: сыртқы аудиттер, қабатты промпт-инъекция қорғанысы және ашық кодты зерттеулер.
Comet пайдаланушылардың атынан веб-сайттарды шолу, мазмұнмен жұмыс істеу және күрделі тапсырмаларды орындау үшін жасанды интеллект көмекшілеріне қуатты мүмкіндіктер береді. Бұл мүмкіндіктер сондай-ақ қуатты қорғаныс шараларын талап етеді. Comet-ті көпшілікке ұсынпас бұрын біз Trail of Bits компаниясын ресми аудиттер арқылы қорғанысымызды сынақтан өткізуге жалдадық. Олардың жұмысы пайдаланушылар Comet-ке маңызды тапсырмаларды сеніп тапсыра бастағанға дейін осалдықтарды анықтауға және қорғанысымызды күшейтуге көмектесті.
Қорғанысты басынан бастап құру
Промпт-инъекциялық шабуылдар үнемі дамып отырады және олардан қорғану көп деңгейлі тәсілді талап етеді. Біз басынан бастап бір ғана қорғаныс механизмі жеткіліксіз болатынын білдік. Негізгі ұстанымымыз қарапайым: қабаттасатын қорғаныс бір деңгей аттап өтілсе де, басқалары пайдаланушыларды қауіпсіз ұстау үшін қалатынын қамтамасыз етеді. Мұны іс жүзінде қалай қолданатынымыз төменде көрсетілген.
Қауіпсіздік сапарымыз: Негізгі кезеңдер
Сәуір 2025: Іске қосу алдындағы қауіпсіздік аудиті
Comet-ті көпшілікке ұсынпас бұрын біз сәулетімізге жүйелі қауіп-қатерді модельдеуді жүргізу үшін Trail of Bits компаниясын жалдадық. Олардың командасы қарсыластар іс жүзінде пайдалануы мүмкін әдістерді қолдана отырып, қорғанысымызды айналып өтуге тырысып, нақты әлемдегі шабуыл сценарийлерін сынақтан өткізді. Аудит қорғаныс жүйеміздегі нақты олқылықтарды анықтап, қайталанатын түзету процесін бастады. Біз пайдаланушыларға әсер етпес бұрын қорғаныс шараларымызды жетілдіріп, осалдықтарды жойдық.
Қазан 2025: Қорғаныс архитектурасын жариялау
Біз төрт деңгейлі қорғаныс архитектурасының жүйесін және әрбір компоненттің негіздемесін түсіндіретін егжей-тегжейлі техникалық жазбаны жарияладық. Жазбада жасырын HTML және CSS инъекцияларынан бастап мазмұнды шатастыруға және мақсатты ұрлауға дейінгі біз қорғайтын шабуыл түрлері көрсетілген. Сондай-ақ біз қауіпсіздік зерттеушілерін қорғанысымызды сынауға және осалдықтар туралы хабарлауға шақыра отырып, қателерді анықтау сыйақысы бағдарламасын жарияладық. Ашықтық әрқашан қауіпсіздік тәсіліміздің негізі болды: әдістемемізбен бөлісу барлық жасанды интеллект индустриясын күшейтеді деп сенеміз.
Желтоқсан 2025: BrowseSafe жүйесін ашық кодты ету
Бүкіл жасанды интеллект қауымдастығы ортақ зерттеулерден сабақ ала алған кезде қауіпсіздік жақсарады. Біз өзіміздің анықтау моделі мен бағалау көрсеткішін ашық кодты құралдар ретінде BrowseSafe жүйесін шығардық. BrowseSafe-Bench 14 шабуыл түрін, 9 инъекция стратегиясын және 3 тілдік стилін қамтитын 14 719 мысалды қамтиды. Әдістемеміз бен деректер жинақтарын жариялау арқылы біз басқа жасанды интеллект әзірлеушілеріне қауіпсіз жүйелерді құруға көмектесеміз және жалпы салалық қауіпсіздік стандарттарына үлес қосамыз. Әзірлеушілер қауымдастығының жауабы жігерлендірді, командалар қазірдің өзінде өздерінің жасанды интеллект көмекшісінің қауіпсіздігін жақсарту үшін BrowseSafe пайдалануда.
Біз не үйрендік
Жасанды интеллект көмекшілеріне арналған қауіпсіздікті құру бізге дамып келе жатқан қатерлер ландшафты туралы маңызды сабақтар берді. Сыртқы қарсыластарды сынау ішкі командалар қаншалықты білікті болса да, байқамай қалуы мүмкін әлсіз тұстарды көрсетеді. Қауіп-қатерді модельдеу бір реттік жаттығу емес, шабуыл әдістері дамыған сайын дамуы тиіс үздіксіз пән болып табылады. Ең бастысы, қауіпсіздік бүкіл сала бойынша ынтымақтастықты талап етеді. Зерттеулерімізбен бөлісу, сыртқы сарапшыларды тартуу және ашық стандарттарға үлес қосу арқылы біз қауіпсіз экожүйені құруға көмектесеміз.
Үздіксіз міндеттемеміз
Біз Comet дамыған сайын тұрақты қауіпсіздік бағалауларын жүргіземіз, бұл жаңа мүмкіндіктердің іске қосылар алдында қатаң тексеруден өтуін қамтамасыз етеді. Жасанды интеллект қауіпсіздігін зерттеудегі жалған ақпаратты азайтуға көмектесу үшін біз Comet қорғанысы туралы тұжырымдардың дәл, қайталанатын және сенсациялық немесе толық емес қауіпсіздік мәлімдемелерімен бұрмаланбауын қамтамасыз ету үшін сенімді бағалау тәжірибелеріне және ашық есеп беруге инвестиция жасаймыз.
Сонымен қатар біздің команда барлық жердегі қауіпсіздік зерттеушілерін қорғанысымызды сынауға шақыратын Осалдықты ашу бағдарламасын және жеке қателерді анықтау сыйақысы бағдарламасын белсенді түрде жүргізеді. Жасанды интеллект көмекшілері қабілеттірек болып, күрделірек тапсырмаларды орындаған сайын, қауіпсіздік саласындағы инвестицияларымыз да сәйкесінше өсе береді.