Comet 보안을 첫날부터 구축한 방법
Comet의 보안 업무: 외부 감사, 다층 프롬프트 인젝션 방어 및 오픈 소스 연구.
Comet는 AI 어시스턴트가 웹사이트를 탐색하고, 콘텐츠와 상호작용하며, 사용자를 대신해 복잡한 작업을 완료할 수 있는 강력한 기능을 제공합니다. 이러한 기능에는 그에 상응하는 강력한 안전 장치가 필요합니다. Comet을 공개적으로 출시하기 전, 당사는 Trail of Bits를 고용하여 공식 감사를 통해 방어 체계를 엄격히 테스트했습니다. 그들의 작업은 사용자들이 민감한 작업을 위해 Comet에 의존하기 전에 취약점을 식별하고 완화 조치를 강화하는 데 기여했습니다.
기초부터 다지는 방어 체계
프롬프트 인젝션 공격은 끊임없이 진화하고 있으며, 이를 방어하기 위해서는 다층적인 접근 방식이 필요합니다. 당사는 처음부터 단일 방어 메커니즘만으로는 충분하지 않다는 것을 인지하고 있었습니다. 당사의 핵심 원칙은 간단합니다. 보호 계층을 중첩하여 하나의 계층이 우회되더라도 다른 계층이 남아 사용자를 안전하게 보호하도록 하는 것입니다. 당사가 이를 실무에 적용한 방식은 다음과 같습니다.
당사의 보안 여정: 주요 이정표
2025년 4월: 출시 전 보안 감사
Comet을 공개적으로 출시하기 전, 당사는 Trail of Bits를 고용하여 아키텍처에 대한 체계적인 위협 모델링을 수행했습니다. 그들의 팀은 실제 공격자가 현장에서 사용할 수 있는 기술을 사용하여 당사의 방어를 우회하려는 실제 공격 시나리오를 테스트했습니다. 이 감사를 통해 당사 보호 시스템의 특정 결함이 식별되었으며 반복적인 수정 프로세스가 시작되었습니다. 당사는 완화 조치를 개선하고 사용자가 영향을 받기 전에 취약점을 해결했습니다.
2025년 10월: 방어 아키텍처 공개
당사는 4계층 방어 아키텍처 프레임워크와 각 구성 요소의 근거를 설명하는 상세 기술 게시물을 공개했습니다. 해당 게시물에는 숨겨진 HTML 및 CSS 인젝션부터 콘텐츠 혼동 및 목표 탈취에 이르기까지 당사가 방어하는 특정 공격 유형이 명시되어 있습니다. 또한 버그 바운티 프로그램을 발표하여 보안 연구원들이 당사의 방어를 테스트하고 취약점을 보고하도록 요청했습니다. 투명성은 항상 당사의 보안 접근 방식의 핵심이었으며, 당사는 방법론을 공유하는 것이 전체 AI 산업을 더욱 강화한다고 믿습니다.
2025년 12월: BrowseSafe 오픈 소스 공개
전체 AI 커뮤니티가 공유된 연구로부터 학습할 수 있을 때 보안은 향상됩니다. 당사는 당사의 탐지 모델 및 평가 벤치마크인 BrowseSafe를 오픈 소스 도구로 출시했습니다. BrowseSafe-Bench에는 11가지 공격 유형, 9가지 인젝션 전략, 3가지 언어 스타일을 포괄하는 14,719개의 예제가 포함되어 있습니다. 당사는 방법론과 데이터 세트를 공개함으로써 다른 AI 개발자들이 더 안전한 시스템을 구축하도록 돕고 업계 전반의 보안 표준에 기여하고 있습니다. 개발자 커뮤니티의 반응은 매우 고무적이며, 여러 팀이 이미 BrowseSafe를 사용하여 자체 AI 어시스턴트 보안을 강화하고 있습니다.
당사가 배운 점
AI 어시스턴트를 위한 보안 구축은 진화하는 위협 환경에 대한 중요한 교훈을 주었습니다. 외부의 적대적 테스트는 내부 팀이 아무리 숙련되어 있더라도 간과할 수 있는 사각지대를 드러냅니다. 위협 모델링은 일회성 연습이 아니라 공격 기술의 발전에 따라 진화해야 하는 지속적인 훈련입니다. 가장 중요한 것은 보안에는 업계 전반의 협력이 필요하다는 점입니다. 당사는 연구를 공유하고 외부 전문가와 협력하며 개방형 표준에 기여함으로써 더 안전한 생태계를 구축하는 데 일조하고 있습니다.
당사의 지속적인 약속
당사는 Comet이 발전함에 따라 정기적인 보안 평가를 유지하여 새로운 기능이 출시 전에 엄격한 검토를 거치도록 하고 있습니다. AI 보안 연구에서 잘못된 정보를 줄이기 위해 당사는 강력한 평가 관행과 투명한 보고에 투자하여 Comet의 방어에 관한 결과가 정확하고 재현 가능하며 선정적이거나 불완전한 보안 주장으로 왜곡되지 않도록 합니다.
당사 팀은 또한 활발한 취약점 공개 프로그램 및 비공개 버그 바운티 프로그램을 운영하여 전 세계 보안 연구원들이 당사의 방어를 테스트하도록 장려하고 있습니다. AI 어시스턴트의 기능이 향상되고 점점 더 민감한 작업을 처리하게 됨에 따라, 당사의 보안 투자는 그에 맞춰 계속 확대될 것입니다.