Membangun Peramban AI yang Lebih Aman dengan BrowseSafe

Hari ini, kami merilis BrowseSafe, sebuah tolok ukur penelitian terbuka dan model deteksi konten yang bertujuan menjaga keamanan pengguna saat mereka menjelajahi web berbasis agen.

Seiring transisi asisten AI dari kotak pencarian ke dalam peramban itu sendiri, kami memperkirakan generasi web berikutnya akan bergeser dari halaman ke agen: lebih sedikit tentang di mana informasi berada, dan lebih banyak tentang siapa yang mengambil dan menindaknya. Comet mengubah peramban menjadi tempat di mana asisten dapat menyelesaikan tugas, bukan sekadar menjawab pertanyaan, sehingga satu prinsip tidak dapat ditawar: asisten harus tetap berada di pihak pengguna.

BrowseSafe: melindungi agen dan pengguna melalui pemindaian konten waktu nyata

BrowseSafe adalah model deteksi yang disetel halus untuk menjawab satu pertanyaan terfokus: berdasarkan HTML suatu halaman, apakah halaman tersebut berisi instruksi berbahaya yang ditujukan kepada agen? Model serbaguna berukuran besar dapat bernalar dengan baik mengenai kasus-kasus ini, tetapi model tersebut sering kali terlalu lambat dan mahal untuk dijalankan di setiap halaman. BrowseSafe memindai halaman web secara penuh secara waktu nyata tanpa memperlambat peramban. Kami juga merilis rangkaian evaluasi BrowseSafe‑Bench sebagai sumber daya untuk mengevaluasi dan meningkatkan efektivitas pertahanan.

Batas kepercayaan dan pertahanan berlapis

Namun, generasi baru penjelajahan AI juga berarti generasi baru ancaman keamanan siber yang memerlukan pendekatan baru untuk menjaga keamanan pengguna. Dalam postingan sebelumnya, kami membahas bagaimana Comet menggunakan beberapa lapisan perlindungan agar asisten tetap melakukan apa yang diminta pengguna, bahkan ketika sebuah situs web mencoba membajaknya dengan injeksi prompt. Hari ini kami fokus membahas bagaimana kami mengatasi masalah tersebut: bagaimana ancaman-ancaman tersebut didefinisikan, diuji terhadap serangan dunia nyata, dan digunakan untuk melatih model khusus yang dapat mendeteksi dan menghentikan instruksi berbahaya cukup cepat untuk dijalankan dengan aman di peramban.

Cara kerja injeksi prompt peramban

Injeksi prompt adalah bahasa berbahaya yang disematkan dalam teks yang dibaca oleh AI yang dirancang untuk mengabaikan niat aslinya. Di peramban, agen membaca seluruh halaman, sehingga serangan dapat bersembunyi di tempat-tempat seperti komentar, templat, atau bagian bawah halaman (footer) yang panjang.

Penyerang menggunakan titik-titik tersebut untuk menyelipkan instruksi yang secara diam-diam mengalihkan agen. Karena agen membaca segalanya, termasuk konten yang sebagian besar tidak pernah diperhatikan orang, pesan-pesan tersebut dapat membajak perilaku tanpa pengamanan yang kuat.

Serangan-serangan ini sering kali menghindari frasa yang mencolok dan dapat ditulis dalam teks yang dipoles atau multibahasa, atau ditempatkan dalam elemen HTML yang tidak pernah muncul di layar, seperti atribut data atau bidang formulir yang tidak dirender secara visual oleh peramban tetapi tetap diuraikan oleh agen.

BrowseSafe-Bench: memajukan keamanan agen di lingkungan dunia nyata

Untuk mempelajari serangan-serangan ini dalam pengaturan yang menyerupai web nyata, kami membangun BrowseSafe, model deteksi yang kami latih dan buka sumbernya, serta BrowseSafe‑Bench, tolok ukur publik berisi 14.719 contoh yang meniru halaman produksi. Ini mencakup HTML yang kompleks, konten bising, dan campuran sampel berbahaya serta tidak berbahaya yang bervariasi di sepanjang tiga sumbu: apa yang coba dilakukan oleh penyerang, di mana instruksi tersebut berada di halaman, dan bagaimana bahasa tersebut ditulis.

Tolok ukur ini mencakup 11 jenis serangan, sembilan strategi injeksi mulai dari bidang tersembunyi hingga paragraf dan footer yang terlihat, serta tiga gaya linguistik, dari perintah eksplisit hingga teks terselubung yang tidak langsung.

Pendekatan pertahanan mendalam

Dalam model ancaman kami, asisten itu sendiri berada di lingkungan yang tepercaya, tetapi apa pun yang berasal dari web tidak tepercaya. Penyerang dapat mengontrol seluruh situs atau sekadar menyuntikkan konten, seperti deskripsi produk, komentar, dan postingan ke dalam halaman yang sebenarnya jinak yang dikunjungi asisten. Untuk mengelola risiko tersebut, alat yang dapat mengembalikan konten yang tidak tepercaya, seperti halaman web, email, atau file, ditandai, dan keluaran mentahnya selalu dipindai oleh BrowseSafe sebelum agen dapat membaca atau menindaknya.

BrowseSafe adalah salah satu lapisan dalam pendekatan pertahanan yang lebih luas. Konten mentah dipindai sebelum digunakan, izin alat dibatasi secara default, dan tindakan sensitif mungkin memerlukan konfirmasi eksplisit dari pengguna, semuanya di atas fitur keamanan peramban yang sudah ada. Pertahanan mendalam memungkinkan pengguna mengadopsi asisten peramban yang canggih tanpa mengorbankan keamanan demi kemampuan.

Apa yang memengaruhi efektivitas serangan?

Hasil evaluasi pada BrowseSafe‑Bench menunjukkan pola yang jelas. Serangan langsung, seperti meminta agen untuk mengungkapkan prompt sistemnya atau mengeksfiltrasi informasi melalui segmen URL, adalah salah satu yang paling mudah ditangkap oleh model. Sebaliknya, serangan multibahasa dan serangan yang ditulis sebagai instruksi tidak langsung atau hipotesis jauh lebih sulit, karena serangan tersebut menghindari kata kunci yang jelas yang secara implisit diandalkan oleh banyak detektor.

Penempatan juga penting. Serangan yang disembunyikan dalam komentar terdeteksi dengan relatif baik, sementara versi yang ditulis ulang ke dalam footer yang terlihat, sel tabel, terbukti jauh lebih sulit, yang menunjukkan adanya bias struktural terhadap injeksi "tersembunyi". Pelatihan yang cermat pada contoh yang dirancang dengan baik dapat secara signifikan meningkatkan kemampuan model untuk mendeteksi pola-pola ini.

Bangun agen yang lebih aman dengan BrowseSafe

BrowseSafe dan BrowseSafe-Bench sepenuhnya bersumber terbuka. Setiap pengembang yang membangun agen otonom dapat langsung memperkuat sistem mereka terhadap injeksi prompt—tanpa perlu membuat pengaman dari awal. Model deteksi bobot terbuka berjalan secara lokal dan menandai instruksi berbahaya sebelum mencapai logika inti agen Anda, cukup cepat untuk memindai setiap halaman tanpa memperlambat pengguna.

Gunakan lebih dari 14.000 skenario serangan dunia nyata BrowseSafe-Bench untuk menguji stres model Anda sendiri terhadap jebakan HTML rumit yang merusak LLM standar. Teknik pemotongan (chunking) dan pemindaian paralel kami memungkinkan agen memproses halaman besar yang tidak tepercaya secara efisien—kemampuan menjelajah yang canggih tanpa mengekspos pengguna pada bahaya.

Untuk mempelajari lebih lanjut tentang bagaimana kami membangun BrowseSafe dan BrowseSafe-Bench, lihat blog Perplexity Research.