BrowseSafe के साथ सुरक्षित AI ब्राउज़र बनाना

आज, हम BrowseSafe जारी कर रहे हैं, जो एक ओपन रिसर्च बेंचमार्क और कंटेंट डिटेक्शन मॉडल है, जिसका उद्देश्य उपयोगकर्ताओं को एजेंटिक वेब (agentic web) पर नेविगेट करते समय सुरक्षित रखना है।

जैसे-जैसे AI असिस्टेंट सर्च बॉक्स से बाहर निकलकर ब्राउज़र में प्रवेश कर रहे हैं, हम उम्मीद करते हैं कि वेब की अगली पीढ़ी पेजों से बदलकर एजेंट्स की ओर बढ़ जाएगी: यह इस बारे में कम होगा कि जानकारी कहाँ स्थित है, और इस बारे में अधिक होगा कि इसे कौन प्राप्त करता है और इस पर कार्य करता है। Comet ब्राउज़र को एक ऐसे स्थान में बदल देता है जहाँ एक असिस्टेंट केवल प्रश्नों का उत्तर ही नहीं, बल्कि कार्यों को पूरा भी कर सकता है, इसलिए एक सिद्धांत पर समझौता नहीं किया जा सकता: इसे हर हाल में उपयोगकर्ता के पक्ष में रहना होगा।

BrowseSafe: रीयल-टाइम कंटेंट स्कैनिंग के माध्यम से एजेंट्स और उपयोगकर्ताओं की सुरक्षा

BrowseSafe एक डिटेक्शन मॉडल है जिसे एक एकल केंद्रित प्रश्न का उत्तर देने के लिए फाइन-ट्यून किया गया है: किसी पेज के HTML को देखते हुए, क्या इसमें एजेंट के लिए हानिकारक निर्देश शामिल हैं? बड़े सामान्य-उद्देश्य वाले मॉडल इन मामलों के बारे में अच्छी तरह से तर्क कर सकते हैं, लेकिन वे अक्सर इतने धीमे और महंगे होते हैं कि उन्हें हर पेज पर चलाना संभव नहीं होता। BrowseSafe ब्राउज़र को धीमा किए बिना रीयल-टाइम में पूरे वेब पेजों को स्कैन करता है। हम सुरक्षा प्रभावशीलता का मूल्यांकन और सुधार करने के लिए एक संसाधन के रूप में BrowseSafe-Bench मूल्यांकन सूट भी जारी कर रहे हैं।

ट्रस्ट बाउंड्रीज (Trust boundaries) और लेयर्ड डिफेंस

हालाँकि, AI ब्राउज़िंग की एक नई पीढ़ी का मतलब साइबर सुरक्षा के खतरों की एक नई पीढ़ी भी है, जिसके लिए उपयोगकर्ताओं को सुरक्षित रखने के लिए नए दृष्टिकोणों की आवश्यकता होती है। एक पिछले लेख में, हमने बताया था कि कैसे Comet असिस्टेंट को उपयोगकर्ता के निर्देशों का पालन कराने के लिए सुरक्षा की कई परतों का उपयोग करता है, तब भी जब कोई वेबसाइट प्रॉम्ट इंजेक्शन के माध्यम से इसे हाईजैक करने की कोशिश करती है। आज हम इस बात पर ध्यान केंद्रित कर रहे हैं कि हम उस समस्या का समाधान कैसे करते हैं: उन खतरों को कैसे परिभाषित किया जाता है, वास्तविक दुनिया के हमलों के विरुद्ध उनका परीक्षण कैसे किया जाता है, और उनका उपयोग विशेष मॉडल को प्रशिक्षित करने के लिए कैसे किया जाता है जो ब्राउज़र में सुरक्षित रूप से चलने के लिए पर्याप्त तेज़ी से बुरे निर्देशों को पहचान सकें और उन्हें रोक सकें।

ब्राउज़र प्रॉम्ट इंजेक्शन कैसे काम करता है

प्रॉम्ट इंजेक्शन टेक्स्ट में एम्बेडेड हानिकारक भाषा है जिसे AI पढ़ता है और जिसे उसके मूल इरादे को ओवरराइड करने के लिए डिज़ाइन किया गया है। ब्राउज़र में, एजेंट्स पूरे पेज पढ़ते हैं, इसलिए हमले टिप्पणियों, टेम्पलेट्स या लंबे फुटर जैसी जगहों पर छिप सकते हैं।

हमलावर उन स्थानों का उपयोग उन निर्देशों को डालने के लिए करते हैं जो चुपचाप एजेंट को पुनर्निर्देशित (redirect) कर देते हैं। चूँकि यह सब कुछ पढ़ता है, जिसमें ऐसी सामग्री भी शामिल है जिसे अधिकांश लोग कभी नोटिस नहीं करते, वे संदेश मजबूत सुरक्षा उपायों के बिना व्यवहार को हाईजैक कर सकते हैं।

ये हमले अक्सर स्पष्ट वाक्यांशों से बचते हैं और इन्हें पॉलिश की गई या बहुभाषी भाषा में लिखा जा सकता है, या ऐसे HTML तत्वों में रखा जा सकता है जो स्क्रीन पर कभी दिखाई नहीं देते, जैसे डेटा एट्रिब्यूट्स या फॉर्म फील्ड्स जिन्हें ब्राउज़र स्पष्ट रूप से रेंडर नहीं करते लेकिन एजेंट्स अभी भी उन्हें पार्स करते हैं।

BrowseSafe-Bench: वास्तविक दुनिया के वातावरण में एजेंट सुरक्षा को आगे बढ़ाना

वास्तविक वेब जैसे वातावरण में इन हमलों का अध्ययन करने के लिए, हमने BrowseSafe बनाया, जो एक डिटेक्शन मॉडल है जिसे हमने प्रशिक्षित और ओपन-सोर्स किया है, और BrowseSafe-Bench, 14,719 उदाहरणों का एक सार्वजनिक बेंचमार्क जो प्रोडक्शन पेजों की नकल करता है। इसमें जटिल HTML, शोर वाली सामग्री और हानिकारक और हानिरहित नमूनों का मिश्रण शामिल है जो तीन अक्षों पर भिन्न होते हैं: हमलावर क्या करने की कोशिश करता है, निर्देश पेज में कहाँ स्थित है, और भाषा कैसे लिखी गई है।

बेंचमार्क में 11 हमले के प्रकार, छिपे हुए क्षेत्रों से लेकर दिखाई देने वाले पैराग्राफ और फुटर तक नौ इंजेक्शन रणनीतियाँ, और स्पष्ट कमांड से लेकर अप्रत्यक्ष, छलावरण वाली भाषा तक तीन भाषाई शैलियाँ शामिल हैं।

डिफेंस इन डेप्थ (Defense in depth) दृष्टिकोण

हमारे खतरे के मॉडल में, असिस्टेंट स्वयं एक विश्वसनीय वातावरण में रहता है, लेकिन वेब से आने वाली कोई भी चीज़ अविश्वसनीय होती है। हमलावर पूरी साइटों को नियंत्रित कर सकते हैं या केवल सामग्री इंजेक्ट कर सकते हैं, जैसे कि उत्पाद विवरण, टिप्पणियाँ और पोस्ट उन पेजों में जो अन्यथा सुरक्षित होते हैं। उस जोखिम को प्रबंधित करने के लिए, ऐसे उपकरण जो अविश्वसनीय सामग्री लौटा सकते हैं, जैसे वेब पेज, ईमेल या फाइलें, उन्हें चिह्नित किया जाता है, और उनके रॉ आउटपुट को एजेंट द्वारा पढ़ने या उस पर कार्रवाई करने से पहले हमेशा BrowseSafe द्वारा स्कैन किया जाता है।

BrowseSafe एक व्यापक सुरक्षा दृष्टिकोण की एक परत है। उपयोग से पहले रॉ कंटेंट को स्कैन किया जाता है, टूल अनुमतियाँ डिफ़ॉल्ट रूप से सीमित होती हैं, और संवेदनशील कार्यों के लिए स्पष्ट उपयोगकर्ता पुष्टिकरण की आवश्यकता हो सकती है, जो मौजूदा ब्राउज़र सुरक्षा सुविधाओं के अलावा है। डिफेंस इन डेप्थ उपयोगकर्ताओं को सुरक्षा के बदले क्षमता से समझौता किए बिना शक्तिशाली ब्राउज़र असिस्टेंट अपनाने में सक्षम बनाता है।

हमले की प्रभावशीलता को क्या प्रभावित करता है?

BrowseSafe-Bench पर मूल्यांकन के परिणाम स्पष्ट पैटर्न दिखाते हैं। प्रत्यक्ष हमले, जैसे एजेंट को अपना सिस्टम प्रॉम्ट प्रकट करने या URL सेगमेंट के माध्यम से जानकारी निकालने के लिए कहना, मॉडलों के लिए पकड़ना सबसे आसान होता है। इसके विपरीत, बहुभाषी हमले और वे जो अप्रत्यक्ष या काल्पनिक निर्देशों के रूप में लिखे गए हैं, वे काफी कठिन हैं, क्योंकि वे उन स्पष्ट कीवर्ड से बचते हैं जिन पर कई डिटेक्टर अंतर्निहित रूप से निर्भर करते हैं।

स्थान भी मायने रखता है। टिप्पणियों में छिपे हुए हमलों का पता अपेक्षाकृत अच्छी तरह से चल जाता है, जबकि दिखाई देने वाले फुटर, टेबल सेल या इनलाइन पैराग्राफ में फिर से लिखे गए संस्करण बहुत अधिक कठिन साबित होते हैं, जो “छिपे हुए” इंजेक्शन के प्रति एक संरचनात्मक पूर्वाग्रह को उजागर करते हैं। अच्छी तरह से डिज़ाइन किए गए उदाहरणों पर सावधानीपूर्वक प्रशिक्षण मॉडलों की इन पैटर्नों का पता लगाने की क्षमता में काफी सुधार कर सकता है।

BrowseSafe के साथ सुरक्षित एजेंट्स बनाएं

BrowseSafe और BrowseSafe-Bench पूरी तरह से ओपन-सोर्स हैं। कोई भी डेवलपर जो स्वायत्त एजेंट्स बना रहा है, वह प्रॉम्ट इंजेक्शन के खिलाफ अपने सिस्टम को तुरंत मजबूत कर सकता है—सुरक्षा रेलिंग को खरोंच से बनाने की कोई आवश्यकता नहीं है। ओपन-वेट डिटेक्शन मॉडल स्थानीय रूप से चलता है और एजेंट के मूल तर्क तक पहुँचने से पहले हानिकारक निर्देशों को चिह्नित करता है, जो उपयोगकर्ताओं को धीमा किए बिना हर पेज को स्कैन करने के लिए पर्याप्त तेज़ है।

अपने स्वयं के मॉडलों को उन जटिल HTML ट्रैप्स के विरुद्ध तनाव-परीक्षण (stress-test) करने के लिए BrowseSafe-Bench के 14,000+ वास्तविक दुनिया के हमले परिदृश्यों का उपयोग करें जो मानक LLMs को तोड़ देते हैं। हमारी चंकिंग और समानांतर स्कैनिंग तकनीकें एजेंट्स को विशाल, अविश्वसनीय पेजों को कुशलतापूर्वक संसाधित करने देती हैं—उपयोगकर्ताओं को खतरे में डाले बिना शक्तिशाली ब्राउज़िंग क्षमताएँ। हमने BrowseSafe और BrowseSafe-Bench कैसे बनाया, इसके बारे में अधिक जानने के लिए, Perplexity Research ब्लॉग देखें।