कैसे हमने पहले दिन से Comet में सुरक्षा का निर्माण किया

Comet एआई सहायकों को वेबसाइट ब्राउज़ करने, सामग्री के साथ इंटरैक्ट करने और उपयोगकर्ताओं की ओर से जटिल कार्य पूरा करने की शक्तिशाली क्षमताएं प्रदान करता है। इन क्षमताओं के लिए समान रूप से शक्तिशाली सुरक्षा उपायों की आवश्यकता होती है। Comet को सार्वजनिक रूप से लॉन्च करने से पहले, हमने औपचारिक ऑडिट के माध्यम से हमारे बचाव का तनाव-परीक्षण (स्ट्रेस-टेस्ट) करने के लिए Trail of Bits को काम पर रखा। उनके काम ने हमें कमजोरियों की पहचान करने और हमारे शमन (mitigations) को मजबूत करने में मदद की, इससे पहले कि उपयोगकर्ता संवेदनशील कार्यों के लिए Comet पर निर्भर होना शुरू करें।

आधार से सुरक्षा का निर्माण

प्रॉम्प्ट इंजेक्शन हमले लगातार विकसित हो रहे हैं, और उनसे बचाव के लिए एक बहुस्तरीय दृष्टिकोण की आवश्यकता है। हमें शुरुआत से ही पता था कि केवल एक सुरक्षा तंत्र पर्याप्त नहीं होगा। हमारा मूल सिद्धांत सरल है: ओवरलैपिंग सुरक्षा यह सुनिश्चित करती है कि यदि एक परत को बायपास कर दिया जाता है, तो उपयोगकर्ताओं को सुरक्षित रखने के लिए अन्य परतें मौजूद रहती हैं। यहाँ बताया गया है कि हम इसे व्यवहार में कैसे लाते हैं।

हमारी सुरक्षा यात्रा: मुख्य मील के पत्थर

अप्रैल 2025: लॉन्च-पूर्व सुरक्षा ऑडिट

Comet को सार्वजनिक रूप से लॉन्च करने से पहले, हमने अपने आर्किटेक्चर की व्यवस्थित खतरा मॉडलिंग (threat modeling) करने के लिए Trail of Bits को काम पर रखा। उनकी टीमों ने वास्तविक दुनिया के हमले के परिदृश्यों का परीक्षण किया, उन तकनीकों का उपयोग करके हमारे बचाव को बायपास करने का प्रयास किया जो दुश्मन सार्वजनिक रूप से उपयोग कर सकते हैं। ऑडिट ने हमारी सुरक्षा प्रणाली में विशिष्ट कमियों की पहचान की और एक पुनरावृत्ति सुधार प्रक्रिया शुरू की। हमने अपने शमन उपायों को परिष्कृत किया और उपयोगकर्ताओं को प्रभावित करने से पहले कमजोरियों को दूर किया।

अक्टूबर 2025: हमारे रक्षा आर्किटेक्चर को प्रकाशित करना

हमने हमारे चार-स्तरीय रक्षा आर्किटेक्चर ढांचे और प्रत्येक घटक के पीछे के तर्क की व्याख्या करते हुए एक विस्तृत तकनीकी पोस्ट प्रकाशित की। पोस्ट ने उन विशिष्ट हमले के प्रकारों को रेखांकित किया जिनसे हम बचाव करते हैं, छिपे हुए HTML और CSS इंजेक्शन से लेकर सामग्री भ्रम और लक्ष्य अपहरण तक। हमने अपने बग बाउंटी प्रोग्राम की भी घोषणा की, जिसमें सुरक्षा शोधकर्ताओं को हमारे बचाव का परीक्षण करने और कमजोरियों की रिपोर्ट करने के लिए आमंत्रित किया गया। पारदर्शिता हमेशा हमारे सुरक्षा दृष्टिकोण का मूल रही है: हमारा मानना है कि हमारी कार्यप्रणाली साझा करने से पूरा एआई उद्योग मजबूत होता है।

दिसंबर 2025: BrowseSafe को ओपन-सोर्स करना

जब पूरा एआई समुदाय साझा अनुसंधान से सीख सकता है तो सुरक्षा में सुधार होता है। हमने BrowseSafe, अपने डिटेक्शन मॉडल और मूल्यांकन बेंचमार्क को ओपन-सोर्स टूल के रूप में जारी किया। BrowseSafe-Bench में 11 हमले के प्रकारों, 9 इंजेक्शन रणनीतियों और 3 भाषाई शैलियों को कवर करने वाले 14,719 उदाहरण शामिल हैं। अपनी कार्यप्रणाली और डेटासेट प्रकाशित करके, हम अन्य एआई डेवलपर्स को सुरक्षित सिस्टम बनाने में मदद कर रहे हैं और उद्योग-व्यापी सुरक्षा मानकों में योगदान दे रहे हैं। डेवलपर समुदाय से मिली प्रतिक्रिया उत्साहजनक रही है, जिसमें टीमें पहले से ही अपने एआई सहायक की सुरक्षा में सुधार के लिए BrowseSafe का उपयोग कर रही हैं।

हमने क्या सीखा

एआई सहायकों के लिए सुरक्षा का निर्माण करने से हमने विकसित होते खतरों के परिदृश्य के बारे में महत्वपूर्ण सबक सीखे हैं। बाहरी प्रतिकूल परीक्षण उन अंधे बिंदुओं को उजागर करता है जिन्हें आंतरिक टीमें चूक सकती हैं, चाहे वे कितनी भी कुशल क्यों न हों। खतरा मॉडलिंग एक बार का अभ्यास नहीं है, बल्कि एक सतत अनुशासन है जिसे हमलों की तकनीकों के आगे बढ़ने के साथ विकसित होना चाहिए। सबसे महत्वपूर्ण बात यह है कि सुरक्षा के लिए उद्योग भर में सहयोग की आवश्यकता है। अपने शोध को साझा करके, बाहरी विशेषज्ञों को शामिल करके और खुले मानकों में योगदान देकर, हम एक सुरक्षित पारिस्थितिकी तंत्र बनाने में मदद कर रहे हैं।

हमारी निरंतर प्रतिबद्धता

हम Comet के विकसित होने के साथ-साथ नियमित सुरक्षा मूल्यांकन बनाए रखते हैं, यह सुनिश्चित करते हुए कि नई सुविधाएँ लॉन्च से पहले कठोर जांच से गुजरें। एआई सुरक्षा अनुसंधान में गलत सूचना को कम करने में मदद करने के लिए, हम मजबूत मूल्यांकन प्रथाओं और पारदर्शी रिपोर्टिंग में निवेश करते हैं ताकि Comet के बचाव के बारे में निष्कर्ष सटीक, पुनरुत्पादक हों और सनसनीखेज या अधूरे सुरक्षा दावों द्वारा विकृत न हों।

हमारी टीम एक सफल Vulnerability Disclosure Program और निजी बग बाउंटी प्रोग्राम भी चलाती है, जो सुरक्षा शोधकर्ताओं को हमारे बचाव का परीक्षण करने के लिए हर जगह आमंत्रित करती है। जैसे-जैसे एआई सहायक अधिक सक्षम होते जाते हैं और तेजी से संवेदनशील कार्यों को संभालते हैं, हमारे सुरक्षा निवेश उसी के अनुसार बढ़ते रहेंगे।