एजंट्स की बॉट्स? खुल्या वेबवर एआय समजून घेणे

जсаस-जसा इंटरनेट विकसित होत आहे, तशाच प्रकारे आपण माहिती मिळवण्याचे आणि तिच्याशी संवाद साधण्याच्या पद्धती देखील बदलत आहेत. वेबच्या अगदी सुरुवातीच्या काळात, स्वयंचलित बॉट्सनी एक साधी आणि स्पष्ट भूमिका बजावली: वेबसाइट मालकांनी सेट केलेल्या स्पष्ट नियमांनुसार शोधण्यासाठी साइट्स इंडेक्स करणे, लिंक्स तपासणे किंवा डेटा स्क्रॅप करणे.

परंतु एआय-संचालित असिस्टंट्स आणि वापरकर्त्याद्वारे चालवल्या जाणाऱ्या एजंट्सच्या वाढीमुळे, "फक्त एक बॉट" काय आहे आणि वास्तविक लोकांच्या तातडीच्या गरजा कशा पूर्ण केल्या जातात यामधील सीमा अधिकच अस्पष्ट झाली आहे.

आधुनिक एआय असिस्टंट्स हे पारंपारिक वेब क्रॉलिंगपेक्षा मूलभूतपणे वेगळ्या पद्धतीने काम करतात. जेव्हा तुम्ही Perplexity ला एखादा असा प्रश्न विचारता ज्यासाठी वर्तमान माहितीची आवश्यकता असते—समजा, "त्या नवीन रेस्टॉरंटसाठी नवीनतम पुनरावलोकने काय आहेत?"—तेव्हा एआय कडे ती माहिती आधीच कुठेतरी डेटाबेसमध्ये उपलब्ध नसते. त्याऐवजी, ते संबंधित वेबसाइट्सना भेट देते, सामग्री वाचते आणि तुमच्या विशिष्ट प्रश्नानुसार तयार केलेला सारांश घेऊन येते.

हे पारंपारिक वेब क्रॉलिंगपेक्षा मूलभूतपणे वेगळे आहे, ज्यामध्ये क्रॉलर्स विशिष्ट माहिती कोणाला हवी आहे की नाही याची पर्ва न करता, मोठे डेटाबेस तयार करण्यासाठी पद्धतशीरपणे लाखो पृष्ठांना भेट देतात. याउलट, वापरकर्ता-चालित एजंट्स केवळ तेव्हाच सामग्री आणतात जेव्हा एखादी वास्तविक व्यक्ती विशिष्ट गोष्टीची विनंती करते, आणि ते वापरकर्त्याच्या प्रश्नाचे उत्तर देण्यासाठी त्या सामग्रीचा त्वरित वापर करतात. Perplexity चे वापरकर्ता-चालित एजंट्स ती माहिती संचयित करत नाहीत किंवा त्याद्वारे प्रशिक्षण घेत नाहीत.

स्वयंचलित क्रॉलिंग आणि वापरकर्ता-चालित फेचिंगमधील फरक केवळ तांत्रिक नाही—तो खुल्या वेबवर माहिती मिळवण्याचा अधिकार कोणाला आहे याबद्दल आहे. जेव्हा Google चे सर्च इंजिन आपला इंडेक्स तयार करण्यासाठी क्रॉल करते, तेव्हा ते वेबपृष्ठ आणण्यापेक्षा वेगळे असते कारण तुम्ही पूर्वावलोकनाची विनंती केली होती. Google चे "वापरकर्ता-उत्प्रेरित फेचर्स" robots.txt निर्बंधांपेक्षा तुमच्या अनुभवाला प्राधान्य देतात कारण या विनंत्या तुमच्या वतीने होतात.

हेच एआय असिस्टंट्सना लागू होते. जेव्हा Perplexity एखादे वेबपृष्ठ आणते, तेव्हा ते तुम्ही वर्तमान माहिती आवश्यक असलेला विशिष्ट प्रश्न विचारल्यामुळे होते. ती सामग्री प्रशिक्षणासाठी संचयित केली जात नाही—तिचा वापर तुमच्या प्रश्नाचे उत्तर देण्यासाठी त्वरित केला जातो.

जेव्हा Cloudflare सारख्या कंपन्या वापरकर्ता-चालित एआय असिस्टंट्सना दुर्भावनायुक्त बॉट्स म्हणून चुकीचे चित्रित करतात, तेव्हा ते असा युक्तिवाद करत असतात की वापरकर्त्यांची सेवा करणारे कोणतेही स्वयंचलित साधन संशयास्पद असावे—अशी स्थिती जी ईमेल क्लायंट्स आणि वेब ब्राउझर, किंवा इतर कोणतीही सेवा जी एखाद्या भावी गेटकीपरला नकोशी वाटू शकते, त्यांना गुन्हेगार ठरेल.

हा वाद उघड करतो की वैध एआय असिस्टंट्स आणि वास्तविक धोक्यांमध्ये फरक करण्यासाठी Cloudflare ची प्रणाली मूलभूतपणे अपुरी आहे. जर तुम्ही उपयुक्त डिजिटल असिस्टंटला दुर्भावनायुक्त स्क्रॅपरपासून वेगळे करू शकत नाही, तर वैध वेब ट्रॅफिक कशाला म्हणावे याबद्दल तुम्ही निर्णय घेत नसले पाहिजे.

या अतिब्लॉकिंगमुळे प्रत्येकाचे नुकसान होते. वैद्यकीय परिस्थितींवर संशोधन करण्यासाठी, उत्पादनांच्या पुनरावलोकनांची तुलना करण्यासाठी किंवा अनेक स्त्रोतांकडून बातम्या मिळवण्यासाठी एआयचा वापर करणाऱ्या एखाद्या व्यक्तीचा विचार करा. जर त्यांचा असिस्टंट "दुर्भावनायुक्त बॉट" म्हणून ब्लॉक केला गेला, तर त्यांना मौल्यवान माहिती मिळणे बंद होते.

याचा परिणाम एक द्वि-स्तरीय इंटरनेट असा होतो जिथे तुमचा प्रवेश तुमच्या गरजांवर अवलंबून नसून, तुम्ही निवडलेली साधने इन्फ्रास्ट्रक्चर कंट्रोलर्सद्वारे मंजूर केली आहेत की नाही यावर अवलंबून असतो, जे तुमच्या साधनांपेक्षा स्वतःच्या फायद्याची जास्त काळजी घेतात. यामुळे वापरकर्त्याच्या पसंतीला धक्का लागतो आणि प्रस्थापित दिग्गजांशी स्पर्धा करणाऱ्या नाविन्यपूर्ण सेवांसाठी खुल्या वेबच्या प्रवेशयोग्यतेला धोका निर्माण होतो.

एक एआय असिस्टंट अगदी मानवी असिस्टंटसारखाच काम करतो. जेव्हा तुम्ही एखाद्या एआय असिस्टंटला वर्तमान माहिती आवश्यक असलेला प्रश्न विचारता, तेव्हा त्यांना त्याचे उत्तर आधीच माहीत नसते. तुम्ही विचारलेले कोणतेही कार्य पूर्ण करण्यासाठी ते तुमच्यासाठी ते शोधून काढतात.

Perplexity वर आणि इतर सर्व एजन्टिक एआय प्लॅटफॉर्म्सवर, हे रिअल-टाइममध्ये, तुमच्या विनंतीनुसार घडते आणि तुमच्या प्रश्नाचे उत्तर देण्यासाठी त्या माहितीचा त्वरित वापर केला जातो. ती भविष्यातील वापरासाठी मोठ्या डेटाबेसमध्ये संचयित केली जात नाही आणि एआय मॉडेलच्या प्रशिक्षणासाठी वापरली जात नाही.

वापरकर्ता-चालित एजंट्स केवळ तेव्हाच कृती करतात जेव्हा वापरकर्ते विशिष्ट विनंत्या करतात, आणि ते केवळ त्या विनंत्या पूर्ण करण्यासाठी आवश्यक असलेली सामग्री आणतात. युजर एजंट आणि बॉटमधील हाच मूलभूत फरक आहे.

Cloudflare च्या अलीकडील ब्लॉग पोस्टमध्ये आधुनिक एआय असिस्टंट्स प्रत्यक्षात कसे काम करतात याबद्दल जवळपास सर्वकाही चुकीचे मांडले गेले.

20-25 दशलक्ष युजर एजंट विनंत्या या स्क्रॅपर्स नाहीत हे समजण्यात गैरसमज झाल्याव्यतिरिक्त, Cloudflare ने दावा केला की Perplexity "स्टीथ क्रॉलिंग" मध्ये गुंतले होते, वेबसाइटचे निर्बंध बायपास करण्यासाठी लपलेले बॉट्स आणि इम्परसोनेशन टॅक्टिक्स वापरत होते. परंतु तांत्रिक तथ्ये एक वेगळीच कथा सांगतात.

असे दिसते की Cloudflare ने BrowserBase कडील असंबंधित ट्रॅफिकच्या दररोज 3-6 दशलक्ष विनंत्यांसोबत Perplexity चा गैरसमज केला, जी एक तृतीय-पक्ष क्लाउड ब्राउझर सेवा आहे जी Perplexity केवळ अत्यंत विशेष कामांसाठी क्वचितच वापरते (दररोज 45,000 पेक्षा कमी विनंत्या).

Cloudflare ने त्यांची पद्धत सोयीस्करपणे अस्पष्ट केली असल्याने आणि आमच्या टीम्सना समजण्यास मदत करणाऱ्या प्रश्नांची उत्तरे देण्याचे नाकारल्याने, आम्ही हे केवळ दोन शक्य स्पष्टീകരണांपुरते मर्यादित करू शकतो.

Cloudflare ला एका हुशार पब्लिसिटी क्षणाची गरज होती आणि आम्ही—त्यांचे स्वतःचे ग्राहक—त्यांना ते मिळवून देण्यासाठी एक उपयुक्त नाव ठरलो.

Cloudflare ने BrowserBase च्या स्वयंचलित ब्राउझर सेवेच्या दररोज 3-6 दशलक्ष विनंत्या चुकून Perplexity ला जोडल्या, जे एक मूलभूत ट्रॅफिक विश्लेषण अपयश आहे जे अशा कंपनीसाठी विशेषतः लाजिरवाणे आहे जिचा मुख्य व्यवसाय वेब ट्रॅफिक समजणे आणि त्याचे वर्गीकरण करणे हा आहे.

कोणतेही स्पष्टीकरण सत्य असो, Cloudflare च्या विश्लेषणातील तांत्रिक चुका केवळ लाजिरवाण्या नाहीत—त्या अपात्र ठरवणाऱ्या आहेत. जेव्हा तुम्ही लाखो विनंत्यांची चुकीची नोंद करता, पूर्णपणे चुकीचे तांत्रिक आलेख प्रकाशित करता आणि आधुनिक एआय असिस्टंट्स कसे काम करतात याचा मूलभूत गैरसमज दर्शवता, तेव्हा तुम्ही या स्पेस मधील कौशल्याचा कोणताही दावा गमावून बसता.

या मुद्द्याभोवतीचा गदारोळ हेही उघड करतो की Cloudflare चे नेतृत्व एकतर एआयच्या मूलभूत गोष्टींवर धोकादायकabत्या चुकीच्या माहितीवर आहे, किंवा क्लाउडपेक्षा फक्त दिखाऊपणा जास्त आहे. हे महत्त्वाचे आहे कारण Cloudflare च्या ग्राहकांमध्ये सर्व प्रकारच्या व्यवसायांचा समावेश आहे, अशा कंपन्या ज्या भुरट्या पब्लिसिटी स्टंट्सवर आपल्या इन्फ्रास्ट्रक्चरचा विश्वास ठेवू शकत नाहीत.

आणखी एक लाजिरवाणी गोष्ट म्हणजे, Cloudflare ने एक तांत्रिक आलेख प्रकाशित केला ज्यामध्ये कथितपणे "Perplexity चे क्रॉलिंग वर्कफ्लो" दाखवण्यात आले आहे ज्याचा Perplexity प्रत्यक्षात कसे काम करते याच्याशी काहीही संबंध नाही. जर Cloudflare खरोखरच त्यांना दिसणारा डेटा, आपली प्रणाली कशी काम करते, किंवा वरील मूलभूत संकल्पना समजून घेण्यास उत्सुक असते, तर त्यांनी तेच केले असते जे आम्ही सर्व Perplexity वापरकर्त्यांना करण्यास प्रोत्साहन देतो. फक्त विचारा.

डिजिटल असिस्टंट्सचा उदय

हा फरक का महत्त्वाचा आहे

स्पष्टतेसाठी एक हाक: युजर एजंट्स प्रत्यक्षात कसे काम करतात

Cloudflare ला थेट संबोधित करणे: सक्षमतेचा प्रश्न