এজেন্ট নাকি বট? উন্মুক্ত ওয়েবে এআই বোঝা

যেহেতু ইন্টারনেট বিকশিত হচ্ছে, তেমনি তথ্য অ্যাক্সেস এবং ইন্টারঅ্যাক্ট করার উপায়গুলিও পরিবর্তিত হচ্ছে। ওয়েবের প্রাথমিক দিনগুলিতে, স্বয়ংক্রিয় বটগুলি একটি সহজ, সুপরিচিত ভূমিকা পালন করেছিল: অনুসন্ধানের জন্য সাইটগুলি ইনডেক্স করা, লিঙ্কগুলি পরীক্ষা করা বা ওয়েবসাইট মালিকদের দ্বারা সেট করা স্পষ্ট নিয়ম অনুসারে ডেটা স্ক্র্যাপ করা।

কিন্তু এআই-চালিত সহকারী এবং ব্যবহারকারী-চালিত এজেন্টদের উত্থানের সাথে সাথে, "শুধু একটি বট" এবং যা প্রকৃত মানুষের তাৎক্ষণিক প্রয়োজন মেটায় তার মধ্যে সীমানা ক্রমশ ঝাপসা হয়ে গেছে।

আধুনিক এআই সহকারীগুলি ঐতিহ্যবাহী ওয়েব ক্রলিং থেকে মৌলিকভাবে আলাদাভাবে কাজ করে। আপনি যখন Perplexity-কে এমন কোনো প্রশ্ন করেন যার জন্য বর্তমান তথ্যের প্রয়োজন হয়—ধরে নিন, "সেই নতুন রেস্তোরাঁর সর্বশেষ পর্যালোচনাগুলি কী কী?"—তখন এআই-এর কাছে সেই তথ্যটি আগে থেকেই কোনো ডাটাবেসে জমা থাকে না। পরিবর্তে, এটি প্রাসঙ্গিক ওয়েবসাইটগুলিতে যায়, বিষয়বস্তু পড়ে এবং আপনার নির্দিষ্ট প্রশ্নের সাথে মানানসই একটি সারাংশ নিয়ে আসে।

এটি প্রথাগত ওয়েব ক্রোলিং থেকে মৌলিকভাবে আলাদা, যেখানে ক্রোলাররা বিশাল ডাটাবেজ তৈরি করার জন্য নিয়মতান্ত্রিকভাবে লক্ষ লক্ষ পেজ ভিজিট করে, কেউ সেই নির্দিষ্ট তথ্যের জন্য অনুরোধ করুক বা না করুক। এর বিপরীতে, ব্যবহারকারী-চালিত এজেন্টরা শুধুমাত্র তখনই কন্টেন্ট ফেচ বা সংগ্রহ করে যখন একজন প্রকৃত মানুষ সুনির্দিষ্ট কিছু অনুরোধ করেন, এবং তারা ব্যবহারকারীর প্রশ্নের উত্তর দেওয়ার জন্য সেই কন্টেন্ট তাৎক্ষণিকভাবে ব্যবহার করে। Perplexity-এর ব্যবহারকারী-চালিত এজেন্টরা তথ্য সংরক্ষণ করে না বা তা দিয়ে প্রশিক্ষণ দেয় না।

স্বয়ংক্রিয় ক্রলিং এবং ব্যবহারকারী-চালিত ফেচিংয়ের মধ্যে পার্থক্য কেবল প্রযুক্তিগত নয়—এটি উন্মুক্ত ওয়েবে কে তথ্য অ্যাক্সেস করতে পারবে তা নিয়ে। Google-এর সার্চ ইঞ্জিন যখন এর ইনডেক্স তৈরি করতে ক্রল করে, তা একটি ওয়েবপেজ ফেচ করার থেকে আলাদা, কারণ আপনি একটি প্রিভিউ অনুরোধ করেছিলেন। Google-এর "ব্যবহারকারী-ট্রিগারড ফেচার"-গুলি robots.txt বিধিনিষেধের চেয়ে আপনার অভিজ্ঞতাকে অগ্রাধিকার দেয় কারণ এই অনুরোধগুলি আপনার পক্ষ থেকেই ঘটে।

এআই সহকারীর ক্ষেত্রেও একই কথা প্রযোজ্য। যখন Perplexity একটি ওয়েবপেজ ফেচ করে, তখন এর কারণ আপনি বর্তমান তথ্য প্রয়োজন এমন একটি নির্দিষ্ট প্রশ্ন করেছেন। কন্টেন্টটি প্রশিক্ষণের জন্য সংরক্ষণ করা হয় না—এটি আপনার প্রশ্নের উত্তর দিতে অবিলম্বে ব্যবহার করা হয়।

Cloudflare-এর মতো কোম্পানিগুলি যখন ব্যবহারকারী-চালিত এআই সহকারীকে ক্ষতিকারক বট হিসেবে ভুলভাবে চিহ্নিত করে, তখন তারা এই যুক্তি দেয় যে ব্যবহারকারীদের পরিবেশনকারী যেকোনো স্বয়ংক্রিয় টুলকে সন্দেহজনক হওয়া উচিত—এমন একটি অবস্থান যা ইমেল ক্লায়েন্ট এবং ওয়েব ব্রাউজার, অথবা অন্য কোনো পরিষেবা যা কোনো সম্ভাব্য গেটকিপার অপছন্দ করে, সেগুলোকে অপরাধ হিসেবে গণ্য করবে।

এই বিতর্কটি প্রকাশ করে যে বৈধ এআই সহকারী এবং প্রকৃত হুমকির মধ্যে পার্থক্য করার জন্য Cloudflare-এর সিস্টেমগুলি মৌলিকভাবে অপর্যাপ্ত। আপনি যদি একটি সহায়ক ডিজিটাল সহকারী এবং একটি ক্ষতিকারক স্ক্র্যাপারের মধ্যে পার্থক্য করতে না পারেন, তবে বৈধ ওয়েব ট্রাফিক কী তা নিয়ে আপনার সম্ভবত সিদ্ধান্ত নেওয়া উচিত নয়।

এই অতিরিক্ত ব্লকিং সবাইকে আঘাত করে। চিকিৎসা অবস্থার গবেষণা করতে, পণ্যের পর্যালোচনা তুলনা করতে, বা একাধিক উৎস থেকে সংবাদ অ্যাক্সেস করতে এআই ব্যবহার করে এমন কারো কথা বিবেচনা করুন। যদি তাদের সহকারীকে "ক্ষতিকারক বট" হিসেবে ব্লক করা হয়, তবে তারা মূল্যবান তথ্যের অ্যাক্সেস হারিয়ে ফেলেন।

এর ফলাফল হল একটি দুই-স্তরের ইন্টারনেট যেখানে আপনার অ্যাক্সেস আপনার প্রয়োজনের উপর নির্ভর করে না, বরং আপনার নির্বাচিত টুলগুলি অবকাঠামো নিয়ামকদের দ্বারা আশীর্বাদপ্রাপ্ত কিনা তার উপর নির্ভর করে, যারা আপনার মাধ্যমের চেয়ে বেশি যত্ন নেবে। এটি ব্যবহারকারীর পছন্দকে ক্ষুণ্ন করে এবং প্রতিষ্ঠিত জায়ান্টদের সাথে প্রতিযোগিতা করে এমন উদ্ভাবনী পরিষেবাগুলির জন্য উন্মুক্ত ওয়েবের অ্যাক্সেসযোগ্যতাকে হুমকিতে ফেলে।

একটি এআই সহকারী ঠিক মানুষের মতো কাজ করে। আপনি যখন একজন এআই সহকারীকে এমন একটি প্রশ্ন জিজ্ঞাসা করেন যার বর্তমান তথ্যের প্রয়োজন হয়, তখন তারা উত্তরটি আগে থেকেই জানেন না। আপনার অনুরোধ করা যেকোনো কাজ সম্পূর্ণ করার জন্য তারা এটি আপনার জন্য খুঁজে বের করে।

Perplexity এবং অন্যান্য সমস্ত এজেন্টিক এআই প্ল্যাটফর্মে, এটি রিয়েল-টাইমে ঘটে, আপনার অনুরোধের প্রতিক্রিয়ায়, এবং আপনার প্রশ্নের উত্তর দিতে তথ্যটি অবিলম্বে ব্যবহার করা হয়। এটি ভবিষ্যতের ব্যবহারের জন্য বিশাল ডাটাবেসে সংরক্ষণ করা হয় না এবং এটি এআই মডেল প্রশিক্ষণের জন্য ব্যবহার করা হয় না।

ব্যবহারকারী-চালিত এজেন্টরা শুধুমাত্র তখনই কাজ করে যখন ব্যবহারকারীরা নির্দিষ্ট অনুরোধ করেন, এবং তারা কেবল সেই অনুরোধগুলি পূরণ করার জন্য প্রয়োজনীয় সামগ্রী সংগ্রহ করে। এটি ইউজার এজেন্ট এবং বটের মধ্যে মৌলিক পার্থক্য।

আধুনিক এআই সহকারী কীভাবে আসলে কাজ করে সে সম্পর্কে Cloudflare-এর সাম্প্রতিক ব্লগ পোস্টটি প্রায় সবকিছুই ভুল বুঝতে পেরেছে।

20-25M ইউজার এজেন্ট অনুরোধ যে স্ক্র্যাপার নয় তা ভুল বোঝাবুঝি ছাড়াও, Cloudflare দাবি করেছে যে Perplexity ওয়েবসাইট বিধিনিষেধকে এড়িয়ে চলতে লুকানো বট এবং ইম্পারসোনেশন কৌশল ব্যবহার করে "স্েলথ ক্রলিং"-এ লিপ্ত রয়েছে। কিন্তু প্রযুক্তিগত তথ্য একটি ভিন্ন গল্প বলে।

এটি মনে হয় Cloudflare Perplexity-কে BrowserBase থেকে আসা ৩-৬ মিলিয়ন দৈনিক অপ্রাসঙ্গিক ট্রাফিকের অনুরোধের সাথে গুলিয়ে ফেলেছে, যা একটি তৃতীয় পক্ষের ক্লাউড ব্রাউজার পরিষেবা এবং যা Perplexity শুধুমাত্র অত্যন্ত বিশেষায়িত কাজের জন্য মাঝে মাঝে ব্যবহার করে (প্রতিদিন ৪৫,০০০-এর কম অনুরোধ)।

যেহেতু Cloudflare সুবিধাজনকভাবে তাদের পদ্ধতি অস্পষ্ট করেছে এবং আমাদের টিমগুলিকে বুঝতে সাহায্য করার প্রশ্নের উত্তর দিতে অস্বীকার করেছে, তাই আমরা এটিকে দুটি সম্ভাব্য ব্যাখ্যার মধ্যে সীমিত করতে পারি।

Cloudflare-এর একটি চতুর প্রচারণার মুহূর্ত প্রয়োজন ছিল এবং আমরা—তাদের নিজস্ব গ্রাহক—সেটি পাওয়ার জন্য একটি দরকারী নাম হয়ে উঠলাম।

Cloudflare মৌলিকভাবে BrowserBase-এর স্বয়ংক্রিয় ব্রাউজার পরিষেবা থেকে প্রতিদিন ৩-৬ মিলিয়ন অনুরোধকে Perplexity-র সাথে ভুলভাবে যুক্ত করেছে, যা একটি মৌলিক ট্রাফিক বিশ্লেষণ ব্যর্থতা যা বিশেষ করে এমন একটি কোম্পানির জন্য অত্যন্ত লজ্জাজনক যার মূল ব্যবসা হল ওয়েব ট্রাফিক বোঝা এবং শ্রেণীবদ্ধ করা।

ব্যাখ্যা যাই হোক না কেন, Cloudflare-এর বিশ্লেষণে প্রযুক্তিগত ত্রুটিগুলি কেবল লজ্জাজনক নয়—এগুলি অযোগ্যতার প্রমাণ। যখন আপনি লক্ষ লক্ষ অনুরোধকে ভুলভাবে চিহ্নিত করেন, সম্পূর্ণ ভুল প্রযুক্তিগত ডায়াগ্রাম প্রকাশ করেন এবং আধুনিক এআই সহকারী কীভাবে কাজ করে তার একটি মৌলিক ভুল বোঝাবুঝি প্রদর্শন করেন, তখন এই স্পেস-এ দক্ষতার যেকোনো দাবি আপনি হারিয়ে ফেলেছেন।

এই সমস্যাটিকে ঘিরে শোরগোল আরও প্রকাশ করে যে Cloudflare-এর নেতৃত্ব হয় এআই-এর মৌলিক বিষয়গুলিতে বিপজ্জনকভাবে ভুল তথ্যে ভরপুর, অথবা ক্লাউডের চেয়ে বেশি জাঁকজমকপূর্ণ। এটি গুরুত্বপূর্ণ কারণ Cloudflare-এর গ্রাহকদের মধ্যে রয়েছে সমস্ত ধরণের ব্যবসা, এমন কোম্পানি যারা প্রতারণামূলক প্রচারণার স্টান্টে তাদের অবকাঠামো বিশ্বাস করতে পারে না।

আরও লজ্জাজনক বিষয় হল, Cloudflare একটি প্রযুক্তিগত ডায়াগ্রাম প্রকাশ করেছে যা supposedly "Perplexity-এর ক্রলিং ওয়ার্কফ্লো" দেখায় যার সাথে Perplexity আসলে যেভাবে কাজ করে তার কোনো মিল নেই। Cloudflare যদি সত্যিই তারা যে ডেটা দেখছে, আমাদের সিস্টেমগুলি কীভাবে কাজ করে, বা উপরে বর্ণিত এই মৌলিক ধারণাগুলি বুঝতে আগ্রহী হত, তবে তারা তা করতে পারত যা আমরা সমস্ত Perplexity ব্যবহারকারীদের করতে উৎসাহিত করি। শুধু জিজ্ঞেস করুন।

ডিজিটাল সহকারীর উত্থান

কেন এই পার্থক্য গুরুত্বপূর্ণ

স্বচ্ছতার আহ্বান: ইউজার এজেন্টরা আসলে কীভাবে কাজ করে

সরাসরি Cloudflare-কে সম্বোধন করা: দক্ষতার একটি প্রশ্ন