Агенти чи боти? Розуміємось на штучному інтелекті у відкритому вебі

З розвитком інтернету змінюються й способи, якими ми отримуємо доступ до інформації та взаємодіємо з нею. На зорі епохи інтернету автоматизовані боти відігравали просту й зрозумілу роль: індексували сайти для пошуку, перевіряли посилання або збирали дані відповідно до чітких правил, встановлених власниками вебсайтів.

Але з появою асистентів на базі штучного інтелекту та керованих користувачами агентів межа між тим, що вважається "просто ботом" і тим, що задовольняє нагальні потреби реальних людей, стає все більш розмитою.

Поява цифрових асистентів

Сучасні ШІ-асистенти працюють принципово інакше, ніж традиційне вебсканування. Коли ви ставите Perplexity запитання, що вимагає актуальної інформації — наприклад, "Які останні відгуки про той новий ресторан?" — ШІ не має цієї інформації заздалегідь у якійсь базі даних. Натомість він переходить на відповідні вебсайти, читає вміст і надає підсумок, адаптований під ваше конкретне запитання.

Це принципово відрізняється від традиційного вебсканування, під час якого сканери систематично відвідують мільйони сторінок для створення масивних баз даних, незалежно від того, чи просив хтось цю конкретну інформацію. Натомість керовані користувачами агенти отримують вміст лише тоді, коли реальна людина запитує щось конкретне, і використовують цей вміст негайно для відповіді на запитання користувача. Керовані користувачами агенти Perplexity не зберігають інформацію і не використовують її для навчання.

Чому ця відмінність важлива

Різниця між автоматизованим скануванням і отриманням даних за запитом користувача полягає не лише в технічній площині — йдеться про те, хто отримує доступ до інформації у відкритому вебі. Коли пошукова система Google сканує сайти для побудови індексу, це відрізняється від ситуації, коли вона завантажує вебсторінку через те, що ви попросили показати прев'ю. "Засоби отримання даних, ініційовані користувачем" у Google віддають пріоритет вашому досвіду, а не обмеженням robots.txt, оскільки ці запити здійснюються від вашого імені.

Те саме стосується й ШІ-асистентів. Коли Perplexity завантажує вебсторінку, це відбувається тому, що ви поставили конкретне запитання, яке вимагає актуальної інформації. Вміст не зберігається для навчання — він використовується негайно для відповіді на ваше запитання.

Коли такі компанії, як Cloudflare, хибно характеризують керовані користувачами ШІ-асистенти як шкідливих ботів, вони стверджують, що будь-який автоматизований інструмент, який обслуговує користувачів, має викликати підозру. Така позиція криміналізувала б поштові клієнти та веббраузери чи будь-який інший сервіс, який потенційний привратник вирішить назвати небажаним.

Ця суперечність показує, що системи Cloudflare є принципово неадекватними для розрізнення легітимних ШІ-асистентів і реальних загроз. Якщо ви не можете відрізнити корисного цифрового асистента від шкідливого скрапера, вам, імовірно, не варто ухвалювати рішення про те, що є легітимним вебтрафіком.

Це надмірне блокування завдає шкоди всім. Уявіть людину, яка використовує штучний інтелект для дослідження медичних станів, порівняння відгуків про товари або доступу до новин із кількох джерел. Якщо її асистента заблокують як "шкідливого бота", вона втратить доступ до цінної інформації.

Результатом є двохуровневий інтернет, де ваш доступ залежить не від ваших потреб, а від того, чи схвалені обрані вами інструменти контролерами інфраструктури, яких більше турбують ваші можливості. Це підриває вибір користувачів і загрожує доступності відкритого вебу для інноваційних сервісів, які конкурують із визнаними гігантами.

Заклик до ясності: як насправді працюють користувацькі агенти

ШІ-асистент працює так само, як і людський асистент. Коли ви ставите ШІ-асистенту запитання, що вимагає актуальної інформації, він не знає відповіді наперед. Він шукає її для вас, щоб виконати будь-яке завдання, яке ви поставили.

У Perplexity та на всіх інших агентних платформах зі штучним інтелектом це відбувається в реальному часі, у відповідь на ваш запит, і інформація використовується негайно для відповіді на ваше запитання. Вона не зберігається в масивних базах даних для майбутнього використання і не застосовується для навчання моделей штучного інтелекту.

Керовані користувачами агенти діють лише тоді, коли користувачі роблять конкретні запити, і вони отримують лише той вміст, який необхідний для виконання цих запитів. Це принципова відмінність між користувацьким агентом і ботом.

Пряме звернення до Cloudflare: питання компетентності

Нещодавній блогпост Cloudflare зумів перекрутити майже все щодо того, як насправді працюють сучасні ШІ-асистенти.

Окрім нерозуміння того, що 20-25 мільйонів запитів користувацьких агентів не є скраперами, Cloudflare стверджувала, що Perplexity займається "прихованим скануванням", використовуючи прихованих ботів та тактики маскування для обходу обмежень вебсайтів. Але технічні факти свідчать про інше.

Схоже, що Cloudflare сплутала Perplexity з 3-6 мільйонами щоденних запитів стороннього трафіку від BrowserBase — стороннього хмарного браузерного сервісу, який Perplexity використовує лише епізодично для дуже спеціалізованих завдань (менше ніж 45 000 щоденних запитів).

Оскільки Cloudflare зручним чином заплутала свою методологію та відмовилася відповідати на запитання, які допомогли б нашим командам розібратися, ми можемо звузити це лише до двох можливих пояснень.

Cloudflare знадобився яскравий піар-момент, і ми — їхній власний клієнт — виявилися зручним ім'ям, щоб його отримати.

Cloudflare фундаментально хибно приписала Perplexity 3-6 мільйонів щоденних запитів від автоматизованого браузерного сервісу BrowserBase. Це базовий прорахунок аналізу трафіку, який є особливо ганебним для компанії, чиїм основним бізнесом є розуміння та категоризація вебтрафіку.

Яким би не було правдиве пояснення, технічні помилки в аналізі Cloudflare не просто принизливі — вони є дискваліфікуючими. Когда ви помилково приписуєте мільйони запитів, публікуєте абсолютно неточні технічні діаграми та демонструєте фундаментальне нерозуміння того, як працюють сучасні ШІ-асистенти, ви втрачаєте будь-яке право називатися експертом у цьому просторі.

Ця суперечність показує, що системи Cloudflare є принципово неадекватними для розрізнення легітимних ШІ-асистентів і реальних загроз. Якщо ви не можете відрізнити корисного цифрового асистента від шкідливого скрапера, вам, імовірно, не варто ухвалювати рішення про те, що є легітимним вебтрафіком.

Галас навколо цієї проблеми також показує, що керівництво Cloudflare або небезпечно дезінформоване щодо базових засад штучного інтелекту, або просто складається з піару, а не з хмарних технологій. Це важливо, оскільки клієнтами Cloudflare є компанії всіх типів — компанії, які не можуть дозволити собі довіряти свою інфраструктуру шарлатанським піар-акціям.

Ще більш принизливо те, що Cloudflare опублікувала технічну діаграму, яка нібито демонструє "робочий процес сканування Perplexity", але не має жодної схожості з тим, як Perplexity працює насправді. Якби в Cloudflare дійсно прагнули зрозуміти дані, які вони бачили, роботу наших систем або ці фундаментальні концепції, викладені вище, вони могли б зробити те, до чого ми закликаємо всіх користувачів Perplexity. Просто запитати.