Агенти или ботове? Да разберем ИИ в отворения уеб

С еволюцията на интернет се променят и начините, по които получаваме достъп до информация и взаимодействаме с нея. В най-ранните дни на уеб пространството автоматизираните ботове изпълняваха проста и добре разбрана роля: индексиране на сайтове за търсене, проверка на връзки или извличане на данни съгласно ясни правила, зададени от собствениците на уебсайтове.

Но с възхода на задвижваните от изкуствен интелект асистенти и управляваните от потребителите агенти, границата между това какво се счита за „просто бот“ и какво обслужва непосредствените нужди на реални хора става все по-размита.

Съвременните асистенти с изкуствен интелект работят по фундаментално различен начин от традиционното обхождане на уеб. Когато зададете на Perplexity въпрос, който изисква актуална информация – да речем, „Кои са последните отзиви за този нов ресторант?“ – изкуственият интелект не разполага с тази информация в някоя база данни. Вместо това той отива на съответните уебсайтове, прочита съдържанието и връща обобщение, съобразено с вашия конкретен въпрос.

Това е фундаментално различно от традиционното обхождане на уеб, при което роботите за обхождане систематично посещават милиони страници, за да изградят масивни бази данни, независимо дали някой е поискал тази конкретна информация, или не. Управляваните от потребителите агенти, напротив, извличат съдържание само когато реален човек поиска нещо конкретно, и използват това съдържание незабавно, за да отговорят на въпроса на потребителя. Управляваните от потребителите агенти на Perplexity не съхраняват информацията и не я използват за обучение.

Разликата между автоматизираното обхождане и извличането, за което потребителят дава заявка, не е само техническа – тя е свързана с това кой получава достъп до информация в отворения интернет. Когато търсачката на Google обхожда страници, за да изгради своя индекс, това е различно от случая, когато извлича уебстраница, защото сте поискали преглед. „Задвижваните от потребителя средства за извличане“ на Google дават приоритет на вашето изживяване пред ограниченията в robots.txt, тъй като тези заявки се правят от ваше име.

Същото важи и за асистентите с изкуствен интелект. Когато Perplexity извлича уебстраница, това е така, защото сте задали конкретен въпрос, изискващ актуална информация. Съдържанието не се съхранява за обучение – то се използва незабавно, за да отговори на вашия въпрос.

Когато компании като Cloudflare описват погрешно управляваните от потребителите асистенти с изкуствен интелект като злонамерени ботове, те твърдят, че всеки автоматизиран инструмент, обслужващ потребителите, трябва да бъде Съмнителен – позиция, която би криминализила имейл клиентите и уеб браузърите, или всяка друга услуга, която евентуален пазач решава, че не харесва.

Този спор разкрива, че системите на Cloudflare са фундаментално неадекватни за разграничаване между легитимни асистенти с изкуствен интелект и реални заплахи. Ако не можете да различите полезен дигитален асистент от злонамерен инструмент за извличане, то вероятно не бива да вземате решения относно това какво представлява легитимен уеб трафик.

Това свръхблокиране вреди на всички. Представете си някой, който използва изкуствен интелект, за да проучи медицински състояния, да сравнява отзиви за продукти или да получава достъп до новини от множество източници. Ако техният асистент бъде блокиран като „злонамерен бот“, те губят достъп до ценна информация.

Резултатът е двуслоен интернет, където вашият достъп зависи не от вашите нужди, а от това дали избраните от вас инструменти са били одобрени от контрольорите на инфраструктурата, които се интересуват повече от вашите средства. Това подкопава избора на потребителите и застрашава достъпността на отворения интернет за иновативни услуги, които се конкурират с утвърдени гиганти.

Асистентът с изкуствен интелект работи точно като човешки асистент. Когато зададете на асистент с изкуствен интелект въпрос, който изисква актуална информация, те не знаят отговора предварително. Те го намират за вас, за да завършат всяка задача, която сте поискали.

В Perplexity и всички други платформи с агенти с изкуствен интелект това се случва в реално време, в отговор на вашата заявка, и информацията се използва незабавно, за да отговори на въпроса ви. Тя не се съхранява в масивни бази данни за бъдеща употреба и не се използва за обучение на модели с изкуствен интелект.

Управляваните от потребителите агенти действат само когато потребителите правят специфични заявки и извличат само съдържанието, необходимо за изпълнението на тези заявки. Това е основната разлика между потребителски агент и бот.

Скорошната публикация в блога на Cloudflare успя да сгреши почти всичко относно това как всъщност работят съвременните асистенти с изкуствен интелект.

В допълнение към погрешното схващане, че 20-25 милиона заявки от потребителски агенти не са инструменти за извличане, Cloudflare твърди, че Perplexity се занимава със „скрито обхождане“, използвайки скрити ботове и тактики за представяне за друг, за да заобиколи ограниченията на уебсайтовете. Но техническите факти показват друга история.

Изглежда, че Cloudflare е объркал Perplexity с 3-6 милиона дневни заявки на несвързан трафик от BrowserBase – облачна браузър услуга на трета страна, която Perplexity използва само от време на време за силно специализирани задачи (по-малко от 45 000 дневни заявки).

Тъй като Cloudflare удобно е замаскирал своята методология и е отказал да отговори на въпроси, които да помогнат на нашите екипи да разберат, можем само да ограничим това до две възможни обяснения.

Cloudflare се нуждаеше от умен PR момент и ние – техният собствен клиент – се оказахме полезно име, за да го постигнат.

Cloudflare фундаментално е приписал погрешно 3-6 милиона дневни заявки от автоматизираната браузър услуга на BrowserBase на Perplexity – основен провал в анализа на трафика, който е особено срамен за компания, чийто основен бизнес е разбирането и категоризирането на уеб трафика.

Кое от двете обяснения да е истина, техническите грешки в анализа на Cloudflare не са просто срамни – те са дисквалифициращи. Когато приписвате погрешно милиони заявки, публикувате напълно неточни технически диаграми и демонстрирате фундаментално непознаване на начина, по който работят съвременните асистенти с изкуствен интелект, вие сте загубили всякаква претенция за експертиза в това пространство.

Шумът около този проблем също така разкрива, че ръководството на Cloudflare или е опасно дезинформирано по основите на изкуствения интелект, или просто разчита на ПР фокуси вместо на облачни технологии. Това е от значение, защото клиентите на Cloudflare включват бизнеси от всякакъв тип – компании, които не могат да си позволят да гласуват доверие на инфраструктурата си заради шарлатански ПР актове.

Още по-срамно е, че Cloudflare публикува техническа диаграма, която уж показва „работния процес на обхождане на Perplexity“, който няма нищо общо с това как Perplexity всъщност работи. Ако Cloudflare наистина се интересуваше от разбирането на данните, които вижда, на това как работят нашите системи, или на тези фундаментални концепции, изложени по-горе, те биха могли да направят това, което насърчаваме всички потребители на Perplexity да направят. Просто попитайте.

Възходът на дигиталните асистенти

Защо това разграничение е важно

Призив за ясни позиции: Как всъщност работят потребителските агенти

Пряко обръщение към Cloudflare: Въпрос на компетентност