Агенти или ботови? Разумијевање AI на отвореном вебу

Како се интернет развија, тако се развија и начин на који приступамо информацијама и комуницирамо с њима. У најранијим данима веба, аутоматизовани ботови имали су једноставну, добро разумљиву улогу: индексирали су сајтове за претрагу, провјеравали везе или прикупљали податке у складу са јасним правилима која су поставили власници веб-сајтова.

Међутим, са успоном помоћника покрећених вјештачком интелигенцијом и кориснички усмјерених агената, граница између онога што се рачуна као „само бот“ и онога што служе тренутним потребама стварних људи постаје све замагљенија.

Модерни помоћници са вјештачком интелигенцијом раде суштински другачије од традиционалног индексирања веба. Када поставите питање Perplexity-у које захтијева тренутне информације — рецимо, „Које су најновије рецензије за тај нови ресторан?“ — вјештачка интелигенција већ нема те информације негдје у некој бази података. Умјесто тога, она одлази на релевантне веб-сајтове, чита садржај и доноси резиме прилагођен вашем конкретном питању.

Ово се суштински разликује од традиционалног индексирања веба, у којем индексатори систематски посјећују милионе страница како би изградили масивне базе података, без обзира на то да ли је неко тражио те специфичне информације или не. Насупрот томе, кориснички усмјерени агенти преузимају садржај само када стварна особа затражи нешто конкретно и користе га одмах да одговоре на корисниково питање. Кориснички усмјерени агенти Perplexity-ја не чувају информације нити се обучавају на њима.

Разлика између аутоматизованог индексирања и кориснички усмјереног преузимања није само техничка — она се тиче тога ко има приступ информацијама на отвореном вебу. Када Google-ов претраживач врши индексирање како би направио свој индекс, то се разликује од тренутка када преузима веб-страницу зато што сте затражили преглед. Google-ови „претраживачи које покреће корисник“ дају предност вашем искуству у односу на ограничења robots.txt јер се ови захтјеви дешавају у ваше име.

Исто важи и за помоћнике са вјештачком интелигенцијом. Када Perplexity преузме веб-страницу, то је зато што сте поставили специфично питање које захтијева тренутне информације. Садржај се не чува ради обуке — користи се одмах да се одговори на ваше питање.

Када компаније попут Cloudflare-а погрешно окарактеришу кориснички усмјерене AI помоћнике као злонамјерне ботове, оне тврде да било који аутоматизовани алат који услужује кориснике треба да буде сумњив — став који би криминализовао имејл клијенте и веб-прегледаче или било коју другу услугу за коју би потенцијални чувар капије одлучио да му се не свиђа.

Ова контроверза открива да су Cloudflare-ови системи суштински неадекватни за разликовање легитимних AI помоћника од стварних пријетњи. Ако не можете да разликујете користан дигитални помоћник од злонамјерног скрејпера, онда вјероватно не би требало да доносите одлуке о томе шта представља легитиман веб-саобраћај.

Ово прекомјерно блокирање штети свима. Узмите у обзир некога ко користи вјештачку интелигенцију за истраживање здравствених стања, поређење рецензија производа или приступ вијестима из више извора. Ако им помоћник буде блокиран као „злонамјерни бот“, они губе приступ вриједним информацијама.

Резултат је двослојни интернет гдје ваш приступ не зависи од ваших потреба, већ од тога да ли су алати које сте изабрали благословили контролори инфраструктуре који ће више марити за ваше средње вриједности. Ово подрије кориснички избор и пријетња је доступности отвореног веба за иновативне услуге које се такмиче са успостављеним гигантима.

Помоћник са вјештачком интелигенцијом ради потпуно исто као и људски помоћник. Када поставите питање помоћнику са вјештачком интелигенцијом које захтијева тренутне информације, они већ не знају одговор. Они га проналазе за вас како би завршили било који задатак који сте затражили.

На Perplexity-ју и свим другим платформама за вјештачку интелигенцију заснованим на агентима, ово се дешава у реалном времену, као одговор на ваш захтјев, а информације се користе одмах да се одговори на ваше питање. Оне се не чувају у масивним базама података за будућу употребу и не користе се за обуку модела вјештачке интелигенције.

Кориснички усмјерени агенти дјелују само када корисници поднесу специфичне захтјеве и преузимају само садржај потребан за испуњење тих захтјева. Ово је суштинска разлика између корисничког агента и бота.

Недавни блог пост Cloudflare-а успио је да погријеши скоро све у вези са тим како модерни AI помоћници заправо раде.

Поред погрешног схватања да 20-25 милиона захтјева корисничких агената нису скрејпери, Cloudflare је тврдио да Perplexity се бави „скривеним индексирањем“, користећи скривене ботове и тактике представљања ради заобилажења ограничења веб-сајтова. Али техничке чињенице говоре другу причу.

Изгледа да је Cloudflare помијешао Perplexity са 3–6 милиона дневних захтјева не повезаног саобраћаја са BrowserBase-а, трећестране услуге облачног прегледача коју Perplexity користи само повремено за веома специјализоване задатке (мање од 45.000 дневних захтјева).

Пошто је Cloudflare на згодан начин замутио своју методологију и одбио да одговори на питања која би помогла нашим тимовима да разумију, можемо ово да сузимо само на два могућа објашњења.

Cloudflare је требало паметан тренутак за публицитет и ми – њихов сопствени купац – случајно смо били корисни име да им га обезбиједимо.

Cloudflare је суштински погрешно приписао 3–6 милиона дневних захтјева из аутоматизоване услуге прегледача BrowserBase компанији Perplexity, што је основна грешка у анализи саобраћаја која је посебно непријатна за компанију чији је основни посао разумијевање и категоризација веб-саобраћаја.

Које год објашњење да је истина, техничке грешке у анализи Cloudflare-а нису само непријатне — оне су дисквалификујуће. Када погрешно припишете милионе захтјева, објавите потпуно нетачне техничке дијаграме и покажете суштинско разумијевање начина на који модерни AI помоћници раде, изгубили сте свако право на стручност у овом простору.

Галама око овог питања такође открива да је руководство Cloudflare-а или опасно дезинформисано о основама вјештачке интелигенције или је једноставно више стила него облака. Ово је важно зато што клијенти Cloudflare-а укључују предузећа свих врста, компаније које не могу себи да приуште да вјерују своју инфраструктуру кловновским публицитетским триковима.

Што је још горе, Cloudflare је објавио технички дијаграм који наводно приказује „ток рада индексирања Perplexity-ја“ који нема никакве везе са тим како Perplexity заправо ради. Да је Cloudflare заиста био заинтересован за разумијевање података које су видјели, како наши системи раде или ових фундаменталних концепата изнетих изнад, могли су да ураде оно што подстичемо све кориснике Perplexity-ја да ураде. Само питах.

Успон дигиталних помоћника

Зашто је ова разлика важна

Позив на јасноћу: Како агенти за кориснике заправо раде

Директно обраћање Cloudflare-у: Питање компетентности