Agenti alebo boty? Pochopenie AI na otvorenom webe

S tým, ako sa internet vyvíja, sa menia aj spôsoby, akými pristupujeme k informáciám a interagujeme s nimi. V najskorších dňoch webu zohrávali automatizované boty jednoduchú a dobre pochopenú úlohu: indexovali stránky pre vyhľadávanie, kontrolovali odkazy alebo ťažili dáta podľa jasných pravidiel stanovených vlastníkmi webových stránok.

No s nástupom asistentov poháňaných umelou inteligenciou a agentov poháňaných používateľmi sa hranica medzi tým, čo sa považuje za "len bota" a čo slúži bezprostredným potrebám skutočných ľudí, čoraz viac stiera.

Moderní asistenti s umelou inteligenciou fungujú zásadne odlišne od tradičného prehľadávania webu. Keď položíte Perplexity otázku, ktorá vyžaduje aktuálne informácie – povedzme "Aké sú najnovšie recenzie na túto novú reštauráciu?" – AI tieto informácie nemá len tak uložené niekde v databáze. Namiesto toho prejde na príslušné webové stránky, prečíta si obsah a prinesie súhrn prispôsobený vašej konkrétnej otázke.

To sa zásadne líši od tradičného prehľadávania webu, pri ktorom prehľadávače systematicky navštevujú milióny stránok s cieľom vytvoriť obrovské databázy bez ohľadu na to, či niekto o tieto konkrétne informácie požiadal alebo nie. Agenti poháňaní používateľmi naproti tomu získavajú obsah iba vtedy, keď skutočný človek požiada o niečo konkrétne, a tento obsah používajú okamžite na zodpovedanie otázky používateľa. Agenti platformy Perplexity poháňaní používateľmi tieto informácie neuchovávajú ani ich nepoužívajú na trénovanie.

Rozdiel medzi automatizovaným prehľadávaním a získavaním dát na základe požiadavky používateľa nie je len technický – ide o to, kto získa prístup k informáciám na otvorenom webe. Keď vyhľadávač Google prehľadáva web, aby vytvoril svoj index, líši sa to od situácie, keď stiahne webovú stránku preto, lebo ste požiadali o ukážku. Vyhľadávač Google uprednostňuje prostredníctvom svojich "vyhľadávačov spustených používateľom" vaše používateľské skúsenosti pred obmedzeniami v súbore robots.txt, pretože tieto požiadavky prichádzajú vo vašom mene.

To isté platí pre AI asistentov. Keď Perplexity stiahne webovú stránku, deje sa tak preto, lebo ste položili konkrétnu otázku vyžadujúcu aktuálne informácie. Obsah sa neukladá na trénovanie – používa sa okamžite na zodpovedanie vašej otázky.

Keď spoločnosti ako Cloudflare nesprávne označujú AI asistentov poháňaných používateľmi za škodlivé boty, tvrdia, že každý automatizovaný nástroj slúžiaci používateľom by mal byť podozrivý – ide o postoj, ktorý by kriminalizoval e-mailových klientov a webové prehliadače alebo akúkoľvek inú službu, o ktorej by sa potenciálny strážca brány rozhodol, že sa mu nepáči.

Táto kontroverzia odhaľuje, že systémy spoločnosti Cloudflare sú zásadne neadekvátne na to, aby dokázali rozlíšiť medzi legitímnymi AI asistentmi a skutočnými hrozbami. Ak nedokážete rozoznať užitočného digitálneho asistenta od škodlivého nástroja na ťaženie dát, potom by ste pravdepodobne nemali robiť rozhodnutia o tom, čo predstavuje legitímnu webovú premávku.

Toto nadmerné blokovanie škodí každému. Predstavte si niekoho, kto používa AI na prieskum zdravotných ťažkostí, porovnávanie recenzií produktov alebo prístup k správam z viacerých zdrojov. Ak bude jeho asistent zablokovaný ako "škodlivý bot", stratí prístup k cenným informáciám.

Výsledkom je dvojvrstvový internet, kde váš prístup nezávisí od vašich potrieb, ale od toho, či vami zvolené nástroje požehnali správcovia infraštruktúry, ktorých zaujímajú viac vaše prostriedky. To podkopáva voľbu používateľa a ohrozuje dostupnosť otvoreného webu pre inovatívne služby, ktoré konkurujú etablovaným gigantom.

AI asistent funguje rovnako ako ľudský asistent. Keď položíte AI asistentovi otázku, ktorá vyžaduje aktuálne informácie, odpoveď vopred nepozná. Vyhľadá ju za vás, aby splnil akúkoľvek úlohu, o ktorú ste požiadali.

Na platforme Perplexity a všetkých ostatných platformách s agentmi umelej inteligencie sa to deje v reálnom čase, v reakcii na vašu požiadavku, a informácie sa okamžite použijú na zodpovedanie vašej otázky. Neukladajú sa v obrovských databázach na budúce použitie a nepoužívajú sa na trénovanie modelov umelej inteligencie.

Agenti poháňaní používateľmi konajú iba vtedy, keď používatelia zadajú konkrétne požiadavky, a získavajú iba ten obsah, ktorý je potrebný na splnenie týchto požiadaviek. Toto je zásadný rozdiel medzi používateľským agentom a botom.

Nedávny blogový príspevok spoločnosti Cloudflare dokázal takmer vo všetkom nesprávne popísať, ako moderní AI asistenti vlastne fungujú.

Okrem nepochopenia toho, že 20 až 25 miliónov požiadaviek používateľských agentov nie sú nástroje na ťaženie dát, spoločnosť Cloudflare tvrdila, že Perplexity sa zapája do "skrytého prehľadávania" pomocou skrytých botov a taktík vydávania sa za niekoho iného s cieľom obísť obmedzenia webových stránok. Technické fakty však hovoria inak.

Zdá sa, že spoločnosť Cloudflare si pomýlila Perplexity s 3 až 6 miliónmi denných požiadaviek nesúvisiacej premávky zo služby BrowserBase, čo je cloudová služba tretej strany pre prehliadače, ktorú Perplexity využíva len občas na vysoko špecializované úlohy (menej ako 45 000 denných požiadaviek).

Pretože spoločnosť Cloudflare pohodlne zahmlila svoju metodológiu a odmietla odpovedať na otázky, ktoré by našim tímom pomohli situáciu pochopiť, môžeme to zuziť iba na dve možné vysvetlenia.

Spoločnosť Cloudflare potrebovala šikovnú PR chvíľku a my – ich vlastný zákazník – sme sa náhodou hodili ako užitočné meno, ktoré im ju zabezpečí.

Spoločnosť Cloudflare zásadne nesprávne priradila 3 až 6 miliónov denných požiadaviek z automatizovanej prehliadačovej služby BrowserBase platforme Perplexity, čo je základné zlyhanie analýzy premávky, ktoré je obzvlášť trápne pre spoločnosť, ktorej hlavným biznisom je porozumenie webovej premávke a jej kategorizácia.

Nech je pravda akákoľvek, technické chyby v analýze spoločnosti Cloudflare nie sú len trápne – sú diskvalifikujúce. Keď nesprávne priradíte milióny požiadaviek, uverejníte úplne nepresné technické diagramy a preukážete zásadné nepochopenie toho, ako fungujú moderní AI asistenti, stratili ste akýkoľvek nárok na odbornosť v tomto priestore.

Hlasné reči okolo tohto problému tiež odhaľujú, že vedenie spoločnosti Cloudflare je buď nebezpečne neinformované o základoch umelej inteligencie, alebo ide jednoducho o viac štýlu než cloudu. Na tomto záleží, pretože zákazníkmi spoločnosti Cloudflare sú firmy všetkých druhov, teda spoločnosti, ktoré si nemôžu dovoliť zveriť svoju infraštruktúru šarlatánskym PR kúskom.

Ešte trápnejšie je, že spoločnosť Cloudflare zverejnila technický diagram, ktorý údajne zobrazuje "pracovný postup prehľadávania platformy Perplexity", pričom ten nemá žiadnu podobnosť s tým, ako Perplexity reálne funguje. Keby mal Cloudflare skutočný záujem pochopiť dáta, ktoré videl, fungovanie našich systémov alebo tieto základné koncepty uvedené vyššie, mohol urobil to, k čomu vyzývame všetkých používateľov Perplexity. Stačí sa opýtať.

Vzostup digitálnych asistentov

Prečo na tomto rozdiele záleží

Výzva k jasnosti: Ako skutočne fungujú používateľskí agenti

Priama reakcia na Cloudflare: Otázka kompetencie