Agenti, nebo boti? Jak porozumět AI na otevřeném webu

S tím, jak se internet vyvíjí, se mění i způsoby, jakými přistupujeme k informacím a pracujeme s nimi. V počátcích webu plnily automatizované boty jednoduchou a jasně pochopitelnou roli: indexovaly stránky pro vyhledávání, kontrolovaly odkazy nebo vytěžovaly data podle jasných pravidel stanovených vlastníky webových stránek.

S rozvojem asistentů poháněných umělou inteligencí a uživatelsky řízených agentů se však hranice mezi tím, co se považuje za "pouhého bota" a co slouží k okamžitým potřebám skutečných lidí, stále více stírá.

Vzestup digitálních asistentů

Moderní asistenti s umělou inteligencí fungují zásadně odlišně než tradiční webové prohledávání. Když položíte službě Perplexity otázku, která vyžaduje aktuální informace – například "Jaké jsou nejnovější recenze té nové restaurace?" –, AI tyto informace nemá předem uložené v nějaké databázi. Místo toho zamíří na příslušné webové stránky, přečte si jejich obsah a přinese souhrn přizpůsobený vaší konkrétní otázce.

To se zásadně liší od tradičního webového prohledávání, při kterém crawlery systematicky navštěvují miliony stránek za účelem budování obřích databází, bez ohledu na to, zda někdo o tyto konkrétní informace žádat, či nikoliv. Uživatelsky řízení agenti naproti tomu obsah stahují pouze tehdy, když reálná osoba požaduje něco konkrétního, a tento obsah okamžitě použijí k zodpovězení uživatelovy otázky. Uživatelsky řízení agenti služby Perplexity tyto informace neukládají ani je nepoužívají k trénování.

Proč na tomto rozlišení záleží

Rozdíl mezi automatizovaným prohledáváním a uživatelsky řízeným stahováním není jen technický – jde o to, kdo má přístup k informacím na otevřeném webu. Když vyhledávač Google prochází web za účelem vytvoření svého indexu, je to jiné, než když načítá webovou stránku proto, že jste si vyžádali náhled. "Načítávače spouštěné uživatelem" od Googlu upřednostňují vaši uživatelskou zkušenost před omezeními v souboru robots.txt, protože tyto požadavky probíhají vaším jménem.

To platí i pro asistenty s umělou inteligencí. Když Perplexity načte webovou stránku, je to proto, že jste položili konkrétní otázku vyžadující aktuální informace. Obsah se neukládá pro účely trénování – používá se okamžitě k zodpovězení vaší otázky.

Když společnosti jako Cloudflare zkresleně označují uživatelsky řízené asistenty s umělou inteligencí za škodlivé boty, tvrdí tím, že jakýkoliv automatizovaný nástroj sloužící uživatelům by měl být podezřelý – což je postoj, který by postavil mimo zákon e-mailové klienty a webové prohlížeče nebo jakoukoliv jinou službu, kterou by si potenciální správce brány usmyslel, že se mu nelíbí.

Tato kontroverze ukazuje, že systémy společnosti Cloudflare jsou zásadně nedostatečné pro rozlišování mezi legitimními asistenty s umělou inteligencí a skutečnými hrozbami. Pokud nedokážete rozeznat užitečného digitálního asistenta od škodlivého grabberu, pak byste pravděpodobně neměli rozhodovat o tom, co představuje legitimní webový provoz.

Toto nadměrné blokování škodí každému. Představte si někoho, kdo používá umělou inteligenci k rešerši zdravotního stavu, porovnávání recenzí produktů nebo získávání zpráv z různých zdrojů. Pokud je jeho asistent zablokován jako "škodlivý bot", ztrácí přístup k cenným informacím.

Výsledkem je dvoustupňový internet, kde váš přístup nezávisí na vašich potřebách, ale na tom, zda vámi zvolené nástroje byly požehnány správci infrastruktury, kterým na vašich prostředcích záleží více. To podkopává volbu uživatelů a ohrožuje dostupnost otevřeného webu pro inovativní služby konkurencem zavedeným obrům.

Výzva k jasnosti: Jak uživatelští agenti ve skutečnosti fungují

Asistent s umělou inteligencí funguje úplně stejně jako lidský asistent. Když položíte asistentovi s umělou inteligencí otázku, která vyžaduje aktuální informace, odpověď předem nezná. Vyhledá vám ji, aby mohl splnit jakýkoliv úkol, o který jste požádali.

Na Perplexity a všech ostatních platformách založených na agentech AI se to děje v reálném čase, v reakci na váš požadavků, a informace jsou okamžitě použity k zodpovězení vaší otázky. Neukládají se do obřích databází pro budoucí použití a nepoužívají se k trénování modelů umělé inteligence.

Uživatelsky řízení agenti jednají pouze tehdy, když uživatelé podají konkrétní požadavky, a stahují pouze ten obsah, který je potřeba ke splnění těchto požadavků. To je zásadní rozdíl mezi uživatelským agentem a botem.

Přímá reakce na Cloudflare: Otázka kompetence

Nedávný blogový příspěvek společnosti Cloudflare dokázal podat téměř vše špatně ohledně toho, jak moderní asistenti s umělou inteligencí ve skutečnosti fungují.

Kromě nepochopení toho, že 20–25 milionů požadavků uživatelských agentů nejsou scrapvery, společnost Cloudflare tvrdila, že se Perplexity dopouští "skrytého prohledávání" (stealth crawlingu) a využívá skryté boty a techniky vydávání se za někoho jiného k obcházení omezení webových stránek. Technická fakta však vypovídají o něčem jiném.

Zdá se, že Cloudflare si Perplexity plete s 3 až 6 miliony denních požadavků nesouvisejícího provozu pocházejících z BrowserBase, cloudové služby třetí strany pro prohlížeče, kterou Perplexity používá jen občas pro vysoce specializované úkoly (méně než 45 000 denních požadavků).

Jelikož společnost Cloudflare svou metodiku účelově zamlžila a odmítla odpovědět na otázky, které by našim týmům pomohly věci porozumět, můžeme to zúžit pouze na dvě možná vysvětlení.

Společnost Cloudflare potřebovala chytrou PR chvilku a my – jejich vlastní zákazník – jsme se shodou okolností stali vhodným jménem, které jim ji mohlo zajistit.

Cloudflare zásadně nesprávně přiřadil 3 až 6 milionů denních požadavků z automatizované prohlížečové služby BrowserBase společnosti Perplexity, což je základní selhání analýzy provozu, které je obzvláště trapné pro společnost, jejíž hlavní činností je porozumění webovému provozu a jeho kategorizace.

Ať už je pravdou jakékoliv vysvětlení, technické chyby v analýze společnosti Cloudflare nejsou jen trapné – jsou diskvalifikující. Když chybně přiřadíte miliony požadavků, publikujete zcela nepřesná technická schémata a prokážete zásadní nepochopení toho, jak moderní asistenti s umělou inteligencí fungují, ztratili jste jakýkoliv nárok na odbornost v tomto prostoru.

Tato kontroverze ukazuje, že systémy společnosti Cloudflare jsou zásadně nedostatečné pro rozlišování mezi legitimními asistenty s umělou inteligencí a skutečnými hrozbami. Pokud nedokážete rozeznat užitečného digitálního asistenta od škodlivého grabberu, pak byste pravděpodobně neměli rozhodovat o tom, co představuje legitimní webový provoz.

Hlasitá gesta kolem tohoto problému také odhalují, že vedení společnosti Cloudflare je bud' nebezpečně dezinformováno o základech umělé inteligence, nebo je to prostě více formy než obsahu. Na tom záleží, protože zákazníky Cloudflare jsou firmy všech typů, tedy společnosti, které si nemohou dovolit svěřit svou infrastrukturu šarlatánským PR kouskům.

Ještě trapnější je, že Cloudflare publikoval technické schéma, které údajně znázorňuje "pracovní postup prohledávání Perplexity", přičemž toto schéma se vůbec nepodobá tomu, jak Perplexity ve skutečnosti funguje. Pokud by společnost Cloudflare měla skutečný zájem porozumět datům, která viděla, tomu, jak naše systémy fungují, nebo těmto výše uvedeným základním konceptům, mohla udělat to, k čemu vyzýváme všechny uživatele Perplexity. Prostě se zeptat.