Agenci czy boty? Zrozumieć AI w otwartej sieci

W miarę ewolucji Internetu ewoluują również sposoby, w jakie uzyskujemy dostęp do informacji i wchodzimy z nimi w interakcję. W początkach istnienia sieci automatyczne boty pełniły prostą, dobrze zrozumiałą rolę: indeksowały strony dla celów wyszukiwania, sprawdzały linki lub pobierały dane zgodnie z jasnymi zasadami ustalonymi przez właścicieli witryn.

Wraz z rozwojem asystentów opartych na sztucznej inteligencji oraz agentów sterowanych przez użytkownika, granica między tym, co uznaje się za „zwykłego bota”, a tym, co zaspokaja bezpośrednie potrzeby rzeczywistych osób, stała się coraz bardziej zatarta.

Rozwój asystentów cyfrowych

Współcześni asystenci AI działają w sposób fundamentalnie odmienny od tradycyjnego indeksowania sieci (web crawling). Gdy użytkownik zadaje Perplexity pytanie wymagające aktualnych informacji — na przykład: „Jakie są najnowsze opinie o tej nowej restauracji?” — AI nie posiada już tych danych zapisanych gdzieś w bazie. Zamiast tego odwiedza odpowiednie strony internetowe, odczytuje treść i przygotowuje podsumowanie dostosowane do konkretnego pytania.

Jest to fundamentalnie różne od tradycyjnego indeksowania sieci, w ramach którego boty systematycznie odwiedzają miliony stron, aby budować ogromne bazy danych, niezależnie od tego, czy ktoś pytał o te konkretne informacje. Z kolei agenci sterowani przez użytkownika pobierają treść tylko wtedy, gdy rzeczywista osoba o to poprosi, i wykorzystują tę treść natychmiast, aby odpowiedzieć na pytanie użytkownika. Agenci Perplexity sterowani przez użytkownika nie przechowują tych informacji ani nie wykorzystują ich do uczenia modeli.

Dlaczego to rozróżnienie ma znaczenie

Różnica między zautomatyzowanym indeksowaniem a pobieraniem danych sterowanym przez użytkownika nie jest jedynie techniczna — dotyczy tego, kto ma dostęp do informacji w otwartej sieci. Gdy wyszukiwarka Google dokonuje indeksowania, aby zbudować swój katalog, różni się to od sytuacji, w której pobiera stronę internetową na prośbę użytkownika w celu wyświetlenia podglądu. „Pobieracze wyzwalane przez użytkownika” (user-triggered fetchers) firmy Google traktują priorytetowo wygodę użytkownika ponad ograniczenia pliku robots.txt, ponieważ takie żądania odbywają się w imieniu użytkownika.

To samo dotyczy asystentów AI. Gdy Perplexity pobiera stronę internetową, dzieje się tak, ponieważ zadano konkretne pytanie wymagające aktualnych informacji. Treść nie jest zapisywana do celów uczenia — jest używana natychmiast, aby odpowiedzieć na pytanie.

Gdy firmy takie jak Cloudflare błędnie klasyfikują asystentów AI sterowanych przez użytkownika jako szkodliwe boty, argumentują, że każde zautomatyzowane narzędzie obsługujące użytkowników powinno być podejrzane — jest to stanowisko, które kryminalizowałoby klienty poczty elektronicznej, przeglądarki internetowe oraz każdą inną usługę, której potencjalny strażnik dostępu nie zaakceptował.

Kontrowersja ta ujawnia, że systemy Cloudflare są fundamentalnie nieodpowiednie do odróżniania legalnych asystentów AI od rzeczywistych zagrożeń. Jeśli nie potrafi się odróżnić pomocnego asystenta cyfrowego od szkodliwego robota pobierającego dane, prawdopodobnie nie powinno się podejmować decyzji o tym, co stanowi legalny ruch w sieci.

To nadmierne blokowanie szkodzi wszystkim. Weźmy pod uwagę osobę wykorzystującą AI do badań nad stanem zdrowia, porównywania opinii o produktach lub uzyskiwania dostępu do wiadomości z wielu źródeł. Jeśli ich asystent zostanie zablokowany jako „szkodliwy bot”, tracą dostęp do cennych informacji.

Rezultatem jest dwupoziomowy Internet, w którym dostęp zależy nie od potrzeb, ale od tego, czy wybrane narzędzia zostały „pobłogosławione” przez podmioty kontrolujące infrastrukturę, które bardziej dbają o środki użytkownika. Podważa to wybór użytkownika i zagraża dostępności otwartej sieci dla innowacyjnych usług konkurujących z uznanymi gigantami.

Wezwanie do jasności: jak faktycznie działają agenci użytkownika

Asystent AI działa tak samo jak ludzki asystent. Gdy użytkownik zadaje asystentowi AI pytanie wymagające aktualnych informacji, asystent nie zna jeszcze odpowiedzi. Szuka jej dla użytkownika, aby wykonać powierzone mu zadanie.

W Perplexity oraz na wszystkich innych platformach AI opartych na agentach dzieje się to w czasie rzeczywistym, w odpowiedzi na żądanie użytkownika, a informacje są wykorzystywane natychmiast do udzielenia odpowiedzi. Nie są one zapisywane w ogromnych bazach danych do przyszłego wykorzystania ani nie służą do uczenia modeli AI.

Agenci sterowani przez użytkownika działają tylko wtedy, gdy użytkownicy składają konkretne żądania, i pobierają tylko treść niezbędną do realizacji tych żądań. Jest to fundamentalna różnica między agentem użytkownika a botem.

Bezpośrednia odpowiedź dla Cloudflare: kwestia kompetencji

Niedawny wpis na blogu Cloudflare zdołał przedstawić niemal wszystko błędnie w kwestii sposobu, w jaki faktycznie działają współcześni asystenci AI.

Oprócz niezrozumienia, że 20-25 milionów żądań agentów użytkownika to nie działania robotów indeksujących, Cloudflare twierdziło, że Perplexity angażuje się w „potajemne indeksowanie”, wykorzystując ukryte boty i taktyki podszywania się w celu obejścia ograniczeń witryn. Jednak fakty techniczne świadczą o czymś innym.

Wygląda na to, że Cloudflare pomyliło Perplexity z 3-6 milionami codziennych żądań niepowiązanego ruchu pochodzącego z BrowserBase — zewnętrznej usługi przeglądarki w chmurze, z której Perplexity korzysta jedynie okazjonalnie do wysoce wyspecjalizowanych zadań (mniej niż 45 000 żądań dziennie).

Ponieważ Cloudflare w wygodny sposób zaciemniło swoją metodologię i odmówiło udzielenia odpowiedzi na pytania, które pomogłyby naszym zespołom zrozumieć sytuację, możemy jedynie zawęzić to do dwóch możliwych wyjaśnień.

Cloudflare potrzebowało sprytnego momentu rozgłosu, a my — będąc ich własnym klientem — okazaliśmy się przydatną nazwą, aby go zdobyć.

Cloudflare fundamentalnie błędnie przypisało 3-6 milionów codziennych żądań z automatycznego serwisu przeglądarkowego BrowserBase do Perplexity — jest to podstawowe uchybienie w analizie ruchu, które jest szczególnie wstydliwe dla firmy, której główną działalnością jest rozumienie i kategoryzowanie ruchu sieciowego.

Niezależnie od tego, które wyjaśnienie jest prawdziwe, błędy techniczne w analizie Cloudflare nie są tylko zawstydzające — dyskwalifikują one tę firmę. Gdy przypisuje się miliony żądań błędnie, publikuje całkowicie niedokładne schematy techniczne i wykazuje fundamentalny brak zrozumienia działania współczesnych asystentów AI, traci się prawo do ubiegania się o status eksperta w tej przestrzeni.

Kontrowersja ta ujawnia, że systemy Cloudflare są fundamentalnie nieodpowiednie do odróżniania legalnych asystentów AI od rzeczywistych zagrożeń. Jeśli nie potrafi się odróżnić pomocnego asystenta cyfrowego od szkodliwego robota, prawdopodobnie nie powinno się podejmować decyzji o tym, co stanowi legalny ruch w sieci.

Zgiełk wokół tej kwestii ujawnia również, że kierownictwo Cloudflare jest albo niebezpiecznie niedoinformowane w kwestiach podstaw AI, albo po prostu bardziej nastawione na autopromocję niż na chmurę. Ma to znaczenie, ponieważ klientami Cloudflare są firmy wszelkiego rodzaju, które nie mogą pozwolić sobie na powierzenie swojej infrastruktury szarlatańskim chwytom reklamowym.

Co bardziej wstydliwe, Cloudflare opublikowało schemat techniczny rzekomo pokazujący „przepływ pracy indeksowania Perplexity”, który nie ma żadnego związku z tym, jak Perplexity faktycznie działa. Gdyby Cloudflare rzeczywiście było zainteresowane zrozumieniem danych, które widzą, sposobu działania naszych systemów lub podstawowych koncepcji przedstawionych powyżej, mogliby zrobić to, do czego zachęcamy wszystkich użytkowników Perplexity. Po prostu zapytać.