Ágensek vagy botok? Az MI értelmezése a nyílt weben

Ahogyan az internet fejlődik, úgy változnak az információk elérésének és a velük való interakciónak a módjai is. A web legkorábbi napjaiban az automatizált botok egyszerű, jól érthető szerepet töltöttek be: oldalakat indexeltek a kereséshez, hivatkozásokat ellenőriztek, vagy adatokat gyűjtöttek a webhelytulajdonosok által meghatározott tiszta szabályok szerint.

Ám az mesterséges intelligenciával működő asszisztensek és a felhasználóvezérelt ágensek elterjedésével egyre elmosódottabbá vált a határvonal az "egyszerű botnak" számító eszközök és a valós emberek közvetlen igényeit kiszolgáló megoldások között.

A digitális asszisztensek feltörése

A modern MI-asszisztensek alapvetően eltérően működnek a hagyományos webtérképezéstől (crawling). Amikor a Perplexity-hez olyan kérdést intézel, amely naprakész információt igényel – mondjuk: "Melyek a legfrissebb értékelések arról az új éttermről?" –, a mesterséges intelligencia nem valamilyen adatbázisban már eleve létező információt kér le. Ehelyett felkeresi a releváns webhelyeket, elolvassa a tartalmat, és visszahozza az adott kérdésedre szabott összefoglalót.

Ez alapvetően különbözik a hagyományos webtérképezéstől, amelynek során a robotok szisztematikusan millió oldalt látogatnak meg hatalmas adatbázisok felépítése érdekében, függetlenül attól, hogy bárki kérte-e az adott információt. Ezzel szemben a felhasználóvezérelt ágensek csak akkor kérnek le tartalmat, amikor egy valós személy kér valamit, és ezt a tartalmat azonnal felhasználják a felhasználó kérdésének megválaszolására. A Perplexity felhasználóvezérelt ágensei nem tárolják az információt, és nem is tanulnak belőle.

Miért fontos ez a megkülönböztetés?

Az automatizált webtérképezés és a felhasználóvezérelt adatlekérés közötti különbség nem csupán technikai jellegű – arról szól, hogy ki férhet hozzá az információkhoz a nyílt weben. Amikor a Google keresőmotorja feltérképezést végez az indexe felépítéséhez, az más, mint amikor azért kér le egy weboldalt, mert te előnézetet kértél. A Google "felhasználó által indított lekérdezői" előtérbe helyezik a te élményedet a robots.txt korlátozásokkal szemben, mivel ezek a kérések a te nevedben történnek.

Ugyanez vonatkozik az MI-asszisztensekre is. Amikor a Perplexity lekér egy weboldalat, az azért történik, mert te tettél fel egy naprakész információt igénylő, specifikus kérdést. A tartalom nem tárolódik a betanításhoz – azt azonnal a kérdésed megválaszolására használják fel.

Amikor olyan cégek, mint a Cloudflare, rosszindulatú botokként tüntetik fel a felhasználóvezérelt MI-asszisztenseket, azt állítják, hogy minden felhasználókat kiszolgáló automatizált eszköz gyanús kellene hogy legyen – ez egy olyan álláspont, amely bűncselekménnyé nyilvánítaná az e-mail-klienseket és a webböngészőket, vagy bármely más szolgáltatást, amelyről egy potenciális kapuőr úgy dönt, hogy nem tetszik neki.

Ez a vita feltárja, hogy a Cloudflare rendszerei alapvetően alkalmatlanok a legitim MI-asszisztensek és a valós fenyegetések megkülönböztetésére. Ha nem tudod megkülönböztetni a hasznos digitális asszisztenset a rosszindulatú adatgyűjtőtől (scraper), akkor valószínűleg nem neked kellene döntéseket hoznod arról, hogy mi minősül legitim webes forgalomnak.

Ez a túlzott blokkolás mindenkit hátrányosan érint. Gondoljunk csak arra, aki MI-t használ egészségügyi állapotok kutatására, termékértékelések összehasonlítására, vagy több forrásból származó hírek elérésére. Ha az asszisztensét "rosszindulatú botként" blokkolják, elveszíti a hozzáférését a értékes információkhoz.

Az eredmény egy kétszintű internet, ahol a hozzáférésed nem az igényeidtől függ, hanem attól, hogy az általad választott eszközöket jóváhagyták-e az infrastruktúra irányítói, akik többet adnak a te eszközeidre. Ez aláássa a felhasználói választás szabadságát, és veszélyezteti a nyílt web elérhetőségét a megalapult óriáscégekkel versengő innovatív szolgáltatások számára.

Felhívás a tisztánlátásra: Hogyan működnek valójában a felhasználói ágensek

Egy MI-asszisztens pontosan úgy működik, mint egy emberi asszisztens. Amikor olyan kérdést teszel fel egy MI-asszisztensnek, amely naprakész információt igényel, ők nem tudják már eleve a választ. Utána néznek neked, hogy teljesíteni tudják az általad kért feladatot.

A Perplexityn és minden más ügynökalapú (agentic) MI-platformon ez valós időben, a kérésedre válaszul történik, és az információt azonnal a kérdésed megválaszolására használják fel. Nem tárolják hatalmas adatbázisokban későbbi felhasználásra, és nem használják fel MI-modellek betanítására sem.

A felhasználóvezérelt ágensek csak akkor cselekszenek, amikor a felhasználók konkrét kéréseket fogalmaznak meg, és csak azt a tartalmat kérik le, amely a kérések teljesítéséhez szükséges. Ez az alapvető különbség a felhasználói ágens és a bot között.

Közvetlen válasz a Cloudflare-nek: A kompetencia kérdése

A Cloudflare legutóbbi blogbejegyzésének szinte minden állítása téves volt a modern MI-asszisztensek működésével kapcsolatban.

Amellett, hogy félreértették, miszerint a 20-25 millió felhasználói ágens kérése nem jelent adatgyűjtést (scraping), a Cloudflare azt állította, hogy a Perplexity "rejtett webböngészést (stealth crawling)" folytat, rejtett botokat és megszemélyesítési taktikákat használva a webhely korlátozásainak megkerülésére. A technikai tények azonban másról tanúskodnak.

Úgy tűnik, a Cloudflare összetévesztette a Perplexityt a BrowserBase (egy harmadik féltől származó felhőalapú böngészőszolgáltatás, amelyet a Perplexity csak ritkán használ rendkívül speciális feladatokhoz, napi 45 000-nél kevesebb kéréssel) napi 3-6 millió nem kapcsolódó forgalmi kérésével.

Mivel a Cloudflare kényelmesen elhomályosította a módszertanát, és elutasította a válaszadást a csapataink megértését segítő kérdésekre, ezt mindössze két lehetséges magyarázatra szűkíthetjük le.

A Cloudflare-nek egy okos PR-pillanatra volt szüksége, és mi – mint saját ügyfelük – véletlenül egy hasznos névnek bizonyultunk ehhez.

A Cloudflare alapvetően rosszul tulajdonította a BrowserBase automatizált böngészőszolgáltatásának napi 3-6 millió kérését a Perplexitynek, ami egy alapvető forgalomelemzési hiba, és különösen kínos egy olyan cég számára, amelynek fő tevékenysége a webes forgalom megértése és kategorizálása.

Legyen bármi is az igazság a magyarázatok közül, a Cloudflare elemzésének technikai hibái nem csupán kínosak – egyenesen alkalmatlanná teszik őket. Amikor milliós nagyságrendű kéréseket tévesztesz össze, teljesen pontatlan technikai ábrákat teszel közzé, és a modern MI-asszisztensek működésének alapvető félreértéséről teszel tanúbizonyságot, ezzel elveszíted minden hitelességedet ezen a téren.

Ez a vita feltárja, hogy a Cloudflare rendszerei alapvetően alkalmatlanok a legitim MI-asszisztensek és a valós fenyegetések megkülönböztetésére. Ha nem tudod megkülönböztetni a hasznos digitális asszisztenset a rosszindulatú adatgyűjtőtől, akkor valószínűleg nem neked kellene döntéseket hoznod arról, hogy mi minősül legitim webes forgalomnak.

Az ügy körül zajló felhajtás azt is felfedi, hogy a Cloudflare vezetősége vagy veszélyes módon félre van tájékoztatva az MI alapjaival kapcsolatban, vagy egyszerűen csak több a körítés, mint a valós teljesítmény. Ez azért fontos, mert a Cloudflare ügyfelei között mindenféle vállalkozás megtalálható, olyan cégek, amelyek nem engedhetik meg maguknak, hogy charlatán PR-fogásokra bízzák az infrastruktúrájukat.

Még kínosabb, hogy a Cloudflare közzétett egy technikai ábrát, amely állítólag a "Perplexity térképezési munkafolyamatát" mutatja be, de semmi közöm nincs ahhoz, ahogy a Perplexity a valóságban működik. Ha a Cloudflare valóban érdeklődött volna az általuk látott adatok, a rendszereink működése, vagy a fent vázolt alapvető fogalmak megértése iránt, megtehették volna azt, amire minden Perplexity-felhasználót buzdítunk. Csak meg kellett volna kérdezni.