Agents o bots? Donar sentit a la IA a la web oberta

A mesura que internet evoluciona, també ho fan les maneres com accedim a la informació i interaccionem amb ella. En els primers dies de la web, els bots automatitzats jugaven un paper simple i ben entès: indexar llocs web per a la cerca, comprovar enllaços o extreure dades segons regles clares establertes pels propietaris dels llocs web.

Però amb l'auge dels assistents impulsats per IA i els agents dirigits per usuaris, la línia entre el que es considera "només un bot" i el que satisfà les necessitats immediates de persones reals s'ha anat esborrant.

Els assistents d'IA moderns funcionen d'una manera fonamentalment diferent de la indexació web tradicional. Quan feu a Perplexity una pregunta que requereix informació actual (com ara "Quines són les últimes ressenyes d'aquell nou restaurant?"), la IA no té aquesta informació emmagatzemada en cap base de dades. En lloc d'això, va als llocs web rellevants, llegeix el contingut i retorna un resum adaptat a la vostra pregunta específica.

Això és fonamentalment diferent de la indexació web tradicional, en la qual els rastrejadors visiten sistemàticament milions de pàgines per construir bases de dades massives, tant si algú ha demanat aquesta informació específica com si no. Els agents dirigits per usuaris, en canvi, només recullen contingut quan una persona real demana alguna cosa específica, i utilitzen aquest contingut immediatament per respondre a la pregunta de l'usuari. Els agents dirigits per usuaris de Perplexity no emmagatzemen la informació ni l'utilitzen per entrenar-se.

La diferència entre la indexació automatitzada i la recuperació impulsada per l'usuari no és només tècnica: tracta sobre qui pot accedir a la informació a la web oberta. Quan el motor de cerca de Google indexa per construir el seu índex, això és diferent de quan recupera una pàgina web perquè heu demanat una vista prèvia. Els "recuperadors activats per l'usuari" de Google prioritzen la vostra experiència per sobre de les restriccions de robots.txt perquè aquestes sol·licituds es fan en el vostre nom.

El mateix s'aplica als assistents d'IA. Quan Perplexity recupera una pàgina web, és perquè heu fet una pregunta específica que requereix informació actual. El contingut no s'emmagatzema per a l'entrenament; s'utilitza immediatament per respondre a la vostra pregunta.

Quan empreses com Cloudflare qualifiquen erròniament els assistents d'IA dirigits per usuaris de bots maliciosos, argumenten que qualsevol eina automatitzada que serveixi als usuaris hauria de ser sospitosa, una postura que criminalitzaria els clients de correu electrònic i els navegadors web, o qualsevol altre servei que un hipotètic porter decideixi que no li agrada.

Aquesta controvèrsia revela que els sistemes de Cloudflare són fonamentalment inadequats per distingir entre assistents d'IA legítims i amenaces reals. Si no sabeu distingir un assistent digital útil d'un extractor maliciós, probablement no hauríeu de prendre decisions sobre què constitueix tràfic web legítim.

Aquest bloqueig excessiu perjudica tothom. Penseu en algú que utilitza la IA per investigar condicions mèdiques, comparar ressenyes de productes o accedir a notícies de múltiples fonts. Si el seu assistent es bloqueja com a "bot maliciós", perd l'accés a informació valuosa.

El resultat és un internet de dues velocitats on el vostre accés no depèn de les vostres necessitats, sinó de si les eines que heu triat han estat beneïdes pels controladors d'infraestructura, a qui els importen més els vostres mitjans. Això soscava la llibertat d'elecció dels usuaris i amenaça l'accessibilitat de la web oberta per als serveis innovadors que competeixen amb els gegants establerts.

Un assistent d'IA funciona exactament igual que un assistent humà. Quan feu una pregunta a un assistent d'IA que requereix informació actual, no sap la resposta prèviament. La cerca per a vosaltres per tal de completar qualsevol tasca que hàgiu demanat.

A Perplexity i a totes les altres plataformes d'IA amb agents, això passa en temps real, en resposta a la vostra sol·licitud, i la informació s'utilitza immediatament per respondre a la vostra pregunta. No s'emmagatzema en bases de dades massives per a un ús futur, ni s'utilitza per entrenar models d'IA.

Els agents dirigits per usuaris només actuen quan els usuaris fan peticions específiques, i només recuperen el contingut necessari per satisfer aquestes peticions. Aquesta és la diferència fonamental entre un agent d'usuari i un bot.

L'última publicació al bloc de Cloudflare va aconseguir equivocar-se prèviament en gairebé tot sobre com funcionen realment els assistents d'IA moderns.

A més de malinterpretar que 20-25 milions de sol·licituds d'agents d'usuari no són extractors, Cloudflare va afirmar que Perplexity realitzava una "indexació sigil·losa", utilitzant bots ocults i tàctiques de suplantació per eludir les restriccions del lloc web. Però els fets tècnics expliquen una història diferent.

Sembla que Cloudflare va confondre Perplexity amb entre 3 i 6 milions de sol·licituds diàries de tràfic no relacionat de BrowserBase, un servei de navegador al núvol de tercers que Perplexity només utilitza ocasionalment per a tasques altament especialitzades (menys de 45.000 sol·licituds diàries).

Com que Cloudflare ha ofuscat convenientment la seva metodologia i s'ha negat a respondre preguntes per ajudar les nostres equips a entendre-ho, només podem acotar-ho a dues explicacions possibles.

Cloudflare necessitava un moment de publicitat enginyós i nosaltres —el seu propi client— vam ser un nom útil per aconseguir-ho.

Cloudflare va atribuir erròniament de manera fonamental entre 3 i 6 milions de sol·licituds diàries del servei de navegadors automatitzats de BrowserBase a Perplexity, una fallada bàsica d'anàlisi de tràfic que resulta especialment vergonyosa per a una empresa el negoci principal de la qual és comprendre i categoritzar el tràfic web.

Sigui quina sigui l'explicació certa, els errors tècnics de l'anàlisi de Cloudflare no només són vergonyosos, sinó desqualificadors. Quan s'atribueixen erròniament milions de sol·licituds, es publiquen diagrames tècnics completament inexactes i es demostra una incomprensió fonamental de com funcionen els assistents d'IA moderns, es perd qualsevol dret a presumir d'expertesa en aquest espai.

L'eufòria al voltant d'aquest tema també revela que la direcció de Cloudflare està perillosament mal informada sobre els conceptes bàsics de la IA, o simplement és més aparença que núvol. Això importa perquè els clients de Cloudflare inclouen empreses de tot tipus, companyies que no es poden permetre el luxe de confiar la seva infraestructura a estratègies publicitàries de xarlatans.

Encara més vergonyós, Cloudflare va publicar un diagrama tècnic que suposadament mostrava el "flux de treball" de indexació de Perplexity que no s'assembla gens a com funciona realment Perplexity. Si Cloudflare estigués realment interessat a entendre les dades que veia, com funcionen els nostres sistemes o aquests conceptes fonamentals descrits anteriorment, podria haver fet el que animem a fer a tots els usuaris de Perplexity. Només heu de preguntar.

L'auge dels assistents digitals

Per què importa aquesta distinció

Una crida a la claredat: com funcionen realment els agents d'usuari

Abordant directament Cloudflare: una qüestió de competència