Agenti o bot? Comprendere l'IA sul web aperto

Con l'evolversi di Internet, si evolvono anche le modalità di accesso e di interazione con le informazioni. Agli albori del web, i bot automatizzati svolgevano un ruolo semplice e ben definito: indicizzare i siti per la ricerca, verificare i link o estrarre dati secondo regole chiare stabilite dai proprietari dei siti web.

Tuttavia, con l'avvento degli assistenti basati sull'IA e degli agenti guidati dall'utente, il confine tra ciò che viene considerato "semplice bot" e ciò che soddisfa i bisogni immediati delle persone reali è diventato sempre più labile.

L'ascesa degli assistenti digitali

Gli assistenti IA moderni funzionano in modo fondamentalmente diverso dalla tradizionale scansione web. Quando si pone a Perplexity una domanda che richiede informazioni attuali (ad esempio: "Quali sono le ultime recensioni di quel nuovo ristorante?"), l'IA non possiede già tali informazioni in un database. Al contrario, accede ai siti web pertinenti, ne legge il contenuto e fornisce un riassunto personalizzato in base allo specifico quesito.

Questo differisce sostanzialmente dalla scansione web tradizionale, in cui i crawler visitano sistematicamente milioni di pagine per costruire database massivi, a prescindere che qualcuno abbia richiesto o meno tali informazioni specifiche. Gli agenti guidati dall'utente, invece, recuperano contenuti solo quando una persona reale richiede qualcosa di specifico e li utilizzano immediatamente per rispondere alla domanda dell'utente. Gli agenti di Perplexity guidati dall'utente non archiviano le informazioni né le utilizzano per l'addestramento.

Perché questa distinzione è importante

La differenza tra la scansione automatizzata e il recupero guidato dall'utente non è solo tecnica: riguarda chi può accedere alle informazioni sul web aperto. Quando il motore di ricerca di Google esegue la scansione per costruire il proprio indice, ciò è diverso dal recupero di una pagina web richiesto dall'utente per una visualizzazione in anteprima. I "fetcher attivati dall'utente" di Google danno priorità all'esperienza dell'utente rispetto alle restrizioni del file robots.txt, poiché tali richieste avvengono per conto dell'utente stesso.

Lo stesso vale per gli assistenti IA. Quando Perplexity recupera una pagina web, lo fa perché l'utente ha posto una domanda specifica che richiede informazioni attuali. Il contenuto non viene archiviato per l'addestramento, ma utilizzato immediatamente per rispondere al quesito.

Quando aziende come Cloudflare definiscono erroneamente gli assistenti IA guidati dall'utente come bot dannosi, sostengono che qualsiasi strumento automatizzato a servizio degli utenti debba essere sospetto; una posizione che criminalizzerebbe i client email, i browser web o qualsiasi altro servizio che un potenziale guardiano decida di non gradire.

Questa controversia rivela che i sistemi di Cloudflare sono fondamentalmente inadeguati a distinguere tra assistenti IA legittimi e minacce reali. Se non si è in grado di distinguere un utile assistente digitale da uno scraper dannoso, probabilmente non si dovrebbe decidere cosa costituisca traffico web legittimo.

Questo blocco eccessivo danneggia tutti. Si consideri chi utilizza l'IA per ricercare condizioni mediche, confrontare recensioni di prodotti o accedere a notizie da molteplici fonti. Se il loro assistente viene bloccato come "bot dannoso", perdono l'accesso a informazioni preziose.

Il risultato è un Internet a due livelli in cui l'accesso non dipende dai propri bisogni, ma dal fatto che gli strumenti scelti siano stati approvati dai controllori dell'infrastruttura, i quali daranno priorità ai propri mezzi. Ciò mina la libertà di scelta dell'utente e minaccia l'accessibilità del web aperto per i servizi innovativi in concorrenza con i colossi consolidati.

Un appello alla chiarezza: come funzionano realmente gli agenti utente

Un assistente IA funziona esattamente come un assistente umano. Quando si pone a un assistente IA una domanda che richiede informazioni attuali, esso non conosce già la risposta. La ricerca per conto dell'utente al fine di completare il compito richiesto.

Su Perplexity e su tutte le altre piattaforme di IA agentica, ciò avviene in tempo reale, in risposta alla richiesta dell'utente, e le informazioni vengono utilizzate immediatamente per rispondere alla domanda. Non vengono archiviate in database massivi per usi futuri né utilizzate per addestrare modelli di IA.

Gli agenti guidati dall'utente agiscono solo quando gli utenti effettuano richieste specifiche e recuperano esclusivamente i contenuti necessari per soddisfare tali richieste. Questa è la differenza fondamentale tra un agente utente e un bot.

Rivolgendosi direttamente a Cloudflare: una questione di competenza

Il recente post sul blog di Cloudflare è riuscito a descrivere in modo quasi totalmente errato il funzionamento effettivo dei moderni assistenti IA.

Oltre a fraintendere che le richieste degli agenti utente, pari a 20-25 milioni, non siano scraper, Cloudflare ha affermato che Perplexity fosse impegnata in un "crawling furtivo", utilizzando bot nascosti e tattiche di impersonificazione per aggirare le restrizioni dei siti web. Tuttavia, i fatti tecnici narrano una storia diversa.

Sembra che Cloudflare abbia confuso Perplexity con 3-6 milioni di richieste giornaliere di traffico non correlato provenienti da BrowserBase, un servizio di cloud browser di terze parti che Perplexity utilizza solo occasionalmente per compiti altamente specializzati (meno di 45.000 richieste giornaliere).

Poiché Cloudflare ha opportunamente offuscato la propria metodologia e ha rifiutato di rispondere alle domande che avrebbero aiutato i nostri team a comprendere, possiamo limitare l'analisi a due possibili spiegazioni.

Cloudflare aveva bisogno di un abile momento di pubblicità e noi, essendo loro clienti, siamo risultati essere un nome utile per ottenerlo.

Cloudflare ha erroneamente attribuito a Perplexity 3-6 milioni di richieste giornaliere provenienti dal servizio di browser automatizzato di BrowserBase; un fallimento elementare nell'analisi del traffico, particolarmente imbarazzante per un'azienda il cui core business è comprendere e categorizzare il traffico web.

Qualunque sia la spiegazione corretta, gli errori tecnici nell'analisi di Cloudflare non sono solo imbarazzanti, sono squalificanti. Quando si attribuiscono erroneamente milioni di richieste, si pubblicano diagrammi tecnici completamente inesatti e si dimostra una fondamentale incomprensione del funzionamento dei moderni assistenti IA, si perde qualsiasi pretesa di competenza in questo spazio.

Questa controversia rivela che i sistemi di Cloudflare sono fondamentalmente inadeguati a distinguere tra assistenti IA legittimi e minacce reali. Se non si è in grado di distinguere un utile assistente digitale da uno scraper dannoso, probabilmente non si dovrebbe decidere cosa costituisca traffico web legittimo.

Il clamore suscitato dalla questione rivela inoltre che la leadership di Cloudflare è pericolosamente disinformata sulle basi dell'IA, o semplicemente più incline all'apparenza che al cloud. Ciò è rilevante poiché i clienti di Cloudflare includono aziende di ogni tipo, società che non possono permettersi di affidare la propria infrastruttura a trovate pubblicitarie da ciarlatani.

Ancora più imbarazzante, Cloudflare ha pubblicato un diagramma tecnico che presumibilmente mostrerebbe il "flusso di lavoro di scansione di Perplexity", che non ha alcuna attinenza con il modo in cui Perplexity opera effettivamente. Se Cloudflare fosse realmente interessata a comprendere i dati che analizza, il funzionamento dei nostri sistemi o i concetti fondamentali sopra delineati, avrebbe potuto fare ciò che incoraggiamo tutti gli utenti di Perplexity a fare: semplicemente chiedere.