Agents ou robots ? Comprendre l'IA sur le Web ouvert

À mesure que l'Internet évolue, les façons dont nous accédons à l'information et interagissons avec elle évoluent également. Aux tout débuts du Web, les robots automatisés jouaient un rôle simple et bien compris : indexer des sites pour la recherche, vérifier des liens ou extraire des données selon des règles claires définies par les propriétaires de sites Web.

Mais avec la montée en puissance des assistants propulsés par l'IA et des agents pilotés par les utilisateurs, la frontière entre ce qui compte comme "simple robot" et ce qui répond aux besoins immédiats de vraies personnes est devenue de plus en plus floue.

Les assistants IA modernes fonctionnent de manière fondamentalement différente du crawling Web traditionnel. Lorsque vous posez à Perplexity une question qui nécessite des informations actuelles — disons, "Quels sont les derniers avis pour ce nouveau restaurant ?" —, l'IA ne possède pas déjà cette information dans une base de données quelque part. Au lieu de cela, elle visite les sites Web pertinents, lit le contenu et renvoie un résumé adapté à votre question spécifique.

C'est fondamentalement différent du crawling Web traditionnel, dans lequel les crawlers visitent systématiquement des millions de pages pour constituer d'immenses bases de données, que quelqu'un ait demandé cette information spécifique ou non. Les agents pilotés par les utilisateurs, en revanche, ne récupèrent du contenu que lorsqu'une vraie personne demande quelque chose de précis, et ils utilisent ce contenu immédiatement pour répondre à la question de l'utilisateur. Les agents pilotés par les utilisateurs de Perplexity ne stockent pas l'information et ne l'utilisent pas pour l'entraînement.

La différence entre le crawling automatisé et la récupération pilotée par l'utilisateur n'est pas seulement technique : il s'agit de savoir qui a accès à l'information sur le Web ouvert. Lorsque le moteur de recherche de Google effectue un crawling pour constituer son index, c'est différent du moment où il récupère une page Web parce que vous avez demandé un aperçu. Les "récupérateurs déclenchés par l'utilisateur" de Google accordent la priorité à votre expérience par rapport aux restrictions de robots.txt, car ces demandes sont effectuées en votre nom.

La même chose s'applique aux assistants IA. Lorsque Perplexity récupère une page Web, c'est parce que vous avez posé une question spécifique nécessitant des informations actuelles. Le contenu n'est pas stocké pour l'entraînement ; il est utilisé immédiatement pour répondre à votre question.

Lorsque des entreprises comme Cloudflare qualifient à tort les assistants IA pilotés par les utilisateurs de robots malveillants, elles affirment que tout outil automatisé servant les utilisateurs devrait être suspect — une position qui criminaliserait les clients de messagerie et les navigateurs Web, ou tout autre service qu'un futur gardien déciderait de ne pas aimer.

Cette controverse révèle que les systèmes de Cloudflare sont fondamentalement inadéquats pour distinguer les assistants IA légitimes des menaces réelles. Si vous ne parvenez pas à différencier un assistant numérique utile d'un extracteur malveillant, vous ne devriez probablement pas prendre de décisions concernant ce qui constitue un trafic Web légitime.

Ce blocage excessif nuit à tout le monde. Pensez à quelqu'un qui utilise l'IA pour faire des recherches sur des conditions médicales, comparer des critiques de produits ou accéder à des nouvelles provenant de sources multiples. Si son assistant est bloqué en tant que "robot malveillant", il perd l'accès à des informations précieuses.

Le résultat est un Internet à deux vitesses où votre accès ne dépend pas de vos besoins, mais du fait que les outils que vous avez choisis ont été approuvés par les contrôleurs d'infrastructure, qui se soucient davantage de vos moyens. Cela mine le choix des utilisateurs et menace l'accessibilité du Web ouvert pour les services innovants qui rivalisent avec les géants établis.

Un assistant IA fonctionne exactement comme un assistant humain. Lorsque vous posez à un assistant IA une question qui nécessite des informations actuelles, il ne connaît pas déjà la réponse. Il la cherche pour vous afin d'accomplir la tâche que vous avez demandée.

Sur Perplexity et toutes les autres plateformes d'IA autonomes, cela se produit en temps réel, en réponse à votre demande, et l'information est utilisée immédiatement pour répondre à votre question. Elle n'est pas stockée dans d'immenses bases de données pour une utilisation future, et elle n'est pas utilisée pour entraîner des modèles d'IA.

Les agents pilotés par les utilisateurs n'agissent que lorsque les utilisateurs font des demandes spécifiques, et ils ne récupèrent que le contenu nécessaire pour satisfaire ces demandes. C'est la différence fondamentale entre un agent utilisateur et un robot.

Le récent article de blog de Cloudflare est parvenu à se tromper sur presque tout quant au fonctionnement réel des assistants IA modernes.

En plus de mal comprendre que 20 à 25 millions de requêtes d'agents utilisateurs ne sont pas des extracteurs, Cloudflare a affirmé que Perplexity se livrait à un "crawling furtif", utilisant des robots cachés et des tactiques d'usurpation d'identité pour contourner les restrictions des sites Web. Mais les faits techniques racontent une autre histoire.

Il semble que Cloudflare ait confondu Perplexity avec 3 à 6 millions de requêtes quotidiennes d'un trafic sans rapport provenant de BrowserBase, un service de navigateur cloud tiers que Perplexity n'utilise qu'occasionnellement pour des tâches hautement spécialisées (moins de 45 000 requêtes quotidiennes).

Étant donné que Cloudflare a commodément obscurci sa méthodologie et refusé de répondre aux questions permettant à nos équipes de comprendre, nous ne pouvons que réduire cela à deux explications possibles.

Cloudflare avait besoin d'un coup de pub intelligent et nous — leur propre client — nous sommes trouvés être un nom utile pour leur en procurer un.

Cloudflare a fondamentalement attribué à tort 3 à 6 millions de requêtes quotidiennes provenant du service de navigateur automatisé de BrowserBase à Perplexity, un échec fondamental d'analyse du trafic qui est particulièrement embarrassant pour une entreprise dont l'activité principale est de comprendre et de catégoriser le trafic Web.

Quelle que soit l'explication véridique, les erreurs techniques dans l'analyse de Cloudflare ne sont pas seulement embarrassantes, elles sont disqualifiantes. Lorsque vous attribuez à tort des millions de requêtes, publiez des diagrammes techniques complètement inexacts et démontrez une incompréhension fondamentale du fonctionnement des assistants IA modernes, vous perdez toute prétention à l'expertise dans cet espace.

La bravade autour de cette question révèle également que la direction de Cloudflare est soit dangereusement mal informée sur les bases de l'IA, soit simplement plus portée sur le style que sur le fond. Cela importe parce que les clients de Cloudflare incluent des entreprises de tous types, des entreprises qui ne peuvent pas se permettre de confier leur infrastructure à des coups publicitaires de charlatans.

Plus embarrassant encore, Cloudflare a publié un diagramme technique censé illustrer le "flux de travail de crawling de Perplexity" qui ne ressemble en rien au fonctionnement réel de Perplexity. Si Cloudflare s'intéressait vraiment à la compréhension des données qu'ils voyaient, du fonctionnement de nos systèmes ou de ces concepts fondamentaux décrits ci-dessus, ils auraient pu faire ce que nous encourageons tous les utilisateurs de Perplexity à faire. Il suffit de demander.

L'essor des assistants numériques

Pourquoi cette distinction est importante

Un appel à la clarté : comment fonctionnent réellement les agents utilisateurs

S'adresser directement à Cloudflare : une question de compétence