Agents ou robots ? Comprendre l'IA sur l'Open Web

À mesure que l'Internet évolue, les manières dont nous accédons à l'information et interagissons avec celle-ci évoluent également. Aux débuts du Web, les robots automatisés jouaient un rôle simple et bien défini : indexer des sites pour la recherche, vérifier des liens ou extraire des données selon des règles claires établies par les propriétaires des sites Web.

Cependant, avec l'essor des assistants basés sur l'IA et des agents pilotés par l'utilisateur, la frontière entre ce qui est considéré comme un "simple robot" et ce qui répond aux besoins immédiats de personnes réelles est devenue de plus en plus floue.

Les assistants IA modernes fonctionnent de manière fondamentalement différente du web crawling traditionnel. Lorsque vous posez une question à Perplexity qui nécessite des informations actuelles — par exemple, « Quels sont les derniers avis sur ce nouveau restaurant ? » — l'IA ne possède pas déjà ces informations stockées dans une base de données. Au lieu de cela, elle se rend sur les sites Web pertinents, en lit le contenu et rapporte une synthèse adaptée à votre question spécifique.

Cela diffère fondamentalement du web crawling traditionnel, dans lequel les crawlers visitent systématiquement des millions de pages pour constituer des bases de données massives, que quelqu'un ait demandé cette information spécifique ou non. À l'inverse, les agents pilotés par l'utilisateur ne récupèrent du contenu que lorsqu'une personne réelle en fait la demande, et ils utilisent ce contenu immédiatement pour répondre à la question de l'utilisateur. Les agents de Perplexity pilotés par l'utilisateur ne stockent pas ces informations et ne les utilisent pas pour l'entraînement.

La différence entre le crawling automatisé et la récupération pilotée par l'utilisateur n'est pas seulement technique ; elle concerne l'accès à l'information sur l'Open Web. Lorsque le moteur de recherche de Google explore le Web pour constituer son index, cela diffère de lorsqu'il récupère une page Web parce que vous avez demandé un aperçu. Les « extracteurs déclenchés par l'utilisateur » de Google donnent la priorité à votre expérience sur les restrictions du fichier robots.txt car ces requêtes sont effectuées en votre nom.

Il en va de même pour les assistants IA. Lorsque Perplexity récupère une page Web, c'est parce que vous avez posé une question spécifique nécessitant des informations actuelles. Le contenu n'est pas stocké pour l'entraînement ; il est utilisé immédiatement pour répondre à votre question.

Lorsque des entreprises comme Cloudflare qualifient à tort les assistants IA pilotés par l'utilisateur de robots malveillants, elles soutiennent que tout outil automatisé au service des utilisateurs devrait être suspect — une position qui criminaliserait les clients de messagerie et les navigateurs Web, ou tout autre service qu'un prétendu gardien déciderait de ne pas apprécier.

Cette controverse révèle que les systèmes de Cloudflare sont fondamentalement inadaptés pour distinguer les assistants IA légitimes des menaces réelles. Si vous n'êtes pas capable de faire la distinction entre un assistant numérique utile et un robot d'extraction malveillant, alors vous ne devriez probablement pas prendre de décisions sur ce qui constitue un trafic Web légitime.

Ce blocage excessif nuit à tout le monde. Prenons l'exemple d'une personne utilisant l'IA pour effectuer des recherches sur des conditions médicales, comparer des avis sur des produits ou accéder à des actualités provenant de sources multiples. Si son assistant est bloqué en tant que « robot malveillant », cette personne perd l'accès à des informations précieuses.

Le résultat est un Internet à deux vitesses où votre accès ne dépend pas de vos besoins, mais du fait que les outils que vous avez choisis aient été approuvés par les contrôleurs de l'infrastructure, qui se soucieront davantage de vos moyens. Cela compromet le choix de l'utilisateur et menace l'accessibilité de l'Open Web pour les services innovants qui rivalisent avec les géants établis.

Un assistant IA fonctionne exactement comme un assistant humain. Lorsque vous posez une question à un assistant IA qui nécessite des informations actuelles, il ne connaît pas déjà la réponse. Il la cherche pour vous afin d'accomplir la tâche que vous avez demandée.

Sur Perplexity et toutes les autres plateformes d'IA agentique, cela se produit en temps réel, en réponse à votre demande, et l'information est utilisée immédiatement pour répondre à votre question. Elle n'est pas stockée dans des bases de données massives pour une utilisation ultérieure, et elle n'est pas utilisée pour entraîner des modèles d'IA.

Les agents pilotés par l'utilisateur n'agissent que lorsque les utilisateurs font des demandes spécifiques, et ils ne récupèrent que le contenu nécessaire pour satisfaire ces demandes. C'est la différence fondamentale entre un agent utilisateur et un robot.

Le récent article de blog de Cloudflare a réussi à se tromper sur presque tous les points concernant le fonctionnement réel des assistants IA modernes.

En plus d'avoir mal compris que 20 à 25 millions de requêtes d'agents utilisateurs ne sont pas des robots d'extraction, Cloudflare a prétendu que Perplexity se livrait à du « crawling furtif », utilisant des robots cachés et des tactiques d'usurpation d'identité pour contourner les restrictions des sites Web. Mais les faits techniques racontent une tout autre histoire.

Il semble que Cloudflare ait confondu Perplexity avec 3 à 6 millions de requêtes quotidiennes de trafic non lié provenant de BrowserBase, un service de navigateur cloud tiers que Perplexity n'utilise qu'occasionnellement pour des tâches hautement spécialisées (moins de 45 000 requêtes quotidiennes).

Parce que Cloudflare a commodément occulté sa méthodologie et a refusé de répondre aux questions permettant à nos équipes de comprendre, nous ne pouvons que limiter cela à deux explications possibles.

Cloudflare avait besoin d'un moment de publicité astucieux et nous, leur propre client, étions un nom utile pour leur en procurer un.

Cloudflare a fondamentalement attribué à tort 3 à 6 millions de requêtes quotidiennes du service de navigateur automatisé de BrowserBase à Perplexity, un échec élémentaire d'analyse du trafic particulièrement embarrassant pour une entreprise dont le cœur de métier est de comprendre et de catégoriser le trafic Web.

Quelle que soit l'explication, les erreurs techniques dans l'analyse de Cloudflare ne sont pas seulement embarrassantes, elles sont disqualifiantes. Lorsque vous attribuez à tort des millions de requêtes, publiez des diagrammes techniques totalement inexacts et démontrez une incompréhension fondamentale du fonctionnement des assistants IA modernes, vous perdez toute prétention à l'expertise dans cet espace.

L'agitation autour de cette question révèle également que la direction de Cloudflare est soit dangereusement mal informée sur les bases de l'IA, soit simplement plus portée sur le spectacle que sur le cloud. Cela est important car les clients de Cloudflare incluent des entreprises de tous types, des sociétés qui ne peuvent pas se permettre de confier leur infrastructure à des coups publicitaires de charlatans.

Plus embarrassant encore, Cloudflare a publié un diagramme technique censé montrer le « flux de travail de crawling de Perplexity » qui ne ressemble en rien au fonctionnement réel de Perplexity. Si Cloudflare s'intéressait vraiment à comprendre les données qu'ils observaient, le fonctionnement de nos systèmes ou ces concepts fondamentaux exposés ci-dessus, ils auraient pu faire ce que nous encourageons tous les utilisateurs de Perplexity à faire. Demandez simplement.

L'essor des assistants numériques

Pourquoi cette distinction est-elle importante

Appel à la clarté : comment fonctionnent réellement les agents utilisateurs

Adresser directement Cloudflare : une question de compétence