Agenten oder Bots? KI im offenen Web verstehen

Mit der Entwicklung des Internets verändern sich auch die Arten und Weisen, wie wir auf Informationen zugreifen und mit ihnen interagieren. In der Anfangszeit des Webs spielten automatisierte Bots eine einfache, klar definierte Rolle: das Indexieren von Seiten für die Suche, das Überprüfen von Links oder das Scraping von Daten gemäß klarer Regeln, die von den Website-Betreibern festgelegt wurden.

Doch mit dem Aufkommen von KI-gestützten Assistenten und nutzergesteuerten Agenten ist die Grenze zwischen dem, was als "reiner Bot" gilt, und dem, was den unmittelbaren Bedürfnissen echter Menschen dient, zunehmend verschwommen.

Der Aufstieg der digitalen Assistenten

Moderne KI-Assistenten funktionieren grundlegend anders als herkömmliche Webcrawler. Wenn Sie Perplexity eine Frage stellen, die aktuelle Informationen erfordert – beispielsweise: „Was sind die neuesten Bewertungen für das neue Restaurant?“ –, verfügt die KI nicht bereits über diese Informationen in einer Datenbank. Stattdessen ruft sie die relevanten Websites auf, liest den Inhalt und liefert eine Zusammenfassung, die auf Ihre spezifische Frage zugeschnitten ist.

Dies unterscheidet sich grundlegend vom herkömmlichen Web-Crawling, bei dem Crawler systematisch Millionen von Seiten besuchen, um riesige Datenbanken aufzubauen, unabhängig davon, ob jemand nach dieser spezifischen Information gefragt hat oder nicht. Nutzergesteuerte Agenten hingegen rufen Inhalte nur dann ab, wenn eine echte Person etwas Bestimmtes anfragt, und verwenden diesen Inhalt sofort, um die Frage des Nutzers zu beantworten. Die nutzergesteuerten Agenten von Perplexity speichern diese Informationen nicht und trainieren auch nicht damit.

Warum diese Unterscheidung wichtig ist

Der Unterschied zwischen automatisiertem Crawling und nutzergesteuertem Abrufen ist nicht nur technischer Natur – es geht darum, wer auf Informationen im offenen Web zugreifen darf. Wenn die Suchmaschine von Google crawlt, um ihren Index aufzubauen, unterscheidet sich dies von einem Abruf einer Webseite, den Google vornimmt, weil Sie eine Vorschau angefordert haben. Die „nutzergesteuerten Abrufer“ von Google priorisieren Ihre Erfahrung gegenüber robots.txt-Einschränkungen, da diese Anfragen in Ihrem Namen erfolgen.

Dasselbe gilt für KI-Assistenten. Wenn Perplexity eine Webseite abruft, geschieht dies, weil Sie eine spezifische Frage gestellt haben, die aktuelle Informationen erfordert. Der Inhalt wird nicht zum Training gespeichert, sondern sofort verwendet, um Ihre Frage zu beantworten.

Wenn Unternehmen wie Cloudflare nutzergesteuerte KI-Assistenten fälschlicherweise als bösartige Bots bezeichnen, argumentieren sie damit, dass jedes automatisierte Tool, das Nutzern dient, verdächtig sein sollte – eine Position, die E-Mail-Clients, Webbrowser oder jeden anderen Dienst, der einem potenziellen Gatekeeper missfällt, kriminalisieren würde.

Diese Kontroverse offenbart, dass die Systeme von Cloudflare grundlegend unzureichend sind, um zwischen legitimen KI-Assistenten und tatsächlichen Bedrohungen zu unterscheiden. Wenn man einen hilfreichen digitalen Assistenten nicht von einem bösartigen Scraper unterscheiden kann, sollte man wahrscheinlich keine Entscheidungen darüber treffen, was legitimen Web-Traffic darstellt.

Dieses Overblocking schadet jedem. Denken Sie an jemanden, der KI nutzt, um medizinische Zustände zu recherchieren, Produktbewertungen zu vergleichen oder Nachrichten aus verschiedenen Quellen abzurufen. Wenn sein Assistent als „bösartiger Bot“ blockiert wird, verliert er den Zugang zu wertvollen Informationen.

Das Ergebnis ist ein zweistufiges Internet, in dem Ihr Zugang nicht von Ihren Bedürfnissen abhängt, sondern davon, ob Ihre gewählten Werkzeuge von Infrastruktur-Kontrolleuren abgesegnet wurden, denen Ihre Mittel wichtiger sind. Dies untergräbt die Wahlfreiheit der Nutzer und bedroht die Zugänglichkeit des offenen Webs für innovative Dienste, die mit etablierten Giganten konkurrieren.

Ein Aufruf zur Klarheit: Wie User Agents tatsächlich funktionieren

Ein KI-Assistent funktioniert genau wie ein menschlicher Assistent. Wenn Sie einem KI-Assistenten eine Frage stellen, die aktuelle Informationen erfordert, kennt er die Antwort nicht bereits. Er sucht sie für Sie heraus, um die Aufgabe, die Sie gestellt haben, zu erfüllen.

Bei Perplexity und allen anderen agentenbasierten KI-Plattformen geschieht dies in Echtzeit als Reaktion auf Ihre Anfrage, und die Information wird sofort verwendet, um Ihre Frage zu beantworten. Sie wird nicht in riesigen Datenbanken für die zukünftige Verwendung gespeichert und nicht zum Training von KI-Modellen genutzt.

Nutzergesteuerte Agenten agieren nur, wenn Nutzer spezifische Anfragen stellen, und sie rufen nur den Inhalt ab, der zur Erfüllung dieser Anfragen erforderlich ist. Dies ist der grundlegende Unterschied zwischen einem User Agent und einem Bot.

Direkte Ansprache von Cloudflare: Eine Frage der Kompetenz

Der kürzlich veröffentlichte Blogbeitrag von Cloudflare hat bei der Erklärung, wie moderne KI-Assistenten tatsächlich funktionieren, fast alles falsch dargestellt.

Abgesehen von dem Missverständnis, dass 20–25 Mio. User-Agent-Anfragen keine Scraper sind, behauptete Cloudflare, dass Perplexity „Stealth Crawling“ betreibe und versteckte Bots sowie Identitätstäuschungstaktiken einsetze, um Website-Beschränkungen zu umgehen. Doch die technischen Fakten belegen das Gegenteil.

Es scheint, als habe Cloudflare Perplexity mit 3–6 Mio. täglichen Anfragen an unabhängigem Traffic von BrowserBase verwechselt, einem Cloud-Browser-Dienst eines Drittanbieters, den Perplexity nur gelegentlich für hochspezialisierte Aufgaben nutzt (weniger als 45.000 tägliche Anfragen).

Da Cloudflare seine Methodik zweckdienlich verschleiert und Fragen, die unseren Teams beim Verständnis helfen könnten, nicht beantwortet hat, können wir dies nur auf zwei mögliche Erklärungen eingrenzen.

Cloudflare brauchte einen cleveren PR-Moment, und wir – als deren Kunde – waren ein nützlicher Name, um diesen zu bekommen.

Cloudflare hat 3–6 Mio. tägliche Anfragen vom automatisierten Browser-Dienst von BrowserBase fälschlicherweise Perplexity zugeschrieben – ein grundlegendes Versagen bei der Traffic-Analyse, das für ein Unternehmen, dessen Kerngeschäft das Verständnis und die Kategorisierung von Web-Traffic ist, besonders peinlich ist.

Was auch immer der Wahrheit entspricht, die technischen Fehler in der Analyse von Cloudflare sind nicht nur peinlich – sie disqualifizieren das Unternehmen. Wenn man Millionen von Anfragen falsch zuordnet, völlig ungenaue technische Diagramme veröffentlicht und ein fundamentales Missverständnis darüber demonstriert, wie moderne KI-Assistenten funktionieren, hat man jeden Anspruch auf Expertise in diesem Space verwirkt.

Diese Kontroverse offenbart, dass die Systeme von Cloudflare grundlegend unzureichend sind, um zwischen legitimen KI-Assistenten und tatsächlichen Bedrohungen zu unterscheiden. Wenn man einen hilfreichen digitalen Assistenten nicht von einem bösartigen Scraper unterscheiden kann, sollte man wahrscheinlich keine Entscheidungen darüber treffen, was legitimen Web-Traffic darstellt.

Das Getöse um dieses Thema offenbart auch, dass die Führungsebene von Cloudflare entweder gefährlich fehlinformiert über die Grundlagen der KI ist oder einfach mehr Fassade als Cloud bietet. Dies ist wichtig, da zu den Kunden von Cloudflare Unternehmen aller Art zählen – Firmen, die es sich nicht leisten können, ihre Infrastruktur für geschäftsschädigende Publicity-Stunts zu opfern.

Noch peinlicher ist, dass Cloudflare ein technisches Diagramm veröffentlicht hat, das angeblich den „Crawling-Workflow von Perplexity“ zeigt, welches jedoch keinerlei Ähnlichkeit mit der tatsächlichen Funktionsweise von Perplexity hat. Wäre Cloudflare wirklich daran interessiert gewesen, die Daten zu verstehen, die sie sahen, wie unsere Systeme funktionieren oder diese oben skizzierten grundlegenden Konzepte zu begreifen, hätten sie das tun können, wozu wir alle Nutzer von Perplexity ermutigen: Einfach fragen.