Agents of bots? AI op het open web begrijpen

Naarmate het internet evolueert, veranderen ook de manieren waarop we toegang krijgen tot informatie en daarmee omgaan. In de begindagen van het web speelden geautomatiseerde bots een eenvoudige, welbegrepen rol: sites indexeren voor zoekmachines, links controleren of gegevens scrapen volgens duidelijke regels die door website-eigenaren waren opgesteld.

Maar met de opkomst van AI-aangedreven assistenten en door gebruikers aangestuurde agents, is de grens tussen wat telt als "slechts een bot" en wat voorziet in de onmiddellijke behoeften van echte mensen steeds vager geworden.

De opkomst van digitale assistenten

Moderne AI-assistenten werken fundamenteel anders dan traditionele webcrawlers. Wanneer u Perplexity een vraag stelt waarvoor actuele informatie nodig is—bijvoorbeeld: "Wat zijn de laatste recensies voor dat nieuwe restaurant?"—beschikt de AI nog niet over die informatie in een of andere database. In plaats daarvan gaat het naar de relevante websites, leest de inhoud en brengt een samenvatting terug die is afgestemd op uw specifieke vraag.

Dit verschilt fundamenteel van traditionele webcrawling, waarbij crawlers systematisch miljoenen pagina's bezoeken om enorme databases op te bouwen, ongeacht of iemand om die specifieke informatie heeft gevraagd of niet. Door gebruikers aangestuurde agents halen daarentegen alleen inhoud op wanneer een echt persoon om iets specifieks vraagt, en ze gebruiken die inhoud onmiddellijk om de vraag van de gebruiker te beantwoorden. De door gebruikers aangestuurde agents van Perplexity slaan de informatie niet op en trainen er niet mee.

Waarom dit onderscheid belangrijk is

Het verschil tussen geautomatiseerde crawling en door gebruikers aangestuurd ophalen is niet louter technisch—het gaat erom wie toegang krijgt tot informatie op het open web. Wanneer de zoekmachine van Google crawlt om zijn index op te bouwen, is dat anders dan wanneer hij een webpagina ophaalt omdat u om een voorbeeld hebt gevraagd. De "door gebruikers geactiveerde fetchers" van Google geven prioriteit aan uw ervaring boven robots.txt-beperkingen omdat deze verzoeken namens u plaatsvinden.

Hetzelfde geldt voor AI-assistenten. Wanneer Perplexity een webpagina ophaalt, is dat omdat u een specifieke vraag hebt gesteld waarvoor actuele informatie nodig is. De inhoud wordt niet opgeslagen voor training—hij wordt onmiddellijk gebruikt om uw vraag te beantwoorden.

Wanneer bedrijven als Cloudflare door gebruikers aangestuurde AI-assistenten ten onrechte bestempelen als kwaadaardige bots, beweren ze dat elk geautomatiseerd hulpmiddel dat gebruikers bedient verdacht zou moeten zijn—een standpunt dat e-mailclients en webbrowsers zou criminaliseren, of elke andere dienst die een potentiële poortwachter niet bevalt.

Deze controverse onthult dat de systemen van Cloudflare fundamenteel ontoereikend zijn om onderscheid te maken tussen legitieme AI-assistenten en daadwerkelijke bedreigingen. Als u geen onderscheid kunt maken tussen een behulpzame digitale assistent en een kwaadaardige scraper, dan zou u waarschijnlijk geen beslissingen moeten nemen over wat legitiem webverkeer vormt.

Deze overmatige blokkering schaadt iedereen. Denk aan iemand die AI gebruikt om medische aandoeningen te onderzoeken, productrecensies te vergelijken of toegang te krijgen tot nieuws uit meerdere bronnen. Als hun assistent wordt geblokkeerd als een "kwaadaardige bot", verliezen ze de toegang tot waardevolle informatie.

Het resultaat is een internet met twee snelheden waarbij uw toegang niet afhangt van uw behoeften, maar van de vraag of uw gekozen tools zijn goedgekeurd door infrastructuurbeheerders, die meer geven om uw middelen. Dit ondermijnt de keuzevrijheid van de gebruiker en bedreigt de toegankelijkheid van het open web voor innovatieve diensten die concurreren met gevestigde giganten.

Een oproep tot duidelijkheid: hoe user-agents werkelijk werken

Een AI-assistent werkt net als een menselijke assistent. Wanneer u een AI-assistent een vraag stelt waarvoor actuele informatie nodig is, kennen ze het antwoord nog niet. Ze zoeken het voor u op om de taak die u hebt gevraagd te voltooien.

Op Perplexity en alle andere agent-AI-platforms gebeurt dit in realtime, als reactie op uw verzoek, en de informatie wordt onmiddellijk gebruikt om uw vraag te beantwoorden. Het wordt niet opgeslagen in enorme databases voor toekomstig gebruik en het wordt niet gebruikt om AI-modellen te trainen.

Door gebruikers aangestuurde agents handelen alleen wanneer gebruikers specifieke verzoeken indienen, en ze halen alleen de inhoud op die nodig is om aan die verzoeken te voldoen. Dit is het fundamentele verschil tussen een user-agent en een bot.

Cloudflare direct aanspreken: een kwestie van competentie

De recente blogpost van Cloudflare zat er op bijna alle punten naast over hoe moderne AI-assistenten daadwerkelijk werken.

Naast het onbegrip dat 20-25 miljoen user-agent-verzoeken geen scrapers zijn, beweerde Cloudflare dat Perplexity zich bezighield met "stiekem crawlen", waarbij verborgen bots en imitatietactieken werden gebruikt om websitebeperkingen te omzeilen. Maar de technische feiten vertellen een ander verhaal.

Het lijkt erop dat Cloudflare Perplexity verwarde met 3-6 miljoen dagelijkse verzoeken aan niet-gerelateerd verkeer van BrowserBase, een cloudbrowser-dienst van derden die Perplexity slechts af en toe gebruikt voor zeer gespecialiseerde taken (minder dan 45.000 dagelijkse verzoeken).

Omdat Cloudflare hun methodologie gemakkelijkheidshalve heeft verdoezeld en heeft geweigerd vragen te beantwoorden die onze teams zouden helpen het te begrijpen, kunnen we dit slechts beperken tot twee mogelijke verklaringen.

Cloudflare had een slim publiciteitsmoment nodig en wij—hun eigen klant—waren toevallig een nuttige naam om er een te krijgen.

Cloudflare heeft fundamenteel 3-6 miljoen dagelijkse verzoeken van de geautomatiseerde browserdienst van BrowserBase ten onrechte toegeschreven aan Perplexity, een basisfout in verkeersanalyse die bijzonder gênant is voor een bedrijf waarvan de kernactiviteit het begrijpen en categoriseren van webverkeer is.

Welke verklaring ook de waarheid is, de technische fouten in de analyse van Cloudflare zijn niet alleen gênant—ze zijn diskwalificerend. Wanneer u miljoenen verzoeken verkeerd toeschrijft, volledig onnauwkeurige technische diagrammen publiceert en een fundamenteel onbegrip toont van hoe moderne AI-assistenten werken, hebt u elk recht op expertise in deze ruimte verbeurd.

Deze controverse onthult dat de systemen van Cloudflare fundamenteel ontoereikend zijn om onderscheid te maken tussen legitieme AI-assistenten en daadwerkelijke bedreigingen. Als u geen onderscheid kunt maken tussen een behulpzame digitale assistent en een kwaadaardige scraper, dan zou u waarschijnlijk geen beslissingen moeten nemen over wat legitiem webverkeer vormt.

Het lawaai rond deze kwestie onthult ook dat het leiderschap van Cloudflare ofwel gevaarlijk slecht geïnformeerd is over de basisbeginselen van AI, of simpelweg meer flair dan cloud is. Dit is belangrijk omdat de klanten van Cloudflare bedrijven van alle soorten omvatten, bedrijven die het zich niet kunnen veroorloven hun infrastructuur toe te vertrouwen aan charlatan-publiciteitsstunts.

Nog gênanter is dat Cloudflare een technisch diagram publiceerde dat zogenaamd de "crawling-workflow van Perplexity" liet zien, die totaal niet lijkt op hoe Perplexity werkelijk werkt. Als Cloudflare echt geïnteresseerd was in het begrijpen van de gegevens die ze zagen, hoe onze systemen werken of deze fundamentele concepten die hierboven zijn uiteengezet, hadden ze kunnen doen wat we alle Perplexity-gebruikers aanmoedigen om te doen. Vraag het gewoon.