Agenter eller bottar? Att förstå AI på det öppna internet

I takt med att internet utvecklas, gör även de sätt på vilka vi får tillgång till och interagerar med information det. Under internets barndom spelade automatiserade bottar en enkel och lättbegriplig roll: de indexerade webbplatser för sökning, kontrollerade länkar eller skrapade data enligt tydliga regler som fastställts av webbplatsägare.

Men med framväxten av AI-drivna assistenter och användardrivna agenter har gränsen mellan vad som räknas som "bara en bot" och vad som tillgodoser verkliga människors omedelbara behov blivit alltmer utsuddad.

De digitala assistenternas framväxt

Moderna AI-assistenter fungerar på ett fundamentalt annat sätt än traditionell webbcrawlning. När du ställer en fråga till Perplexity som kräver aktuell information – till exempel "Vilka är de senaste recensionerna för den där nya restaurangen?" – har AI:n inte den informationen färdig i en databas någonstans. Istället går den till relevanta webbplatser, läser innehållet och sammanställer en sammanfattning anpassad efter din specifika fråga.

Detta skiljer sig fundamentalt från traditionell webbcrawlning, där crawlers systematiskt besöker miljoner sidor för att bygga enorma databaser, oavsett om någon har efterfrågat den specifika informationen eller inte. Användardrivna agenter däremot hämtar endast innehåll när en verklig person begär något specifikt, och de använder det innehållet omedelbart för att besvara användarens fråga. Perplexitys användardrivna agenter lagrar inte informationen och tränar inte på den.

Varför denna skillnad är viktig

Skillnaden mellan automatiserad crawlning och användardriven hämtning är inte bara teknisk – den handlar om vem som får tillgång till information på det öppna internet. När Googles sökmotor crawlar för att bygga upp sitt index skiljer det sig från när den hämtar en webbsida eftersom du har bett om en förhandsgranskning. Googles "användarutlösta hämtare" prioriterar din upplevelse framför robots.txt-restriktioner eftersom dessa förfrågningar sker å dina vägnar.

Samma sak gäller för AI-assistenter. När Perplexity hämtar en webbsida beror det på att du har ställt en specifik fråga som kräver aktuell information. Innehållet lagras inte för träning – det används omedelbart för att svara på din fråga.

När företag som Cloudflare felaktigt framställer användardrivna AI-assistenter som skadliga bottar hävdar de att alla automatiserade verktyg som betjänar användare borde betraktas med misstänksamhet – en ståndpunkt som skulle kriminalisera e-postklienter och webbläsare, eller vilken annan tjänst som helst som en presumtiv grindvakt råkar ogilla.

Denna kontrovers visar att Cloudflares system är helt otillräckliga för att skilja på legitima AI-assistenter och faktiska hot. Om du inte kan skilja på en hjälpsam digital assistent och en skadtskrapare bör du förmodligen inte fatta beslut om vad som utgör legitim webbtrafik.

Denna överblockering drabbar alla. Tänk dig någon som använder AI för att efterforska medicinska tillstånd, jämföra produktrecensioner eller ta del av nyheter från flera olika källor. Om deras assistent blockeras som en "skadlig bot" förlorar de tillgång till värdefull information.

Resultatet är ett uppdelat internet där din tillgång inte beror på dina behov, utan på om dina valda verktyg har välsignats av infrastrukturkontrollörer som bryr sig mer om dina medel. Detta undergräver användarnas valfrihet och hotar det öppna internets tillgänglighet för innovativa tjänster som konkurrerar med etablerade gudar.

Ett rop på klarhet: Hur användaragenter faktiskt fungerar

En AI-assistent fungerar precis som en mänsklig assistent. När du ställer en fråga till en AI-assistent som kräver aktuell information vet de inte svaret på förhand. De slår upp det åt dig för att slutföra den uppgift du har bett om.

På Perplexity och alla andra agentbaserade AI-plattformar sker detta i realtid, som svar på din begäran, och informationen används omedelbart för att svara på din fråga. Den lagras inte i enorma databaser för framtida bruk och används inte heller för att träna AI-modeller.

Användardrivna agenter agerar bara när användare gör specifika förfrågningar, och de hämtar bara det innehåll som krävs för att uppfylla dessa förfrågningar. Detta är den grundläggande skillnaden mellan en användaragent och en bot.

Ett direkt bemötande av Cloudflare: En fråga om kompetens

Cloudflares senaste blogginlägg lyckades få nästan allting om hur moderna AI-assistenter faktiskt fungerar om bakfoten.

Utöver att missförstå att 20–25 miljoner användaragentförfrågningar inte är skrapor, hävdade Cloudflare att Perplexity ägnade sig åt "dold crawlning" och använde dolda bottar och utandningstaktiker för att kringgå webbplatsrestriktioner. Men de tekniska fakta talar ett annat språk.

Det verkar som om Cloudflare har förväxlat Perplexity med 3–6 miljoner dagliga förfrågningar av orelaterad trafik från BrowserBase, en molnbaserad webbläsartjänst från tredje part som Perplexity endast sporadiskt använder för mycket specialiserade uppgifter (mindre än 45 000 dagliga förfrågningar).

Eftersom Cloudflare bekvämt nog har döljt sin metodologi och avböjt att besvara frågor som hjälper våra team att förstå, kan vi bara begränsa detta till två möjliga förklaringar.

Cloudflare behövde ett smart PR-ögonblick och vi – deras egen kund – råkade vara ett användbart namn för att ge dem det.

Cloudflare felaktigt tillskrev 3–6 miljoner dagliga förfrågningar från BrowserBases automatiserade webbläsartjänst till Perplexity, ett grundläggande trafikanalysfel som är särskilt pinsamt för ett företag vars kärnverksamhet är att förstå och kategorisera webbtrafik.

Oavsett vilken förklaring som är sann är de tekniska felen i Cloudflares analys inte bara pinsamma – de är diskvalificerande. När man felaktigt tillskriver miljontals förfrågningar, publicerar helt felaktiga tekniska diagram och uppvisar en fundamental oförståelse för hur moderna AI-assistenter fungerar, har man förverkat alla anspråk på expertis inom detta Space.

Denna kontrovers visar att Cloudflares system är helt otillräckliga för att skilja på legitima AI-assistenter och faktiska hot. Om du inte kan skilja på en hjälpsam digital assistent och en skadlig skrapa bör du förmodligen inte fatta beslut om vad som utgör legitim webbtrafik.

Det väsen som omger denna fråga visar också att Cloudflares ledning antingen är farligt felinformerad om grunderna inom AI, eller helt enkelt mer stil än substans. Detta är viktigt eftersom Cloudflares kunder innefattar företag av alla slag, företag som inte har råd att anförtro sin infrastruktur åt charlatanartade PR-jippon.

Ännu mer pinsamt är att Cloudflare publicerade ett tekniskt diagram som påstods visa "Perplexitys crawl-arbetsflöde" och som inte har någon likhet med hur Perplexity faktiskt fungerar. Om Cloudflare verkligen var intresserade av att förstå den data de såg, hur våra system fungerar eller dessa grundläggande begrepp som beskrivs ovan, kunde de ha gjort det vi uppmanar alla Perplexity-användare att göra. Bara fråga.