Agenter eller botter? Forstå AI på det åbne internet

Efterhånden som internettet udvikler sig, gør de måder, hvorpå vi tilgår og interagerer med information, det også. I nettets tidligste dage spillede automatiserede botter en simpel, velkendt rolle: de indekserede sider til søgning, tjekkede links eller indsamlede data i henhold til klare regler fastsat af webstedssejere.

Men med fremkomsten af AI-drevne assistenter og brugerdrevne agenter er grænsen mellem det, der tæller som "bare en bot", og det, der opfylder reelle menneskers umiddelbare behov, blevet stadigt mere udvisket.

Fremkomsten af digitale assistenter

Moderne AI-assistenter fungerer fundamentalt anderledes end traditionel webcrawling. Når du stiller Perplexity et spørgsmål, der kræver dagsaktuel information – lad os sige: "Hvad er de seneste anmeldelser af den nye restaurant?" – har AI'en ikke allerede den information liggende i en database et sted. I stedet går den til de relevante websteder, læser indholdet og bringer et resumé tilbage, der er skræddersyet til dit specifikke spørgsmål.

Dette er fundamentalt anderledes end traditionel webcrawling, hvor crollere systematisk besøger millioner af sider for at opbygge massive databaser, uanset om nogen har spurgt efter netop den information eller ej. Brugerdrevne agenter henter derimod kun indhold, når en rigtig person anmoder om noget specifikt, og de bruger det indhold med det samme til at besvare brugerens spørgsmål. Perplexity’s brugerdrevne agenter gemmer ikke informationen og træner ikke på den.

Hvorfor denne sondring er vigtig

Forskellen mellem automatisk crawling og brugerdrevet hentning er ikke kun teknisk – det handler om, hvem der får adgang til information på det åbne internet. Når Googles søgemaskine crawler for at opbygge sit indeks, er det anderledes end, når den henter en webside, fordi du har bedt om en forhåndsvisning. Googles "brugerudløste hentningsværktøjer" prioriterer din oplevelse over robots.txt-restriktioner, fordi disse anmodninger sker på dine vegne.

Det samme gælder for AI-assistenter. Når Perplexity henter en webside, er det fordi, du har stillet et specifikt spørgsmål, der kræver aktuel information. Indholdet gemmes ikke til træning – det bruges med det samme til at besvare dit spørgsmål.

Når virksomheder som Cloudflare fejlagtigt fremstiller brugerdrevne AI-assistenter som ondsindede botter, argumenterer de for, at ethvert automatiseret værktøj, der betjener brugere, bør være mistænkt – en holdning der ville kriminalisere e-mailklienter og webbrowsere eller enhver anden tjeneste, som en potentiel gatekeeper besluttede, at de ikke bryder sig om.

Denne kontrovers afslører, at Cloudflares systemer er fundamentalt utilstrækkelige til at skelne mellem legitime AI-assistenter og reelle trusler. Hvis man ikke kan kende forskel på en nyttig digital assistent og en ondsindet scraper, bør man nok ikke træffe beslutninger om, hvad der udgør legitim webtrafik.

Denne overblokering skader alle. Tænk på en person, der bruger AI til at undersøge medicinske tilstande, sammenligne produktanmeldelser eller få adgang til nyheder fra flere kilder. Hvis deres assistent bliver blokeret som en "ondsindet bot", mister de adgangen til værdifuld information.

Resultatet er et to-lags internet, hvor din adgang ikke afhænger af dine behov, men af om dine valgte værktøjer er blevet velsignet af infrastrukturkontrollører, som bekymrer sig mere om dine midler. Dette underminerer brugernes valgfrihed og truer det åbne internets tilgængelighed for innovative tjenester, der konkurrerer med etablerede giganter.

Et opkald til klarhed: Hvordan brugeragenter faktisk fungerer

En AI-assistent fungerer præcis som en menneskelig assistent. Når du stiller en AI-assistent et spørgsmål, der kræver aktuel information, kender de ikke svaret i forvejen. De slår det op for dig for at fuldføre den opgave, du har bedt om.

På Perplexity og alle andre agentbaserede AI-platforme sker dette i realtid, som svar på din anmodning, og informationen bruges med det samme til at besvare dit spørgsmål. Den gemmes ikke i massive databaser til fremtidig brug, og den bruges ikke til at træne AI-modeller.

Brugerdrevne agenter handler kun, når brugerne foretager specifikke anmodninger, og de henter kun det indhold, der er nødvendigt for at opfylde disse anmodninger. Dette er den fundamentale forskel mellem en brugeragent og en bot.

Direkte henvendelse til Cloudflare: Et spørgsmål om kompetence

Cloudflares seneste blogindlæg formåede at få næsten alt galt om, hvordan moderne AI-assistenter faktisk fungerer.

Ud over at misforstå, at 20-25 millioner brugeragentanmodninger ikke er scraper-værktøjer, hævdede Cloudflare, at Perplexity udøvede "stealth crawling" ved hjælp af skjulte botter og efterligningstaktik for at omgå webstedets begrænsninger. Men de tekniske fakta fortæller en anden historie.

Det ser ud til, at Cloudflare forvekslede Perplexity med 3-6 millioner daglige anmodninger af urelateret trafik fra BrowserBase, en tredjeparts cloud-browsertjeneste, som Perplexity kun lejlighedsvis bruger til meget specialiserede opgaver (mindre end 45.000 daglige anmodninger).

Da Cloudflare belejligt nok har tilsløret deres metodologi og nægtet at besvare spørgsmål, der kunne hjælpe vores teams med at forstå, kan vi kun indsnævre dette til to mulige forklaringer.

Cloudflare havde brug for et smart PR-øjeblik, og vi – deres egen kunde – tilfældigvis var et nyttigt navn til at skaffe dem det.

Cloudflare tillagde fundamentalt 3-6 millioner daglige anmodninger fra BrowserBases automatiserede browsertjeneste til Perplexity, en helt igennem basal trafikanalysefejl, der er særligt pinlig for en virksomhed, hvis kerneforretning er at forstå og kategorisere webtrafik.

Uanset hvilken forklaring der er sandheden, er de tekniske fejl i Cloudflares analyse ikke bare pinlige – de diskvalificerer dem. Når man fejlagtigt tilskriver millioner af anmodninger, udgiver fuldstændig unøjagtige tekniske diagrammer og udviser en grundlæggende misforståelse af, hvordan moderne AI-assistenter fungerer, har man forspildt enhver ret til at kalde sig ekspert på dette Space.

Denne kontrovers afslører, at Cloudflares systemer er fundamentalt utilstrækkelige til at skelne mellem legitime AI-assistenter og reelle trusler. Hvis man ikke kan kende forskel på en nyttig digital assistent og en ondsindet scraper, bør man nok ikke træffe beslutninger om, hvad der udgør legitim webtrafik.

Larmen omkring dette problem afslører også, at Cloudflares ledelse enten er farligt fejlinformeret om grundprincipperne for AI eller simpelthen er mere blændværk end cloud. Dette er vigtigt, fordi Cloudflares kunder omfatter virksomheder af alle typer, virksomheder der ikke har råd til at betro deres infrastruktur til charlatan-PR-stunts.

Endnu mere pinligt er det, at Cloudflare offentliggjorte et teknisk diagram, der angiveligt skulle vise "Perplexity's crawling arbejdsproces", som ikke har nogen lighed med, hvordan Perplexity rent faktisk fungerer. Hvis Cloudflare virkelig var interesserede i at forstå de data, de så, hvordan vores systemer fungerer, eller disse grundlæggende begreber skitseret ovenfor, kunne de have gjort det, vi opfordrer alle Perplexity-brugere til at gøre. Bare spørg.