Agenti ili botovi? Razumijevanje umjetne inteligencije na otvorenom webu

Kako se internet razvija, tako se mijenjaju i načini na koje pristupamo informacijama i komuniciramo s njima. U najranijim danima weba, automatizirani botovi imali su jednostavnu, dobro shvaćenu ulogu: indeksiranje stranica za pretraživanje, provjeru poveznica ili prikupljanje podataka prema jasnim pravilima koja su postavili vlasnici web-mjesta.

Međutim, s usponom pomoćnika s umjetnom inteligencijom i korisničkih agenata, granica između onoga što se smatra "samo botom" i onoga što služi neposrednim potrebama stvarnih ljudi postaje sve nejasnija.

Uspon digitalnih pomoćnika

Suvremeni AI pomoćnici rade bitno drugačije od tradicionalnog pretraživanja weba. Kada postavite Perplexity pitanje koje zahtijeva trenutne informacije – recimo, "Koje su najnovije recenzije za taj novi restoran?" – umjetna inteligencija već nema te informacije pohranjene negdje u bazi podataka. Umjesto toga, odlazi na relevantna web-mjesta, čita sadržaj i donosi sažetak prilagođen vašem konkretnom pitanju.

Ovo se temeljito razlikuje od tradicionalnog pretraživanja weba, u kojem programi za pretraživanje sustavno posjećuju milijune stranica kako bi izgradili masivne baze podataka, bez obzira je li tko zatražio tu određenu informaciju ili ne. Korisnički agenti, s druge strane, dohvaćaju sadržaj samo kada stvarna osoba zatraži nešto specifično i koriste taj sadržaj odmah kako bi odgovorili na korisnikovo pitanje. Perplexityjevi korisnički agenti ne pohranjuju informacije niti se njima treniraju.

Zašto je ova razlika važna

Razlika između automatiziranog pretraživanja i korisničkog dohvaćanja nije samo tehnička – radi se o tome tko dobiva pristup informacijama na otvorenom webu. Kada Googleova tražilica pretražuje kako bi izgradila svoj indeks, to se razlikuje od situacije kada dohvaća web-stranicu jer ste zatražili pretpregled. Googleovi "dohvatitelji pokrenuti od strane korisnika" daju prednost vašem iskustvu nad ograničenjima datoteke robots.txt jer se ovi zahtjevi događaju u vaše ime.

Isto vrijedi i za AI pomoćnike. Kada Perplexity dohvati web-stranicu, to čini zato što ste postavili određeno pitanje koje zahtijeva trenutne informacije. Sadržaj se ne pohranjuje za treniranje – koristi se odmah kako bi se odgovorilo na vaše pitanje.

Kada tvrtke poput Cloudflarea pogrešno okarakteriziraju korisničke AI pomoćnike kao zlonamjerne botove, one tvrde da bi svaki automatizirani alat koji služi korisnicima trebao biti sumnjiv – stav koji bi kriminalizirao klijente e-pošte i web-preglednike, ili bilo koju drugu uslugu za koju bi potencijalni čuvar vrata odlučio da mu se ne sviđa.

Ova kontroverza otkriva da su Cloudflareovi sustavi u osnovi neadekvatni za razlikovanje između legitimnih AI pomoćnika i stvarnih prijetnji. Ako ne možete razlikovati koristan digitalni pomoćnik od zlonamjernog sakupljača podataka, onda vjerojatno ne biste trebali donositi odluke o tome što predstavlja legitimni web-promet.

Ovo pretjerano blokiranje šteti svima. Uzmite u obzir nekoga tko koristi umjetnu inteligenciju za istraživanje medicinskih stanja, usporedbu recenzija proizvoda ili pristup vijestima iz više izvora. Ako njihov pomoćnik bude blokiran kao "zlonamjerni bot", gube pristup vrijednim informacijama.

Rezultat je dvoslojni internet gdje vaš pristup ne ovisi o vašim potrebama, već o tome jesu li alati koje ste odabrali blagoslovili kontrolori infrastrukture, kojima je više stalo do vaših sredstava. To potkopava izbor korisnika i ugrožava dostupnost otvorenog weba za inovativne usluge koje se natječu s utvrđenim divovima.

Poziv na jasnoću: kako korisnički agenti zapravo rade

AI pomoćnik radi baš kao i ljudski pomoćnik. Kada postavite AI pomoćniku pitanje koje zahtijeva trenutne informacije, oni već ne znaju odgovor. Potražit će ga umjesto vas kako bi dovršili bilo koji zadatak koji ste zatražili.

Na Perplexityju i svim drugim agencijskim AI platformama, to se događa u stvarnom vremenu, kao odgovor na vaš zahtjev, a informacije se koriste odmah kako bi se odgovorilo na vaše pitanje. Ne pohranjuju se u masivnim bazama podataka za buduću upotrebu i ne koriste se za treniranje AI modela.

Korisnički agenti djeluju samo kada korisnici naprave specifične zahtjeve i dohvaćaju samo sadržaj potreban za ispunjavanje tih zahtjeva. To je temeljna razlika između korisničkog agenta i bota.

Izravno obraćanje Cloudflareu: pitanje kompetentnosti

Nedavni blog post Cloudflarea uspio je pogriješiti u gotovo svemu o tome kako moderni AI pomoćnici zapravo rade.

Pored nerazumijevanja da 20-25 milijuna zahtjeva korisničkih agenata nisu sakupljači podataka, Cloudflare je tvrdio da Perplexity sudjeluje u "skrivenom pretraživanju", koristeći skrivene botove i taktike lažiranja identiteta kako bi zaobišao ograničenja web-mjesta. No, tehničke činjenice govore drugačiju priču.

Čini se da je Cloudflare pomiješao Perplexity s 3-6 milijuna dnevnih zahtjeva nepovezanog prometa s BrowserBasea, usluge računalnog preglednika treće strane koju Perplexity koristi samo povremeno za vrlo specijalizirane zadatke (manje od 45.000 dnevnih zahtjeva).

Budući da je Cloudflare prikladno zamaglio svoju metodologiju i odbio odgovoriti na pitanja koja bi našim timovima pomogla da shvate, možemo to suziti samo na dva moguća objašnjenja.

Cloudflare je trebao pametan publicistički trenutak, a mi – njihov vlastiti kupac – slučajno smo bili korisno ime da ga dobiju.

Cloudflare je u potpunosti pogrešno pripisao 3-6 milijuna dnevnih zahtjeva od BrowserBaseove usluge automatiziranog preglednika Perplexityju, što je osnovni neuspjeh analize prometa koji je posebno neugodan za tvrtku čija je osnovna djelatnost razumijevanje i kategorizacija web-prometa.

Koje god objašnjenje bilo istina, tehničke pogreške u Cloudflareovoj analizi nisu samo neugodne – one su diskvalificirajuće. Kada pogrešno pripišete milijune zahtjeva, objavite potpuno netočne tehničke dijagrame i pokažete temeljno nerazumijevanje načina na koji moderni AI pomoćnici rade, izgubili ste svako pravo na stručnost u ovom prostoru.

Ova kontroverza otkriva da su Cloudflareovi sustavi u osnovi neadekvatni za razlikovanje između legitimnih AI pomoćnika i stvarnih prijetnji. Ako ne možete razlikovati koristan digitalni pomoćnik od zlonamjernog sakupljača podataka, onda vjerojatno ne biste trebali donositi odluke o tome što predstavlja legitimni web-promet.

Buka oko ovog pitanja također otkriva da je vodstvo Cloudflarea ili opasno dezinformirano o osnovama umjetne inteligencije, ili jednostavno više šminke nego oblaka. To je važno jer Cloudflareovi klijenti uključuju tvrtke svih vrsta, kompanije koje si ne mogu priuštiti da povjere svoju infrastrukturu šarlatanskim publicističkim trikovima.

Još neugodnije, Cloudflare je objavio tehnički dijagram koji navodno prikazuje "tijek rada pretraživanja za Perplexity" koji nema nikakve veze s načinima na koje Perplexity stvarno radi. Da je Cloudflare stvarno bio zainteresiran za razumijevanje podataka koje su vidjeli, načina na koji naši sustavi rade ili ovih temeljnih koncepata navedenih iznad, mogli su učiniti ono što potičemo sve korisnike Perplexityja da učine. Jednostavno pitati.