Agenti ili botovi? Razumevanje veštačke inteligencije na otvorenom vebu

Kako se internet razvija, tako se razvijaju i načini na koje pristupamo informacijama i komuniciramo s njima. U najranijim danima veba, automatizovani botovi imali su jednostavnu, dobro shvaćenu ulogu: indeksiranje sajtova za pretragu, proveru linkova ili prikupljanje podataka u skladu sa jasnim pravilima koja su postavili vlasnici veb-sajta.

Međutim, sa usponom pomoćnika sa veštačkom inteligencijom i agenata koje pokreću korisnici, granica između onoga što se računa kao "samo bot" i onoga što služi neposrednim potrebama stvarnih ljudi postala je sve nejasnija.

Uspon digitalnih pomoćnika

Moderni AI pomoćnici funkcionišu suštinski drugačije od tradicionalnog veb-krooling-a. Kada postavite pitanje Perplexity-ju koje zahteva trenutne informacije – recimo, "Kakve su najnovije recenzije za taj novi restoran?" – veštačka inteligencija već nema te informacije u nekoj bazi podataka. Umesto toga, ona posećuje relevantne veb-lokacije, čita sadržaj i donosi rezime prilagođen vašem konkretnom pitanju.

Ovo se suštinski razlikuje od tradicionalnog veb-krooling-a, u kojem programi za pretraživanje sistematski posećuju milione stranica kako bi izgradili masivne baze podataka, bez obzira na to da li je ikko tražio te specifične informacije ili ne. Agenti koje pokreću korisnici, s druge strane, preuzimaju sadržaj samo kada stvarna osoba zatraži nešto specifično i koriste taj sadržaj odmah da bi odgovorili na pitanje korisnika. Perplexity-jevi agenti koje pokreću korisnici ne skladište informacije niti ih koriste za obuku.

Zašto je ova razlika važna

Razlika između automatizovanog krooling-a i preuzimanja koje pokreće korisnik nije samo tehnička – reč je o tome ko ima pravo pristupa informacijama na otvorenom vebu. Kada Google-ov pretraživač vrši krooling radi izgradnje svog indeksa, to se razlikuje od situacije kada preuzima veb-stranicu zato što ste zatražili pregled. Google-ovi "skupljači podataka pokrenuti od strane korisnika" daju prednost vašem iskustvu nad ograničenjima robots.txt datoteke jer se ovi zahtevi dešavaju u vaše ime.

Isto važi i za AI pomoćnike. Kada Perplexity preuzme veb-stranicu, to čini zato što ste postavili određeno pitanje koje zahteva aktuelne informacije. Sadržaj se ne skladišti radi obuke – već se koristi odmah da bi se odgovorilo na vaše pitanje.

Kada kompanije poput Cloudflare-a pogrešno okarakterišu AI pomoćnike koje pokreću korisnici kao zlonamerne botove, one tvrde da bilo koji automatizovani alat koji služi korisnicima treba da bude sumnjiv – stav koji bi kriminalizovao imejl klijente i veb-pretraživače, ili bilo koju drugu uslugu za koju bi potencijalni čuvar kapije odlučio da mu se ne sviđa.

Ova kontroverza otkriva da su sistemi kompanije Cloudflare suštinski neadekvatni za razlikovanje između legitimnih AI pomoćnika i stvarnih pretnji. Ako ne možete da razlikujete koristan digitalni pomoćnik od zlonamernog skrejpera, onda verovatno ne biste trebali da donosite odluke o tome šta predstavlja legitiman veb-saobraćaj.

Ovo prekomerno blokiranje šteti svima. Uzmite u obzir nekoga ko koristi veštačku inteligenciju za istraživanje zdravstvenih stanja, poređenje recenzija proizvoda ili pristup vestima iz više izvora. Ako njihov pomoćnik bude blokiran kao "zlonamerni bot", oni gube pristup vrednim informacijama.

Rezultat je dvoslojni internet u kojem vaš pristup zavisi ne od vaših potreba, već od toga da li su alati koje ste izabrali blagosloveni od strane kontrolora infrastrukture, kojima je više stalo do vaših sredstava. Ovo potkopava izbor korisnika i ugrožava dostupnost otvorenog veba za inovativne usluge koje se takmiče sa uspostavljenim gigantima.

Poziv na jasnoću: Kako korisnički agenti zapravo rade

AI pomoćnik radi isto kao i ljudski pomoćnik. Kada postavite pitanje AI pomoćniku koje zahteva aktuelne informacije, oni već ne znaju odgovor. Oni to potraže za vas kako bi završili bilo koji zadatak koji ste zatražili.

Na platformi Perplexity i svim drugim agentskim AI platformama, ovo se dešava u realnom vremenu, kao odgovor na vaš zahtev, a informacije se koriste odmah da bi se odgovorilo na vaše pitanje. One se ne skladište u masivnim bazama podataka za kasniju upotrebu i ne koriste se za obuku AI modela.

Agenti koje pokreću korisnici deluju samo kada korisnici podnesu specifične zahteve i preuzimaju samo sadržaj koji je neophodan za ispunjenje tih zahteva. Ovo je suštinska razlika između korisničkog agenta i bota.

Direktno obraćanje Cloudflare-u: Pitanje kompetentnosti

Nedavni blog post kompanije Cloudflare uspeo je da pogreši skoro sve u vezi sa tim kako moderni AI pomoćnici zapravo funkcionišu.

Pored nerazumevanja da 20-25 miliona zahteva korisničkih agenata nisu skrejperi, Cloudflare je tvrdio da Perplexity učestvuje u "skrivenom kroolingu" (stealth crawling), koristeći skrivene botove i taktike lažiranja identiteta kako bi zaobišao ograničenja veb-sajta. Ali tehničke činjenice govore drugačiju priču.

Izgleda da je Cloudflare pomešao Perplexity sa 3-6 miliona dnevnih zahteva nepovezanog saobraćaja sa BrowserBase-a, usluge klaud pretraživača treće strane koju Perplexity koristi samo povremeno za visoko specijalizovane zadatke (manje od 45.000 dnevnih zahteva).

Pošto je Cloudflare pogodnost radi zamaglio svoju metodologiju i odbio da odgovori na pitanja koja pomažu našim timovima da razumeju, možemo samo da suzimo ovo na dva moguća objašnjenja.

Cloudflare-u je bio potreban pametan publicitet i mi – njihov sopstveni korisnik – slučajno smo bili korisno ime da ga dobiju.

Cloudflare je suštinski pogrešno pripisao 3-6 miliona dnevnih zahteva iz BrowserBase-ove automatizovane usluge pretraživača kompaniji Perplexity, što je osnovni propust u analizi saobraćaja koji je posebno sramotan za kompaniju čija je osnovna delatnost razumevanje i kategorizacija veb-saobraćaja.

Koje god objašnjenje da je istina, tehničke greške u analizi kompanije Cloudflare nisu samo sramotne – one diskvalifikuju. Kada pogrešno pripišete milione zahteva, objavite potpuno netačne tehničke dijagrame i pokažete suštinsko nerazumevanje načina na koji moderni AI pomoćnici rade, izgubili ste svako pravo na stručnost u ovom prostoru.

Ova kontroverza otkriva da su sistemi kompanije Cloudflare suštinski neadekvatni za razlikovanje između legitimnih AI pomoćnika i stvarnih pretnji. Ako ne možete da razlikujete koristan digitalni pomoćnik od zlonamernog skrejpera, onda verovatno ne biste trebali da donosite odluke o tome šta predstavlja legitiman veb-saobraćaj.

Buka oko ovog pitanja takođe otkriva da je rukovodstvo kompanije Cloudflare ili opasno dezinformisano o osnovama veštačke inteligencije, ili jednostavno ima više stila nego oblaka (more flair than cloud). Ovo je važno jer klijenti kompanije Cloudflare uključuju preduzeća svih vrsta, kompanije koje ne mogu sebi da priuste da veruju svojoj infrastrukturi uz šarlatanske publicističke trikove.

Još sramotnije, Cloudflare je objavio tehnički dijagram koji navodno prikazuje "tok posla krooling-a kompanije Perplexity" koji nema nikakve sličnosti sa tim kako Perplexity stvarno radi. Da je Cloudflare zaista bio zainteresovan za razumevanje podataka koje su videli, načina na koji naši sistemi rade ili ovih osnovnih koncepata navedenih iznad, mogli su da urade ono što ohrabrujemo sve korisnike Perplexity-ja da urade. Samo pitajte.