Agen atau bot? Memahami AI di web terbuka

Seiring berkembangnya internet, cara kita mengakses dan berinteraksi dengan informasi juga ikut berkembang. Pada masa-masa awal web, bot otomatis memainkan peran yang sederhana dan mudah dipahami: mengindeks situs untuk pencarian, memeriksa tautan, atau mengikis data berdasarkan aturan jelas yang ditetapkan oleh pemilik situs web.

Namun, dengan bangkitnya asisten bertenaga AI dan agen yang digerakkan oleh pengguna, batasan antara apa yang dianggap sebagai "bot biasa" dan apa yang melayani kebutuhan langsung orang sungguhan menjadi semakin kabur.

Kebangkitan Asisten Digital

Asisten AI modern bekerja secara fundamental dengan cara yang sangat berbeda dari perayapan web tradisional. Ketika Anda mengajukan pertanyaan kepada Perplexity yang memerlukan informasi terkini—misalnya, "Bagaimana ulasan terbaru untuk restoran baru itu?"—AI tersebut tidak menyimpan informasi itu di dalam database di suatu tempat. Sebaliknya, AI membuka situs web yang relevan, membaca kontennya, dan memberikan ringkasan yang disesuaikan dengan pertanyaan spesifik Anda.

Hal ini pada dasarnya berbeda dari perayapan web tradisional, di mana perayap secara sistematis mengunjungi jutaan halaman untuk membangun database besar, terlepas dari apakah ada orang yang meminta informasi spesifik tersebut atau tidak. Sebaliknya, agen yang digerakkan oleh pengguna hanya mengambil konten ketika orang sungguhan meminta sesuatu yang spesifik, dan mereka langsung menggunakan konten tersebut untuk menjawab pertanyaan pengguna. Agen yang digerakkan oleh pengguna milik Perplexity tidak menyimpan informasi tersebut atau melatih model dengannya.

Mengapa Perbedaan Ini Penting

Perbedaan antara perayapan otomatis dan pengambilan yang digerakkan oleh pengguna bukan sekadar masalah teknis—ini tentang siapa yang berhak mengakses informasi di web terbuka. Ketika mesin pencari Google merayapi untuk membangun indeksnya, itu berbeda dari saat mereka mengambil halaman web karena Anda meminta pratinjau. "Pengambil yang dipicu pengguna" milik Google memprioritaskan pengalaman Anda di atas batasan robots.txt karena permintaan ini terjadi atas nama Anda.

Hal yang sama berlaku untuk asisten AI. Ketika Perplexity mengambil halaman web, itu karena Anda mengajukan pertanyaan spesifik yang memerlukan informasi terkini. Konten tersebut tidak disimpan untuk pelatihan—tetapi langsung digunakan untuk menjawab pertanyaan Anda.

Ketika perusahaan seperti Cloudflare salah mengkarakterisasi asisten AI yang digerakkan oleh pengguna sebagai bot berbahaya, mereka berpendapat bahwa alat otomatis apa pun yang melayani pengguna harus dicurigai—posisi yang akan mengkriminalisasi klien email dan peramban web, atau layanan apa pun yang dianggap tidak disukai oleh calon penjaga gerbang.

Kontroversi ini mengungkapkan bahwa sistem Cloudflare pada dasarnya tidak memadai untuk membedakan antara asisten AI yang sah dan ancaman nyata. Jika Anda tidak dapat membedakan antara asisten digital yang membantu dan pengikis berbahaya, maka Anda mungkin seharusnya tidak membuat keputusan tentang apa yang merupakan lalu lintas web yang sah.

Pemblokiran berlebihan ini merugikan semua orang. Pertimbangkan seseorang yang menggunakan AI untuk meneliti kondisi medis, membandingkan ulasan produk, atau mengakses berita dari berbagai sumber. Jika asisten mereka diblokir sebagai "bot berbahaya", mereka akan kehilangan akses ke informasi berharga.

Hasilnya adalah internet dua tingkat di mana akses Anda tidak bergantung pada kebutuhan Anda, melainkan pada apakah alat pilihan Anda telah disetujui oleh pengendali infrastruktur, yang lebih peduli pada cara Anda. Hal ini merusak pilihan pengguna dan mengancam aksesibilitas web terbuka untuk layanan inovatif yang bersaing dengan raksasa mapan.

Seruan untuk Kejelasan: Cara Kerja Agen Pengguna Sebenarnya

Asisten AI bekerja persis seperti asisten manusia. Ketika Anda mengajukan pertanyaan kepada asisten AI yang memerlukan informasi terkini, mereka tidak langsung mengetahui jawabannya. Mereka mencarinya untuk Anda guna menyelesaikan tugas apa pun yang Anda minta.

Di Perplexity dan semua platform AI agen lainnya, hal ini terjadi secara real-time, sebagai respons atas permintaan Anda, dan informasi tersebut langsung digunakan untuk menjawab pertanyaan Anda. Informasi itu tidak disimpan dalam database besar untuk penggunaan masa depan, dan tidak digunakan untuk melatih model AI.

Agen yang digerakkan oleh pengguna hanya bertindak ketika pengguna membuat permintaan khusus, dan mereka hanya mengambil konten yang diperlukan untuk memenuhi permintaan tersebut. Ini adalah perbedaan mendasar antara agen pengguna dan bot.

Secara Langsung Menanggapi Cloudflare: Pertanyaan tentang Kompetensi

Postingan blog terbaru Cloudflare hampir salah mengartikan segala hal tentang cara kerja asisten AI modern yang sebenarnya.

Selain salah memahami bahwa 20-25 juta permintaan agen pengguna bukanlah pengikis, Cloudflare mengklaim bahwa Perplexity terlibat dalam "perayapan sembunyi-sembunyi" (stealth crawling), menggunakan bot tersembunyi dan taktik penyamaran untuk melewati pembatasan situs web. Namun, fakta teknis menceritakan kisah yang berbeda.

Tampaknya Cloudflare salah mengira Perplexity dengan 3-6 juta permintaan harian dari lalu lintas yang tidak terkait dari BrowserBase, layanan peramban cloud pihak ketiga yang hanya kadang-kadang digunakan Perplexity untuk tugas-tugas yang sangat khusus (kurang dari 45.000 permintaan harian).

Karena Cloudflare dengan sengaja mengaburkan metodologi mereka dan menolak menjawab pertanyaan untuk membantu tim kami memahami, kami hanya dapat mempersempit masalah ini menjadi dua kemungkinan penjelasan.

Cloudflare membutuhkan momen publisitas yang cerdas dan kami—pelanggan mereka sendiri—kebetulan menjadi nama yang berguna untuk mendapatkannya.

Cloudflare secara fundamental salah mengatribusikan 3-6 juta permintaan harian dari layanan peramban otomatis BrowserBase ke Perplexity, sebuah kegagalan analisis lalu lintas mendasar yang sangat memalukan bagi perusahaan yang bisnis utamanya adalah memahami dan mengkategorikan lalu lintas web.

Penjelasan mana pun yang benar, kesalahan teknis dalam analisis Cloudflare bukan sekadar memalukan—tetapi mendiskualifikasi. Ketika Anda salah mengatribusikan jutaan permintaan, menerbitkan diagram teknis yang sama sekali tidak akurat, dan menunjukkan kesalahpahaman mendasar tentang cara kerja asisten AI modern, Anda telah kehilangan hak atas klaim keahlian apa pun di ruang ini.

Kontroversi ini mengungkapkan bahwa sistem Cloudflare pada dasarnya tidak memadai untuk membedakan antara asisten AI yang sah dan ancaman nyata. Jika Anda tidak dapat membedakan antara asisten digital yang membantu dan pengikis berbahaya, maka Anda mungkin seharusnya tidak membuat keputusan tentang apa yang merupakan lalu lintas web yang sah.

Pemberitaan yang menghebohkan seputar masalah ini juga mengungkapkan bahwa kepemimpinan Cloudflare memiliki informasi yang salah secara berbahaya mengenai dasar-dasar AI, atau sekadar lebih banyak gaya daripada substansi. Hal ini penting karena pelanggan Cloudflare mencakup bisnis dari berbagai jenis, perusahaan yang tidak mampu mempercayakan infrastruktur mereka pada aksi publisitas murahan.

Bahkan yang lebih memalukan, Cloudflare menerbitkan diagram teknis yang diduga menunjukkan "alur kerja perayapan Perplexity" yang sama sekali tidak menyerupai cara kerja Perplexity yang sebenarnya. Jika Cloudflare benar-benar tertarik memahami data yang mereka lihat, cara kerja sistem kami, atau konsep mendasar yang diuraikan di atas, mereka bisa melakukan apa yang kami dorong untuk dilakukan oleh semua pengguna Perplexity. Cukup tanyakan.