เอเจนต์หรือบอท? ทำความเข้าใจ AI บนเว็บเปิด

ในขณะที่อินเทอร์เน็ตมีการพัฒนาไป วิธีที่เราเข้าถึงและโต้ตอบกับข้อมูลก็เปลี่ยนไปด้วย ในยุคแรกเริ่มของเว็บ บอทอัตโนมัติมีบทบาทที่เรียบง่ายและเข้าใจได้ง่าย นั่นคือ การทำดัชนีเว็บไซต์สำหรับการค้นหา ตรวจสอบลิงก์ หรือดึงข้อมูลตามกฎที่ชัดเจนซึ่งกำหนดโดยเจ้าของเว็บไซต์

แต่ด้วยการเติบโตของ1ผู้ช่วยที่ขับเคลื่อนด้วย AI และเอเจนต์ที่ขับเคลื่อนโดยผู้ใช้ เส้นแบ่งระหว่างสิ่งที่ถือว่าเป็น "แค่บอท" กับสิ่งที่ตอบสนองความต้องการเร่งด่วนของคนจริงๆ จึงเริ่มเลือนรางลงเรื่อยๆ

ผู้ช่วย AI สมัยใหม่ทำงานแตกต่างจากการรวบรวมข้อมูลเว็บไซต์แบบดั้งเดิมอย่างสิ้นเชิง เมื่อคุณถามคำถาม Perplexity ที่ต้องใช้ข้อมูลปัจจุบัน เช่น "รีวิวล่าสุดสำหรับร้านอาหารใหม่นั้นเป็นอย่างไรบ้าง?" AI จะไม่ได้มีข้อมูลนั้นอยู่ในฐานข้อมูลที่ไหนสักแห่งอยู่แล้ว แต่จะเข้าไปยังเว็บไซต์ที่เกี่ยวข้อง อ่านเนื้อหา และนำสรุปที่ปรับให้เข้ากับคำถามเฉพาะของคุณกลับมา

กระบวนการนี้แตกต่างอย่างสิ้นเชิงจากการทำเว็บโครลลิงแบบดั้งเดิม ซึ่งตัวรวบรวมข้อมูลจะเข้าชมหน้าเว็บหลายล้านหน้าอย่างเป็นระบบเพื่อสร้างฐานข้อมูลขนาดใหญ่ ไม่ว่าจะมีใครต้องการข้อมูลเฉพาะนั้นหรือไม่ก็ตาม ในทางตรงกันข้าม เอเจนต์ที่ขับเคลื่อนด้วยผู้ใช้จะดึงข้อมูลเฉพาะเมื่อมีคนจริงๆ ขอข้อมูลบางอย่าง และจะนำเนื้อหานั้นไปใช้ทันทีเพื่อตอบคำถามของผู้ใช้ เอเจนต์ที่ขับเคลื่อนด้วยผู้ใช้ของ Perplexity ไม่ได้จัดเก็บข้อมูลดังกล่าวหรือนำไปใช้ฝึกโมเดล

ความแตกต่างระหว่างการโครลอัตโนมัติกับการดึงข้อมูลตามคำขอของผู้ใช้นั้นไม่ใช่แค่เรื่องทางเทคนิค แต่เป็นเรื่องเกี่ยวกับว่าใครจะได้รับสิทธิ์เข้าถึงข้อมูลบนเว็บเปิด เมื่อเครื่องมือค้นหาของ Google ทำการโครลเพื่อสร้างดัชนี นั่นจะแตกต่างจากการดึงหน้าเว็บเพราะคุณขอตัวอย่าง ระบบดึงข้อมูลที่ "ทริกเกอร์โดยผู้ใช้" ของ Google จะให้ความสำคัญกับประสบการณ์ของคุณเหนือข้อจำกัดของ robots.txt เนื่องจากคำขอเหล่านี้เกิดขึ้นในนามของคุณ

ในทำนองเดียวกันกับผู้ช่วย AI เมื่อ Perplexity ดึงหน้าเว็บ นั่นเป็นเพราะคุณถามคำถามเฉพาะที่ต้องใช้ข้อมูลปัจจุบัน เนื้อหานั้นจะไม่ถูกจัดเก็บไว้เพื่อการฝึกฝน แต่จะถูกนำไปใช้ทันทีเพื่อตอบคำถามของคุณ

เมื่อบริษัทอย่าง Cloudflare บิดเบือนความหมายของผู้ช่วย AI ที่ขับเคลื่อนด้วยผู้ใช้ว่าเป็นบอทอัน 1พึงประสงค์ พวกเขากำลังอ้างว่าเครื่องมืออัตโนมัติใดๆ ที่ให้บริการผู้ใช้นั้นควรน่าสงสัย ซึ่งเป็นจุดยืนที่จะทำให้ไคลเอนต์อีเมลและเว็บเบราว์เซอร์กลายเป็นสิ่งผิดกฎหมาย หรือบริการอื่นๆ ที่ผู้พิทักษ์ประตูตัดสินใจว่าพวกเขาไม่ชอบ

ข้อขัดแย้งนี้เผยให้เห็นว่าระบบของ Cloudflare ขาดประสิทธิภาพอย่างยิ่งในการแยกแยะระหว่างผู้ช่วย AI ที่ถูกกฎหมายกับภัยคุกคามที่แท้จริง หากคุณไม่สามารถบอกความแตกต่างระหว่างดิจิทัลแอสซิสแตนต์ที่มีประโยชน์กับตัวขูดข้อมูลที่เป็นอันตรายได้ คุณก็ไม่ควรทำการตัดสินใจใดๆ เกี่ยวกับสิ่งที่จะถือว่าเป็นทราฟฟิกเว็บที่ถูกต้องตามกฎหมาย

การบล็อกมากเกินไปนี้ส่งผลกระทบต่อทุกคน ลองนึกถึงคนที่ใช้ AI เพื่อค้นคว้าเกี่ยวกับอาการป่วย เปรียบเทียบรีวิวสินค้า หรือเข้าถึงข่าวสารจากหลายแหล่ง หากผู้ช่วยของพวกเขาถูกบล็อกว่าเป็น "บอทอันตราย" พวกเขาจะสูญเสียการเข้าถึงข้อมูลที่มีคุณค่า

ผลลัพธ์ที่ได้คืออินเทอร์เน็ตแบบสองระดับ ซึ่งการเข้าถึงของคุณไม่ได้ขึ้นอยู่กับความต้องการของคุณ แต่ขึ้นอยู่กับว่าเครื่องมือที่คุณเลือกได้รับการอนุมัติจากผู้ควบคุมโครงสร้างพื้นฐานหรือไม่ ซึ่งพวกเขาจะใส่ใจกับวิธีการของคุณมากกว่า สิ่งนี้ทำลายทางเลือกของผู้ใช้และคุกคามการเข้าถึงเว็บเปิดสำหรับบริการที่เป็นนวัตกรรมใหม่ซึ่งกำลังแข่งขันกับยักษ์ใหญ่ที่มีอยู่เดิม

ผู้ช่วย AI ทำงานเหมือนกับผู้ช่วยที่เป็นมนุษย์ เมื่อคุณถามคำถามผู้ช่วย AI ที่ต้องใช้ข้อมูลปัจจุบัน พวกเขาจะไม่รู้คำตอบล่วงหน้า แต่พวกเขาจะค้นหาคำตอบให้คุณเพื่อทำงานที่คุณขอให้เสร็จสิ้น

บน Perplexity และแพลตฟอร์ม AI แบบเอเจนต์อื่นๆ ทั้งหมด สิ่งนี้เกิดขึ้นแบบเรียลไทม์ เพื่อตอบสนองต่อคำขอของคุณ และข้อมูลจะถูกนำไปใช้ทันทีเพื่อตอบคำถามของคุณ ข้อมูลจะไม่ถูกเก็บไว้ในฐานข้อมูลขนาดใหญ่เพื่อใช้ในอนาคต และจะไม่ถูกนำไปใช้ฝึกโมเดล AI

เอเจนต์ที่ขับเคลื่อนด้วยผู้ใช้จะดำเนินการต่อเมื่อผู้ใช้ส่งคำขอเฉพาะเจาะจง และจะดึงเฉพาะเนื้อหาที่จำเป็นเพื่อตอบสนองคำข่านั้นๆ เท่านั้น นี่คือความแตกต่างพื้นฐานระหว่างยูสเซอร์เอเจนต์กับบอท

บล็อกโพสต์ล่าสุดของ Cloudflare เข้าใจผิดเกือบทุกเรื่องเกี่ยวกับการทำงานที่แท้จริงของผู้ช่วย AI สมัยใหม่

นอกจากการเข้าใจผิดว่าคำขอยูสเซอร์เอเจนต์จำนวน 20-25 ล้านรายการไม่ใช่ตัวขูดข้อมูลแล้ว Cloudflare ยังอ้างว่า Perplexity มีส่วนร่วมในการ "โครลอย่างลับๆ" โดยใช้บอทซ่อนเร้นและเทคนิคการปลอมตัวเพื่อหลีกเลี่ยงข้อจำกัดของเว็บไซต์ แต่ข้อเท็จจริงทางเทคนิคกลับเล่าเรื่องราวที่แตกต่างออกไป

ดูเหมือนว่า Cloudflare จะสับสนระหว่าง Perplexity กับคำขอรายวันจำนวน 3-6 ล้านรายการจากทราฟฟิกที่ไม่เกี่ยวข้องของ BrowserBase ซึ่งเป็นบริการคลาวด์เบราว์เซอร์ของบุคคลที่สามที่ Perplexity ใช้เป็นครั้งคราวสำหรับงานที่มีความจำเพาะสูงมาก (น้อยกว่า 45,000 คำขอต่อวัน)

เนื่องจาก Cloudflare ได้ปกปิดวิธีการของตนอย่างสะดวกและปฏิเสธที่จะตอบคำถามเพื่อช่วยให้ทีมของเราเข้าใจ เราจึงทำได้เพียงจำกัดให้แคบลงเหลือคำอธิบายที่เป็นไปได้สองข้อ

Cloudflare ต้องการช่วงเวลาประชาสัมพันธ์ที่ชาญฉลาด และเรา ซึ่งเป็นลูกค้าของพวกเขาเอง ก็บังเอิญเป็นชื่อที่มีประโยชน์ในการทำให้พวกเขาบรรลุเป้าหมายนั้น

Cloudflare ระบุที่มาของคำขอรายวัน 3-6 ล้านรายการจากบริการเบราว์เซอร์อัตโนมัติของ BrowserBase ผิดพลาดว่าเป็นของ Perplexity ซึ่งเป็นความล้มเหลวในการวิเคราะห์ทราฟฟิกขั้นพื้นฐานที่น่าอับายอย่างยิ่งสำหรับบริษัทที่มีธุรกิจหลักคือการทำความเข้าใจและจัดหมวดหมู่ทราฟฟิกเว็บ

ไม่ว่าคำอธิบายใดจะเป็นความจริง ข้อผิดพลาดทางเทคนิคในการวิเคราะห์ของ Cloudflare ไม่ได้น่าอับอายเท่านั้น แต่ยังตัดสิทธิ์ความน่าเชื่อถือด้วย เมื่อคุณระบุแหล่งที่มาของคำขอหลายล้านรายการผิดพลาด เผยแพร่แผนภาพทางเทคนิคที่ไม่ถูกต้องอย่างสิ้นเชิง และแสดงให้เห็นถึงความเข้าใจผิดพื้นฐานว่าผู้ช่วย AI สมัยใหม่ทำงานอย่างไร คุณก็สูญเสียสิทธิ์ใดๆ ในการอ้างว่าเป็นผู้เชี่ยวชาญในสเปซนี้

การโวยวายเกี่ยวกับประเด็นนี้ยังเผยให้เห็นอีกว่าผู้นำของ Cloudflare ขาดข้อมูลที่ถูกต้องเกี่ยวกับพื้นฐานของ AI อย่างน่าตกใจ หรือเป็นเพียงแค่ภาพลักษณ์ที่ฉูดฉาดแต่ไร้สาระ เรื่องนี้สำคัญเพราะลูกค้าของ Cloudflare รวมถึงธุรกิจทุกประเภท ซึ่งเป็นบริษัทที่ไม่สามารถเสี่ยงไว้วางใจโครงสร้างพื้นฐานของตนให้กับลูกเล่นประชาสัมพันธ์แบบฉาบฉวยได้

ที่น่าอับอายยิ่งกว่านั้นคือ Cloudflare ได้เผยแพร่แผนภาพทางเทคนิคที่อ้างว่าแสดง "เวิร์กโฟลว์การโครลของ Perplexity" ซึ่งไม่มีความคล้ายคลึงกับการทำงานจริงของ Perplexity เลย หาก Cloudflare สนใจจริงๆ ที่จะทำความเข้าใจข้อมูลที่พวกเขาเห็น วิธีการทำงานของระบบของเรา หรือแนวคิดพื้นฐานเหล่านี้ที่ได้สรุปไว้ข้างต้น พวกเขาก็สามารถทำในสิ่งที่เราสนับสนุนให้ผู้ใช้ Perplexity ทุกคนทำได้ นั่นคือ แค่ถาม

การเติบโตของดิจิทัลแอสซิสแตนต์

ทำไมความแตกต่างนี้จึงสำคัญ

เสียงเรียกร้องความชัดเจน: ยูสเซอร์เอเจนต์ทำงานอย่างไรจริงๆ

การกล่าวถึง Cloudflare โดยตรง: คำถามเกี่ยวกับความสามารถ