วิธีที่ Perplexity สร้างความแม่นยำให้กับ AI ล้ำสมัย

ภารกิจของเราคือการขับเคลื่อนความอยากรู้อยากเห็น สำหรับผู้คนที่ต้องการเรียนรู้เพิ่มเติมและทำสิ่งต่าง ๆ ให้สำเร็จด้วยความรู้ของโลก เพื่อให้บรรลุเป้าหมายนั้น จุดเน้นหลักของเราคือการทำให้โมเดล AI ล้ำสมัยมีความแม่นยำยิ่งขึ้นบน Perplexity มาโดยตลอด

เป็นครั้งแรกที่เราได้แบ่งปันหนึ่งในเทคโนโลยีเบื้องหลังวิธีที่เราทำเช่นนั้น วันนี้ทีมวิจัยของเราได้เผยแพร่การสำรวจเชิงเทคนิคของ LLM ที่มีการค้นหาเสริม

มีกระบวนการมากมายที่เราใช้ในการพัฒนาความเจาะจง และนี่คือมุมมองเชิงลึกที่หาได้ยากเกี่ยวกับหนึ่งในนั้น ได้แก่ การฝึกหลังการฝึกฝน (post-training) แก่โมเดล AI ล้ำสมัย เพื่อให้มีประสิทธิภาพสูงสุดเทียบกับมาตรฐานความแม่นยำสำหรับผลิตภัณฑ์ Perplexity เช่น Search, Comet และ Computer

เราฝึกพฤติกรรมก่อนทำการค้นหา

เอนจิ้นคำตอบ (answer engine) กำหนดให้โมเดลเบื้องต้นต้องทำมากกว่าแค่สร้างข้อความที่ไหลลื่น โดยต้องค้นหาหลักฐาน ทำตามคำขอของผู้ใช้ ใช้เครื่องมืออย่างถูกต้อง และเปลี่ยนงานเหล่านั้นให้เป็นคำตอบที่ตรงประเด็น

เราทำการฝึกหลังการฝึกฝน (post-training) ในสองขั้นตอนเพื่อวัตถุประสงค์ดังกล่าว ขั้นแรก เราสอนวิธีที่โมเดลควรปฏิบัติตัวภายในผลิตภัณฑ์ ซึ่งรวมถึงวิธีปฏิบัติตามคำสั่ง การรักษาความสม่ำเสมอ และการใช้เครื่องมืออย่างถูกต้อง จากนั้นเราจะฝึกมันกับงานค้นหาที่ยากขึ้น เพื่อให้มันเก่งขึ้นในการค้นหาหลักฐาน การใช้งานอย่างมีประสิทธิภาพ และการตอบคำถามได้อย่างมีประสิทธิภาพมากขึ้น

แนวทางแบบเป็นขั้นตอนนี้คือความแตกต่างง่าย ๆ ระหว่าง Perplexity กับการตั้งค่า Wrapper แบบดั้งเดิมที่มีโมเดลและการเข้าถึงเว็บ นั่นคือเหตุผลที่โมเดลเดียวกันสามารถสร้างผลลัพธ์ที่แตกต่างกันในผลิตภัณฑ์ที่ต่างกัน และเหตุผลที่มันสามารถทำงานได้ดีกว่าใน Perplexity มากกว่าการปรับใช้ที่เรียบง่ายกว่า

คำถามที่ต้องการการสังเคราะห์ข้อมูล

คำถามบางข้อเป็นการค้นหาง่าย ๆ แต่คำถามอื่น ๆ กำหนดให้โมเดลต้องเชื่อมโยงหลักฐานจากแหล่งข้อมูลต่าง ๆ เข้าด้วยกัน

เราฝึกฝนกับคำถามที่กำหนดให้โมเดลต้องเชื่อมโยงหลักฐานจากแหล่งข้อมูลต่าง ๆ สำหรับคำถามเชิงข้อเท็จจริง เราใช้ภารกิจที่บังคับให้โมเดลต้องค้นหา ให้เหตุผล และตรวจสอบ แทนที่จะกระโดดไปสู่คำตอบจากเบาะแสที่ชัดเจนเพียงจุดเดียว คำถามหลายข้อต้องอาศัยการเชื่อมโยงข้อมูลจากหลายแหล่ง โดยกำหนดให้โมเดลต้องย้ายจากหลักฐานชิ้นหนึ่งไปยังอีกชิ้นหนึ่ง และสร้างคำตอบจากห่วงโซ่นั้น

เรายังฝึกฝนกับรูปแบบการตอบสนองที่หลากหลาย เพื่อให้โมเดลยังคงความแม่นยำไม่ว่าผู้ใช้จะต้องการย่อหน้า รายการ ตาราง หรือโครงสร้างอื่น ๆ ผลลัพธ์ที่ได้คือการสังเคราะห์ที่ดีขึ้น ซึ่งประกอบด้วยคำตอบที่เชื่อมโยงหลักฐานจากหลายแหล่งเข้าด้วยกัน แทนที่จะเป็นการดึงข้อเท็จจริงที่แยกส่วนกันออกมาเพียงอย่างเดียว

งานที่มีปลายเปิดจำเป็นต้องมีมาตรฐาน

Perplexity ถูกใช้งานมากกว่าแค่การค้นหาข้อเท็จจริง งานส่วนใหญ่เป็นแบบปลายเปิด ซึ่งรวมถึงการเขียนใหม่ การแก้ไข การสรุป การอธิบาย และการวางแผน

งานเหล่านั้นไม่มีคำตอบที่ถูกต้องตายตัวเพียงคำตอบเดียว แต่ยังคงจำเป็นต้องมีมาตรฐาน สำหรับงานแบบปลายเปิด เราใช้รูบริก (rubrics) ซึ่งเป็นการตรวจสอบที่มีโครงสร้างเพื่อดูว่าคำตอบได้ทำงานนั้นจริงหรือไม่ ได้ทำตามคำสั่งหรือไม่ ได้รักษาความหมายไว้หรือไม่ และได้แก้ปัญหาของผู้ใช้หรือไม่

นั่นช่วยให้เราสามารถฝึกฝนงานแบบปลายเปิดด้วยมาตรฐานที่ชัดเจน แทนที่จะปฏิบัติกับงานเหล่านั้นเหมือนเป็นการเขียนแบบอิสระ

ความแม่นยำมาก่อนความชอบ

สำหรับงานเชิงข้อเท็จจริง คำตอบจะต้องถูกต้องก่อนที่จะได้รับเครดิตว่ามีประโยชน์มากกว่าหรือเขียนได้ดีกว่า สำหรับงานแบบปลายเปิด คำตอบจะต้องผ่านเกณฑ์ของรูบริกก่อนที่คุณภาพด้านอื่น ๆ จะเข้ามามีบทบาท

วิธีนี้ช่วยให้ระบบมุ่งเน้นไปที่เนื้อหามากกว่ารูปแบบ และช่วยป้องกันโหมดความล้มเหลวทั่วไปของคำตอบที่ฟังดูดีขึ้นแต่ไม่ได้ดีขึ้นจริง ผลลัพธ์ที่ได้คือคำตอบที่มีการขัดเกลาอย่างดีน้อยลงแต่พังทลายเมื่อถูกตรวจสอบ

ประสิทธิภาพมีส่วนช่วยให้คุณภาพของคำตอบดีขึ้น

เรายังฝึกฝนให้โมเดลใช้การค้นหาอย่างมีวินัย

ขั้นตอนการค้นหาเพิ่มเติมใด ๆ ควรปรับปรุงคำตอบให้ดีขึ้น และการตอบที่ยาวขึ้นก็ควรมีความยาวที่คุ้มค่า เมื่อการค้นหาเพิ่มเติมหรือคำพูดส่วนเกินไม่ได้ช่วยอะไร ระบบควรหยุดทำงาน

สิ่งนี้ทำให้ได้คำตอบที่ใช้งานง่ายขึ้นและช่วยรักษาโฟกัสของโมเดลในขณะที่ทำงานผ่านห่วงโซ่การกระทำที่ยาวขึ้น ซึ่งข้อผิดพลาดเล็ก ๆ น้อย ๆ อาจสะสมเพิ่มขึ้นได้

คำตอบที่ดีกว่าต้องอาศัยการทำงานอย่างต่อเนื่อง

คุณภาพของการค้นหามาจากวิธีที่ผลิตภัณฑ์ฝึกฝนโมเดลให้รวบรวมหลักฐาน ตอบคำถามอย่างมีวินัย จัดการกับงานปลายเปิด และหยุดทำงานเมื่อมีข้อมูลสนับสนุนเพียงพอแล้ว

ในขณะที่ระบบ AI ต้องรับภาระงานที่ยาวนานขึ้นและเป็นอิสระมากขึ้น การฝึกฝนดังกล่าวจะหล่อหลอมคุณภาพของคำตอบแต่ละข้อและทุกสิ่งที่สร้างขึ้นบนพื้นฐานเหล่านั้น เราไม่เคยอ้างว่า Perplexity แม่นยำ 100% แต่เราอ้างว่าเป็นบริษัท AI ที่ใส่ใจในเรื่องนี้มากที่สุดและทำงานอย่างไม่ลดละ เราขอให้ผู้ใช้ทุกคนให้ข้อเสนอแนะเกี่ยวกับคำตอบจาก Perplexity ของตน เนื่องจากเราทำการวนซ้ำและปรับปรุงอยู่ตลอดเวลา