Cara Perplexity membangun keakuratan ke dalam AI terdepan

Misi kami adalah mendorong rasa ingin tahu, bagi orang-orang yang ingin tahu lebih banyak dan berbuat lebih banyak dengan pengetahuan dunia. Untuk melakukan itu, fokus utama kami selalu untuk membuat model AI terdepan menjadi lebih akurat di Perplexity.

Untuk pertama kalinya, kami membagikan salah satu teknologi di balik cara kami melakukannya. Hari ini tim riset kami menerbitkan eksplorasi teknis tentang LLM yang ditambah pencarian.

Ada puluhan proses yang kami gunakan untuk mengembangkan keakuratan, dan ini adalah tinjauan mendalam yang jarang dibagikan mengenai salah satunya: melatih pasca-model AI terdepan untuk berkinerja terbaik terhadap standar keakuratan untuk produk Perplexity seperti Search, Comet, dan Computer.

Kami melatih perilaku sebelum pencarian

Mesin jawaban mengharuskan model yang mendasarinya melakukan lebih dari sekadar menghasilkan teks yang fasih. Mereka harus menemukan bukti, mengikuti permintaan pengguna, menggunakan alat dengan benar, dan mengubah pekerjaan itu menjadi jawaban yang terfokus.

Kami melakukan pelatihan pasca untuk hal tersebut dalam dua tahap. Pertama, kami mengajari model cara berperilaku di dalam produk, termasuk cara mengikuti instruksi, tetap konsisten, dan menggunakan alat dengan cara yang benar. Kemudian kami melatihnya pada tugas pencarian yang lebih sulit sehingga menjadi lebih baik dalam menemukan bukti, menggunakannya dengan baik, dan menjawab lebih efisien.

Pendekatan bertahap ini adalah salah satu perbedaan sederhana antara Perplexity dan penyiapan pembungkus tradisional dengan model dan akses web. Itulah sebabnya model yang sama dapat menghasilkan hasil yang berbeda dalam produk yang berbeda, dan mengapa model tersebut dapat bekerja lebih baik di Perplexity daripada dalam penerapan yang lebih sederhana.

Pertanyaan yang memerlukan sintesis

Beberapa pertanyaan adalah pencarian yang mudah. Yang lainnya mengharuskan model untuk menghubungkan bukti di berbagai sumber.

Kami melatih pertanyaan yang mengharuskan model untuk menghubungkan bukti di berbagai sumber. Untuk pertanyaan faktual, kami menggunakan tugas yang memaksa model untuk mencari, menalar, dan memverifikasi alih-alih langsung melompat ke jawaban dari satu petunjuk yang jelas. Banyak pertanyaan memerlukan penghubung informasi di berbagai sumber. Pertanyaan tersebut mengharuskan model untuk beralih dari satu bukti ke bukti lainnya dan membangun jawaban dari rantai tersebut.

Kami juga melatih berbagai format respons, sehingga model tetap akurat baik pengguna menginginkan paragraf, daftar, tabel, atau struktur lainnya. Hasilnya adalah sintesis yang lebih baik, yang terdiri dari jawaban yang menghubungkan bukti di berbagai sumber, bukan sekadar mengambil fakta yang terisolasi.

Tugas terbuka memerlukan standar

Perplexity digunakan untuk lebih dari sekadar pencarian faktual. Sebagian besar pekerjaan bersifat terbuka, termasuk menulis ulang, menyunting, meringkas, menjelaskan, dan merencanakan.

Tugas-tugas tersebut tidak memiliki satu jawaban yang tepat, tetapi tetap memerlukan standar. Untuk pekerjaan terbuka, kami menggunakan rubrik yang merupakan pemeriksaan terstruktur mengenai apakah suatu respons benar-benar melakukan tugas tersebut. Apakah itu mengikuti instruksi? Apakah itu mempertahankan makna? Apakah itu memecahkan masalah pengguna?

Hal tersebut memungkinkan kami melatih tugas terbuka dengan standar yang jelas alih-alih memperlakukannya sebagai penulisan bentuk bebas.

Keakuratan didahulukan daripada preferensi

Untuk tugas faktual, sebuah jawaban harus benar sebelum mendapatkan kredit karena lebih membantu atau ditulis dengan lebih baik. Untuk tugas terbuka, respons harus memenuhi rubrik sebelum kualitas lain ikut berperan.

Hal itu membuat sistem tetap berfokus pada substansi daripada gaya. Hal ini membantu mencegah mode kegagalan umum dari jawaban yang terdengar lebih baik tanpa benar-benar menjadi lebih baik. Hasilnya adalah lebih sedikit jawaban dipoles yang runtuh saat diperiksa.

Efisiensi berkontribusi pada kualitas jawaban

Kami juga melatih model untuk menggunakan pencarian dengan disiplin.

Setiap langkah pencarian tambahan harus meningkatkan jawaban, dan respons yang lebih panjang harus sepadan dengan panjangnya. Ketika pencarian tambahan atau kata-kata tambahan tidak membantu, sistem harus berhenti.

Hal itu menghasilkan jawaban yang lebih mudah digunakan dan menjaga fokus model saat bekerja melalui rantai tindakan yang lebih panjang, tempat kesalahan kecil berakumulasi.

Jawaban yang lebih baik memerlukan pekerjaan yang konstan

Kualitas pencarian berasal dari bagaimana produk melatih model untuk mengumpulkan bukti, menjawab dengan disiplin, menangani pekerjaan terbuka, dan berhenti ketika model memiliki dukungan yang cukup.

Saat sistem AI mengambil alih pekerjaan yang lebih panjang dan lebih mandiri, pelatihan tersebut membentuk kualitas jawaban individual dan segala sesuatu yang dibangun di atasnya. Kami tidak pernah mengklaim Perplexity 100% akurat, tetapi kami mengklaim sebagai perusahaan AI yang paling peduli tentang hal itu dan mengerjakannya secara terus-menerus. Kami mendorong semua pengguna untuk memberikan masukan tentang jawaban Perplexity mereka, karena kami terus melakukan iterasi dan perbaikan.