pplx-embed: Model penyematan mutakhir untuk pengambilan skala web

Hari ini kami merilis pplx-embed-v1 dan pplx-embed-context-v1, dua model penyematan teks mutakhir yang dibuat untuk pengambilan berskala web di dunia nyata. pplx-embed-v1 dioptimalkan untuk pengambilan teks padat standar, sementara pplx-embed-context-v1 menyematkan bagian teks dengan mempertimbangkan konteks tingkat dokumen di sekitarnya.

Baik pplx-embed-v1 maupun pplx-embed-context-v1 tersedia dalam skala parameter 0,6B dan 4B. Model 0,6B menargetkan pembuatan penyematan yang ringan dan berlambatan rendah (low-latency), sedangkan model 4B memaksimalkan kualitas pengambilan. Dalam evaluasi kami, keluarga pplx-embed memimpin berbagai tolok ukur publik termasuk MTEB(Multilingual, v2), BERGEN, ToolRet, dan ConTEB. Selain itu, pplx-embed-v1 memberikan hasil terbaik di kelasnya pada tolok ukur berskala web internal kami: PPLXQuery2Query, PPLXQuery2Doc.

Model-model ini menghasilkan penyematan INT8 dan biner, yang masing-masing mengurangi kebutuhan penyimpanan sebesar 4x dan 32x dibandingkan dengan FP32. Kompaknya model ini membuat penyimpanan dan pengambilan penyematan berskala web menjadi jauh lebih praktis.

dimensi model pplx-embed, panjang konteks, kuantisasi, dan konfigurasi pooling.

Lihat laporan teknis, model Hugging Face, dan dokumentasi API kami.

Motivasi

Penyematan teks padat memetakan kueri dan dokumen ke dalam ruang semantik bersama tempat pengambilan direduksi menjadi pencarian tetangga terdekat perkiraan (approximate nearest neighbor search). Pada skala Perplexity, penyematan adalah tahap pertama dari alur pengambilan kami, yang menentukan dokumen dari miliaran halaman web yang akan dipertimbangkan oleh pemeringkat hilir dan model bahasa.

Sebagian besar model penyematan terkemuka saat ini dibangun di atas LLM khusus decoder dengan masking perhatian kausal (causal attention masking), di mana setiap token hanya dapat memperhatikan token sebelumnya. Untuk pengambilan, ini adalah batasan mendasar: memahami suatu bagian teks sering kali memerlukan konteks dua arah (bidirectional). Kami mengatasi hal ini melalui pelatihan lanjutan berbasis difusi, yang mengubah LLM kausal menjadi encoder dua arah. Perhatian dua arah penuh (full bidirectional attention) memungkinkan penggabungan rata-rata (mean pooling) atas semua representasi token dan mendukung pemotongan lanjutan (late chunking) untuk penyematan kontekstual, di mana penyematan setiap potongan diinformasikan oleh dokumen lengkap tempat potongan tersebut muncul.

Pada skala web, menyimpan penyematan dalam FP32 sangatlah mahal. Daripada menerapkan kuantisasi sebagai langkah kompresi post-hoc, model kami menggunakan pelatihan yang sadar kuantisasi (quantization-aware training) untuk menghasilkan penyematan INT8 secara natif, mengurangi penyimpanan sebesar 4x tanpa kompromi performa. Kuantisasi biner mengurangi penyimpanan sebesar 32x dengan sedikit kehilangan kualitas, terutama pada skala 4B.

Banyak model penyematan modern memerlukan awalan instruksi yang ditambahkan di depan setiap masukan. Meskipun ini dapat memberikan peningkatan kecil pada tolok ukur, dalam praktiknya hal ini menambah hambatan: instruksi yang tidak cocok antara waktu pengindeksan dan kueri secara diam-diam menurunkan kualitas pengambilan, dan memilih prompt yang tepat untuk setiap kasus penggunaan menjadi hal lain yang harus disempurnakan. Model kami tidak memerlukan instruksi, membuat integrasi menjadi mudah.

Pelatihan

pplx-embed-v1 dan pplx-embed-context-v1 dilatih melalui alur multi-tahap yang secara progresif membentuk representasi teks untuk pengambilan.

Perbesar

Pra-pelatihan difusi lanjutan

Kami mulai dari model dasar Qwen3 pra-latihan (0.6B dan 4B) dan mengubahnya dari decoder kausal menjadi encoder dua arah dengan menonaktifkan mask perhatian kausal dan melatihnya dengan tujuan denoising difusi. Tidak seperti model autoregresif yang memprediksi token dari kiri ke kanan, pelatihan difusi memaksa model untuk merekonstruksi token yang di-mask secara acak menggunakan konteks dua arah penuh di sekitar setiap posisi yang di-mask. Ini berarti pada saat fine-tuning kontrastif dimulai, representasi telah menyandikan semantik dua arah, memberikan fondasi yang lebih kuat untuk pengambilan daripada titik awal kausal. Kami melakukan pra-pelatihan pada sekitar 250 miliar token teks multibahasa yang mencakup 30 bahasa. Dalam ablasi, kerangka yang dilatih dengan difusi mencapai kehilangan pelatihan kontrastif yang jauh lebih rendah daripada rekan kausal mereka, yang diterjemahkan menjadi peningkatan sekitar 1 persentase poin pada tugas pengambilan.

Pelatihan kontrastif

Mengikuti pra-pelatihan, kami melakukan tiga tahap pembelajaran kontrastif. Pelatihan berpasangan (Pair training) menetapkan penyelarasan semantik fondasional antara kueri dan dokumen menggunakan kerugian InfoNCE dengan negatif dalam batch (in-batch negatives). Dengan ukuran batch yang besar, beberapa negatif dalam batch sebenarnya adalah duplikat mendekati positif, jadi kami menerapkan mask berbasis kemiripan untuk mencegah negatif palsu ini merusak sinyal pelatihan. Pelatihan dilanjutkan secara bertahap—khusus bahasa Inggris, lalu lintas bahasa, lalu sepenuhnya multibahasa—membangun kemampuan secara bertahap daripada sekaligus. Pelatihan kontekstual (Contextual training) kemudian mengajarkan semantik tingkat potongan sehubungan dengan konteks tingkat dokumen, menggunakan kerugian ganda yang menggabungkan kontras dalam sekuens dan dalam batch pada tingkat potongan dan dokumen—tahap ini menghasilkan pplx-embed-context-v1. Akhirnya, pelatihan triplet (triplet training) dengan negatif keras yang ditambang menyempurnakan batasan antara dokumen yang serupa namun tidak relevan. pplx-embed-v1 akhir diperoleh dengan menggabungkan pos pemeriksaan kontekstual dan triplet melalui interpolasi linier sferis (SLERP).

Kuantisasi Natif

Seluruh tahap kontrastif, penyematan dikuantisasi ke INT8 selama pelatihan dan inferensi. Kami menerapkan operasi mean pooling berbasis tanh diikuti dengan pembulatan, dan menggunakan estimasi gradien straight-through untuk melakukan backprop melalui langkah kuantisasi yang tidak dapat dibedakan (non-differentiable). Ini memastikan model mempelajari representasi yang dioptimalkan untuk presisi tereduksi sejak awal, alih-alih mengalami degradasi dari kompresi post-hoc. Untuk kuantisasi biner, model 4B secara signifikan lebih tangguh daripada 0.6B: dimensi penyematan yang lebih besar (2560 vs. 1024) mempertahankan lebih banyak informasi setelah binarisasi, membatasi penurunan performa hingga di bawah 1,6 persentase poin dibandingkan dengan 2–4 poin pada skala yang lebih kecil.

Tolok Ukur Publik

Perbesar

Pada tolok ukur pengambilan MTEB(Multilingual, v2), pplx-embed-v1-4B(INT8) mencapai rata-rata nDCG@10 sebesar 69,66%, cocok dengan Qwen3-Embedding-4B (69,60%) dan melampaui gemini-embedding-001 (67,71%), sementara memerlukan penyimpanan yang jauh lebih sedikit per penyematan. Model 0,6B kami mengungguli rekan Qwen3-nya pada skala parameter yang sama.

Perbesar

Performa pengambilan kontekstual pada tolok ukur ConTEB. Kiri: model berkonteks. Kanan: model tanpa konteks. pplx-embed-context-v1-4B (INT8) mencapai skor tertinggi 81,96, diikuti oleh voyage-context-3 (79,45) dan pplx-embed-context-v1-0.6B (INT8) pada 76,53.

Untuk pengambilan kontekstual, pplx-embed-context-v1-4B menetapkan standar mutakhir (state of the art) baru pada tolok ukur ConTEB dengan rata-rata nDCG@10 sebesar 81,96%, mengungguli voyage-context-3 (79,45%) dan Anthropic Contextual (72,4%). Dengan melatih representasi tingkat potongan yang memasukkan semantik tingkat dokumen, model kami mengambil bagian teks yang tepat bahkan ketika maknanya bergantung pada konteks di sekitarnya.

Kami juga mengevaluasi model kami dalam RAG ujung-ke-ujung (end-to-end) menggunakan tolok ukur BERGEN, di mana bagian teks yang diambil dimasukkan ke model bahasa untuk menghasilkan jawaban. pplx-embed-v1-4B mengungguli Qwen3-Embedding-4B pada empat dari lima tugas tanya-jawab yang dievaluasi. Yang perlu dicatat, pplx-embed-v1-0.6B mengungguli Qwen3-Embedding-4B yang lebih besar pada tiga dari lima tugas, menunjukkan bahwa model kami yang lebih kecil dapat menyamai atau melampaui pesaing pada skala parameter yang secara signifikan lebih besar dalam pengaturan RAG praktis. Untuk detail lebih lanjut mengenai evaluasi ini, kami merujuk ke laporan teknis.

Pengambilan Dunia Nyata pada Skala

Tolok ukur publik memang berguna, tetapi tidak sepenuhnya menangkap tantangan pengambilan berskala web: kueri ekor panjang (long-tail queries), dokumen yang bising, dan pergeseran distribusi yang menjadi ciri lingkungan produksi. Untuk mengukur apa yang penting dalam praktiknya, kami membangun dua tolok ukur internal dengan hingga 115K kueri dunia nyata yang dievaluasi terhadap lebih dari 30 juta dokumen yang dikumpulkan dari lebih dari 1 miliar halaman web. PPLXQuery2Query mengevaluasi apakah model penyematan dapat mengidentifikasi kueri yang setara secara semantik dari lalu lintas penelusuran nyata; PPLXQuery2Doc mengukur pengambilan dokumen dari korpus 30 juta halaman.

Pada PPLXQuery2Query (korpus 2,4M), pplx-embed-v1-4B mencapai Recall@10 sebesar 73,5%, melampaui Qwen3-Embedding-4B (67,9%) sebesar 5,6 persentase poin. Model 0,6B kami mencapai Recall@10 sebesar 71,1%, secara substansial mengungguli BGE-M3 (61,8%) dan Qwen3-Embedding-0.6B (55,1%).

Perbesar

Pada tugas multibahasa PPLXQuery2Doc (korpus 30M), pplx-embed-v1-4B mencapai Recall@1000 sebesar 91,7%, dibandingkan dengan 88,6% untuk Qwen3-Embedding-4B. Recall yang tinggi pada kedalaman pengambilan yang besar sangat penting untuk model penyematan yang berfungsi sebagai pengambil tahap pertama dalam alur pemeringkatan multi-tahap, di mana memaksimalkan jumlah kandidat relevan yang diteruskan ke pemeringkat ulang (rerankers) hilir berdampak langsung pada kualitas hasil akhir.

Memulai

Semua model tersedia di Hugging Face (di bawah Lisensi MIT) dan melalui Perplexity API. Kami mendukung inferensi melalui Transformers, SentenceTransformers, Text Embeddings Inference, dan ONNX. Untuk detail lengkap mengenai setiap opsi, lihat koleksi model Hugging Face.

Untuk detail teknis yang komprehensif dan hasil evaluasi lengkap, lihat laporan teknis kami.

Kutipan

@online{perplexity2026PplxEmbedStateOfTheArtEmbeddingModelsForWebScaleRetrieval,
  author = {{Perplexity} and Sedigheh Eslami and Maksim Gaiduk and Markus Krimmel and Louis Milliken and Bo Wang and Denis Bykov},
  title = {{pplx-embed: State-of-the-art embedding models for web-scale retrieval}},
  date = {2026-02-26},
  url = {https://perplexity.coolkeypoint.com/hub/blog/pplx-embed-state-of-the-art-embedding-models-for-web-scale-retrieval}
}