pplx-embed: Web ölçeğinde erişim için son teknoloji gömme modelleri

Bugün, gerçek dünya ve web ölçeğinde erişim için geliştirilmiş iki son teknoloji metin gömme modeli olan pplx-embed-v1 ve pplx-embed-context-v1 modellerini yayınlıyoruz. pplx-embed-v1 standart yoğun metin erişimi için optimize edilirken, pplx-embed-context-v1 pasajları çevreleyen belge düzeyindeki bağlama göre gömer.

Hem pplx-embed-v1 hem de pplx-embed-context-v1 0.6B ve 4B parametre ölçeklerinde mevcuttur. 0.6B modeller hafif ve düşük gecikmeli gömme üretmeyi hedeflerken, 4B modeller erişim kalitesini maksimize eder. Değerlendirmelerimizde pplx-embed ailesi, MTEB(Çok Dilli, v2), BERGEN, ToolRet ve ConTEB dahil olmak üzere bir dizi genel kıyaslamaya liderlik etmektedir. Dahası, pplx-embed-v1 dahili web ölçekli kıyaslamalarımızda (PPLXQuery2Query, PPLXQuery2Doc) sınıfının en iyi sonuçlarını sunar.

Modeller, FP32 ile karşılaştırıldığında depolama gereksinimlerini sırasıyla 4 kat ve 32 kat azaltan INT8 ve ikili (binary) gömmeler üretir. Bu kompaktlık, web ölçeğinde gömme depolamayı ve erişimi önemli ölçüde daha pratik hale getirir.

pplx-embed model boyutları, bağlam uzunluğu, niceleme ve havuzlama yapılandırması.

Teknik raporumuzu, Hugging Face modellerimizi ve API belgelerimizi inceleyin.

Motivasyon

Yoğun metin gömmeleri, sorguları ve belgeleri, erişimin yaklaşık en yakın komşu aramasına indirgendiği ortak bir anlamsal uzaya eşler. Perplexity ölçeğinde gömmeler, erişim boru hattımızın ilk aşamasıdır; milyarlarca web sayfasından hangi belgelerin sonraki sıralayıcılar ve dil modelleri tarafından değerlendirileceğini belirler.

Günümüzdeki önde gelen gömme modellerinin çoğu, her tokenin yalnızca önceki tokenleri dikkate alabildiği nedensel (causal) dikkat maskelemesine sahip yalnızca kod çözücü (decoder-only) LLM'ler üzerine kuruludur. Erişim için bu temel bir kısıtlamadır: bir pasajı anlamak genellikle çift yönlü bağlam gerektirir. Bunu, nedensel bir LLM'yi çift yönlü bir kodlayıcıya (encoder) dönüştüren difüzyon tabanlı sürekli ön eğtim ile ele alıyoruz. Tam çift yönlü dikkat, tüm token temsilleri üzerinde ortalama havuzlama sağlar ve her parçanın gömmesinin göründüğü belgenin tamamından etkilendiği bağlamsal gömmeler için geç parçalamayı (late chunking) destekler.

Web ölçeğinde gömmeleri FP32 olarak depolamak son derece maliyetlidir. Modellerimiz, nicemlemeyi sonradan yapılan bir sıkıştırma adımı olarak uygulamak yerine, INT8 gömmeleri yerel olarak üretmek için nicemleme farkındalıklı eğitim (quantization-aware training) kullanır ve performans kaybı olmaksızın depolamayı 4 kat azaltır. İkili nicemleme (binary quantization), özellikle 4B ölçeğinde minimum kalite kaybıyla depolamayı 32 kat azaltır.

Modern gömme modellerinin birçoğu, her girdinin başına eklenen talimat önekleri gerektirir. Bu durum kıyaslamalarda küçük kazançlar sağlayabilse de uygulamada sürtüşme yaratır: dizin oluşturma ile sorgu zamanı arasındaki uyumsuz talimatlar erişimi sessizce düşürür ve her kullanım durumu için doğru komutu seçmek halledilmesi gereken bir başka mesele haline gelir. Modellerimiz hiçbir talimat gerektirmez, bu da entegrasyonu son derece kolaylaştırır.

Eğitim

pplx-embed-v1 ve pplx-embed-context-v1, metin temsillerini erişim için kademeli olarak şekillendiren çok aşamalı bir boru hattı aracılığıyla eğitilir.

Büyüt

Sürekli difüzyon ön eğitimi

Önceden eğitilmiş Qwen3 temel modellerinden (0.6B ve 4B) başlıyor ve nedensel dikkat maskesini devre dışı bırakarak ve bir difüzyon gürültü giderme hedefiyle eğiterek bunları nedensel kod çözücülerden çift yönlü kodlayıcılara dönüştürüyoruz. Tokenleri soldan sağa tahmin eden otoregresif modellerin aksine difüzyon eğitimi, modelin her maskelenmiş konum etrafındaki tam çift yönlü bağlamı kullanarak rastgele maskelenmiş tokenleri yeniden oluşturmasını zorlar. Bu, karşılaştırmalı (contrastive) ince ayar başladığında temsillerin halihazırda çift yönlü anlambilimi kodladığı anlamına gelir ve nedensel bir başlangıç noktasına kıyasla erişim için daha güçlü bir temel sağlar. 30 dili kapsayan yaklaşık 250 milyar çok dilli token üzerinde ön eğitim gerçekleştiriyoruz. Abilasyonlarda, difüzyonla önceden eğitilmiş omurgalar, nedensel benzerlerine göre önemli ölçüde daha düşük karşılaştırmalı eğitim kaybı elde eder; bu da erişim görevlerinde yaklaşık yüzde 1 puanlık bir iyileşmeye dönüşür.

Karşılaştırmalı eğitim

Ön eğitimin ardından üç aşamalı karşılaştırmalı öğrenme gerçekleştiriyoruz. Çift eğitimi (Pair training), topluluk içi (in-batch) negatiflerle birlikte InfoNCE kaybını kullanarak sorgular ve belgeler arasında temel anlamsal uyumu sağlar. Büyük topluluk boyutlarında, topluluk içi negatiflerin bazıları aslında pozitifin neredeyse aynısıdır (near-duplicate), bu nedenle bu yanlış negatiflerin eğitim sinyalini bozmasını önlemek için benzerlik tabanlı bir maske uygularız. Eğitim aşamalar halinde ilerler; önce yalnızca İngilizce, ardından diller arası, ardından tamamen çok dilli olarak yeteneği bir anda değil kademeli olarak inşa eder. Bağlamsal eğitim (Contextual training), hem parça hem de belge düzeyinde topluluk içi ve dizi içi karşılaştırmayı birleştiren ikili bir kayıp kullanarak modele belge düzeyindeki bağlama göre parça düzeyinde anlambilimi öğretir; bu aşama pplx-embed-context-v1 modelini üretir. Son olarak, madenciliği yapılmış zor negatiflerle (mined hard negatives) yapılan üçlü eğitimi (triplet training), benzer ancak ilgili olmayan belgeler arasındaki sınırları iyileştirir. Nihai pplx-embed-v1, bağlamsal ve üçlü kontrol noktalarının küresel doğrusal enterpolasyon (SLERP) aracılığıyla birleştirilmesiyle elde edilir.

Yerel nicemleme (Native quantization)

Tüm karşılaştırma aşamaları boyunca gömmeler, hem eğitim hem de çıkarım sırasında INT8'e nicelenir. Tanh tabanlı bir ortalama havuzlama işlemi ve ardından yuvarlama uygularız ve türevlenemeyen nicemleme adımından geri yayılım yapmak için düz geçişli gradyan tahminini (straight-through gradient estimation) kullanırız. Bu, modelin sonradan yapılan sıkıştırmadan kaynaklanan performans düşüşü yaşamak yerine, baştan itibaren azaltılmış hassasiyet için optimize edilmiş temsiller öğrenmesini sağlar. İkili nicemleme (binary quantization) için 4B modeller 0.6B'ye göre belirgin şekilde daha kararlıdır: daha büyük gömme boyutları (1024 yerine 2560) ikicileştirme (binarization) sonrasında daha fazla bilgi koruyarak performans düşüşünü küçük ölçekteki 2-4 puanlık düşüşe kıyasla 1.6 yüzde puanın altında tutar.

Genel Kıyaslamalar

Büyüt

MTEB(Çok Dilli, v2) erişim kıyaslamasında pplx-embed-v1-4B (INT8), Qwen3-Embedding-4B (69.60%) ile eşleşen ve gemini-embedding-001'i (67.71%) aşan ortalama 69.66% nDCG@10 elde ederken, gömme başına önemli ölçüde daha az depolama alanı gerektirir. 0.6B modelimiz, aynı parametre ölçeğinde Qwen3 muadilinden daha iyi performans gösterir.

Büyüt

ConTEB kıyaslamasında bağlamsal erişim performansı. Sol: bağlamsallaştırılmış modeller. Sağ: bağlamsallaştırılmamış modeller. pplx-embed-context-v1-4B (INT8) 81.96 ile en yüksek puanı elde ederken, bunu voyage-context-3 (79.45) ve pplx-embed-context-v1-0.6B (INT8) 76.53 ile takip etmektedir.

Bağlamsal erişim için pplx-embed-context-v1-4B, ortalama 81.96% nDCG@10 ile ConTEB kıyaslamasında yeni bir çığır açarak voyage-context-3 (79.45%) ve Anthropic Contextual (72.4%) modellerinden daha iyi performans gösterir. Belge düzeyindeki anlambilimi içeren parça düzeyinde temsiller eğiterek modellerimiz, anlamı çevredeki bağlama bağlı olsa bile doğru pasajı bulur.

Modellerimizi ayrıca, alınan pasajların yanıt üretmek için bir dil modeline beslendiği BERGEN kıyaslamasını kullanarak uçtan uca RAG'de değerlendiriyoruz. pplx-embed-v1-4B, değerlendirilen beş soru-cevap görevinin dördünde Qwen3-Embedding-4B'den daha iyi performans gösterir. Dikkat çekici bir şekilde pplx-embed-v1-0.6B, değerlendirilen beş görevin üçünde daha büyük olan Qwen3-Embedding-4B'den daha iyi performans göstererek, daha küçük modelimizin pratik RAG ayarlarında önemli ölçüde daha büyük bir parametre ölçeğindeki bir rakiple eşleşebileceğini veya onu aşabileceğini kanıtlamaktadır. Bu değerlendirme hakkında daha fazla ayrıntı için teknik rapor'a başvuruyoruz.

Ölçekte Gerçek Dünya Erişimi

Genel kıyaslamalar yararlıdır ancak üretim ortamlarını karakterize eden uzun kuyruklu sorguları, gürültülü belgeleri ve dağılım kaymalarını web ölçeğindeki erişim zorluklarını tam olarak yansıtmaz. Uygulamada neyin önemli olduğunu ölçmek için 1 milyardan fazla web sayfasından havuzlanan 30 milyondan fazla belgeye karşı değerlendirilen 115 bin kadar gerçek dünya sorgusu içeren iki dahili kıyaslama oluşturduk. PPLXQuery2Query, bir gömme modelinin gerçek arama trafiğinden anlamsal olarak eşdeğer sorguları tanımlayıp tanımlayamayacağını değerlendirir; PPLXQuery2Doc ise 30 milyon sayfalık bir derlemden belge erişimini ölçer.

PPLXQuery2Query'de (2.4M derlem), pplx-embed-v1-4B 73.5% Recall@10 elde ederek Qwen3-Embedding-4B'yi (67.9%) 5.6 yüzde puan farkla geride bırakmaktadır. 0.6B modelimiz 71.1% Recall@10 elde ederek BGE-M3 (61.8%) ve Qwen3-Embedding-0.6B'yi (55.1%) önemli ölçüde geride bırakmaktadır.

Büyüt

Çok dilli PPLXQuery2Doc görevinde (30M derlem), pplx-embed-v1-4B Qwen3-Embedding-4B için 88.6% olan orana karşılık 91.7% Recall@1000 elde eder. Büyük erişim derinliklerinde yüksek geri çağrı, çok aşamalı sıralama boru hatlarında birinci aşama erişim sağlayan gömme modelleri için çok önemlidir; burada sonraki yeniden sıralayıcılara iletilen ilgili aday sayısını maksimize etmek, nihai sonuç kalitesini doğrudan etkiler.

Başlarken

Tüm modeller Hugging Face'te (MIT Lisansı altında) ve Perplexity API aracılığıyla kullanılabilir. Transformers, SentenceTransformers, Text Embeddings Inference ve ONNX yoluyla çıkarımı destekliyoruz. Her seçeneğin tüm ayrıntıları için Hugging Face model koleksiyonu'na bakın.

Kapsamlı teknik ayrıntılar ve eksiksiz değerlendirme sonuçları için teknik rapor'umuza bakın.

Atıfta Bulun

@online{perplexity2026PplxEmbedStateOfTheArtEmbeddingModelsForWebScaleRetrieval,
  author = {{Perplexity} and Sedigheh Eslami and Maksim Gaiduk and Markus Krimmel and Louis Milliken and Bo Wang and Denis Bykov},
  title = {{pplx-embed: State-of-the-art embedding models for web-scale retrieval}},
  date = {2026-02-26},
  url = {https://perplexity.coolkeypoint.com/hub/blog/pplx-embed-state-of-the-art-embedding-models-for-web-scale-retrieval}
}