pplx-embed：適用於網絡規模檢索的頂尖嵌入模型

今天，我們隆重推出 pplx-embed-v1 和 pplx-embed-context-v1，這是兩款專為現實世界、網絡規模檢索而建構的頂尖文字嵌入模型。pplx-embed-v1 針對標準密集文字檢索進行了優化，而 pplx-embed-context-v1 則會根據周圍的文件級上下文來對段落進行嵌入。

pplx-embed-v1 和 pplx-embed-context-v1 均提供 0.6B 和 4B 參數規模版本。0.6B 模型鎖定輕量級、低延遲的嵌入生成，而 4B 模型則能將檢索品質發揮到極致。在我們的評估中，pplx-embed 系列在多個公開基準測試中名列前茅，包括 MTEB(Multilingual, v2)、BERGEN、ToolRet 和 ConTEB。此外，pplx-embed-v1 在我們的內部網絡規模基準測試（PPLXQuery2Query、PPLXQuery2Doc）中展現出同級最佳的成果。

這些模型能夠產生 INT8 和 二進位 嵌入，與 FP32 相比，儲存需求分別減少了 4 倍和 32 倍。這種精簡性使得網絡規模的嵌入儲存與檢索變得更加切實可行。

pplx-embed 模型的維度、上下文長度、量化與池化設定。

請參閱我們的 技術報告、Hugging Face 模型和 API 文件。

動機

密集文字嵌入會將查詢與文件對應至共用的語義空間中，在此空間中，檢索會簡化為近似最近鄰搜尋。以 Perplexity 的規模而言，嵌入是我們檢索管線的第一階段，它決定了數十億個網頁中哪些文件會被後續的排序器和語言模型納入考量。

現今許多領先的嵌入模型都是建構於具備因果注意力遮罩（causal attention masking）的純解碼器大型語言模型（decoder-only LLMs）之上，其中每個 Token 只能關注先前的 Token。就檢索而言，這是一個根本上的限制：理解一個段落通常需要雙向上下文。我們透過基於擴散的持續預訓練來解決這個問題，這項技術能將因果型大型語言模型轉化為雙向編碼器。完整的雙向注意力機制支援對所有 Token 表示進行平均池化（mean pooling），並支援用於上下文嵌入的後期分塊（late chunking），在此機制下，每個分塊的嵌入都會受到其所屬完整文件的影響。

在網絡規模下，以 FP32 格式儲存嵌入的成本高昂得令人望而卻步。我們的模型並非將量化應用於事後壓縮步驟，而是採用量化感知訓練（quantization-aware training）來原生產生 INT8 嵌入，在完全不折損效能的情況下將儲存空間減少 4 倍。二進位量化（Binary quantization）則可在將品質損失降至最低的情況下（特別是在 4B 規模下），將儲存空間減少 32 倍。

許多現代嵌入模型要求在每個輸入前加上指令前綴（instruction prefixes）。雖然這能在基準測試中帶來微幅提升，但在實際應用中卻會增加摩擦：索引編製時間與查詢時間之間的指令不匹配會悄無聲息地降低檢索品質，而為每個使用情境選擇正確的提示詞則變成了另一項需要做對的事情。我們的模型不需要任何指令，讓整合過程變得非常簡單直接。

訓練

pplx-embed-v1 和 pplx-embed-context-v1 是透過多階段管線訓練而成，該管線會逐步形塑用於檢索的文字表示。

放大

持續擴散預訓練

我們從預訓練的 Qwen3 基礎模型（0.6B 與 4B）開始，透過停用因果注意力遮罩並使用擴散去噪目標進行訓練，將其從因果解碼器轉換為雙向編碼器。與從左到右預測 Token 的自迴歸模型不同，擴散訓練強迫模型利用每個遮罩位置周圍的完整雙向上下文來重建隨機遮罩的 Token。這意味著在對比式微調開始時，這些表示法已經編碼了雙向語義，與因果起點相比，能為檢索提供更穩固的基礎。我們使用約 2,500 億個橫跨 30 種語言的多語言文字 Token 進行預訓練。在消融實驗中，擴散預訓練的主幹網路所產生的對比訓練損失顯著低於其因果對應模型，這轉化為在檢索任務上約有 1 個百分點的效能提升。

對比訓練

在預訓練之後，我們執行了三個階段的對比學習。配對訓練（Pair training）使用帶有批次內負樣本（in-batch negatives）的 InfoNCE 損失，在查詢與文件之間建立基礎的語義對齊。在大批次大小下，部分批次內負樣本實際上是正樣本的近乎重複項，因此我們套用了基於相似度的遮罩，以防止這些偽負樣本破壞訓練訊號。訓練分階段進行——僅英文、跨語言，然後是完全多語言——逐步建立能力而非一步到位。接著，上下文訓練（Contextual training）在分塊和文件層級使用結合了序列內和批次內對比的雙重損失，向模型教授相對於文件級上下文的分塊級語義——此階段會產生 pplx-embed-context-v1。最後，透過挖掘困難負樣本進行的三元組訓練（Triplet training）微調了相似但不相關文件之間的界線。最終的 pplx-embed-v1 是透過球面線性插值（SLERP）合併上下文與三元組檢查點而獲得的。

原生量化

在所有對比階段中，嵌入在訓練和推論期間都會被量化為 INT8。我們套用了基於 tanh 的平均池化運算，隨後進行捨入，並使用直通梯度估算（straight-through gradient estimation）來透過不可微分的量化步驟進行反向傳播。這確保了模型從一開始就學習針對降低精度進行優化的表示，而不會遭受事後壓縮帶來的效能退化。針對二進位量化，4B 模型明顯比 0.6B 模型更具強固性：它們較大的嵌入維度（2560 對比 1024）在二進位化後能保留更多資訊，與較小規模下 2–4 點的降幅相比，將效能下降幅度限制在 1.6 個百分點以下。

公開基準測試

放大

在 MTEB (Multilingual, v2) 檢索基準測試中，pplx-embed-v1-4B (INT8) 的平均 nDCG@10 達到 69.66%，與 Qwen3-Embedding-4B（69.60%）相當，並超越了 gemini-embedding-001（67.71%），同時每個嵌入所需的儲存空間大幅減少。我們的 0.6B 模型在相同的參數規模下，其表現超越了對應的 Qwen3 模型。

放大

ConTEB 基準測試上的上下文檢索效能。左圖：已進行上下文處理的模型。右圖：未進行上下文處理的模型。pplx-embed-context-v1-4B (INT8) 獲得了 81.96 的最高分，其次是 voyage-context-3（79.45）以及獲得 76.53 分的 pplx-embed-context-v1-0.6B (INT8)。

在上下文檢索方面，pplx-embed-context-v1-4B 在 ConTEB 基準測試中創下了平均 nDCG@10 達 81.96% 的全新業界領先水準，超越了 voyage-context-3（79.45%）與 Anthropic Contextual（72.4%）。透過訓練納入了文件級語義的分塊級表示，我們的模型即使在段落含義取決於周圍上下文時，也能精準檢索出正確的段落。

我們亦使用 BERGEN 基準測試在端對端 RAG 中評估我們的模型，在此測試中，檢索到的段落會被輸入至語言模型以生成答案。pplx-embed-v1-4B 在五個受評估的問答任務中有四個超越了 Qwen3-Embedding-4B。值得注意的是，pplx-embed-v1-0.6B 在其中三個任務上的表現超越了規模更大的 Qwen3-Embedding-4B，這證明了我們的較小模型在實際的 RAG 設定中，能夠在顯著較大的參數規模下與競爭對手匹敵甚至超越之。關於此評估的更多詳情，請參閱技術報告。

大規模現實世界檢索

公開基準測試固然有用，但它們無法完全捕捉網絡規模的檢索挑戰：長尾查詢、雜訊文件，以及構成生產環境特徵的分佈偏移。為了衡量實際應用中真正重要的事物，我們建構了兩個內部基準測試，其中包含多達 11.5 萬個現實世界查詢，並針對從超過 10 億個網頁中彙整出的 3000 多萬份文件進行評估。PPLXQuery2Query 用於評估嵌入模型是否能從真實搜尋流量中識別出語意相同的查詢；PPLXQuery2Doc 則用於衡量從 3000 萬頁語料庫中的文件檢索能力。

在 PPLXQuery2Query（240 萬語料庫）上，pplx-embed-v1-4B 的 Recall@10 達到 73.5%，以 5.6 個百分點的差距超越 Qwen3-Embedding-4B（67.9%）。我們的 0.6B 模型 Recall@10 達到 71.1%，顯著超越 BGE-M3（61.8%）與 Qwen3-Embedding-0.6B（55.1%）。

放大

在多語言 PPLXQuery2Doc 任務（3000 萬語料庫）上，pplx-embed-v1-4B 的 Recall@1000 達到 91.7%，相較之下 Qwen3-Embedding-4B 則為 88.6%。在大檢索深度下的高召回率，對於作為多階段排序管線中第一階段檢索器的嵌入模型至關重要，在此情況下，將傳遞給後續重排器的相關候選項目數量最大化，會直接影響最終的結果品質。

開始使用

所有模型均可在 Hugging Face（採用 MIT 授權條款）以及透過 Perplexity API 取得。我們支援透過 Transformers、SentenceTransformers、Text Embeddings Inference 與 ONNX 進行推論。如需各選項的完整詳情，請參閱 Hugging Face 模型合集。

如需全面的技術詳情與完整的評估結果，請參閱我們的技術報告。

引文

@online{perplexity2026PplxEmbedStateOfTheArtEmbeddingModelsForWebScaleRetrieval,
  author = {{Perplexity} and Sedigheh Eslami and Maksim Gaiduk and Markus Krimmel and Louis Milliken and Bo Wang and Denis Bykov},
  title = {{pplx-embed: State-of-the-art embedding models for web-scale retrieval}},
  date = {2026-02-26},
  url = {https://perplexity.coolkeypoint.com/hub/blog/pplx-embed-state-of-the-art-embedding-models-for-web-scale-retrieval}
}