pplx-embed：用於大規模檢索的頂尖嵌入模型

今天，我們發布了 pplx-embed-v1 和 pplx-embed-context-v1，這是兩款專為現實世界、網路規模檢索而構建的最先進文本嵌入模型。pplx-embed-v1 針對標準密集文本檢索進行了優化，而 pplx-embed-context-v1 則能根據周圍文檔級上下文對段落進行嵌入。

pplx-embed-v1 和 pplx-embed-context-v1 均提供 0.6B 和 4B 參數規模。0.6B 模型針對輕量級、低延遲的嵌入生成，而 4B 模型則最大化檢索質量。在我們的評估中，pplx-embed 系列在包括 MTEB(Multilingual, v2)、BERGEN、ToolRet 和 ConTEB 在內的一系列公開基準測試中均處於領先地位。此外，pplx-embed-v1 在我們內部的網路規模基準測試（PPLXQuery2Query, PPLXQuery2Doc）中表現出業界領先的成果。

這些模型產生 INT8 和 二進制 嵌入，與 FP32 相比，儲存需求分別降低了 4倍 和 32倍。這種緊湊性使得網路規模的嵌入儲存和檢索變得更加實用。

pplx-embed 模型維度、上下文長度、量化與池化設定。

請查看我們的 技術報告、Hugging Face 模型 和 API 文件。

動機

密集文本嵌入將查詢和文檔映射到共享的語義空間中，其中檢索過程簡化為近似最近鄰搜索。在 Perplexity 的規模下，嵌入是我們檢索流程的第一階段，決定了來自數十億網頁的哪些文檔會被後續的排序器和語言模型考慮。

目前大多數領先的嵌入模型都是建立在具有因果注意力掩碼（causal attention masking）的僅解碼器 LLM 之上，其中每個 Token 只能關注到前面的 Token。對於檢索而言，這是一個根本性的限制：理解段落通常需要雙向上下文。我們透過 基於擴散的持續預訓練 來解決這個問題，它將因果 LLM 轉換為雙向編碼器。完整的雙向注意力機制使得在所有 Token 表示上進行平均池化成為可能，並支持用於上下文嵌入的「後期分塊」（late chunking），即每個分塊的嵌入都由其所在的完整文檔資訊所構成。

在網路規模下，以 FP32 儲存嵌入的成本過高。我們的模型並非將量化作為事後壓縮步驟，而是使用量化感知訓練來原生產生 INT8 嵌入，在不犧牲性能的情況下將儲存需求減少了 4 倍。二進制量化在最小化質量損失的情況下，將儲存空間進一步減少了 32 倍，特別是在 4B 規模下。

許多現代嵌入模型要求在每個輸入前加上指令前綴。雖然這可以在基準測試中帶來微小的提升，但在實踐中卻增加了摩擦：索引時和查詢時指令不匹配會悄無聲息地降低檢索效果，並且為每個用例選擇正確的提示詞變成了另一個需要處理的負擔。我們的模型不需要任何指令，使得整合過程非常簡單直接。

訓練

pplx-embed-v1 和 pplx-embed-context-v1 是透過一個多階段流程進行訓練，逐步塑形文本表示以用於檢索。

放大

持續擴散預訓練

我們從預訓練的 Qwen3 基礎模型（0.6B 和 4B）開始，透過停用因果注意力掩碼並使用擴散去噪目標進行訓練，將它們從因果解碼器轉換為雙向編碼器。與從左到右預測 Token 的自回歸模型不同，擴散訓練強迫模型使用每個被遮蔽位置周圍完整的雙向上下文來重建隨機遮蔽的 Token。這意味著在對比微調開始時，這些表示已經編碼了雙向語義，為檢索提供了比因果起點更強大的基礎。我們在涵蓋 30 種語言的約 2500 億個 Token 的多語言文本上進行預訓練。在消融研究中，擴散預訓練的主幹模型實現了遠低於因果對應模型的對比訓練損失，這轉化為在檢索任務上約 1 個百分點的改進。

對比訓練

在預訓練之後，我們執行了三個階段的對比學習。配對訓練 使用具有批內負樣本的 InfoNCE 損失，建立了查詢和文檔之間基礎的語義對齊。在大批次處理下，一些批內負樣本實際上是正樣本的近乎重複項，因此我們應用了基於相似度的掩碼，以防止這些假負樣本破壞訓練信號。訓練分階段進行——僅英語、跨語言，最後是完全多語言——逐步建立能力，而不是一次性完成。上下文訓練 然後教導模型關於文檔級上下文的分塊級語義，使用結合了分塊級和文檔級的序列內及批內對比的雙重損失——此階段產生了 pplx-embed-context-v1。最後，使用挖掘出的難負樣本進行 三元組訓練，精煉了相似但非相關文檔之間的邊界。最終的 pplx-embed-v1 是透過球形線性插值 (SLERP) 合併上下文和三元組檢查點而獲得的。

原生量化

在所有對比階段中，嵌入在訓練和推理過程中都被量化為 INT8。我們應用了基於 tanh 的平均池化操作，隨後進行捨入，並使用直通梯度估計（straight-through gradient estimation）來反向傳播通過不可微的量化步驟。這確保了模型從一開始就學習針對低精度優化的表示，而不是遭受事後壓縮帶來的性能下降。對於二進制量化，4B 模型顯著比 0.6B 更具魯棒性：它們較大的嵌入維度（2560 與 1024）在二值化後保留了更多資訊，將性能下降限制在 1.6 個百分點以內，而較小規模模型的下降幅度為 2–4 個百分點。

公開基準測試

放大

在 MTEB(Multilingual, v2) 檢索基準測試中，pplx-embed-v1-4B(INT8) 的平均 nDCG@10 達到 69.66%，與 Qwen3-Embedding-4B (69.60%) 持平並超過了 gemini-embedding-001 (67.71%)，同時每個嵌入所需的儲存空間顯著更少。我們的 0.6B 模型在相同參數規模下優於其 Qwen3 對應模型。

放大

ConTEB 基準測試上的上下文檢索性能。左側：上下文模型。右側：非上下文模型。pplx-embed-context-v1-4B (INT8) 以 81.96 的得分最高，其次是 voyage-context-3 (79.45) 和 pplx-embed-context-v1-0.6B (INT8) 的 76.53。

對於上下文檢索，pplx-embed-context-v1-4B 在 ConTEB 基準測試中以 81.96% 的平均 nDCG@10 創下了新的先進水準，超越了 voyage-context-3 (79.45%) 和 Anthropic Contextual (72.4%)。透過訓練結合文檔級語義的分塊級表示，即使當段落的含義取決於周圍上下文時，我們的模型也能檢索到正確的段落。

我們還使用 BERGEN 基準測試在端到端 RAG 中評估了我們的模型，其中檢索到的段落被輸入語言模型以生成答案。pplx-embed-v1-4B 在五個受評估的問答任務中的四個任務上表現優於 Qwen3-Embedding-4B。值得注意的是，pplx-embed-v1-0.6B 在五個任務中的三個任務上優於更大規模的 Qwen3-Embedding-4B，證明了我們的小模型在實際 RAG 場景中可以匹配或超過規模顯著更大的競爭對手。關於此評估的更多細節，請參考 技術報告。

大規模現實世界檢索

公開基準測試很有用，但它們並不能完全捕捉到大規模檢索的挑戰：長尾查詢、嘈雜的文檔以及生產環境中典型的分佈偏移。為了衡量實踐中重要的指標，我們建立了兩個內部基準測試，使用多達 11.5 萬個現實世界查詢，對照從超過 10 億個網頁中匯集的超過 3000 萬份文檔進行評估。PPLXQuery2Query 評估嵌入模型是否能從實際搜尋流量中識別出語義等效的查詢；PPLXQuery2Doc 衡量從 3000 萬頁語料庫中的文檔檢索。

在 PPLXQuery2Query（240 萬語料庫）上，pplx-embed-v1-4B 達到了 73.5% 的 Recall@10，超越 Qwen3-Embedding-4B (67.9%) 5.6 個百分點。我們的 0.6B 模型達到了 71.1% 的 Recall@10，顯著優於 BGE-M3 (61.8%) 和 Qwen3-Embedding-0.6B (55.1%)。

放大

在多語言 PPLXQuery2Doc 任務（3000 萬語料庫）上，pplx-embed-v1-4B 達到了 91.7% 的 Recall@1000，而 Qwen3-Embedding-4B 為 88.6%。在深度檢索中保持高召回率對於擔任多階段排序流程中第一階段檢索器的嵌入模型至關重要，因為最大化傳遞給後續重排序器的相關候選數量將直接影響最終結果的質量。

入門指南

所有模型均可在 Hugging Face（遵循 MIT 許可證）以及透過 Perplexity API 使用。我們支援透過 Transformers、SentenceTransformers、Text Embeddings Inference 和 ONNX 進行推理。關於每個選項的詳細資訊，請參見 Hugging Face 模型集合。

如需全面的技術細節和完整的評估結果，請參閱我們的 技術報告。

引用

@online{perplexity2026PplxEmbedStateOfTheArtEmbeddingModelsForWebScaleRetrieval,
  author = {{Perplexity} and Sedigheh Eslami and Maksim Gaiduk and Markus Krimmel and Louis Milliken and Bo Wang and Denis Bykov},
  title = {{pplx-embed: State-of-the-art embedding models for web-scale retrieval}},
  date = {2026-02-26},
  url = {https://perplexity.coolkeypoint.com/hub/blog/pplx-embed-state-of-the-art-embedding-models-for-web-scale-retrieval}
}