pplx-embed: Mô hình nhúng tiên tiến cho truy xuất quy mô web

Hôm nay, chúng tôi phát hành pplx-embed-v1 và pplx-embed-context-v1, hai mô hình nhúng văn bản tiên tiến nhất được xây dựng cho việc truy xuất quy mô web trong thế giới thực. pplx-embed-v1 được tối ưu hóa cho việc truy xuất văn bản dày đặc chuẩn, trong khi pplx-embed-context-v1 nhúng các đoạn văn dựa trên ngữ cảnh cấp tài liệu xung quanh.

Cả pplx-embed-v1 và pplx-embed-context-v1 đều khả dụng ở quy mô tham số 0.6B và 4B. Các mô hình 0.6B hướng đến việc tạo nhúng trọng lượng nhẹ, độ trễ thấp, trong khi các mô hình 4B tối đa hóa chất lượng truy xuất. Trong các đánh giá của chúng tôi, họ pplx-embed dẫn đầu một loạt các tiêu chuẩn công khai bao gồm MTEB(Multilingual, v2), BERGEN, ToolRet và ConTEB. Hơn nữa, pplx-embed-v1 mang lại kết quả tốt nhất trong phân khúc trên các tiêu chuẩn quy mô web nội bộ của chúng tôi: PPLXQuery2Query, PPLXQuery2Doc.

Các mô hình tạo ra các nhúng INT8 và nhị phân, làm giảm yêu cầu lưu trữ lần lượt đi 4x và 32x so với FP32. Tính nhỏ gọn này giúp việc lưu trữ và truy xuất nhúng quy mô web trở nên thiết thực hơn đáng kể.

Kích thước mô hình pplx-embed, độ dài ngữ cảnh, lượng tử hóa và cấu hình pooling.

Xem báo cáo kỹ thuật, mô hình Hugging Face và tài liệu API của chúng tôi.

Động lực

Các nhúng văn bản dày đặc ánh xạ các truy vấn và tài liệu vào một không gian ngữ nghĩa chung, nơi việc truy xuất được thu gọn thành tìm kiếm lân cận gần đúng nhất. Ở quy mô của Perplexity, các nhúng là giai đoạn đầu tiên trong chuỗi truy xuất của chúng tôi, xác định những tài liệu nào từ hàng tỷ trang web được xem xét bởi các bộ xếp hạng và mô hình ngôn ngữ ở hạ nguồn.

Hầu hết các mô hình nhúng hàng đầu hiện nay được xây dựng trên các LLM chỉ có bộ giải mã với mặt nạ chú ý nhân quả, trong đó mỗi token chỉ có thể chú ý đến các token trước đó. Đối với việc truy xuất, đây là một giới hạn cơ bản: việc hiểu một đoạn văn thường đòi hỏi ngữ cảnh hai chiều. Chúng tôi giải quyết vấn đề này thông qua quá trình huấn luyện trước tiếp tục dựa trên khuếch tán, chuyển đổi một LLM nhân quả thành một bộ mã hóa hai chiều. Sự chú ý hai chiều đầy đủ cho phép gom cụm trung bình trên tất cả các biểu diễn token và hỗ trợ phân đoạn muộn cho các nhúng theo ngữ cảnh, trong đó nhúng của mỗi đoạn được thông báo bởi toàn bộ tài liệu mà nó xuất hiện.

Ở quy mô web, việc lưu trữ các nhúng ở định dạng FP32 có chi phí vô cùng đắt đỏ. Thay vì áp dụng lượng tử hóa như một bước nén hậu kỳ, các mô hình của chúng tôi sử dụng quá trình huấn luyện nhận biết lượng tử hóa để tạo ra các nhúng INT8 một cách nguyên bản, giảm dung lượng lưu trữ đi 4 lần mà không làm giảm hiệu suất. Lượng tử hóa nhị phân làm giảm dung lượng lưu trữ đi 32 lần với mức giảm chất lượng tối thiểu, đặc biệt là ở quy mô 4B.

Nhiều mô hình nhúng hiện đại yêu cầu các tiền tố hướng dẫn được đặt trước mọi đầu vào. Mặc dù điều này có thể mang lại những cải thiện nhỏ trên các điểm chuẩn, nhưng trong thực tế, nó tạo ra sự ma sát: các hướng dẫn không khớp giữa thời điểm lập chỉ mục và thời điểm truy vấn làm giảm chất lượng truy xuất một cách âm thầm, và việc chọn đúng lời nhắc cho từng trường hợp sử dụng lại trở thành một vấn đề nữa cần phải làm đúng. Các mô hình của chúng tôi không yêu cầu hướng dẫn nào, giúp việc tích hợp trở nên đơn giản.

Huấn luyện

pplx-embed-v1 và pplx-embed-context-v1 được huấn luyện thông qua một quy trình nhiều giai đoạn giúp định hình dần các biểu diễn văn bản cho việc truy xuất.

Phóng to

Huấn luyện trước khuếch tán tiếp tục

Chúng tôi bắt đầu từ các mô hình cơ sở Qwen3 đã được huấn luyện trước (0.6B và 4B) và chuyển đổi chúng từ các bộ giải mã nhân quả thành các bộ mã hóa hai chiều bằng cách vô hiệu hóa mặt nạ chú ý nhân quả và huấn luyện với mục tiêu khử nhiễu khuếch tán. Không giống như các mô hình tự hồi quy dự đoán các token từ trái sang phải, quá trình huấn luyện khuếch tán buộc mô hình phải tái tạo các token bị che ngẫu nhiên bằng cách sử dụng toàn bộ ngữ cảnh hai chiều xung quanh mỗi vị trí bị che. Điều này có nghĩa là khi quá trình tinh chỉnh tương phản bắt đầu, các biểu diễn đã mã hóa ngữ nghĩa hai chiều, cung cấp nền tảng vững chắc hơn cho việc truy xuất so với điểm khởi đầu nhân quả. Chúng tôi huấn luyện trước trên khoảng 250 tỷ token văn bản đa ngôn ngữ bao gồm 30 ngôn ngữ. Trong các phép cắt bỏ, các xương sống được huấn luyện trước bằng khuếch tán đạt được tổn thất huấn luyện tương phản thấp hơn đáng kể so với các đối tác nhân quả của chúng, chuyển thành mức cải thiện khoảng 1 điểm phần trăm trên các tác vụ truy xuất.

Huấn luyện tương phản

Sau khi huấn luyện trước, chúng tôi thực hiện ba giai đoạn học tập tương phản. Huấn luyện cặp thiết lập sự căn chỉnh ngữ nghĩa nền tảng giữa các truy vấn và tài liệu bằng cách sử dụng tổn thất InfoNCE với các thành phần âm trong lô. Với kích thước lô lớn, một số thành phần âm trong lô thực ra là các bản sao gần giống với thành phần dương, vì vậy chúng tôi áp dụng một mặt nạ dựa trên độ tương đồng để ngăn chặn các thành phần âm tính giả này làm hỏng tín hiệu huấn luyện. Quá trình huấn luyện diễn ra theo các pha—chỉ tiếng Anh, sau đó là đa ngôn ngữ chéo, rồi hoàn toàn đa ngôn ngữ—xây dựng năng lực dần dần thay vì tất cả cùng một lúc. Huấn luyện theo ngữ cảnh sau đó dạy cho mô hình ngữ nghĩa cấp đoạn liên quan đến ngữ cảnh cấp tài liệu, sử dụng tổn thất kép kết hợp độ tương phản trong chuỗi và trong lô ở cả cấp đoạn và cấp tài liệu—giai đoạn này tạo ra pplx-embed-context-v1. Cuối cùng, huấn luyện bộ ba với các thành phần âm khó được khai thác sẽ tinh chỉnh các ranh giới giữa các tài liệu tương tự nhưng không có liên quan. pplx-embed-v1 cuối cùng thu được bằng cách hợp nhất các điểm kiểm tra ngữ cảnh và bộ ba thông qua nội suy tuyến tính hình cầu (SLERP).

Lượng tử hóa nguyên bản

Trong suốt tất cả các giai đoạn tương phản, các nhúng được lượng tử hóa thành INT8 trong cả quá trình huấn luyện và suy luận. Chúng tôi áp dụng thao tác gom cụm trung bình dựa trên tanh theo sau là việc làm tròn, và sử dụng ước tính gradient chuyển tiếp để truyền ngược qua bước lượng tử hóa không khả vi. Điều này đảm bảo mô hình học được các biểu diễn được tối ưu hóa cho độ chính xác giảm ngay từ đầu, thay vì chịu sự suy giảm từ quá trình nén hậu kỳ. Đối với lượng tử hóa nhị phân, các mô hình 4B có độ mạnh mẽ đáng kể hơn so với 0.6B: kích thước nhúng lớn hơn của chúng (2560 so với 1024) bảo tồn nhiều thông tin hơn sau khi nhị phân hóa, giới hạn mức giảm hiệu suất xuống dưới 1.6 điểm phần trăm so với 2–4 điểm ở quy mô nhỏ hơn.

Các điểm chuẩn công khai

Phóng to

Trên điểm chuẩn truy xuất MTEB(Multilingual, v2), pplx-embed-v1-4B(INT8) đạt nDCG@10 trung bình là 69.66%, sánh ngang với Qwen3-Embedding-4B (69.60%) và vượt qua gemini-embedding-001 (67.71%), trong khi yêu cầu ít dung lượng lưu trữ hơn đáng kể cho mỗi nhúng. Mô hình 0.6B của chúng tôi vượt trội hơn đối tác Qwen3 của nó ở cùng quy mô tham số.

Phóng to

Hiệu suất truy xuất theo ngữ cảnh trên điểm chuẩn ConTEB. Bên trái: các mô hình có ngữ cảnh. Bên phải: các mô hình không có ngữ cảnh. pplx-embed-context-v1-4B (INT8) đạt điểm số cao nhất là 81.96, theo sau là voyage-context-3 (79.45) và pplx-embed-context-v1-0.6B (INT8) ở mức 76.53.

Đối với truy xuất theo ngữ cảnh, pplx-embed-context-v1-4B thiết lập một tiêu chuẩn tiên tiến mới trên điểm chuẩn ConTEB với nDCG@10 trung bình là 81.96%, vượt trội hơn voyage-context-3 (79.45%) và Anthropic Contextual (72.4%). Bằng cách huấn luyện các biểu diễn cấp đoạn kết hợp ngữ nghĩa cấp tài liệu, các mô hình của chúng tôi truy xuất đúng đoạn văn ngay cả khi ý nghĩa của nó phụ thuộc vào ngữ cảnh xung quanh.

Chúng tôi cũng đánh giá các mô hình của mình trong RAG đầu cuối bằng cách sử dụng điểm chuẩn BERGEN, nơi các đoạn văn được truy xuất được đưa vào một mô hình ngôn ngữ để tạo câu trả lời. pplx-embed-v1-4B vượt trội hơn Qwen3-Embedding-4B trên bốn trong số năm tác vụ trả lời câu hỏi được đánh giá. Đáng chú ý, pplx-embed-v1-0.6B vượt trội hơn Qwen3-Embedding-4B lớn hơn trên ba trong số năm tác vụ, chứng minh rằng mô hình nhỏ hơn của chúng tôi có thể sánh ngang hoặc vượt quá đối thủ cạnh tranh ở quy mô tham số lớn hơn đáng kể trong các thiết lập RAG thực tế. Để biết thêm chi tiết về đánh giá này, chúng tôi tham khảo báo cáo kỹ thuật.

Truy xuất trong thế giới thực ở quy mô lớn

Các điểm chuẩn công khai rất hữu ích, nhưng chúng không nắm bắt hoàn toàn các thách thức truy xuất quy mô web: các truy vấn đuôi dài, tài liệu có nhiều nhiễu và sự dịch chuyển phân phối đặc trưng cho môi trường sản xuất. Để đo lường những gì quan trọng trong thực tế, chúng tôi đã xây dựng hai điểm chuẩn nội bộ với tối đa 115 nghìn truy vấn trong thế giới thực được đánh giá dựa trên hơn 30 triệu tài liệu được tổng hợp từ hơn 1 tỷ trang web. PPLXQuery2Query đánh giá xem một mô hình nhúng có thể xác định các truy vấn tương đương về mặt ngữ nghĩa từ lưu lượng tìm kiếm thực tế hay không; PPLXQuery2Doc đo lường việc truy xuất tài liệu từ một tập hợp 30 triệu trang.

Trên PPLXQuery2Query (tập hợp 2.4 triệu), pplx-embed-v1-4B đạt 73.5% Recall@10, vượt qua Qwen3-Embedding-4B (67.9%) 5.6 điểm phần trăm. Mô hình 0.6B của chúng tôi đạt 71.1% Recall@10, vượt trội đáng kể so với BGE-M3 (61.8%) và Qwen3-Embedding-0.6B (55.1%).

Phóng to

Trên tác vụ PPLXQuery2Doc đa ngôn ngữ (tập hợp 30 triệu), pplx-embed-v1-4B đạt 91.7% Recall@1000, so với 88.6% của Qwen3-Embedding-4B. Khả năng thu hồi cao ở độ sâu truy xuất lớn là rất quan trọng đối với các mô hình nhúng phục vụ như các bộ truy xuất giai đoạn đầu trong các chuỗi xếp hạng nhiều giai đoạn, nơi việc tối đa hóa số lượng ứng viên có liên quan được chuyển đến các bộ xếp hạng lại ở hạ nguồn tác động trực tiếp đến chất lượng kết quả cuối cùng.

Bắt đầu

Tất cả các mô hình đều có sẵn trên Hugging Face (theo Giấy phép MIT) và thông qua API Perplexity. Chúng tôi hỗ trợ suy luận thông qua Transformers, SentenceTransformers, Text Embeddings Inference và ONNX. Để biết toàn bộ chi tiết về từng tùy chọn, hãy xem bộ sưu tập mô hình Hugging Face.

Để biết chi tiết kỹ thuật toàn diện và kết quả đánh giá hoàn chỉnh, vui lòng tham khảo báo cáo kỹ thuật của chúng tôi.

Trích dẫn

@online{perplexity2026PplxEmbedStateOfTheArtEmbeddingModelsForWebScaleRetrieval,
  author = {{Perplexity} and Sedigheh Eslami and Maksim Gaiduk and Markus Krimmel and Louis Milliken and Bo Wang and Denis Bykov},
  title = {{pplx-embed: State-of-the-art embedding models for web-scale retrieval}},
  date = {2026-02-26},
  url = {https://perplexity.coolkeypoint.com/hub/blog/pplx-embed-state-of-the-art-embedding-models-for-web-scale-retrieval}
}