pplx-embed: Κορυφαία μοντέλα ενσωμάτωσης για ανάκτηση κλίμακας Ιστού

Σήμερα κυκλοφορούμε τα pplx-embed-v1 και pplx-embed-context-v1, δύο κορυφαία μοντέλα ενσωμάτωσης κειμένου (text embedding) σχεδιασμένα για ανάκτηση πραγματικού κόσμου σε κλίμακα Ιστού. Το pplx-embed-v1 είναι βελτιστοποιημένο για τυπική πυκνή ανάκτηση κειμένου, ενώ το pplx-embed-context-v1 ενσωματώνει αποσπάσματα λαμβάνοντας υπόψη το γύρω πλαίσιο σε επίπεδο εγγράφου.

Τόσο το pplx-embed-v1 όσο και το pplx-embed-context-v1 είναι διαθέσιμα σε κλίμακες παραμέτρων 0.6B και 4B. Τα μοντέλα 0.6B στοχεύουν σε ελαφριά παραγωγή ενσωμάτωσης χαμηλής καθυστέρησης, ενώ τα μοντέλα 4B μεγιστοποιούν την ποιότητα ανάκτησης. Στις αξιολογήσεις μας, η οικογένεια pplx-embed ηγείται σε μια σειρά δημόσιων benchmarks, συμπεριλαμβανομένων των MTEB(Multilingual, v2), BERGEN, ToolRet και ConTEB. Επιπλέον, το pplx-embed-v1 προσφέρει κορυφαία αποτελέσματα στην κατηγορία του στα εσωτερικά μας benchmarks κλίμακας Ιστού: PPLXQuery2Query, PPLXQuery2Doc.

Τα μοντέλα παράγουν ενσωματώσεις INT8 και binary, μειώνοντας τις απαιτήσεις αποθήκευσης κατά 4x και 32x αντίστοιχα, σε σύγκριση με την FP32. Αυτή η συμπαγής μορφή καθιστά την αποθήκευση και την ανάκτηση ενσωματώσεων σε κλίμακα Ιστού σημαντικά πιο πρακτική.

διαστάσεις μοντέλου pplx-embed, μήκος περιεχομένου, κβαντοποίηση και διαμόρφωση pooling.

Δείτε την τεχνική αναφορά μας, τα μοντέλα Hugging Face και τα έγγραφα API.

Κίνητρο

Τα πυκνά ενσωματώματα κειμένου αντιστοιχίζουν ερωτήματα και έγγραφα σε έναν κοινό σημασιολογικό χώρο, όπου η ανάκτηση ανάγεται σε προσεγγιστική αναζήτηση του πλησιέστερου γείτονα. Σε κλίμακα Perplexity, τα ενσωματώματα είναι το πρώτο στάδιο του αγωγού ανάκτησής μας, καθορίζοντας ποια έγγραφα από δισεκατομμύρια ιστοσελίδες θα εξεταστούν από τους μεταγενέστερους ταξινομητές και τα γλωσσικά μοντέλα.

Τα περισσότερα κορυφαία μοντέλα ενσωμάτωσης σήμερα βασίζονται σε LLM μόνο αποκωδικοποιητή (decoder-only) με αιτιώδη μάσκα προσοχής (causal attention masking), όπου κάθε διακριτικό (token) μπορεί να λαμβάνει υπόψη μόνο τα προηγούμενα διακριτικά. Για την ανάκτηση, αυτός είναι ένας θεμελιώδης περιορισμός: η κατανόηση ενός αποσπάσματος απαιτεί συχνά αμφίδρομο πλαίσιο. Αυτό το αντιμετωπίζουμε μέσω της συνεχιζόμενης προεκπαίδευσης βάσει διάχυσης, η οποία μετατρέπει ένα αιτιώδες LLM σε αμφίδρομο κωδικοποιητή. Η πλήρης αμφίδρομη προσοχή επιτρέπει τη συγκέντρωση μέσου όρου (mean pooling) σε όλες τις αναπαραστάσεις διακριτικών και υποστηρίζει τον καθυστερημένο τεμαχισμό (late chunking) για ενσωματώσεις πλαισίου, όπου η ενσωμάτωση κάθε τμήματος ενημερώνεται από ολόκληρο το έγγραφο στο οποίο εμφανίζεται.

Σε κλίμακα Ιστού, η αποθήκευση ενσωματώσεων σε FP32 είναι απαγορευτικά ακριβή. Αντί να εφαρμόζεται ο κβαντισμός ως βήμα συμπίεσης μετά τα γεγονότα, τα μοντέλά μας χρησιμοποιούν εκπαίδευση με επίγνωση κβαντισμού (quantization-aware training) για να παράγουν εγγενώς ενσωματώσεις INT8, μειώνοντας την αποθήκευση κατά 4 φορές χωρίς καμία μείωση στην απόδοση. Ο δυαδικός κβαντισμός μειώνει την αποθήκευση κατά 32 φορές με ελάχιστη απώλεια ποιότητας, ιδίως στην κλίμακα των 4B.

Πολλά σύγχρονα μοντέλα ενσωμάτωσης απαιτούν προθέματα οδηγιών να προστίθενται στην αρχή κάθε εισόδου. Παρόλο που αυτό μπορεί να προσφέρει μικρές βελτιώσεις στα benchmarks, στην πράξη προσθέτει τριβή: οι μη ταιριαστές οδηγίες μεταξύ της ευρετηρίασης και του χρόνου ερωτήματος υποβαθμίζουν σιωπηρά την ανάκτηση, και η επιλογή της σωστής προτροπής για κάθε περίπτωση χρήσης γίνεται ένα ακόμη στοιχείο που πρέπει να πετύχει κανείς. Τα μοντέλά μας δεν απαιτούν οδηγίες, κάνοντας την ενσωμάτωση απλή.

Εκπαίδευση

Τα pplx-embed-v1 και pplx-embed-context-v1 εκπαιδεύονται μέσω μιας ροής πολλαπλών σταδίων που διαμορφώνει προοδευτικά τις αναπαραστάσεις κειμένου για ανάκτηση.

Μεγέθυνση

Συνεχιζόμενη προεκπαίδευση διάχυσης

Ξεκινάμε από προεκπαιδευμένα βασικά μοντέλα Qwen3 (0.6B και 4B) και τα μετατρέπουμε από αιτιοκρατικούς αποκωδικοποιητές σε αμφίδρομους κωδικοποιητές απενεργοποιώντας τη μάσκα αιτιοκρατικής προσοχής και εκπαιδεύοντάς τα με έναν στόχο αποθορυβοποίησης διάχυσης. Σε αντίθεση με τα αυτοπαλίνδρομα μοντέλα που προβλέπουν διακριτικά από τα αριστερά προς τα δεξιά, η εκπαίδευση με διάχυση αναγκάζει το μοντέλο να αναδομήσει τυχαία μασκαρισμένα διακριτικά χρησιμοποιώντας το πλήρες αμφίδρομο πλαίσιο γύρω από κάθε μασκαρισμένη θέση. Αυτό σημαίνει ότι, μέχρι να ξεκινήσει η αντιθετική λεπτορύθμιση, οι αναπαραστάσεις ήδη κωδικοποιούν αμφίδρομη σημασιολογία, παρέχοντας ισχυρότερη βάση για ανάκτηση από ένα αιτιοκρατικό σημείο εκκίνησης. Προεκπαιδεύουμε σε περίπου 250 δισεκατομμύρια διακριτικά πολυγλωσσικού κειμένου που καλύπτουν 30 γλώσσες. Στις ablation, τα προεκπαιδευμένα με διάχυση υπόβαθρα επιτυγχάνουν σημαντικά χαμηλότερη απώλεια αντιθετικής εκπαίδευσης από τα αιτιοκρατικά αντίστοιχά τους, μεταφραζόμενο σε βελτίωση περίπου 1 ποσοστιαίας μονάδας σε εργασίες ανάκτησης.

Αντιθετική εκπαίδευση

Μετά την προεκπαίδευση, εκτελούμε τρία στάδια αντιθετικής μάθησης. Η εκπαίδευση ζευγαριών εδραιώνει τη θεμελιώδη σημασιολογική ευθυγράμμιση μεταξύ ερωτημάτων και εγγράφων χρησιμοποιώντας μια απώλεια InfoNCE με αρνητικά εντός παρτίδας (in-batch negatives). Με μεγάλες παρτίδες, ορισμένα αρνητικά εντός παρτίδας είναι στην πραγματικότητα σχεδόν διπλότυπα του θετικού, οπότε εφαρμόζουμε μια μάσκα βασισμένη στην ομοιότητα για να αποτρέψουμε αυτά τα ψευδώς αρνητικά από το να αλλοιώσουν το σήμα εκπαίδευσης. Η εκπαίδευση προχωρά σε φάσεις —μόνο στα αγγλικά, στη συνέχεια διαγλωσσικά και τέλος πλήρως πολυγλωσσικά— χτίζοντας την ικανότητα σταδιακά και όχι όλα μαζί. Η συγκείμενη εκπαίδευση στη συνέχεια διδάσκει στο μοντέλο τη σημασιολογία σε επίπεδο τμήματος σε σχέση με το πλαίσιο σε επίπεδο εγγράφου, χρησιμοποιώντας μια διπλή απώλεια που συνδυάζει αντίθεση εντός ακολουθίας και εντός παρτίδας τόσο σε επίπεδο τμήματος όσο και σε επίπεδο εγγράφου —αυτό το στάδιο παράγει το pplx-embed-context-v1. Τέλος, η εκπαίδευση τριάδων (triplet training) με εξορυγμένα σκληρά αρνητικά (mined hard negatives) βελτιώνει τα όρια μεταξύ παρόμοιων αλλά μη σχετικών εγγράφων. Το τελικό pplx-embed-v1 λαμβάνεται με συγχώνευση των σημείων ελέγχου συγκείμενης εκπαίδευσης και τριάδων μέσω σφαιρικής γραμμικής παρεμβολής (SLERP).

Εγγενής κβαντισμός

Σε όλα τα αντιθετικά στάδια, οι ενσωματώσεις κβαντίζονται σε INT8 τόσο κατά την εκπαίδευση όσο και κατά την εξαγωγή συμπερασμάτων. Εφαρμόζουμε μια λειτουργία μέσου όρου βασισμένη σε tanh ακολουθούμενη από στρογγυλοποίηση, και χρησιμοποιούμε εκτίμηση κλίσης ευθείας διέλευσης (straight-through gradient estimation) για την ανάδρομη διάδοση (backpropagate) μέσω του μη διαφορίσιμου βήματος κβαντισμού. Αυτό διασφαλίζει ότι το μοντέλο μαθαίνει αναπαραστάσεις βελτιστοποιημένες για μειωμένη ακρίβεια από την αρχή, αντί να υφίσταται υποβάθμιση από συμπίεση μετά τα γεγονότα. Για τον δυαδικό κβαντισμό, τα μοντέλα 4B είναι αξιοσημείωτα πιο ανθεκτικά από τα 0.6B: η μεγαλύτερη διάσταση ενσωμάτωσής τους (2560 έναντι 1024) διατηρεί περισσότερες πληροφορίες μετά τη δυαδοποίηση, περιορίζοντας την πτώση απόδοσης κάτω από 1,6 ποσοστιαίες μονάδες σε σύγκριση με 2–4 μονάδες στην μικρότερη κλίμακα.

Δημόσια Benchmarks

Μεγέθυνση

Στο benchmark ανάκτησης MTEB(Multilingual, v2), το pplx-embed-v1-4B (INT8) επιτυγχάνει μέσο nDCG@10 69,66%, ταιριάζοντας με το Qwen3-Embedding-4B (69,60%) και ξεπερνώντας το gemini-embedding-001 (67,71%), ενώ απαιτεί σημαντικά λιγότερη αποθήκευση ανά ενσωμάτωση. Το μοντέλο μας 0.6B ξεπερνά το αντίστοιχο Qwen3 στην ίδια κλίμακα παραμέτρων.

Μεγέθυνση

Απόδοση συγκείμενης ανάκτησης στο benchmark ConTEB. Αριστερά: μοντέλα με πλαίσιο. Δεξιά: μοντέλα χωρίς πλαίσιο. Το pplx-embed-context-v1-4B (INT8) επιτυγχάνει την υψηλότερη βαθμολογία 81,96, ακολουθούμενο από το voyage-context-3 (79.45) και το pplx-embed-context-v1-0.6B (INT8) στο 76.53.

Για τη συγκείμενη ανάκτηση, το pplx-embed-context-v1-4B θέτει ένα νέο κορυφαίο πρότυπο (state of the art) στο benchmark ConTEB με μέσο nDCG@10 81,96%, ξεπερνώντας το voyage-context-3 (79,45%) και το Anthropic Contextual (72,4%). Εκπαιδεύοντας αναπαραστάσεις σε επίπεδο τμήματος που ενσωματώνουν σημασιολογία σε επίπεδο εγγράφου, τα μοντέλά μας ανακτούν το σωστό απόσπασμα ακόμα και όταν το νόημά του εξαρτάται από το γύρω πλαίσιο.

Επίσης, αξιολογούμε τα μοντέλά μας σε RAG άκρου σε άκρο (end-to-end) χρησιμοποιώντας το benchmark BERGEN, όπου τα ανακτημένα αποσπάσματα τροφοδοτούνται σε ένα γλωσσικό μοντέλο για τη δημιουργία απαντήσεων. Το pplx-embed-v1-4B ξεπερνά το Qwen3-Embedding-4B σε τέσσερες από τις πέντε αξιολογούμενες εργασίες ερώτησης-απάντησης. Αξιοσημείωτα, το pplx-embed-v1-0.6B ξεπερνά το μεγαλύτερο Qwen3-Embedding-4B σε τρεις από τις πέντε εργασίες, αποδεικνύοντας ότι το μικρότερο μοντέλο μας μπορεί να ταιριάξει ή να ξεπεράσει έναν ανταγωνιστή σε σημαντικά μεγαλύτερη κλίμακα παραμέτρων σε πρακτικά περιβάλλοντα RAG. Για περισσότερες λεπτομέρειες σχετικά με αυτήν την αξιολόγηση, παραπέμπουμε στην τεχνική αναφορά.

Ανάκτηση πραγματικού κόσμου σε κλίμακα

Τα δημόσια benchmarks είναι χρήσιμα, αλλά δεν αποτυπώνουν πλήρως τις προκλήσεις ανάκτησης σε κλίμακα ιστού: ερωτήματα μακριάς ουράς, θορυβώδη έγγραφα και μετατοπίσεις κατανομής που χαρακτηρίζουν τα περιβάλλοντα παραγωγής. Για να μετρήσουμε ό,τι έχει σημασία στην πράξη, δημιουργήσαμε δύο εσωτερικά benchmarks με έως και 115K πραγματικά ερωτήματα που αξιολογούνται έναντι περισσότερων από 30 εκατομμυρίων εγγράφων συγκεντρωμένων από πάνω από 1 δισεκατομμύριο ιστοσελίδες. Το PPLXQuery2Query αξιολογεί αν ένα μοντέλο ενσωματώματος μπορεί να εντοπίσει σημασιολογικά ισοδύναμα ερωτήματα από πραγματική κίνηση αναζήτησης· το PPLXQuery2Doc μετρά την ανάκτηση εγγράφων από ένα corpus 30M σελίδων.

Στο PPLXQuery2Query (corpus 2,4M), το pplx-embed-v1-4B επιτυγχάνει 73,5% Recall@10, ξεπερνώντας το Qwen3-Embedding-4B (67,9%) κατά 5,6 ποσοστιαίες μονάδες. Το μοντέλο μας 0.6B επιτυγχάνει 71,1% Recall@10, ξεπερνώντας ουσιαστικά τα BGE-M3 (61,8%) και Qwen3-Embedding-0.6B (55,1%).

Μεγέθυνση

Στην πολυγλωσσική εργασία PPLXQuery2Doc (corpus 30M), το pplx-embed-v1-4B επιτυγχάνει 91,7% Recall@1000, σε σύγκριση με 88,6% για το Qwen3-Embedding-4B. Το υψηλό recall σε μεγάλα βάθη ανάκτησης είναι κρίσιμο για τα μοντέλα ενσωμάτωσης που λειτουργούν ως ανακτητές πρώτου σταδίου σε ροές κατάταξης πολλαπλών σταδίων, όπου η μεγιστοποίηση του αριθμού των σχετικών υποψηφίων που διαβιβάζονται σε μεταγενέστερους επανακατατακτήρες (rerankers) επηρεάζει άμεσα την τελική ποιότητα των αποτελεσμάτων.

Ξεκινώντας

Όλα τα μοντέλα είναι διαθέσιμα στο Hugging Face (υπό την άδεια MIT) και μέσω του Perplexity API. Υποστηρίζουμε την εξαγωγή συμπερασμάτων μέσω Transformers, SentenceTransformers, Text Embeddings Inference και ONNX. Για πλήρεις λεπτομέρειες σχετικά με κάθε επιλογή, ανατρέξτε στη συλλογή μοντέλων Hugging Face.

Για ολοκληρωμένες τεχνικές λεπτομέρειες και πλήρη αποτελέσματα αξιολόγησης, ανατρέξτε στην τεχνική αναφορά μας.

Παραπομπή

@online{perplexity2026PplxEmbedStateOfTheArtEmbeddingModelsForWebScaleRetrieval,
  author = {{Perplexity} and Sedigheh Eslami and Maksim Gaiduk and Markus Krimmel and Louis Milliken and Bo Wang and Denis Bykov},
  title = {{pplx-embed: State-of-the-art embedding models for web-scale retrieval}},
  date = {2026-02-26},
  url = {https://perplexity.coolkeypoint.com/hub/blog/pplx-embed-state-of-the-art-embedding-models-for-web-scale-retrieval}
}