Συμπίεση πλαισίου με επίγνωση ερωτημάτων για καλύτερα αποσπάσματα

Κάθε απάντηση ξεκινά με τεκμηρίωση. Σε ένα σύστημα αναζήτησης, αυτή η τεκμηρίωση προέρχεται συνήθως από έγγραφα: τίτλους, περιλήψεις, τμήματα και αποσπάσματα που μεταβιβάζονται ως πλαίσιο σε ένα μοντέλο απαντήσεων ή σε έναν πράκτορα.

Αυτό το ακατέργαστο περιεχόμενο συμφραζομένων είναι θορυβώδες. Για παράδειγμα, μια ιστοσελίδα μπορεί να περιέχει πληροφορίες που χρειάζεται το αίτημα του χρήστη, αλλά μπορεί επίσης να περιέχει περισπασμούς. Αυτοί οι περισπασμοί μπορούν να εμφανίζονται τόσο στο κύριο σώμα όσο και σε δευτερεύοντα στοιχεία, όπως στοιχεία κειμένου πλοήγησης, άσχετες διαφημίσεις, μεταδεδομένα και άλλα. Η προώθηση αυτών των περισπασμών σε έναν downstream πράκτορα δημιουργεί τρία προβλήματα.

Πρώτον, βλάπτει την ακρίβεια. Ακόμη και τα πιο ισχυρά μοντέλα έχουν πεπερασμένη χωρητικότητα. Οι μεγάλες ροές άσχετων πληροφοριών σπαταλούν τη χωρητικότητα του μοντέλου, με αποτέλεσμα «αλλοίωση πλαισίου» (context rot) που μειώνει την ικανότητα του μοντέλου να αντιμετωπίσει το πραγματικό αίτημα του χρήστη. Ως αποτέλεσμα, η τελική απάντηση είναι πιο πιθανό να παραλείψει βασικά γεγονότα, να δώσει υπερβολική βαρύτητα σε πληροφορίες χαμηλής ποιότητας ή να παραγάγει ισχυρισμούς που είναι δυσκολότερο να τεκμηριωθούν στην πηγή.

Δεύτερον, υποβαθμίζει την καθυστέρηση. Το μεγαλύτερο περιεχόμενο συμφραζομένων σημαίνει περισσότερα tokens για επεξεργασία από το downstream μοντέλο, ειδικά όταν ένα ερώτημα χρειάζεται τεκμηρίωση από πολλές υποψήφιες σελίδες. Αν και μέρος αυτού του κόστους καθυστέρησης επιβαρύνει το στάδιο prefill, ένα πολύ πιο σημαντικό κόστος καταβάλλεται στη συλλογιστική, με τα μοντέλα να απαιτούν περισσότερα tokens συλλογιστικής για να χειριστούν το άσχετο περιεχόμενο συμφραζομένων.

Τρίτον, αυξάνει το κόστος. Κάθε περιττό token που μεταβιβάζεται στο μοντέλο καθιστά δαπανηρότερη την εξυπηρέτηση του αιτήματος του χρήστη, καθώς η χρήση τόσο των tokens εισόδου όσο και των tokens συλλογιστικής αυξάνεται με το πιο θορυβώδες πλαίσιο. Τα αποσπαστικά στοιχεία δεν μειώνουν απλώς την ποιότητα· καταλήγουν να σας αναγκάζουν να πληρώσετε περισσότερα για αυτή τη χειρότερη ποιότητα.

Μεγέθυνση

Για να προωθήσουμε ταυτόχρονα την ακρίβεια, την ταχύτητα και την αποδοτικότητα κόστους σε όλες τις εφαρμογές της Perplexity και στην API Platform, επενδύουμε σε μεγάλο βαθμό στη βελτίωση της ακρίβειας του πλαισίου. Ένας τρόπος με τον οποίο το κάνουμε αυτό είναι η βελτίωση των αλγορίθμων δημιουργίας αποσπασμάτων. Αντιμετωπίζουμε τη δημιουργία αποσπασμάτων ως πρόβλημα συμπίεσης πλαισίου. Τα μοντέλα που αναζητούν συγκεκριμένες πληροφορίες δεν επωφελούνται από γενικευμένες περιλήψεις ή αποσπάσματα ενός εγγράφου. Αντίθετα, χρειάζονται το μικρότερο, πιο χειρουργικά εξαγόμενο τμήμα των πληροφοριών πηγής για να απαντήσουν στο αίτημα του χρήστη. Οτιδήποτε άλλο μπορεί και πρέπει να αφαιρεθεί.

Επομένως, ένα καλό απόσπασμα θα πρέπει να κάνει τρία πράγματα:

Να προάγει την ακρίβεια παρουσιάζοντας την ακριβή τεκμηρίωση που απαιτείται για τη θεμελίωση της απάντησης του μοντέλου.

Να μειώνει την καθυστέρηση και το κόστος αφαιρώντας το άσχετο πλαίσιο πριν από την κλήση του LLM.

Να διασφαλίζει την ιχνηλασιμότητα διατηρώντας την πιστότητα των παραπομπών και κρατώντας άθικτη τη διατύπωση της πηγής.

Αυτόν τον μήνα, αναπτύξαμε έναν νέο, υπερσύγχρονο γεννήτρια αποσπασμάτων μέσα στις εφαρμογές μας και την API Platform. Ο πυρήνας αυτής της μονάδας είναι ένα μοντέλο συμπίεσης περιεχομένου συμφραζομένων με επίγνωση του ερωτήματος, το οποίο αποφασίζει, για κάθε ερώτημα και υποψήφιο αποτέλεσμα, το υποσύνολο των αποσπασμάτων που πρέπει να διατηρηθούν. Αυτό το άρθρο περιγράφει την προσέγγισή μας στην κατασκευή και εκπαίδευση του μοντέλου, ώστε να επιτύχουμε κορυφαία απόδοση σε αυτή την κρίσιμη εργασία.

Αποσπάσματα ως συμπίεση με επίγνωση ερωτημάτων

Το πρώτο μέλημα είναι να ορίσουμε την ίδια την εργασία. Τι θέλουμε να κάνει αυτό το μοντέλο και πώς πρέπει να ορίσουμε το σχήμα εισόδου και εξόδου;

Οι μέθοδοι αποσπασμάτων εμπίπτουν σε δύο ευρείες κατηγορίες. Η πρώτη βασίζεται στην επιλογή: εύρεση ενός σχετικού παραθύρου, τμήματος, πρότασης ή χωρίου και διαβίβασή του στο επόμενο στάδιο. Η δεύτερη βασίζεται στη δημιουργία: ζήτηση από ένα μοντέλο να γράψει μια περίληψη εστιασμένη στο ερώτημα από τη σελίδα.

Η έμφαση που δίνουμε στην ακρίβεια, την καθυστέρηση και το κόστος καθιστά σαφή την επιλογή σχεδιασμού. Μπορούμε να αποκλείσουμε τη δημιουργία, καθώς η δημιουργία μιας νέας περίληψης για κάθε σελίδα βλάπτει την απόδοση και στους τρεις άξονες. Η περίληψη δεν ταιριάζει καλά στο επίπεδο τεκμηρίωσης που μας ενδιαφέρει. Μπορεί να παραφράσει την πηγή, καθιστώντας δυσκολότερη τη στοίχιση των παραπομπών. Μπορεί επίσης να εισαγάγει διατύπωση που δεν υπήρχε στη σελίδα, κάτι που είναι επικίνδυνο όταν το απόσπασμα χρησιμοποιείται ως τεκμηρίωση και όχι ως η τελική απάντηση. Η καθυστέρηση και το κόστος που συνεπάγεται η δημιουργία το καθιστούν ακόμη πιο μη ελκυστικό.

Αντίθετα, ορίζουμε την εργασία μας ως μια διαδικασία εξαγωγικής συμπίεσης με επίγνωση ερωτημάτων: διαχωρισμός των χρήσιμων μερών του ανακτηθέντος πλαισίου από τα αποσπαστικά μέρη. Συγκεκριμένα, το μοντέλο μας πρέπει να δέχεται ένα ερώτημα και ένα υποψήφιο αποτέλεσμα, και να αποφασίζει ποιες περιοχές θα διατηρήσει —αυτές που υποστηρίζουν καλύτερα το ερώτημα— και ποιες θα απορρίψει —τα υπόλοιπα—. Η έξοδος του μοντέλου διατηρεί το κείμενο της πηγής αντί να το ξαναγράφει. Αυτό καθιστά το αποτέλεσμα ευκολότερο στην παραπομπή, ευκολότερο στην επαλήθευση και φθηνότερο στη μεταβίβαση στο επόμενο στάδιο.

Για παράδειγμα, σκεφτείτε αυτό το ερώτημα και το ανακτηθέν αποτέλεσμα:

Μεγέθυνση

Μια εύλογη έξοδος του μοντέλου θα ήταν η επιλογή της πρότασης με έντονα γράμματα: “In Comet, the assistant can ...”.

Η προσέγγισή μας ακολουθεί την ίδια ευρεία ιδέα με προηγούμενες εργασίες συμπίεσης πλαισίου, όπως τα FliCo, Provence και LooComp, προσαρμοσμένη για τη δημιουργία αποσπασμάτων σε ένα σύστημα αναζήτησης παραγωγής. Σημαντικό είναι ότι το μοντέλο λειτουργεί ως στάδιο ακρίβειας μετά το στάδιο ακατέργαστης ανάκτησης. Όπως συζητήθηκε στο προηγούμενο άρθρο μας Perplexity Research, Introducing the Perplexity Search API, αρχιτεκτονούμε τα συστήματα ανάκτησης ώστε να λειτουργούν εγγενώς σε επίπεδο υπο-εγγράφου ή αποσπάσματος, γεγονός που μας επιτρέπει ήδη να εξισορροπούμε αρκετά καλά την ακρίβεια και την ανάκληση. Η εισαγωγή ενός μοντέλου συμπίεσης πλαισίου με επίγνωση ερωτημάτων μετατοπίζει την οριογραμμή Pareto ακρίβειας-ανάκλησης ακόμη πιο μακριά.

Κατασκευή και εκπαίδευση ενός μοντέλου συμπίεσης πλαισίου

Αναπτύσσουμε το μοντέλο μας έχοντας κατά νου τρεις βασικές παραμέτρους: την από κοινού κατανόηση του ερωτήματος και του πλαισίου, την επιλογή λεπτής κοκκομετρίας σε επίπεδο πρότασης και την αποδοτικότητα ώστε να χωράει σε έναν εξαιρετικά στενό προϋπολογισμό καθυστέρησης.

Αρχιτεκτονική μοντέλου

Χρησιμοποιούμε ένα μοντέλο pplx-diffusion ως ραχοκοκαλιά. Πρόκειται για την ίδια οικογένεια μοντέλων πίσω από το pplx-embed-v1, και τόσο η προηγούμενη ακαδημαϊκή μας εργασία, Diffusion-Pretrained Dense and Contextual Embeddings, όσο και τα σημεία αναφοράς παραγωγής μας επιβεβαιώνουν ότι πρόκειται για έναν ισχυρό αμφίδρομο κωδικοποιητή για ζεύγη ερωτημάτων-πλαισίου. Μία από τις βασικές ιδιότητες από αυτή την οικογένεια μοντέλων είναι το αμφίδρομο πλαίσιο: κάθε αναπαράσταση token μπορεί να λάβει υπόψη της ολόκληρο το ερώτημα και ολόκληρο το υποψήφιο πλαίσιο προτού το μοντέλο αποφασίσει τι πρέπει να διατηρηθεί.

Πάνω σε αυτή τη ραχοκοκαλιά, εκπαιδεύουμε μια ελαφριά κεφαλή συμπίεσης που προβλέπει ποια μέρη του περιεχομένου συμφραζομένων πρέπει να διατηρηθούν. Επειδή δεν εμπλέκεται δημιουργία, αυτές οι προβλέψεις γίνονται παράλληλα σε ολόκληρο το περιεχόμενο συμφραζομένων. Κατά τη στιγμή της εξυπηρέτησης, η μηχανή αποσπασμάτων συγκεντρώνει αυτές τις προβλέψεις σε επίπεδο πρότασης, εφαρμόζει ένα κατώφλι και περικόπτει το αποτέλεσμα στον ζητούμενο προϋπολογισμό tokens.

Αγωγός επίβλεψης

Η εκπαίδευση αυτού του συμπιεστή απαιτεί επίβλεψη στο σωστό επίπεδο λεπτομέρειας. Μια ετικέτα συνάφειας σε επίπεδο εγγράφου είναι προφανώς ακατάλληλη για την εργασία εξαγωγικής συμπίεσης. Για να δημιουργήσουμε επαρκώς λεπτομερή δεδομένα για επίβλεψη μάθησης, κατασκευάσαμε έναν αγωγό επισήμανσης περιοχών που επισημαίνει περιοχές τεκμηρίωσης σχετικές με το ερώτημα, μαζί με περιοχές αποσπασματικών στοιχείων που πρέπει να αφαιρεθούν.

Ο αγωγός μας χρησιμοποιεί μια διάταξη LLM-ως-κριτή (LLM-as-a-judge). Δεδομένου ενός ερωτήματος χρήστη και μιας υποψήφιας ιστοσελίδας με τον σύνδεσμο, τον τίτλο και την περίληψή της, ο κριτής εκτελεί πρώτα κατανόηση ερωτήματος, αναλύοντας το ερώτημα και παράγοντας μια λίστα πιθανών προθέσεων του χρήστη. Αγκυροβολώντας σε αυτές τις προθέσεις, ο κριτής επεξεργάζεται στη συνέχεια το υποψήφιο πλαίσιο και επιστρέφει περιοχές αντιγραμμένες αυτούσιες από το κείμενο, με μια κατηγορία για κάθε περιοχή ώστε οι ετικέτες να είναι ευκολότερο να επιθεωρηθούν.

Στη συνέχεια, αντιστοιχίσαμε τις επιστρεφόμενες περιοχές πίσω στο κείμενο πηγής. Όπως ήταν αναμενόμενο, οι περισσότερες έξοδοι του κριτή ήταν ήδη ακριβή αντίγραφα: η απλή αντιστοίχιση συμβολοσειρών ανέκτησε το 98% των περιοχών. Η προσθήκη ενός απλού περάσματος αντιστοίχισης βάσει regex ανέβασε την ανάκτηση περιοχών στο 100%. Αυτό μας έδωσε αξιόπιστες, λεπτομερείς περιοχές που μπορούσαν να μετατραπούν σε επίβλεψη διατήρησης/απόρριψης σε επίπεδο token.

Αξιολογήσαμε αυτόν τον αγωγό επίβλεψης χρησιμοποιώντας ένα μικρό επιμελημένο σύνολο δεδομένων με χειροκίνητα επισημασμένες περιοχές, συγκρίνοντας μικρότερα μοντέλα κριτών, διαφορετικές προτροπές και διαφορετικές διαμορφώσεις βημάτων. Η καλύτερη απόδοση σημειώθηκε από έναν αγωγό δύο σταδίων: κατανόηση ερωτήματος πρώτα, ακολουθούμενη από κατηγοριοποιημένη επισήμανση περιοχών. Επικυρώσαμε επίσης το σύνολο των εξαγόμενων περιοχών μέσω μεταγενέστερων επαληθεύσιμων αξιολογήσεων, όπως τα BrowseComp και SimpleQA, όπου η χρήση μόνο των διατηρημένων περιοχών τεκμηρίωσης διατήρησε ισχυρές βαθμολογίες μειώνοντας παράλληλα σημαντικά τα tokens εισόδου.

Χρησιμοποιώντας αυτόν τον αγωγό, επισημάναμε 750.000 ζεύγη ερωτημάτων-εγγράφων και χρησιμοποιούμε τις προκύπτουσες περιοχές για να εκπαιδεύσουμε την κεφαλή συμπίεσης με δυαδική διασταυρούμενη εντροπία (binary cross-entropy). Αυτή η διαδικασία επιτρέπει στο μοντέλο συμπίεσης με επίγνωση ερωτημάτων να διατηρεί το κείμενο της πηγής άθικτο, αφαιρώντας παράλληλα πλαίσιο που είναι απίθανο να βοηθήσει το μεταγενέστερο μοντέλο να εξυπηρετήσει το αίτημα του χρήστη.

Διασφάλιση καθυστέρησης σε πραγματικό χρόνο

Η συμπίεση πλαισίου βρίσκεται πριν από το μεταγενέστερο μοντέλο, καθιστώντας την μια λειτουργία αποκλεισμού. Επιπλέον, κάθε συμπίεση εξαρτάται από το ερώτημα. Επομένως, η διαδικτυακή διαδρομή πρέπει να βαθμολογεί ζεύγη ερωτημάτων-πλαισίου για κάθε υποψήφιο έγγραφο εντός ενός αυστηρού ορίου καθυστέρησης. Ένα αργό μοντέλο συμπίεσης είναι αυτοκαταστροφικό, καθώς τα οφέλη καθυστέρησης από την υψηλότερη ακρίβεια εξαλείφονται από την ίδια την καθυστέρηση της συμπίεσης. Την ίδια στιγμή, ένα λιγότερο ευφυές μοντέλο συμπίεσης θα λάβει χειρότερες αποφάσεις σχετικά με το τι πρέπει να περικοπεί και τι να διατηρηθεί.

Το πρακτικό ερώτημα είναι πόση χωρητικότητα μοντέλου μπορούμε να αφαιρέσουμε με ασφάλεια προτού η ποιότητα συμπίεσης αρχίσει να υποβαθμίζεται. Συγκρίνουμε την πλήρη ραχοκοκαλιά pplx-diffusion των 28 στρωμάτων με παραλλαγές 11 και 17 στρωμάτων που παράγονται μέσω κλαδέματος στρωμάτων και στοχεύουν στη διαδρομή αναζήτησης. Για καθεμία, ελέγχουμε το κατώφλι συμπίεσης και μετράμε δύο ποσότητες: τον μέσο αριθμό tokens πλαισίου που αποστέλλονται στο επόμενο στάδιο ανά ερώτημα, και το κλάσμα της χρήσιμης τεκμηρίωσης που διατηρείται μετά τη συμπίεση.

Η Εικόνα 2 δείχνει την οριογραμμή ποιότητας-αποδοτικότητας. Ένα μοντέλο είναι καλύτερο όταν κινείται προς τα επάνω και αριστερά: λιγότερα μεταγενέστερα tokens με περισσότερη χρήσιμη τεκμηρίωση διατηρημένη. Το μοντέλο των 28 στρωμάτων παρέχει την αναφορά ποιότητας. Το μοντέλο των 11 στρωμάτων καταδεικνύει τους κινδύνους της υπερβολικά επιθετικής συμπίεσης του μοντέλου. Το κλαδεμένο μοντέλο 17 στρωμάτων αντιπροσωπεύει μια μέση οδό: ακολουθεί στενά το μοντέλο 28 στρωμάτων στο κορεσμένο καθεστώς, αλλά ανοίγει ένα μικρό κενό στο απότομο τμήμα της καμπύλης όπου λειτουργεί η περισσότερη κίνηση παραγωγής.

Για να κλείσουμε αυτό το κενό, χρησιμοποιούμε απόδοση γνώσης σε επίπεδο token (token-level knowledge distillation). Η προσέγγισή μας είναι συνήθης: επαυξάνουμε την τυπική απώλεια με έναν όρο μαλακής διασταυρούμενης εντροπίας στις προβλέψεις του μοντέλου-δασκάλου, σταθμισμένο με έναν συντελεστή απόσταξης. Αυτό επαρκεί για να φέρει το μοντέλο-μαθητή σε ισοτιμία, επιτρέποντάς μας να μεταβούμε πλήρως στο αποσταγμένο μοντέλο 17 στρωμάτων στην παραγωγή. Αυτό το νέο μοντέλο παραγωγής αποφέρει μείωση 35-40% στην καθυστέρηση εξαγωγής συμπερασμάτων και μείωση 40-45% στη συνολική υπολογιστική ισχύ GPU χωρίς καμία πτώση ποιότητας σε σχέση με τον δάσκαλο των 28 στρωμάτων. Η καθυστέρηση παραγωγής κυμαίνεται κάτω από τα 20 ms (p99): αρκετά μικρή ώστε να προστεθεί στη διαδρομή εξυπηρέτησης, μειώνοντας παράλληλα σημαντικά τα συνολικά tokens που μεταβιβάζονται στο μοντέλο απαντήσεων.

Μεγέθυνση

Ποιότητα και αποδοτικότητα token

Χρησιμοποιούμε το Agent API της Perplexity ως δοκιμαστικό πεδίο για να αναλύσουμε την αποτελεσματικότητα της συμπίεσης πλαισίου. Αξιολογούμε τρεις προεπιλογές του Agent API:

Μια «χαμηλή» προεπιλογή πλαισίου που περιορίζει τον προϋπολογισμό token για κάθε σύνολο αποτελεσμάτων σε 1000 tokens.

Μια «μεσαία» προεπιλογή πλαισίου που περιορίζει τον προϋπολογισμό token για κάθε σύνολο αποτελεσμάτων σε 4000 tokens.

Μια «υψηλή» προεπιλογή πλαισίου που περιορίζει τον προϋπολογισμό token για κάθε σύνολο αποτελεσμάτων σε 10000 tokens.

Τόσο οι τυπικές ρυθμίσεις (χωρίς συμπίεση) όσο και οι ρυθμίσεις συμπίεσης είναι διαμορφωμένες ώστε να σέβονται αυτούς τους προϋπολογισμούς token.

Πολυβήματη αναζήτηση με πράκτορες (BrowseComp)

Εξετάζουμε αρχικά τον αντίκτυπο της συμπίεσης στις ροή εργασίας πολυβήματης αναζήτησης με πράκτορες στο σημείο αναφοράς BrowseComp. Πραγματοποιούμε αυτή την αξιολόγηση χρησιμοποιώντας το εργαλείο ανοιχτού κώδικα search_evals. Η βαθμολόγηση είναι πανομοιότυπη σε όλες τις εκτελέσεις, χρησιμοποιώντας την κανονική προτροπή κριτή LLM BrowseComp της OpenAI.

Οι δύο διαστάσεις που μας ενδιαφέρουν είναι η ακρίβεια του σημείου αναφοράς και η χρήση token. Σημαντικό είναι ότι μετρούμε τη χρήση token σε επίπεδο ερωτήματος και όχι σε επίπεδο μεμονωμένου βήματος, προκειμένου να μετρήσουμε το πραγματικό φορτίο token που προκύπτει σε ολόκληρο τον κύκλο ζωής του αιτήματος. Η Εικόνα 3 δείχνει την οριογραμμή «βαθμολογίας-token», δηλαδή τη βαθμολογία ακρίβειας έναντι της χρήσης token.

Μεγέθυνση

Η συμπίεση προσφέρει μια νέα οριογραμμή Pareto σε όλο το φάσμα. Για κάθε ρύθμιση, η εισαγωγή συμπίεσης μειώνει τη χρήση token σε επίπεδο ερωτήματος από 10% έως 70%, με κέρδη ακρίβειας που κυμαίνονται μεταξύ 4 και 4,81 ποσοστιαίων μονάδων. Η εισαγωγή συμπίεσης επιτρέπει ακόμη και στην «χαμηλή» προεπιλογή μας να ξεπεράσει σε απόδοση την «υψηλή» προεπιλογή χωρίς συμπίεση, μειώνοντας παράλληλα τη χρήση token κατά περισσότερο από τρεις φορές.

Παρατηρούμε ότι με τη συμπίεση, η «υψηλή» προεπιλογή αποφέρει μεγαλύτερη ακρίβεια από τη «μεσαία», όπως θα περιμέναμε. Ωστόσο, είναι ενδιαφέρον ότι το επιτυγχάνει αυτό με χαμηλότερη χρήση token. Αυτό αποκαλύπτει μια λεπτή αλλά σημαντική επίδραση της συμπίεσης: με τη συμπίεση, ακόμη και η αύξηση του μεγέθους πλαισίου ανά βήμα μπορεί να δώσει στο μοντέλο τη δυνατότητα να κάνει λιγότερα βήματα για να φτάσει στο σωστό αποτέλεσμα. Η εξερεύνηση αυτής της μη μονοτονικότητας αποτελεί μια πολλά υποσχόμενη κατεύθυνση για μελλοντική εργασία.

SimpleQA: μονοβήματη εξακριβαίωση γεγονότων

Το BrowseComp εστιάζει στην πολυβήματη έρευνα, ωστόσο πολλές ροή εργασίας παραγωγής περιλαμβάνουν μονοβήματη αναζήτηση γεγονότων. Για να προσδιορίσουμε εάν η συμπίεση βοηθά επίσης στο μονοβήματο καθεστώς, εξετάζουμε επίσης τις επιδόσεις στο SimpleQA, ένα σημείο αναφοράς που περιλαμβάνει 4.326 ερωτήσεις που πρέπει να απαντηθούν σε ένα ενιαίο βήμα αναζήτησης, αντί σε έναν βρόχο πράκτορα.

Όπως και προηγουμένως, σχεδιάζουμε την ακρίβεια έναντι των μέσων συνολικών tokens ανά εργασία χρησιμοποιώντας την κανονική προτροπή κριτή. Η Εικόνα 4 δείχνει την οριογραμμή βαθμολογίας-token σε αυτό το μονοβήματο περιβάλλον. Αν και τα μεγέθη των επιδράσεων είναι πιο συμπιεσμένα στο μονοβήματο περιβάλλον, παρατηρούμε και πάλι ότι η συμπίεση βελτιώνει ταυτόχρονα την ακρίβεια και την αποδοτικότητα σε όλες τις προεπιλογές, εισάγοντας έτσι μια νέα οριογραμμή Pareto. Με ενεργοποιημένη τη συμπίεση, η μεσαία προεπιλογή επιτυγχάνει ακρίβεια 95% με μέσο όρο μόλις 200 tokens ανά έγγραφο. Δεδομένου του μέσου μήκους εγγράφου των άνω των 10.000 tokens, αυτό αντιπροσωπεύει επιδόσεις κορυφαίου επιπέδου με λόγο συμπίεσης μεγαλύτερο από 50.

Μεγέθυνση

Τι καταλήγει στα αποσπάσματα;

Τα μεταγενέστερα κέρδη στις Ενότητες 4.1 και 4.2 είναι από άκρη σε άκρη. Για να κατανοήσουμε πώς η συμπίεση αλλάζει τα μεμονωμένα αποσπάσματα, εκτελούμε μια ξεχωριστή αξιολόγηση που χρησιμοποιεί έναν κριτή LLM για να ταξινομήσει κάθε token κάθε ανακτηθέντος αποσπάσματος σε μία από έξι κατηγορίες:

Ζωτικής σημασίας (Vital): τεκμηρίωση απαραίτητη για την απάντηση στο ερώτημα του χρήστη.

Εκτός θέματος (Off-topic): πληροφορίες που μπορεί να είναι χρήσιμες για κάποιον άλλο σκοπό αλλά δεν σχετίζονται με το υπό εξέταση ερώτημα.

Διαφημίσεις (Ads): άσχετη διαφήμιση που αποσπά την προσοχή από την απάντηση στο ερώτημα του χρήστη.

Μεταδεδομένα (Metadata): μεταδεδομένα σχετικά με τα περιεχόμενα του εγγράφου.

UI & πλοήγηση (UI & navigation): στοιχεία για την εμφάνιση και την πλοήγηση στο frontend.

Διπλότυπα (Duplicate): επανάληψη προηγουμένως ενσωματωμένων πληροφοριών.

Η αξιολόγησή μας εκτελείται σε 1.000 ερωτήματα μικτού τομέα από το σύνολο επικύρωσής μας, συγκρίνοντας τη στοίβα παραγωγής με μια κατά τα άλλα πανομοιότυπη βασική γραμμή (baseline) με απενεργοποιημένη τη συμπίεση. Όπως φαίνεται στην Εικόνα 5, η συμπίεση αυξάνει την αναλογία των ζωτικής σημασίας tokens ανά απόσπασμα κατά μέσο όρο κατά 63% σε σύγκριση με τη βασική γραμμή χωρίς συμπίεση. Παρατηρούμε μια αντίστοιχη μείωση 29% στα άσχετα tokens, με ιδιαίτερα απότομες πτώσεις σε UI/πλοήγηση (-58%), μεταδεδομένα (-46%) και διαφημίσεις (-43%). Αυτά τα αποτελέσματα επιβεβαιώνουν τον μηχανισμό για τις βελτιώσεις ποιότητας-αποδοτικότητας που συζητήθηκαν παραπάνω: η συμπίεση βελτιώνει τις επιδόσεις και στις δύο διαστάσεις αυξάνοντας απότομα τον λόγο σήματος προς θόρυβο κάθε μεμονωμένου αποσπάσματος.

Μεγέθυνση

Η Εικόνα 6 απεικονίζει αυτή την αλλαγή για ένα μεμονωμένο ερώτημα. Για το ερώτημα “6 day old newborn milk intake per feeding,” εμφανίζουμε τόσο τα ασυμπίεστα, βασικά αποσπάσματα όσο και τα συμπιεσμένα αποσπάσματα. Η συμπίεση εξαλείφει τις κατηγορίες μη ζωτικού περιεχομένου και διατηρεί μόνο τις πληροφορίες σίτισης που σχετίζονται με τα νεογνά. Σημαντικό είναι ότι η συμπίεση εξαλείφει επιτυχώς περιεχόμενο που μπορεί να είναι γενικά σχετικό με τη σελίδα, αλλά εκτός θέματος για αυτό το συγκεκριμένο ερώτημα που επικεντρώνεται στα νεογνά.

Μεγέθυνση

Συμπέρασμα

Τα συστήματα AI βασίζονται σε πληροφορίες υψηλού σήματος για να εξυπηρετούν έξυπνα και αποδοτικά τα αιτήματα των χρηστών. Αυτές οι πληροφορίες πρέπει να παρουσιάζονται όσο το δυνατόν πιο στοχευμένα, ώστε να μεγιστοποιείται η συνάφεια με κάθε αίτημα. Τα νέα μοντέλα συμπίεσης με επίγνωση του ερωτήματος κάνουν ακριβώς αυτό, μεγιστοποιώντας τα τεκμήρια σχετικά με το θέμα ανά απόσπασμα και απομακρύνοντας επιθετικά τους άσχετους περισπασμούς.

Με την ανάπτυξη αυτών των νέων μοντέλων εντός της στοίβας αναζήτησης, είμαστε σε θέση να παρέχουμε ταχύτερες και καλύτερες απαντήσεις σε όσους βασίζονται στα προϊόντα και τα API μας. Η προσέγγισή μας δημιουργεί μια απλή επιφάνεια ελέγχου, επιτρέποντας στα συστήματά μας και στους πελάτες API να ρυθμίζουν τον βαθμό συμπίεσης ώστε να εξισορροπούν την ανάκληση, την καθυστέρηση και το κόστος.

Η επιμέλεια πλαισίου είναι ένας τομέας που εξελίσσεται, και υπάρχουν πολλά ακόμη που πρέπει να γίνουν για να βελτιστοποιηθεί η αξία κάθε token που χρησιμοποιείται στα σημερινά προηγμένα συστήματα νοημοσύνης. Εργαζόμαστε ενεργά για να κάνουμε τις τεχνικές επιμέλειας πλαισίου μας ακόμη καλύτερες μέσω τόσο των βελτιώσεων του μοντέλου όσο και της αρχιτεκτονικής συστήματος, ώστε να κάνουμε ακόμη πιο εκτεταμένη χρήση αυτών των μοντέλων.

Παραπομπές

N. Chirkova, T. Formal, V. Nikoulina, and S. Clinchant. Provence: Efficient and Robust Context Pruning for Retrieval-Augmented Generation, 2025. Accepted to ICLR 2025. arXiv:2501.16214.

T. Do, D. P. Tran, A. Vo, S. K. Kim, and D. Kim. LooComp: Leverage Leave-One-Out Strategy to Encoder-only Transformer for Efficient Query-Aware Context Compression, 2026. arXiv:2603.09222.

S. Eslami, M. Gaiduk, M. Krimmel, L. Milliken, B. Wang, and D. Bykov. Diffusion-Pretrained Dense and Contextual Embeddings, 2026. arXiv:2602.11151.

Z. Wang, J. Araki, Z. Jiang, M. R. Parvez, and G. Neubig. Learning to Filter Context for Retrieval-Augmented Generation, 2023. arXiv:2311.08377.

Παραπομπή

@online{perplexity2026QueryAwareContextCompressionForBetterSnippets,
  author = {{Perplexity} and Bo Wang and Hao Zhang and Ismail Gadzhiev and Kirill Priemko and Markus Krimmel and Nandor Licker and Vitalii Polshkov and Sarah Eslami and Louis Milliken and Maksim Gaiduk and Nikita Kireev and Jerry Ma},
  title = {{Query-aware context compression for better snippets}},
  date = {2026-05-14},
  url = {https://perplexity.coolkeypoint.com/hub/blog/query-aware-context-compression-for-better-snippets}
}