Πώς το Perplexity ενσωματώνει την ακρίβεια στην τεχνητή νοημοσύνη αιχμής

Η αποστολή μας είναι να ενισχύσουμε την περιέργεια, για όσους θέλουν να μαθαίνουν περισσότερα και να πετυχαίνουν περισσότερα με τη συλλογική γνώση του κόσμου. Για να το πετύχουμε αυτό, κεντρική μας εστίαση ήταν πάντα να κάνουμε τα κορυφαία μοντέλα τεχνητής νοημοσύνης πιο ακριβή στο Perplexity.

Για πρώτη φορά, μοιραζόμαστε μία από τις τεχνολογίες πίσω από τον τρόπο με τον οποίο το κάνουμε αυτό. Σήμερα η ερευνητική μας ομάδα δημοσίευσε μια τεχνική εξερεύνηση των LLMs με επαύξηση αναζήτησης.

Υπάρχουν δεκάδες διεργασίες που χρησιμοποιούμε για την ανάπτυξη της ακρίβειας, και αυτή είναι μια σπάνια ματιά εκ των έσω σε μία από αυτές: τη μετεκπαίδευση κορυφαίων μοντέλων τεχνητής νοημοσύνης ώστε να αποδίδουν τα μέγιστα σε σχέση με τα πρότυπα ακρίβειας για προϊόντα του Perplexity όπως τα Search, Comet και Computer.

Εκπαιδεύουμε τη συμπεριφορά πριν από την αναζήτηση

Μια μηχανή απαντήσεων απαιτεί από τα υποκείμενα μοντέλα να κάνουν κάτι περισσότερο από την απλή παραγωγή ρέοντος κειμένου. Πρέπει να βρίσκουν αποδεικτικά στοιχεία, να ακολουθούν το αίτημα του χρήστη, να χρησιμοποιούν εργαλεία σωστά και να μετατρέπουν αυτή την εργασία σε μια εστιασμένη απάντηση.

Πραγματοποιούμε μετεκπαίδευση για αυτόν τον σκοπό σε δύο στάδια. Πρώτον, διδάσκουμε στο μοντέλο πώς να συμπεριφέρεται εντός του προϊόντος, συμπεριλαμβανομένου του πώς να ακολουθεί οδηγίες, να παραμένει συνεπές και να χρησιμοποιεί εργαλεία με τον σωστό τρόπο. Στη συνέχεια, το εκπαιδεύουμε σε δυσκολότερες εργασίες αναζήτησης, ώστε να γίνεται καλύτερο στην εύρεση αποδεικτικών στοιχείων, στην καλή χρήση τους και στην πιο αποτελεσματική απάντηση.

Η σταδιακή αυτή προσέγγιση είναι μία από τις απλές διαφορές μεταξύ του Perplexity και μιας παραδοσιακής εγκατάστασης wrapper με πρόσβαση σε μοντέλα και ιστό. Αυτός είναι ο λόγος για τον οποίο το ίδιο μοντέλο μπορεί να παράγει διαφορετικά αποτελέσματα σε διαφορετικά προϊόντα, και γιατί μπορεί να λειτουργεί καλύτερα στο Perplexity από ό,τι σε μια απλούστερη ανάπτυξη.

Ερωτήσεις που απαιτούν σύνθεση

Ορισμένες ερωτήσεις είναι εύκολες αναζητήσεις. Άλλες απαιτούν από το μοντέλο να συνδέσει αποδεικτικά στοιχεία από διάφορες πηγές.

Εκπαιδεύουμε σε ερωτήσεις που απαιτούν από το μοντέλο να συνδέει αποδεικτικά στοιχεία σε πολλαπλές πηγές. Για ερωτήσεις πραγματικού περιεχομένου, χρησιμοποιούμε εργασίες που αναγκάζουν το μοντέλο να αναζητά, να αιτιολογεί και να επαληθεύει αντί να πηδά βιαστικά σε μια απάντηση από ένα και μόνο προφανές στοιχείο. Πλλές ερωτήσεις απαιτούν τη σύνδεση πληροφοριών από πολλαπλές πηγές. Απαιτούν από το μοντέλο να μεταβαίνει από το ένα αποδεικτικό στοιχείο στο άλλο και να δομεί την απάντηση από αυτή την αλυσίδα.

Εκπαιδεύουμε επίσης σε διαφορετικές μορφές απαντήσεων, ώστε το μοντέλο να παραμένει ακριβές είτε ο χρήστης επιθυμεί μια παράγραφο, μια λίστα, έναν πίνακα ή άλλη δομή. Το αποτέλεσμα είναι καλύτερη σύνθεση, η οποία αποτελείται από απαντήσεις που συνδέουν αποδεικτικά στοιχεία από διάφορες πηγές, αντί να ανακτούν απλώς μεμονωμένα γεγονότα.

Οι ανοιχτού τύπου εργασίες χρειάζονται πρότυπα

Το Perplexity χρησιμοποιείται για κάτι περισσότερο από την απλή αναζήτηση γεγονότων. Πολλή από την εργασία είναι ανοιχτού τύπου, συμπεριλαμβανομένης της επγγραφής, της επεξεργασίας, της σύνοψης, της εξήγησης και του σχεδιασμού.

Αυτές οι εργασίες δεν έχουν μία ακριβή σωστή απάντηση, αλλά εξακολουθούν να χρειάζονται πρότυπα. Για εργασίες ανοιχτού τύπου, χρησιμοποιούμε κανόνες αξιολόγησης (rubrics), οι οποίοι είναι δομημένοι έλεγχοι για το αν μια απάντηση έφερε πράγματι εις πέρας το έργο. Ακολούθησε τις οδηγίες; Διατήρησε το νόημα; Έλυσε το πρόβλημα του χρήστη;

Αυτό μας επιτρέπει να εκπαιδεύουμε ανοιχτού τύπου εργασίες με σαφή πρότυπα αντί να τις αντιμετωπίζουμε ως ελεύθερη γραφή.

Η ακρίβεια προηγείται της προτίμησης

Για εργασίες πραγματικού περιεχομένου, μια απάντηση πρέπει να είναι σωστή προτού λάβει πίστωση για το ότι είναι πιο χρήσιμη ή καλύτερα γραμμένη. Για εργασίες ανοιχτού τύπου, η απάντηση πρέπει να ικανοποιεί τα κριτήρια αξιολόγησης προτού τεθούν σε εφαρμογή άλλες ιδιότητες.

Αυτό διατηρεί το σύστημα εστιασμένο στην ουσία παρά στο ύφος. Συμβάλλει στην αποτροπή ενός κοινού τρόπου αποτυχίας απαντήσεων που ακούγονται καλύτερες χωρίς στην πραγματικότητα να είναι καλύτερες. Το όφελος είναι λιγότερες εξεζητημένες απαντήσεις που καταρρέουν υπό έλεγχο.

Η αποδοτικότητα συμβάλλει στην ποιότητα των απαντήσεων

Εκπαιδεύουμε επίσης το μοντέλο να χρησιμοποιεί την αναζήτηση με πειθαρχία.

Κάθε πρόσθετο βήμα αναζήτησης θα πρέπει να βελτιώνει την απάντηση, και μια μεγαλύτερη απάντηση θα πρέπει να δικαιολογεί το μήκος της. Όταν η επιπλέον αναζήτηση ή οι επιπλέον λέξεις δεν βοηθούν, το σύστημα θα πρέπει να σταματά.

Αυτό παράγει απαντήσεις που είναι πιο εύκολες στη χρήση και διατηρεί την εστίαση του μοντέλου όταν εργάζεται μέσω μεγαλύτερων αλυσίδων ενεργειών, όπου τα μικρά λάθη πολλαπλασιάζονται.

Οι καλύτερες απαντήσεις απαιτούν συνεχή εργασία

Η ποιότητα αναζήτησης προέρχεται από το πώς το προϊόν εκπαιδεύει το μοντέλο να συγκεντρώνει αποδεικτικά στοιχεία, να απαντά με πειθαρχία, να χειρίζεται εργασίες ανοιχτού τύπου και να σταματά όταν έχει επαρκή υποστήριξη.

Καθώς τα συστήματα τεχνητής νοημοσύνης αναλαμβάνουν μεγαλύτερη και πιο αυτόνομη εργασία, αυτή η εκπαίδευση διαμορφώνει την ποιότητα των μεμονωμένων απαντήσεων και οτιδήποτε είναι χτισμένο πάνω σε αυτές. Δεν έχουμε ισχυριστεί ποτέ ότι το Perplexity είναι 100% ακριβές, αλλά ισχυριζόμαστε ότι είμαστε η εταιρεία τεχνητής νοημοσύνης που νοιάζεται περισσότερο για αυτό και εργάζεται πάνω σε αυτό αδιάκοπα. Ενθαρρύνουμε όλους τους χρήστες να παρέχουν σχόλια σχετικά με τις απαντήσεις του Perplexity, διότι επαναλαμβάνουμε τη διαδικασία και βελτιωνόμαστε συνεχώς.