Come Perplexity integra l'accuratezza nell'IA di frontiera

La nostra missione è stimolare la curiosità delle persone che desiderano conoscere e fare di più con la conoscenza globale. Per questo motivo, il nostro obiettivo principale è sempre stato quello di rendere i migliori modelli di intelligenza artificiale di frontiera più accurati su Perplexity.

Per la prima volta, condividiamo una delle tecnologie alla base del nostro operato. Oggi il nostro team di ricerca ha pubblicato un'analisi tecnica dei LLM potenziati dalla ricerca.

Utilizziamo decine di processi per sviluppare l'accuratezza e questo è un raro sguardo interno a uno di essi: il post-addestramento dei modelli di intelligenza artificiale di frontiera affinché offrano le migliori prestazioni rispetto agli standard di accuratezza dei prodotti Perplexity come Search, Comet e Computer.

Addestriamo il comportamento prima della ricerca

Un motore di risposta richiede che i modelli sottostanti facciano molto più che generare testo fluido. Devono trovare prove, seguire la richiesta dell'utente, utilizzare correttamente gli strumenti e trasformare tale lavoro in una risposta focalizzata.

Per questo, eseguiamo il post-addestramento in due fasi. Innanzitutto, insegniamo al modello come comportarsi all'interno del prodotto, inclusa la modalità di seguire le istruzioni, mantenere la coerenza e utilizzare correttamente gli strumenti. Successivamente, lo addestriamo su attività di ricerca più complesse affinché migliori nel reperimento di prove, nel loro utilizzo efficace e nel rispondere in modo più efficiente.

Questo approccio a fasi rappresenta una delle semplici differenze tra Perplexity e una configurazione wrapper tradizionale con accesso al modello e al web. Ecco perché lo stesso modello può produrre risultati diversi in prodotti differenti e perché può funzionare meglio su Perplexity rispetto a un'implementazione più semplice.

Domande che richiedono sintesi

Alcune domande sono semplici ricerche. Altre richiedono al modello di collegare prove provenienti da diverse fonti.

Effettuiamo l'addestramento su domande che richiedono al modello di collegare prove tra varie fonti. Per le domande basate sui fatti, utilizziamo attività che costringono il modello a ricercare, ragionare e verificare, anziché giungere a una risposta basata su un singolo indizio evidente. Molte domande richiedono di collegare informazioni tra molteplici fonti. Esse necessitano che il modello passi da un elemento probatorio all'altro, costruendo la risposta a partire da tale catena.

Inoltre, addestriamo il modello su diversi formati di risposta, in modo che rimanga accurato sia che l'utente desideri un paragrafo, un elenco, una tabella o un'altra struttura. Il risultato è una sintesi migliore, composta da risposte che collegano prove tra fonti diverse, anziché limitarsi al recupero di fatti isolati.

Le attività a risposta aperta necessitano di standard

Perplexity viene utilizzato per scopi che vanno oltre la ricerca di fatti. Gran parte del lavoro è a risposta aperta, inclusi riscrittura, modifica, riassunto, spiegazione e pianificazione.

Tali attività non hanno una risposta univocamente corretta, ma necessitano comunque di standard. Per il lavoro a risposta aperta, utilizziamo rubriche che fungono da controlli strutturati per verificare se una risposta abbia effettivamente svolto il compito. Ha seguito le istruzioni? Ha preservato il significato? Ha risolto il problema dell'utente?

Ciò ci consente di addestrare le attività a risposta aperta con standard chiari invece di trattarle come scrittura a forma libera.

L'accuratezza precede la preferenza

Per le attività basate sui fatti, una risposta deve essere corretta prima di poter essere considerata utile o ben scritta. Per le attività a risposta aperta, la risposta deve soddisfare la rubrica prima che entrino in gioco altre qualità.

Questo mantiene il sistema focalizzato sulla sostanza piuttosto che sullo stile. Aiuta a prevenire una modalità di errore comune, ovvero risposte che sembrano migliori senza esserlo realmente. Il vantaggio è un minor numero di risposte formalmente perfette che si rivelano prive di valore dopo un'ispezione.

L'efficienza contribuisce alla qualità della risposta

Addestriamo inoltre il modello a utilizzare la ricerca con disciplina.

Qualsiasi passaggio di ricerca aggiuntivo dovrebbe migliorare la risposta e una risposta più lunga dovrebbe giustificare la sua lunghezza. Quando ricerche supplementari o parole aggiuntive non apportano valore, il sistema deve fermarsi.

Ciò produce risposte più facili da utilizzare e preserva la concentrazione del modello quando lavora attraverso catene di azioni più lunghe, dove piccoli errori si accumulano.

Risposte migliori richiedono un lavoro costante

La qualità della ricerca deriva dal modo in cui il prodotto addestra il modello a raccogliere prove, rispondere con disciplina, gestire il lavoro a risposta aperta e interrompersi quando dispone di supporto sufficiente.

Man mano che i sistemi di intelligenza artificiale intraprendono lavori più lunghi e autonomi, tale addestramento modella la qualità delle singole risposte e di tutto ciò che è costruito su di esse. Non abbiamo mai preteso che Perplexity sia accurato al 100%, ma rivendichiamo di essere l'azienda di intelligenza artificiale che se ne preoccupa maggiormente e che vi lavora incessantemente. Incoraggiamo tutti gli utenti a fornire feedback sulle loro risposte di Perplexity, poiché siamo in continua iterazione e miglioramento.