Cum integrează Perplexity acuratețea în AI-ul de frontieră

Misiunea noastră este de a alimenta curiozitatea pentru oamenii care vor să afle mai multe și să facă mai multe cu cunoștințele lumii. Pentru a face acest lucru, obiectivul nostru central a fost întotdeauna să facem cele mai bune modele AI de frontieră mai exacte pe Perplexity.

Pentru prima dată, împărtășim una dintre tehnologiile din spatele modului în care facem acest lucru. Astăzi, echipa noastră de cercetare a publicat o analiză tehnică a LLM-urilor augmentate prin căutare.

Există zeci de procese pe care le folosin pentru a dezvolta acuratețea, iar aceasta este o privire rară în culise asupra unuia dintre ele: post-antrenarea modelelor AI de frontieră pentru a performa cel mai bine în raport cu standardele de acuratețe pentru produsele Perplexity precum Search, Comet și Computer.

Antrenăm comportamentul înainte de căutare

Un motor de răspunsuri cere modelelor subiacente să facă mai mult decât să genereze text fluent. Ele trebuie să găsească dovezi, să urmeze cererea utilizatorului, să folosească corect instrumentele și să transforme acea muncă într-un răspuns axat pe subiect.

Realizăm post-antrenamentul pentru acest lucru în două etape. Mai întâi, învățăm modelul cum să se comporte în cadrul produsului, inclusiv cum să urmeze instrucțiunile, să rămână consecvent și să folosească instrumentele în mod corect. Apoi îl antrenăm pe sarcini de căutare mai dificile, astfel încât să devină mai bun în găsirea dovezilor, utilizarea lor eficientă și răspunsul cu o eficiență mai mare.

Abordarea etapizată este una dintre diferențele simple dintre Perplexity și o configurație tradițională de tip wrapper cu acces la model și la web. Acesta este motivul pentru care același model poate produce rezultate diferite în produse diferite și de ce poate funcționa mai bine în Perplexity decât într-o implementare mai simplă.

Întrebări care necesită sinteză

Unele întrebări sunt căutări simple. Altele cer ca modelul să conecteze dovezi din mai multe surse.

Antrenăm pe întrebări care cer modelului să conecteze dovezi din mai multe surse. Pentru întrebări factuale, folosim sarcini care obligă modelul să caute, să raționeze și să verifice, în loc să sară la un singur răspuns dintr-un indiciu evident. Multe întrebări necesită conectarea informațiilor din mai multe surse. Ele cer modelului să treacă de la o dovadă la alta și să construiască răspunsul din acel lanț.

De asemenea, antrenăm pe diferite formate de răspuns, astfel încât modelul să rămână exact indiferent dacă utilizatorul dorește un paragraf, o listă, un tabel sau altă structură. Rezultatul este o sinteză mai bună, constând în răspunsuri care conectează dovezi din mai multe surse, în comparație cu simpla recuperare de fapte izolate.

Sarcinile cu final deschis au nevoie de standarde

Perplexity este utilizat pentru mai mult decât căutări factuale. O mare parte din muncă are un caracter deschis, inclusiv rescrierea, editarea, rezumarea, explicarea și planificarea.

Acele sarcini nu au un singur răspuns exact, dar au în continuare nevoie de standarde. Pentru activitățile cu final deschis, folosim grile de evaluare, care sunt verificări structurate pentru a stabili dacă un răspuns și-a făcut efectiv treaba. A urmat instrucțiunile? A păstrat sensul? A rezolvat problema utilizatorului?

Acest lucru ne permite să antrenăm sarcini cu final deschis cu standarde clare, în loc să le tratăm ca scriere cu format liber.

Acuratețea este pe primul loc înaintea preferințelor

Pentru sarcinile factuale, un răspuns trebuie să fie corect înainte de a primi credit pentru faptul că este mai util sau mai bine scris. Pentru sarcinile cu final deschis, răspunsul trebuie să satisfacă grila de evaluare înainte ca alte calități să intre în joc.

Acest lucru menține sistemul concentrat pe substanță în detrimentul stilului. Ajută la prevenirea unui mod de eșec comun al răspunsurilor care sună mai bine fără a fi de fapt mai bune. Câștigul este un număr mai mic de răspunsuri șlefuite care se destramă la o inspecție mai atentă.

Eficiența contribuie la calitatea răspunsului

De asemenea, antrenăm modelul să folosească căutarea cu disciplină.

Orice pas suplimentar de căutare ar trebui să îmbunătățească răspunsul, iar un răspuns mai lung ar trebui să își merite lungimea. Atunci când căutările suplimentare sau cuvintele în plus nu ajută, sistemul ar trebui să se oprească.

Aceasta produce răspunsuri care sunt mai ușor de utilizat și păstrează focalizarea pentru model atunci când parcurge lanțuri mai lungi de acțiuni, unde micile greșeli se cumulează.

Răspunsurile mai bune necesită muncă constantă

Calitatea căutării provine din modul în care produsul antrenează modelul să adune dovezi, să răspundă cu disciplină, să gestioneze munca cu final deschis și să se oprească atunci când are suficient sprijin.

Pe măsură ce sistemele de AI își asumă sarcini mai lungi și mai autonome, acel antrenament modelează calitatea răspunsurilor individuale și a tot ceea ce este construit pe baza lor. Nu am pretins niciodată că Perplexity este 100% exact, dar pretindem că suntem compania de AI căreia îi pasă cel mai mult de acest lucru și care lucrează la el în mod neîncetat. Încurajăm toți utilizatorii să ofere feedback cu privire la răspunsurile lor Perplexity, deoarece iterăm și îmbunătățim în mod constant.