Kako Perplexity gradi tačnost u naprednoj veštačkoj inteligenciji

Naša misija je da podstaknemo radoznalost ljudi koji žele da saznaju više i da postignu više koristeći svetsko znanje. U skladu sa tim, naš glavni fokus je oduvek bio da najbolji napredni AI modeli budu precizniji na platformi Perplexity.

Prvi put delimo jednu od tehnologija koja stoji iza načina na koji to činimo. Danas je naš istraživački tim objavio tehničku analizu jezičkih modela sa proširenom pretragom (search-augmented LLM).

Postoji na desetine procesa koje koristimo za unapređenje preciznosti, a ovo je retka prilika da zavirimo u jedan od njih: naknadnu obuku (post-training) naprednih AI modela kako bi dostigli najbolje rezultate u skladu sa standardima preciznosti za Perplexity proizvode kao što su Search, Comet i Computer.

Obučavamo ponašanje pre pretrage

Mašina za odgovore zahteva od osnovnih modela više od samog generisanja tečnog teksta. Oni moraju da pronađu dokaze, ispune zahteve korisnika, pravilno koriste alate i pretvore taj rad u usmeren odgovor.

U tu svrhu vršimo naknadnu obuku u dve faze. Prvo obučavamo model kako da se ponaša unutar proizvoda, uključujući kako da sledi uputstva, ostane dosledan i pravilno koristi alate. Zatim ga obavljamo na težim zadacima pretrage kako bi postao bolji u pronalaženju dokaza, njihovom efikasnom korišćenju i efikasnijem odgovaranju.

Ovaj pristupi u fazama predstavlja jednu od jednostavnih razlika između Perplexity-ja i tradicionalnog wrappera sa modelom i pristupom vebu. Zbog toga isti model može proizvesti različite rezultate u različitim proizvodima, i zbog toga može raditi bolje u okviru platforme Perplexity nego u jednostavnijoj implementaciji.

Pitanja koja zahtevaju sintezu

Neka pitanja predstavljaju jednostavnu pretragu. Druga zahtevaju od modela da poveže dokaze iz različitih izvora.

Obučavamo model na pitanjima koja zahtevaju povezivanje dokaza iz više izvora. Za činjenična pitanja koristimo zadatke koji primoravaju model da pretražuje, rasuđuje i proverava umesto da prelazi direktno na odgovor na osnovu jednog očiglednog traga. Mnoga pitanja zahtevaju povezivanje informacija iz više izvora. Ona zahtevaju da model pređe sa jednog dokaza na drugi i da iz tog niza izgradi odgovor.

Takođe obučavamo model kroz različite formate odgovora, kako bi model zadržao tačnost bez obzira na to da li korisnik želi pasus, listu, tabelu ili drugu strukturu. Rezultat je bolja sinteza koja se sastoji od odgovora koji povezuju dokaze iz više izvora umesto pukog preuzimanja izolovanih činjenica.

Zadaci otvorenog tipa zahtevaju standarde

Perplexity se koristi za mnogo više od pukog traženja činjenica. Veliki deo posla je otvorenog tipa, uključujući prepisivanje, uređivanje, sumiranje, objašnjavanje i planiranje.

Ti zadaci nemaju jedan tačan odgovor, ali im ipak trebaju standardi. Za rad otvorenog tipa koristimo pravilnike (rubrics) koji predstavljaju struktuirane provere o tome da li je odgovor zaista obavio posao. Da li je ispratio uputstva? Da li je očuvao značenje? Da li je rešio problem korisnika?

To nam omogućava da obučavamo zadatke otvorenog tipa sa jasnim standardima umesto da ih tretiramo kao slobodno pisanje.

Tačnost je ispred preferencija

Kod činjeničnih zadataka, odgovor mora biti tačan pre nego što dobije zasluge za to što je koristan ili bolje napisan. Za zadatke otvorenog tipa, odgovor mora da zadovolji kriterijum iz pravilnika pre nego što druge osobine dođu do izražaja.

To drži sistem usmerenim na suštinu umesto na stil. Pomaže u sprečavanju uobičajenog nedostatka gde odgovori zvuče bolje a da to zapravo nisu. Krajnji rezultat je manji broj doteranih odgovora koji se raspadaju pod detaljnijom inspekcijom.

Efikasnost doprinosi kvalitetu odgovora

Takođe obučavamo model da koristi pretragu sa disciplinom.

Svaki dodatni korak pretrage treba da poboljša odgovor, a duži odgovor treba da opravda svoju dužinu. Kada dodatna pretraga ili dodatne reči ne pomažu, sistem treba da se zaustavi.

To daje odgovore koji su lakši za korišćenje i čuva fokus modela kada radi kroz duže lance radnji, gde se male greške nagomilavaju.

Bolji odgovori zahtevaju stalan rad

Kvalitet pretrage potiče iz načina na koji proizvod obučava model da prikuplja dokaze, odgovara sa disciplinom, upravlja radom otvorenog tipa i zaustavi se kada ima dovoljno podrške.

Kako sistemi veštačke inteligencije preuzimaju sve duže i autonomnije zadatke, ta obuka oblikuje kvalitet pojedinačnih odgovora i svega što je izgrađeno na njima. Nikada nismo tvrdili da je Perplexity 100% tačan, ali tvrdimo da smo AI kompanija kojoj je stalo do toga najviše na svetu i koja na tome neumorno radi. Podstičemo sve korisnike da daju povratne informacije o svojim Perplexity odgovorima, jer neprestano iteriramo i unapređujemo se.