Kako Perplexity gradi preciznost u naprednoj veštačkoj inteligenciji

Naša misija je da podstičemo znatiželju kod ljudi koji žele da saznaju više i urade više sa svetskim znanjem. Da bismo to postigli, naš primarni fokus je oduvek bio da najnaprednije modele veštačke inteligencije učinimo preciznijim na platformi Perplexity.

Prvi put delimo jednu od tehnologija koja stoji iza načina na koji to radimo. Danas je naš istraživački tim objavio tehničku analizu jezičkih modela proširenih pretragom.

Postoji na desetine procesa koje koristimo za razvoj preciznosti, a ovo je redak uvid iznutra u jedan od njih: naknadnu obuku naprednih modela veštačke inteligencije kako bi postigli najbolje rezultate u skladu sa standardima preciznosti za Perplexity proizvode kao što su Search, Comet i Computer.

Prvo treniramo ponašanje pa tek onda pretragu

Sistem za odgovore zahteva od osnovnih modela više od samog generisanja tečnog teksta. Oni moraju da pronađu dokaze, prate zahteve korisnika, pravilno koriste alate i pretvore taj rad u usmeren odgovor.

Za to vršimo naknadnu obuku u dve faze. Prvo učimo model kako da se ponaša unutar proizvoda, uključujući to kako da prati uputstva, ostane dosledan i koristi alate na pravi način. Zatim ga treniramo na težim zadacima pretrage kako bi postao bolji u pronalaženju dokaza, njihovom dobrom korišćenju i efikasnijem davanju odgovora.

Pristup u fazama je jedna od jednostavnih razlika između platforme Perplexity i tradicionalnog podešavanja okvira sa modelom i pristupom vebu. Zato isti model može da proizvede različite rezultate u različitim proizvodima i zato može bolje da radi na platformi Perplexity nego u jednostavnijoj primeni.

Pitanja koja zahtevaju sintezu

Neka pitanja su jednostavne pretrage. Druga zahtevaju od modela da poveže dokaze iz različitih izvora.

Treniramo na pitanjima koja zahtevaju od modela da poveže dokaze iz različitih izvora. Za činjenična pitanja koristimo zadatke koji primoravaju model da pretražuje, zaključuje i proverava umesto da prelazi na odgovor na osnovu jednog očiglednog traga. Mnoga pitanja zahtevaju povezivanje informacija iz više izvora. Ona zahtevaju od modela da pređe sa jednog dela dokaza na drugi i da iz tog niza izgradi odgovor.

Takođe treniramo na različitim formatima odgovora, tako da model ostaje precizan bez obzira na to da li korisnik želi pasus, listu, tabelu ili neku drugu strukturu. Rezultat je bolja sinteza, koja se sastoji od odgovora koji povezuju dokaze iz različitih izvora umesto da samo preuzimaju izolovane činjenice.

Zadaci otvorenog tipa zahtevaju standarde

Perplexity se koristi za više od pukog pretraživanja činjenica. Veliki deo posla je otvorenog tipa, uključujući prepisivanje, uređivanje, sumiranje, objašnjavanje i planiranje.

Ti zadaci nemaju jedan tačan odgovor, ali im i dalje trebaju standardi. Za rad otvorenog tipa koristimo rubrike koje predstavljaju struktuirane provere da li je odgovor zaista obavio posao. Da li je sledio uputstva? Da li je sačuvao značenje? Da li je rešio problem korisnika?

To nam omogućava da treniramo zadatke otvorenog tipa sa jasnim standardima umesto da ih tretiramo kao slobodno pisanje.

Preciznost dolazi pre preferencija

Za činjenične zadatke, odgovor mora biti tačan pre nego što dobije zasluge za veću korisnost ili bolje pisanje. Za zadatke otvorenog tipa, odgovor mora da zadovolji rubriku pre nego što druge osobine stupe na scenu.

To održava sistem fokusiranim na suštinu umesto na stil. Pomaže u sprečavanju uobičajenog načina neuspeha odgovora koji zvuče bolje, a da zapravo nisu bolji. Isplata je u manjem broju ispeglanih odgovora koji se raspadaju pod inspekcijom.

Efikasnost doprinosi kvalitetu odgovora

Takođe treniramo model da koristi pretragu sa disciplinom.

Svaki dodatni korak pretrage treba da poboljša odgovor, a duži odgovor treba da opravda svoju dužinu. Kada dodatna pretraga ili dodatne reči ne pomažu, sistem treba da stane.

To daje odgovore koji su lakši za upotrebu i čuva fokus modela kada radi kroz duže lance radnji, gde se male greške nagomilavaju.

Bolji odgovori zahtevaju stalan rad

Kvalitet pretrage dolazi iz toga kako proizvod trenira model da prikuplja dokaze, odgovara sa disciplinom, obrađuje rad otvorenog tipa i stane kada ima dovoljno podrške.

Kako sistemi veštačke inteligencije preuzimaju duži i autonomniji rad, ta obuka oblikuje kvalitet pojedinačnih odgovora i svega što je izgrađeno na njima. Nikada nismo tvrdili da je Perplexity 100% precizan, ali tvrdimo da smo kompanija za veštačku inteligenciju kojoj je do toga najviše stalo i koja neumorno radi na tome. Ohrabrujemo sve korisnike da daju povratne informacije o svojim odgovorima na platformi Perplexity, jer se neprestano usavršavamo i napredujemo.