Kako Perplexity ugrađuje točnost u naprednu umjetnu inteligenciju

Naša je misija poticati znatiželju kod ljudi koji žele znati više i učiniti više s pomoću svjetskog znanja. Kako bismo to postigli, naš je glavni fokus oduvijek bio učiniti najbolje napredne modele umjetne inteligencije točnijima na Perplexityju.

Prvi put dijelimo jednu od tehnologija koja stoji iza načina na koji to radimo. Danas je naš istraživački tim objavio tehničko istraživanje jezičnih modela proširenih pretraživanjem.

Postoji deseci procesa koje koristimo za razvoj točnosti, a ovo je rijedak uvid u jedan od njih: naknadno treniranje naprednih modela umjetne inteligencije kako bi postigli najbolje rezultate u odnosu na standarde točnosti za Perplexityjeve proizvode kao što su Search, Comet i Computer.

Najprije treniramo ponašanje, a zatim pretraživanje

Mašina za odgovore zahtijeva od temeljnih modela više od samo generiranja tečnog teksta. Moraju pronaći dokaze, pratiti korisnikov zahtjev, ispravno koristiti alate i pretvoriti taj rad u usmjereni odgovor.

Za to provodimo naknadno treniranje u dvije faze. Prvo učimo model kako se ponašati unutar proizvoda, uključujući kako slijediti upute, ostati dosljedan i pravilno koristiti alate. Zatim ga treniramo na težim zadacima pretraživanja kako bi postao bolji u pronalaženju dokaza, njihovom dobrom korištenju i učinkovitijem odgovaranju.

Pristup u fazama jedna je od jednostavnih razlika između Perplexityja i tradicionalne postavke omotača s modelom i pristupom webu. Zato isti model može dati različite rezultate u različitim proizvodima i zato može raditi bolje u Perplexityju nego u jednostavnijoj implementaciji.

Pitanja koja zahtijevaju sintezu

Neka su pitanja jednostavna pretraživanja. Druga zahtijevaju od modela da poveže dokaze iz različitih izvora.

Treniramo na pitanjima koja zahtijevaju da model poveže dokaze iz više izvora. Za činjenična pitanja koristimo zadatke koji tjeraju model na pretraživanje, razmišljanje i provjeru umjesto da prelazi na odgovor na temelju jednog očiglednog glua. Mnoga pitanja zahtijevaju povezivanje informacija iz više izvora. Ona zahtijevaju od modela da prijeđe s jednog dokaza na drugi i izgradi odgovor iz tog lanca.

Također treniramo na različitim formatima odgovora, tako da model ostaje točan bez obzira želi li korisnik odlomak, popis, tablicu ili neku drugu strukturu. Rezultat je bolja sinteza koja se sastoji od odgovora koji povezuju dokaze iz različitih izvora umjesto pronalaženja samo izoliranih činjenica.

Zadaci otvorenog tipa trebaju standarde

Perplexity se koristi za više od pukog traženja činjenica. Mnogo je posla otvorenog tipa, uključujući prepisivanje, uređivanje, sažimanje, objašnjavanje i planiranje.

Ti zadaci nemaju jedan točan odgovor, ali im ipak trebaju standardi. Za rad otvorenog tipa koristimo rubrike koje predstavljaju strukturirane provjere je li odgovor doista obavio posao. Je li slijedio upute? Je li očuvao značenje? Je li riješio korisnikov problem?

To nam omogućuje treniranje zadataka otvorenog tipa s jasnim standardima umjesto da ih tretiramo kao slobodno pisanje.

Točnost je važnija od preferencija

Za činjenične zadatke odgovor mora biti točan prije nego što dobije zasluge za veću korisnost ili bolje pisanje. Za zadatke otvorenog tipa odgovor mora zadovoljiti rubriku prije nego što druge kvalitete stupe na scenu.

To održava sustav usredotočenim na bit umjesto na stil. Pomaže u sprečavanju uobičajenog načina neuspjeha odgovora koji zvuče bolje, a da zapravo nisu bolji. Rezultat su malobrojniji dotjerani odgovori koji se raspadaju pod inspekcijom.

Učinkovitost pridonosi kvaliteti odgovora

Također treniramo model da koristi pretraživanje s disciplinom.

Svaki dodatni korak pretraživanja trebao bi poboljšati odgovor, a dulji odgovor trebao bi opravdati svoju duljinu. Kada dodatno pretraživanje ili dodatne riječi ne pomažu, sustav bi trebao stati.

To daje odgovore koji su lakši za korištenje i čuva fokus modela kada radi kroz dulje lance radnji, gdje se male pogreške zbrajaju.

Bolji odgovori zahtijevaju konstantan rad

Kvaliteta pretraživanja dolazi iz načina na koji proizvod trenira model da prikuplja dokaze, odgovara s disciplinom, upravlja radom otvorenog tipa i stane kada ima dovoljno podrške.

Kako sustavi umjetne inteligencije preuzimaju dulji i autonomniji rad, to treniranje oblikuje kvalitetu pojedinačnih odgovora i svega što je izgrađeno na njima. Nikada nismo tvrdili da je Perplexity 100% točan, ali tvrdimo da smo tvrtka za umjetnu inteligenciju kojoj je do toga najviše stalo i koja nemilosrdno radi na tome. Potičemo sve korisnike da daju povratne informacije o svojim odgovorima s Perplexityja jer neprestano iteriramo i poboljšavamo se.