Kuidas Perplexity ehitab täpsust eesliini tehisintellekti

Meie missioon on anda hoogu uudishimule inimestele, kes soovivad maailma teadmiste kohta rohkem teada saada ja nendega rohkem ära teha. Selle saavutamiseks on meie peamine eesmärk alati olnud muuta parimad eesliini tehisintellekti mudelid Perplexitys täpsemaks.

Esmakordselt jagame ühte tehnoloogiat, mis on selle taga, kuidas me seda teeme. Tänapäeval avaldas meie uurimisrühm otsinguga täiendatud LLM-ide tehnilise analüüsi.

Meil on täpsuse arendamiseks kümneid protsesse ja see on haruldane pilk kulisside tagusesse ühte neist: eesliini tehisintellekti mudelite treenimine pärast väljaõpet, et nad saavutaksid oma parima tulemuse selliste Perplexity toodete nagu Search, Comet ja Computer täpsusstandardite järgi.

Me treenime käitumist enne otsingut

Vastusemootor eeldab, et alusmodellid teevad enamat kui lihtsalt genereerivad sujuvat teksti. Nad peavad leidma tõendeid, täitma kasutaja soovi, kasutama tööriistu õigesti ja muutma selle töö keskendunud vastuseks.

Teeme selleks järelkoolituse kahes etapis. Esmalt õpetame mudelile, kuidas tootes käituda, sealhulgas juhiste järgimist, järjepidevuse hoidmist ja tööriistade õiget kasutamist. Seejärel treenime seda raskemate otsinguülesannete peal, et see leiaks paremini tõendeid, kasutaks neid oskuslikult ja vastaks tõhusamalt.

See mitmeetapiline lähenemine on üks lihtsaid erinevusi Perplexity ja traditsioonilise mudeli ning veebijuurdepääsuga ümbrisseadistuse vahel. Seetõttu võib sama mudel erinevates toodetes anda erinevaid tulemusi ja töötada Perplexitys paremini kui lihtsamas juurutuses.

Küsimused, mis nõuavad sünteesi

Mõned küsimused on lihtsad otsingud. Teised nõuavad, et mudel seoks tõendeid eri allikatest.

Treenime küsimustel, mis nõuavad mudelilt eri allikatest pärinevate tõendite ühendamist. Faktipõhiste küsimuste puhul kasutame ülesandeid, mis sunnivad mudelit otsima, arutlema ja kontrollima, selle ainsa ilmase vihje põhjal vastuseni kargamise asemel. Paljud küsimused nõuavad teabe ühendamist mitmest allikast. Need eeldavad, et mudel liigub ühelt tõendilt teisele ja ehitab sellest ahelast vastuse üles.

Treenime ka erinevates vastusevormingutes, et mudel püsiks täpne olenemata sellest, kas kasutaja soovib lõiku, loendit, tabelit või muud struktuuri. Tulemuseks on parem süntees, mis koosneb vastustest, mis ühendavad tõendeid eri allikatest, mitte ei too esile ainult isoleeritud fakte.

Avatud ülesanded vajavad standardeid

Perplexityt kasutatakse muukski kui ainult faktide otsimiseks. Suur osa tööst on avatud iseloomuga, sealhulgas ümberkirjutamine, toimetamine, kokkuvõtete tegemine, selgitamine ja planeerimine.

Nendel ülesannetel pole ühte kindlat õiget vastust, kuid need vajavad siiski standardeid. Avatud töö jaoks kasutame rubriike, mis on struktureeritud kontrollid selle kohta, kas vastus tegi tegelikult oma töö ära. Kas see järgis juhiseid? Kas see säilitas tähenduse? Kas see lahendas kasutaja probleemi?

See võimaldab meil treenida avatud ülesandeid selgete standardite alusel, selle asemel et käsitleda neid vabas vormis kirjutamisena.

Täpsus on eelistusest eespool

Faktipõhiste ülesannete puhul peab vastus olema õige, enne kui see saab tunnustust abivalmiduse või parema kirjaoskuse eest. Avatud ülesannete puhul peab vastus täitma rubriigi nõuded, enne kui muud omadused mängu tulevad.

See hoiab süsteemi keskendununa sisule, mitte stiilile. See aitab ära hoida vastuste levinud puudujäägi, kus need kõlavad paremini, olemata tegelikult paremad. Tulemuseks on vähem lihvitud vastuseid, mis kontrolli all lagunevad.

Tõhusus aitab kaasa vastuse kvaliteedile

Samuti treenime mudelit otsingut distsiplineeritult kasutama.

Iga täiendav otsinguetapp peaks vastust parandama ja pikem vastus peab oma pikkuse välja teenima. Kui lisanduv otsing või lisasõnad ei aita, peaks süsteem peatuma.

See annab vastused, mida on lihtsam kasutada, ja säilitab mudelile fookuse pikemate tegevusahelate läbimisel, kus väikesed vead kuhjuvad.

Paremad vastused nõuavad pidevat tööd

Otsingukvaliteet tuleneb sellest, kuidas toode treenib mudelit tõendeid koguma, distsiplineeritult vastama, avatud tööd käsitlema ja peatuma, kui tal on piisavalt tuge.

Kuna tehisintellektisüsteemid võtavad enda kanda pikemaid ja autonoomsemaid töid, kujundab see treening üksikute vastuste kvaliteeti ja kõike nende peale ehitatut. Me ei ole kunagi väitnud, et Perplexity on 100% täpne, kuid me väidame, et oleme tehisintellekti ettevõte, kes hoolib sellest kõige rohkem ja töötab selle nimel lakkamatult. Julgustame kõiki kasutajaid andma tagasisidet oma Perplexity vastuste kohta, sest me täiustame ja iteratsioneerime süsteemi pidevalt.