Hvordan Perplexity bygger nøyaktighet inn i avansert AI

Vår visjon er å styrke nysgjerrigheten for mennesker som ønsker å vite mer og gjøre mer med verdens samlede kunnskap. For å oppnå det har vårt sentrale fokus alltid vært å gjøre de beste avanserte AI-modellene mer nøyaktige på Perplexity.

For første gang deler vi en av teknologiene bak hvordan vi gjør det. I dag publiserte forskningsteamet vårt en teknisk gjennomgang av søkeforsterkede LLMer.

Det er dusinvis av prosesser vi bruker for å utvikle nøyaktighet, og dette er et sjeldent innblikk i en av dem: ettertrening av avanserte AI-modeller for å yte sitt beste i henhold til nøyaktighetsstandardene for Perplexity-produkter som Search, Comet og Computer.

Vi trener opp adferd før søk

En svarmotor krever at de underliggende modellene gjør mer enn å generere flytende tekst. De må finne bevis, følge brukerens forespørsel, bruke verktøy på riktig måte og omsette arbeidet til et fokusert svar.

Vi ettertrener for dette i to trinn. Først lærer vi modellen hvordan den skal oppføre seg i produktet, inkludert hvordan den følger instruksjoner, forblir konsistent og bruker verktøy på riktig måte. Deretter trener vi den på vanskeligere søkeoppgaver slik at den blir bedre til å finne bevis, bruke dem riktig og svare mer effektivt.

Denne trinnvise tilnærmingen er en av de enkle forskjellene mellom Perplexity og et tradisjonelt omslagsoppsett (wrapper) med modell- og webtilgang. Det er derfor den samme modellen kan produsere forskjellige resultater i forskjellige produkter, og hvorfor den kan fungere bedre i Perplexity enn i en enklere implementering.

Spørsmål som krever syntese

Noen spørsmål er enkle oppslag. Andre krever at modellen kobler sammen bevis på tvers av kilder.

Vi trener på spørsmål som krever at modellen kobler sammen bevis på tvers av kilder. For faktaspørsmål bruker vi oppgaver som tvinger modellen til å søke, resonnere og verifisere i stedet for å hoppe til et svar fra én åpenbar ledetråd. Mange spørsmål krever sammenkobling av informasjon på tvers av flere kilder. De krever at modellen beveger seg fra ett bevis til et annet og bygger svaret fra den kjeden.

Vi trener også på forskjellige svarmoduser, slik at modellen forblir nøyaktig enten brukeren ønsker et avsnitt, en liste, en tabell eller en annen struktur. Resultatet er bedre syntese, bestående av svar som kobler sammen bevis på tvers av kilder fremfor å bare hente isolerte fakta.

Åpne oppgaver trenger standarder

Perplexity brukes til mer enn rene faktauppslag. Mye av arbeidet er åpent, inkludert omskriving, redigering, oppsummering, forklaring og planlegging.

Slike oppgaver har ikke ett nøyaktig riktig svar, men de trenger likevel standarder. For åpent arbeid bruker vi retningslinjer som er strukturerte sjekker for om et svar faktisk gjorde jobben. Fulgte den instruksjonene? Bevarte den betydningen? Løste den brukerens problem?

Det lar oss trene åpne oppgaver med klare standarder i stedet for å behandle dem som fri skriving.

Nøyaktighet kommer før preferanse

For faktabaserte oppgaver må et svar være korrekt før det får kreditt for å være mer hjelpsomt eller bedre skrevet. For åpne oppgaver må responsen tilfredsstille kriteriene før andre kvaliteter spiller inn.

Det holder systemet fokusert på substans fremfor stil. Det bidrar til å forhindre en vanlig feilmodus med svar som høres bedre ut uten faktisk å være bedre. Gevinsten er færre polerte svar som faller fra hverandre under grundig inspeksjon.

Effektivitet bidrar til svarkvalitet

Vi trener også modellen til å bruke søk med disiplin.

Ethvert ekstra søketrinn bør forbedre svaret, og et lengre svar bør fortjene sin lengde. Når ekstra søking eller ekstra ord ikke hjelper, bør systemet stoppe.

Det produserer svar som er enklere å bruke, og bevarer modellens fokus når den arbeider gjennom lengre handlingsekvenser der små feil hoper seg opp.

Bedre svar krever konstant arbeid

Søkekvalitet kommer fra hvordan produktet trener modellen til å samle inn bevis, svare med disiplin, håndtere åpent arbeid og stoppe når den har tilstrekkelig støtte.

Ettersom AI-systemer tar på seg lengre og mer autonome oppgaver, former denne treningen kvaliteten på individuelle svar og alt som er bygget oppå dem. Vi har aldri påstått at Perplexity er 100 % nøyaktig, men vi påstår at vi er AI-selskapet som bryr seg mest om det og jobber nådeløst med det. Vi oppfordrer alle brukere til å gi tilbakemelding på sine Perplexity-svar, fordi vi kontinuerlig itererer og forbedrer oss.