Sådan opbygger Perplexity nøjagtighed i avanceret AI

Vores mission er at nære nysgerrigheden hos folk, der vil vide mere og gøre mere med verdens viden. For at opnå det har vores primære fokus altid været at gøre de bedste avancerede AI-modeller mere nøjagtige på Perplexity.

For første gang deler vi en af de teknologier, der ligger bag, hvordan vi gør det. I dag har vores forskningsteam offentliggjort en teknisk udforskning af søgeforstærkede LLM'er.

Der ernesvis af processer, vi bruger til at udvikle nøjagtighed, og dette er et sjældent kig ind bag kulisserne på en af dem: post-træning af avancerede AI-modeller til at præstere bedst muligt i forhold til nøjagtighedsstandarderne for Perplexity-produkter som Search, Comet og Computer.

Vi træner adfærd før søgning

En svarmotor kræver, at de underliggende modeller gør mere end blot at generere flydende tekst. De skal finde dokumentation, følge brugerens anmodning, bruge værktøjer korrekt og omdanne det arbejde til et fokuseret svar.

Vi eftertræner til det formål i to faser. Først lærer vi modellen, hvordan den skal opføre sig i produktet, herunder hvordan den følger instruktioner, forbliver konsekvent og bruger værktøjer på den rigtige måde. Derefter træner vi den i sværere søgeopgaver, så den bliver bedre til at finde dokumentation, bruge den effektivt og svare mere effektivt.

Den trinvise tilgang er en af de simple forskelle mellem Perplexity og en traditionel wrapper-opsætning med model- og webadgang. Det er derfor, den samme model kan producere forskellige resultater i forskellige produkter, og derfor den kan fungere bedre i Perplexity, end den gør i en enklere implementering.

Spørgsmål, der kræver syntese

Nogle spørgsmål er nemme opslag. Andre kræver, at modellen forbinder dokumentation på tværs af kilder.

Vi træner i spørgsmål, der kræver, at modellen forbinder dokumentation på tværs af kilder. For faktuelt baserede spørgsmål bruger vi opgaver, der tvinger modellen til at søge, ræsonnere og verificere i stedet for at springe til et svar ud fra en enkelt åbenlys kilde. Mange spørgsmål kræver, at information forbindes på tværs af flere kilder. De kræver, at modellen bevæger sig fra det ene stykke dokumentation til det næste og opbygger svaret ud fra den kæde.

Vi træner også på tværs af forskellige svarformater, så modellen forbliver nøjagtig, uanset om brugeren ønsker et afsnit, en liste, en tabel eller en anden struktur. Resultatet er en bedre syntese, der består af svar, som forbinder dokumentation på tværs af kilder frem for blot at hente isolerede fakta.

Åbne opgaver kræver standarder

Perplexity bruges til mere end blot faktuelle opslag. En stor del af arbejdet er åbent, herunder omskrivning, redigering, opsummering, forklaring og planlægning.

De opgaver har ikke ét helt rigtigt svar, men de har stadig brug for standarder. Til åbent arbejde bruger vi rubrikker, som er strukturerede tjek for, om et svar rent faktisk udførte opgaven. Fulgte den instruktionerne? Bevarede den betydningen? Løste den brugerens problem?

Det giver os mulighed for at træne åbne opgaver med klare standarder i stedet for at behandle dem som fri skrivning.

Nøjagtighed kommer før præference

For faktuelle opgaver skal et svar være korrekt, før det får point for at være mere hjælpsomt eller bedre skrevet. For åbne opgaver skal svaret opfylde rubrikken, før andre kvaliteter kommer i spil.

Det holder systemet fokuseret på substans frem for stil. Det hjælper med at forhindre en almindelig svigt-tilstand, hvor svar lyder bedre uden rent faktisk at være det. Belønningen er færre polerede svar, der falder fra hinanden ved nærmere eftersyn.

Effektivitet bidrager til svarkvaliteten

Vi træner også modellen til at bruge søgning med disciplin.

Ethvert ekstra søgetrin bør forbedre svaret, og et længere svar bør gøre sig fortjent til sin længde. Når ekstra søgning eller ekstra ord ikke hjælper, bør systemet stoppe.

Det producerer svar, der er nemmere at bruge, og bevarer modellens fokus, når den arbejder sig gennem længere kæder af handlinger, hvor små fejl hober sig op.

Bedre svar kræver konstant arbejde

Søgekvalitet kommer af, hvordan produktet træner modellen til at indsamle dokumentation, svare med disciplin, håndtere åbent arbejde og stoppe, når den har tilstrækkelig støtte.

Efterhånden som AI-systemer påtager sig længere og mere autonome opgaver, former denne træning kvaliteten af individuelle svar og alt det, der er bygget oven på dem. Vi har aldrig påstået, at Perplexity er 100 % nøjagtig, men vi hævder at være den AI-virksomhed, der bekymrer sig mest om det og arbejder ubønhørligt på det. Vi opfordrer alle brugere til at give feedback på deres Perplexity-svar, fordi vi konstant itererer og forbedrer os.