Hur Perplexity bygger noggrannhet i banbrytande AI

Vår mission är att driva nyfikenhet för människor som vill veta mer och göra mer med världens samlade kunskap. För att uppnå det har vårt huvudfokus alltid varit att göra de bästa banbrytande AI-modellerna mer exakta på Perplexity.

För första gången delar vi med oss av en av de teknologier som ligger bakom hur vi gör det. Idag publicerade vårt forskningsteam en teknisk genomgång av sökutökade LLM:er.

Det finns dussintals processer vi använder för att utveckla noggrannhet, och det här är en sällsynt inblick i en av dem: att efterträna banbrytande AI-modeller för att prestera på topp gentemot noggrannhetsstandarderna för Perplexity-produkter som Search, Comet och Computer.

Vi tränar beteende före sökning

En svarsmotor kräver att de underliggande modellerna gör mer än att bara generera flytande text. De måste hitta bevis, följa användarens begäran, använda verktyg på rätt sätt och omvandla det arbetet till ett fokuserat svar.

Vi eftertränar för detta i två steg. Först lära vi modellen hur den ska bete sig i produkten, inklusive hur den följer instruktioner, förblir konsekvent och använder verktyg på rätt sätt. Sedan tränar vi den på svårare sök- och uppgifter så att den blir bättre på att hitta bevis, använda dem väl och svara mer effektivt.

Det etappvisa tillvägagångssättet är en av de enkla skillnaderna mellan Perplexity och en traditionell omslagskonfiguration med modell- och webbåtkomst. Det är därför samma modell kan producera olika resultat i olika produkter, och varför den kan fungera bättre i Perplexity än den gör i en enklare implementering.

Frågor som kräver syntes

Vissa frågor är enkla uppslagningar. Andra kräver att modellen kopplar samman bevis över olika källor.

Vi tränar på frågor som kräver att modellen kopplar samman bevis över olika källor. För faktaspecifika frågor använder vi uppgifter som tvingar modellen att söka, resonera och verifiera snarare än att hoppa till ett svar från en enda uppenbar ledtråd. Många frågor kräver att information sammankopplas från flera källor. De kräver att modellen flyttar sig från ett bevis till ett annat och bygger svaret utifrån den kedjan.

Vi tränar också över olika svarsformat, så att modellen förblir exakt oavsett om användaren vill ha ett stycke, en lista, en tabell eller en annan struktur. Resultatet är en bättre syntes, som består av svar som kopplar samman bevis över källor i stället för att enbart hämta isolerade fakta.

Öppna uppgifter kräver standarder

Perplexity används till mer än bara faktasökning. En stor del av arbetet är öppet, inklusive omskrivning, redigering, sammanfattning, förklaring och planering.

De uppgifterna har inget exakt rätt svar, men de behöver ändå standarder. För öppet arbete använder vi bedömningsmatriser, vilket är strukturerade kontroller av om ett svar faktiskt utförde jobbet. Följde det instruktionerna? Bevarade det innebörden? Löste det användarens problem?

Det gör att vi kan träna öppna uppgifter med tydliga standarder i stället för att behandla dem som fritt skrivande.

Noggrannhet kommer före preferens

För faktaspecifika uppgifter måste ett svar vara korrekt innan det får erkännande för att vara mer hjälpsamt eller bättre skrivet. För öppna uppgifter måste svaret uppfylla matrisen innan andra egenskaper spelar in.

Det håller systemet fokuserat på substans framför stil. Det hjälper till att förhindra ett vanligt felmönster med svar som låter bättre utan att faktiskt vara det. Belöningen är färre polerade svar som faller samman vid granskning.

Effektivitet bidrar till svarskvalitet

Vi tränar också modellen att använda sökning med disciplin.

Varje ytterligare söksteg bör förbättra svaret, och ett längre svar bör förtjäna sin längd. När extra sökningar eller extra ord inte hjälper bör systemet stanna upp.

Det ger svar som är enklare att använda och bevarar modellens fokus när den arbetar sig igenom längre kedjor av handlingar, där små misstag ackumuleras.

Bättre svar kräver ständigt arbete

Sökvalitet kommer från hur produkten tränar modellen att samla in bevis, svara med disciplin, hantera öppet arbete och stanna upp när den har tillräckligt med stöd.

Allt eftersom AI-system tar sig an längre och mer autonoma arbeten, formar den träningen kvaliteten på enskilda svar och allt som byggs ovanpå dem. Vi har aldrig påstått att Perplexity är 100 % exakt, men vi påstår att vi är det AI-företag som bryr sig mest om det och arbetar med det outtröttligt. Vi uppmuntrar alla användare att ge feedback på sina Perplexity-svar, eftersom vi ständigt itererar och förbättrar.