Hoe Perplexity nauwkeurigheid inbouwt in frontier AI

Onze missie is om nieuwsgierigheid te stimuleren voor mensen die meer willen weten en meer willen doen met de wereldwijde kennis. Om dat te bereiken is onze centrale focus altijd geweest om de beste frontier AI-modellen nauwkeuriger te maken op Perplexity.

Voor het eerst delen we een van de technologieën die hieraan ten grondslag liggen. Vandaag heeft ons onderzoeksteam een technische verkenning van doorzoek-geaugmenteerde LLM's gepubliceerd.

Er zijn tientallen processen die we gebruiken om nauwkeurigheid te ontwikkelen, en dit is een zeldzame blik achter de schermen op een daarvan: het post-trainen van frontier AI-modellen om optimaal te presteren volgens de nauwkeurigheidsnormen voor Perplexity-producten zoals Search, Comet en Computer.

We trainen gedrag vóór onderzoek

Een antwoordmachine vereist dat de onderliggende modellen meer doen dan alleen vloeiende tekst genereren. Ze moeten bewijsmateriaal vinden, het verzoek van de gebruiker opvolgen, tools correct gebruiken en dat werk omzetten in een gericht antwoord.

Daarvoor trainen we in twee fasen na. Eerst leren we het model hoe het zich binnen het product moet gedragen, inclusief hoe het instructies moet opvolgen, consistent moet blijven en tools op de juiste manier moet gebruiken. Daarna trainen we het op moeilijkere zoekopdrachten zodat het beter wordt in het vinden van bewijsmateriaal, het goed gebruiken ervan en het efficiënter beantwoorden.

De gefaseerde aanpak is een van de eenvoudige verschillen tussen Perplexity en een traditionele wrapper-opstelling met model- en webtoegang. Dat is de reden waarom hetzelfde model verschillende resultaten kan produceren in verschillende producten, en waarom het beter kan werken in Perplexity dan in een eenvoudigere implementatie.

Vragen die synthese vereisen

Sommige vragen zijn eenvoudige opzoekingen. Andere vereisen dat het model bewijsmateriaal tussen bronnen verbindt.

We trainen op vragen die vereisen dat het model bewijsmateriaal tussen bronnen verbindt. Voor feitelijke vragen gebruiken we taken die het model dwingen om te zoeken, te redeneren en te verifiëren in plaats van naar een antwoord te springen vanuit één voor de hand liggende aanwijzing. Veel vragen vereisen het verbinden van informatie over meerdere bronnen. Ze vereisen dat het model van het ene bewijsstuk naar het andere gaat en het antwoord opbouwt vanuit die keten.

We trainen ook op verschillende antwoordformaten, zodat het model nauwkeurig blijft, of de gebruiker nu een alinea, een lijst, een tabel of een andere structuur wenst. Het resultaat is een betere synthese, bestaande uit antwoorden die bewijsmateriaal tussen bronnen verbinden in plaats van alleen geïsoleerde feiten op te halen.

Open taken behoeven normen

Perplexity wordt voor meer gebruikt dan alleen feitelijke opzoekingen. Een groot deel van het werk is open, waaronder herschrijven, bewerken, samenvatten, uitleggen en plannen.

Die taken hebben geen enkel exact juist antwoord, maar ze hebben nog steeds normen nodig. Voor open werk gebruiken we rubrieken, wat gestructureerde controles zijn of een antwoord het werk daadwerkelijk heeft gedaan. Heeft het de instructies opgevolgd? Heeft het de betekenis behouden? Heeft het het probleem van de gebruiker opgelost?

Dat stelt ons in staat om open taken met duidelijke normen te trainen in plaats van ze als vrije tekst te behandelen.

Nauwkeurigheid gaat voor voorkeur

Voor feitelijke taken moet een antwoord correct zijn voordat het credits krijgt voor het feit dat het behulpzamer is of beter geschreven. Voor open taken moet het antwoord aan de rubriek voldoen voordat andere kwaliteiten een rol gaan spelen.

Dat houdt het systeem gericht op inhoud boven stijl. Het helpt een veelvoorkomende foutieve modus te voorkomen van antwoorden die beter klinken zonder daadwerkelijk beter te zijn. De opbrengst is minder gepolijste antwoorden die bij inspectie uit elkaar vallen.

Efficiëntie draagt bij aan de antwoordkwaliteit

We trainen het model ook om met discipline te zoeken.

Elke extra zoekstap moet het antwoord verbeteren, en een langer antwoord moet zijn lengte verdienen. Wanneer extra zoeken of extra woorden niet helpen, moet het systeem stoppen.

Dat produceert antwoorden die gemakkelijker te gebruiken zijn en behoudt de focus voor het model wanneer het werkt door langere ketens van acties, waar kleine fouten zich opstapelen.

Betere antwoorden vereisen constant werk

Zoekkwaliteit komt voort uit hoe het product het model traint om bewijsmateriaal te verzamelen, met discipline te antwoorden, open werk af te handelen en te stoppen wanneer het voldoende onderbouwing heeft.

Naarmate AI-systemen langer en autonomer werk op zich nemen, vormt die training de kwaliteit van individuele antwoorden en alles wat daarop is gebouwd. We hebben nooit beweerd dat Perplexity 100% nauwkeurig is, maar we beweren wel het AI-bedrijf te zijn dat er het meest om geeft en er onophoudelijk aan werkt. We moedigen alle gebruikers aan om feedback te geven op hun Perplexity-antwoorden, omdat we voortdurend itereren en verbeteren.