Jak Perplexity buduje přesnost ve špičkové AI

Naším cílem je probouzet zvědavost u lidí, kteří chtějí vědět víc a dokázat víc díky světovým znalostem. Proto jsme se vždy primárně soustředili na to, aby špičkové modely umělé inteligence dosahovaly na Perplexity vyšší přesnosti.

Poprvé v historii sdílíme část technologií, které se za tím skrývají. Dnes náš výzkumný tým zveřejnil technickou analýzu modelů LLM rozšířených o vyhledávání.

Existují desítky procesů, které využíváme ke zvyšování přesnosti, a toto je vzácný pohled do zákulisí jednoho z nich: dodatečného trénování špičkových modelů AI tak, aby podávaly co nejlepší výkony v porovnání s standardy přesnosti pro produkty Perplexity, jako jsou Search, Comet a Computer.

Chování trénujeme dříve než vyhledávání

Vyhledávací engine vyžaduje, aby podkladové modely nedělaly jen to, že generují plynulý text. Musí nalézt důkazy, řídit se požadavky uživatele, správně používat nástroje a přeměnit tuto práci v cílenou odpověď.

Pro tento účel provádíme dodatečné trénování ve dvou fázích. Nejprve model učíme, jak se chovat v rámci produktu, včetně toho, jak plnit pokyny, zůstat konzistentní a správně používat nástroje. Poté jej trénujeme na složitějších úlohách vyhledávání, aby se zlepšil v nalézání důkazů, jejich správném používání a efektivnějším zodpovídání.

Tento fázový přístup je jedním z jednoduchých rozdílů mezi Perplexity a tradičním wrapperem s přístupem k modelu a webu. Právě proto může stejný model produkovat odlišné výsledky v různých produktech a proto může fungovat lépe v Perplexity než v jednodušším nasazení.

Otázky vyžadující syntézu

Některé otázky představují jednoduché vyhledání informací. Jiné vyžadují, aby model propojil důkazy napříč různými zdroji.

Trénujeme na otázkách, které vyžadují, aby model propojoval důkazy napříč zdroji. U faktických otázek používáme úlohy, které model nutí vyhledávat, uvažovat a ověřovat, namísto aby skákal k odpovědi na základě jediné zjevné nápovědy. Mnohé otázky vyžadují propojení informací z více zdrojů. Vyžadují, aby model přecházel od jednoho důkazu k dalšímu a sestavil odpověď z tohoto řetězce.

Trénujeme také napříč různými formáty odpovědí, takže si model uchovává přesnost bez ohledu na to, zda uživatel požaduje odstavec, seznam, tabulku nebo jinou strukturu. Výsledkem je lepší syntéza spočívající v odpovědích, které propojují důkazy napříč zdroji, namísto prostého načítání izolovaných faktů.

Úlohy s otevřeným koncem vyžadují standardy

Perplexity se používá k mnoha dalším účelům než jen k vyhledávání faktů. Velká část práce má otevřený charakter, včetně přepisování, úprav, shrnování, vysvětlování a plánování.

Takové úlohy nemají jednu exaktní správnou odpověď, ale přesto vyžadují standardy. U prací s otevřeným koncem používáme rubriky, což jsou strukturované kontroly toho, zda odpověď skutečně splnila svůj účel. Dodržela pokyny? Zachovala význam? Vyřešila uživatelův problém?

To nám umožňuje trénovat úlohy s otevřeným koncem pomocí jasných standardů namísto toho, abychom k nim přistupovali jako k volnému psaní.

Přesnost je nadřazena preferencím

U faktických úloh musí být odpověď správná předtím, než získá kredit za to, že je užitečnější nebo lépe napsaná. U úloh s otevřeným koncem musí odpověď splňovat kritéria rubriky, než vstoupí do hry další vlastnosti.

Tím se systém soustředí na podstatu namísto stylu. Pomáhá to předcházet běžnému jevu, kdy odpovědi znějí lépe, aniž by byly skutečně lepší. Výsledkem je méně uhlazených odpovědí, které se při bližším zkoumání rozpadnou.

Efektivita přispívá ke kvalitě odpovědí

Trénujeme model také k tomu, aby vyhledávání využíval disciplinovaně.

Každý další krok vyhledávání by měl zlepšit odpověď a delší odpověď by si měla svou délku obhájit. Pokud dodatečné vyhledávání nebo další slova nepomáhají, systém by měl přestat.

Výsledkem jsou odpovědi, které se snadněji používají, a model si zachovává soustředění, když prochází delšími řetězci akcí, kde se drobné chyby kumulují.

Lepší odpovědi vyžadují neustálou práci

Kvalita vyhledávání vychází z toho, jak produkt trénuje model shromažďovat důkazy, odpovídat s disciplínou, zvládat práci s otevřeným koncem a zastavit se, jakmile má dostatečnou oporu.

Jak systémy AI přebírají delší a autonomnější úkoly, toto trénování formuje kvalitu jednotlivých odpovědí i všeho, co je na nich postaveno. Nikdy jsme netvrdili, že Perplexity je stoprocentně přesná, ale tvrdíme, že jsme firmou zabývající se AI, které na tom záleží nejvíce a která na tom neúnavně pracuje. Vyzýváme všechny uživatele, aby poskytovali zpětnou vazbu ke svým odpovědím od Perplexity, protože neustále iterujeme a zlepšujeme se.