Как Perplexity изгражда точност в модерния AI

Нашата мисия е да разпалваме любопитството на хората, които искат да знаят повече и да постигат повече с познанието на света. За да постигнем това, нашият основен фокус винаги е бил да правим най-добрите модерни AI модели по-точни в Perplexity.

За първи път споделяме една от технологиите зад това как правим това. Днес нашият изследователски екип публикува техническо проучване на търсещи LLM.

Съществуват десетки процеси, които използваме за развитие на точността, и това е рядък поглед отвътре към един от тях: пост-обучение на модерни AI модели, така че да се представят най-добре спрямо стандартите за точност за продукти на Perplexity като Search, Comet и Computer.

Обучаваме поведението преди търсенето

Един двигател за отговори изисква базовите модели да правят нещо повече от генериране на плавен текст. Те трябва да намират доказателства, да следват заявката на потребителя, да използват инструменти правилно и да превръщат тази работа в насочен отговор.

Ние извършваме пост-обучение за това в два етапа. Първо, учим модела как да се държи вътре в продукта, включително как да следва инструкции, да бъде последователен и да използва инструменти по правилния начин. След това го обучаваме на по-трудни задачи за търсене, за да стане по-добър в намирането на доказателства, тяхното добро използване и по-ефективното отговаряне.

Поетапният подход е една от простите разлики между Perplexity и традиционната конфигурация с уоблър (wrapper) с модел и уеб достъп. Ето защо един и същ модел може да дава различни резултати в различни продукти и защо може да работи по-добре в Perplexity, отколкото в по-опростено внедряване.

Въпроси, които изискват синтез

Някои въпроси са лесни справки. Други изискват моделът да свързва доказателства между източници.

Ние обучаваме на въпроси, които изискват моделът да свързва доказателства между източниците. За фактически въпроси използваме задачи, които принуждават модела да търси, разсъждава и проверява, вместо да скача към отговор от една очевидна следа. Много въпроси изискват свързване на информация от множество източници. Те изискват моделът да премине от едно доказателство към друго и да изгради отговора от тази верига.

Ние също така обучаваме в различни формати на отговори, така че моделът да остане точен, независимо дали потребителят иска параграф, списък, таблица или друга структура. Резултатът е по-добър синтез, състоящ се от отговори, които свързват доказателства между източниците, вместо само да извличат изолирани факти.

Задачите с отворен край се нуждаят от стандарти

Perplexity се използва за повече от фактически справки. Голяма част от работата е с отворен край, включително пренаписване, редактиране, обобщаване, обяснение и планиране.

Тези задачи нямат един точен верен отговор, но все пак се нуждаят от стандарти. За работа с отворен край използваме рубрики, които представляват структурирани проверки дали даден отговор действително е свършил работата. Следва ли инструкциите? Запази ли смисъла? Реши ли проблема на потребителя?

Това ни позволява да обучаваме задачи с отворен край с ясни стандарти, вместо да ги третираме като свободно писане.

Точността е преди предпочитанието

За фактически задачи отговорът трябва да е верен, преди да получи кредити за това, че е по-полезен или по-добре написан. За задачи с отвоrend край отговорът трябва да отговаря на рубриката, преди да влязат в сила други качества.

Това поддържа фокуса на системата върху съдържанието, а не върху стила. Това помага за предотвратяване на често срещан режим на повреда на отговори, които звучат по-добре, без всъщност да са по-добри. Ползата е по-малко полирани отговори, които се разпадат при проверка.

Ефективността допринася за качеството на отговорите

Ние също така обучаваме модела да използва търсенето с дисциплина.

Всяка допълнителна стъпка за търсене трябва да подобри отговора, а по-дългият отговор трябва да заслужава дължината си. Когато допълнителното търсене или допълнителните думи не помагат, системата трябва да спре.

Това дава отговори, които са по-лесни за използване, и запазва фокуса за модела, когато той работи през по-дълги вериги от действия, където малките грешки се трупат.

По-добрите отговори изискват постоянна работа

Качеството на търсенето идва от това как продуктът обучава модела да събира доказателства, да отговаря с дисциплина, да се справя с работа с отворен край и да спира, когато има достатъчна подкрепа.

Тъй като AI системите поeмат по-дълга и по-автономна работа, това обучение оформя качеството на отделните отговори и всичко, построено върху тях. Никога не сме твърдели, че Perplexity е 100% точен, но твърдим, че сме AI компанията, която се грижи за това най-много и работи по него неуморно. Насърчаваме всички потребители да предоставят отзиви за своите отговори от Perplexity, защото ние непрекъснато правим итерации и се подобряваме.