Як Perplexity впроваджує точність у передовий ШІ

Наша місія — розпалювати допитливість у тих, хто хоче знати більше та робити більше завдяки світовим знанням. Для цього нашим головним пріоритетом завжди було підвищення точності найкращих передових моделей штучного інтелекту в Perplexity.

Уперше ми ділимося однією з технологій, які лежать в основі цього процесу. Сьогодні наша дослідницька команда опублікувала технічне дослідження моделей LLM зі збагаченим пошуком.

Ми використовуємо десятки процесів для вдосконалення точності, і це рідкісна можливість зазирнути за лаштунки одного з них: пост-навчання передових моделей штучного інтелекту для досягнення максимальних результатів відповідно до стандартів точності продуктів Perplexity, таких як Search, Comet і Computer.

Ми тренуємо поведінку перед пошуком

Пошуковий рушій вимагає від базових моделей не просто генерації зв'язного тексту. Вони повинні знаходити докази, виконувати запити користувача, правильно використовувати інструменти та перетворювати цю роботу на чітку відповідь.

Для цього ми проводимо пост-навчання у два етапи. Спершу ми навчаємо модель поводитися всередині продукту, зокрема дотримуватися інструкцій, зберігати послідовність і належним чином використовувати інструменти. Потім ми тренуємо її на складніших пошукових завданнях, щоб вона краще знаходила докази, ефективно їх застосовувала та давала відповіді.

Цей поетапний підхід є однією з простих відмінностей між Perplexity та традиційним складанням у вигляді оболонки з доступом до моделі та веб-ресурсів. Саме тому та сама модель може давати різні результати в різних продуктах і чому вона працює в Perplexity краще, ніж у простішому розгортанні.

Запити, що вимагають синтезу

Деякі запити передбачають простий пошук. Інші вимагають від моделі поєднання доказів із різних джерел.

Ми тренуємо модель на запитах, які вимагають об'єднання доказів із багатьох джерел. Для фактичних запитів ми використовуємо завдання, що змушують модель шукати, міркувати та перевіряти, а не робити висновки на основі однієї очевидної підказки. Багато запитів вимагають поєднання інформації з кількох джерел. Вони вимагають від моделі переходу від одного доказу до іншого та побудови відповіді на основі цього ланцюжка.

Ми також тренуємо модель для роботи з різними форматами відповідей, щоб вона залишалася точною незалежно від того, що потрібно користувачу — абзац, список, таблиця чи інша структура. У результаті ми отримуємо якісніший синтез, який полягає у відповіддях, що поєднують докази з різних джерел, замість простого пошуку ізольованих фактів.

Відкриті завдання потребують стандартів

Perplexity використовується не лише для пошуку фактів. Значна частина роботи має відкритий характер, включно з переписуванням, редагуванням, створенням резюме, поясненням і плануванням.

Такі завдання не мають єдиної правильної відповіді, але вони все одно потребують стандартів. Для завдань із відкритим кінцем ми використовуємо критерії оцінювання — структуровані перевірки того, чи дійсно відповідь впоралася із завданням. Чи виконано інструкції? Чи збережено зміст? Чи вирішено проблему користувача?

Це дозволяє нам навчати модель виконувати відкриті завдання з чіткими стандартами, а не ставитися до них як до довільного написання текстів.

Точність передує вподобанням

Для фактичних завдань відповідь спочатку має бути правильною, і лише потім вона отримує перевагу за більшу корисність чи кращий стиль написання. Для завдань із відкритим кінцем відповідь має відповідати критеріям оцінювання, перш ніж вступатимуть у дію інші якості.

Це допомагає системі зосереджуватися на суті, а не на формі. Це дозволяє уникнути поширеної проблеми, коли відповіді звучать краще, але насправді такими не є. Нагородою за це є менша кількість відшліфованих відповідей, які розсипаються при ретельній перевірці.

Ефективність сприяє якості відповідей

Ми також навчаємо модель використовувати пошук дисципліновано.

Будь-який додатковий пошуковий крок повинен покращувати відповідь, а довший текст має бути виправданим. Якщо додатковий пошук чи зайві слова не допомагають, система повинна зупинитися.

Це дає відповіді, якими простіше користуватися, і допомагає моделі зберігати концентрацію, коли вона опрацьовує довші ланцюжки дій, де невеликі помилки накопичуються.

Покращення відповідей вимагає постійної праці

Якість пошуку залежить від того, як продукт тренує модель збирати докази, відповідати з дисципліною, обробляти завдання з відкритим кінцем і зупинятися, коли є достатньо підтримки.

Оскільки системи штучного інтелекту беруть на себе дедалі довші та автономніші завдання, це навчання визначає якість окремих відповідей і всього, що побудовано на їхній основі. Ми ніколи не стверджували, що Perplexity є точною на 100%, але ми заявляємо, що є компанією у сфері штучного інтелекту, яка піклується про це найбільше та невпинно над цим працює. Ми заохочуємо всіх користувачів залишати відгуки про свої відповіді в Perplexity, оскільки ми постійно вдосконалюємося та розвиваємося.