Развитие языковых моделей с расширенным поиском

Введение

Обучение передовых веб-агентов для поиска требует одновременной оптимизации нескольких целевых показателей: фактической точности, эффективности траекторий и соответствия предпочтениям пользователя. Однако улучшение любого отдельного параметра часто приводит к ухудшению других: модели, обученные исключительно на точность, склонны к избыточному использованию инструментов, в то время как модели, оптимизированные на краткость, могут жертвовать надежностью или полнотой. В Perplexity ни один из этих результатов неприемлем.

В данной статье описывается конвейер пост-тренировки Perplexity для разработки передовых веб-агентов для поиска на основе моделей с открытым исходным кодом. Ключевая идея заключается в том, что при обучении поисковых агентов курирование данных и проектирование системы вознаграждения должны быть взаимосвязаны: данные определяют, какие модели поведения являются наблюдаемыми и проверяемыми, а вознаграждение определяет, как эти сигналы преобразуются в сигнал оптимизации. Этот принцип лежит в основе нашего двухэтапного конвейера: сначала мы проводим разминочное обучение с учителем (SFT) для инициализации модели политики, а затем уточняем её с помощью обучения с подкреплением (RL) на основе курируемого набора данных и тщательно разработанных вознаграждений. Такой двухэтапный подход позволяет добиться стабильного повышения точности, эффективности и качества ответов в производственных условиях.

Сначала мы описываем наш двухэтапный конвейер обучения (SFT → on-policy RL), затем процесс формирования данных для обучения RL, охватывающий как верифицируемые QA-задачи для поисковых агентов, так и общие чат-диалоги на основе критериев. Далее мы представляем составную модель вознаграждения, полученную на основе этих гетерогенных данных, которая балансирует между качеством и эффективностью, одновременно предотвращая «взлом» системы вознаграждения. В заключение мы анализируем динамику обучения и результаты бенчмарков.

Двухэтапный конвейер обучения

Мы применяем двухэтапный метод пост-тренировки: (i) SFT для формирования критически важных для внедрения моделей поведения, таких как защитные механизмы (например, отказ от ответа), следование инструкциям и согласованность языка, и (ii) on-policy RL для улучшения поисковых возможностей, включая точность ответов и эффективность использования инструментов, с сохранением моделей поведения, достигнутых на первом этапе.

Почему два этапа? Одновременная оптимизация качества поиска и производственных ограничений в рамках одного этапа RL затруднительна без ущерба для хотя бы одной из целей. Эмпирически доказано, что только обучение RL повышает эффективность поиска, но часто не соответствует требованиям защитных механизмов, тогда как SFT улучшает соответствие требованиям, но ценой снижения эффективности поиска. Разделение этих целей позволяет на этапе SFT сначала выполнить обязательные требования, после чего RL может сосредоточиться преимущественно на улучшении поисковых возможностей.

Этап SFT

Мы используем модели семейства Qwen3 (Qwen3.5-122B-A10B и Qwen3.5-397B-A17B) (Yang et al., 2025, блог Qwen3.5) и формируем смешанный набор данных для SFT, состоящий из двух компонентов, который ориентирован на вышеупомянутые критически важные для внедрения модели поведения при сохранении общей способности базовой модели к поиску.

Примеры, ориентированные на предпочтения. Мы отбираем примеры, направленные на следование инструкциям и соблюдение стиля, учитывающие тональность, согласованность языка, ясность и форматирование. Эти примеры не обязательно требуют единственно верного ответа; скорее, они подбираются для отражения требований к контенту и обеспечения стилистической единообразности при различных типах запросов.

Траектории использования инструментов в производственном формате. Эмпирически мы установили, что SFT без тщательного курирования набора данных может существенно ухудшить поисковые возможности базовой модели. Чтобы смягчить это, мы проводим выборку запросов и внутренних задач по различным паттернам взаимодействия (одно-, двух- и многоходовым) и аннотируем их с помощью нашей системы вызова инструментов.

Этап RL

Начиная с контрольной точки SFT, мы применяем on-policy RL для улучшения точности и эффективности поиска. Мы оптимизируем модель политики с использованием метода Group Relative Policy Optimization (GRPO) (Shao et al., 2024).

где $G$ — размер группы, $o_{i}$ обозначает $i$-й сэмплированный вывод, а $\hat{A}_{i, t} = \hat{A}_{i}$ — преимущество. Проектирование вознаграждения подробно описано в соответствующем разделе; кратко говоря, мы сочетаем базовую правильность с вознаграждением, основанным на предпочтениях, и «привязанным» (anchored) формированием эффективности. Следуя предыдущим работам (Liu et al., 2025a; Yao et al., 2025; Zheng et al., 2025a), мы применяем Importance Sampling (IS) на уровне токенов для коррекции несоответствия между обучением и выводом:

Мы оцениваем несколько подходов для смягчения несоответствия между обучением и выводом, включая IS на уровне последовательностей (Zheng et al., 2025b), routing replay (Ma et al., 2025; Zheng et al., 2025b) и побитово-согласованное обучение, интегрирующее ядро движка вывода во время обучения (Команды vLLM и TorchTitan, 2025). Эмпирически, в наших условиях on-policy обучения, мы обнаружили, что IS на уровне токенов достаточно для предотвращения коллапса обучения, при этом оставаясь простым в реализации; это согласуется с выводами, представленными в Zheng et al (2025a).

Данные для обучения RL

Наши данные для обучения RL состоят из двух дополняющих друг друга компонентов: верифицируемые QA-задачи для поисковых агентов, нацеленные на общие способности к поиску, и общие чат-диалоги на основе критериев, которые явно закрепляют требования защитных механизмов для предотвращения регрессии во время этапа обучения RL.

Верифицируемые данные для поисковых агентов

Формирование набора данных. Следуя методу последовательного расширения (Tao et al., 2025), мы создаем внутренний синтетический набор данных QA на основе исходных запросов без использования курируемого графа знаний, что делает конвейер легким и удобным для обновления. Каждый синтетический пример генерируется с помощью следующих шагов:

1. Выбор исходных данных. Мы извлекаем документы для исходных запросов и выбираем сущности, подтвержденные фактами из нескольких источников, в качестве отправных точек, извлекая атомарные утверждения о них.
2. Построение многоходовой цепочки. Из утверждений исходной сущности мы выбираем одно, которое вводит вторую сущность (например, для исходной «The Mom Test» утверждение «написана Робом Фитцпатриком» вводит автора как следующую сущность). Мы повторяем этот процесс связывания 2–4 раза, гарантируя, что каждая сущность уникальна и что ни одно утверждение не раскрывает финальный ответ слишком просто
3. Синтез вопросов без использования имен. Мы преобразуем цепочку сущностей в вопрос, рекурсивно заменяя имена сущностей их связывающими утверждениями, создавая вложенный вопрос, требующий многоходового рассуждения
4. Верификация. Мы сохраняем только вопросы с уникальными ответами, верифицированными несколькими независимыми решателями с доступом в веб.

Пример (3-ходовый)

Рассмотрим исходный запрос «The Mom Test». Мы извлекаем документы и определяем эту книгу как исходную сущность, затем извлекаем атомарные фактические утверждения и итеративно строим цепочку сущностей: (i) The Mom Test была написана Робом Фитцпатриком, вводя Роба Фитцпатрика; (ii) первый стартап Роба Фитцпатрика прошел через Y Combinator (лето 2007), вводя Y Combinator; (iii) Y Combinator был запущен в марте 2005. Рекурсивная замена каждого имени сущности на его дескриптор дает вопрос без использования имен: «Какая книга была написана человеком, чей первый стартап прошел через акселератор, запущенный в марте 2005 года, в его наборе лета 2007 года?» с ответом «The Mom Test».

Увеличение разнообразия форматов. Модели, обученные исключительно на «сырых» синтетических QA, склонны игнорировать предпочтения в форматировании и использовать фиксированную структуру ответов, независимо от формулировки запроса. Чтобы улучшить разнообразие форматов, мы расширяем набор данных запросами, включающими явные инструкции по форматированию (например, «Покажи список . . . » или «Обобщи . . . в виде таблицы»), оставляя базовый ответ неизменным.

Публичные верифицируемые QA (базовый уровень). Мы формируем базовый набор верифицируемых QA-данных из пяти открытых наборов (Lu et al., 2025; Pham et al., 2025; Press et al., 2023; Tao et al., 2025; Wu et al., 2025), унифицированных в рамках нашего расширенного формата промптов с фильтрацией качества. Эта смесь служит первичным базовым уровнем в наших экспериментах по валидации. Для контролируемых сравнений мы сопоставляем масштаб нашего внутреннего синтетического набора данных QA с этой смесью открытых данных.

Быстрая валидация. Мы подтверждаем эффективность этого конвейера с использованием Qwen3-30B-A3B-Instruct-2507 для обеспечения быстрого итерационного процесса; результаты суммированы в Таблице 1.

Развернуть

Чат-данные на основе критериев

Хотя верифицируемые QA предоставляют чистый сигнал обучения для поисковых запросов, значительная часть производственного трафика не является однозначно верифицируемой (например, перефразирование, планирование и открытая помощь). Исключение таких запросов из RL привело бы к тому, что модель политики была бы недостаточно оптимизирована для реальных взаимодействий с пользователями. Более того, хотя этап SFT устанавливает критически важные защитные механизмы, RL может регрессировать в них, если они явно не подкрепляются данными.

Мы внедряем неверифицируемые запросы в обучение RL путем преобразования критически важных для внедрения требований — следование инструкциям, ограничения форматирования и правила безопасности — в критерии: атомарные, объективно проверяемые условия, которым должен соответствовать ответ. Мы применяем метод построения данных на основе критериев (Gunjal et al., 2025; Liu et al., 2025b), генерируя наборы критериев для каждого запроса.

Генерация критериев. Учитывая полную историю диалога, мы предлагаем LLM сгенерировать эталонный ответ и соответствующий набор критериев. Критерии выводятся в фиксированном порядке приоритетности: требования, явно заявленные пользователем, имеют приоритет, за ними следуют внутренние ограничения и, наконец, необходимые требования к контенту, выведенные из эталонного ответа. Каждый критерий должен быть:

• Атомарным: одна, четко определенная проверка;
• Объективным: проверяемым без субъективного суждения;
• Необходимым: требуемым для ответа на запрос, а не просто стилистическим предпочтением.

Пример

Запрос.

Она поделится u man power planning. Мы должны организовать жилье & питание. Пожалуйста, исправьте предложение.

Критерии.

• Ответ написан на английском языке.
• Исправленная формулировка содержит слова "lodging" и "boarding".
• Исправленная формулировка использует "manpower" как одно слово (например, "manpower plan" или "manpower planning") вместо "man power".
• Исправленная формулировка не содержит неформальных сокращений "u" или "Plz", а также символа амперсанда "&".
• Ответ не содержит маркеров цитирования вида \\[type:idx\\], где type обозначает источник данных (например, web, chart, memory, attached_file).

Калибровка критериев. Чтобы избежать излишне строгих или чрезмерно мягких наборов критериев, мы применяем фильтр pass@4. Для каждого запроса мы сэмплируем четыре независимых ответа и оцениваем их по полному набору критериев с помощью судьи, следующего инструкциям. Мы отбрасываем запросы, для которых ни один ответ не удовлетворяет набору критериев или, наоборот, удовлетворяют все, сохраняя только те, которые дают информативный сигнал для обучения.

Смесь промптов и балансировка дисперсии

Практической проблемой в многоцелевом RL является дисбаланс дисперсии между компонентами данных (Duchi and Namkoong, 2016; Liu et al., 2026; Qi et al., 2026). Хотя как верифицируемые QA, так и данные на основе критериев дают бинарные вознаграждения, они существенно различаются по сложности задачи: выполнение критериев, как правило, легче достичь на ранних этапах обучения, что приводит к более крупным и частым градиентным обновлениям, которые могут непропорционально доминировать в оптимизации политики относительно более сложного сигнала верифицируемых QA. Чтобы решить эту проблему, мы перевзвешиваем смесь промптов на уровне набора данных, сэмплируя 90% из верифицируемых QA и 10% из данных на основе критериев, чтобы сбалансировать сигнал оптимизации между компонентами.

Проектирование вознаграждения

Наш подход к проектированию вознаграждения напрямую следует из описанного выше процесса построения данных. Несмотря на охват как верифицируемых QA, так и задач с критериями, все данные для обучения имеют общую базовую структуру вознаграждения: результат (rollout) получает кредиты, если он содержит правильный ответ для задач QA или удовлетворяет всем указанным критериям для общих чат-диалогов. Опираясь на этот общий фундамент, мы конструируем составное вознаграждение, чтобы включить оценку, основанную на предпочтениях, и формирование эффективности.

Ключевой проблемой, наблюдаемой в ранних экспериментах, был «взлом» вознаграждения: простая линейная комбинация вознаграждений позволяла сильным сигналам предпочтений компенсировать фактические или инструктивные ошибки. Поэтому мы принимаем стробированную агрегацию (gated aggregation) в качестве основного принципа проектирования, формально определяемую как:

где $r_{\mathrm{base}}(\tau_i) \in \{0, 1\}$ обозначает правильность QA или удовлетворение критериям, $s(\tau_i)\in[0,1]$ — оценка предпочтений, а $\operatorname{pen}_{\mathrm{eff}}(\tau_i)$ — «привязанный» штраф за эффективность. Это делает правильность необходимым условием для получения кредитов за предпочтения, при этом препятствуя ненужному использованию инструментов и многословности. Рисунок 1 иллюстрирует полный конвейер вознаграждения, компоненты которого мы описываем ниже:

Развернуть

Базовое вознаграждение

Мы определяем бинарный базовый сигнал $r_{\mathrm{base}}(\tau_i) \in \{0,1\}$, который фиксирует правильность выполнения задачи или соблюдение инструкций. Для верифицируемых данных поисковых агентов $r_{\mathrm{base}}(\tau_i)=1$, если финальный ответ совпадает с истиной, и $0$ в противном случае. Для данных общих чат-диалогов на основе критериев $r_{\mathrm{base}}(\tau_i)=1$, если все критерии удовлетворены, и $0$ в противном случае. Этот базовый уровень служит жестким стробом в правиле условной агрегации (Eq. 2).

Моделирование предпочтений

Наша цель — привести модель политики в соответствие с латентными предпочтениями пользователей относительно качества ответов (информативность, ясность и профессиональный тон), которые трудно уловить с помощью промптов для LLM-судьи. Поэтому мы обучаем модель вознаграждения на основе предпочтений для прямой оценки этих атрибутов.

Мы формулируем обучение предпочтениям в рамках структуры Брэдли-Терри. Учитывая контекст $x$ и два ответа-кандидата $y_a, y_b$, модель выдает скалярные оценки $s_{\theta}(x, y) \in \mathbb{R}$ и минимизирует,

где $r \in \{0, 1\}$ указывает, предпочтителен ли $y_a$. Чтобы устранить позиционное смещение, каждая обучающая пара дополняется обоими порядками и оптимизируется симметрично,

Во время вывода мы получаем позиционно-независимую оценку предпочтений путем усреднения обоих вариантов перестановок:

Оценка предпочтений для результата определяется как $s(\tau_i) \triangleq \bar{P}_{\theta}(x, y_a, y_b) \in [0,1]$, т.е. вероятность того, что результат модели политики $y_i$ предпочтительнее, чем результат эталонной модели для того же промпта.

Данные для обучения моделированию предпочтений берутся из курируемых наборов данных с открытым исходным кодом, отзывов пользователей «бок о бок» и внутренних аннотаций. Чтобы справиться с шумом в разметке, мы применяем легкий конвейер фильтрации и калибровки, вдохновленный Datbench (DatologyAI, 2026), сохраняя только примеры с согласованным мнением разных моделей. Модель вознаграждения использует ту же основу, что и модель политики, при этом голова языкового моделирования заменена на голову оценки (value head). Хотя меньшие модели вознаграждения достигают сопоставимой точности на отложенных данных, эмпирически мы обнаружили, что они не способны уловить тонкие предпочтения и могут закреплять нежелательное поведение модели политики.

Штраф за эффективность

В отсутствие явного формирования эффективности модель политики склонна к чрезмерному использованию инструментов даже в простых запросах. Безусловные штрафы (например, масштабируемые линейно с количеством вызовов инструментов или длиной вывода) являются естественной базой, но мы обнаружили, что они подавляют необходимое исследование и ухудшают обучение. Поэтому мы принимаем групповые относительные «привязанные» штрафы, которые регуляризуют использование инструментов и длину ответа относительно эффективных решений внутри каждой группы GRPO. Для группы г мы определяем набор победителей как:

Привязанный штраф за вызов инструментов. Для каждого результата $\tau_i$, пусть $c_i$ обозначает количество вызовов инструментов, а $e_i$ — количество неудачных вызовов. Мы определяем эффективное количество вызовов $\tilde{c}_i = c_i - e_i$ и равномерно сэмплируем базовый уровень группы:

Мы вычисляем избыток $\Delta_i = \max\!\left(0,\; \tilde{c}_i - b_g\right)$ и определяем гладкий скаляр штрафа $p_i = 1 - \exp\!\left(-\Delta_i\right)$. Штраф за инструменты тогда равен:

Привязанный штраф за длину. Пусть $L_i$ и $L_i^{\mathrm{ref}}$ обозначают длину токенов генерации кандидата и эталонной модели соответственно. Мы определяем множество формирования $\widehat{W}_g$ как результаты, которые являются одновременно правильными и предпочтительными:

Затем мы вычисляем групповые базовые показатели длины:

Штраф за длину определяется как:

где первая строка — это жесткое ограничение; вторая штрафует многословных победителей; а третья штрафует кратких проигравших.

Комбинированный штраф за эффективность. Комбинированный штраф за эффективность представляет собой взвешенную сумму обоих компонентов:

Основные результаты

Мы оцениваем наш конвейер пост-тренировки по двум осям: (i) динамика обучения, для оценки стабильности оптимизации и того, ведут ли себя сигналы вознаграждения должным образом, и (ii) автономные бенчмарки, для измерения последующего качества, безопасности и эффективности в контролируемых условиях оценки.

Настройки обучения по умолчанию. Модель политики взаимодействует с инструментом веб-поиска (search_web); каждый вызов инструмента извлекает до 10 результатов, при этом запросы ограничены 250 символами, а количество запросов на один результат не превышает 5.

Динамика обучения

Мы исследуем динамику оптимизации, фокусируясь на прогрессе вознаграждения и эффективности. Мы используем Qwen3.5-397B-A11B для простоты иллюстрации.

Развернуть

Рисунок 2 показывает устойчивое улучшение базового вознаграждения (верифицируемые QA и выполнение критериев) наряду с ростом оценок предпочтений, что указывает на стабильный прирост точности, соблюдения требований и качества ответов.

Развернуть

Рисунок 3 демонстрирует, что частота вызовов инструментов и длина генерации остаются под контролем на протяжении всего обучения. Примечательно, что штрафы за вызов инструментов и длину монотонно уменьшаются по ходу обучения, что отражает прогрессивную адаптацию модели к более лаконичной генерации и более избирательному вызову инструментов.

Развернуть

Рисунок 4 показывает, что нормы градиентов остаются стабильными, за исключением кратковременных скачков, в то время как расхождение KL между обучением и выводом демонстрирует умеренный восходящий тренд, оставаясь в пределах масштаба 1e-3. Этот паттерн дрейфа согласуется с наблюдениями в других RL-фреймворках; поскольку обучение остается стабильным, мы сохраняем простую регуляризацию IS в Eq. 1 без дополнительного вмешательства.

Автономная оценка

Мы представляем результаты по набору бенчмарков, охватывающих точность поиска, фактическую надежность, следование инструкциям и безопасность, включающих как публичные бенчмарки, так и внутренние метрики Perplexity (PPLX). Публичные бенчмарки включают SimpleQA, FRAMES и Facts Open.

• pplx-sbs-search: Оценка предпочтений «бок о бок» с использованием внутренней модели вознаграждения. Кандидаты сравниваются с сильным базовым уровнем.
• pplx-abstention: Способность правильно отказаться от ответа при отсутствии надежных доказательств.
• pplx-language-mismatch: Согласованность языка в условиях «длинного хвоста» и многоходовых диалогов.
• pplx-broken-tool-calls (↓): Соблюдение схемы вызова инструментов и следование ограничениям, например, tool_choice=none.

Настройки оценки по умолчанию. Для публичных бенчмарков мы разрешаем только инструмент веб-поиска с бюджетом до 5 вызовов инструментов на пример и до 10 результатов на вызов, генерируя до 8192 токенов вывода при температуре 0.6.

Развернуть

Таблица 2 показывает, что Qwen3.5-Large-SFT-RL достигает высокой точности поиска по публичным бенчмаркам, соответствуя или превосходя gpt-5.4 в FRAMES и Facts Open при использовании сопоставимых бюджетов на инструменты. По сравнению с базовой моделью, наш подход дает значительный прирост внутренних метрик, особенно в предпочтениях (pplx-sbs-search: 0.602 → 0.742), согласованности языка и способности к отказу, демонстрируя, что двухэтапный конвейер эффективно улучшает критически важные модели поведения без ущерба для поисковых возможностей.

Оценка эффективности использования инструментов

Для измерения этого мы разработали бюджетно-ориентированный протокол оценки. Каждой модели предоставляется доступ к инструменту веб-поиска (search_web) и системному промпту, определяющему жесткий предел (бюджет) количества разрешенных вызовов инструментов. Мы варьируем этот бюджет от 0 (отсутствие использования инструментов, чистые параметрические знания) до 10 (масштабный многошаговый поиск), записывая точность на каждом уровне. Это создает кривую эффективности инструментов: показатель модели как функция бюджета поиска, который ей разрешен. Мы проводим оценку по двум бенчмаркам фактических QA, FRAMES и Facts Open.

Развернуть

Из этих двух бенчмарков выделяются несколько закономерностей:

• Наша пост-тренированная Qwen3.5-397B-SFT-RL достигает наилучшей точности поиска на обоих бенчмарках. Даже с одним вызовом инструмента она набирает 57.3% в FRAMES, что на 5.7 пункта выше GPT-5.4 и на 4.7 пункта выше Sonnet 4.6.
  • Преимущество наиболее выражено при умеренных бюджетах (b=2-7), что является практическим диапазоном работы для производственных внедрений.
• Наш рецепт пост-тренировки (SFT + RL) существенно улучшает эффективность использования инструментов по сравнению с базовой контрольной точкой; см. сплошные линии (пост-тренированные) против пунктирных линий (начальная контрольная точка) на Рисунке 5.
• Для всех моделей мы наблюдаем убывающую отдачу около бюджет=7, что согласуется с результатами двух бенчмарков и всех моделей, предполагая, что это свойство самих задач поиска фактов, а не моделей.

Приведенные выше результаты показывают, что Qwen3.5-397B-SFT-RL достигает более высокой точности при меньшем количестве вызовов инструментов. Но как это переводится в реальную стоимость? Мы преобразуем измерения на уровне токенов в долларовые затраты, используя опубликованные цены API (Alibaba DashScope, OpenAI, Anthropic), чтобы сделать сравнение конкретным.

Развернуть

При среднем профиле (b=4) Qwen3.5-397B-SFT-RL набирает 73.9% в FRAMES при стоимости 2.0 цента за запрос, тогда как GPT-5.4 набирает 67.8% при 8.5 центах, а Sonnet 4.6 набирает 62.4% при 15.3 центах. Это +6 пунктов точности при в 4 раза меньшей стоимости по сравнению с GPT-5.4 и +11.5 пунктов при в 7.5 раз меньшей стоимости по сравнению с Sonnet 4.6.

Эти оценки используют прейскурантные цены API без кэширования. С учетом внутренних оптимизаций вывода, таких как повторное использование KV-кэша, кэширование префикса и квантованное обслуживание MoE (397B использует только 17B активных параметров), эффективная стоимость может быть снижена значительно ниже цен прейскуранта API.

Заключение

Разделение соблюдения производственных требований и оптимизации поиска с помощью двухэтапного конвейера SFT и RL позволяет получить модель, которая является одновременно эффективной и надежной в условиях производственных ограничений. Сочетание верифицируемых QA и данных для обучения на основе критериев, вместе со стробированной агрегацией вознаграждения и «привязанным» формированием эффективности, позволяет добиться стабильной многоцелевой оптимизации без ущерба для точности поиска или соблюдения защитных механизмов.

Несколько направлений заслуживают дальнейшего изучения. Как видно на Рисунке 4, расхождение KL между обучением и выводом демонстрирует устойчивый восходящий дрейф на поздних этапах обучения. Хотя коррекция IS на уровне токенов оказывается достаточной в наших текущих условиях, остается неясным, сохранится ли это при большем масштабе; более принципиальная теоретическая проработка этого несоответствия — охватывающая расхождения на уровне инфраструктуры и архитектурно-специфические факторы, такие как маршрутизация MoE — наряду с количественными эмпирическими сравнениями стратегий смягчения, остается важным открытым вопросом. Что касается собственно многоцелевого RL, перспективные направления включают последовательное обучение (Zeng et al., 2026) с on-policy дистилляцией для оптимизации целей поэтапно при одновременном смягчении катастрофического забывания; и слияние моделей (Fu et al., 2025; Yang et al., 2026) для отделения оптимизации конкретных задач от накопления возможностей. Наконец, масштабирование до реалистичных рабочих процессов с использованием множества инструментов и длинными траекториями остается важной открытой задачей, вероятно, требующей лучшего распределения кредитов, поддержки частичных результатов и оценок.

Список литературы

DatologyAI. Datbench: Дискриминативные, точные и эффективные оценки визуально-языковых моделей. https://www.datologyai.com/blog/datbench-discriminative-faithful-and-efficient-vision-language-model-evaluations, янв. 2026. Опубликовано 6 янв. 2026. Доступ: 2026-03-04.

Дж. Дучи и Х. Намкунг. Регуляризация на основе дисперсии с выпуклыми целями. Препринт arXiv:1610.02581, 2016.

З. Фу, К. Ву, Ю. Ван, В. Ван, С. Йе, Х. Йин, Ю. Чанг, Ю. Чжэн и Х. Чжао. Слияние LLM без обучения для многозадачного обучения. В Трудах 63-й ежегодной встречи Ассоциации вычислительной лингвистики (Том 1: Длинные статьи), стр. 33111–33124, 2025.

А. Гунджал, А. Ван, Э. Лау, В. Нат, Ю. Хе, Б. Лю и С. Хендрикс. Критерии как вознаграждения: Обучение с подкреплением вне верифицируемых доменов. Препринт arXiv:2507.17746, 2025.

Дж. Лю, Ю. Ли, Ю. Фу, Дж. Ван, К. Лю и Ю. Шен. Когда скорость убивает стабильность: Демистификация коллапса RL из-за несоответствия обучения и вывода. Блог Notion, 2025a.

С.-Й. Лю, Х. Донг, Х. Лу, С. Дяо, П. Белчак, М. Лю, М.-Х. Чен, Х. Йин, Ю.-К. Ф. Ван, К.-Т. Ченг и др. Gdpo: Оптимизация политики нормализации с развязанным групповым вознаграждением для многоцелевого RL. Препринт arXiv:2601.05242, 2026.

Т. Лю, Р. Сюй, Т. Ю, И. Хонг, К. Ян, Т. Чжао и Х. Ван. Openrubrics: К масштабируемой генерации синтетических критериев для моделирования вознаграждения и выравнивания LLM. Препринт arXiv:2510.07743, 2025b.

Р. Лу, З. Хоу, З. Ван, Х. Чжан, К. Лю, Ю. Ли, С. Фэн, Дж. Тан и Ю. Донг. Deepdive: Продвижение глубоких поисковых агентов с помощью графов знаний и многоходового RL. Препринт arXiv:2509.10446, 2025.

В. Ма, Х. Чжан, Л. Чжао, Ю. Сонг, Ю. Ван, З. Суй и Ф. Ло. Стабилизация обучения с подкреплением MoE путем выравнивания роутеров обучения и вывода. Препринт arXiv:2510.11370, 2025.

Т. Фам, Н. Нгуен, П. Зунджаре, В. Чен, Ю.-М. Ценг и Т. Ву. Sealqa: Поднятие планки для рассуждений в языковых моделях с расширенным поиском. Препринт arXiv:2506.01062, 2025.

О. Пресс, М. Чжан, С. Мин, Л. Шмидт, Н. А. Смит и М. Льюис. Измерение и сужение разрыва композиционности в языковых моделях. В Итогах Ассоциации вычислительной лингвистики: EMNLP 2023, стр. 5687–5711, 2023.

П. Ци, Х. Чжоу, З. Лю, Т. Панг, К. Ду, М. Лин и В. С. Ли. Переосмысление области доверия в обучении с подкреплением LLM. Препринт arXiv:2602.04879, 2026.

З. Шао, П. Ван, К. Чжу, Р. Сюй, Дж. Сонг, Х. Би, Х. Чжан, М. Чжан, Ю. Ли, Ю. Ву и др. Deepseekmath: Расширение границ математических рассуждений в открытых языковых моделях. Препринт arXiv:2402.03300, 2024.

З. Тао, Дж. Ву, В. Инь, Дж. Чжан, Б. Ли, Х. Шен, К. Ли, Л. Чжан, К. Ван, Ю. Цзян и др. Webshaper: Агентная синтезация данных через формализацию поиска информации. Препринт arXiv:2507.15061, 2025.

Команды vLLM и TorchTitan. Больше никаких несоответствий обучения и вывода: Побитово-согласованное обучение с подкреплением on-policy с помощью vLLM и TorchTitan. https://blog.vllm.ai /2025/11/10/bitwise-consistent-train-inference.html, нояб. 2025. Блог vLLM.

Дж. Ву, В. Инь, Ю. Цзян, З. Ван, З. Си, Р. Фанг, Д. Чжоу, П. Се и Ф. Хуанг. Webwalker: Бенчмаркинг LLM в веб-навигации, 2025. URL https://arxiv.org/abs/ 2501.07572.

А. Янг, А. Ли, Б. Янг, Б. Чжан, Б. Хуэй, Б. Чжэн, Б. Ю, К. Гао, К. Хуанг, К. Лв и др. Технический отчет Qwen3. Препринт arXiv:2505.09388, 2025.

Э. Янг, Л. Шен, Г. Гуо, К. Ван, К. Цао, Дж. Чжан и Д. Тао. Слияние моделей в LLM, MLLM и за их пределами: Методы, теории, приложения и возможности. Обзоры ACM Computing, 58(8):1–41, 2026.

Ф. Яо, Л. Лю, Д. Чжан, К. Донг, Дж. Шанг и Дж. Гао. Ваш эффективный RL-фреймворк тайно приносит вам off-policy обучение RL, авг. 2025. URL https://fengyao.notion.s ite/off-policy-rl.

А. Зенг, К. Лв, З. Хоу, З. Ду, К. Чжэн, Б. Чен, Д. Йин, К. Ге, К. Се, К. Ван и др. Glm-5: от vibe-кодинга до агентной инженерии. Препринт arXiv:2602.15763, 2026.

К. Чжэн, К. Данг, Б. Ю, М. Ли, Х. Цзян, Дж. Лин, Ю. Лю, Х. Лин, К. Ву, Ф. Ху и др. Стабилизация обучения с подкреплением с LLM: Формулировка и практики. Препринт arXiv:2512.01374, 2025a.

К. Чжэн, С. Лю, М. Ли, К.-Х. Чен, Б. Ю, К. Гао, К. Данг, Ю. Лю, Р. Мен, А. Янг и др. Оптимизация групповой последовательной политики. Препринт arXiv:2507.18071, 2025b.

Цитирование

@online{perplexity2026AdvancingSearchAugmentedLanguageModels,
  author = {{Perplexity} and Denis Yarats and Dongqi Wu and Hang Wu and Randy Ardywibowo and Senzeyu Zhang and Yunfan Zhong and Ziqing Hu and Clare Southern and Riley Carlson and Yi He and Erin McKnight and Mara Sohn and Phi Hoang},
  title = {{Advancing search-augmented language models}},
  date = {2026-04-22},
  url = {https://perplexity.coolkeypoint.com/hub/blog/advancing-search-augmented-language-models}
}