검색 증강 언어 모델의 발전

최첨단 웹 검색 에이전트를 학습시키려면 사실적 정확성, 궤적 효율성, 사용자 선호도 정렬이라는 다중 목표를 공동으로 최적화해야 합니다. 그러나 단일 차원만을 개선하려 하면 다른 차원이 저하되는 경우가 많습니다. 정확성만을 위해 학습된 모델은 도구를 과도하게 사용하는 경향이 있고, 간결함을 위해 최적화된 모델은 신뢰성이나 완성도를 희생할 수 있습니다. Perplexity에서는 이러한 결과를 모두 수용할 수 없습니다.

이 글에서는 오픈 소스 모델을 기반으로 최첨단 웹 검색 에이전트를 개발하기 위한 Perplexity의 포스트 트레이닝 파이프라인을 설명합니다. 핵심 아이디어는 검색 에이전트 학습에 있어 데이터 큐레이션과 보상 설계가 함께 고려되어야 한다는 점입니다. 데이터는 어떤 행동이 관찰 가능하고 검증 가능한지를 결정하며, 보상은 이러한 신호가 어떻게 최적화 신호로 변환되는지를 결정합니다. 이 원칙에 따라 당사는 2단계 파이프라인을 구축했습니다. 먼저 지도 미세 조정(SFT) 웜업을 통해 정책 모델을 초기화한 다음, 큐레이션된 데이터셋과 정교하게 설계된 보상을 사용하여 강화 학습(RL)으로 정책 모델을 개선합니다. 이러한 2단계 접근 방식을 통해 프로덕션 환경 제약 조건 내에서 정확성, 효율성 및 응답 품질의 신뢰할 수 있는 개선을 실현합니다.

먼저 2단계 학습 파이프라인(SFT → 온폴리시 RL)을 설명하고, 검증 가능한 검색 에이전트 QA와 루브릭 기반 일반 채팅을 모두 포함하는 RL 학습 데이터 구축 과정을 다룹니다. 이후, 이 이기종 데이터 환경에서 도출된 복합 보상 설계를 제시하여 보상 해킹을 완화하면서 품질과 효율성의 균형을 맞춥니다. 마지막으로 학습 역학 및 벤치마크 결과를 분석합니다.

당사는 2단계 포스트 트레이닝 방식을 채택합니다. (i) 가드레일(예: 응답 거부), 지시 이행, 언어 일관성과 같은 배포에 중요한 행동을 확립하기 위한 SFT 단계, (ii) 1단계의 행동을 유지하면서 답변 정확성 및 도구 사용 효율성을 포함한 검색 성능을 향상하기 위한 온폴리시 RL 단계입니다.

왜 두 단계인가? 단일 RL 단계 내에서 검색 품질과 배포 제약 조건을 공동으로 최적화하는 것은 최소한 한 가지 목표를 희생하지 않고는 어렵습니다. 경험적으로 RL 전용 학습은 검색 성능을 향상하지만 배포 가드레일 측면에서는 성능이 떨어지는 경향이 있으며, SFT는 검색 성능을 희생하면서 준수성을 향상합니다. 목표를 분리함으로써 SFT 단계에서 필수 요구 사항을 먼저 해결하고, 이후 RL은 주로 검색 성능 향상에 집중할 수 있습니다.

당사는 Qwen3 모델 제품군(Qwen3.5-122B-A10B 및 Qwen3.5-397B-A17B)(Yang et al., 2025, Qwen3.5 블로그 게시물)에서 초기화하고, 베이스 모델의 일반적인 검색 성능을 유지하면서 위에서 설명한 배포 필수 행동을 목표로 하는 2성분 SFT 혼합 데이터셋을 구성합니다.

선호도 중심 예제. 어조, 언어 일관성, 명확성 및 서식 지정에 중점을 둔 지시 이행 및 스타일 중심 예제를 큐레이션합니다. 이러한 예제가 반드시 유일한 정답을 가질 필요는 없으며, 제품 작성 요구 사항을 반영하고 다양한 쿼리 유형 전반에서 문체적 일관성을 보장하도록 선택됩니다.

프로덕션 형식의 도구 사용 궤적. 경험적으로 데이터셋 큐레이션 없이 SFT를 진행하면 베이스 모델의 검색 성능이 크게 저하될 수 있음을 발견했습니다. 이를 완화하기 위해 다양한 상호작용 패턴(단일, 이중, 다중 턴) 전반에서 쿼리 및 내부 작업을 샘플링하고 도구 호출 하네스를 사용하여 주석을 달았습니다.

SFT 체크포인트에서 시작하여 온폴리시 RL을 적용해 검색 정확성과 효율성을 개선합니다. Group Relative Policy Optimization(GRPO)(Shao et al., 2024)을 사용하여 정책 모델을 최적화합니다.

\mathcal{J}_{\text{GRPO}}(\theta) = \frac{1}{G}\sum_{i=1}^{G} \frac{1}{|o_i|}\sum_{t=1}^{|o_i|} r_{i,t}(\theta)\hat{A}_{i,t},

$G$ 는 그룹의 크기이고, $o_{i}$ 는 $i$ 번째 샘플링된 출력을 나타내며, $\hat{A}_{i, t} = \hat{A}_{i}$ 는 어드밴티지입니다. 보상 설계는 보상 설계 섹션에서 자세히 설명하며, 간단히 말해 기준 정답성과 선호 기반 및 앵커링된 효율성 셰이핑을 결합합니다. 선행 연구(Liu et al., 2025a; Yao et al., 2025; Zheng et al., 2025a)를 따라, 학습-추론 불일치를 보정하기 위해 토큰 수준 중요도 샘플링(IS)을 적용합니다:

r_{i,t}(\theta) = \frac{\pi_{\text{train}}(\theta)}{\mu_{\text{infer}}(\theta)}.

당사는 시퀀스 수준 IS(Zheng et al., 2025b), 라우팅 리플레이(Ma et al., 2025; Zheng et al., 2025b), 학습 중 추론 엔진의 커널을 통합하는 비트 단위 일관된 학습(vLLM and TorchTitan Teams, 2025)을 포함하여 학습-추론 불일치를 완화하기 위한 여러 접근 방식을 평가합니다. 온폴리시 환경에서 경험적으로 토큰 수준의 IS가 구현이 간단하면서도 학습 붕괴를 방지하기에 충분함을 확인했습니다. 이는 Zheng et al (2025a)의 연구 결과와 일치합니다.

당사의 RL 학습 데이터는 두 가지 보완적인 구성 요소로 이루어져 있습니다. 일반적인 검색 성능을 목표로 하는 검증 가능한 검색 에이전트 QA와 RL 학습 단계 중 회귀를 방지하기 위해 배포 가드레일을 명시적으로 강화하는 루브릭 기반 일반 채팅입니다.

데이터셋 구축. 순차적 확장 방법(Tao et al., 2025)에 따라 큐레이션된 지식 그래프에 의존하지 않고 내부 시드 쿼리로부터 사내 합성 QA 데이터셋을 구축하여 파이프라인을 가볍고 쉽게 업데이트할 수 있도록 유지합니다. 각 합성 예제는 다음 단계를 통해 생성됩니다.

시드 선택. 시드 쿼리에 대한 문서를 검색하고 다중 소스 사실 확인을 거친 엔티티를 시작점으로 선택하여 이에 대한 원자적 문장을 추출합니다.
다중 홉 체인 구축. 시드 엔티티의 문장에서 두 번째 엔티티를 도입하는 문장을 선택합니다(예: 시드 "The Mom Test"의 경우, "written by Rob Fitzpatrick"이라는 문장은 저자를 다음 엔티티로 도입함). 이 연결 과정을 2~4회 반복하여 각 엔티티가 구별되도록 하고 단일 문장이 최종 답변을 쉽게 드러내지 않도록 합니다.
이름 없는 질문 합성. 엔티티 체인을 재귀적으로 엔티티 이름으로 바꾸어 연결 문장으로 대체함으로써 다중 홉 추론을 요구하는 중첩된 질문을 생성합니다.
검증. 독립적인 웹 기반 솔버 여러 개에 의해 검증된 고유한 답이 있는 질문만 유지합니다.

시드 쿼리 "The Mom Test"를 고려하십시오. 문서를 검색하여 이 책을 시드 엔티티로 식별한 다음, 원자적 사실 문장을 추출하고 반복적으로 엔티티 체인을 구축합니다: (i) The Mom Test는 Rob Fitzpatrick이 썼으며 Rob Fitzpatrick을 도입함; (ii) Rob Fitzpatrick의 첫 번째 스타트업은 Y Combinator(2007년 여름)를 거쳤으며 Y Combinator를 도입함; (iii) Y Combinator는 2005년 3월에 출시됨. 각 엔티티 이름을 기술어로 재귀적으로 바꾸면 이름 없는 질문이 생성됩니다: "2005년 3월에 출시된 액셀러레이터의 2007년 여름 코스를 거친 첫 번째 스타트업의 창업자가 쓴 책은 무엇인가?" 답변은 "The Mom Test"입니다.

형식 다양성 증강. 원시 합성 QA로만 학습된 모델은 쿼리 방식에 관계없이 고정된 응답 구조를 기본으로 사용하여 서식 지정 기본 설정을 무시하는 경향이 있습니다. 형식 다양성을 개선하기 위해 답변 자체는 변경하지 않으면서 명시적인 서식 지침(예: "... 목록을 보여줘" 또는 "... 요약해 줘")을 포함하는 쿼리로 데이터셋을 증강합니다.

공개 검증 가능 QA(베이스라인). 5개의 오픈 소스 데이터셋(Lu et al., 2025; Pham et al., 2025; Press et al., 2023; Tao et al., 2025; Wu et al., 2025)에서 베이스라인 검증 가능 QA 데이터셋을 구축하고, 품질 필터링과 함께 증강된 프롬프트 형식으로 통합합니다. 이 혼합물은 검증 실험에서 주요 베이스라인 역할을 합니다. 제어된 비교를 위해 사내 합성 QA 데이터셋의 규모를 이 오픈 소스 혼합물과 일치시킵니다.

신속한 검증. 빠른 반복을 위해 Qwen3-30B-A3B-Instruct-2507를 사용하여 이 파이프라인의 효과를 검증합니다. 결과는 표 1에 요약되어 있습니다.

검증 가능한 QA는 검색 중심 쿼리에 대해 깔끔한 학습 신호를 제공하지만, 프로덕션 트래픽의 상당 부분은 고유하게 검증할 수 없는 쿼리(예: 재작성, 계획 및 개방형 지원)입니다. 이러한 쿼리를 RL에서 제외하면 실제 사용자 상호작용에 대해 정책이 과소 최적화된 상태로 남게 됩니다. 또한 SFT 단계에서 배포 필수 가드레일을 확립하더라도 데이터로 명시적으로 강화하지 않으면 RL에서 회귀가 발생할 수 있습니다.

당사는 배포 필수 요구 사항인 지시 이행, 서식 제약 조건 및 안전 규칙을 루브릭(응답이 충족해야 하는 원자적이고 객관적으로 확인 가능한 기준)으로 변환하여 RL 학습에 검증 불가능한 쿼리를 통합합니다. 당사는 루브릭 기반 데이터 구축(Gunjal et al., 2025; Liu et al., 2025b)을 채택하여 쿼리당 루브릭 세트를 생성합니다.

루브릭 생성. 전체 대화 기록을 기반으로 LLM에 참조 응답과 해당 루브릭 세트를 생성하도록 프롬프트를 보냅니다. 루브릭은 고정된 우선순위 순서에 따라 도출됩니다. 사용자가 명시한 요구 사항이 최우선이며, 그 다음은 내부 제약 조건, 마지막으로 참조 응답에서 추론된 필수 콘텐츠 요구 사항입니다. 각 루브릭은 다음 조건을 충족해야 합니다.

원자성: 단일하고 명확하게 정의된 확인 사항일 것;
객관성: 주관적인 판단 없이 검증 가능할 것;
필수성: 스타일적 선호가 아닌 쿼리에 답변하기 위해 반드시 필요할 것.

쿼리.

She will share u man power planning. We have to arrange lodging & boarding. Plz correct swntence.

루브릭.

응답은 영어로 작성됨.
수정된 문구는 "lodging" 및 "boarding"이라는 단어를 포함함.
수정된 문구는 "man power" 대신 "manpower"를 단일 단어(예: "manpower plan" 또는 "manpower planning")로 사용함.
수정된 문구는 비공식적인 약어 토큰 "u" 또는 "Plz"를 포함하지 않으며, 앰퍼샌드 문자 "&"도 포함하지 않음.
응답은 \\[type:idx\\] 형태의 인용 마커를 포함하지 않음. 여기서 type은 데이터 소스(예: web, chart, memory, attached_file)를 나타냄.

루브릭 보정. 지나치게 엄격하거나 관대한 루브릭 세트를 피하기 위해 pass@4 필터를 적용합니다. 각 쿼리에 대해 4개의 독립적인 응답을 샘플링하고 지시 이행 평가 모델을 사용하여 전체 루브릭 세트에 대해 평가합니다. 응답 중 어떤 것도 루브릭 세트를 만족하지 않거나 모든 응답이 만족하는 쿼리는 삭제하고, 유익한 학습 신호를 제공하는 쿼리만 유지합니다.

다중 목표 RL의 실제적인 과제는 데이터 구성 요소 간의 분산 불균형입니다(Duchi and Namkoong, 2016; Liu et al., 2026; Qi et al., 2026). 검증 가능한 QA와 루브릭 기반 데이터 모두 이진 보상을 생성하지만 작업 난이도에서 상당한 차이가 있습니다. 루브릭 만족은 일반적으로 학습 초기에 달성하기 쉬우며, 더 크고 빈번한 그래디언트 업데이트를 생성하여 더 어려운 검증 가능 QA 신호보다 정책 최적화를 불균형하게 지배할 수 있습니다. 이를 해결하기 위해 데이터셋 수준에서 프롬프트 혼합물의 가중치를 재조정하여 검증 가능 QA에서 90%, 루브릭 기반 데이터에서 10%를 샘플링함으로써 구성 요소 간 최적화 신호의 균형을 맞춥니다.

당사의 보상 설계는 위에서 설명한 데이터 구축 방식에서 직접적으로 도출됩니다. 검증 가능한 QA 및 루브릭 작업을 모두 포괄함에도 불구하고, 모든 학습 데이터는 공통적인 기본 보상 구조를 공유합니다. 롤아웃은 QA 작업에 대해 정답을 생성하거나 일반 채팅에 대해 지정된 모든 루브릭을 충족하면 크레딧을 받습니다. 이러한 공유된 기반 위에 선호도 기반 점수와 효율성 조정을 포함하는 복합 보상을 구성합니다.

초기 실험에서 관찰된 주요 과제는 보상 해킹이었습니다. 보상의 단순한 선형 조합으로는 강력한 선호도 신호가 사실적 또는 지침적 실패를 보완할 수 있었습니다. 따라서 당사는 게이트형 집계를 핵심 설계 원칙으로 채택하며, 이는 공식적으로 다음과 같이 정의됩니다.

R(\tau_i) = r_{\text{base}}(\tau_i) \cdot s(\tau_i) \;-\; \operatorname{pen}_{\text{eff}}(\tau_i),

$r_{\mathrm{base}}(\tau_i) \in \{0, 1\}$ 는 QA 정답성 또는 루브릭 충족을 나타내고, $s(\tau_i)\in[0,1]$ 는 선호 점수이며, $\operatorname{pen}_{\mathrm{eff}}(\tau_i)$ 는 앵커링된 효율성 패널티입니다. 이렇게 하면 불필요한 도구 사용과 장황함은 계속 억제하면서도, 정답성은 선호 크레딧을 받기 위한 필요 조건이 됩니다. 그림 1은 전체 보상 파이프라인을 보여 주며, 그 구성 요소를 아래에서 설명합니다:

보상 설계 개요. 기본 정확성 신호(검증 가능/루브릭), Bradley–Terry 선호도 점수 및 앵커링된 효율성 페널티를 결합합니다. 보상 해킹을 방지하기 위해 선호도는 기본 정확성에 의해 게이트 처리됩니다.

태스크 정답성 또는 지시 준수를 포착하는 이진 기준 신호 를 정의합니다. 검증 가능한 검색 에이전트 데이터의 경우, 최종 답변이 정답과 일치하면 , 그렇지 않으면 입니다. 루브릭 기반 일반 채팅 데이터의 경우, 모든 루브릭이 충족되면 , 그렇지 않으면 입니다. 이 기준 신호는 식 2의 조건부 집계 규칙에서 하드 게이트로 사용됩니다. $r_{\mathrm{base}}(\tau_i) \in \{0,1\}$ $r_{\mathrm{base}}(\tau_i)=1$ $0$ $r_{\mathrm{base}}(\tau_i)=1$ $0$

당사는 LLM 평가 모델 프롬프트로는 포착하기 어려운 정보성, 명확성, 전문적인 어조와 같은 응답 품질에 대한 사용자의 잠재적 선호도에 정책 모델을 맞추는 것을 목표로 합니다. 따라서 이러한 속성을 직접 점수화하기 위해 학습된 선호도 보상 모델을 훈련합니다.

우리는 Bradley–Terry 프레임워크에서 선호 학습을 정식화합니다. 컨텍스트 $x$ 와 두 개의 후보 응답 $y_a, y_b$ 가 주어지면, 모델은 스칼라 점수 $s_{\theta}(x, y) \in \mathbb{R}$ 를 산출하고 최소화합니다,

\ell_{\text{BT}}(\theta; x, y_a, y_b, r) = -\Big[r \log \sigma(\Delta_\theta) + (1-r) \log\bigl(1 - \sigma(\Delta_\theta)\bigr)\Big], \\ \Delta_\theta = s_\theta(x, y_a) - s_\theta(x, y_b)

여기서 $r \in \{0, 1\}$ 는 $y_a$ 가 선호되는지를 나타냅니다. 위치 편향을 제거하기 위해 각 학습 쌍은 두 가지 순서로 모두 증강되어 대칭적으로 최적화됩니다,

\mathcal{L}_{\text{sym}} = \tfrac{1}{2}\,\ell_{\text{BT}}(x, y_a, y_b, r) + \tfrac{1}{2}\,\ell_{\text{BT}}(x, y_b, y_a, 1-r).

추론 시점에 두 순열을 평균화하여 위치 불가지론적인 선호도 점수를 얻습니다.

\bar{\Delta}_\theta(x, y_a, y_b) = \tfrac{1}{2}\Big[\Delta_\theta(x, y_a, y_b) - \Delta_\theta(x, y_b, y_a)\Big], \\ \bar{P}_\theta(x, y_a, y_b) = \sigma\bigl(\bar{\Delta}_\theta(x, y_a, y_b)\bigr).

롤아웃 선호 점수는 이후 $s(\tau_i) \triangleq \bar{P}_{\theta}(x, y_a, y_b) \in [0,1]$ 로 정의되며, 즉 정책 롤아웃 $y_i$ 가 동일한 프롬프트에 대한 기준 모델 롤아웃보다 선호될 확률입니다.

선호도 모델링을 위한 학습 데이터는 큐레이션된 오픈 소스 데이터셋, 사용자 비교 피드백 및 내부 주석에서 가져옵니다. 라벨 노이즈를 해결하기 위해 Datbench(DatologyAI, 2026)에서 영감을 얻은 경량 필터링 및 보정 파이프라인을 적용하여 일관된 교차 모델 합의가 있는 예제만 유지합니다. 보상 모델은 정책 모델과 동일한 백본을 공유하며, 언어 모델링 헤드는 값 헤드로 대체됩니다. 더 작은 보상 모델도 유사한 홀드아웃 정확도를 달성하지만, 경험적으로 세밀한 선호도를 포착하지 못하고 바람직하지 않은 정책 행동을 강화할 수 있음을 발견했습니다.

명시적인 효율성 조정이 없으면 정책은 간단한 프롬프트에서도 도구를 과도하게 사용하는 경향이 있습니다. 무조건적인 페널티(예: 도구 호출 횟수 또는 출력 길이에 따라 선형적으로 확장되는 페널티)는 자연스러운 베이스라인이지만, 이는 필요한 탐색을 억제하고 학습을 저하시킵니다. 따라서 당사는 각 GRPO 그룹 내의 효과적인 솔루션과 관련하여 도구 사용과 응답 길이를 정규화하는 그룹 상대적 앵커링 페널티를 채택합니다. 그룹 𝑔에 대해 승자 세트를 다음과 같이 정의합니다.

W_g = \{\, i : r_{\text{base}}(\tau_i) = 1 \,\}.

앵커링된 도구 호출 패널티. 각 롤아웃 $\tau_i$ 에 대해, $c_i$ 를 도구 호출 수로, $e_i$ 를 도구 실행 실패 수로 둡니다. 우리는 유효 도구 호출 수 $\tilde{c}_i = c_i - e_i$ 를 정의하고 그룹 기준선을 균등하게 샘플링합니다:

b_g \sim \operatorname{Unif}\!\left(\min_{j \in W_g} \tilde{c}_j,\ \left\lceil \operatorname{mean}_{j \in W_g} \tilde{c}_j \right\rceil\right).

초과분 $\Delta_i = \max\!\left(0,\; \tilde{c}_i - b_g\right)$ 를 계산하고, 매끄러운 패널티 스칼라 $p_i = 1 - \exp\!\left(-\Delta_i\right)$ 를 정의합니다. 그러면 도구 패널티는 다음과 같습니다:

\operatorname{pen}_{\text{tool}}(\tau_i) = \begin{cases} \alpha_{\text{win}}\, p_i, & i \in W_g, \\ \alpha_{\text{lose}}\, p_i + \beta_{\text{lose}}, & i \notin W_g, \end{cases}

앵커링된 길이 패널티. $L_i$ 와 $L_i^{\mathrm{ref}}$ 를 각각 후보 및 기준 모델 생성의 토큰 길이라고 합시다. 우리는 셰이핑 집합 $\widehat{W}_g$ 를 정답이고 선호되는 롤아웃으로 정의합니다:

\widehat{W}_g = \{\, \underbrace{i \in W_g}_{\text{correct}} \;:\; \underbrace{s(\tau_i) \geq 0.5}_{\text{preferred}} \,\}.

그런 다음 그룹별 길이 베이스라인을 계산합니다.

\underbrace{b_{g,\text{win}}}_{\substack{\text{avg. ref. length} \\ \text{of winners}}} = \operatorname{mean}_{j \in \widehat{W}_g} L_j^{\text{ref}}, \qquad \underbrace{b_{g,\text{lose}}}_{\substack{\text{avg. ref. length} \\ \text{of losers}}} = \operatorname{mean}_{j \notin \widehat{W}_g} L_j^{\text{ref}}.

길이 페널티는 다음과 같이 정의됩니다.

\operatorname{pen}_{\text{len}}(\tau_i) = \begin{cases} 1, & L_i > \max_j L_j^{\text{cmp}} \\ 1 - \exp\!\left(-\max\!\left(0,\ \dfrac{L_i}{b_{g,\text{win}}} - 1\right)\right), & i \in \widehat{W}_g \\ 1 - \exp\!\left(-\max\!\left(0,\ \dfrac{b_{g,\text{lose}}}{L_i} - 1\right)\right), & i \notin \widehat{W}_g \end{cases}

여기서 첫 번째 줄은 하드 캡이고, 두 번째 줄은 장황한 승자에게 페널티를 부여하며, 세 번째 줄은 간결한 패자에게 페널티를 부여합니다.

결합된 효율성 페널티. 결합된 효율성 페널티는 두 구성 요소의 가중 합계입니다.

\operatorname{pen}_{\text{eff}}(\tau_i) = \lambda_{\text{tool}}\, \operatorname{pen}_{\text{tool}}(\tau_i) + \lambda_{\text{len}}\, \operatorname{pen}_{\text{len}}(\tau_i).

당사는 두 가지 축을 따라 포스트 트레이닝 파이프라인을 평가합니다. (i) 학습 역학: 최적화 안정성과 보상 신호가 예상대로 작동하는지 평가하기 위함, (ii) 오프라인 벤치마크: 제어된 평가 설정 하에서 다운스트림 품질, 안전성 및 효율성을 측정하기 위함.

기본 학습 설정. 정책 모델은 웹 검색 도구(search_web)와 상호작용합니다. 각 도구 호출은 최대 10개의 결과를 검색하며, 쿼리는 250자로 제한되고 롤아웃당 최대 5개의 쿼리가 가능합니다.

보상 진행 상황과 효율성 행동에 초점을 맞춰 최적화 역학을 검토합니다. 설명을 단순화하기 위해 Qwen3.5-397B-A11B 를 사용합니다.

그림 2는 베이스라인 보상(검증 가능 QA 및 루브릭 만족)의 꾸준한 향상과 선호도 점수의 증가를 보여주며, 정확성, 준수성 및 응답 품질 측면에서 지속적인 개선이 이루어지고 있음을 나타냅니다.

그림 3은 도구 호출 빈도와 생성 길이가 학습 내내 잘 제어됨을 보여줍니다. 특히 도구 호출 페널티와 길이 페널티가 학습 과정 전반에 걸쳐 단조롭게 감소하며, 이는 모델이 더 간결한 생성과 더 선택적인 도구 호출로 점진적으로 적응하고 있음을 반영합니다.

그림 4는 그래디언트 노름이 일시적인 스파이크를 제외하고는 안정적으로 유지되는 반면, 학습-추론 KL 발산은 경미한 상승 추세를 보이며 1e-3 척도 내에 머무름을 보여줍니다. 이러한 드리프트 패턴은 다른 RL 학습 프레임워크의 관찰 결과와 일치합니다. 학습이 전반적으로 안정적으로 유지되므로 추가적인 개입 없이 Eq. 1의 단순한 IS 정규화를 유지합니다.

검색 정확성, 사실적 신뢰성, 지침 이행 및 안전성을 포괄하는 일련의 벤치마크(공개 벤치마크 및 내부 Perplexity(PPLX) 메트릭 포함)에 대한 결과를 보고합니다. 공개 벤치마크에는 SimpleQA, FRAMES 및 Facts Open이 포함됩니다.

pplx-sbs-search: 내부 보상 모델을 사용한 비교(Side-by-side) 선호도 평가. 후보는 강력한 베이스라인과 비교됩니다.
pplx-abstention: 신뢰할 수 있는 증거가 없을 때 적절하게 거부할 수 있는 능력.
pplx-language-mismatch: 롱테일 및 다중 턴 설정에서의 언어 일관성.
pplx-broken-tool-calls (↓): 도구 호출 스키마 준수 및 제약 조건 이행(예: tool_choice=none).

기본 평가 설정. 공개 벤치마크의 경우 웹 검색 도구만 허용하며, 예제당 최대 5회의 도구 호출과 호출당 최대 10개의 결과라는 예산을 설정하고, 0.6의 온도로 최대 8192개의 출력 토큰을 생성합니다.

표 2 | 오프라인 평가 결과. 괄호 안의 숫자는 평균 도구 사용량을 나타냅니다. Qwen3.5-397B-A17B를 Qwen3.5-Large로, Qwen3.5-122B-A10B를 Qwen3.5-Medium으로 표기합니다.

표 2는 Qwen3.5-Large-SFT-RL이 공개 벤치마크 전반에서 강력한 검색 정확도를 달성하며, 유사한 도구 예산을 사용하면서 FRAMES 및 Facts Open에서 gpt-5.4와 같거나 이를 능가함을 보여줍니다. 베이스 모델과 비교하여 당사의 접근 방식은 내부 메트릭, 특히 선호도(pplx-sbs-search: 0.602 → 0.742), 언어 일관성 및 응답 거부 측면에서 상당한 이득을 제공하며, 2단계 파이프라인이 검색 성능을 희생하지 않고도 배포 필수 행동을 효과적으로 개선함을 입증합니다.

이를 측정하기 위해 예산 강제(budget-forced) 평가 프로토콜을 설계했습니다. 각 모델은 웹 검색 도구(search_web)와 허용되는 도구 호출 횟수에 대한 하드 캡("예산")을 지정하는 시스템 프롬프트에 액세스할 수 있습니다. 이 예산을 0(도구 사용 없음, 순수 파라메트릭 지식)에서 10(관대한 다단계 검색)까지 스윕하며 각 수준에서의 정확도를 기록합니다. 이는 도구 효율성 곡선(허용된 검색 예산의 함수로서의 모델 점수)을 생성합니다. 두 가지 사실적 QA 벤치마크인 FRAMES와 Facts Open에서 평가합니다.

이 두 벤치마크에서 여러 패턴이 두드러집니다.

당사의 포스트 트레이닝된 Qwen3.5-397B-SFT-RL은 두 벤치마크 모두에서 최고의 검색 정확도를 달성합니다. 단 한 번의 도구 호출로도 FRAMES에서 57.3%를 기록하여 GPT-5.4보다 5.7점, Sonnet 4.6보다 4.7점 높습니다.
- 이러한 장점은 프로덕션 배포의 실질적인 운영 범위인 중간 예산(b=2-7)에서 가장 두드러집니다.
당사의 포스트 트레이닝 방식(SFT + RL)은 베이스 체크포인트에 비해 도구 사용 효율성을 크게 개선합니다. 그림 5의 실선(포스트 트레이닝됨) 대 점선(시작 체크포인트)을 참조하십시오.
모든 모델에서 예산=7 부근에서 수익 체감 현상이 관찰되며, 이는 두 벤치마크와 모든 모델에서 일관되게 나타납니다. 이는 모델보다는 사실 추구 작업의 특성임을 시사합니다.

위의 결과는 Qwen3.5-397B-SFT-RL이 더 적은 도구 호출로 더 높은 정확도를 달성함을 보여줍니다. 하지만 이것이 실제 비용으로 어떻게 변환될까요? 비교를 구체화하기 위해 게시된 API 가격(Alibaba DashScope, OpenAI, Anthropic)을 사용하여 토큰 수준 측정값을 달러 비용으로 변환합니다.

중간 프로필(b=4)에서 Qwen3.5-397B-SFT-RL은 FRAMES에서 쿼리당 2.0센트로 73.9%를 기록하는 반면, GPT-5.4는 8.5센트로 67.8%, Sonnet 4.6은 15.3센트로 62.4%를 기록합니다. 이는 GPT-5.4 대비 4배 낮은 비용으로 +6점의 정확도를, Sonnet 4.6 대비 7.5배 낮은 비용으로 +11.5점의 정확도를 달성한 것입니다.

이 추정치는 캐싱을 제외한 리스트 API 가격을 사용합니다. KV 캐시 재사용, 프리픽스 캐싱, 양자화된 MoE 서빙(397B는 17B 활성 파라미터만 사용)과 같은 사내 추론 최적화를 사용하면 실제 비용을 리스트 API 가격보다 훨씬 낮출 수 있습니다.

2단계 SFT 및 RL 파이프라인을 통해 배포 준수성과 검색 최적화를 분리함으로써 프로덕션 제약 조건 하에서 유능하고 신뢰할 수 있는 모델을 얻을 수 있습니다. 검증 가능한 QA와 루브릭 기반 학습 데이터의 조합, 그리고 게이트형 보상 집계 및 앵커링된 효율성 형성을 통해 검색 정확성이나 가드레일 준수성을 희생하지 않으면서 안정적인 다중 목표 최적화가 가능합니다.

몇 가지 방향은 추가적인 조사가 필요합니다. 그림 4에서 관찰된 바와 같이, 학습-추론 KL 발산은 연장된 학습 단계에서 지속적인 상승 드리프트를 보입니다. 토큰 수준 IS 보정이 현재 설정 하에서 충분한 것으로 입증되었지만, 더 큰 규모에서도 이것이 사실로 남을지는 불확실합니다. 인프라 수준의 불일치와 MoE 라우팅과 같은 아키텍처별 요인을 포함하는 이 불일치에 대한 더 원칙적인 이론적 접근과 완화 전략에 대한 정량적 경험적 비교는 여전히 중요한 공개 질문으로 남아 있습니다. 특히 다중 목표 RL의 경우, 유망한 방법으로는 재앙적인 망각을 완화하면서 단계별로 목표를 최적화하는 온폴리시 증류를 통한 순차적 학습(Zeng et al., 2026)과 작업별 최적화를 기능 집계와 분리하기 위한 모델 병합(Fu et al., 2025; Yang et al., 2026)이 있습니다. 마지막으로 긴 시간 지평의 궤적을 가진 현실적인 다중 도구 워크플로우로의 확장은 여전히 중요한 해결 과제로 남아 있으며, 더 나은 크레딧 할당, 부분 롤아웃에 대한 지원 및 평가가 필요합니다.

DatologyAI. Datbench: 판별력 있고 충실하며 효율적인 비전-언어 모델 평가. https://www.datologyai.com/blog/datbench-discriminative-faithful-and-efficient-vision-language-model-evaluations, 2026년 1월. 2026년 1월 6일 게시. 접속일: 2026-03-04.

J. Duchi 및 H. Namkoong. 볼록 목표를 사용한 분산 기반 정규화. arXiv preprint arXiv:1610.02581, 2016.

Z. Fu, X. Wu, Y. Wang, W. Wang, S. Ye, H. Yin, Y. Chang, Y. Zheng 및 X. Zhao. 멀티태스킹 학습을 위한 학습 불필요 LLM 병합. 제63회 전산언어학협회 연례 회의(1권: 긴 논문), 33111–33124페이지, 2025.

A. Gunjal, A. Wang, E. Lau, V. Nath, Y. He, B. Liu 및 S. Hendryx. 보상으로서의 루브릭: 검증 가능한 도메인을 넘어선 강화 학습. arXiv preprint arXiv:2507.17746, 2025.

J. Liu, Y. Li, Y. Fu, J. Wang, Q. Liu 및 Y. Shen. 속도가 안정성을 해칠 때: 학습-추론 불일치로부터의 RL 붕괴의 미스터리 해결. Notion 블로그, 2025a.

S.-Y. Liu, X. Dong, X. Lu, S. Diao, P. Belcak, M. Liu, M.-H. Chen, H. Yin, Y.-C. F. Wang, K.-T. Cheng 외. Gdpo: 다중 보상 RL 최적화를 위한 그룹 보상 분리 정규화 정책 최적화. arXiv preprint arXiv:2601.05242, 2026.

T. Liu, R. Xu, T. Yu, I. Hong, C. Yang, T. Zhao 및 H. Wang. Openrubrics: 보상 모델링 및 LLM 정렬을 위한 확장 가능한 합성 루브릭 생성을 향하여. arXiv preprint arXiv:2510.07743, 2025b.

R. Lu, Z. Hou, Z. Wang, H. Zhang, X. Liu, Y. Li, S. Feng, J. Tang 및 Y. Dong. Deepdive: 지식 그래프 및 다중 턴 RL을 통한 심층 검색 에이전트 발전. arXiv preprint arXiv:2509.10446, 2025.

W. Ma, H. Zhang, L. Zhao, Y. Song, Y. Wang, Z. Sui 및 F. Luo. 학습 및 추론 라우터를 정렬하여 MoE 강화 학습 안정화. arXiv preprint arXiv:2510.11370, 2025.

T. Pham, N. Nguyen, P. Zunjare, W. Chen, Y.-M. Tseng 및 T. Vu. Sealqa: 검색 증강 언어 모델의 추론 기준 상향. arXiv preprint arXiv:2506.01062, 2025.

O. Press, M. Zhang, S. Min, L. Schmidt, N. A. Smith 및 M. Lewis. 언어 모델에서의 구성성 격차 측정 및 좁히기. 전산언어학협회 결과: EMNLP 2023, 5687–5711페이지, 2023.

P. Qi, X. Zhou, Z. Liu, T. Pang, C. Du, M. Lin 및 W. S. Lee. LLM 강화 학습의 신뢰 영역 재고. arXiv preprint arXiv:2602.04879, 2026.

Z. Shao, P. Wang, Q. Zhu, R. Xu, J. Song, X. Bi, H. Zhang, M. Zhang, Y. Li, Y. Wu 외. Deepseekmath: 오픈 언어 모델에서의 수학적 추론 한계 돌파. arXiv preprint arXiv:2402.03300, 2024.

Z. Tao, J. Wu, W. Yin, J. Zhang, B. Li, H. Shen, K. Li, L. Zhang, X. Wang, Y. Jiang 외. Webshaper: 정보 탐색 공식화를 통한 에이전트 데이터 합성. arXiv preprint arXiv:2507.15061, 2025.

vLLM and TorchTitan Teams. 학습-추론 불일치 해결: vLLM 및 TorchTitan을 사용한 비트 단위 일관된 온폴리시 강화 학습. https://blog.vllm.ai /2025/11/10/bitwise-consistent-train-inference.html, 2025년 11월. vLLM 블로그.

J. Wu, W. Yin, Y. Jiang, Z. Wang, Z. Xi, R. Fang, D. Zhou, P. Xie 및 F. Huang. Webwalker: 웹 탐색에서의 LLM 벤치마킹, 2025. URL https://arxiv.org/abs/ 2501.07572.

A. Yang, A. Li, B. Yang, B. Zhang, B. Hui, B. Zheng, B. Yu, C. Gao, C. Huang, C. Lv 외. Qwen3 기술 보고서. arXiv preprint arXiv:2505.09388, 2025.

E. Yang, L. Shen, G. Guo, X. Wang, X. Cao, J. Zhang 및 D. Tao. LLM, MLLM 및 그 너머의 모델 병합: 방법, 이론, 응용 및 기회. ACM Computing Surveys, 58(8):1–41, 2026.

F. Yao, L. Liu, D. Zhang, C. Dong, J. Shang 및 J. Gao. 당신의 효율적인 RL 프레임워크가 은밀하게 수행하는 오프폴리시 RL 학습, 2025년 8월. URL https://fengyao.notion.s ite/off-policy-rl.

A. Zeng, X. Lv, Z. Hou, Z. Du, Q. Zheng, B. Chen, D. Yin, C. Ge, C. Xie, C. Wang 외. Glm-5: 바이브 코딩에서 에이전트 엔지니어링으로. arXiv preprint arXiv:2602.15763, 2026.

C. Zheng, K. Dang, B. Yu, M. Li, H. Jiang, J. Lin, Y. Liu, H. Lin, C. Wu, F. Hu 외. LLM을 사용한 강화 학습 안정화: 공식화 및 실습. arXiv preprint arXiv:2512.01374, 2025a.

C. Zheng, S. Liu, M. Li, X.-H. Chen, B. Yu, C. Gao, K. Dang, Y. Liu, R. Men, A. Yang 외. 그룹 시퀀스 정책 최적화. arXiv preprint arXiv:2507.18071, 2025b.

BibTeX

@online{perplexity2026AdvancingSearchAugmentedLanguageModels,
  author = {{Perplexity} and Denis Yarats and Dongqi Wu and Hang Wu and Randy Ardywibowo and Senzeyu Zhang and Yunfan Zhong and Ziqing Hu and Clare Southern and Riley Carlson and Yi He and Erin McKnight and Mara Sohn and Phi Hoang},
  title = {{Advancing search-augmented language models}},
  date = {2026-04-22},
  url = {https://perplexity.coolkeypoint.com/hub/blog/advancing-search-augmented-language-models}
}

소개

2단계 학습 파이프라인

SFT 단계

RL 단계

RL 학습 데이터

검증 가능한 검색 에이전트 데이터

예시 (3-홉)

루브릭 기반 일반 채팅 데이터

예시

프롬프트 혼합 및 분산 균형

보상 설계

베이스라인 보상

선호도 모델링

효율성 페널티

주요 결과

학습 역학

오프라인 평가

도구 사용 효율성 평가

결론

참고문헌

인용