Home 論文解説: Reasoning Language Models: A Blueprint — 推論言語モデル構築の体系的設計図
投稿
キャンセル

📄 論文解説: Reasoning Language Models: A Blueprint — 推論言語モデル構築の体系的設計図

投稿日 21/02/2026
投稿者 0h-n0
20 分読了時間

論文概要（Abstract）

本論文は、OpenAI o1/o3、DeepSeek R1、Gemini Thinkingなど、近年急速に発展した推論言語モデル（Reasoning Language Models, RLM）の構築方法を体系的に整理したブループリントを提示する。RLMを5つの構成要素（基盤LLM、探索アルゴリズム、報酬モデル、学習パイプライン、長Chain-of-Thought技術）に分解し、各コンポーネントの設計選択とトレードオフを詳細に分析する。これにより、既存のRLMを体系的に理解し、新たなRLMを設計するためのフレームワークを提供する。

この記事は Zenn記事: Claude Sonnet 4.6のExtended Thinkingでコードレビューエージェントを構築する の深掘りです。

情報源

  • arXiv ID: 2502.04463
  • URL: https://arxiv.org/abs/2502.04463
  • 著者: Maciej Besta, Julia Barth, Eric Schreiber, Ales Kubicek, Afonso Catarino, Robert Gerstenberger et al.（ETH Zürich）
  • 発表年: 2025
  • 分野: cs.AI, cs.CL

背景と動機（Background & Motivation）

2024年9月にOpenAI o1がリリースされて以降、推論言語モデル（RLM）の研究が急速に進展した。o1は従来のLLMとは根本的に異なり、応答前に内部で長い推論プロセス（Extended Thinking）を実行することで、数学やコーディングなどの複雑なタスクで飛躍的な性能向上を達成した。

しかし、RLMの構築には多岐にわたる設計選択が存在し、それらの相互作用は十分に理解されていない。「どの探索アルゴリズムを使うべきか」「プロセス報酬モデルと結果報酬モデルのどちらが適切か」「強化学習の前にSFTコールドスタートは必要か」といった問いに対して、体系的な指針がなかった。

本論文は、これらの問いに答える包括的なブループリントを提供する。Claude Sonnet 4.6のAdaptive ThinkingやInterleaved Thinkingの背後にある理論的基盤を理解するためにも、このブループリントは不可欠な参考文献である。

主要な貢献（Key Contributions）

  • 貢献1: RLMの5つの構成要素（基盤LLM、探索アルゴリズム、報酬モデル、学習パイプライン、長CoT技術）の特定と体系的な記述
  • 貢献2: 各構成要素間の相互作用をモジュラーに示し、既存RLMの分解と新規RLMの設計を可能にするフレームワークの構築
  • 貢献3: 既存RLM（o1/o3、DeepSeek R1、QwQ、s1等）の性能・コスト・設計選択の比較分析

技術的詳細（Technical Details）

RLMの構成要素分解

本論文の核心は、RLMを以下のモジュラー式で表現できることの発見である。

\[\text{RLM} = f(\text{Foundation LLM}, \text{Search}, \text{Reward}, \text{Training}, \text{CoT})\]

各構成要素は独立に選択・組み合わせ可能であり、これにより既存のRLMを体系的に分類できる。

探索アルゴリズム

推論時に複数の推論パスを探索することで、単一パスの生成では到達できない高品質な回答を導出する。

Best-of-N Sampling（BoN）:

最もシンプルな探索手法。$N$個の完全な回答を生成し、報酬モデルで最良のものを選択する。

\[y^* = \arg\max_{y_i \in \{y_1, \ldots, y_N\}} R(y_i | x)\]

ここで、

  • $y_i$: $i$番目の生成された回答
  • $R(y_ix)$: 入力$x$に対する回答$y_i$の報酬スコア
  • 計算コスト: $O(N)$（推論コストが$N$倍）

Monte Carlo Tree Search（MCTS）:

推論ステップを木構造として明示的に展開し、4フェーズ（選択→展開→シミュレーション→逆伝播）で最適パスを探索する。

\[\text{UCB}(s) = \frac{Q(s)}{N(s)} + c \cdot \sqrt{\frac{\ln N(\text{parent}(s))}{N(s)}}\]

ここで、

  • $Q(s)$: 状態$s$の累積報酬
  • $N(s)$: 状態$s$の訪問回数
  • $c$: 探索と活用のバランス係数（通常$\sqrt{2}$）

MCTSはプロセス報酬モデル（PRM）による各ステップの評価が必要だが、最も高品質な推論を生成する。AlphaCode 2などで採用されている。

Budget Forcing:

思考トークン数に予算制約を設ける手法で、コストと性能のトレードオフを直接制御する。Stanford大学のs1モデルで採用され、わずか1000件のSFTデータで強力な推論能力を実現した。

\[\text{Performance} \propto \log(\text{Compute Budget})\]

推論計算量の対数に比例して性能が向上する法則（推論時スケーリング則）が確認されている。

報酬モデル

結果報酬モデル（ORM: Outcome Reward Model）:

最終回答の正誤のみを評価する。学習コストが低い（二値ラベルのみ必要）が、探索中のガイダンスが疎（終端フィードバックのみ）。

\[R_{\text{ORM}}(y) = P(\text{correct} | y, x)\]

プロセス報酬モデル（PRM: Process Reward Model）:

各推論ステップを個別に評価する。密なフィードバックを提供するため探索ガイダンスに優れるが、ステップレベルのアノテーションが必要で学習コストが高い。

\[R_{\text{PRM}}(s_t) = P(\text{step\_correct} | s_1, \ldots, s_t, x)\]

ここで$s_t$は$t$番目の推論ステップ。

PRMの学習方法:

  1. 人間アノテーション: 高品質だが高コスト（OpenAIのPRM800Kデータセット）
  2. Monte Carloロールアウト: 各ステップから複数の完成を生成し、正解率でステップの品質を推定
  3. LLM-as-Judge: 強力なLLMにステップの正誤を判定させる

学習パイプライン

GRPO（Group Relative Policy Optimization）:

DeepSeek-R1で採用されたRL手法。PPOのcriticモデルを不要にし、メモリ効率を大幅に改善する。

\[\mathcal{L}_{\text{GRPO}}(\theta) = \mathbb{E} \left[ \min \left( r(\theta) \hat{A}, \text{clip}(r(\theta), 1-\epsilon, 1+\epsilon) \hat{A} \right) \right] - \beta \cdot \text{KL}(\pi_\theta \| \pi_{\text{ref}})\]

ここで、

  • $r(\theta) = \frac{\pi_\theta(oq)}{\pi_{\theta_{\text{old}}}(oq)}$: 確率比
  • $\hat{A}$: グループ相対アドバンテージ（同一クエリから生成した$G$個の回答の報酬を正規化）
  • $\epsilon$: クリッピング係数（PPOと同様）
  • $\beta$: KL正則化係数
  • $\pi_{\text{ref}}$: 参照ポリシー（SFT後のモデル）

GRPOのアドバンテージ計算:

\[\hat{A}_i = \frac{R(o_i) - \text{mean}(\{R(o_j)\}_{j=1}^{G})}{\text{std}(\{R(o_j)\}_{j=1}^{G})}\]

グループ内の報酬を正規化することで、絶対的な報酬値ではなく相対的な品質差を学習シグナルとする。これによりcriticモデルが不要になる。

DeepSeek-R1のマルチステージ学習:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15

Stage 1: Cold-Start SFT
  → 少量の高品質CoTデータで微調整
  → 推論の可読性とフォーマットを学習

Stage 2: RLVR (RL with Verifiable Rewards)
  → 数学・コード等の検証可能タスクでRL
  → GRPOアルゴリズムを使用

Stage 3: Rejection Sampling Fine-Tuning
  → RL学習済みモデルから高品質出力をサンプリング
  → サンプリングデータでSFT

Stage 4: Combined RL
  → 検証可能報酬 + 言語一貫性報酬の複合RL
  → 最終的な品質調整

長Chain-of-Thought技術

Thinking Tokens（思考トークン）:

最終出力に含まれない内部推論専用のトークン空間を設ける。モデルは出力制約を受けずにこの空間で自由に推論を展開でき、その結果を基に最終回答を生成する。Claude Sonnet 4.6のExtended Thinkingはこの仕組みの実装である。

Self-Correction（自己修正）:

モデルが自身の推論を批評し、誤りを検出して修正する能力。Interleaved Thinkingではtool call間にこの自己修正プロセスが自然に発生し、外部情報（ツール結果）を踏まえた推論の軌道修正が可能になる。

Backtracking（バックトラッキング）:

推論の途中で特定のポイントまで戻り、別のアプローチを試みる能力。特殊トークン（例: <backtrack>）を使って巻き戻しポイントを明示する。

実装のポイント（Implementation）

推論時スケーリングの実装: Claude Sonnet 4.6のAdaptive Thinkingは、本論文でいうBudget Forcingの自動版に相当する。effortパラメータ（low/medium/high）がBudgetに対応し、クエリの複雑性に応じて推論コンピュートを動的に配分する。Zenn記事のget_effort_for_file()関数は、この理論的基盤に基づく実践的な実装例である。

PRMとORM の使い分け: コードレビューエージェントでは、各推論ステップの品質が最終結果に大きく影響するため、PRMアプローチが理論的に優れる。Zenn記事のQA-Checkerや統合判定Layer 3は、簡易的なPRMとして機能している。

GRPOの実用的意味: GRPOのアドバンテージ計算は、「同じコードに対する複数のレビュー結果を比較し、相対的に良い結果を学習する」という直観に対応する。コードレビューの品質改善にファインチューニングを適用する際の指針となる。

Interleaved Thinkingの位置づけ: 本論文のThinking Tokensとtool call（外部ツール実行）を交互に実行する仕組みが、Claude Sonnet 4.6のInterleaved Thinkingに該当する。tool call後にモデルが内部推論を挟むことで、外部情報を統合した高品質な推論が可能になる。

実験結果（Results）

本論文は主にサーベイ論文だが、既存RLMの性能比較を提供している。

主要ベンチマーク比較

モデルAIME 2024MATH-500GPQA DiamondLiveCodeBench
GPT-4o9.3%76.6%53.6%-
o1-preview44.6%85.5%73.3%-
o174.4%96.4%78.0%-
DeepSeek-R179.8%97.3%71.5%65.9%
QwQ-32B-Preview50.0%90.6%65.2%-
s1-32B56.7%93.0%--

注目すべき点:

  • DeepSeek-R1がAIMEでo1を上回り、オープンな学習レシピで最高水準に到達
  • s1-32Bがわずか1000件のSFTデータでo1-preview相当のAIMEスコアを達成（推論時スケーリングの威力）
  • QwQ-32B（32Bパラメータ）が100B超モデルと競合する効率性を実証

コスト効率分析

モデル推論コスト（相対値）性能（AIME）コスト効率
o3 (high)100x最高低
o130x高中
DeepSeek-R110x高高
QwQ-32B3x中-高最高
s1-32B1x（ベースライン）中最高

コードレビューのような実用タスクでは、コスト効率の高いDeepSeek-R1やQwQ-32Bクラスのモデルが有望。Claude Sonnet 4.6のAdaptive Thinkingは、このコスト効率のトレードオフを自動管理する仕組みと位置づけられる。

実運用への応用（Practical Applications）

本論文のブループリントは、Zenn記事のコードレビューエージェントを改善するための理論的指針を提供する。

探索アルゴリズムの選択: コードレビューでは、各ファイルのレビュー結果を独立に生成・評価できるため、Best-of-N Samplingが最も実用的。同一コードdiffに対して$N=3$のレビュー結果を生成し、最も高品質なものを選択する実装が推奨される。

報酬モデルの設計: コードレビューの品質を自動評価する簡易PRMの構築が有効。過去の人間レビュアーの承認/却下データから、レビューコメントの品質を予測するモデルを学習させることで、Best-of-N選択の精度を向上できる。

推論時コンピュートの配分: セキュリティ関連ファイルには高い推論予算（effort=high）を、テストファイルには低い予算（effort=medium）を配分する戦略は、Budget Forcingの実践的応用である。

関連研究（Related Work）

  • DeepSeek-R1（DeepSeek-AI, 2025）: GRPOとマルチステージ学習でo1相当の性能をオープンに達成。本論文の分析対象の一つであり、学習パイプラインの設計指針として最も詳細に分析されている
  • s1（Muennighoff et al., 2025）: わずか1000件のSFTとBudget Forcingで強力な推論能力を実現。推論時コンピュートスケーリングの最も効率的な実証例
  • PRM800K（Lightman et al., 2023）: OpenAIによるプロセス報酬モデルの訓練データセット。80万件のステップレベル人間アノテーションを含み、PRM研究の基盤

まとめと今後の展望

本論文は、RLMの構築を5つのモジュラーコンポーネントに分解し、各コンポーネントの設計選択とトレードオフを体系的に整理した。Claude Sonnet 4.6のAdaptive Thinking（Budget Forcingの自動版）、Interleaved Thinking（Thinking Tokens + Tool Use）、effortパラメータ（推論時コンピュート配分）は、本ブループリントの理論的枠組みに位置づけられる。コードレビューエージェントへの応用では、Best-of-N Samplingによる回答品質の向上、簡易PRMによる自動品質評価、ファイル特性に応じた推論予算配分が具体的な改善方向として示される。今後は、コードレビュー特化のPRM構築と、推論効率のさらなる最適化が研究課題となる。

参考文献

blog paper arxiv
reasoning extended-thinking chain-of-thought LLM reinforcement-learning ai
この投稿は CC BY 4.0 でライセンスされています。
最近の更新
目次