RLVRとは何か：背景と従来の理解

Reinforcement Learning with Verifiable Rewards（RLVR：検証可能な報酬を用いた強化学習）は、近年のLLM推論能力向上において中心的な役割を果たしてきた技術です。

RLVRの仕組み

RLVRは、人間によるアノテーションを自動的な報酬に置き換えることで、大規模な自己改善を可能にする手法です。

図1：RLVRの基本的な仕組み

従来の期待と仮定

RLVRに対しては、以下のような期待が寄せられていました。

実験設計とpass@k評価指標

研究チームは、従来の評価手法の限界を指摘し、新しい評価指標を用いてRLVRの効果を検証しました。

従来の評価手法の問題

従来の評価では、モデルの単一の最良出力（pass@1）を見ることが一般的でした。しかし、これではモデルが「本当に知っていること」を過小評価してしまいます。

図2：pass@1 vs pass@k の概念比較

pass@k評価指標

研究チームは、モデルの「推論能力の境界」を測定するために、pass@k指標を採用しました。

驚くべき実験結果

様々なモデルファミリー、RLアルゴリズム、ベンチマーク（数学、コーディング、視覚的推論）で体系的な実験を行った結果、驚くべき発見がありました。

図3：pass@kにおけるベースモデルとRLVRモデルの比較（概念図）

発見の意義と今後のRL研究への示唆

この研究は、LLM研究における広く受け入れられた仮定に対する「重要な否定的発見」として高く評価されています。

選考委員会のコメント

NeurIPS 2025の選考委員会は、この論文について以下のようにコメントしています。

「この論文は、LLM研究において広く受け入れられてきた基礎的な仮定—RLVRが真に新しい推論能力を引き出すという仮定—に対して、見事に実行された重要な否定的発見を提示しています。RLは探索を狭め、報酬された軌跡は増幅されますが、より広い解空間は縮小し、RLVRが基本分布を超えるのではなく、その範囲内で最適化していることが明らかになりました。」

RLVRが実際に行っていること

図4：RLVRの実際の効果

RLアルゴリズム間の比較

研究では、6つの主要なRLVRアルゴリズム（PPO、GRPO、Reinforce++など）を比較しましたが、それらの間に大きな差は見られませんでした。

蒸留との対比

興味深いことに、教師モデルからの蒸留（distillation）は、RLVRとは異なる効果を示しました。

今後の研究方向

この研究は、現在のRLVR手法の限界を明らかにすると同時に、今後の研究方向を示唆しています。

図5：今後のRL研究の方向性

考察：この発見が意味すること

この研究は、AIの能力向上に関する私たちの理解を深める重要な貢献です。

第一に、「見かけの性能向上」と「真の能力拡張」を区別することの重要性を示しています。pass@1の改善は、必ずしもモデルの推論能力が向上したことを意味しません。第二に、ゲームプレイにおけるRLの成功が、そのままLLMに適用できるわけではないことを示唆しています。LLMの推論タスクには、異なるアプローチが必要かもしれません。第三に、現在のRLVR手法は「既存能力の効率的な活用」には有効ですが、「新しい能力の獲得」には新しいパラダイムが必要であることを示しています。

この「重要な否定的発見」は、LLM研究において、真に新しい推論能力を引き出すための根本的に新しいRLパラダイムの開発を促すものとなることが期待されています。