1. 2026年AIベンチマークの全体像

1.1 ベンチマークの分類体系

2026年現在、LLM（大規模言語モデル）の評価に使用される主要ベンチマークは15種類以上に及ぶ [1]。これらは測定対象によって大きく5つのカテゴリに分類できる。一般知識・推論、数学、コーディング、エージェント操作、そして人間評価である。各カテゴリの代表的なベンチマークと特性を Table 1 に示す。

1.2 従来ベンチマークの飽和

AIベンチマーク研究において最も深刻な問題の一つが「飽和」である。MMLUを例にとると、2024年時点でフロンティアモデルは88%を超え、2026年2月にはGPT-5.3 Codexが93%に到達した [1]。Vellumのリーダーボードは既にMMLUを「飽和した旧式ベンチマーク」として除外している [2]。HumanEvalについても同様で、フロンティアモデルが93%に達しており、訓練データへの汚染も報告されている [1]。

この飽和問題に対応するため、2025年以降は次世代ベンチマークが相次いで登場した。MMLU-Proは選択肢を4個から10個に拡張し、推論重視の設計に変更された。また、Center for AI Safety（CAIS）とScale AIが開発したHumanity's Last Exam（HLE）は、100以上の専門分野にわたる2500問の超難問で構成され、2026年1月にNature誌で公式に発表された [3]。

1.3 Chatbot Arena：人間評価の仕組み

静的ベンチマークの限界を補完する評価手法として、Chatbot Arena（2026年1月にLMArenaからArenaに改称）が広く利用されている。この仕組みでは、ユーザーがプロンプトを送信すると匿名の2モデルが並行して応答し、ユーザーが優れた方に投票する。累計600万票以上のデータからEloレーティングが算出される [5]。ブランドバイアスが排除されるため、現在最も信頼されるAI評価プラットフォームとされている。

2026年3月5日時点のテキストリーダーボードでは、Claude Opus 4.6が1504 Eloで1位、Gemini 3.1 Pro Previewが1500で2位、GPT-5.2系は6位前後に位置している [6]。コーディング特化のリーダーボードでは、Claude Opus 4.6が1561 Eloで史上初めて1500の壁を突破した [7]。

2. Claude vs OpenAI：ベンチマーク比較分析

2.1 ベンチマーク別スコア比較

2026年3月時点で公開されているデータに基づき、Claude（Anthropic）とGPT（OpenAI）の主要モデルをベンチマーク別に比較した結果を Table 2 に示す。比較対象は各社のフラッグシップモデルであるClaude Opus 4.6とGPT-5.2/5.3系である。

2.2 領域別の強弱分析

Table 2 のデータから、両者の得意領域が明確に分かれていることがわかる。以下に各領域の分析を示す。

数学的推論：OpenAIが優位。GPT-5.2はAIME 2025でツールを使用せずに満点を達成しており、これは現時点で他のどのモデルも到達していない水準である [8]。金融モデリング、科学計算、統計解析などの数値重視タスクでは、OpenAIの数学エンジンが実証的に強力である。

抽象推論：Claudeが大差で優位。ARC-AGI-2における16ポイントの差は、暗記した訓練データでは対処できない未知のパターン認識能力に由来する [8]。この差は、複雑な意思決定や創造的問題解決においてClaudeが優位に立つ可能性を示唆している。

コーディング：領域により分化。実際のGitHubリポジトリにおけるバグ修正（SWE-bench）ではClaude系が一貫してリードしている。複数の独立評価において、Claudeはより慣用的なコードを生成し、適切な型安全性と網羅的なエッジケース処理を行う傾向が報告されている [8]。一方、DevOps・ターミナル操作に特化したCodex CLIではGPT-5.3 Codexが77.3%と優位に立つ [9]。

文章品質：Claudeが優位。OpenAI CEOのSam Altmanは、GPT-5.2においてコーディングと数学の改善を優先した結果、文章品質が低下したことを認めている。2026年2月時点でこの問題は完全には解決されていない [8]。Claudeは文章品質を強みとして構築してきた経緯がある。

2.3 API価格比較

性能だけでなく、運用コストも実務上の重要な判断要素である。2026年2月時点の公式ドキュメントに基づくAPI価格を Table 3 に示す [10]。

Claude Opus 4.6はプレミアム価格帯に位置するが、Claude Sonnet 4.6はGPT-5.2と同等の価格帯でありながら、SWE-bench Verifiedで79.6%とOpus 4.6に迫るスコアを記録している点は注目に値する [9]。コストパフォーマンスの観点では、Sonnet 4.6が現時点で最も合理的な選択肢の一つとなる。

3. ベンチマークの構造的課題と実務的示唆

3.1 飽和・汚染・静的テストの三重問題

AIベンチマークは能力測定の基盤だが、2026年時点で3つの構造的問題を抱えている。

第一に飽和。Nature Communications掲載の大規模分析では、3765のベンチマークを調査した結果、大多数が急速に飽和に向かう傾向が確認されている [11]。2026年2月の体系的研究ではさらに具体的な知見が報告されており、公開テストセットは非公開より速く飽和すること、英語のみのベンチマークは多言語版より速く飽和すること、選択式は自由記述式より速く飽和することが定量的に示されている [12]。

第二にデータ汚染。ベンチマークの問題がモデルの訓練データに混入する現象である。HumanEvalでは汚染が報告されており、高スコアが真の能力を反映しているか疑問が残る [1]。これに対し、LiveBenchはテスト問題を継続的に更新することで汚染を抑制する設計を採用している [12]。

第三に静的テストの限界。ほぼすべてのベンチマークは固定問題セットであり、モデルの改善がタスクの暗記を反映している可能性を否定できない [13]。ベンチマーク設計の標準化と動的更新の必要性は、学術界でも広く認識されつつある。

3.2 「ベンチマークは入口に過ぎない」

ベンチマークスコアで本番パフォーマンスを予測するには、テストがユースケースに類似していること、テストセットが訓練データに汚染されていないこと、スコア差が統計的に有意であることの3条件が必要とされる [1]。しかし実務では、この3条件が同時に満たされることは稀である。

Stanford HAIの研究者は「ベンチマークが目標に到達するための道具だとすれば、その目標が何かについて十分な合意がない」と指摘している [4]。EU AI Actはベンチマークをシステミックリスク判定の一要素として参照しているが、ベンチマークの設計品質が規制判断に足る水準にあるかは議論が続いている [4]。

3.3 実務的な選定指針