1. 学習問題の定式化

機械学習の目標は、観測されたデータから未知のデータに対しても良い予測を行う関数を見つけることである。この問題を数学的に定式化するために、まず基本的な設定を整理する。

1.1 予測問題の基本設定

入力空間をX、出力空間をYとする。機械学習では、入力xから出力yを予測する関数f: X → Yを求めることが目標となる。例えば、画像分類では入力空間Xは画像の集合、出力空間Yはクラスラベルの集合である。

データは未知の確率分布P(X, Y)から生成されると仮定する。この分布は「真の分布」と呼ばれ、学習者には直接観測できない。学習者が利用できるのは、この分布から独立にサンプリングされたn個のデータ点D = {(x₁, y₁), ..., (xₙ, yₙ)}のみである。

1.2 損失関数とリスク

予測の良さを測るために損失関数ℓ(y, f(x))を導入する。損失関数は予測値f(x)と真の値yの乖離を数値化する。代表的な損失関数として、回帰問題では二乗損失ℓ(y, f(x)) = (y - f(x))²、分類問題では0-1損失ℓ(y, f(x)) = I[y ≠ f(x)]が用いられる。

真の分布P(X, Y)に対する期待損失を真のリスク（期待リスク）と呼び、R(f) = E[ℓ(Y, f(X))]と定義する。機械学習の理想的な目標は、真のリスクを最小化する関数f*を見つけることである。しかし、真の分布Pは未知であるため、真のリスクを直接計算することはできない。

2. ERMとi.i.d.仮定の数理

2.1 経験的リスク最小化（ERM）

真のリスクが計算できないため、代わりに経験リスク（訓練誤差）R̂(f) = (1/n)Σᵢℓ(yᵢ, f(xᵢ))を最小化する戦略が経験的リスク最小化（Empirical Risk Minimization, ERM）である。ERMは仮説クラスF内で経験リスクを最小化する関数f̂を選ぶ。

ERMが機能するためには、経験リスクが真のリスクの良い近似である必要がある。この近似の精度は、サンプルサイズn、仮説クラスFの複雑さ、およびデータの生成過程に依存する。

2.2 i.i.d.仮定の意味と役割

i.i.d.（independent and identically distributed、独立同一分布）仮定は、訓練データの各サンプルが同じ確率分布から独立に生成されることを要求する。この仮定は一見単純だが、機械学習理論において決定的な役割を果たす。

i.i.d.仮定の下では、大数の法則により経験リスクは真のリスクに確率収束する。すなわち、サンプルサイズnが十分大きければ、R̂(f)はR(f)の良い推定量となる。さらに、中心極限定理により収束の速度も評価できる。

2.3 汎化誤差の理論的保証

ERMで得られた関数f̂の汎化性能を保証するのが統計的学習理論である。代表的な結果として、VC次元dを持つ仮説クラスに対して、高確率で以下の不等式が成り立つ。

R(f̂) ≤ R̂(f̂) + O(√(d/n))

この不等式は、仮説クラスの複雑さ（VC次元d）とサンプルサイズnのトレードオフを示している。複雑なモデルは訓練データへの適合度は高いが、汎化誤差のバウンドが緩くなる。

3. 深層学習時代での再評価と実践

3.1 i.i.d.仮定の現実的限界

実世界のデータはi.i.d.仮定を満たさないことが多い。時系列データには時間的相関があり、推薦システムではユーザーの行動が他のユーザーに影響を与える。また、訓練データとテストデータの分布が異なる分布シフト問題も頻繁に発生する。

i.i.d.仮定の緩和に関する研究も進んでいる。混合過程、マルコフ連鎖、エルゴード過程など、より一般的なデータ生成過程に対する学習理論が発展している。ドメイン適応や転移学習は、分布シフトに対処する実践的手法である。

3.2 深層学習とERM理論のギャップ

深層学習の成功は、従来のERM理論では説明困難な現象を多く含む。深層ニューラルネットワークはパラメータ数がサンプル数を大幅に上回る過剰パラメータ化の状態にあるが、優れた汎化性能を示す。VC次元に基づく古典的な理論では、このような状況では過学習が起こるはずである。

3.3 実践への示唆

理論的理解は実践においても重要な指針を与える。ERMの枠組みは、正則化の重要性を示唆する。L2正則化やドロップアウトは、仮説クラスの複雑さを制御し、汎化性能を向上させる効果がある。

i.i.d.仮定の限界を認識することは、モデルの適用範囲を正しく判断するために不可欠である。訓練データと異なる環境でモデルを使用する際には、分布シフトの影響を考慮し、適切な対策（ドメイン適応、継続学習など）を講じる必要がある。

検証データの重要性もERMの理論から導かれる。経験リスクの最小化だけでは過学習のリスクがあるため、独立した検証データで汎化性能を評価することが必須である。交差検証は、限られたデータを有効活用しながら汎化誤差を推定する標準的手法である。