1. 過学習（Overfitting）の理解

1.1 過学習の定義

過学習（Overfitting）とは、機械学習モデルが訓練データに過度に適合し、未知のデータに対する予測性能（汎化性能）が低下する現象である。モデルは訓練データ中のノイズや偶然のパターンまで学習してしまい、データの本質的な構造を捉えられなくなる。

この現象を理解するには「バイアス-バリアンス・トレードオフ」の概念が重要である。バイアス（bias）はモデルの単純化による誤差、バリアンス（variance）はデータの変動に対するモデルの敏感さを表す。過学習はバリアンスが高すぎる状態に対応する。

1.2 過学習が発生する条件

過学習の発生は主に3つの要因に依存する。

直感的には、100個のデータ点を100次多項式で完璧にフィットできるが、そのモデルは新しいデータに対してまったく役に立たない。これが過学習の本質である。

1.3 過学習の検出：汎化ギャップ

過学習の検出には「汎化ギャップ（Generalization Gap）」を監視する。これは訓練誤差とテスト誤差（または検証誤差）の差である。

$$\text{汎化ギャップ} = \text{テスト誤差} - \text{訓練誤差}$$

典型的な過学習の兆候は以下の通りである。

実務では、訓練の進行とともに訓練誤差とテスト誤差をプロットし、テスト誤差が上昇し始める点（過学習の開始点）を特定することが重要である。

2. 正則化手法の体系

正則化（Regularization）とは、過学習を防ぐためにモデルの複雑さに制約を課す手法の総称である。大きく「パラメータ正則化」と「暗黙的正則化」に分類できる。

2.1 パラメータ正則化

損失関数に正則化項（ペナルティ項）を加え、パラメータの大きさを直接制約する手法である。

2.1.1 L2正則化（Ridge / Weight Decay）

L2正則化は、パラメータの二乗和にペナルティを課す。損失関数は以下のようになる。

$$L_{\text{Ridge}} = L_{\text{original}} + \lambda \| \mathbf{w} \|_2^2 = L_{\text{original}} + \lambda \sum_{i} w_i^2$$

ここで $\lambda$ は正則化の強さを制御するハイパーパラメータである。L2正則化は全てのパラメータを均等に小さくする効果があり、極端に大きなパラメータの出現を防ぐ。ニューラルネットワークでは「Weight Decay（重み減衰）」とも呼ばれる。

2.1.2 L1正則化（Lasso）

L1正則化は、パラメータの絶対値の和にペナルティを課す。

$$L_{\text{Lasso}} = L_{\text{original}} + \lambda \| \mathbf{w} \|_1 = L_{\text{original}} + \lambda \sum_{i} |w_i|$$

L1正則化の特徴は「スパース解（sparse solution）」を誘導する点にある。多くのパラメータが厳密に0になるため、自動的に特徴選択が行われる。これは、どの特徴が予測に重要かを解釈したい場合に有用である。

2.1.3 Elastic Net

Elastic NetはL1正則化とL2正則化を組み合わせた手法である。

$$L_{\text{Elastic}} = L_{\text{original}} + \lambda_1 \| \mathbf{w} \|_1 + \lambda_2 \| \mathbf{w} \|_2^2$$

L1のスパース性とL2の安定性を両立できる。相関の高い特徴が多い場合、L1正則化単独ではそのうち1つだけを選択しがちだが、Elastic Netはグループ効果によりこの問題を緩和する。

2.2 暗黙的正則化

損失関数を直接変更せず、学習プロセスや入力データを工夫することで正則化効果を得る手法群である。

2.2.1 早期停止（Early Stopping）

訓練を最後まで行わず、検証誤差が最小となる時点で停止する手法である。訓練を続けると訓練誤差は下がり続けるが、ある時点からテスト誤差は上昇に転じる。この「最適停止点」で訓練を止めることで、過学習を防ぐ。

早期停止は暗黙の正則化効果を持つことが理論的に示されている。具体的には、勾配降下法のイテレーション数を制限することは、L2正則化と同様の効果をもたらす。

2.2.2 Dropout

Dropout [Srivastava et al., 2014] は、訓練時にニューラルネットワークのユニット（ノード）をランダムに無効化する手法である。各ユニットは確率 $p$（通常0.5や0.2）で出力を0にする。

Dropoutの正則化効果は、複数のサブネットワークのアンサンブル学習と解釈できる。$n$個のユニットがある場合、$2^n$通りの異なるサブネットワークを同時に訓練していることに相当する。これにより、特定のユニット間の「共適応（co-adaptation）」を防ぎ、各ユニットがより独立した有用な特徴を学習するようになる。

推論時はDropoutを無効化し、代わりに重みを $1-p$ 倍にスケーリングする（または訓練時に $1/(1-p)$ 倍にスケーリングする方式もある）。

2.2.3 データ拡張（Data Augmentation）

訓練データを人工的に増やす手法である。画像認識では、回転、反転、クロップ、色調変換などを適用し、同一画像から複数のバリエーションを生成する。

データ拡張は、モデルが「不変性（invariance）」を学習することを促す。例えば、画像を左右反転しても猫は猫であるという知識を、明示的なラベルなしにデータから学習できる。

2.2.4 バッチ正規化（Batch Normalization）

バッチ正規化 [Ioffe & Szegedy, 2015] は、各層の入力をミニバッチ内で正規化（平均0、分散1に変換）する手法である。本来は学習の高速化・安定化が目的だが、正則化効果も持つ。

ミニバッチごとに統計量が変動するため、訓練時にノイズが注入される。このノイズが暗黙的な正則化として機能し、Dropoutと併用する場合はDropout率を下げられることがある。

3. 実践での選択指針と主要論文

3.1 手法選択の指針

どの正則化手法を選択するかは、問題設定、データ特性、モデルアーキテクチャに依存する。以下に一般的な指針を示す。

3.2 ハイパーパラメータの典型的な範囲

各手法のハイパーパラメータについて、探索の起点となる典型的な値を示す。

3.3 主要論文

正則化に関する理解を深めるための主要論文を紹介する。いずれも分野の基盤となる重要な研究である。

3.4 まとめ

過学習は機械学習における本質的な課題であり、モデルの汎化性能を確保するために正則化は不可欠な技術である。本記事で取り上げた手法はそれぞれ異なるメカニズムで過学習を抑制する。

パラメータ正則化（L1、L2、Elastic Net）は数学的に明確な制約を課し、暗黙的正則化（Dropout、早期停止、データ拡張、バッチ正規化）は学習プロセス自体を工夫する。実務では、これらを問題に応じて組み合わせ、検証データで効果を確認しながら調整することが重要である。

正則化の理論と実践を理解することは、信頼性の高い機械学習システムを構築するための基盤となる。