7.1 エントロピー | 情報数学入門

「情報」とは何か。1948年、クロード・シャノンはこの問いに数学的な答えを与えた。予測困難なほど情報量が多い。コイントスは1ビット、サイコロは約2.6ビット。この「不確実性の量」がエントロピーであり、データ圧縮から機械学習の損失関数まで、あらゆる場所に現れる。

エントロピー情報量シャノンビット不確実性

情報量

自己情報量（Self-Information）

I(x) = -log₂ P(x)

確率 P(x) の事象が起きたときの「驚き」の量。

単位：ビット（底が2の場合）

確率が低いほど、情報量が多い。

シャノンエントロピー（Shannon Entropy）

H(X) = -Σ P(xᵢ) log₂ P(xᵢ)

情報量の期待値。

確率分布の「不確実性」の総量。

エントロピーはデータ圧縮の理論的限界を表す。エントロピーがHビットなら、平均してH ビット未満には圧縮できない（シャノンの符号化定理）。

例：英語のテキストはエントロピーが低い（文字の出現頻度が偏っている）ため、効率的に圧縮できる。

データ圧縮：gzip, Brotli などの圧縮アルゴリズムの理論的基盤。

パスワード強度：ランダムなパスワードのエントロピーで強度を測定。

ログ分析：異常検知でエントロピーの変化を監視。

決定木：情報利得（エントロピーの減少）で分割基準を決定。

交差エントロピー損失：分類タスクの標準的な損失関数。

探索と活用：方策のエントロピーを正則化に使用（SAC など）。

生成モデル：サンプリング温度でエントロピーを制御。