評価指標

1. 評価指標の概要

AIモデルの評価指標は、開発したモデルがどの程度の性能を持つかを客観的に測定するための基準です。適切な評価指標を選択し、正しく解釈することで、モデルの改善方向を決定し、ビジネス目標との整合性を確保できます。

2. 評価指標の重要性

目標の明確化

何を最適化すべきかを明確にし、開発チーム全体で共通の目標を持てます。

客観的な比較

異なるモデルやアルゴリズムを公平に比較し、最適な選択ができます。

継続的改善

現在の性能を把握し、改善すべき点を特定できます。

ビジネス価値

技術的性能をビジネス成果に結び付けて評価できます。

3. 分類問題の評価指標

基本的な指標

正解率（Accuracy）

定義：全予測のうち正しく分類された割合

計算式：（正解数）÷（全体数）

適用場面：クラスのバランスが取れている問題

注意点：不均衡データでは誤解を招く可能性

適合率（Precision）

定義：陽性と予測したもののうち実際に陽性だった割合

計算式：TP ÷ (TP + FP)

適用場面：誤検出（偽陽性）を避けたい場合

例：スパムメール検出、医療診断

再現率（Recall / Sensitivity）

定義：実際の陽性のうち正しく検出された割合

計算式：TP ÷ (TP + FN)

適用場面：見落とし（偽陰性）を避けたい場合

例：疾病検出、セキュリティ侵入検知

特異度（Specificity）

定義：実際の陰性のうち正しく陰性と判定された割合

計算式：TN ÷ (TN + FP)

適用場面：陰性クラスの検出性能を重視する場合

統合指標

F1スコア

定義：適合率と再現率の調和平均

計算式：2 × (Precision × Recall) ÷ (Precision + Recall)

メリット：適合率と再現率のバランスを評価

適用場面：両方を重視したい不均衡データ

AUC-ROC

定義：ROC曲線の下の面積

意味：0.5〜1.0の値で、1.0に近いほど高性能

メリット：閾値に依存しない評価

適用場面：二値分類の総合的な性能評価

AUC-PR

定義：Precision-Recall曲線の下の面積

メリット：不均衡データにおけるAUC-ROCより適切

適用場面：陽性クラスが少ない問題

マシューズ相関係数（MCC）

定義：予測と実際のクラス間の相関係数

範囲：-1〜1（1に近いほど良い）

メリット：不均衡データでも信頼性が高い

混同行列の活用

混同行列は分類結果を詳細に分析するための表で、以下の要素で構成されます：

• TP（True Positive）：陽性を正しく陽性と予測
• TN（True Negative）：陰性を正しく陰性と予測
• FP（False Positive）：陰性を誤って陽性と予測
• FN（False Negative）：陽性を誤って陰性と予測

4. 回帰問題の評価指標

平均絶対誤差（MAE）

定義：予測値と実際値の差の絶対値の平均

特徴：外れ値に頑健で解釈しやすい

単位：目的変数と同じ単位

適用場面：外れ値の影響を抑えたい場合

平均二乗誤差（MSE）

定義：予測値と実際値の差の二乗の平均

特徴：大きな誤差により重いペナルティ

適用場面：大きな誤差を特に避けたい場合

平均二乗平方根誤差（RMSE）

定義：MSEの平方根

メリット：目的変数と同じ単位で解釈しやすい

適用場面：MSEの解釈性を向上させたい場合

決定係数（R²）

定義：モデルが説明できる分散の割合

範囲：0〜1（1に近いほど良い）

解釈：データのばらつきをどの程度説明できるか

注意点：特徴量を増やすと自動的に向上する

平均絶対パーセント誤差（MAPE）

定義：誤差の絶対値を実際値で割った値の平均

単位：パーセンテージ

メリット：異なるスケールのデータを比較可能

注意点：実際値が0に近い場合は不安定

5. 多クラス・多ラベル分類の評価

平均化手法

マクロ平均（Macro Average）

各クラスの指標を計算してから平均を取る手法

特徴：すべてのクラスを平等に扱う

適用場面：少数クラスの性能も重視したい場合

マイクロ平均（Micro Average）

全体のTP、FP、FNを合計してから指標を計算

特徴：サンプル数の多いクラスが重視される

適用場面：全体的な性能を重視したい場合

重み付き平均（Weighted Average）

各クラスのサンプル数で重み付けして平均

特徴：クラス不均衡を考慮した評価

適用場面：不均衡データの総合評価

多ラベル特有の指標

ハミング損失

ラベルごとの誤分類率の平均

範囲：0〜1（0に近いほど良い）

Exact Match Ratio

すべてのラベルが完全に一致した割合

特徴：非常に厳しい評価基準

6. クラスタリングの評価指標

内部評価指標（正解ラベル不要）

シルエット係数

定義：クラスタ内の凝集度とクラスタ間の分離度のバランス

範囲：-1〜1（1に近いほど良い）

メリット：視覚的に理解しやすい

カリンスキー・ハラバス指数

定義：クラスタ間分散とクラスタ内分散の比

特徴：高い値ほど良いクラスタリング

デイビース・ボールディン指数

定義：クラスタ内距離とクラスタ間距離の比の平均

特徴：低い値ほど良いクラスタリング

外部評価指標（正解ラベル必要）

調整ランド指数（ARI）

定義：ランダムな分割を基準とした調整済み一致度

範囲：-1〜1（1に近いほど良い）

正規化相互情報量（NMI）

定義：クラスタリング結果と正解の相互情報量

範囲：0〜1（1に近いほど良い）

7. 評価指標の選択指針

問題の性質による選択

バランスの取れた分類問題

推奨指標：正解率、F1スコア

各クラスのサンプル数が同程度の場合

不均衡データの分類問題

推奨指標：AUC-PR、F1スコア、MCC

少数クラスの検出が重要な場合

回帰問題

推奨指標：MAE（頑健性重視）、RMSE（大きな誤差回避）

目的に応じて選択

ビジネス要件による選択

偽陽性のコストが高い場合

重視する指標：適合率、特異度

例：スパム検出、自動投資システム

偽陰性のコストが高い場合

重視する指標：再現率、感度

例：医療診断、セキュリティ監視

説明可能性が重要な場合

推奨指標：正解率、MAE

ステークホルダーに理解しやすい指標を選択

8. 相互検証による評価

k分割交差検証

データをk個に分割し、k-1個で学習、1個で評価を繰り返す

メリット：全データを有効活用、評価の信頼性向上

一般的な値：k=5または10

層化k分割交差検証

各分割でクラス比率を保持する交差検証

適用場面：不均衡データの分類問題

時系列交差検証

時間順序を保持した分割による検証

適用場面：時系列データの予測問題

Leave-One-Out交差検証

1つのサンプルをテストデータとする極端な交差検証

適用場面：小規模データセット