データ前処理

1. データ前処理の概要

データ前処理は、機械学習プロジェクトの成功を左右する重要な工程です。「Garbage In, Garbage Out」という言葉があるように、質の悪いデータからは良いモデルは生まれません。データサイエンティストの作業時間の約80％がデータ前処理に費やされると言われています。

2. データ前処理の重要性

モデル性能の向上

適切に前処理されたデータは、モデルの予測精度を大幅に向上させます。ノイズの除去や特徴量の正規化により、アルゴリズムがパターンを効率的に学習できるようになります。

学習効率の改善

データの形式を統一し、不要な情報を除去することで、モデルの学習時間を短縮し、計算資源の使用量を削減できます。

過学習の防止

適切なデータクリーニングと特徴選択により、ノイズによる過学習を防ぎ、汎化性能の高いモデルを構築できます。

アルゴリズムの互換性

多くの機械学習アルゴリズムは特定の形式のデータを期待します。前処理により、様々なアルゴリズムで同じデータセットを使用できるようになります。

3. データクリーニング

欠損値の処理

問題：データの一部が空白または未記録

対処法：

• 削除：欠損値を含む行または列を除去
• 補完：平均値、中央値、最頻値で埋める
• 予測補完：他の特徴量から欠損値を予測
• フラグ追加：欠損していたことを示す新しい特徴量を作成

外れ値の検出・処理

問題：異常に大きい/小さい値がモデルに悪影響

対処法：

• 統計的手法：Z-score、IQR（四分位範囲）を使用
• 可視化：箱ひげ図、散布図で視覚的に確認
• 除去または上限設定：外れ値を削除または上下限値でクリップ
• 変換：対数変換などで影響を軽減

重複データの除去

問題：同じレコードが複数存在

対処法：

• 完全一致する行の特定と除去
• 類似度の高いレコードの統合
• 一意識別子の確認と重複チェック

4. データ変換

正規化・標準化

目的：異なるスケールの特徴量を統一

手法：

• Min-Max正規化：0-1の範囲にスケール調整
• Z-score標準化：平均0、標準偏差1に調整
• ロバストスケーリング：外れ値に頑健な変換

カテゴリカルデータのエンコーディング

目的：文字列データを数値に変換

手法：

• ラベルエンコーディング：カテゴリを整数に変換
• One-Hotエンコーディング：カテゴリをバイナリ変数に分解
• 順序エンコーディング：順序のあるカテゴリに適用
• ターゲットエンコーディング：目的変数との関係を利用

特徴量変換

目的：データの分布を改善し、線形関係を作る

手法：

• 対数変換：右に歪んだ分布を正規分布に近づける
• 平方根変換：軽度の歪みを修正
• Box-Cox変換：最適な変換パラメータを自動決定
• 多項式特徴量：非線形関係を線形モデルで扱う

5. 特徴量エンジニアリング

新しい特徴量の作成

手法：

• 日時特徴量：年、月、曜日、時間帯の抽出
• 集計特徴量：グループごとの統計値（平均、合計など）
• 比率特徴量：異なる特徴量の比や差
• 交互作用特徴量：複数の特徴量の組み合わせ

特徴量選択

手法：

• フィルタ法：統計的指標に基づく選択
• ラッパー法：モデル性能に基づく選択
• 埋め込み法：学習過程で自動的に特徴量を選択
• 次元削減：PCA、t-SNEなどで次元を圧縮

6. 前処理のワークフロー

1. データ理解

データの構造、型、分布を把握し、潜在的な問題を特定します。

2. 品質評価

欠損値、外れ値、重複、データの一貫性をチェックします。

3. クリーニング

特定した問題を修正し、データの品質を向上させます。

4. 変換

アルゴリズムに適した形式にデータを変換します。

5. 特徴量エンジニアリング

ドメイン知識を活用して新しい特徴量を作成します。

6. 検証

前処理後のデータでモデルを訓練し、効果を確認します。

7. 実践的なツールとライブラリ

Python ライブラリ

• pandas：データ操作と分析の基本ツール
• numpy：数値計算と配列操作
• scikit-learn：前処理関数の豊富なコレクション
• matplotlib/seaborn：データ可視化によるチェック

R パッケージ

• dplyr：データ操作と変換
• tidyr：データの整理と形状変換
• VIM：欠損値の可視化と処理
• caret：機械学習の前処理

その他のツール

• OpenRefine：GUIベースのデータクリーニング
• Trifacta：商用データ準備プラットフォーム
• Apache Spark：大規模データの分散処理

8. ベストプラクティス