モデルの性能評価

モデルの汎化能力と過学習

性能評価指標

タスクに応じた評価指標を利用する

回帰問題と分類問題では異なる評価指標を用いる。

データの性質や評価したい項目に応じてさらに使い分ける。

###　回帰問題

  • 決定係数 (coefficient of determination: $R^2$)
  • 平均二乗誤差 (MSE)
  • 二乗平均平方根誤差 (Root Mean Square Error: RMSE)

  • 平均絶対誤差 (Mean Absolute Error: MAE)

  • 外れ値が多く含まれる場合にはMAEを検討（外れ値の影響を受けにくい）

決定係数

\[R^2 = 1 - RSS / TSS\]

RSS… 残差平方和 TSS… 全平方和

二乗平均平方根誤差

\[RMSE = \sqrt{\frac{\sum_{i=1}^n (y^{(i)} - {y_{EST}}^{(i)})^2}{n}}\]

分類問題

  • 正解率
  • 混同行列
  • 適合率と再現率
  • ROC曲線とAUC