4.5) モデル比較の指標

モデル比較に使用されるIoUとmAPの2つの指標について説明します。

4.5.1) IoU

../_images/45_1_iou.png

図1 IoU

IoU(Intersection Over Union)は、 正解の領域(人によってラベル付けされた領域)とモデルが予測した領域の重なり具合を表す指標です(図1)。 正解領域と予測領域の重なりが大きいほど値が大きくなります。

4.5.2) mAP

mAP(mean Average Precision)は、 検出した物体の分類があっているか(画像が「犬」のとき物体認識結果も「犬」となっているか)の程度を示す指標で、 数値が大きいほど精度が高くなります。

mAPの算出

mAPは、検出対象の物体種別(カテゴリー)ごとの 平均適合率(AP:Average Precision) を、カテゴリーで平均した式として表されます(式1)。

平均適合率(AP:Average Precision)

../_images/45_3_ap_graph.png

図3 平均適合率の求め方

各カテゴリーの平均適合率は、次のような手順で、適合率と再現率のグラフにおける領域の面積として求めることができます。

  1. モデルの予測結果を、モデルの出力する信頼度スコア順に並べる。

  2. ラベルごとに、信頼度スコアがそのラベルの値以上の予測結果について、 適合率と再現率 を求める。

  3. 適合率と再現率のグラフから、適合率の下側の面積を求める。

ここで、予測ラベルが正解かどうか(図3表内の予測結果)は、例えば、IoUがある閾値以上(0.5以上など)で、 最も信頼度スコアが高い予測ラベルを正解とするように判断されます。

画像データに含まれる犬の正解ラベルが5個で、 モデルの予測結果が図3左側の表のようになったケースを例に算出方法を説明します。 まず、各予測ラベルの適合率と再現率を次のように求めていきます。

  • IDが1の場合、予測結果は正解のみとなり、適合率は1.0となります。 一方、データ内の正解ラベル5個のうち1個しか正解していないので、再現率は0.2になります。

  • IDが2の場合、予測結果2個(ID1と2)は正解のみとなり、適合率は1.0となります。 一方、データ内の正解ラベル5個のうち2個正解しているので、再現率は0.4になります。

  • IDが3の場合、予測結果3個(ID1〜3)のうち2個が正解なので、 適合率は2/3(=0.67)になります。 一方、データ内の正解ラベル5個のうち2個が正解なので、再現率は0.4になります。

このようにして、モデルが予測した全てのラベルの適合率と再現率を順次求め、 その結果を再現率-適合率のグラフ(図3右側)として整理します。 このグラフから、平均適合率(AP)は、適合率の下側の面積として求められます。 (ただし、図3グラフ内の緑の領域のように、実際の計算では、階段型の関数に置き換えて近似的に算出されることがあります)。

適合率と再現率

../_images/45_4_precision_recall.png

図4 適合率と再現率

適合率(Precision)と再現率(Recall)について、画像データに含まれる物体が「犬」かどうかを予測するケースを例に説明します。

モデルの予測結果の件数を、次のような区分で整理します(図4)。

  • 画像内の犬を犬として予測できた場合(TP: True Positive=真陽性)

  • 犬でない物体を犬として予測した場合(FP: False Positive=偽陽性)

  • 画像内の犬を犬でないと予測した場合(FN: False Negative=偽陰性)

  • 犬でない物体を犬でないと予測できた場合(TN: True Negative=真陰性)

このとき、適合率と再現率は、図4の右側の式で示すことができます。適合率と再現率は以下のように解釈できます。

  • 適合率: モデルが「犬」と予測した結果のうち、本当に「犬」であった割合

  • 再現率: 画像内の「犬」のうち、モデルが「犬」と予測できた割合