AI外観検査を試す前に整理すること｜見逃し・過検出・確認負担の見方
AI外観検査の検討で、画像、判定基準、評価結果をどう整理するか。架空の100件を使い、正解率だけでなく見逃しと過検出を分けて確認する方法を説明します。
検査対象と、人が付ける基準を決める
AI外観検査を検討する前に、何の製品の、どの状態を見つけたいかを整理します。傷、汚れ、欠けなどをまとめて扱うと、どの種類で見逃したのかが分かりにくくなります。正しい状態を判断できる担当者と、評価する画像の範囲を決めましょう。
画像と、判定の根拠を一緒に残す
画像だけを集めても、担当者によって良否の付け方が違えば結果を比べにくくなります。対象、撮影条件、人による判定、根拠を結び付けます。AIの調整に使う画像と、調整後の確認に使う画像も分けて管理することを検討します。
表は横にスクロールできます
| 項目 | 記録する内容 |
|---|---|
| 画像ID | 原画像へ戻れる番号 |
| 対象と条件 | 製品の種類、向き、照明、撮影装置 |
| 担当者の判定 | 定めた基準で問題あり・問題なしを確認 |
| 判定の理由 | 傷の種類や位置、判断が難しい点 |
| 画像の用途 | 調整用か、評価用かを区別 |
架空の100件で、誤りを四つに分ける
問題ありの画像20件、問題なし80件を、人が確認したと仮定します。AIが問題ありとした18件のうち、15件は実際に問題あり、3件は問題なしでした。見逃した問題あり画像は5件です。次の表で、判定の組み合わせを確認できます。
表は横にスクロールできます
| 担当者が確認した状態 | AI：問題あり | AI：問題なし | 合計 |
|---|---|---|---|
| 問題あり | 15（検出） | 5（見逃し） | 20 |
| 問題なし | 3（過検出） | 77（正しく除外） | 80 |
| 合計 | 18 | 82 | 100 |
正解率だけでなく、見逃しと過検出を見る
Googleの機械学習教材では、正解率、再現率、適合率は異なる指標として説明されています。この架空例の正解率は92%ですが、問題あり20件のうち5件を見逃しています。「92%だから十分」と一つの数字だけで判断せず、誤りの内訳を確認します。
表は横にスクロールできます
| 指標 | 計算 | この例で見ること |
|---|---|---|
| 正解率 | (15+77)÷100＝92% | 全判定のうち正しかった割合 |
| 再現率 | 15÷20＝75% | 問題ありを、どれだけ検出したか |
| 適合率 | 15÷18≒83.3% | 問題ありとした候補のうち、実際に問題があった割合 |
| 過検出の件数 | 3件 | 人による再確認が必要になった候補 |
評価表と、現場の確認作業をつなげる
判定表の数字に加えて、見逃した画像の種類、過検出の理由、担当者が確認した時間を残します。撮影条件を変えたら、別の条件での結果として比較します。AIの候補から、誰がどこまで判断するかも先に決めましょう。
- 基準を定義
対象と、人が確認する基準を決める。
- 画像を区別
調整用と評価用の画像を管理する。
- 誤りを整理
見逃し・過検出と、対象画像を照合する。
- 担当者が検討
確認時間や条件の違いを含め、次の試行を決める。
次の架空の判定結果を、見逃しと過検出に分けて説明してください。 TP=15、FN=5、FP=3、TN=77。陽性は問題ありです。 合計、正解率、再現率、適合率を、式と分母を示して整理してください。実機の性能や合否の基準として扱わないでください。 最後に、担当者が追加で確認する項目を、対象画像・撮影条件・再確認時間の観点で挙げてください。
続けて試すための実践記事です。
比較条件と、保留する理由を残す
別の装置や設定を比べる際には、同じ評価画像と基準を使ったかを確認します。画像の種類が変われば単純に数字だけでは比べられません。判定できない画像や、原本がない結果を含め、何を保留したかを担当者が説明できる形で残しましょう。
相談前にそろえるもの
対象を整理
どの製品の何を見つける検討かを書く。
評価結果を分ける
画像と根拠、四つの判定結果を残す。
確認作業を記録
候補を人が確認する時間と困った点を残す。
自社の仕事で試したいことや、困っていることをお聞かせください。
