青の統計学-DS Playground-

機械学習編

教師あり学習・教師なし学習・強化学習など機械学習に関するG検定対策問題

実務での不正検知システム設計:不均衡データ対策の判断 レベル3

あなたはECサイト運営会社のデータサイエンティストです。クレジットカード不正利用検知システムの改善を担当しています。現在のデータの特徴は以下の通りです:

・全取引の99.5%が正常取引、0.5%が不正取引
・現在のモデルは単純にAccuracy=99.4%を達成
・しかし不正取引の80%を見逃している状況
・不正1件あたりの損失は平均50万円
・誤って正常取引を不正と判定すると顧客クレームが発生

この状況で最も適切なモデル改善方針を選びなさい。

解説

不均衡データは期待損失で指標を選ぶ

正解

見逃し1件50万円と、誤検知による機会損失・対応コストを見積もり、現状は見逃しが支配的なのでRecall改善(閾値・コスト考慮学習など)を優先しつつPrecisionも監視する。

正解になる理由

Accuracyは多数派を当てるだけで高く出せます。不正検知では偽陰性(見逃し)の損失が明示されています。ただし偽陽性にも運用コストがあるため、Recallを無限に優先するのではなく、両方の損失を見積もったうえで現状のボトルネック(見逃し80%)を先に潰します。

各誤答がなぜ誤りか

  • 選択肢2: Precision偏重は見逃しを増やし、与えられた50万円損失を拡大します。
  • 選択肢3: 不均衡下のAccuracyはほぼ無意味です。
  • 選択肢4: 不均衡はコスト付き学習やサンプリング、閾値設計で扱う典型課題です。
問題 1/20
カテゴリ一覧に戻る
問題検索