外れ値の処理方針
分野: 基礎統計
外れ値は「グラフから外れた点」ではなく、まずデータ生成過程の異常か、分布の尾の正当な観測かを切り分ける応用問題です。機械的削除は推定を歪め、測定誤りの放置も同様に歪めます。
1. 外れ値候補の意味
箱ひげの 1.5×IQR ルールは探索的な旗であり、自動削除ルールではありません。分布が右に歪む配送時間では、上限側に点が残りやすいです。
2. 原因別の扱い
- 入力・測定誤り：訂正できるなら訂正し、根拠が明確なら分析対象から外します。これはデータの誤りを直す操作です。
- 実在する極端値：豪雪のような説明可能な稀事象は、母集団の一部である可能性があります。除外すると「通常日だけの平均」になり、問いが変わります。
3. 感度分析
実在外れ値を残した場合と外した場合で、平均・中央値・回帰係数がどれだけ動くかを報告します。中央値や四分位範囲は平均より頑健なので、併記すると解釈が安定します。
4. 選択肢の検討
- 誤りは訂正し実測は残し感度分析 → 正しい。原因と分析目的に沿った処理です。
- 1.5×IQR超はすべて削除 → 誤り。探索的基準を削除規則にしています。
- 平均値で置換 → 誤り。平均への引き寄せが分散を過小にし、t検定の前提も歪みます。
- nが大きければ無視 → 誤り。1点がレバーになって平均を動かすことは、nが大きくても起こり得ます。
- 対数変換で診断不要 → 誤り。変換は歪み緩和の手段ですが、入力誤りは消えず、変換後も残差診断が必要です。
外れ値処理は「削除の有無」より「なぜその値か」
事前に分析計画へ「誤りは訂正、実在値は残す／ロバスト法」と書いておくと、結果を見てから都合よく削ることを防げます。
回帰ではクック距離やレバレッジも併用します。本問は記述統計の方針選択なので、まず記録の監査と感度分析が本体です。
5. 分析目的で残す／外すを変える
「通常営業日の平均配送時間」が問いなら、豪雪日は対象外と事前定義できます。その場合は除外ではなく、分析母集団の再定義です。「年間を通した遅延リスク」が問いなら豪雪は残します。本問は原因が分かれた2件なので、一律削除が最悪です。
平均値置換は、見かけのnを保ちつつ分散を小さくし、標準誤差を過小評価します。検定のpが小さく見えすぎます。対数変換は右裾の圧縮には有効でも、24時間制の入力誤りは変換前に直すべきです。
箱ひげの点は「候補」です。候補を見た瞬間に削除すると、探索と確認を同じデータでやる二重使用になります。方針は分析計画に先に書くのが原則です。
処理方針は誤り訂正・母集団の定義・頑健法・感度分析の組合せです。本問は入力誤りと実在豪雪が混在しているので、一律ルールが破綻します。1.5×IQRは探索、削除は確認、と段階を分けること。平均値置換は分散を過小にし、対数変換は記録誤りを消しません。nが大きいことは、1点が平均を動かす可能性をゼロにはしません。
感度分析の書き方は、『全件』『誤り訂正のみ』『誤り訂正＋豪雪除外』の3通りの平均と中央値を並べるのが分かりやすいです。結論が同じなら頑健、平均だけが大きく動くなら外れ値依存、と読めます。中央値が安定していれば、分布の中央の話と尾の話を分けて報告できます。削除の有無を二元論にしないことが方針選択の本体です。
入力誤りは訂正、実在豪雪は残す、除外の影響は感度分析、が方針の骨格です。1.5IQR全削除、平均置換、nが大きいから無視、変換で診断不要、は原因を見ていません。外れ値は旗であり、自動削除ルールではありません。方針は分析計画に先に書くのが原則です。
したがって、最も適切なのは原因に応じて訂正し、実在値は残して感度分析する方針です。