Bootstrap法（ブートストラップ法）の漸近理論と応用
Bootstrap法は統計学における革命的な再サンプリング手法で、複雑な統計量の分布を推定する強力な方法です。特に理論的分析が困難な場合に威力を発揮し、現代データ科学の必須ツールとなっています。
Bootstrap法の革新性
分布自由性：元の分布を仮定せずに統計量の分布を推定できます。汎用性：あらゆる統計量に適用可能で理論的制約が少ないです。
Step 1: Bootstrap法の基本原理
Bootstrap法の核心的アイデア：
- 元標本からの復元抽出：観測されたデータを「疑似母集団」とみなす
- 多数回の再標本化：B回（通常B=1000〜10000）の再抽出を実施
- 統計量の分布推定：各再標本での統計量から分布を構築
Bootstrap標本の作成
元標本 {x₁, x₂, ..., xₙ} から復元抽出でサイズnの新標本を作成：
$$\{X_1^*, X_2^*, \ldots, X_n^*\} \sim \text{復元抽出}(\{x_1, x_2, \ldots, x_n\})$$
| 特徴 | 内容 | 意味 |
|---|
| 復元抽出 | 同じ値が複数回選ばれる可能性 | 変動性の模擬 |
| 同サイズ | 再標本のサイズは元標本と同じ | 構造の保持 |
| 独立反復 | B回の独立な再標本化 | 分布の推定 |
Step 2: 標本平均のBootstrap標準誤差
経験分布 F̂ₙ の分散は分母 n の σ̂² = (1/n)Σ(xᵢ − x̄)² = ((n−1)/n)s² なので、B→∞ でのBootstrap標準誤差（理想Bootstrap SE）は：
$$SE_{Bootstrap}(\bar{X}) = \frac{\hat{\sigma}}{\sqrt{n}} = \sqrt{\frac{n-1}{n}}\,\frac{s}{\sqrt{n}} \approx \frac{s}{\sqrt{n}}$$
大標本では √((n−1)/n) → 1 なので、Bootstrap SE は s/√n に近似的に一致します。求める値は：
$$\frac{s}{\sqrt{n}} = \frac{2.4}{\sqrt{50}} = \frac{2.4}{7.071} = 0.3394$$
小数第3位まで：0.339（参考：理想Bootstrap SE は √(49/50) × 0.3394 ≈ 0.336）
Bootstrap一致性の理論
Bootstrap法が機能する理論的根拠：
- 経験分布の収束：Glivenko-Cantelli定理により経験分布が真の分布に収束
- Bootstrap一致性：√n(T* − Tₙ) の（データを与えた条件付き）分布が √n(Tₙ − θ) の分布を近似する
- 漸近性：n→∞で両者の分布の差が確率収束の意味で0に近づく
Bootstrap法の理論的基礎
Step 3: 経験分布関数との関係
Bootstrap法は経験分布関数 F̂ₙ(x) を「疑似母集団」として使用：
$$\hat{F}_n(x) = \frac{1}{n}\sum_{i=1}^n I(x_i \leq x)$$
この経験分布から生成された統計量：
$$T_n^* = T(X_1^*, X_2^*, \ldots, X_n^*)$$
の分布を調べることで、元の統計量 Tₙ の分布を近似します。
Bootstrap分布の一致性
適切な条件下で：
$$\sup_{x} \left|P^*\left(\sqrt{n}(T_n^* - T_n) \leq x\right) - P\left(\sqrt{n}(T_n - \theta) \leq x\right)\right| \xrightarrow{p} 0$$
ここで P* はBootstrap条件付き確率、P は真の確率です。T* と Tₙ の分布そのもの（中心化前）が近づくわけではない点に注意します。
| 統計量 | Bootstrap一致性 |
|---|
| 標本平均 | 分散が有限なら、中心化した標本分布は一致する。収束の速さ $O(n^{-1/2})$ は、有限分散だけでは保証されない |
| 標本分散 | 通常の $\sqrt{n}$ 漸近理論には、有限の4次モーメントなどが必要である |
| 順序統計量 | 密度など、統計量ごとの追加条件が必要 |
実際のBootstrap実装
Step 4: Bootstrap標準誤差の計算手順
- B回の再標本化：{x₁*, ..., xₙ*} を B = 1000 回作成
- 各再標本平均の計算：x̄ᵦ* = Σxᵢ*/n (b = 1, ..., B)
- Bootstrap標準誤差：SE* = √[Σ(x̄ᵦ* - x̄**)²/(B-1)]
ここで x̄** = Σx̄ᵦ*/B はBootstrap標本平均の平均です。
理論値との比較
十分大きなBに対して：
$$SE^*_{Bootstrap} \approx \sqrt{\frac{n-1}{n}}\,\frac{s}{\sqrt{n}} \approx 0.336 \approx \frac{s}{\sqrt{n}} = 0.339$$
有限のBではこの値の周りでモンテカルロ誤差による揺らぎが生じますが、Bを増やすほど小さくなります。
Bootstrap法の種類と特徴
Step 5: 主要なBootstrap手法
| 手法 | 特徴 | 適用場面 | 精度 |
|---|
| ノンパラメトリックBootstrap | 経験分布から再抽出 | 一般的な場合 | 良好 |
| パラメトリックBootstrap | 推定分布から再抽出 | 分布が既知 | 高 |
| 残差Bootstrap | 回帰の残差を再抽出 | 回帰モデル | 高 |
| ブロックBootstrap | 時系列データの依存性考慮 | 時系列分析 | 依存構造保持 |
本問での手法選択
本問は標本平均の標準誤差推定なので、ノンパラメトリックBootstrapが適切です：
- 分布仮定不要：元データの分布を仮定しない
- 実装簡単：単純な復元抽出で実現
- 一致性保証：有限分散なら標本平均のBootstrap一致性は成り立つ。収束の速さや、標本分散の $\sqrt{n}$ 漸近理論は、有限分散だけでは保証されない
Bootstrap信頼区間の構築
Step 6: パーセンタイル信頼区間
Bootstrap標本 {x̄₁*, x̄₂*, ..., x̄ᵦ*} の分位数を利用：
$$CI_{95\%} = [x̄_{(0.025)}, x̄_{(0.975)}]$$
標準誤差を用いた近似信頼区間：
$$CI_{95\%} = \bar{x} \pm 1.96 \times SE^* = 8.2 \pm 1.96 \times 0.339$$
$$= 8.2 \pm 0.664 = [7.536, 8.864]$$
Bootstrap信頼区間の種類
| 手法 | 計算 | 精度 | バイアス補正 |
|---|
| パーセンタイル法 | 分位数直接使用 | 良好 | なし |
| バイアス補正法 | BC法 | 高 | あり |
| 加速BC法 | BCₐ法 | 最高 | あり |
| t-Bootstrap | 標準化統計量使用 | 高 | 部分的 |
計算の詳細確認
Step 7: 数値計算の段階的検証
| ステップ | 計算 | 結果 |
|---|
| 標本標準偏差 | 与えられた値 | s = 2.4 |
| 標本サイズ | 与えられた値 | n = 50 |
| √n の計算 | √50 = √(25×2) | 5√2 ≈ 7.071 |
| 標準誤差 | s/√n = 2.4/7.071 | 0.3394 |
| 小数第3位 | 四捨五入 | 0.339 |
計算の検証
別の計算方法での確認：
$$\frac{s}{\sqrt{n}} = \frac{2.4}{\sqrt{50}} = \frac{2.4}{\sqrt{25 \times 2}} = \frac{2.4}{5\sqrt{2}} = \frac{2.4}{5 \times 1.414} = \frac{2.4}{7.071} \approx 0.3394$$
Bootstrap法の計算複雑度
Step 8: 計算効率の考慮
Bootstrap法の計算量：
- 再標本化：O(B × n) - B回の復元抽出
- 統計量計算：O(B × T) - 各回での統計量計算
- 標準誤差：O(B) - Bootstrap標本の分散計算
標本平均の場合、T = O(n) なので総計算量は O(B × n) です。
効率的な実装
| 最適化 | 手法 | 効果 |
|---|
| ベクトル化 | 行列演算の活用 | 大幅な高速化 |
| 並列処理 | 各Bootstrap標本の独立計算 | 線形高速化 |
| 近似手法 | サブサンプリング | 精度とのトレードオフ |
Bootstrap法の応用例
Step 9: 実際の統計解析での活用
Bootstrap法が特に有効な場面
- 複雑な統計量：理論的分析が困難な場合
- 小標本での補助：正規近似が粗そうなときの確認に使えます。ただしブートストラップの妥当性も大標本での理論に基づくので、小標本で正しさが保証されるわけではありません
- ノンパラメトリック推論：分布仮定を避けたい場合
- 機械学習：予測精度の評価
- バイオインフォマティクス：遺伝子発現解析
Bootstrap法の限界と注意点
Step 10: 使用上の制約
Bootstrap法が失敗する場合
- 極値統計：最大値・最小値の分布推定
- 重い尾を持つ分布：高次モーメントの推定
- 境界近くのパラメータ：制約付きパラメータ空間
- 時系列の長期依存：強い系列相関がある場合
対処法：
- 変換Bootstrap：適切な変換後に適用
- 修正手法：bias補正やスムージング
- 代替手法：Jackknife、クロスバリデーション