尤度比検定（Likelihood Ratio Test, LRT）の漸近理論
尤度比検定は統計的仮説検定の最も強力な手法の一つで、Neyman-Pearsonの補題により最適性が保証されています。漸近理論により、複雑なモデルでも実用的な検定が可能になります。
尤度比検定の優位性
最適性：Neyman-Pearson理論により最も検出力の高い検定です。一般性：あらゆる尤度ベースのモデルに適用可能です。
Step 1: 尤度比統計量の定義
帰無仮説 H₀: θ ∈ Θ₀ に対する尤度比統計量：
$\Lambda = 2\left[\ell(\hat{\theta}) - \ell(\hat{\theta}_0)\right]$
ここで：
- ℓ(θ̂)：制約なしでの最大対数尤度
- ℓ(θ̂₀)：H₀下での最大対数尤度
帰無仮説下で Λ ~ χ²(r) （r は制約の数）
指数分布の基本性質
指数分布 Exp(λ) の確率密度関数：
$f(x;\lambda) = \lambda e^{-\lambda x}, \quad x \geq 0$
| 統計量 | 値 | 推定量 |
|---|
| 期待値 | 1/λ | E[X] = x̄ |
| 分散 | 1/λ² | Var(X) |
| MLE | λ̂ = 1/x̄ | n/Σxᵢ |
Step 2: 指数分布での尤度関数
n個の独立標本 x₁, x₂, ..., xₙ に対する尤度関数：
$L(\lambda) = \prod_{i=1}^n \lambda e^{-\lambda x_i} = \lambda^n e^{-\lambda \sum_{i=1}^n x_i}$
対数尤度関数：
$\ell(\lambda) = n \log \lambda - \lambda \sum_{i=1}^n x_i = n \log \lambda - n\lambda \bar{x}$
本問では：
- n = 100
- x̄ = 2.5
- Σxᵢ = nx̄ = 250
Step 3: MLEの導出
対数尤度の微分：
$\frac{d\ell(\lambda)}{d\lambda} = \frac{n}{\lambda} - n\bar{x} = 0$
これを解くと：
$\hat{\lambda} = \frac{1}{\bar{x}} = \frac{1}{2.5} = 0.4$
最大対数尤度：
$\ell(\hat{\lambda}) = n \log \hat{\lambda} - n \hat{\lambda} \bar{x}$$= 100 \log(0.4) - 100 \times 0.4 \times 2.5$
log(0.4) の値を用いて計算すると、
$100×(−0.91629073187)−100=−91.629073187−100$$=−191.629073187$
Step 4: 帰無仮説下での対数尤度
H₀: λ = 0.5 下での対数尤度：
$\ell(\lambda_0) = n \log \lambda_0 - n \lambda_0 \bar{x}$$= 100 \log(0.5) - 100 \times 0.5 \times 2.5 $= 100 \log(0.5) - 125$
log(0.5) の値を用いて計算すると、
$100×(−0.69314718056)−125=$$−69.314718056−125=−194.314718056$
Step 5: 尤度比統計量の計算
$\Lambda = 2[\ell(\hat{\lambda}) - \ell(\lambda_0)]$
$\Lambda = 2[(-191.629073187) - (-194.314718056)]$= 2[2.685644869]$= 5.371289738$
尤度比検定の理論的基礎
Step 6: Wilksの定理
正則条件下で、尤度比統計量は帰無仮説下で：
$\Lambda \xrightarrow{d} \chi^2(r)$
ここで r は制約の数です。本例では λ に1つの制約があるので：
$\Lambda \sim \chi^2(1)$
Wilks定理の正則条件
- 識別可能性：パラメータ空間での一意性
- 内点条件：真値がパラメータ空間の内部
- 微分可能性：尤度関数の適切な微分可能性
- 情報行列条件：フィッシャー情報行列の正定値性
指数分布ではこれらがすべて満たされます。
検定の実行と判定
Step 7: 臨界値との比較
Λ = 5.36 と χ²(1) 分布の臨界値を比較：
| 有意水準 | 臨界値 | 判定 | p値 |
|---|
| 10% | 2.71 | 棄却 | ≈ 0.021 |
| 5% | 3.84 | 棄却 | ≈ 0.021 |
| 1% | 6.63 | 採択 | ≈ 0.021 |
Λ = 5.36 は 5% 水準で有意ですが、1% 水準では有意ではありません。
正確なp値の計算
χ²(1) 分布での p値：
$p\text{-value} = P(\chi^2(1) > 5.36) \approx 0.0206$
約 2.06% の確率で観測されるデータです。
他の検定統計量との比較
Step 8: Wald統計量との比較
同じ仮説に対するWald統計量：
$W = \frac{(\hat{\lambda} - \lambda_0)^2}{\hat{Var}(\hat{\lambda})}$
指数分布では Var(λ̂) = λ²/n なので：
$W = \frac{(0.4 - 0.5)^2}{(0.4)^2/100} = \frac{0.01}{0.0016} = 6.25$
スコア統計量も計算可能で、三者の値は漸近的に等しくなります。
三大検定統計量の比較
| 検定 | 統計量 | 本例での値 | p値 |
|---|
| 尤度比検定 | 5.36 | χ²(1) | 0.0206 |
| Wald検定 | 6.25 | χ²(1) | 0.0124 |
| スコア検定 | ≈ 5.8 | χ²(1) | ≈ 0.016 |
大標本では三者の値は近づきますが、有限標本では違いがあります。
指数分布での特殊性
Step 9: 指数族としての性質
指数分布は指数族に属し、以下の便利な性質があります：
$f(x;\lambda) = \exp\{\log\lambda - \lambda x + 0\}$
標準形：f(x; θ) = exp{θT(x) - A(θ) + B(x)}
- 自然パラメータ：θ = -λ
- 十分統計量：T(x) = x
- キュムラント関数：A(θ) = -log(-θ)
指数族での尤度比検定の簡略化
指数族では尤度比統計量が簡単な形になります：
$\Lambda = 2n[A(\hat{\theta}) - A(\theta_0) - (\hat{\theta} - \theta_0)\bar{T}]$
この性質により計算が効率化されます。
実際の応用例
Step 10: 信頼性工学での応用
指数分布の実用場面
- 機器の寿命分析：故障率が一定の場合
- 待ち時間分析：ポアソン過程での到着間隔
- 放射線検出：粒子の到着間隔
- 通信工学：パケット到着間隔
多パラメータへの拡張
Step 11: 一般的な尤度比検定
k次元パラメータ θ = (θ₁, ..., θₖ)' に対する仮説：
$H_0: \mathbf{g}(\boldsymbol{\theta}) = \mathbf{0}$
ここで g は r個の制約関数。尤度比統計量：
$\Lambda = 2[\ell(\hat{\boldsymbol{\theta}}) - \ell(\hat{\boldsymbol{\theta}}_0)] \sim \chi^2(r)$
回帰分析での例
線形回帰で複数係数の同時検定：
- H₀: β₁ = β₂ = ... = βₚ = 0 （全体の有意性）
- 尤度比統計量：制約なしと制約ありのモデル比較
- 自由度：制約の数 p
数値計算の詳細確認
Step 12: 計算の最終検証
| 項目 | 計算式 | 値 |
|---|
| MLE | 1/x̄ | 0.4 |
| ℓ(λ̂) | 100log(0.4) - 100 | -191.63 |
| ℓ(λ₀) | 100log(0.5) - 125 | -194.31 |
| 差 | ℓ(λ̂) - ℓ(λ₀) | 2.68 |
| 尤度比統計量 | 2 × 差 | 5.36 |