指数分布の確率密度関数と尤度関数
指数分布$\text{Exp}(\lambda)$の確率密度関数は：
$f(x; \lambda) = \lambda e^{-\lambda x} \quad (x \geq 0, \lambda > 0)$
ここで$\lambda$は率パラメータ（rate parameter）です。
最尤推定法の理論的基礎
Step 1: 尤度関数の構成
独立同分布な標本$X_1, X_2, \ldots, X_n$に対する尤度関数：
$L(\lambda) = \prod_{i=1}^n f(x_i; \lambda) = \prod_{i=1}^n \lambda e^{-\lambda x_i} = \lambda^n e^{-\lambda \sum_{i=1}^n x_i}$
Step 2: 対数尤度関数の導出
計算の簡便性のため対数を取ります：
$\ell(\lambda) = \log L(\lambda) = \log(\lambda^n) + \log(e^{-\lambda \sum_{i=1}^n x_i}) = n \log \lambda - \lambda \sum_{i=1}^n x_i$
最尤推定量の導出
Step 3: 一階条件（スコア方程式）
対数尤度関数を$\lambda$で微分：
$\frac{d\ell(\lambda)}{d\lambda} = \frac{n}{\lambda} - \sum_{i=1}^n x_i$
最尤推定量は一階条件$\frac{d\ell(\lambda)}{d\lambda} = 0$を満たします：
$\frac{n}{\hat{\lambda}} - \sum_{i=1}^n x_i = 0$
Step 4: 最尤推定量の解
上式を$\hat{\lambda}$について解くと：
$\frac{n}{\hat{\lambda}} = \sum_{i=1}^n x_i \Rightarrow \hat{\lambda} = \frac{n}{\sum_{i=1}^n x_i} = \frac{1}{\frac{1}{n}\sum_{i=1}^n x_i} = \frac{1}{\bar{x}}$
二階条件による最大値の確認
Step 5: 二階微分による確認
$\frac{d^2\ell(\lambda)}{d\lambda^2} = -\frac{n}{\lambda^2} < 0$
二階微分が負なので、$\hat{\lambda} = \frac{1}{\bar{X}}$で対数尤度関数は最大値を取ります。
最尤推定量の統計的性質
指数分布最尤推定量の性質
一致性：
$\hat{\lambda} = \frac{1}{\bar{X}} \xrightarrow{P} \frac{1}{E[X]} = \frac{1}{1/\lambda} = \lambda$
漸近正規性：
$\sqrt{n}(\hat{\lambda} - \lambda) \xrightarrow{d} N(0, \lambda^2)$
不偏性の欠如：
$E[\hat{\lambda}] = E\left[\frac{1}{\bar{X}}\right] \neq \frac{1}{E[\bar{X}]} = \lambda$
（ジェンセンの不等式により、$1/\bar{X}$の期待値は$1/E[\bar{X}]$と等しくない）
Step 6: フィッシャー情報量
標本全体（$n$個）のフィッシャー情報量は：
$I_n(\lambda) = -E\left[\frac{d^2\ell(\lambda)}{d\lambda^2}\right] = E\left[\frac{n}{\lambda^2}\right] = \frac{n}{\lambda^2}$
1観測あたりは$I_1(\lambda) = 1/\lambda^2$で、$I_n(\lambda) = nI_1(\lambda)$です。
したがって、クラメール・ラオ下界は$\frac{\lambda^2}{n}$となります。
指数分布族との関係
Step 7: 指数型分布族の標準形
指数分布は指数型分布族に属し、以下の形で表現できます：
$f(x; \lambda) = \exp(\lambda \cdot (-x) - (-\log \lambda) + 0)$
この形から、$T(X) = -X$が十分統計量であり、$\sum_{i=1}^n X_i$も十分統計量となることがわかります。
したがって、答えは$\hat{\lambda} = \frac{1}{\bar{x}}$です。