ポアソン回帰の最尤推定と対数尤度計算
ポアソン回帰は、カウントデータ（非負整数値）を扱う回帰手法で、目的変数がポアソン分布に従うと仮定します。
ポアソン回帰モデルの構成
ポアソン回帰モデル：
$$Y_i \\sim \\text{Poisson}(\\mu_i)$$
$$\\log(\\mu_i) = \\beta_0 + \\beta_1 x_i$$
ここで：
- $Y_i$：カウント型の目的変数
- $\\mu_i = E[Y_i]$：期待値（平均パラメータ）
- $\\log(\\mu_i)$：対数リンク関数
Step 1: ポアソン分布の確率質量関数
ポアソン分布の確率質量関数：
$$P(Y_i = y_i | \\mu_i) = \\frac{\\mu_i^{y_i} e^{-\\mu_i}}{y_i!}$$
対数尤度への寄与：
$$\\log P(Y_i = y_i | \\mu_i) = y_i \\log \\mu_i - \\mu_i - \\log(y_i!)$$
Step 2: 期待値の計算
与えられたパラメータ：$\\beta_0 = 0$、$\\beta_1 = 1$
モデル：$\\log(\\mu_i) = 0 + 1 \\cdot x_i = x_i$
したがって：$\\mu_i = \\exp(x_i)$
各データ点の期待値：
- $\\mu_1 = \\exp(0) = 1$
- $\\mu_2 = \\exp(1) = e \\approx 2.718$
- $\\mu_3 = \\exp(2) = e^2 \\approx 7.389$
Step 3: 対数尤度の計算
全体の対数尤度：
$$\\log L = \\sum_{i=1}^3 [y_i \\log \\mu_i - \\mu_i - \\log(y_i!)]$$
データ点1： $(x_1, y_1) = (0, 1)$、$\\mu_1 = 1$
$$\\log L_1 = 1 \\cdot \\log(1) - 1 - \\log(1!) = 0 - 1 - 0 = -1$$
データ点2： $(x_2, y_2) = (1, 3)$、$\\mu_2 = e \\approx 2.718$
$$\\log L_2 = 3 \\cdot \\log(2.718) - 2.718 - \\log(3!)$$
$$= 3 \\times 1 - 2.718 - \\log(6) = 3 - 2.718 - 1.792 = -1.51$$
データ点3： $(x_3, y_3) = (2, 9)$、$\\mu_3 = e^2 \\approx 7.389$
$$\\log L_3 = 9 \\cdot \\log(7.389) - 7.389 - \\log(9!)$$
$$= 9 \\times 2 - 7.389 - \\log(362880) = 18 - 7.389 - 12.801 = -2.19$$
Step 4: 全体の対数尤度
$$\\log L = \\log L_1 + \\log L_2 + \\log L_3$$
$$= -1 + (-1.51) + (-2.19) = -4.70$$
ポアソン回帰の対数尤度関数
一般形：
$$\\log L(\\boldsymbol{\\beta}) = \\sum_{i=1}^n \\left[ y_i (\\mathbf{x}_i^T \\boldsymbol{\\beta}) - \\exp(\\mathbf{x}_i^T \\boldsymbol{\\beta}) - \\log(y_i!) \\right]$$
特徴：
- 線形性：$y_i$ に対して線形
- 指数項：$\\exp(\\mathbf{x}_i^T \\boldsymbol{\\beta})$ による非線形性
- 最適化：通常、反復重み付き最小二乗法（IRLS）で解く
Step 5: 最尤推定の実装手順
1. スコア関数（勾配）
$$\\frac{\\partial \\log L}{\\partial \\beta_j} = \\sum_{i=1}^n (y_i - \\mu_i) x_{ij}$$
2. ヘッセ行列（2次微分）
$$\\frac{\\partial^2 \\log L}{\\partial \\beta_j \\partial \\beta_k} = -\\sum_{i=1}^n \\mu_i x_{ij} x_{ik}$$
3. ニュートン・ラフソン法による更新
$$\\boldsymbol{\\beta}^{(t+1)} = \\boldsymbol{\\beta}^{(t)} - \\mathbf{H}^{-1} \\mathbf{s}$$
Step 6: モデル診断
ポアソン回帰の診断手法
- 過分散の検定：分散が平均より大きいかチェック
- ピアソン残差：$r_i^P = \\frac{y_i - \\hat{\\mu}_i}{\\sqrt{\\hat{\\mu}_i}}$
- 偏差残差：$r_i^D = \\text{sign}(y_i - \\hat{\\mu}_i) \\sqrt{2[y_i \\log(y_i/\\hat{\\mu}_i) - (y_i - \\hat{\\mu}_i)]}$
- 情報量基準：AIC, BIC によるモデル選択