回帰分析

線形回帰、一般化線形モデル、ロジスティック回帰、モデル選択など統計検定準1級レベルの回帰分析理論

一般化線形モデルの理論レベル1

ポアソン回帰において、リンク関数が$g(\mu) = \log(\mu)$、線形予測子が$\eta = \beta_0 + \beta_1 x$のとき、平均$\mu$と線形予測子$\eta$の関係はどれか。

解説

解答と解説を表示

Step 1: GLMの3つの構成要素

Step 2: 指数型分布族の一般形

指数型分布族は以下の形で表現される：

$f(y|\theta, \phi) = \exp\left(\frac{y\theta - b(\theta)}{a(\phi)} + c(y, \phi)\right)$

ここで：

Step 3: ポアソン分布の指数型表現

ポアソン分布$\text{Poisson}(\mu)$：

$P(Y = y) = \frac{\mu^y e^{-\mu}}{y!}$

指数型分布族の形に変換：

$P(Y = y) = \exp(y\log\mu - \mu - \log y!)$

ここで：

分布	平均の範囲	正準リンク関数	逆リンク関数
正規分布	$(-\infty, \infty)$	$g(\mu) = \mu$	$\mu = \eta$
ポアソン分布	$(0, \infty)$	$g(\mu) = \log\mu$	$\mu = e^\eta$
二項分布	$(0, 1)$	$g(\mu) = \log\frac{\mu}{1-\mu}$	$\mu = \frac{e^\eta}{1+e^\eta}$

Step 4: ポアソン回帰の数学的導出

リンク関数の定義：

$g(\mu) = \eta$

ポアソン回帰では$g(\mu) = \log\mu$なので：

$\log\mu = \eta$

両辺の指数を取ると：

$\mu = \exp(\eta) = \exp(\beta_0 + \beta_1 x)$

ここで、$\beta_0$は切片、$\beta_1$は回帰係数です。

Step 5: 正準リンク関数の利点

Step 6: 最尤推定

対数尤度関数：

$\ell(\boldsymbol{\beta}) = \sum_{i=1}^n [y_i\eta_i - \exp(\eta_i) - \log y_i!]$

スコア関数：

$\frac{\partial \ell}{\partial \beta_j} = \sum_{i=1}^n (y_i - \mu_i) x_{ij}$

問題検索