ロジスティック回帰 (Logistic Regression) とは？
ロジスティック回帰は、教師あり学習の中でも分類問題（特に二値分類、例: 合否、スパムか否か）に用いられる代表的なアルゴリズムです。線形モデルの出力をシグモイド関数に通すことで、結果を確率（0〜1）として解釈できるようにします。
モデルの構造と計算ステップ
- 線形結合の計算: 入力 \(\mathbf{x}\) と重み \(\mathbf{w}\)、バイアス \(b\) から線形結合 \(z\) を計算します。
$z = \mathbf{w}^T \mathbf{x} + b$
この問題では、既に \(z = -0.5\) と計算されています。
- シグモイド関数による確率変換: 線形結合 \(z\) をシグモイド関数 \(\sigma(z)\) に入力し、クラス1（陽性クラス）に属する確率 \(P(y=1|\mathbf{x})\) を求めます。
$\sigma(z) = \frac{1}{1 + e^{-z}}$
確率の計算実行
計算済みの線形結合 \(z = -0.5\) をシグモイド関数に代入します。
$ P(y=1|\mathbf{x}) = \sigma(-0.5) = \frac{1}{1 + e^{-(-0.5)}} = \frac{1}{1 + e^{0.5}}$
与えられた近似値 \(e^{0.5} \approx 1.6487\) を用います。
$ P(y=1|\mathbf{x}) \approx \frac{1}{1 + 1.6487} = \frac{1}{2.6487} \approx 0.3775...$
小数点以下3桁まで求めると、クラス1に属する確率は約 0.378 です。
通常、この確率が閾値（例: 0.5）より大きければクラス1、小さければクラス0と分類されます。この場合、確率は0.378であり0.5より小さいため、クラス0（陰性クラス）と予測されます。
重要ポイント：ロジスティック回帰
- 目的: 分類問題において、あるクラスに属する確率を予測する。
- 出力: 0から1の確率値。閾値を設けてクラス分類を行う。
- シグモイド関数: 線形結合の結果を確率に変換する役割。
- 線形分離: 基本的には線形分離可能な問題に適している。
- 解釈性: 各特徴量が結果（確率）に与える影響を比較的解釈しやすい。
- 応用: 医療診断（疾患の有無予測）、金融（デフォルト予測）、マーケティング（顧客の購入確率予測）など。