ReLUは学習を進めやすい活性化関数
ReLUは $f(x)=\max(0,x)$ で定義され、実務で最も広く使われる活性化関数の1つです。単純計算だけでなく、なぜ使われるかを理解することが重要です。
主な利点
- 正の領域で導関数が1となり、勾配が伝わりやすい。
- 計算コストが低く実装が簡単。
- スパースな活性化（負側は0）を作りやすい。
選択肢の判定
- 正解: 選択肢1。
- 選択肢2はシグモイド/ソフトマックスの役割。
- 選択肢3はReLU定義に反する。
- 選択肢4は誤り。幅広いタスクで使える。
注意点
- 負側で勾配0が続く「dying ReLU」が起きる場合がある。
- Leaky ReLUなどの派生関数で緩和することがある。