ReLUは勾配消失を緩和しやすい
正解
正の領域で勾配が1に近く減衰しにくく、計算も単純なため。
正解になる理由
シグモイドは飽和域で勾配がほぼ0になり、層が深いと逆伝播が消えやすいです。ReLUは $x>0$ で勾配1、$x\le 0$ で0です。計算が軽く、深いネットワークの中間層の標準的な出発点になります。ただし負域の勾配0によるDying ReLUには注意が必要です。
各誤答がなぜ誤りか
- 選択肢3: ReLUは確率校正をしません。確率化はシグモイドやソフトマックスの役割です。
- 選択肢4: 負域の勾配は0です。Dying ReLUはむしろReLUの既知の課題です。
- 選択肢2: 合計1への正規化はソフトマックスです。