ReLU関数の計算
ReLU（Rectified Linear Unit）は、ニューラルネットワークの中間層でよく使われる活性化関数です。定義は (f(x)=max(0,x)) で、入力が正ならそのまま出力し、0以下なら0を出力します。計算が単純で、Sigmoidやtanhより勾配消失を起こしにくいことから広く使われています。
正解の理由
問題では入力が (x=-3) です。ReLUは0と入力値の大きい方を返すので、
$f(-3)=max(0,-3)=0$
したがって選択肢1の0が正解です。負の値をそのまま返さず、0に切り上げる点がReLUの基本です。
他の選択肢の評価
- 選択肢2の-3は、恒等関数のように入力をそのまま返した値です。ReLUでは負の入力は0になります。
- 選択肢3の3は、絶対値関数のような処理をした値です。ReLUは符号を反転しません。
- 選択肢4の1は、Sigmoidの上限や確率値を連想した誤りです。ReLUの正の出力に上限はありません。
関連する頻出論点
- ReLUは正の領域で勾配が1、負の領域で勾配が0です。
- 負の入力が続くニューロンは更新されにくくなるため、Dying ReLU問題が起こることがあります。
- Leaky ReLUは負の領域にも小さな傾きを持たせ、Dying ReLUを緩和します。
G検定では、ReLUの式、グラフの形、利点と欠点をセットで押さえましょう。
試験対策の確認
ディープラーニングの問題では、層や関数の名前だけでなく、情報がどの向きに流れるか、どの量が学習されるか、どの量がハイパーパラメータかを区別することが重要です。実務では、活性化関数、出力層、損失関数、最適化手法、入力形状の組み合わせが崩れると学習や推論が成立しません。計算問題でも、式の各記号が何を表すかを確認しましょう。
追加の確認観点
選択肢を読む際は、層、活性化関数、損失関数、最適化、入力形状のどの要素を問われているかを切り分けてください。ディープラーニングでは、名称が似ていても役割が異なります。たとえばReLUは非線形性、Softmaxは多クラス確率、バックプロパゲーションは勾配計算、プーリングは空間サイズ縮小に関係します。実務では、形状計算や出力層の選択を誤ると学習が成立しません。G検定では、数式を丸暗記するだけでなく、どの問題を解くための部品かを説明できる状態を目標にしてください。