活性化関数と非線形性
ニューラルネットワークで活性化関数を使う最大の理由は、モデルに非線形性を導入するためです。線形変換だけを何層も重ねても、全体としては1つの線形変換にまとめられます。その場合、複雑な分類境界や入力と出力の非線形な関係を表現できません。
正解の理由
選択肢1は、活性化関数により非線形性を導入し、複雑な関係を表現できるようにすると述べています。これは多層ニューラルネットワークの本質です。ReLU、Sigmoid、tanhなどの活性化関数を各層に挟むことで、画像・音声・自然言語のような複雑なパターンを近似できるようになります。
他の選択肢の評価
- 選択肢2はデータ拡張のような話であり、活性化関数自体がデータ件数を増やすわけではありません。
- 選択肢3は誤りです。学習には予測と正解のずれを測る損失関数が必要です。
- 選択肢4も誤りです。活性化関数は重みを必ず0にする仕組みではありません。重みの抑制は正則化などの役割です。
覚えるべき対応
- 中間層: ReLU系がよく使われます。
- 二値分類の出力層: Sigmoidが典型です。
- 多クラス分類の出力層: Softmaxが典型です。
- 回帰の出力層: 恒等関数を使うことが多いです。
G検定では「活性化関数がない深いネットワークは、深くしても表現力が増えにくい」と理解しておくと、関連問題に対応しやすくなります。
試験対策の確認
ディープラーニングの問題では、層や関数の名前だけでなく、情報がどの向きに流れるか、どの量が学習されるか、どの量がハイパーパラメータかを区別することが重要です。実務では、活性化関数、出力層、損失関数、最適化手法、入力形状の組み合わせが崩れると学習や推論が成立しません。計算問題でも、式の各記号が何を表すかを確認しましょう。
追加の確認観点
選択肢を読む際は、層、活性化関数、損失関数、最適化、入力形状のどの要素を問われているかを切り分けてください。ディープラーニングでは、名称が似ていても役割が異なります。たとえばReLUは非線形性、Softmaxは多クラス確率、バックプロパゲーションは勾配計算、プーリングは空間サイズ縮小に関係します。実務では、形状計算や出力層の選択を誤ると学習が成立しません。G検定では、数式を丸暗記するだけでなく、どの問題を解くための部品かを説明できる状態を目標にしてください。