ニューラルネットワーク、CNN、RNN、Transformer、活性化関数、最適化手法に関するG検定対策問題
あなたはAI導入コンサルタントとして、製造業の品質管理システム開発を担当しています。深層学習を用いた製品不良検知システムの構築において、以下の課題が発生しました。
現状の問題:
・10層の全結合ニューラルネットワークを構築
・Sigmoid活性化関数を全層で使用
・学習開始後、初期層の重みがほとんど更新されない
・深い層のみ学習が進み、浅い層は学習停滞
・検証精度が期待値に達しない
この勾配消失問題を解決するための最も適切な対策を選びなさい。
正解
選択肢4「隠れ層のSigmoid活性化関数をReLUに変更し、適切な重み初期化を行う」が正解です。
正解になる理由
勾配消失問題の主要因はSigmoid関数の特性にあります。Sigmoidは飽和領域で勾配が0に近づき(導関数の最大値も0.25)、逆伝播で層を重ねるごとに勾配が指数的に減衰します。ReLU関数は正の領域で勾配が1のため、勾配消失を大幅に軽減できます。加えて、He初期化などの適切な重み初期化により、学習の安定化を図れます。なお、置き換えるのは隠れ層の活性化関数です。不良か否かの確率を出力する二値分類の出力層は、Sigmoid(多クラスならSoftmax)のままで構いません。
各誤答がなぜ誤りか