最急降下法の更新方向
勾配は、関数値が最も増加する方向を示します。損失関数を小さくしたい場合は、その逆方向へ進む必要があります。更新式は $w_new = w_old - 学習率 × 勾配$ で、正解は「勾配の逆方向に進む」です。 (選択肢2が正しい)
正解の理由
勾配は、関数値が最も増加する方向を示します。損失関数を小さくしたい場合は、その逆方向へ進む必要があります。更新式は $w_new = w_old - 学習率 × 勾配$ で、正解は「勾配の逆方向に進む」です。
仕組み・頻出ポイント
- 学習率はで、1回の更新幅を決める重要なハイパーパラメータです。
- 学習率が大きすぎると発散や振動が起こり、小さすぎると収束が遅くなります。
- ニューラルネットワークでは、誤差逆伝播で勾配を求め、最適化手法でパラメータを更新します。
G検定で覚えるべきこと
「勾配」は増える方向、「最急降下」は減らす方向という符号の違いを必ず押さえてください。目的が損失最小化ならマイナス、報酬最大化など別の定式化では符号の見方が変わります。G検定では式そのものより、損失を下げるために勾配と逆向きへ動くという直感が頻出です。
他の選択肢の評価
- 選択肢1: 勾配と同じ方向は損失を増やす方向なので、最小化には不適切です。
- 選択肢2: 正解です。マイナス勾配方向へ進むのが最急降下法です。
- 選択肢3: 原点方向とは限りません。現在位置と損失曲面の形で方向が決まります。
- 選択肢4: ランダム方向だけでは効率的な最小化にならず、最急降下法の説明ではありません。
実務での見方
実務のモデル学習では、勾配の向きだけでなく、どれくらい進むかを決める学習率の調整が性能と安定性を大きく左右します。損失が下がらない場合は、学習率、データのスケーリング、勾配爆発・消失、初期値などを確認します。最急降下法は多くの最適化手法の土台です。
確認観点
確認観点としては、勾配の意味、更新式の符号、学習率の大きさです。損失を小さくする問題では「勾配は上り坂、更新は下り坂」と覚えると、選択肢の正誤を短時間で判断できます。
結論として、この問題では「用語の定義」だけでなく、どの前提で使えるのか、どの誤解を避けるべきか、実務では何を確認するのかまで結びつけて理解することが重要です。