この問題では勾配降下法のパラメータ更新プロセスを実践します。ニューラルネットワークの学習がいかに行われているかを、手計算レベルで理解するための重要な演習です。
更新式
パラメータベクトル $w$ の更新ルールは：
$w_{\text{new}} = w_{\text{old}} - \eta \nabla L(w_{\text{old}})$
1. 勾配の計算
$\nabla L = (\frac{\partial L}{\partial w_1}, \frac{\partial L}{\partial w_2}) = (2w_1, 4w_2)$
点 $(2, -1)$ での勾配は：
$\nabla L(2, -1) = (2(2), 4(-1)) = (4, -4)$
2. 更新量の計算
学習率 $\eta = 0.1$ を掛けます：
$\eta \nabla L = 0.1 \times (4, -4) = (0.4, -0.4)$
3. 新しいパラメータの計算
$w_{\text{new}} = (2, -1) - (0.4, -0.4)$
$= (2 - 0.4, -1 - (-0.4))$
$= (1.6, -0.6)$
したがって、更新後の点は $(1.6, -0.6)$ です。
学習率の影響
$\eta$ が大きすぎると最適解を飛び越えて発散し、小さすぎると収束に時間がかかります。適切な学習率の設定（ハイパーパラメータチューニング）は機械学習の実装において極めて重要です。