AdaGradによる学習率調整

問題:

あるパラメータに対するこれまでの勾配の二乗和が \(h = 10\) であり、現在の勾配が \(g = 3\) です。AdaGradの基本的な学習率が \(\eta = 0.1\) である場合、このステップで使用される実効的な学習率 \(\eta' = \frac{\eta}{\sqrt{h + \epsilon}}\) を計算してください。ただし、\(\epsilon = 10^{-8}\) は無視できるほど小さいとします。