琴代语兮
2017-07-02 00:14
那个权重更新算法,为什么那样更新是合理的,那个更新后的参数就会逼近最终答案?
首先,我们所求的答案并不一定是最优答案(最值),而通常是相对最优答案(极值)。拿周志华机器学习中的例子来说,当你站在山坡的某个位置时,只看你当前位置朝哪个方向走下山最快(即求导的过程),然后朝那个方向迈出一步(即更新权重的过程),之后继续看朝哪个方向走下山最快,再继续迈出一步(反复迭代)。也许,你会走到真正的山底(最值),也许你遇到某个坑就停下了(极值)。而针对极值,如果想要跳出,就涉及后面的优化算法了。
它本质上用到的是梯度迭代算法。你可以去看看周志华的机器学习
机器学习-实现简单神经网络
66868 学习 · 182 问题
相似问题