如何提供梯度函数 GradientDescentOptimizer

Question

我看过几个使用 GradientDescentOptimizer 的例子。这是一个很好的

上面例子中的模型是：

y_model = tf.multiply(x, w[0]) + w[1]

我们是否提供 tensorflow 梯度函数？它如何知道如何计算梯度？

Answer 1

不，我们不提供梯度功能。这就是 TF 和许多其他 DL 框架使用的自动微分的美妙之处。知道你需要优化的函数，微分器使用规则来获取程序的每个元素的导数（当你在核心 TF 中定义任何 op 时，你需要为这个 op 注册一个梯度）。它还使用链式规则将复杂的表达式分解为更简单的表达式。