为什么张量没有连接到 TensorBoard 中的梯度？

Question

为了练习，我想在 tensorflow 中实现一个模型，它可以返回输入的平方。我的代码工作正常，但是当我查看 TensorBoard 中的计算图时，LOSS 操作没有连接到 Gradients 子图，也没有连接到 Adam。为什么是这样？据我了解，计算梯度，张量流必须推导损失。

这是我的代码：

import numpy as np

import tensorflow as tf

np_inp = np.array([3, 6, 4, 2, 9, 11, 0.48, 22, -2.3, -0.48])

np_outp = np.power(np_inp, 2)

inputs = tf.Variable(np_inp, name='input', trainable=False)

outputs = tf.Variable(np_outp, name='output', trainable=False)

multiplier = tf.Variable(0.1,                          

                             dtype=tf.float64, trainable=True, name='multiplier')

mul = inputs * multiplier

predict = tf.square(mul, name='prediction')

loss = tf.math.reduce_sum(tf.math.square(predict-outputs), name='LOSS')

optimizer = tf.train.AdamOptimizer(0.1)

to_minimize = optimizer.minimize(loss)

sess = tf.Session()

sess.run(tf.global_variables_initializer())

logs_path = "./logs/unt"  # path to the folder that we want to save the logs for Tensorboard

train_writer = tf.summary.FileWriter(logs_path, sess.graph)

for i in range(100):

  sess.run(to_minimize)

print(sess.run({'mult':multiplier}))

张量板： https ://gofile.io/?c=jxbWiG

Answer 1

这可能与直觉相反，但损失的实际值并不用于训练本身（尽管绘制它以查看其进度可能很有用）。优化器一般使用的是梯度，即每个变量的每次变化会如何影响损失值。为了计算这一点，创建了一个形状相同LOSS但填充了一个的张量，并通过反向传播计算每个操作的梯度。如果您打开gradients图表中的框，您将看到一个LOSS_grad表示此框的框。它是由几个节点组成的张量，因为某事物相对于自身的梯度总是一个。从那里，计算其余的梯度。