继续浏览精彩内容
慕课网APP
程序员的梦工厂
打开
继续
感谢您的支持,我会继续努力的
赞赏金额会直接到老师账户
将二维码发送给自己后长按识别
微信支付
支付宝支付

TensorFlow-3: 用 feed-forward neural network 识别数字

Alice嘟嘟
关注TA
已关注
手记 209
粉丝 75
获赞 279

这一节讲了使用 MNIST 数据集训练并评估一个简易前馈神经网络(feed-forward neural network)

input,output 和前两节是一样的:即划分数据集并预测图片的 label

data_sets.train 55000个图像和标签(labels),作为主要训练集。data_sets.validation    5000个图像和标签,用于迭代验证训练准确度。data_sets.test  10000个图像和标签,用于最终测试训练准确度(trained accuracy)。

主要有两个代码:

mnist.py
https://github.com/tensorflow/tensorflow/blob/master/tensorflow/examples/tutorials/mnist/mnist.py

  • 构建一个全连接网络,由 2 个隐藏层,1 个 `softmax_linearv 输出构成

  • 定义损失函数,用 `cross entropyv

  • 定义训练时的优化器,用 GradientDescentOptimizer

  • 定义评价函数,用 tf.nn.in_top_k

**fully_connected_feed.py   **
https://github.com/tensorflow/tensorflow/blob/master/tensorflow/examples/tutorials/mnist/fully_connected_feed.py

  • placeholder_inputs 传入 batch size,得到 image 和 label 的两个placeholder

  • 定义生成 feed_dict 的函数,key 是 placeholders,value 是 data

  • 定义 do_eval 函数,每隔 1000 个训练步骤,就对模型进行以下评估,分别作用于训练集、验证集和测试集

  • 训练时:

    • 导入数据

    • 得到 image 和 label 两个 placeholder

    • 传入 mnist.inference 定义的 NN, 得到 predictions

    • 将 predictions 传给 mnist.loss 计算 loss

    • loss 传给 mnist.training 进行优化训练

    • 再用 mnist.evaluation 评价预测值和实际值

代码中涉及到下面几个函数:

with tf.Graph().as_default():
即所有已经构建的操作都要与默认的 tf.Graph 全局实例关联起来,tf.Graph 实例是一系列可以作为整体执行的操作

summary = tf.summary.merge_all():
为了释放 TensorBoard 所使用的 events file,所有的即时数据都要在图表构建时合并至一个操作 op 中,每次运行 summary 时,都会向 events file 中写入最新的即时数据

summary_writer = tf.summary.FileWriter(FLAGS.log_dir, sess.graph):
用于写入包含了图表本身和即时数据具体值的 events file。

saver = tf.train.Saver():
就是向训练文件夹中写入包含了当前所有可训练变量值 checkpoint file

with tf.name_scope('hidden1'):
主要用于管理一个图里面的各种 op,返回的是一个以 scope_name 命名的 context manager,一个 graph 会维护一个 name_space 的堆,实现一种层次化的管理,避免各个 op 之间命名冲突。例如,如果额外使用 tf.get_variable() 定义的变量是不会被 tf.name_scope() 当中的名字所影响的

tf.nn.in_top_k(logits, labels, 1):
意思是在 K 个最有可能的预测中如果可以发现 true,就将输出标记为 correct。本文 K 为 1,也就是只有在预测是 true 时,才判定它是 correct。

打开App,阅读手记
0人推荐
发表评论
随时随地看视频慕课网APP