章节索引 :

使用 TensorFlow 加载 Numpy 数据

在科学计算之中,Numpy 是一种必不可少的工具,因此我们在机器学习的过程之中难免会遇到使用 Numpy 数据的情况,所以我们有必要学习如何在 TensorFlow 之中学习如何使用 Numpy 数据。

1. 什么是 Numpy

Numpy 是 Python 的一个扩展库。支持高阶维度数组的复杂运算以及矩阵的运算。因此在进行科学计算的时候使用 Numpy 进行数据处理便会特别的方便。

在具体的使用过程之中,我们一般会遇到两种情况:

  • 在内存中定义了 Numpy 数组,需要提供给 TesnorFlow 使用
  • 我们需要加载 Numpy 存放的文件的数据,也就是需要从“.npz”文件之中读取数据

因此这节课之中我们就从两个方面来说明如何使用 Numpy 数据。

2. 在内存中使用 Numpy 数据

如果我们在内存中定义了 Numpy 数据,那么我们便可以通过 tf.convert_to_tensor() 函数来将 Numpy 数据转化为 Tensor,从而提供给 TensorFlow 使用。比如以下示例:

import tensorflow as tf
import Numpy as np

x_np = np.zeros((5, 3))
x_tensor = tf.convert_to_tensor(x_np)

print(type(x_np), type(x_tensor))
print(x_tensor)

我们可以得到结果如下,说明该函数已经成功的将 Numpy 数组转化为了 Tensor 对象:

<class 'Numpy.ndarray'> <class 'tensorflow.python.framework.ops.EagerTensor'>
tf.Tensor(
[[0. 0. 0.]
 [0. 0. 0.]
 [0. 0. 0.]
 [0. 0. 0.]
 [0. 0. 0.]], shape=(5, 3), dtype=float64)

那如果我们需要将 Tensor 转化为 Numpy 呢?我们只需要使用 Tensor 对象中的 Numpy 函数即可将其转化为 Numpy

比如我们接上面的例子:

......

print(type(x_np_new))
print(x_np_new)

我们可以得到输出:

<class 'Numpy.ndarray'>
[[0. 0. 0.]
 [0. 0. 0.]
 [0. 0. 0.]
 [0. 0. 0.]
 [0. 0. 0.]]

由此我们可以发现,通过 Tensor 对象的 Numpy 方法可以将 Tensor 对象转化为 Numpy 数组。

3. 从“.npz”文件之中读取数据

当我们要从 .npz 文件之中读取并使用数据的时候,我们大概要经过三个步骤

  • 打开 .npz 文件,并且其格式加载数据,要注意,不同的 .npz 文件中的格式都是由人为定义的,因此只有了解了文件中的组织格式,才能加载数据
  • 将加载的 .npz 数据转化为 tf.data.Dataset ;
  • 进一步处理并使用该数据集合。

下面我们以一个简单的手写数字识别数据集(mnist)为例,来演示如何进行数据的加载与使用。

3.1 打开文件并加载数据

这里用到的npz文件大家可以从谷歌仓库中下载,大家可以通过该链接下载。

然后我们需要首先得到下载文件的本地地址,在这里我假设地址是’/root/.keras/datasets/mnist.npz’。

该数据集是由一个字典组成,这个字典由四个元素组成,他们的key分别是:

  • x_train: 训练数据的图片数据;
  • y_train: 训练数据的标签;
  • x_test: 测试数据的图片数据;
  • y_test: 测试数据的标签。

了解了数据的结构后,我们便可以通过以下操作进行数据的加载:

import Numpy as np
import tensorflow as tf

path = '/root/.keras/datasets/mnist.npz'
with np.load(path) as np_data:
  train_exa = np_data['x_train']
  train_labels = np_data['y_train']
  test_exa = np_data['x_test']
  test_labels = np_data['y_test']

这样我们便完成了数据的加载。

3.2 构建tf.data.Dataset数据集

和之前一样,我们主要是通过 tf.data.Dataset.from_tensor_slices() 函数来构建数据集。比如我们可以通过以下代码实现:

train_dataset = tf.data.Dataset.from_tensor_slices((train_exa, train_labels))
test_dataset = tf.data.Dataset.from_tensor_slices((test_exa, test_labels))

print(train_dataset, test_dataset)

我们可以得到如下输出:

<TensorSliceDataset shapes: ((28, 28), ()), types: (tf.uint8, tf.uint8)>
<TensorSliceDataset shapes: ((28, 28), ()), types: (tf.uint8, tf.uint8)>

由此,我们便通过 Numpy 数组正式构建了 tf.data.Dataset 数据集合。

3.3 进一步的处理与使用

当我们仅仅创建了数据集是远远不够的,我们还要进行进一步的处理,比如分批、打乱等基本操作。

train_dataset = train_dataset.shuffle(128).batch(64)
test_dataset = test_dataset.batch(64)

print(train_dataset, test_dataset)

我们可以得到如下输出:

<BatchDataset shapes: ((None, 28, 28), (None,)), types: (tf.uint8, tf.uint8)>
<BatchDataset shapes: ((None, 28, 28), (None,)), types: (tf.uint8, tf.uint8)>

在这里,我们对数据集合进行了乱序处理,然后将其按照 64 的大小进行批次的划分。

在接下来我们便可以使用该数据集,在这里我们可以使用一个简单的分类模型进行示例:

model = tf.keras.Sequential([
    tf.keras.layers.Flatten(input_shape=(28, 28)),
    tf.keras.layers.Dense(64, activation='relu'),
    tf.keras.layers.Dense(10, activation='softmax')
])

model.compile(optimizer='adam',
      loss=tf.keras.losses.SparseCategoricalCrossentropy(),
      metrics=['accuracy'])

model.fit(train_dataset, epochs=20)

model.evaluate(test_dataset)

我们可以通过输出发现,该模型对数据进行了良好的分类:

Epoch 1/20
469/469 [==============================] - 1s 3ms/step - loss: 6.4886 - accuracy: 0.8282
Epoch 2/20
469/469 [==============================] - 1s 3ms/step - loss: 1.0750 - accuracy: 0.8630
......
Epoch 20/20
469/469 [==============================] - 1s 3ms/step - loss: 0.1222 - accuracy: 0.9657
157/157 [==============================] - 0s 1ms/step - loss: 0.2871 - accuracy: 0.9456
[0.2871202528476715, 0.9455999732017517]

4. 小结

在这节课之中,我们学习了什么是 Numpy 数据,同时一方面了解了 Numpy 数组与 Tensor 如何在内存中互相转化,另一方面我们也了解了如何从".npz"文件之中读取数据并进一步使用。

图片描述

TensorFlow 简介、安装与快速入门
TensorFlow 简介 TensorFlow 安装 - CPU TensorFlow 安装 - GPU TensorFlow 快速入门示例
TensorFlow 模型的简洁表示-Keras
Keras 简介 使用 tf.keras 进行图片分类 使用 Keras 进行文本分类 使用 Keras 进行回归 在 Keras 中保存与加载模型 在 Keras 中进行模型的评估 Keras 中的Masking 与 Padding
TensorFlow 中的数据格式
TensorFlow 中的数据核心 使用 TensorFlow 加载 CSV 数据 使用 TensorFlow 加载 Numpy 数据 使用 TF 加载 DateFrame 数据 使用图像数据来训练模型 在 TensorFlow 之中使用文本数据 TF 之中的 Unicode 数据格式的处理
TensorFlow模型的高级表示-Estimat
使用预设的 Estimator 模型 将Keras模型转化为Estimator模型 Estimator实现BoostingTree模型
TensorFlow 高级技巧
过拟合问题 TensorFlow 中的回调函数 文本数据嵌入 在 TensorFlow 之中使用卷积神经网络 在 TensorFlow 之中使用循环神经网络 在 TensorFlow 之中使用注意力模型 在 TensorFlow 之中进行迁移学习 在 TensorFlow 之中进行数据增强 在 TensorFlow 之中进行图像分割 如何进行多 GPU 的分布式训练? 使用 tf.function 提升效率 使用 TF HUB 进行模型复用
TensorFlow高级技巧-自定义
使用 TensorFlow 进行微分操作 在 TensorFlow 之中自定义网络层与模型 在 TensorFlow 之中自定义训练
TF 框架中的可视化工具-TensorBoard
TensorBoard 的简介与快速上手 使用 TensorBoard 记录训练中的各项指标 在 TensorBoard 之中查看模型结构图 在 TensorBoard 之中记录图片数据