章节索引 :

使用 Keras 进行回归

我们在之前的课程之中学习到的模型都是分类模型,也就是说模型的输出是某一个类别;而这节课我们来学习回归模型

1. 回归模型与分类模型的不同

简单来说,两者最直观的区别就是:回归模型的输出是一个连续的数值,而回归模型的输出是一个具体的类别

举个例子,在生活中:

  • 测量体温、计算运动时间等都属于回归任务;
  • 掷色子、抛硬币等都属于分类任务。

但是从整体的程序角度来说,回归模型又与回归模型有以下几个详细的不同:

  • 激活函数不同,回归模型的激活函数一般是 Relu 等激活函数,或者没有激活函数;
  • 损失函数不同,回归模型的损失函数一般是 MSE 和 RMSE 等损失函数;
  • 衡量标准不再使用准确率,因为回归任务无法定义准确率。

2. 数据获取

我们这次采用的任务示例数据是 TensorFlow 的 Keras 内部内置的波士顿房屋价格数据集合,我们会以此数据集合为基础进行我们的回归任务模型的构建。

因为该数据集合已经包含在 TensorFlow 之中,因此我们可以直接使用以下语句进行数据集合的下载。

(train_data, train_labels), (test_data, test_labels) = tf.keras.datasets.boston_housing.load_data()

让我们先来认识一下数据,该数据集合包含:

  • 每个样本包含13个特征,每个特征表示特定的因素,这些特征包括:
    • CRIM:犯罪率;
    • ZN: 2.5 平凡英尺及其以上的住宅比例;
    • INDUS: 非零售业务地区比例;
    • CHAS:1-土地在河边,0-土地不在河边;
    • NOX:一氧化碳浓度;
    • RM:平居每人房子数量;
    • AGE:1940年之前建成的建筑的比例;
    • DIS:与波士顿就业中心的距离;
    • RAD:辐射指标;
    • TAX:税率指标;
    • PTRATTO:师生比例;
    • B:黑人比例指数;
    • LSTAT:较低地位人群的比例;
  • 每个样本的标签是房价 MEDV,采用自有住房的中位数来表示。

我们可以使用以下方式来查看数据的部分内容:

print(train_data.shape)
print(test_data.shape)
print(train_data[0])
print(train_labels[0])

得到的结果为:

(404, 13)
(102, 13)
[1.23247 0. 8.14 0. 0.538 6.142  91.7 3.9769  4. 307. 21. 396.9  18.72]
15.2

3. 模型的构建

在这里我们仍然使用最普通的顺序模型来进行表示,于是我们可以得到我们的模型表示为:

model = tf.keras.models.Sequential([
    tf.keras.layers.Dense(128, activation='relu', input_shape=(13,)),
    tf.keras.layers.Dense(64, activation='relu'),
    tf.keras.layers.Dense(1)
])

在该模型之中,前两层是我们很熟悉的全连接层

这里值得注意的是在最后一层,因为我们想要输出一个连续的值,因此我们仅仅使用了一个神经元的全连接层,而且没有规定激活函数,而实将其简单输出。

4. 整体程序与输出结果

经过了上面两个步骤,我们已经可以得到我们的程序代码了,具体如下:

import tensorflow as tf

(train_data, train_labels), (test_data, test_labels) = tf.keras.datasets.boston_housing.load_data()
train_shape = train_data.shape
train_dataset = tf.data.Dataset.from_tensor_slices((train_data, train_labels)).batch(8).shuffle(buffer_size=train_shape[0])
test_dataset = tf.data.Dataset.from_tensor_slices((test_data, test_labels)).batch(8)

model = tf.keras.models.Sequential([
    tf.keras.layers.Dense(128, activation='relu', input_shape=(13,)),
    tf.keras.layers.Dense(64, activation='relu'),
    tf.keras.layers.Dense(1)
])
model.summary()
model.compile(optimizer='rmsprop', loss='mse')
model.fit(train_dataset, epochs=60)

result = model.evaluate(test_dataset)
print(result)

在该程序之中,唯一的不同就是该程序的优化器采用了 RMSProp ,与Adam相比,该优化器更加使用于回归任务。

而且我们的损失函数也采用了均方误差 (MSE) 的形式来衡量。简单来说,均方误差就是用来衡量“模型输出”与“真实值”之间的距离,MSE 越小则表示该模型的精确度越高,被广泛应用于回归任务之中。

该程序的输出结果为:

Model: "sequential_11"
_________________________________________________________________
Layer (type)                 Output Shape              Param #   
=================================================================
dense_36 (Dense)             (None, 128)               1792      
_________________________________________________________________
dense_37 (Dense)             (None, 64)                8256      
_________________________________________________________________
dense_38 (Dense)             (None, 1)                 65        
=================================================================
Total params: 10,113
Trainable params: 10,113
Non-trainable params: 0
_________________________________________________________________
Epoch 1/40
51/51 [==============================] - 0s 1ms/step - loss: 291.5432
Epoch 2/40
51/51 [==============================] - 0s 1ms/step - loss: 169.2546
Epoch 3/40
51/51 [==============================] - 0s 977us/step - loss: 165.5226
...........................
Epoch 38/40
51/51 [==============================] - 0s 950us/step - loss: 41.2446
Epoch 39/40
51/51 [==============================] - 0s 1ms/step - loss: 40.0520
Epoch 40/40
51/51 [==============================] - 0s 1ms/step - loss: 41.2494
13/13 [==============================] - 0s 1ms/step - loss: 33.5408
33.54079818725586

由此可见,我们的模型在误差方面已经降低到了 33 的 MSE。

5. 小结

这节课我们学习了回归任务与分类任务的不同,同时了解了回归任务常用的 MSE 与 RMSProp 等指标与优化器。最后我们知道了如何使用 TensorFlow 中的 Keras 来构建一个回归任务的模型。

这节课之中我们自己动手实现了一个回归模型,虽然比较简单,但是这却是回归任务的基本程序框架。
图片描述

TensorFlow 简介、安装与快速入门
TensorFlow 简介 TensorFlow 安装 - CPU TensorFlow 安装 - GPU TensorFlow 快速入门示例
TensorFlow 模型的简洁表示-Keras
Keras 简介 使用 tf.keras 进行图片分类 使用 Keras 进行文本分类 使用 Keras 进行回归 在 Keras 中保存与加载模型 在 Keras 中进行模型的评估 Keras 中的Masking 与 Padding
TensorFlow 中的数据格式
TensorFlow 中的数据核心 使用 TensorFlow 加载 CSV 数据 使用 TensorFlow 加载 Numpy 数据 使用 TF 加载 DateFrame 数据 使用图像数据来训练模型 在 TensorFlow 之中使用文本数据 TF 之中的 Unicode 数据格式的处理
TensorFlow模型的高级表示-Estimat
使用预设的 Estimator 模型 将Keras模型转化为Estimator模型 Estimator实现BoostingTree模型
TensorFlow 高级技巧
过拟合问题 TensorFlow 中的回调函数 文本数据嵌入 在 TensorFlow 之中使用卷积神经网络 在 TensorFlow 之中使用循环神经网络 在 TensorFlow 之中使用注意力模型 在 TensorFlow 之中进行迁移学习 在 TensorFlow 之中进行数据增强 在 TensorFlow 之中进行图像分割 如何进行多 GPU 的分布式训练? 使用 tf.function 提升效率 使用 TF HUB 进行模型复用
TensorFlow高级技巧-自定义
使用 TensorFlow 进行微分操作 在 TensorFlow 之中自定义网络层与模型 在 TensorFlow 之中自定义训练
TF 框架中的可视化工具-TensorBoard
TensorBoard 的简介与快速上手 使用 TensorBoard 记录训练中的各项指标 在 TensorBoard 之中查看模型结构图 在 TensorBoard 之中记录图片数据