4.2.2 卷积神经网络进阶(Vggnet-Resnet)
VGGNet
先训练浅层网络如A ,再去训练深层网络
多尺度输入
不同的尺度训练多个分类器,然后做ensemble
随机使用不同的尺度缩放然后输入进分类器进行训练
好处：
2层比1层更多一次的非线性变换
参数降低28%（
(5*5-2*3*3)/5*5）
更深层次的神经网络
多使用3*3的卷积核
1x1的卷积层可以看做是非线性变换
每经过一个pooling层,通道数目翻倍
2个3x3的卷积层可以看做一层5x5的卷积层
3个3x3的卷积层可以看做一层7x7的卷积层
调参经验
视野域：2个3*3 = 1个5*5，因为，他们可以看到的视野区域是一样的
image.png
多使用1*1的卷积核
1*1的卷积核相当于一次非线性变换。（当卷积核是1*1的时候，相当于是在做全连接，只不过这个全连接是纵向的，是在通道上的）
我们可以通过这种方式对通道进行降维的操作，即使得输出通道的数目小于输入通道的数目
1*1的卷积核可以在加多个这种操作的情况下也不损失信息
image.png
从11层递增至19层的过程
每一个版本都是在每一层的后面加一些卷积层，这是因为开始输入的图像比较大，计算比较耗时，不过经过两个maxpooling之后，图像就变的比较小了，这个时候多加几个卷积层之后所耗的损失也没有那么大
image.png
LRN 归一化，已经快过时了
基于VGGVet，我们可以配置出各种各样的网络机构，总体参数样本也可以保持不变
训练技巧
ResNet
VGGNet是将网络层次加深，但是加深到一定程度以后，再加深效果也不能提升效果了。ResNet就是解决了这样一个问题，可以让网络不停的加深，最多可以加深到1000多层
image.png
Identity部分是恒等变化
这样如果F(x)=0，也就是说F(x)没有学到东西，那么我们可以把他忽略掉，而保留恒等变换X，这样至少可以让他和浅层的神经网络持平
但是他的层次会更深，这样一旦Fx确实学到了一些东西，那么他就可以继续增强这个效果
image.png
F(x)是残差学习，ResNet叫做残差网络，这是ResNet的一个基本原理
ResNet-34与ResNet-101使用的子结构（34，101代表层次）
image.png
下面是更多的层次结构的说明
方括号里的是残差子结构。经过卷积层之后没有全连接层，因为没有了全连接层，我们就可以将全连接层的参数分摊到卷积层，在这里参数数目可以一定程度上反映模型的容量，参数数目越多，就可以学到更多的东西。
但是参数数目多会导致过拟合，为了使得模型容量是一定的，我们在这里就弱化了全连接层，强化了卷积层
image.png
假设：深层网络更难优化而不是学不到东西，ResNet基于这种假设解决了这个加深层次的问题
深层网络至少可以和浅层网络持平
y=x，虽然增加了深度，但误差不会增加
模型深度达到某个程度后继续加深会导致训练集准确率下降
image.png
image.png
加深层次的问题
加深层次的问题解决
模型结构
- 先用一个普通的卷积层, stride=2 - 再经过一个3*3的max_ _pooling - 再经过残差结构 - 没有中间的全连接层,直接到输出 - 残差结构使得网络需要学习的知识变少,容易学习 - 残差结构使得每一层的数据分布接近,容易学习
作者：Meet相识_bfa5
链接：https://www.jianshu.com/p/496562acd4cc
随时随地看视频
