【学习打卡】第一天 VGG Net and Res Net

课程名称：深度学习之神经网络(CNN/RNN/GAN)算法原理+实战

课程章节：卷积神经网络进阶（Vggnet-Resnet）

主讲老师：正十七

课程内容

相对于Alex Net，VGG Net和Res Net具有更大和更深的神经网络结构，并且通过调整kernal的size和层次，以及网络结构的设计，使得神经网络更深，并具有更好的学习能力。

课程收获

1. VGG Net连续两次使用3×3的kernel，相当于1个5×5的kernel，但连续两次非线性变换，降低数据依赖，并且参数数目减少了5×5-3×3/5×5 = 0.28，减少了28%的参数
2. VGG Net进行1×1的变换，相当于对全图做了线性变换
3. Res Net进行了Identity操作，可以将网络加到很深的层次，解决了深度学习中深度过深引起正确率下降的问题，减少了学习的内容，使得学习更容易
4. Res Net减少了全连接层，大幅度减少了参数数目，并将该部分参数容量分配给了更深的网络结构参数
5. Res Net的残差网络使得数据分布更接近数据X本身，并且让每一层网络的数据分布都彼此接近

Fig 1. 两次Kernal 3×3的变换域与一个5×5kernel等效

Fig 2. Identity in Res Net

Fig 3. Res Net Constructure with one layer of fully connection