从小白到大神卷积神经网络概述实战：手写数字识别分类卷积神经网络结构6.36.16.2第六章卷积神经网络6.4训练卷积神经网络6.1卷积神经网络概述起源与发展结构基础首个CNN现代CNN雏形训练深层CNN大规模数据识别爆发发展1962年1980年1989年2006年2012年现今感受野概念提出神经认知机权值共享下采样逐层预训练Alexnet6.2卷积神经网络结构特征提取分类器CNN输入层卷积层池化层早期典型CNN结构图6-1卷积神经网络的典型结构提升网络准确率增加神经网络层数参数倍增计算量巨大6.2卷积神经网络结构局部感受野及权值共享局部感受野+权值共享+下采样解决办法6.2卷积神经网络结构局部感受野及权值共享感受野：每个神经元其实只需对上一层图像的局部区域进行感知，而不需要对全局图像进行感知权值共享：使与图像进行局部连接的所有神经元使用同一组参数图6-2全连接（左）与局部连接（右）6.2卷积神经网络结构卷积层卷积过程是用一个大小固定的卷积核按照一定步长输入矩阵进行点积运算，将卷积结果输入激活函数得到矩阵称为特征图。卷积公式：图6-3卷积层计算示意图（1）6.2卷积神经网络结构卷积计算6.2卷积神经网络结构激活函数激活函数可以达到“有目的”的提取图像信息的效果图6-4常见激活函数6.2卷积神经网络结构池化层（下采样）池化操作将语义上相似的特征合并起来，常取对应区域的最大值、平均值图6-5最大池化示意图6.3训练卷积神经网络数据增强数据增强就是通过某些图像处理的方法扩充现有的训练样本常用的方法有：几何变换：镜像翻转，随机切割，旋转缩放等像素变换：调整亮度、对比度，添加噪声等6.3训练卷积神经网络归一化归一化是将不同范围的值映射到相同的固定范围中，减小样本间的差异。网络的前面几层发生微小的改变，那么后面几层就会被累积放大。而一旦某层的输入数据分布发生改变，网络就需要去适应学习这个新的数据分布。6.3训练卷积神经网络归一化（2）批归一化是把对输入数据的归一化扩展到对其他层的输入数据进行归一化，以减小内部数据分布偏移的影响。（3）6.3训练卷积神经网络模型调优随机梯度下降（SGD）算法，每次在全部样本集中随机选择一个数据样本进行参数更新。w为权值，η为学习率，el为样本xl的实际输出与真实样本（期望输出）之间的误差，L为样本总数。（4）6.3训练卷积神经网络模型调优小批量梯度下降（MBGD）算法将训练样本随机分为划分为大小为m的mini-batch，每一次迭代计算mini-batch的梯度来对参数进行更新。（5）6.4实战：手写数字识别分类环境准备实验依赖:（1）Python3（2）TensorFlow-GPU数据集:MNIST手写数字集6.4实战：手写数字识别分类LeNet-5结构THANKYOU
VIP
