1第5章MNIST数据集及神经网络人工智能基础与应用（微课版）工业和信息化精品系列教材——人工智能技术第5章MNIST数据集及神经网络2第5章MNIST数据集及神经网络重点AKEY知识MNIST数据集简介神经元常用函数深度神经网络经典卷积神经网络介绍循环神经网络优化器及优化方法3第5章MNIST数据集及神经网络内容CONTENTS导航神经元常用函数MNIST数据集简介深度神经网络经典卷积神经网络介绍循环神经网络优化器及优化方法4第5章MNIST数据集及神经网络5.1MNIST数据集简介数据集（Dataset）是一类数据的集合。传统的数据集通常表现为表格或者文档形式，每个数值被称为数据资料。数据集名称功能IrisFlower数据集由罗纳德·费希尔（RonaldFisher）引入的多变量数据集MNIST数据集通常用于测试分类、聚类和图像处理算法的手写数字图像分类数据分析数据集一个统计程序清单，可用于分类数据的分析时间序列数据集在时间上顺序索引的一系列数据表5-1经典的数据集5第5章MNIST数据集及神经网络5.1MNIST数据集简介MNIST数据集是一个含有手写数字的大型数据集，包含0～9共10个数字，通常用于训练图像处理系统。MNIST数据集包含60000个训练图像和10000个测试图像MNIST数据集共有4个文件，分别是训练集数据、训练集标签以及测试集数据、测试集标签。MNIST数据集的图像以字节的形式进行存储，每幅图像都为单通道图像，由28×28个像素点构成。MNIST数据集的测试集样本图像如图5-1所示。图5-1MNIST数据集的测试集样本图像6第5章MNIST数据集及神经网络5.1MNIST数据集简介不同分类器使用MNIST数据集的错误率如表5-2所示。表5-2不同分类器使用MNIST数据集的错误率类型错误率（%）非线性分类器3.3线性分类器7.62层深度神经网络（DNN）1.6支持向量机（SVM）0.566层深度神经网络（DNN）0.355层卷积神经网络（CNN）0.217第5章MNIST数据集及神经网络内容CONTENTS导航神经元常用函数MNIST数据集简介深度神经网络经典卷积神经网络介绍循环神经网络优化器及优化方法8第5章MNIST数据集及神经网络5.2.1激活函数1．sigmoid()函数在之前的一段时间内，sigmoid()函数是非常常用的，因为它对神经元的激活有很好的解释，且它本身为单调连续，非常适合作为输出层。缺陷：第一，当输入稍微远离了坐标原点，函数的梯度就变得很小了，几乎为0，这会导致在反向传播过程中，梯度很小的时候接近0，神经网络无法更新参数，这个问题称为梯度饱和，也可以称为梯度弥散。第二，sigmoid()函数的输出不是零中心的，这会影响梯度下降的运作。9第5章MNIST数据集及神经网络5.2.1激活函数2．tanh()函数tanh()函数的数学公式为，tanh()函数图像如图5-2所示。tanh()函数的定义域是，值域是(-1,1)。其输入如果是很大的负数，其值就会无限接近于-1；输入如果是很大的正数，其值就会无限接近于1。和sigmoid()函数一样，tanh()也存在梯度饱和问题，但是tanh()的输出是零中心的，所以实际使用更多一些。sinheetanh()cosheexxxxxxx10第5章MNIST数据集及神经网络5.2.1激活函数3．ReLU函数ReLU函数的数学公式为，ReLU函数图像如图5-3所示。ReLU函数的定义域是，值域是。这个激活函数可以理解为一个关于0的阈值。()max(0,)fxx11第5章MNIST数据集及神经网络5.2.2池化函数池化是用一个矩阵窗口在张量上进行扫描，通过取最大值或者平均值等方式来减少参数数量的方法。最大值池化和平均值池化的过程如图5-4所示。池化层主要对输入的图像进行降采样（Subsample），池化并不改变深度或维度，只改变大小。池化函数有平均值池化函数和最大值池化函数等。12第5章MNIST数据集及神经网络5.2.2池化函数TensorFlow函数：tf.nn.avg_pool(value,ksize,strides,padding,name=None)，该函数计算的是池化区域的平均值。1．平均值池化函数value：需要池化的输入，一般池化层接在卷积层后面，这是一个四维的张量，4个维度为[batch,height,width,channels]。ksize：池化窗口的大小，是一个四维向量，一般是[1,height,width,1]。strides：和卷积类似，是窗口在每一个维度上滑动的步长，一般是[1,stride,stride,1]。padding：和卷积类似，可以取...
VIP
