人工神经网络概述内容1、神经网络的基本概念2、感知器与BP网络3、例子:BP神经网络优化化学反应条件1神经网络的基本概念•以数学和物理方法以及信息处理的角度对人脑神经网络进行抽象,并建立某种简化模型,就称为人工神经网络(ArtificialNeuralNetwork,缩写ANN)。•T.Koholen的定义:“人工神经网络是由具有适应性的简单单元组成的广泛并行互连的网络,它的组织能够模拟生物神经系统对真实世界物体所作出的交互反应。•1.1人工神经网络的定义1.1人工神经网络的定义•美国神经网络学者Nielsen的定义–人工神经网络是一个并行、分布处理结构,它由处理单元及其称为联接的无向讯号通道互连而成。–这些处理单元具有局部内存,可以完成局部操作,即它必须仅仅依赖于经过输入联接到达处理单元的所有输入信号的当前值和存储在处理单元局部内存中的值。–每个处理单元有一个单一的输出联接,输出信号可以是任何需要的数学模型。1.2神经网络的基本特征和应用•结构特征:并行处理分布式存储容错性•能力特征:自学习自组织自适应性1.2神经网络的基本特征和应用在各个行业均有应用,擅长的有:模式识别人工智能控制工程优化分析和联想记忆信号处理1.3生物神经网络•人类的大脑大约有1.41011个神经细胞(神经元)。每个神经元有数以千计的通道同其它神经元广泛相互连接,形成复杂的生物神经网络。1.3生物神经网络•生物神经元结构细胞体:处理树突:输入轴突:输出突触:接口1.3生物神经网络生物神经元状态静息极化兴奋去极化抑制超极化兴奋与抑制:当传入神经元的冲动,经整和,使细胞膜电位升高,超过动作电位的阈值时,为兴奋状态,产生神经冲动,由轴突经神经末稍传出。当传入神经元的冲动,经整和,使细胞膜电位降低,低于阈值时,为抑制状态,不产生神经冲学习与遗忘:由于神经元结构的可塑性,突触的传递作用可增强与减弱,因此,神经元具有学习与遗忘的功能。1.4人工神经元模型•人工神经元模型心理学家McCulloch和数学家W.Pitts提出的M-P模型•数学模型•θj——神经元j的阈值;•wij——神经元i到j的突触连接权系数;•f()——神经元转移函数。1.4人工神经元模型常用的转移函数(激发函数)(1)阈值型转移函数(硬限幅函数)1.4人工神经元模型(2)非线性转移函数单极性Sigmoid函数双极性Sigmoid函数1.4人工神经元模型(3)分段线性转移函数1.5人工神经网络模型•根据连接关系分类层次型结构互联型结构•根据信息流向分类前馈型网络反馈型网络1.5人工神经网络的学习•网络运行一般分为训练阶段和工作阶段。训练的目的是为了从训练的数据中提取隐含的知识和规律,并存储于网络中供工作阶段使用。•神经网络能够通过对样本的学习训练,不断改变网络的连接权值以及拓扑结构,以使网络的输出不断地接近期望的输出。这一过程称为神经网络的学习或训练,其本质是可变权值的动态调整。1.5人工神经网络的学习(1)有导师学习(有监督学习)在学习过程中,网络根据实际输出与期望输出的比较,进行联接权系的调整,将期望输出称导师信号是评价学习的标准。•神经网络•比较•输入•实际输出•期望输出1.5人工神经网络的学习(2)无导师学习(无监督学习)无导师信号提供给网络,网络能根据其特有的结构和学习规则,进行联接权系数的调整,此时,网络的学习评价标准隐含于其内部•神经网络•输入•实际输出1.5人工神经网络的学习(3)再励学习(强化学习)把学习看为试探评价过程,学习机制选择一个输出作用于环境,环境的状态改变,并产生再励信号反馈至学习机,学习机依据再励信号与环境当前的状态,再选择下一个输出作用于环境,选择的原则是使受到奖励的可能性增大•神经网络2•神经网络1•输入•输出•环境1.6常用的神经网络•常用的前向神经网络感知器BP网络(误差向后传播神经网络)径向基函数网络(RBF神经网络)•常用的反馈神经网络Hopfield网络Boltzmann机网络Kohonen网络(自组织特征映射模型)2感知器与BP网络2.1感知器基本感知器是一个具有单层计算神经元的两层网络。只能对线性可分输入矢量进行分类。n个输入向量x1,x2,…,xn均为实数,w1i,w2i,…,wni分别是n...