神经网络原理与应用ArtificialNeuralNetworksandApplications孙光民教授北京工业大学电子工程系Tel:67391526;E-mail:gmsun@bjut.edu.cn第一章绪论一．概述二．神经网络(ANN)研究简史三．神经网络(ANN)原理简介四．ANN的分类及研究方向24/10/23神经网络与模式识别研究室3一．概述•近几十年，人工神经网络的研究和应用，引起了国内外学术界的广泛重视，并在许多领域取得了显著成果。•对于电子技术和信号处理专业的学生和科技人员，对神经网络理论进行必要的学习和掌握，甚至可能的话，在实际中加以应用，是非常有意义的。•从第一台数字计算机问世（1946年），计算机系统几经更新换代，经历了由电子管、晶体管、LSI、VLSI，到后来的奔腾4、双核技术等发展阶段。•近年来，软件方面也在不断升级更新，计算机性能越来越优越，应用也越来越广泛。•尽管如此，但计算机系统并非万能，它存在着自身的局限性和物理极限（小型化），其特点是串行运算，输入输出存在线性的和确定性的关系。•因此要进一步提高性能，就必须要求在器件、原理及思路上有所突破，要充分体现并行运算、非线性、不确定性关系等特点。•以非线性大规模并行处理为特点的人工神经网络，突破了传统线性处理为基础的数字计算机的局限，受到各学科领域的广泛关注，将为计算机技术的发展带来一场革命，并促使以神经计算机为基础的高技术群的诞生和发展。24/10/235神经网络与模式识别研究室•那么，什么是神经网络？它与传统数字计算机的区别在于，它是模拟人脑的一种信息处理系统，具有许多特点，功能强大。•ANN与数字计算机比较:①并行处理←→串行处理②鲁棒性、容错性←→确定性、精确性③自学习能力←→专家经验的知识库,无更新④大规模自适应非线性动力系统←→线性确定性系统⑤运算、存储合而为一←→运算、存储分离24/10/23神经网络与模式识别研究室624/10/23神经网络与模式识别研究室7二．ANN研究简史•ANN研究简史可追溯到四十年代初，但由于种种原因，起始阶段发展不快，并曾一度陷入低谷。•近几十年，科学技术的不断发展，为ANN发展奠定了基础，使得ANN异军突起，空前活跃，成为研究热点。•1943年，MP模型(McCulloch和Pitts)•1944年，Hebb学习规则(条件反射规则)•1957年，Rosenblatt提出：感知器(perceptron)•1962年，自适应线性元件（Adaline）•1969年，Minsky和Papert证明了感知器的局限性，发表《perceptron》论文24/10/23神经网络与模式识别研究室8•1966-1982年，陷入低谷,期间：•维纳学生Grossberg（美科学院院士）提出：自适应共振理论•Kohonen提出：自组织特征映射网络•Amari（甘利俊一）从事数学理论研究•Anderson提出：盒中脑（BSB）模型•Webos提出：BP理论（1974年）•在这期间，数字计算机跨越三代，传统人工智能较快发展。24/10/23神经网络与模式识别研究室9•1982年，加州工学院Hopfield提出：HNN模型，在网络中引入能量函数概念，作为稳定性判据，给出RC电路模型，推动了NN发展，使ANN用于联想记忆和优化计算。•之后，ANN研究进入空前活跃期，Hinton等提出Boltzman机，采用多层网络学习方法，在学习过程中借用统计物理学的方法,引入模拟退火技术。24/10/23神经网络与模式识别研究室10•Rumelhart等提出：并行分布处理理论，发展了BP算法。•Kosko提出：双向联想记忆网络•1988年，加州大学蔡少堂和复旦大学杨•林提出：细胞神经网络。24/10/23神经网络与模式识别研究室11•近年来，ANN研究更加火热，提出了各种新的网络模型，并结合模糊理论、小波理论、混沌理论、分形理论等技术，应用也更加广泛。•受到各国政府、科学家和企业家的重视，各门学科联合研究，提出重大研究计划，如：美国DARPA计划、日本HFSP计划、法国尤里卡、德国欧洲防御、俄罗斯高技术发展计划，中国863计划等。•86.4,召开第一届ANN国际会议,87.6,召开第一届IEEENN国际会议，同年国际NN学会成立，88年元月，NN杂志创刊。88年后NN国际学会与IEEE联合每年一次国际会议，90年3月IEEENN会刊问世。24/10/23神经网络与模式识别研究室12•ANN研究热潮出现，除了神经科学研究本身的突破和进展外，更重要的是由于计算...
VIP
