您的位置：关键词：神经网络
2 发展历史及现状
神经网络诞生半个多世纪以来，经历了5个阶段：
(1)奠基阶段.早在40年代初，神经解剖学、神经生理学、心理学以及人脑神 经元的电生理的研究等都富有成果．其中，神经生物学家McCulloch提倡数字化具有特 别意义．他与青年数学家Pitts合作［1］，从人脑信息处理观点出发，采用数理 模型的方法研究了脑细胞的动作和结构及其生物神经元的一些基本生理特性，他们提出了第 一个神经计算模型，即神经元的阈值元件模型，简称MP模型，他们认识到了模拟大脑可 用于逻辑运行的网络，有一些结点，及结点与结点之间相互联系，构成一个简单神经网络模 型．其主要贡献在于，结点的并行计算能力很强，为计算神经行为的某此方面提供了可能性 ，从而开创了神经网络的研究．这一革命性的思想，产生了很大影响．
举例说，数学家Kleene在此基础上抽象成一种有限自动机理论．Wiener是控制论的创 始人之一，1948年他出版了著名专著Cybernetics［2］,探讨了动物和机器的控制 和通讯问题，他在1961年增补了两章内容，主要是讨论学习和自生殖问题，他选择机器学习 下棋问题作为研究对象，对脑电波与自组织系统进行了探索．尤其是，MP模型是最终导致 Neumann电子计算机诞生的重要因素之一，数学家Neumann［3］是现代计算机科学 的创始人之一，又是最初的神经网络设想者之一．他研究了自我繁衍自动机，而且证明了至 少存在一种确实能够自我繁衍的分子自动机模型，1966年他提出了元胞自动机，可用来模拟 生命系统所具有的自复制功能，还可用来模拟其他的自然现象．但有很多元胞自动机也并不 一定对某个连续系统的离散化描述得好．于是，Neumann又设想一种新的计算机：基于 自动机理论、自然和人工智能知识的计算机．
此外，数学家Turing建立了通用计算机的抽象模型［4，5］，他和Post ［6］都证明了一个重要定理：原则上存在着一种“万能自动机”，它能识别任何别的自 动机能够识别的符号串．Turing机理论，为带有存贮程序的计算机的形式程序语言的发 明提供了理论框架．重要的是，他研究了算法而不是公理系统的效率．并行处理和串行处理 在原则上尽管相同，但区别在于，整个计算的效率或速度不同．值得注意的是，Turing 机和逻辑神经网络之间或多或少的等价值得到了证明，使人们对于大脑和计算机之间的类似 性的信念进一步加强了．可惜当时人们认为这种类似都是基于逻辑单元的相似性，而作为信 息处理工具的神经系统，人们还缺乏认识．
1949年神经生物学家Hebb［7］的论著The Organization of Behavior，对大脑神经细胞、学习与条件反射作了大胆地假设，称为Hebb学习规则．他的基本思想是，假 设大脑经常在突触上做微妙的变化，突触联系强度可变是学习和记忆的基础，其强化过程导 致了大脑自组织形成细胞集合(几千个神经元的子结合)，其中循环神经冲动会自我强化，并继续循环，任何一个神经元同属于多个细胞集合，可以说，细胞集合是大脑思维信息的基本 量子．他给出了突触调节模型，描述了分布记忆，它后来被称为关联论(connectionist )．由于这种模型是被动学习过程，并只适用于正交矢量的情况，后来研究者把突触的变化 与突触前后电位相关联，在他的基础上作了变形和扩充．说明Hebb对神经网络的发展起 到了重大的推动作用，至今仍然被人们引证．
50年代初，神经网络理论具备了初步模拟实验的条件．Rochester，Holland与IBM公司的研究人员合作，他们通过网络吸取经验来调节强度，以这种方式模拟Hebb的学习规则，在IBM701计算机上运行，取得了成功，终于出现了许多突现现象，几乎有大脑的处理风格．但，最大规模的模拟神经网络也只有1000个神经元，而每个神经元又只有16个结合点．再 往下做试验，便受到计算机的限制．Hebb的学习规则理论还影响了正在IBM实习的 研究生McCarthy，他参入IBM的一个小组，探讨有关游戏的智能程序，后来他成为 人工智能的主要创始人之一．人工智能的另一个主要创始人Minsky于1954年对神经系统 如何能够学习进行了研究，并把这种想法写入他的博士论文中，后来他对Rosenblatt建 立的感知器(Perceptron)的学习模型作了深入分析．
1952年英国生物学家Hodgkin和Huxley建立了长枪乌贼巨大轴索非线性动力学微分方程 ，简称H-H方程，形如