您的位置：关键词：神经网络
其中ui是第i个神经元的膜电位，Ci、Ri分别是输入电容和电阻，Ii是电路外的输 入电流，Tij是第J个神经元对第i神经元的联系强度，f(u)是u的非线性函数，一般 取S型曲线或阶跃函数．他构造出Lyapunov函数，并证明了在Tij=Tji情况下，网络在平衡点附近的稳定性，并对这种模型以电子电路来实现．这样，研究取得了重大的突破，对神经网络理论的发展产生了深远的影响．1982年Hopfield向美国科学院提交了关于神经网络的报告，其主要内容是，建议收集和重视以前对神经网络所做的许多研究工作，他指出了各种模型的实用性．从此，第二次高潮的序幕拉开了．
Marr开辟了视觉和神经科学研究的新篇章，他的视觉计算理论对视觉信息加工的过程进 行了全面、系统和深刻的描述，对计算理论、算法、神经实现机制及其硬件所组成的3个层 次作了阐述．1982年Marr［28］的著作Vision使许多学者受益，被认为是最具权 威性和经典性的著作．在Marr的理论框架的启示下，Hopfield于1982年至1986年提出了 神经网络集体运算功能的理论框架［29-31］，随后，引起许多学者研究Hopfield 网络的热潮，对它作改进、提高、补充、变形等，至今仍在进行，推动了神经网络的发展 ．例如：1986年Lee［32］引入高阶突触连接，使这一网络的存储有相当大的提 高，并且收敛快，但随着阶数的增加，连接键的数目急剧增加，实现起来就越困难，得不到 技术的支持．Lapedes［33］提出的主—从网络是对它的发展，并充分利用了联 想记忆及制约优化双重功能，还可推广到环境随时间变化的动态情况，但对于大N，主网络 的维数很高，也成为一个实际困难；一些研究者发现,Hopfield网络中的平衡点位置未知，即使给出一具体平衡位置，用他的方法也不能确定其稳定性，只得到极小值点满足的必要条件，而非充分条件．Hopfield网络在求解TSP问题上也存在一些问题，需要改进． 另外，有些学者试图建立实用稳定性，有一定理由，它可以体现容错能力．
1983年Kirkpatrick等人［34］首先认识到模拟退火算法可应用于NP完全组合优化问题的求解．这种思想最早是由Metropolis等人在1953年提出的，即固体热平衡问题，通过模拟高温物体退火过程的方法，来找全局最优或近似全局最优，并给出了算法的 接受准则．这是一种很有效的近似算法．实际上，它是基于Monte Carlo迭代法的一种启 发式随机搜索算法．1984年Hinton等人［35，36］提出了Boltzmann机模型，借用 统计物理学中的概念和方法，引入了模拟退火方法，可用于设计分类和学习算法方面，并首 次表明多层网络是可训练的．它是一种神经网络连接模型，即由有限个被称之为单元的神经 元经一定强度的连接构成，又是一种神经计算机模型．Sejnowski［37］于1986年 对它进行了改进，提出了高阶Boltzmann机和快速退火等．这些成为随机神经网络的基本 理论．
Poggio等人［38，39］以Marr视觉理论为基础，对视觉算法进行了研究，在1984 年和1985年他提出了初级视觉的正则化方法，使视觉计算的研究有了突破性进展．我国生物 物理学家汪云九提出了视觉神经元的广义Gabor函数(EG)模型，以及有关立体视觉、纹 理检测、运动方向检测、超视觉度现象的计算模型．汪云九等人还建立了初级视觉神经动力 学框架，他们开辟了一条新的途径．
Hecht-Nielsen是一位地道的学者式企业家，他是神经计算机最早的设计者之一，对神 经网络理论、应用及商业化作出了重要贡献．早在1979年，他开始制定Motorola神经计 算的研究与发展计划，在此基础上，于1983年又进一步制定了TRW的计划，构造了一种 对传网络的多层模式识别神经网络，主要适用图象压缩和统计分析，他还成功设计了一种神 经计算机称为TRW MarkⅢ，1987年将它投入商业应用，并且设计了Grossberg式时 空匹配滤波器．他在1988年证明了反向传播算法对于多种映射的收敛性［40］．
1986年Rumelhart和McClelland 合著的Parallel Distributed Processing: Exploratio n in the Microstructures of Cognition两卷书出版，对神经网络的进展起了极大的推 动作用．它展示了PDP研究集团的最高水平，包括了物理学、数学、分子生物学、神经 科学、心理学和计算机科学等许多相关学科的著名学者从不同研究方向或领域取得的成果． 他们建立了并行分布处理理论，主要致力于认知的微观研究．尤其是，Rumelhart提出 了多层网络Back-Propagation法或称Error Propagation法，这就是后来著名的BP算法 ，受到许多学者的重视．
此外，我国系统科学家钱学森在80年代初倡导研究“思维科学”．1986年他主编的论文 集《关于思维科学》出版［41］，书中有关神经网络方面的论文：刘觐龙对“思 维神经基础”的探讨；洪加威对“思维的一个确定型离散数学模型”的研究；陈霖的长篇文 章“拓扑性质检测”．这本书引起了国内学术界有关人士的极大反响．
1987年在圣地雅哥召开了首届国际神经网络大会，国际神经网络联合会(INNS)宣告成立 ．嗣后，INSS创办的刊物Journal Neural Networks问世，还诞生十几种国际著名的神经 网络学术刊物．神经网络理论经过半个多世纪的发展，人们看到它已经硕果累累．于是，美 国国防部高级预研计划局(DARPA)组织了一批专家、教授进行调研，走访了三千多位有关 研究者和著名学者，于1988年2月完成了一份长达三百多页的神经网络研究计划论证报告． 并从11月开始执行一项发展神经网络及其应用的八年计划，投资4亿美元．美国国家科学基 金会(NSF)于1987年拨款50万美元，1989年NSF、ONR & AFOSR投资达1千万美元．DARP A的看法是，神经网络是解决机器智能的唯一希望．世界上一些著名大学纷纷成立神经网络 研究所、制订有关教育计划．许多国家相应成立了神经网络学会，定期召开国际性、区域性 会议，如：1990年欧洲召开首届国际会议Parallel Problem Solving from Nature (PPSN), 1994年IEEE神经网络学会主持召开了第一届进化计算国际会议．
我国学术界大约在80年代中期关注神经网络领域，有一些科学家起到先导的作用，如中科 院生物物理所科学家汪云九，姚国正和齐翔林等［42］；北京大学非线性研究中心在 1988年9月发起举办了Beijing International Workshop on Neural Networks: Learning and Recognition, a Modern Approach．INNS秘书长Szu博士在会议期间作了神经网络一 系列讲座，后来这些内容出版了［43］．从这时起，我国有些数学家和计算机科学家 开始对这一领域产生兴趣，开展了一定的研究工作．
1989年召开了全国一个非正式的神经网络会议，1990年我国的八个学会联合在北京召开了神 经网络首届学术大会，国内新闻媒体纷纷报道这一重大盛会，这是我国神经网络发展以及走 向世界的良好开端．1991年在南京召开了中国神经网络学术大会(第二届)，会上成立了中国 神经网络学会．我国“863”高技术研究计划和“攀登”计划于1990年批准了人工神经网络 的3项课题，自然科学基金和国防科技预研基地也都把神经网络的研究列入选题指南．许多 全国性学术年会和一些学术刊物把神经网络理论及应用方面的论文列为重点．这些毫无疑问 ，为神经网络在我国发展创造了良好的条件，促使我们加快步伐缩短我国在这个领域的差距 ．INNS开始重视我国，把1992年国际神经网络学会、IEEE神经网络委员主办的国际性学术 会议IJCNN定在北京召开．
1988年Chua和Yang提出了细胞神经网络(CNN)模型［44，45］，它是一个大规模 非线性计算机仿真系统，具有细胞自动机的动力学特征．它的出现对神经网络理论的发展产 生了很大的影响．另外，Kosko建立了双向联想存储模型(BAM)［46～48］，它具 有非监督学习能力，是一种实时学习和回忆模式，并建立了它的全局稳定性的动力学系统．
Mead是VLSI系统的创建者，他和Conway、Mahowald等人合作，研制一种动物神经系统的电 子电路模拟，即称硅神经系统．如，在一方阵中含几千个光敏单元的VLSI芯片，它是以人的 视网膜中锥体细胞的方式来连接一块VLSI芯片．对此，他在1989年出版了专著Analog VLSI and Neural System Mead．Muhlenbein［49，50］提出了一种进化系统理论的形式模 型，是一种遗传神经网络模型．其基本思想是来源于Waddington在1974年发表的论文，对基 因型与表型关系进行了描述．Aleksander［51］提出了概率逻辑基于Markov chain 理论，对其收敛性、结构以及记忆容量等研究，为概率逻辑神经元网络的发展提供了新的方 法和途径．
上述例证说明，这次高潮吸引了许多科学家来研究神经网络理论，优秀论著，重大成果如雨 后春笋，新生长的应用领域受到工程技术人员的极大赞赏．