神经网络的云集成模式还不是很成熟,应该有提高潜力,但神经网络有自己的硬伤,不知道能够达到怎样的效果,因此决策支持体系中并不是很热门,然而神经网络无视经过的优点也是无可替代的,云网络如果能够对神经网络提供一个互补的辅助决策以控制误差的话,也许就能使神经网络成熟起来
1人工神经网络产生的背景
自古以来,关于人类智能本源的奥秘,一直吸引着无数哲学家和天然科学家的研究热诚。生物学家、神经学家经过长期不懈的努力,通过对人脑的观察和认识,认为人脑的智能活动离不开脑的物质基础,包括它的实体结构和其中所发生的各种生物、化学、电学影响,并因此建立了神经元网络学说和神经体系结构学说,而神经元学说又是此后神经传导学说和大脑功能学说的基础。在这些学说基础之上,科学家们认为,可以从仿制人脑神经体系的结构和功能出发,研究人类智能活动和认识现象。另一方面,19世纪之前,无论是以欧氏几何和微积分为代表的经典数学,还是以牛顿力学为代表的经典物理学,从总体上说,这些经典科学都是线性科学。然而,客观全球是如此的纷繁复杂,非线性情况随处可见,人脑神经体系更是如此。复杂性和非线性是连接在一起的,因此,对非线性科学的研究也是我们认识复杂体系的关键。为了更好地认识客观全球,我们必须对非线性科学进行研究。人工神经网络作为一种非线性的、与大脑智能相似的网络模型,就这样应运而生了。因此,人工神经网络的创立不是偶然的,而是20世纪初科学技术充分提高的产物。
2人工神经网络的提高
人工神经网络的研究始于40年代初。半个世纪以来,经历了兴起、高潮与萧条、高潮及稳步提高的远为曲折的道路。
1943年,心理学家W.S.Mcculloch和数理逻辑学家W.Pitts提出了M—P模型,这是第一个用数理语言描述脑的信息处理经过的模型,虽然神经元的功能比较弱,但它为以后的研究职业提供了依据。1949年,心理学家D.O.Hebb提出突触联系可变的假设,根据这一假设提出的进修规律为神经网络的进修算法奠定了基础。1957年,计算机科学家Rosenblatt提出了著名的感知机模型,它的模型包含了现代计算机的一些原理,是第一个完整的人工神经网络,第一次把神经网络研究付诸工程实现。由于可应用于模式识别,联想记忆等方面,当时有上百家实验室投入此项研究,美国军方甚至认为神经网络工程应当比“原子弹工程”更重要而给予巨额资助,并在声纳信号识别等领域取得一定成绩。1960年,B.Windrow和E.Hoff提出了自适应线性单元,它可用于自适应滤波、预测和模式识别。至此,人工神经网络的研究职业进入了第一个高潮。
1969年,美国著名人工智能学者M.Minsky和S.Papert编写了影响很大的Perceptron一书,从学说上证明单层感知机的能力有限,诸如不能解决异或难题,而且他们推测多层网络的感知机能力也不过如此,他们的分析恰似一瓢冷水,很多学者感到前途渺茫而纷纷改行,原先参与研究的实验室纷纷退出,在这之后近10年,神经网络研究进入了一个缓慢提高的萧条期。这期间,芬兰学者T.Kohonen提出了自组织映射学说,反映了大脑神经细胞的自组织特性、记忆方式以及神经细胞兴奋刺激的规律;美国学者S.A.Grossberg的自适应共振学说(ART);日本学者K.Fukushima提出了认知机模型;ShunIchimari则致力于神经网络有关数学学说的研究等,这些研究成果对以后的神经网络的提高产生了重要影响。
美国生物物理学家J.J.Hopfield于1982年、1984年在美国科学院院刊发表的两篇文章,有力地推动了神经网络的研究,引起了研究神经网络的又一次热潮。1982年,他提出了一个新的神经网络模型——hopfield网络模型。他在这种网络模型的研究中,首次引入了网络能量函数的概念,并给出了网络稳定性的判定依据。1984年,他又提出了网络模型实现的电子电路,为神经网络的工程实现指明了路线,他的研究成果开拓了神经网络用于联想记忆的优化计算的新途径,并为神经计算机研究奠定了基础。1984年Hinton等人将模拟退火算法引入到神经网络中,提出了Boltzmann机网络模型,BM网络算法为神经网络优化计算提供了一个有效的技巧。1986年,D.E.Rumelhart和J.LMcclelland提出了误差反向传播算法,成为至今为止影响很大的一种网络进修技巧。1987年美国神经计算机专家R.Hecht—Nielsen提出了对向传播神经网络,该网络具有分类灵活,算法简练的优点,可用于模式分类、函数逼近、统计分析和数据压缩等领域。1988年L.Ochua等人提出了细胞神经网络模型,它在视觉初级加工上得到了广泛应用。
为适应人工神经网络的提高,1987年成立了国际神经网络学会,并决定定期召开国际神经网络学术会议。1988年1月NeuralNetwork创刊。1990年3月IEEETransactiononNeuralNetwork问世。我国于1990年12月在北京召开了首届神经网络学术大会,并决定以后每年召开一次。1991年在南京成立了中国神经网络学会。IEEE与INNS联合召开的IJCNN92已在北京召开。这些为神经网络的研究和提高起了推波助澜的影响,人工神经网络步入了稳步提高的时期。
90年代初,诺贝尔奖获得者Edelman提出了Darwinism模型,建立了神经网络体系学说。同年,Aihara等在前人推导和实验的基础上,给出了一个混沌神经元模型,该模型已成为一种经典的混沌神经网络模型,该模型可用于联想记忆。Wunsch在90OSA年会上提出了一种AnnualMeeting,用光电执行ART,进修经过有自适应滤波和推理功能,具有快速和稳定的进修特点。1991年,Hertz探讨了神经计算学说,对神经网络的计算复杂性分析具有重要意义;Inoue等提出用耦合的混沌振荡子作为某个神经元,构造混沌神经网络模型,为它的广泛应用前景指明了道路。1992年,Holland用模拟生物进化的方式提出了遗传算法,用来求解复杂优化难题。1993年方建安等采用遗传算法进修,研究神经网络控制器获得了一些结局。1994年Angeline等在前人进化策略学说的基础上,提出一种进化算法来建立反馈神经网络,成功地应用到模式识别,自动控制等方面;廖晓昕对细胞神经网络建立了新的数学学说和技巧,得到了一系列结局。HayashlY根据动物大脑中出现的振荡现象,提出了振荡神经网络。1995年Mitra把人工神经网络与模糊逻辑学说、生物细胞学说以及概率论相结合提出了模糊神经网络,使得神经网络的研究取得了突破性进展。Jenkins等人研究光学神经网络,建立了光学二维并行互连与电子学混合的光学神经网络,它能避免网络陷入局部最小值,并最后可达到或接近最理想的解;SoleRV等提出流体神经网络,用来研究昆虫社会,机器人集体免疫体系,启发大众用混沌学说分析社会大体系。1996年,ShuaiJW’等模拟人脑的自提高行为,在讨论混沌神经网络的基础上提出了自提高神经网络。1997、1998年董聪等创立和完善了广义遗传算法,解决了多层前向网络的最简拓朴构造难题和全局最优逼近难题。
随着学说职业的提高,神经网络的应用研究也取得了突破性进展,涉及面非常广泛,就应用的技术领域而言有计算机视觉,语言的识别、领悟与合成,优化计算,智能控制及复杂体系分析,模式识别,神经计算机研制,智慧推理专家体系与人工智能。涉及的学科有神经生理学、认识科学、数理科学、心理学、信息科学、计算机科学、微电子学、光学、动力学、生物电子学等。美国、日本等国在神经网络计算机软硬件实现的开发方面也取得了显著的成绩,并逐步形成产品。在美国,神经计算机产业已获得军方的强有力支持,国防部高质量研究规划局认为“神经网络是解决机器智能的唯一希望”,仅一项8年神经计算机规划就投资4亿美元。在欧洲共同体的ESPRIT规划中,就有一项特别项目:“神经网络在欧洲工业中的应用”,单是生产神经网络专用芯片这一项就投资2200万美元。据美国资料声称,日本在神经网络研究上的投资大约是美国的4倍。我国也不甘落后,自从1990年批准了南开大学的光学神经计算机等3项课题以来,民族天然科学基金与国防预研基金也都为神经网络的研究提供资助。另外,许多国际著名公司也纷纷卷入对神经网络的研究,如Intel、IBM、Siemens、HNC。神经计算机产品开始走向商用阶段,被国防、企业和科研部门选用。在举世瞩目的海湾战争中,美国空军采用了神经网络来进行决策与控制。在这种刺激和需求下,人工神经网络定会取得新的突破,迎来又一个高潮。自1958年第一个神经网络诞生以来,其学说与应用成果不胜枚举。人工神经网络一个快速提高着的一门新兴学科,新的模型、新的学说、新的应用成果正在层出不穷地涌现出来。
3人工神经网络的提高前景
针对神经网络存在的难题和社会需求,今后提高的主要路线可分为学说研究和应用研究两个方面。
(1)利用神经生理与认识科学研究大脑思索及智能的机理、计算学说,带着难题研究学说。
人工神经网络提供了一种揭示智能和了解人脑职业方式的合理途径,然而由于人类起初对神经体系了解非常有限,对于自身脑结构及其活动机理的认识还特别肤浅,并且带有某种“先验”。例如,Boltzmann机引入随机扰动来避免局部极小,有其卓越之处,然而缺乏必要的脑生理学基础,毫无疑问,人工神经网络的完善与提高要结合神经科学的研究。而且,神经科学,心理学和认识科学等方面提出的一些重大难题,是向神经网络学说研究提出的新挑战,这些难题的解决有助于完善和提高神经网络学说。因此利用神经生理和认识科学研究大脑思索及智能的机理,如有新的突破,将会改变智能和机器关系的认识。
利用神经科学基础学说的研究成果,用数理技巧探索智能水平更高的人工神经网络模型,深入研究网络的算法和性能,如神经计算、进化计算、稳定性、收敛性、计算复杂性、容错性、鲁棒性等,开发新的网络数理学说。由于神经网络的非线性,因此非线性难题的研究是神经网络学说提高的一个最大动力。特别是大众发现,脑中存在着混沌现象以来,用混沌动力学启发神经网络的研究或用神经网络产生混沌成为摆在大众面前的一个新课题,由于从生理本质角度出发是研究神经网络的根本手段。
(2)神经网络软件模拟,硬件实现的研究以及神经网络在各个科学技术领域应用的研究。
由于人工神经网络可以用传统计算机模拟,也可以用集成电路芯片组成神经计算机,甚至还可以用光学的、生物芯片的方式实现,因此研制纯软件模拟,虚拟模拟和全硬件实现的电子神经网络计算机潜力巨大。怎样使神经网络计算机与传统的计算机和人工智能技术相结合也是前沿课题;怎样使神经网络计算机的功能向智能化提高,研制与人脑功能相似的智能计算机,如光学神经计算机,分子神经计算机,将具有特别诱人的前景。
4哲理
(1)人工神经网络打开了认识论的新领域
认识与脑的难题,长期以来一直受到大众的关注,由于它不仅是有关人的心理、觉悟的心理学难题,也是有关人的思索活动机制的脑科学与思索科学难题,而且直接关系到对物质与觉悟的哲学基本难题的回答。人工神经网络的提高使我们能够更进一步地既唯物又辩证地领悟认识与脑的关系,打开认识论的新领域。人脑一个复杂的并行体系,它具有“认知、觉悟、情感”等高质量脑功能,用人工进行模拟,有利于加深对思索及智能的认识,已对认知和智力的本质的研究产生了极大的推动影响。在研究大脑的整体功能和复杂性方面,人工神经网络给大众带来了新的启迪。由于人脑中存在混沌现象,混沌可用来领悟脑中某些不制度的活动,从而混沌动力学模型能用作人对外部全球建模的工具,可用来描述人脑的信息处理经过。混沌和智能是有关的,神经网络中引入混沌学想法有助于提示人类形象思索等方面的奥秘。人工神经网络之因此再度兴起,关键在于它反映了事物的非线性,抓住了客观全球的本质,而且它在一定程度上正面回答了智能体系怎样从环境中自主进修这一最关键的难题,从认知的角度讲,所谓进修,就是对未知现象或规律的发现和归纳。由于神经网络具有高度的并行性,高度的非线性全局影响,良好的容错性与联想记忆功能以及特别强的自适应、自进修功能,而使得它成为揭示智能和了解人脑职业方式的合理途径。然而,由于认知难题的复杂性,目前,我们对于脑神经网的运行和神经细胞的内部处理机制,如信息在人脑是怎样传输、存贮、加工的?记忆、联想、判断是怎样形成的?大脑是否存在一个操作体系?还没有太多的认识,因此要制造人工神经网络来模仿人脑各方面的功能,还有待于大众对大脑信息处理机理认识的深化。
(2)人工神经网络提高的推动力来源于操作、学说和难题的相互影响
随着大众社会操作范围的不断扩大,社会操作层次的不断深入,大众所接触到的天然现象也越来越丰盛多彩、纷繁复杂,这就促使大众用不同的缘故加以解释不同种类的天然现象,当不同种类的天然现象可以用同样的缘故加以解释,这样就出现了不同学科的相互交叉、综合,人工神经网络就这样产生了。在开始阶段,由于这些学说化的网络模型比较简单,还存在许多难题,而且这些模型几乎没有得到操作的检验,因而神经网络的提高比较缓慢。随着学说研究的深入,难题逐渐地解决特别是工程上得到实现以后,如声纳识别成功,才迎来了神经网络的第一个提高高潮。可Minisky认为感知器不能解决异或难题,多层感知器也不过如此,神经网络的研究进入了低谷,这主要是由于非线性难题没得到解决。随着学说的不断丰盛,操作的不断深入,现在已证明Minisky的悲观论调是错误的。今天,高度发达的科学技术逐渐揭示了非线性难题是客观全球的本质。难题、学说、操作的相互影响又迎来了人工神经网络的第二次高潮。目前人工神经网络的难题是智能水平不高,还有其它学说和实现方面的难题,这就迫使大众不断地进行学说研究,不断操作,促使神经网络不断向前提高。先前的缘故遇到了解释不同的新现象,促使大众提出更加普遍和精确的缘故来解释。学说是基础,操作是动力,但单纯的学说和操作的影响还不能推动人工神经网络的提高,还必须有难题提出,才能吸引科学家进入研究的特定范围,引导科学家从事相关研究,从而逼近科学发现,而后操作又提出新难题,新难题又引发新的思索,促使科学家不断思索,不断完善学说。人工神经网络的提高无不体现着难题、学说和操作的辩证统一关系。
(3)人工神经网络提高的另一推动力来源于相关学科的贡献及不同学科专家的竞争与协同
人工神经网络本身就是一门边缘学科,它的提高有更广阔的科学背景,亦即是众多科研成果的综合产物,控制论创始人Wiener在其巨著《控制论’里面就进行了人脑神经元的研究;计算机科学家Turing就提出过B网络的设想;Prigogine提出非平衡体系的自组织学说,获得诺贝尔奖;Haken研究大量元件联合行动而产生宏观效果,非线性体系“混沌”态的提出及其研究等,都是研究怎样通过元件间的相互影响建立复杂体系,类似于生物体系的自组织行为。脑科学与神经科学的进展迅速反映到人工神经网络的研究中,例如生物神经网络学说,视觉中发现的侧抑制原理,感受野概念等,为神经网络的提高起了重要的推动影响。从已提出的上百种人工神经网络模型中,涉及学科之多,令人目不暇接,其应用领域之广,令人叹为观止。不同学科专家为了在这一领域取得领先水平,存在着不同程度的竞争,所有这些有力地推动了人工神经网络的提高。人脑一个功能特别强大、结构异常复杂的信息体系,随着信息论、控制论、生活科学,计算机科学的提高,大众越来越惊异于大脑的奇特,至少到目前为止,人类大脑信号处理机制对人类自身来说,仍一个黑盒子,要揭示人脑的奥秘需要神经学家、心理学家、计算机科学家、微电子学家、数学家等专家的共同努力,对人类智能行为不断深入研究,为人工神经网络提高提供丰盛的学说源泉。另外,还要有哲学家的参与,通过哲学想法和天然科学多种学科的深层结合,逐步孕育出探索人类思索本质和规律的新技巧,使思索科学从朦胧走向理性。而且,不同领域专家的竞争与协调同有利于难题清晰化和寻求最好的解决途径。纵观神经网络的提高历史,没有相关学科的贡献,不同学科专家的竞争与协同,神经网络就不会有今天。当然,人工神经网络在各个学科领域应用的研究反过来又推动其它学科的提高,推动自身的完善和提高。