目录
1 背景
2国内外现状
2.1国外的现状和研究
2.2国内研究及现状
3 基于改进激活函数的单层神经网络
3.1神经网络基本原理和模型
3.2 TAF模型以及多层前向TAF网络
3.3 TAF多层前向神经网络(TAF-MFNN)的一种快速学习算法
4 结论和展望
4.1结论
4.2展望
参考文献
基于改进激活函数的单层神经网络
1 背景
在最近的二十几年，神经网络理论的应用取得了令人瞩目的进展，在人工智能、自动控制、计算机科学、信息处理、机器人、模式识别等方面都有重大的应用。神经网络由于其学习和自适应、自组织、函数逼近和大规模并行处理等能力，因而具有用于智能控制系统的潜力。神经网络在模式识别、信号处理、系统辨识和优化、工业系统的自动化控制等领域的应用，已有广泛的研究。在工业控制领域，人们已经做出许多努力，把神经网络用于控制系统，处理控制系统的非线性和不确定性等。根据控制系统的结构的不同，人们一般将神经网络控制的应用研究分为监督式控制、逆控制、神经自适应控制和预测控制等几种主要方法。随着各种神经网络理论模型和学习算法研究的不断深入，目前神经网络理论日趋成熟，已渗透到了工农业生产、生物学、物理学、地质学、医学、航空、航海等诸多领域。在智能控制、模式识别、非线性优化等方面取得了令人鼓舞的进展。
但是在这些应用当中也会发现人工神经网络的一些不足，比如学习速度慢、泛化能力弱、稳定性差等不足。这些不足可能是由于网络的结构或者信号处理方式以及学习算法不当引起的。目前为止神经网络的构造以及激活函数的选取只能是进行实验或者根据经验来确定，并没有具体的理论进行指导。因此研究神经网络的激活函数的研究对科学研究和工程应用都有着非常重要的意义。
2国内外现状
2.1国外的现状和研究
人工神经网络的起始发展已有近半个世纪的历史。1943年，心理学家W·Mcculloch[1]和数理逻辑学家W·Pitts在分析、总结神经元基本特性的基础上首先提出神经元的数学模型。此模型沿用至今，并且直接影响着这一领域研究的进展。因而，他们两人可称为人工神经网络研究的先驱。
1949年，生理学家Hebb[2]首次鲜明提出了改变神经元连接强度的Hebb规则，即学习的过程是在神经元之间的突触上发生的，突触的联系强度随着突触前后神经元的活动而发生变化。Hebb规则为神经网络的学习算法奠定了基础，使神经网络模型的研究进入了一个重要的发展阶段。
1957年Rosenblatt首次引进了感知器概念(Perceptron)，提出了解决模式识别问题的新的监督学习方法，第一次从理论研究转入工程实现阶段。1962年Widrow和Hof引入了最小均方差算法(LMS)，并系统阐述了自适应先行元件网络，简称Adaline(Adaptive Linear element)，而两者之间的差异在于训练过程。20世纪70年代神经网络的研究进入了低潮期，原因主要在于：
(1)1969年人工智能的创始人Minsky和Paper在颇有影响的(Perceptrons)一书中，从数学角度证明了以感知器为代表的网络系统的功能的局限性，并认为是不可解决的。
(2)由于微电子技术发展，人工智能得到迅速发展并取得了显著的成就，整个学术界陶醉于数字计算机的成功之中，从而掩盖了发展新型模拟计算机和人工智能技术的必要型和紧迫性，使得神经网络的研究进入了萧条期。
后来美国加州工学院物理学家John Hopfield提出了模仿人脑的神经网络模型，即著名的Hopfield[13-15]模型，从而揭开神经网络计算机研制序幕，掀起了神经网络研究第二次高潮。他用能量函数的思想形成了一种新的计算方法，该计算方法由含有对称突触联接的反馈网络执行。该模型的电子电路实现为神经计算机的研究奠定了基础，同时开拓了神经网络用于联想记忆和优化计算的新途径。Mcclell和Rumelhart[3]提出了PDP(并行分布处理)理论，同时发展了多层网络的BP算法，这是迄今为止应用最广泛的神经网络。
近段时间以来，神经网络理论的应用取得了令人瞩目的进展，在人工智能、自动控制、计算机科学、信息处理、机器人、模式识别等各个领域都有重大的应用实例。目前发展的重点是以应用为导向，以发展更高性能的混合计算机为目标。
2.2国内研究及现状
随着人工神经网络20世纪80年代在世界范围内的复苏,国内也逐步掀起了研究热潮.1989年10月和11月分别在北京和广州召开了神经网络及其应用讨论会和第一届全国信号处理—神经网络学术会议1990年2月由国内八个学会(中国电子学会、人工智能学会、自动化学会、通信学会、物理学会、生物物理学会和心理学会)联合在北京召开“中国神经网络首届学术会议”.这次大会以
