目录

1 选题的背景和意义

1.1 选题的背景

1.2 国内外研究现状及发展趋势

2 研究的基本内容

2.1 基本框架

2.2 研究的重点和难点

2.3 拟解决的关键问题

3研究的方法及措施

4预期成果

参考文献

1 选题的背景和意义

1.1 选题的背景

    在最近的二十几年，神经网络理论的应用取得了令人瞩目的进展，在人工智能、自动控制、计算机科学、信息处理、机器人、模式识别等方面都有重大的应用。神经网络由于其学习和自适应、自组织、函数逼近和大规模并行处理等能力，因而具有用于智能控制系统的潜力。神经网络在模式识别、信号处理、系统辨识和优化、工业系统的自动化控制等领域的应用，已有广泛的研究。在工业控制领域，人们已经做出许多努力，把神经网络用于控制系统，处理控制系统的非线性和不确定性等。根据控制系统的结构的不同，人们一般将神经网络控制的应用研究分为监督式控制、逆控制、神经自适应控制和预测控制等几种主要方法。随着各种神经网络理论模型和学习算法研究的不断深入，目前神经网络理论日趋成熟，已渗透到了工农业生产、生物学、物理学、地质学、医学、航空、航海等诸多领域。在智能控制、模式识别、非线性优化等方面取得了令人鼓舞的进展。

    但是在这些应用当中也会发现人工神经网络的一些不足，比如学习速度慢、泛化能力弱、稳定性差等不足。这些不足可能是由于网络的结构或者信号处理方式以及学习算法不当引起的。目前为止神经网络的构造以及激活函数的选取只能是进行实验或者根据经验来确定，并没有具体的理论进行指导。因此研究神经网络的激活函数的研究对科学研究和工程应用都有着非常重要的意义。

1.2 国内外研究现状及发展趋势

    M-P模型是W.C.McCulloch和数学家W.Pitts于1943年提出的。在各种人工神经网络的研究中得到广泛的应用。在这个模型中，连接权值和非线性激活函数分别模仿神经元的突触和细胞体的功能。在训练过程中，权值是可调节的，但激活函数是固定的，是事先确定的。显然，这种模型过于简单，其性能受到极大的限制。人工神经网络的研究在过去的五十年取得很大的进步。然而，一些问题暴露出来，阻碍了研究工作的进展。这三个问题总结如下^[1]：

   （1）自从M-P模型的激活函数固定不变，不适合某些问题的求解。Segee等对一些普通有用的BP网络有深入理解。他发现,当采用固定的S-型激活函数神经细胞网络来解决一些问题时，很难得到满意的结果,因为网络收敛速度非常慢，而且对某些参数变化过于敏感^[2]。Lee和Kil^[3]等人也曾采用S-型、Gauss型和正弦型激活函数的神经网络模型的映射能力的模拟实验，在这三种网络中采用S-型激活函数的网络，其映射能力最差。

   （2）网络的容量与网络的规模有关。一般来说，解决较复杂的问题时需要采用规模较大的网络。然而，人工神经网络的设计目前还缺少系统的理论来指导。通常是根据研究人员的经验，先选用某一合适的网络结构，再依靠试差法来决定较好的网络。如果网络结构和规模选择不当，则训练将十分困难。因此，如何设计所需的网络来解决某些问题，依然是一个未解决理论问题。

   （3）在设计网络时，引入先验知识可以使网络结构大大简化，但是如何把先验知识引入网络设计还是一个公开问题。Stork等