基于改进遗传算法的神经网络

陈鑫，刘柏明，杨国燕

1黑龙江大学信息科学与技术学院，哈尔滨,

150001,中国

cheng224@163.com

2计算机与信息工程系,北京科学技术管理学院,

北京,102206,中国

netbaimingliu@sina.com

摘要. 为了克服神经网络反向传播算法收敛速度慢，易陷入局部极小值，初始权值和阈值的选择缺乏依据，具有很大随机性等缺陷，采用基于自适应遗传算法的神经网络优化方法，方法结合了两者的优点，但是仍存在种群早期进化速度慢的缺点，于是提出了一种改进的自适应遗传算法，将其应用于神经网络的权值和阈值的优化设计中，并将此模型用于对某城市污水厂难测参数SVI的预测。仿真结果表明，算法不仅可克服BP算法的缺陷，而且与BP和GA―BP网络模型比较，大大提高了收敛速度与收敛精度，获得了良好的效果。

关键词：遗传算法；神经网络；误差反响传播算法；污水参数；软测量

1 引言

人工神经网络由于具有优良的非线性逼近特性、并行式分布结构、较好的容错性以及自适应学习和归纳能力，使其在诸如建模、时间序列分析、模式识别、信号处理和工业控制等领域都得到了广泛的应用。反向传播网络算法作为前馈网络的主要学习算法，因具有简单、易行、计算量小，并行性强等优点，是目前神经网络训练采用最多也是最为成熟的算法之一。但BP算法有收敛速度慢，易陷入局部极小点等缺陷，因此，有必要对其进行改进优化。

20世纪70年代美国学者Holland创立的遗传算法，是一种基于自然选择和基因遗传学原理的优化搜索方法，GA将“优胜略汰，适者生存”的生物进化原理引入待优化参数形成的编码串群体中，按照一定的适应度函数及一系列遗传操作对各个体进行筛选，从而使适应度高的个体保留下来，组成新的群体。新群体中各个体适应度不断提高，直至满足一定的极限条件。此时，群体中适应度最高的个体即为待优化参数的最优解。正是由于遗传算法独特的工作原理，使它能够在复杂的、多峰值的、不可微的大矢量空间中迅速有效地寻求到全局最优解，并且具有较强的鲁棒性。

本文将改进的自适应遗传算法用于神经网络的优化设计中，增强了对非线性问题的识别与模拟能力，提高了处理问题的速度和预测结果的泛化精度。

2 基于改进遗传算法的神经网络优化方法

从神经网络BP和遗传算法自身的特点上讲，BP算法的训练是基于误差梯度下降的权重修改原则，不可避免的存在落入局部最小点问题；遗传算法善于全局搜索，而对于局部的精确搜索显得能力不足。所以利用遗传算法优化神经网络初始权阈值，然后利用神经网络算法最终完成网络训练，两者的结合，实现了优势互补，有利于更好地解决实际问题。

 2.1 基于改进的遗传算法优化神经网络的具体步骤

一个ANN模型可以由有限个参数：神经元、网络层数、各层神经元数、神经元的方式、各连接的权重以及传递函数等描述，所以可以对一个ANN模型进行编码，用遗传算法实现神经网络的学习过程。

1）设定参数

输入种群规模P、网络层数（不包括输入层）、每层神经元数。遗传算法对于这些参数的设置有非常好的鲁棒性，改变这些参数对所得结果不会有太大的影响。

2）初始化及评估

①随机产生初始种群 ，任一 为一神经网络权重，它由一个权值向量和一个阈值向量组成，权值向量为维实数向量，为所有连接权的个数，阈值向量也为维实数向量（不包括输入层神经元）。每一个网络权重就相当于一个染色体，这样的染色体有N个，即种群规模。神经元编号采用自底向上、自左向右的方法（包括输入神经元）。