一种RBF网络结构调整的稳健增量学习方法

　　1　引言

　　在模式识别应用中,许多情况下一次性获得训练人工神经网络需要的所有数据不仅耗时、费力,而且有时是不现实的;另外,当样本规模较大时,由于系统内存的限制往往使得对所有样本的训练不可行,这时就需要对神经网络进行增量学习( incremental learning)。神经网络增量学习[1][2]可以学习到新样本的信息,同时保持原有样本的知识,学习过程不需要用到原有样本。神经网络增量学习可以通过调整参数来实现,也可以通过调整网络拓扑结构来实现[1]。由于径向基函数网络(RBF)具有隐层结构调整的潜力,因此吸引着研究者对其增量学习能力的研究。

　　RBF网络是一种单隐层前馈神经网络,其具有网络结构简单、非线性逼近能力强、收敛速度快以及全局收敛等优点[3],已经成功地应用于模式识别、函数逼近、信号处理等领域[4][5]。传统的RBF网络学习算法中网络结构是固定的,根据神经网络学习理论,神经网络结构的复杂性应该与样本规模相适应[6],这种结构固定的学习算法是不适合增量学习的。文献[7]给出了一种具有隐节点添加/删除策略的结构

　　动态调整的RBF网络学习算法,称为GAP-RBF算法,算法根据样本的“新性”(novelty)条件添加隐节点,根据隐节点的“重要性”(significance)条件删除隐节点,文中只对函数估计问题进行了测试。这种网络结构调整策略为RBF网络作为分类器时的增量学习提供了可能,但是该算法初始网络节点为空,采用在线学习的方式调整网络结构,使得添加的隐层节点参数可能不是最优,造成算法性能与样本输入顺序有关[8]。

　　为了得到RBF网络较优的初始网络结构,降低初始数据集中样本输入顺序对其性能的影响,增强算法的稳健性,并使得RBF网络作为分类器时具有增量学习的能力,本文提出了一种聚类初始化的RBF网络结构动态调整的增量学习方法。通过对初始数据集聚类的方法得到较优的RBF网络初始隐层节点参数。

　　2　GAP-RBF算法中隐层节点调整策略

　　RBF网络输出层第个输出节点的输出函数为:

　　其中wk+1为该隐层节点与输出层之间的连接权值,μk+1为中心向量,σk+1为该隐层节点的平滑参数。

　　当新样本点(xn,yn)不满足“新性”条件时,不添加新隐层节点,文献[7]证明只需调整与新样本点最近邻(欧式距离)的隐层节点的参数,参数调整方法采用扩展卡尔曼滤波(EKF)算法[9]。

　　RBF网络隐层结构调整过程中会产生冗余的隐层节点,为了得到紧凑的网络结构,隐层节点参数调整完成后需要检测并删除冗余的隐层节点,只需检测与新样本点最近邻的隐层节点是否满足删除条件[7],删除条件定义为其“重要性”(significance)条件小于设定的阈值：