基于误差矢量化的选择性神经网络集成方法的研究与应用
神经网络集成算法是一种非常有效的建模方法，算法通过训练大量的子网络并简单结合其结论，能够很大程度上提高网络泛化结果的精度。增大子网间差异度是提高集成精度最有效的方法，而由于能够影响神经网络的因素很多，当前学术界对差异度的认识并不统一。传统方法独立训练各子网，子网间由于训练过程中不存在交互，训练出的子网差异度较小。
本文将集成误差输出矢量化，从矢量的角度分析影响集成精度的因素，给出了基于误差矢量的差异度计算公式，并提出基于误差矢量化的子网选择方法。随后提出了基于误差矢量化的集成方法EVSNE(ErrorVectorizationbasedSelectiveNetworkEnsemble)，该方法在子网训练同时考虑集成精度，通过训练过程中在优化目标值中加入惩罚项，使各子网输出误差矢量相互补偿抵消。EVSNE算法在训练过程中存在交互，子网差异度比传统的Bagging方法更大。
通过分析EVSNE算法与传统的子集生成算法各自发挥作用的原理，得出两类方法可以结合，可以通过传统方法生成具有差异度的训练集，再通过EVSNE算法的交互过程来训练子网，从而提出基于Bagging的改进方法B-EVSNE和基于聚类的改进方法C-EVSNE。在改进的EVSNE算法中，Bagging和聚类方法可以看成对EVSNE的数据预处理过程。
为了确定参数、验证算法，本文选取了6组标准数据对算法进行测试，6组数据均为神经网络常用的经典测试集。通过实验确定了EVSNE算法最合适的惩罚项参数取值与子网个数。随后将算法与传统的Bagging算法进行比较，证明了EVSNE算法具有比Bagging更高的泛化精度，而改进后的B-EVSNE与C-EVSNE比一般EVSNE泛化效果更好。HDPE（高密度聚乙烯）生产过程是石化工厂的大型项目，通过EVSNE及改进算法对HDPE过程建模，表明本文提出算法在实际工业过程建模中具有较高的精度与稳定性，具有较高实用价值。
神经网络;集成方法;差异度;误差矢量化;训练过程;HDPE建模
北京化工大学
硕士
控制科学与工程
朱群雄
2012
中文
TP183;TP301.6
77
2012-11-30（万方平台首次上网日期，不代表论文的发表时间）