基于ARPSO算法优化的集成极端学习机的研究与应用
虽然极端学习机(ELM: Extreme Learning Machine)收敛快、泛化性能高,但因输入层权值和隐单元阈值的随机选取,其稳定性不高。相对于单个ELM,集成ELM具有更优的泛化性能和稳定性。因标准微粒群算法(PSO: Particle swarmoptimization)易于过早熟而收敛于局部极小点,多数基于此类PSO的集成ELM性能提高仍然有限。因此,本文将多样性自适应控制的吸引排斥微粒群算法(ARPSO: Attractive and Repulsive PSO)对集成ELM进行动态优化,并进一步考虑ELM间的差异度和集成权值的优化,最后将该类集成ELM应用于基因表达谱数据分类,取得了优于传统集成ELM的性能。本文的主要工作如下: (1)提出一种基于ARPSO动态优选成员ELM的集成ELM(E-ARPSOELM)。该方法利用ARPSO根据集成系统的收敛精度选出最优的成员ELM,从而提高集成系统的泛化性能。在多个Benchmark数据集上的实验结果表明,E-ARPSOELM构建的集成系统比单一的ELM和集成ELM具有较高的泛化性能和稳定性。 (2)在E-ARPSOELM基础上,提出两个基于ELM间差异度的集成极端学习机—单步优化的集成ELM(SO-EELM)和双重优化的集成ELM(DO-EELM)。首先利用ARPSO在能够保证集成系统的收敛精度的同时,选出差异度较大的成员ELM,以实现对集成ELM的单步优化;更进一步,对单步优选出的成员ELM,每个ELM的初始权重由最小二乘法算得,然后再利用ARPSO进一步优化,直到找到最优的权值,实现双重优化。基于ARPSO和差异度的两种集成极端学习机保证实现最优收敛性能同时,并使集成系统结构更加简洁。 (3)将以上提出的基于ARPSO的集成ELM应用于基因表达谱数据分类,在两个基因表达谱数据集上的实验结果表明,本文提出的集成极端学习机能够有效地实现肿瘤识别。
集成极端学习机;吸引排斥微粒群算法;基因表达谱数据;多样性自适应控制
江苏大学
硕士
模式识别与智能系统
韩飞
2015
中文
TP391.6
62
2015-10-12(万方平台首次上网日期,不代表论文的发表时间)