基于最小闭包球理论的支持向量分类机算法研究
支持向量机是20世纪90年代提出的一种基于统计学习理论的机器学习算法，由于其出色的学习性能，该技术已经成功地应用于很多领域，如手写体数字识别、文本自动分类、人脸检测等。支持向量机的核心思想是把一个复杂的分类任务通过核函数的映射，使之转化成一个在高维特征空间中构造线性分类超平面的问题。作为结构风险最小化原则的具体实现，支持向量机方法具有全局最优、结构简单、推广能力强等优点。但是当处理大规模数据集的问题时，该算法在训练时存在计算时间、内存占用和计算精度等方面的不足。所以提高支持向量机在大规模数据集上的训练效率和泛化性能就成为具有重大现实意义的课题之一。 针对大规模数据集分类问题，本文提出了一种基于最小闭包球(MEB)理论的支持向量机快速训练算法。其主要研究内容如下： (1)介绍了统计学习理论的基本思想以及支持向量机的基本理论及其训练算法。并对当前各种比较通用的支持向量机训练算法进行了研究，比较了各种算法的优劣，尤其深入地研究了Platt等学者的序列最小最优化(SMO)算法，其中包括训练点的选取、优化以及优化后的重置。 (2)SMO算法是训练大规模数据集的有效算法，但是仍存在着训练速度慢、占用空间大的缺点。因此，在两个样本点的选取上，本文将排序的方法引入到SMO算法的内循环的过程中，提出一种改进算法——Q-SMO算法。通过对12E?E排序取前五个值进行检测，判断目标函数值是否有所下降，来提高算法的收敛性。最后还采取了增大缓存技术来提高算法的训练速度。 (3)针对IvorW.Tsang基于MEB问题所提出的核向量机算法，本文给出二值分类支持向量机转化为MEB问题的详细推导过程，介绍了算法的初始化设置及概率加速采样。最后把核向量机算法与改进后的Q-SMO算法结合，利用Q-SMO算法求解核集上的最优化问题，提出了一种处理大规模数据集的改进算法——QS-CVM(QueuingSMO-CVM)算法。 最后使用Adult和扩展的USPS数据集对本文提出的改进算法与其他算法进行测试和对比分析，实验表明QS-CVM算法能够明显地提高支持向量机的训练速度。
支持向量机;序列最小最优化算法;最小闭包球问题;核向量机;核函数
重庆师范大学
硕士
系统分析与集成
魏延
2010
中文
TP181
2020-04-14（万方平台首次上网日期，不代表论文的发表时间）