多视图机器学习分类及聚类算法研究
在现实世界中数据通常有多种特征表示或者来源，这些不同的特征表示或数据来源称之为数据的视图(View)。不同的数据视图之间存在着互补信息和兼容信息，如何将这些视图信息融合起来并做出合理的决策称之为多视图学习。在机器学习中如果仅使用一种视图的信息进行学习那就会如“管中窥豹，只见一斑”一样了，只能得到片面的信息而不能做出正确的决策。相对于仅使用单个视图进行学习，多视图学习可以综合多个视图的信息，从而使得学习到的信息更为全面。目前，多视图学习已成为学术界的一个研究热点，并广泛应用于医学影像分析、自然语言处理、人脸识别等领域。本文主要研究多视图数据构造、多视图数据的融合以及多视图数据的分类和聚类算法等若干关键技术。本文的主要工作及创新点概括如下： (1)提出了一种基于极限学习机的多视图聚类方法。本文将极限学习机(Extreme Learning Machine, ELM)引入到多视图聚类任务中，提出了一种基于ELM的多视图聚类框架，并且基于该框架实现了3个算法。在该框架中，单视图归一化后的特征通过ELM随机映射被映射到高维的特征空间以获取更好的数据特征表示。之后，我们在此特征空间进行无监督的多视图聚类。据我们所知，该工作是首次将极限学习机应用于多视图聚类。大量实验表明，我们提出的算法相对于近几年文献中提出的多视图聚类方法有明显的性能提升。 (2)提出了一种基于视图构建的局部核对齐的多视图聚类方法。为解决数据表示单一的问题，本文提出使用极限学习机构造数据的多视图特征表示，并挖掘数据的多个视图之间的局部核对齐性质，提出了一种多视图聚类方法。在该方法中使用极限学习机的随机特征映射构造视图，不同的视图对应不同的隐含层节点。然后，通过实验分析了这些视图之间的互补性和兼容性，在此基础上提出了一种基于局部核对齐的多视图聚类方法。该方法具有良好的通用性和可扩展性，并可以将多视图算法应用于单视图数据学习中，实验结果表明本文提出的算法相较于对比算法能有效的提升聚类的效果。 (3)提出了一种?q范数的样本自适应多核学习算法。现有样本自适应算法(Sample-Adaptive Multiple Kernel Learning, SAMKL)的形式是?1范数，该形式并不灵活。此外，SAMKL算法都是基于预先计算好的基核开展的研究。为了使得基核的组合更为鲁棒并在实际应用中更为通用，我们将SAMKL的形式扩展为任意范数，并应用于图像分类任务中。在本文中，我们根据group-lasso和MKL之间的等价性提出了一个封闭形式的解决方案来优化基核权重，并提出了一个高效的?q范数(q≥1并表示基核权重的?q范数)的样本自适应多核学习算法。然后，使用优化方法(如割平面方法、交替坐标下降方法)来求解最大间隔优化问题。除此之外，我们还提出了一个求解图像分类问题的多核学习算法(Multiple Kernel Learning, MKL)的框架。与现有的多核学习算法相比，本文提出的算法在多个数据集上展示出了更好的分类性能。 (4)提出了一种基于特征融合的深度聚类方法。图像聚类是机器学习中具有挑战性的任务之一，并已广泛用于各种应用。最近，学术界已经提出了各种深度聚类方法。这些方法一般是采用一种两阶段的学习方法，顺序的或者联合的使用特征学习和聚类。我们观察到这些工作的重心通常集中在输入重构损失和聚类损失的组合方式上，少有工作研究进一步的提升神经网络聚类中的特征表示能力。在本文中我们提出了一种采用类Inception模块的深度卷积嵌入式聚类算法(Deep Convolutional Embedded Clustering with Inception-like block, DCECI)。具体而言，在对称深度卷积网络中引入具有不同类型卷积滤波器的类Inception模块以保留卷积层的局部结构并对不同的非线性特征进行融合。在该方法中我们同时最小化卷积自动编码器的输入重构误差和聚类损失。与其它对比算法相比，我们提出的方法在多个图像数据集上取得了较优的实验结果，验证了本方法的有效性。
多视图数据;机器学习;聚类算法;卷积滤波器
国防科学技术大学
博士
计算机科学与技术
窦勇
2018
中文
TP181;TP301.6
2020-04-22（万方平台首次上网日期，不代表论文的发表时间）