基于表征学习发展的深度学习研究综述
表征学习是机器学习中学习特征技术的方法集合,深度学习方法是具有多个表示组合的表征学习方法,其通过简单的线性组合和映入非线性模块,能够将原始输入转换为更高、更多的抽象表示层次,通过组合足够多的该类转换,能够从大数据集中学习非常复杂的转换函数.这些方法极大地提高了语音识别、视觉对象识别、对象检测和许多其他领域(如药物发现和基因组学)的最新技术水平.深度学习方法通过使用反向传播算法来指示机器如何在大数据集中发现复杂的结构并改变它的内部参数,其中深度卷积网络广泛应用于图像、视频、语音和音频处理,循环网络则对诸如文本和语音等顺序数据提供处理方案,而最新的Transformer类网络结构引入注意力机制,具有更加良好的挖掘数据特征的性能,逐渐替代深度卷积网络和循环网络结构,但其需要更加庞大的数据驱动,应用范围受限.本文探究深度学习发展历史及其在不同领域的应用,讨论深度机器学习的发展方向.
深度学习、模型生态、Transformer
22
TP391(计算技术、计算机技术)
国家自然科学基金;重庆市研究生联合培养基地
2022-11-18（万方平台首次上网日期，不代表论文的发表时间）
共4页
3-6
