10.3969/j.issn.2095-2163.2022.09.019
基于多模态深度学习的音乐情感分类算法
针对现有算法仅考虑音乐或视频单模态特征,分类效率低下的问题,本文提出了基于多模态深度学习的音乐情感分类算法.首先设计了二维音频卷积神经网络,该网络将音频梅尔谱图作为输入,以学习音乐的音频特征;其次,设计了视频神经网络,以学习音乐视频的时空特征;采用多模态融合技术,将音频和视频特征融合,设计了多模态深度学习分类算法对音乐的情感进行分类.针对缺乏已标记音乐视频数据集的问题,本文构建了一个具有多样性的音乐视频数据集.基于该数据集进行实验,以验证所提出算法的有效性,并对比分析了不同优化器对单模态分类模型性能的影响.实验结果表明,与单模态情感分类器相比,多模态分类器能实现最佳的分类性能.
深度学习、音乐情感分类、多模态融合
12
TP391(计算技术、计算机技术)
2022-10-09（万方平台首次上网日期，不代表论文的发表时间）
共5页
110-114
