基于迁移学习的机器阅读理解方法研究
机器阅读理解是自然语言处理与人工智能领域内最具难度的任务之一，受到学术界和产业界的极大关注。近年来，研究者们陆续提出了多个高质量的大规模机器阅读理解数据集，预训练语言模型的兴起，极大地推动了机器阅读理解任务的进步。然而，缺少大规模的监督训练数据仍是该领域面临的重要挑战之一。针对这一挑战，本文在现有无监督域自适应方法的基础上，围绕着如何提升机器阅读理解中的抽取式问答任务模型的迁移能力，开展了以下工作: (1)针对当前存在的缺乏训练数据的问题，本文将现有的方法进行融合，提出了一个基于多源域的无监督领域自适应框架(Multi-sourceQuestionAnswering,MSQA)。该模型利用多个已有的大型有标签数据集，在预训练模型的基础上，使用领域自适应方法，同时拉近多个源域和目标域数据集的特征分布，并为多个源域的损失函数提供了自适应加权方案。该方法不仅平滑了目标梯度，而且提供了一种合适的自适应方法组合来自多个源域的所有梯度，从而提升该模型在目标域数据集的迁移性能。 (2)利用领域自适应方法强行拉近两个域的特征分布，尽管能提升模型的迁移性能，却导致学习到的特征会损失原本模型的任务能力，因此大多数为分类任务设计的领域自适应方法在回归任务中效果不佳。针对这一问题，本文基于单源域设计了一种新的平衡范数条件域对抗问答方法(BalancedNormConditionalDomainAdversarialQuestionAnswering,BNQA),该方法通过将句子特征与模型预测输出进行级联，作为混淆领域判别器的信息，并平衡级联的句子特征和模型预测输出的范数水平，有效缓解了模型预测输出对判别器混淆无效的情况。 在多个公开的英文抽取式问答任务数据集上进行的大量实验表明，本文提出的方法在多源域迁移和单源域迁移任务上较相关同类方法有2-3个百分点性能提升，具有更加优越的模型迁移能力。
迁移学习;抽取式问答;预训练模型;领域自适应
武汉纺织大学
硕士
计算机科学与技术
彭涛
2023
中文
TP391.1
2023-08-28（万方平台首次上网日期，不代表论文的发表时间）