基于图卷积神经网络的多项选择题型机器阅读理解研究
机器阅读理解是自然语言处理领域的核心任务之一，其目标是让计算机理解并回答人类语言中的相关问题，该任务通常包括片段抽取式、完形填空式、多项选择式以及自由问答式四项子任务。随着人工智能的不断发展，机器阅读理解技术得到了广泛的应用，涉及智能客服、智能搜索、医学诊断等领域。然而，尽管已取得显著进展，当前的机器阅读理解模型在处理语义逻辑推理问题上仍存在局限性。对此，已有相关研究主要通过注意力机制对文章、问题和候选答案进行建模，以提高模型的效果。但注意力机制存在对部分词语关注过多或忽视关键词汇的问题，导致模型在学习和理解过程中忽略了关键信息。 本文将重点研究机器阅读理解中的多项选择题型任务，该任务要求机器根据给定文章内容回答问题，并从一系列候选项中选择最佳答案。为了解决现有模型在处理语义逻辑推理问题上的不足，本文将从优化主流机器阅读理解模型的准确度出发，对多项选择题型机器阅读理解模型进行深入研究，具体的研究内容如下： (1)基于术语相似度的多项选择题型证据句抽取模型。多项选择题型问答的目的是在给定文章和问题时自动从候选项中选择正确答案。现有方法通常基于全文信息对注意力机制进行建模或为弱监督学习手动标记关键句子，这导致模型广泛关注冗余信息和产生了昂贵的手动注释。本文考虑以无监督方式进行证据句抽取工作，以精确查明证据句并最大限度地减少冗余信息的影响，同时避免昂贵的手工标记。具体来说，本文提出了一种术语相似度感知的证据句抽取模型，它通过术语相似度动态地提炼关键信息，智能地从文章中选择与问题更相关的句子作为证据句集合。 (2)基于图卷积神经网络的多项选择题型答案预测模型。目前的文章建模在输入较长的文章时效果不佳，为了减少因文章过长在建模过程中丢失的信息，本文对证据句集进行建模，构建了实体图，以图的形式表示文章中的证据句集。首先对文章采用Spacy和NLTK工具包进行分句、分词和词形还原等操作；然后，通过一系列编码技术比较包含相同顶点的句子来匹配候选项，并通过改良的图卷积神经网络汇总匹配的特征，从而完成多项选择题型的答案预测。 (3)最后，为了评估证据句抽取和实体图构建的效果，本文将该模型应用于典型的预训练语言模型BERT,在RACE和Dream数据集基准上对其进行编码和评估，其中RACE数据集中的初中阅读理解平均每篇231.1个词，高中阅读理解平均每篇353.1个词。在两个公开数据集上对提出的方法进行了广泛的评估，结果表明，与机器阅读理解匹配的各种最新方法相比，该方法有了显著的改进。验证了本文提出的模型在当前基线的基础上实现了实质性的性能提升。
机器阅读理解;卷积神经网络;证据句抽取;预训练语言模型
武汉纺织大学
硕士
软件工程
张俊杰
2023
中文
TP391.1
2023-08-28（万方平台首次上网日期，不代表论文的发表时间）