基于知识蒸馏的语义解析一致性研究
知识库问答(KnowledgeBaseQuestionAnswering,KBQA)是问答系统的重要组成部分。基于语义解析(SemanticParsing,SP)的KBQA方法由于其强大的推理能力和可解释的推理过程而越来越受到关注，是当前研究的热点。语义解析有多种逻辑形式，如KoPL、SPARQL、Lambda-DCS等。不同逻辑形式各有优势，并且针对同一自然语言问题解析得到的逻辑形式存在部分的语义不一致问题，从而导致不同逻辑形式所得到的答案有正确、错误的。针对这一问题，本文引入知识蒸馏，专注于其模型增强的思想，利用其知识迁移能力，提高不同逻辑形式之间的语义一致性，充分挖掘模型的学习能力，从而增强语义解析模型的性能。主要工作如下: (1)针对不同逻辑形式各有优势，存在部分的语义不一致问题，提出了一种基于单教师知识蒸馏的知识库问答语义解析方法(DKD-SP)。本文利用一个逻辑形式解析模型作为教师，将其生成的样本标签(输出特征知识)以及编码层隐式向量(中间特征知识)去指导作为学生的逻辑形式解析模型的学习训练，从而实现知识在不同逻辑形式之间的转移。为了让学生模型从教师模型中学习，提出了一个学生动态蒸馏学习模型，以三种方式从已训练好的教师指导模型中学习:对齐教师指导模型的输出分布,对齐隐藏层表示，以及两种对齐方式的组合。最后，提出了一个动态权重分配模型来保证学生的学习表现，为监督信号分配权重。 (2)针对不同逻辑形式处理不同类型问题的能力不同的问题，提出了一种基于多教师知识蒸馏的知识库问答语义解析方法(MKD-SP)。本文借助于循环生成的思想，将学生模型输出中的实体和关系拼接到原始自然语言问题，输入到教师模型中，教师模型最终输出的逻辑形式去指导学生模型的学习。从而使教师模型根据学生模型的能力进行教学。在多教师教学中，其它教师可能存在“错误教学”，本文提出了在多教师知识蒸馏中结合自蒸馏的方法，采取对齐隐藏层表示的方式进行教学，进一步减少上述问题。最后，提出了一个Confidence-awareWeighting模块，用于为监督信号分配权重。 (3)在目前应用最广泛的NLQ-to-SPARQL和NLQ-to-KoPL的KQAPro数据集上进行了多组实验。实验结果表明，本文提出的DKD-SP方法和当前效果最好的Bart模型相比，在accuracy指标上平均提高了0.57％,在组合泛化场景下提高了4.02％,达到了SOTA效果;本文提出的MKD-SP方法的效果和当前效果最好的Bart模型相比，在accuracy指标上平均提高了0.75％。说明了利用知识蒸馏使不同逻辑形式之间相互学习比使用单一逻辑形式的语义解析方法效果更佳。
语义解析;知识蒸馏;知识图谱;知识库问答
北京化工大学
硕士
计算机科学与技术
万静
2023
中文
TP391.1
2023-09-27（万方平台首次上网日期，不代表论文的发表时间）