基于层次隐马尔可夫模型的汉语词法分析和命名实体识别技术
该文提出了一种基于层次隐马尔可夫模型的汉语词法分析方法,旨在将汉语分词、词性标注、切分排歧和命名实体识别集成到一个完整的理论框架中.在分词方面,采取的是基于类的隐马尔可夫模型,在这层隐马尔可夫模型中,命名实体和词典中收录的普通词一样处理.命名实体识别引入了角色HMM:Viterbi算法标注出全局最优的角色序列,然后在角色序列的基础上,识别出命名实体,并计算出真实的可信度.在切分排歧方面,采用一种基于N-最短路径的策略,即:在早期阶段召回N个最佳结果作为候选集,目的是覆盖尽可能多的歧义字段,最终的结果会在未登录词识别和词性标注之后,从N个最有潜力的候选结果中选优得到.不同层面的实验表明,层次隐马模型的各个层面对汉语词法分析都发挥了积极的作用.作者参与了基于层次隐马尔可夫模型的汉语词法分析系统ICTCLAS的开发,该系统在2002年的973专家组评测中获得第一名,在2003年汉语特别兴趣研究组(the ACL Special Interest Group on Chinese Language Processing,SIGHAN)组织的第一届国际汉语分词大赛中综合得分获得两项第一名、一项第二名.这表明:ICTCLAS是目前最好的汉语词法分析系统之一,层次隐马尔可夫模型能够解决好汉语词法问题.
汉语词法分析;分词;词性标注;命名实体识别;层次隐马模型;ICTCLAS
北京化工大学
硕士
计算机应用
赵英
2004
中文
TP391.43;O211.62
54
2004-10-21（万方平台首次上网日期，不代表论文的发表时间）