基于N-Gram的专业领域中文新词识别研究
以植物学作为专业领域的样本,对专业领域的新词自动化识别进行探索。研究选取《中国植物志》作为样本集,在ICTCLAS切词的基础上采用N-Gram统计的方法提取新词的候选项,然后分别按照词频(TF)、文档频率(D)和平均词频(TF/D)对新词候选项排序,取一定范围内的候选项作为识别出的新词。实验结果表明,词频TF筛选新词候选项的识别效果最好,F值为0.65。该方法能够自动产生专业领域的用户词典,具有较强的可移植性。
N-Gram、新词识别、词频统计
G350(情报学、情报工作)
教育部人文社会科学研究青年基金项目“基于深度语义标注的网络中文学术信息抽取研究——以生物多样性描述为例”项目10YJC870004的研究成果之一
2012-07-01(万方平台首次上网日期,不代表论文的发表时间)
共7页
41-47