面向蒙古文主题的网络爬虫采集策略模型
针对蒙古文主题爬虫主要面临的预测采集URL和发现隧道2个核心问题，提出一种基于主题团的站点聚类、排序和隧道发现的采集模型。通过站点的主题识别，将待爬行URL分为站点链接和非站点链接，使用文本相似度和超链图分析建立了预测URL优先级排序算法，基于站点粒度设计了站点自适应隧道发现算法，最后，构建了一个面向蒙古文主题的网络爬虫系统。实验结果表明：该算法在采准率、信息总量与采集速率上都得到了提高，明显优于基线算法。
主题爬虫、主题团模型、相关度计算、隧道、N-Gram模型
TP391(计算技术、计算机技术)
国家自然科学基金资助项目61363052;内蒙古自治区自然科学基金资助项目2014MS0608;内蒙古自治区高等学校科学研究项目NJZY12052
2015-07-17（万方平台首次上网日期，不代表论文的发表时间）
共8页
1012-1019
