10.3969/j.issn.1000-386X.2010.01.039
网络机器人多线程爬行的研究与实现
多线程爬行是高效率网络机器人实现的关键.分析在单个计算机节点上网络机器人多线程爬行的关键流程,并借鉴硬件指令流水线的执行过程研究不同多线程并发调度策略下系统的性能特点.最后,给出实现网络机器人多线程爬行的关键数据结构、并发调度方法及URL消重策略.实验数据表明:有效地控制并发和有选择地消除重复URL可以提高网络机器人的爬行速度.
网络机器人、多线程爬行、并发调度、URL消重
27
TP3;TP2
江西省自然科学基金项目0311046;江西省教育厅基金项目赣教技字[2006]177号;华东交通大学校立科研基金08XX05
2010-04-06（万方平台首次上网日期，不代表论文的发表时间）
共4页
117-120
