10.3969/j.issn.1000-386x.2018.02.025
面向国内直播行业的分布式弹幕爬虫研究
近年来,依托视频行业与直播行业的兴盛,弹幕服务迅速发展.然而主流弹幕服务的弹幕环境一直以来缺乏监管,主播与用户违规行为屡禁不止,对直播弹幕的学术研究稀少,亟需开发针对弹幕的采集处理方案.针对国内知名弹幕服务的技术特征,设计一种分布式直播弹幕爬虫系统方案.分析并提出相应房间连接的建立机制与弹幕采集机制:对开放API的服务直接采用轻量级客户端实现;对基于Adobe Flash且不开放API的服务,用基于Chromium浏览器的Electron模拟浏览直播间网页,并改写其PPAPI插件界面实现,旁路Flash网络流量从而实现抓取.在某知名弹幕平台上进行了验证性实验,表明该系统能够调度IP地址资源进行较大规模抓取,且性能较好,能够处理平均134条每秒、峰值超过1000条每秒的弹幕流量.
直播弹幕、爬虫、浏览器模拟、PPAPI旁路
35
TP393.09(计算技术、计算机技术)
国家科技支撑计划课题2015BAH54F00;国家重点研发计划项目2016YFB0800305
2018-05-14（万方平台首次上网日期，不代表论文的发表时间）
共7页
134-140
