10.3969/j.issn.2095-2163.2018.02.016
面向DNS日志的MapReduce性能优化技术研究
DNS日志是互联网中重要的访问日志,数量巨大且承载着大量信息,需要借助大数据技术进行处理和分析.现网DNS日志数据量大,且数据倾斜现象严重,对MapReduce的性能有较为严重的影响.基于上述问题,采用小文件合并方法优化分片,缓解Map端的数据倾斜问题,并实现动态设置分片大小,提高MapReduce作业执行效率.该方法有效均衡了Map任务的负载,从而提高了数据倾斜情况下的MapReduce作业的执行效率和资源利用率.实验表明,使用该方法可以有效缩短MapReduce作业的执行时间.
DNS日志、数据倾斜、MapReduce、性能优化
8
TP393(计算技术、计算机技术)
2018-05-22（万方平台首次上网日期，不代表论文的发表时间）
共5页
73-77
