10.3969/j.issn.1000-386x.2017.05.039
基于节点性能的Hadoop作业调度算法改进
由于构成数据中心的计算设备一般都存在性能上的差异,但是Hadoop调度算法没有考虑不同节点的性能差异,导致节点间出现“忙闲不均”的现象,影响作业的执行效率.针对如上问题,在系统分析Hadoop资源管理机制(Yarn)源代码的基础上,提出了节点性能评价指标,综合考虑节点的硬件配置参数和运行过程中的动态性能指标.在此基础上对Fair Scheduler调度算法进行改进,实现了基于节点性能的任务分配,整体上提高了所有节点的利用率.在Hadoop集群上的实验表明,所提出的节点性能评价指标和对Fair Scheduler调度算法的改进,有效解决了节点的负载均衡问题,整体上提高了作业执行效率.
大数据、Hadoop、Yarn、负载均衡、Fair Scheduler算法
34
TP302.7(计算技术、计算机技术)
国家自然科学基金委员会与中国民用航空局联合基金项目U1233113;国家自然科学基金项目61301245,61201414
2017-06-28（万方平台首次上网日期，不代表论文的发表时间）
共6页
223-228
