10.3969/j.issn.2095-2783.2012.04.001
MapReduce中shuffle优化与重构
详细介绍了MapReduce编程框架,具体分析了MapReduce中shuffle阶段流程。分别从Map端数据压缩、重构远程数据拷贝传输协议、Reduce端内存分配优化三方面来优化和重构Shuffle。最后通过搭建Hadoop集群,运用MapReduce分布式算法测试实验数据。实验结果证明优化重构后的shuffle能显著提高MapReduce计算性能。
云计算、Hadoop、MapReduce、shuffle
7
TP311.5(计算技术、计算机技术)
清华-腾讯互联网创新技术联合实验室资助项目2011-8
2012-08-02（万方平台首次上网日期，不代表论文的发表时间）
共5页
241-245
