基于MapReduce的移动对象的Skyline查询
随着互联网和物联网的蓬勃发展,大数据对传统的数据存储、处理和查询产生了挑战。应用于不同领域(例如多目标决策、数据可视化)的Skyline查询已被广泛深入地研究。目前,传统的Skyline查询的研究主要在集中式和分布式两种环境中。然而,这两种环境已无法很好满足对于大数据的处理要求。MapReduce框架作为分布式并行处理框架能处理大数据的计算。本文研究 MapReduce并行框架下移动对象的Skyline的查询问题,主要研究工作和贡献包括: 1.采用了基于角度划分的方法解决负载平衡问题,并提出了一种过滤策略进行剪枝提高计算效率。在此基础上分别实现了基于MapReduce的静态Skyline算法和基于事件跟踪的MR-Track算法。其中静态 Skyline算法通过预计算保留局部静态 Skyline集合减少了后续的重复计算,从而减少了计算时间;MR-Track算法根据移动对象与数据点之间的距离变化,定义了影响Skyline集合变化的事件,然后通过局部跟踪更新Skyline集,提高计算效率。将新算法与已有算法进行对比实验,实验结果显示了新算法是有效的和高效的。 2.针对实际应用中移动对象位置不确定,研究了基于 MapReduce的连续概率Skyline查询更新的MR-DTrack算法。通过距离函数计算不同数据点之间支配关系变化的时刻,更新局部数据点支配关系集,并且使用Skyline概率阈值过滤点删除非概率 Skyline点提高计算效率。一系列实验证明了 MR-DTrack算法的有效性。
大数据;Skyline查询;MapReduce框架;移动对象;并行处理
宁波大学
硕士
计算机应用技术
董一鸿
2014
中文
TP311.13
71
2015-08-17(万方平台首次上网日期,不代表论文的发表时间)