10.3969/j.issn.1000-386x.2015.09.004
基于MapReduce的频繁项集并行挖掘算法
现有FP-growth频繁集挖掘算法在处理大数据时存在时空效率不高的问题,且内存的使用随着数据的增加已经无法满足把待挖掘数据压缩存储在单个内存中,为此,提出一种基于MapReduce模型的频繁项集并行挖掘算法。该算法采用一种基于key/value键值对直接扫描value寻找条件模式基的方式,同时通过在原有FP-tree树节点中新增一个带频繁项前缀的域空间来构建一颗新的条件模式树NFP-tree,使得对一项频繁项的条件模式基进行一次建树一次遍历就可以得到相应的频繁项集。对所提出的算法在Hadoop平台进行了验证与分析,实验结果表明该算法效率较传统FP-growth算法平均提高16.6%。
频繁项集、FP-growth、MapReduce、条件模式基、NFP-tree、并行
TP3(计算技术、计算机技术)
国家自然科学基金项目61272401,61133005。
2015-10-12(万方平台首次上网日期,不代表论文的发表时间)
共5页
13-16,101