10.3969/j.issn.1671-1122.2016.06.001
Spark框架下基于无指导学习环境的网络流量异常检测研究与实现
针对海量数据进行入侵检测的困难性问题，文章设计并实现了一套基于Spark框架的网络流量无指导学习异常检测系统。数据的预处理采用Python和Python的数据升级版IPython实现，异常检测采用无指导学习环境下的快速聚类方法K-means预测以及划分流量方法，记录所代表的攻击类型。为了避免MapReduce等传统分布式计算框架频繁的硬盘读写带来的巨大时间开销，文章设计实现了Spark框架下的K-means异常检测方法，通过将每轮迭代产生的临时数据存入内存而非硬盘中，有效提高了K-means聚类检测算法的计算效率。此外，为解决K-means算法中K值选取难的问题，通过Spark迭代计算与比较不同K值下的K-means算法中各聚类中心到所属簇中所有点距离的平均值，实现最佳K值的选取。最后，对系统进行了性能和功能测试，测试结果表明该系统达到了预定的设计要求，具有很高的计算效率和检测准确性。
网络流量检测、Spark、指导学习
TP30(计算技术、计算机技术)
国家自然科学基金[61100042]；湖北省自然科学基金2015CFC867
2016-07-14（万方平台首次上网日期，不代表论文的发表时间）
共7页
1-7
