基于Spark的粒子群算法并行编程及其在水库调度中的应用
黑河流域水资源数据量庞大，数据关系复杂，应用常规技术进行优化调度难度较大。本文针对黑河流域当前存在的水资源调度问题，应用大数据处理与进化计算技术，基于大数据计算框架Spark与并行化的粒子群算法，研究开发了黑河流域水库群多目标优化调度系统。 在研究开发过程中，作者分析了黑河流域水资源优化调度系统多个目标的特点，将多个目标转化成单个目标，得到该问题的求解模型。接着研究了并行算法编程模型、用于优化问题求解的粒子群算法及其并行化策略，以及基于Spark大数据计算框架的粒子群算法并行化方法。 在理论与技术研究的基础上，以Hadoop2.7.1、Sparkl.5.2、Spark on Yarn软件为基础，搭建了大数据支持平台；在该平台的分布式文件系统HDFS中存储了获取的黑河流域水资源数据。接着在Ubuntu Linux操作系统环境、 Spark平台下，应用Scala语言开发了基于粒子群算法的水库群多目标优化调度并行程序，实现了可处理水库调度大数据、可高速运行调度优化程序的水库群多目标优化调度系统。 本调度系统的数据载入、程序运行、结果查询等操作都是在Ubimtu Linux操作系统与 Spark平台、界面下进行，对于不熟悉Spark运行机制的普通使用者来说，使用困难极大。为了解决此问题，还开发了一个水库群多目标优化调度系统应用平台，实现了大数据的上传、下载、删除、查询，以及需要Spark大数据平台处理的应用程序任务的提交运行和SQL查询等功能。 本课题的研究开发工作，将为水资源优化调度系统的高效运行起到积极的促进作用，对于基于Spark平台的大数据并行编程的发展与应用也有很好的参考价值。
多目标优化调度;粒子群算法;并行编程;水库调度;水资源数据
西安理工大学
硕士
计算机系统结构
张璟
2017
中文
TP311.52;TV697.11
65
2018-05-14（万方平台首次上网日期，不代表论文的发表时间）