云计算环境下面向MPI应用的服务部署系统
随着虚拟化技术和云计算技术的发展,越来越多的科学计算应用运行在云计算资源之上。MPI编程模型是一种消息传递编程模型,大多数科学计算应用都是基于这种消息传递编程模型的高性能计算应用,其对网络I/O负载较为敏感。MPI应用是一类广泛应用的由多个进程协同工作的并行计算应用,在云计算环境下,其进程运行在多个不同的虚拟机之中。在IaaS模式下,通常采用虚拟化技术将物理机分割为多个独立的虚拟机,如何将多个虚拟机部署成为满足MPI应用程序的并行计算环境,以及如何调度组成该并行计算环境的多个虚拟机,是云计算环境下运行MPI应用程序所面临的重要问题。 针对上述这个重要问题,实现了云计算环境下面向MPI应用的服务部署系统,并设计了一种基于网络I/O负载均衡的虚拟机放置算法作为系统的虚拟机调度算法。系统的核心模块面向MPI应用的虚拟集群创建模块解决了IaaS模式下独立虚拟机不能满足MPI应用的问题,并在该模块的基础之上实现了面向MPI应用的作业托管功能。创建面向MPI应用的虚拟集群的基本思路:将虚拟集群所需的组件预先部署到虚拟机镜像中;基于虚拟机模板,调用IaaS的接口创建多个虚拟机,采用SSH远程操作技术动态配置虚拟机中的组件,使其正常工作。基于网络I/O负载均衡的虚拟机放置算法的基本思路:基于监控信息预测MPI应用对网络I/O的消耗;采用二分搜索算法搜索物理节点的网络I/O负载上限,在此限制之下,建立以虚拟机和物理节点为顶点的有向网络图模型,最后基于该模型求解虚拟机放置矩阵。 基于Linux操作系统和Apache平台,采用Python、HTML、JavaScript等语言,实现了云计算环境下面向MPI应用的服务部署系统。功能测试表明:系统实现了创建面向MPI应用的并行计算环境虚拟集群和面向MPI应用的作业托管功能。性能测试表明:与贪心算法进行比较,在作业消耗的计算时间、单位时间内系统总的网络I/O吞吐量、系统的网络I/O负载均衡三个方面,基于网络I/O负载均衡的虚拟机放置算法均有更好的表现。
云计算;消息传递编程模型;服务部署系统;虚拟机;调度算法
华中科技大学
硕士
计算机系统结构
吴松
2012
中文
TP393.07
71
2012-12-25（万方平台首次上网日期，不代表论文的发表时间）