基于Ceph的海量小文件存取性能的研究与优化
随着云计算、大数据以及物联网的迅猛发展，以图像识别、基因测序等应用为代表的业务系统每天产生大量的小文件，这给分布式存储系统带来了巨大的挑战。Ceph是一个开源的分布式存储系统，但由于其日志机制、多副本策略以及复杂的数据映射过程，使得其在存储海量小文件时存在存储效率低的问题。此外，高并发读写场景下大量的寻址计算也会使整个Ceph系统性能下降。 首先，针对Ceph写入海量小文件时性能低下的问题，提出了引入小文件中间处理层SFMPL(SmallFileMiddleProcessingLayer)的优化策略。SFMPL位于应用程序和Ceph存储集群之间，SFMPL通过多个模块对用户上传文件中的小文件进行协同处理，主要通过文件去重和文件合并减少待存储小文件的数量，从而减少了存储系统磁盘I/O次数和寻址计算开销，提高了小文件的写入效率。 其次，为了提高海量小文件的读取性能，提出了基于缓存的小文件读取策略。该策略通过引入小文件缓存提高小文件的读取效率，并针对LRFU缓存替换算法在本文研究背景下存在着不足，提出了改进的LRFU-SIZE缓存替换算法，LRFU-SIZE算法综合考虑了文件的访问频率、访问时间和文件大小，提高了缓存命中率，从而提高了小文件访问效率。 最后，本文将提出的优化策略与原生Ceph系统进行一系列的性能测试对比。实验结果表明，基于SFMPL优化策略的文件写入时间比Ceph直接写入减少了44％以上，基于缓存的小文件读取时间比原生Ceph系统减少了52％以上。多个实验表明，本文提的优化策略能够有效提高了Ceph存取海量小文件的性能。
海量小文件;数据去重;缓存替换算法
武汉纺织大学
硕士
软件工程
史爱武
2023
中文
TP333;TP309.3
2023-08-28（万方平台首次上网日期，不代表论文的发表时间）