10.3969/j.issn.1000-386x.2018.11.006
基于信息网模型的动态数据划分策略
为了满足大规模数据管理与查询的需要,设计并开发了基于信息网模型INM(Information NetworkingModel)的分布式并行数据库管理系统.分布式环境下数据的划分方式将影响系统的可扩展性和查询分析效率.根据信息网模型的数据结构和查询特性,设计一种轻量级的数据动态划分方法.该方法结合数据的水平分割和垂直分割,以INM对象为单位,未存储过的数据对象直接划分到当前操作节点,并记录数据对象的存储位置,否则根据数据对象的历史位置信息将其划分到不同的存储节点.同时,单个INM对象可能由于其包含的关联对象增多到一定程度成为大对象,而对系统的性能造成影响,因此将此类大对象分割成多个小对象,并按照一定的策略划分到不同节点进行存储.集群中的每个处理节点被赋予一个负载阈值.随着数据量的增加,如果超过负载阈值则增加新的机器,保证系统的可扩展性和各个处理节点数据量的均衡.实验结果证明,该方法能够保障系统良好的可扩展性,同时提高数据的查询分析效率.
信息网模型、数据划分、大对象分割、负载阈值
35
TP311(计算技术、计算机技术)
国家自然科学基金面上项目61672389;国家杰出青年科学基金外籍项目60688201
2019-04-25（万方平台首次上网日期，不代表论文的发表时间）
共7页
42-48
