10.3969/j.issn.1000-386x.2021.04.005
决策树模型预测Spark SQL作业执行时间的方法
Spark SQL在超大规模集群和数据集上存在易用性问题,如Catalyst最优执行计划的选择,Shuffle Par-tition的配置对性能有较大的影响,数据倾斜往往导致集群性能变差.为了在作业执行之前准确预测执行时间,更加充分地使用运行时数据,选择最优执行计划,提出通过决策树及其组合算法的回归模型预测作业执行时间的方法.采用交叉验证方法优化模型超参数,通过剪枝和组合算法优化过度拟合问题,选择相关指标评估机器学习模型预测的准确性.实验表明,梯度提升树回归模型预测作业执行时间的R2超过0.8,且能够满足在线预测的实时性要求,模型评估指标达到预期效果,相对于线性回归模型的评估指标具有一定的优势.
任务调度、计算引擎、作业特征、执行时间、预测模型、决策树
38
TP311(计算技术、计算机技术)
2021-04-19（万方平台首次上网日期，不代表论文的发表时间）
共9页
24-31,123
