10.14132/j.cnki.1673-5439.2023.03.008
基于边端协同的CNN推理加速框架
基于卷积神经网络(CNN)的移动应用程序通常处理的是计算密集型任务,然而传统的云推理和端推理方式在低时延和高准确率方面仍面临着挑战.针对以上问题,提出了一种基于边端协同的CNN推理框架,它能让一个端设备和多个边缘服务器协同工作以提供CNN推理服务.该方法综合考虑高度动态的网络带宽和设备负载情况,分步决策出模型多个最佳分割位置以优化计算和通信权衡.基于硬件测试平台的实验评估表明,相较于3种流行的CNN推理方法,该方法实现了 14.3％～67.5％的推理加速,提升边缘服务器的计算资源利用率100％.
协同CNN推理、分步决策、低时延、计算资源利用率
43
TP391(计算技术、计算机技术)
江苏省前沿引领技术基础研究专项;江苏省重点研发计划社会发展资助项目
2023-09-13（万方平台首次上网日期，不代表论文的发表时间）
共10页
68-77
