在线课堂场景下黑板画面的实时超分辨率方案设计及实现
随着网络技术的发展，在线教育逐渐成为人们学习的方式之一，其中在线课堂直播教学模式由于具备实时交互的功能而引发关注。该模式不仅能提供给老师和学生们远程沟通交流的机会，而且可以让更多的学生及时接受优质的师资教育。不过，目前的在线课堂直播教学模式仍然存在确保实时性和视频画面质量无法同时满足的缺陷。 本文根据在线课堂直播教学模式的应用场景，设计了黑板画面的实时检测与重建方案。首先，考虑到该场景下视频画面的核心是黑板板书区域，所以该方案采用了目标检测算法Yolov5n将该区域提取出来，减少后续重建的区域。其次，视频通过网络传输时会进行数据压缩处理以确保传输的实时性，但会造成视频画面质量的受损，所以本文提出了基于深度学习的实时视频通讯超分辨率网络RVCSRN。此外，结合在线课堂场景能直接获取高分辨率视频画面的特点，本方案在重建阶段基于RVCSRN网络采用了双输入模式的重建网络DI-RVCSRN。本文的主要工作如下： (1)需求分析及方案设计。首先，对在线课堂直播教学任务进行了需求分析，明确了满足实时性和改善视频画面质量这两个需求；然后，利用目标检测和超分辨率两种方法进行针对性的方案设计；最后，根据场景的特点自制了相应的黑板数据集。 (2)选定黑板板书区域检测算法。针对黑板板书区域的检测任务，基于自建黑板框数据集对主流的双阶段检测算法FasterR-CNN和单阶段检测算法Yolov5n进行实验比较，在综合考虑了算法的优缺点后，最终选定Yolov5n作为黑板板书区域检测算法。 (3)设计黑板板书区域重建算法。为了确保实时性，先在发送端采用下采样方法压缩传输的数据量，再在接收端利用超分辨率算法提升受损画面的质量。针对黑板区域的超分辨率重建，指出现有方法的优缺点，并利用改进的增强型信息蒸馏模块EIMDB和像素级信息蒸馏模块PIDB，提出了实时视频通讯超分辨率网络RVCSRN。然后，结合目标场景能直接获取高分辨率图像的特点，引入双输入模式的重建网络DI-RVCSRN。接着，在公开数据集上设计对比实验，验证了本文提出的DI-RVCSRN网络在性能指标上具备良好的泛化能力。最后，以目标检测算法Yolov5n为基础，基于自建的黑板数据集设计对比实验，比较DI-RVCSRN算法与其他满足实时推理的重建方法的性能指标，验证了本文提出的双输入实时视频通讯超分辨率网络DI-RVCSRN的有效性。
在线课堂直播教学;黑板画面;实时性;实时检测;图像重建
华南理工大学
硕士
控制科学与工程
冯颖
2022
中文
G434;TP391.41
2022-12-23（万方平台首次上网日期，不代表论文的发表时间）