海量视频的分布式协作处理与检索研究
随着视频分享网站的迅猛发展，视频的数量在近些年急剧地增加。如何有效地对海量视频进行处理与检索已经成为多媒体应用领域中亟待研究和解决的问题。
海量视频的分布式协作处理与检索中存在的主要问题包括:
(1)多媒体内容处理中的计算任务与计算资源的协同调度问题，即对任务的资源需求进行预测并匹配合适的计算资源;
(2)海量相似视频的快速检索问题;
(3)海量视频的快速拷贝检测问题。
针对上述问题，本论文的主要研究工作和创新点如下:
1.提出了一种面向多媒体内容处理的分布式计算中间件
针对多媒体内容处理中的计算任务与计算资源的协同调度问题，设计与实现了一种面向多媒体内容处理的分布式计算中间件。该中间件自动的管理计算资源与计算任务，通过基于极限学习机的执行时间估计算法优化系统的性能。该中间件可以作为一个标准的组件应用于多种多媒体内容制作业务，通过复用该中间件，可以有效地简化分布式环境下实现多媒体内容处理的难度。该中间件已经被应用于一个多媒体内容处理平台，针对渲染、转码和特效合成这3种任务的实验结果表明提出的基于极限学习机的时间估计算法相对于随机负载均衡算法最大完成时间减少26％以上。
2.提出了一种基于分布式LSH的海量视频快速检索方法
针对海量相似视频的快速检索问题，提出一种基于分布式LSH的海量视频快速检索方法。该方法采用基于内存约束的分布式哈希结构，称为MD-LSH，有效地解决了快速与可扩展性问题。本方法首先从视频序列中提取出特征向量集合，然后使用MD-LSH对高维特征向量建立索引，根据返回的相似帧集合对相关的视频进行相似度计算，最后排序得到相似视频的查询结果。该方法支持在分布式多节点环境下对海量视频进行快速检索，实验结果表明本文的方法查询时间比现有对比方法快4倍以上，同时采用分布式的架构，具有可扩展性。
3.提出了一种快速有效的海量视频拷贝检测方法
针对海量视频的拷贝检测问题，提出了一种基于SimHash的快速有效的视频拷贝检测方法。该方法首先将视频表示为基于离散余弦变换的时空特征，然后基于SimHash建立鲁棒的压缩签名，通过在多张签名表中进行高效的汉明距离检索完成视频拷贝检测。该方法支持在分布式多节点环境下对海量视频进行快速拷贝检测，针对包含10335个视频，大小为272.48GB的数据集的实验结果表明本文的方法F值达到0.952，平均检索时间比现有对比方法快15.2倍以上。
上述研究成果(1)已应用于国家863课题“分布式宽带业务制作协同环境的开发”中的“协同计算与资源调度子系统”中。
上述研究成果(2)、成果(3)已应用于国家科技支撑计划课题“增强型搜索系统架构、关键技术及测试规范的研究”中的“增强型搜索系统中多媒体搜索”中。
分布式协作处理技术;检索方法;海量视频;工作原理;特征向量
中国科学技术大学
博士
模式识别与智能系统
朱明
2013
中文
TN919.8
106
2013-11-29（万方平台首次上网日期，不代表论文的发表时间）