多视点视频追踪问题的研究

为了解决如何在很拥挤的环境下，以及在各个摄像镜头的区域之间有重叠或者没有重叠情形下追踪目标物体的问题，我们提出了一种先混合多个视角的视频数据，再检测背景和前景信息从而进行目标追踪的多视角目标追踪算法。在我们的项目中，首先通过将各个视点的信息投影到参考平面以及平行于参考平面的多个平行平面的投影方法混合各个视角内信息形成一个四阶张量，然后使用增长的张量子空间算法建立背景模型进行前景分割。在对图像进行预处理阶段，我们提出了一类新的凸优化模型用于去除带模糊的乘法噪音。更进一步，我们有提出了使用框架分解和基于l_1范数的L-curve曲线方法对带模糊的乘法噪音问题进行处理。最后对目标区域应用贝叶斯定律以及粒子滤波等方法来进行追踪，连续两帧之间的目标运动使用一种仿射的图像变换来模拟。为了提高运算速度以及增加结果的准确性，项目组计划使用并行算法以及在预测目标运动的阶段引入时间序列分析的方法，目前这些工作仍然在继续进行之中。最后的试验结果表明我们的项目所提出方法可以在处理阴影，遮挡，拥挤环境中的多个目标的追踪等困难问题上能取得比较好的的试验成果，可以为项目的进一步研究打下一个良好的基础。

在本项目中，我们提出一种先混合多个视角的视频数据，再检测背景和前景信息从而进行目标追踪的多视角目标追踪算法。现在流行的使用数个摄像头视角进行追踪的算法都是先检测不同镜头内多个目标的特征信息进行前景背景分析，然后将得到的信息混合起来进行目标追踪。然而这种在单个摄像头视角内检测信息的方法受环境影响很大，例如发光物体的反射和阴影，以及各个目标之间有无遮挡的情况等。在我们的项目中，首先通过将各个视点的信息投影到参考平面以及平行于参考平面的多个平行平面的投影方法混合各个视角内信息形成一个四阶张量，然后使用增长的张量子空间算法建立背景模型进行前景分割，最后对目标区域应用贝叶斯定律以及粒子滤波等方法来进行追踪，我们将对比现在流行的各种视频追踪算法的结果来验证我们的结论。项目预期我们的方法可以在处理阴影，遮挡，拥挤环境中多个目标的追踪等困难问题上能取得一定的研究成果，为进一步的研究打下一个良好的基础。

在H.264/MPEG-4AVC视频压缩标准提出的，一个使用单一视频流对于多台摄像机同时采集的视频进行高效编码的编码标准。多视点视频编码主要用于编码立体（双视图）的视频，以及自由视点电视和多视图三维电视。

三维视频能够提供生动逼真的自然场景信息,在全景视频、交互式立体视频和多视点视频等方面有着广泛应用,将成为信息市场的经济增长点。国际相关组织正致力于它的技术开发和标准化工作。MVC是三维视频的关键技术。课题进行以下创新性研究，以提高MVC编码效率。提出区域视点差技术,提高视点差估计精确度。为了去除视图间冗余度,对空间直接模式等做扩展研究，修改H.264/AVC语法语义。提出固定基本视图和临时基本视图相结合的MVC预测编码新结构，改善P视图和B视图后继的预测视图质量；在参与式视频会议一类应用中，计算选择参会者正面摄象机为基本视点，提高编码效率。按照新提出的视图间平均亮度主要具有乘性关系，实现视图间亮度差补偿和色度校正。预计成果有10多篇高水平论文，申请4项发明专利，争取有提案被国际标准化组织最终接受。总体研究水平和国际同步。课题组已做深入研究并已有两个提案进入国际标准化会议ad hoc组。

随着电子和计算技术的飞速发展，可视技术已经日趋成熟并且被广泛地应用到不同的领域当中，现在人们已经不满足于传统视频所提供的简单视觉信息，需要立体的、交互的和多元化的视频服务，作为新型媒体的多视点视频正好可以满足上述需求，因此对它的研究备受重视。我们的研究目标就是要利用多视点视频更好地为人类生活服务，而要让多视点视频真正发挥出其强大的威力，就要解决多视点视频采集与存储问题、多视点视频在不同带宽上的有效传输问题和视角之间的切换问题。研究内容如下：.（1）分布式多视点视频的采集和存储问题，即如何通过多视点视频采集系统最大限度地获取原始视频数据并传输给服务器进行处理。.（2）基于视间预测的多视点视频编码问题，即如何高效地编码采集到的多视点视频数据使其适应不同带宽的传输要求。.（3）多视点视频编码传输中的视点切换问题，即如何在保证质量和低延迟的情况下，将客户需要的视角进行选择传输和随机切换。