多视点视频的表达与交互

随着电子和计算技术的飞速发展，可视技术已经日趋成熟并且被广泛地应用到不同的领域当中，现在人们已经不满足于传统视频所提供的简单视觉信息，需要立体的、交互的和多元化的视频服务，作为新型媒体的多视点视频正好可以满足上述需求，因此对它的研究备受重视。我们的研究目标就是要利用多视点视频更好地为人类生活服务，而要让多视点视频真正发挥出其强大的威力，就要解决多视点视频采集与存储问题、多视点视频在不同带宽上的有效传输问题和视角之间的切换问题。研究内容如下：.（1）分布式多视点视频的采集和存储问题，即如何通过多视点视频采集系统最大限度地获取原始视频数据并传输给服务器进行处理。.（2）基于视间预测的多视点视频编码问题，即如何高效地编码采集到的多视点视频数据使其适应不同带宽的传输要求。.（3）多视点视频编码传输中的视点切换问题，即如何在保证质量和低延迟的情况下，将客户需要的视角进行选择传输和随机切换。

在H.264/MPEG-4AVC视频压缩标准提出的，一个使用单一视频流对于多台摄像机同时采集的视频进行高效编码的编码标准。多视点视频编码主要用于编码立体（双视图）的视频，以及自由视点电视和多视图三维电视。

三维视频能够提供生动逼真的自然场景信息,在全景视频、交互式立体视频和多视点视频等方面有着广泛应用,将成为信息市场的经济增长点。国际相关组织正致力于它的技术开发和标准化工作。MVC是三维视频的关键技术。课题进行以下创新性研究，以提高MVC编码效率。提出区域视点差技术,提高视点差估计精确度。为了去除视图间冗余度,对空间直接模式等做扩展研究，修改H.264/AVC语法语义。提出固定基本视图和临时基本视图相结合的MVC预测编码新结构，改善P视图和B视图后继的预测视图质量；在参与式视频会议一类应用中，计算选择参会者正面摄象机为基本视点，提高编码效率。按照新提出的视图间平均亮度主要具有乘性关系，实现视图间亮度差补偿和色度校正。预计成果有10多篇高水平论文，申请4项发明专利，争取有提案被国际标准化组织最终接受。总体研究水平和国际同步。课题组已做深入研究并已有两个提案进入国际标准化会议ad hoc组。

本项目执行期间，围绕感知的多视点视频处理的关键问题，抓住视觉媒体技术高速发展与广泛应用、视觉信息感知多元化的契机，研究多视点视频中立体视觉的感知机制与编码优化模型。重点研究研究多视点深度协同的优化方法，通过提出跨视点的宏超像素单元及联合优化，实现全局优化的多视点深度场；构建多深度融合感知的显著性计算模型，采用聚类方法，提升深度显著度计算中的鲁棒性；进一步在多视点光场数据上研究深度感知优化的码率分配方法和技术，实现多深度感知的多视点视频高效编码。最终取得核心理论与关键技术上的突破，实现原创性的科研成果，建立感知的多视点三维视频数据高效处理平台，进一步推动三维视频在视觉感知表示、多视联合处理、高效感知编码等方面的研究与发展。