多深度融合感知的多视点视频联合处理与高效编码

本项目执行期间，围绕感知的多视点视频处理的关键问题，抓住视觉媒体技术高速发展与广泛应用、视觉信息感知多元化的契机，研究多视点视频中立体视觉的感知机制与编码优化模型。重点研究研究多视点深度协同的优化方法，通过提出跨视点的宏超像素单元及联合优化，实现全局优化的多视点深度场；构建多深度融合感知的显著性计算模型，采用聚类方法，提升深度显著度计算中的鲁棒性；进一步在多视点光场数据上研究深度感知优化的码率分配方法和技术，实现多深度感知的多视点视频高效编码。最终取得核心理论与关键技术上的突破，实现原创性的科研成果，建立感知的多视点三维视频数据高效处理平台，进一步推动三维视频在视觉感知表示、多视联合处理、高效感知编码等方面的研究与发展。

现实场景的三维视频表示在军事、航天、医疗、影视制作等领域有着广泛的应用前景，以深度感知为核心的视觉特性驱动的三维视频处理是当前国际研究的前沿与热点，涉及视觉机理、图像处理与优化等多个学科方向的交叉，其挑战在于以多视点深度感知为驱动的多视点视频联合处理，涉及到的核心问题包括：时-空-视多深度感知一致性、双目深度感知测度、多深度感知下的高效编码方法等。本项目力图揭示三维视频在信号处理与视觉感知处理之间的协同优化机理，研究多视点深度协同的优化方法，探索时-空-视多深度场的几何与深度感知一致性难题，实现全局优化的多视点深度场；构建多深度融合感知的显著性计算模型，探索深度感知优化的码率分配方法和技术，实现多深度感知的多视点视频高效编码，解决多深度感知驱动的三维视频处理的关键问题，建立多深度感知的多视点视频联合处理与高效编码平台，在理论和关键技术研究上取得突破，推动以多视点为核心的三维视频的广泛应用。

在H.264/MPEG-4AVC视频压缩标准提出的，一个使用单一视频流对于多台摄像机同时采集的视频进行高效编码的编码标准。多视点视频编码主要用于编码立体（双视图）的视频，以及自由视点电视和多视图三维电视。

三维视频能够提供生动逼真的自然场景信息,在全景视频、交互式立体视频和多视点视频等方面有着广泛应用,将成为信息市场的经济增长点。国际相关组织正致力于它的技术开发和标准化工作。MVC是三维视频的关键技术。课题进行以下创新性研究，以提高MVC编码效率。提出区域视点差技术,提高视点差估计精确度。为了去除视图间冗余度,对空间直接模式等做扩展研究，修改H.264/AVC语法语义。提出固定基本视图和临时基本视图相结合的MVC预测编码新结构，改善P视图和B视图后继的预测视图质量；在参与式视频会议一类应用中，计算选择参会者正面摄象机为基本视点，提高编码效率。按照新提出的视图间平均亮度主要具有乘性关系，实现视图间亮度差补偿和色度校正。预计成果有10多篇高水平论文，申请4项发明专利，争取有提案被国际标准化组织最终接受。总体研究水平和国际同步。课题组已做深入研究并已有两个提案进入国际标准化会议ad hoc组。

《计算机科学技术名词 》第三版