多视照片全局约束下的Kinect在线室内三维测图技术研究

目前，室内场景三维测图常采用昂贵的LiDAR激光扫描仪，需提前设置拍摄站点和标靶，扫描前期准备工作较长。本项目针对现有技术中离线测图存在的不足，本项目提供了一种基于Kinect和流媒体技术的实时三维测图方法，具有轻便、灵活、成本低廉；实时测图；前期工作耗时少，扫描效果好等优点。课题组按照计划对室内三维地图构建进行了深入研究，研究了基于FNEA多尺度聚簇的初始约束网构建，基于层次图模型的实时联合平差算法，带空间范围约束的特征点最邻近查询索引等关键技术，构建了一套有利于的Kinect实时三维测图设备，初步形成“多视照片全局约束，Kinect局部精细建模”技术体系，可实现面向LiDAR、照片和Kinect数据的室内三维场景的拼接合并。项目发表SCI论文1篇，获得国家发明专利授权3项，EI论文1篇，培养博士生1名，硕士生1名，组织召开国际会议1次，参与国际会议2次，为全息位置地图三维构建提供了框架支撑，并将相关技术扩展到了室内定位和室内三维行为识别方面，在武汉市公安局犯罪现场重建进行了初步试用。项目后续研究成果将持续发表，目前还有1篇SCI论文和1篇EI论文进入编辑部终审，待出版专著1部。 2100433B

Kinect作为新型RIM（Range Imaging）相机的杰出代表，具有独特的数据特点，以其为切入点，发展RIM相机在线三维测图技术，对室内导航具有重要意义。现有Kinect技术进行大场景三维测图时，相机连续定位易出现累计误差，导致模型重建不精确。针对该问题，本课题以多视照片全局约束，Kinect局部精细建模为总体指导思想，提出利用高清多视照片的宽视场信息预先构建闭环模式的全局约束网，来对Kinect建模过程进行全局控制，通过突破Kinect局部精细模型在全局约束网中的粗定位和实时平差关键技术，实现精确可控的在线测图。通过研究全局约束网构建方法、基于质量检查的Kinect定位失效判断、辅助定位点支持的启发式重定位、Kinect与高清照片的实时平差算法，形成定位失效判断-辅助粗定位-平差精定位技术链条，丰富RIM相机测图理论与方法体系，提升室内复杂环境下快速三维测图的应用价值。

近些年来, 随着三维扫描技术的迅速发展, 获取几何模型的三维数据变得越来越容易. 然而, 由于硬件设施本身的局限性或者环境光线的干扰, 出现了大量的残缺模型. 这些缺陷包括洞, 缝隙, 拓扑短路等等.本项目致力于直接在残缺模型上进行几何分析，即在不修改模型本身的基础上，直接计算测地距离场。 为此，我们提出从全局的观点刻画测地度量的性质，建立在残缺模型上的目标函数，通过优化方法找到对各种缺陷均不敏感的测地距离场。 通过三年的努力，我们在理论、方法取得了一系列的进展，包括 a. 提出了基于梯度场重建距离场的理论和算法[SIGGRAPH ASIA 2012] b. 提出了对拓扑噪声不敏感的测地距离场的计算理论[计算机辅助几何设计与图形学学报] c. 提出了内蕴围长的理论、计算、及应用[SIGGRAPH 2016] d. 提出了基于测地度量的质心power图，用于把曲面分解成若干带有质量约束且形状紧致的区域[SIGGRAPH ASIA 2016] e. 基于测地距离的尽可能等距的变形算法[SIGGRAPH 2016]。 受该基金的支持，项目负责人及团队成员已经发表17篇学术论文，其中SCI文献8篇，EI期刊论文8篇。更难能可贵的是，在国际顶级期刊ACM TOG上发表了3篇文章，在国内外造成了很大的影响（宁波大学官网以新闻的形式报道了两次）。 此外，受该基金的资助，项目负责人邀请了多位国内外顶级专家来宁波大学举办了两次高水平的研讨会。项目负责人还与香港大学王文平教授建立了长期稳定的学术合作关系。王文平教授来宁波大学做过四次学术讲座，本人也有幸成为香港大学的访问副教授。 总结起来，传统算法不能在这些残缺模型上计算出有意义的测地距离场，模型上的一个裂痕或者拓扑短路会使计算结果发生根本的改变。本项目提出的鲁棒的测地线算法能够在已有的几何分析方法与残缺模型之间搭起一座桥梁，推动数字几何处理继续向前发展。

测地距离是直线距离在弯曲空间中的推广，在以网格曲面为研究对象的数字几何领域有广泛的应用。传统的测地线算法都是基于测地距离场的梯度是单位向量这一基本性质而设计的，在程式上由近及远、层层展开，逐步求出从源点到其它点的测地距离。然而，随着三维扫描技术的发展，出现了大量的残缺模型。由于算法程式的限制，传统算法不能在这些残缺模型上计算出有意义的测地距离场，模型上的一个裂痕或者拓扑短路会使计算结果发生根本的改变。为了在残缺模型上计算出更有意义的测地距离场，国际国内的学者开始寻求新的解决思路，包括热核方法和桥接法等。然而，这些算法要么仅适用于部分缺陷，要么求得的结果与测地度量相去甚远。因此，我们提出从全局的观点刻画测地度量的性质，建立在残缺模型上的目标函数，通过优化方法找到对各种缺陷均不敏感的测地距离场。鲁棒的测地线算法将在已有的几何分析方法与残缺模型之间搭起一座桥梁，推动数字几何处理继续向前发展。