面向室内场景的机器人智能三维感知技术研究

摘要

近年来，在人工智能技术取得长足进步，各种视觉传感技术，特别是三维感知技术快速发展等因素的推动下，新型机器人逐渐具备了更为强大的感知与理解能力，为快速、准确的三维场景重建与理解开创了新的渠道。本项目以三维几何处理和分析为核心，旨在研究适用于机器人平台的三维重建和分析方法，并充分利用机器人的自主行为能力这一特点，实现机器人对未知室内环境的自主化、智能化三维感知。其输出既包括对室内场景的高质量三维重建，又包括对场景结构的精细化分析和理解。项目拟首先研究面向机器人平台的智能三维感知框架。在此框架下，研究面向单机器人的主动交互式场景重建和理解，以及基于多机器人的协同化智能三维感知。

地图是机器人环境理解和执行交互任务的基础。三维摄像机可获取场景一定距离和分辨率的二维图像信息和三维信息。随着机器人任务的逐步复杂和工作范围的增大，基于三维视觉传感器的点云地图在人机交互、存储和计算更新方面存在严重制约。为此，本项目引入二维/三维摄像机融合的复合三维视觉系统，开展机器人室内场景复合语义地图创建方法研究。主要包括：.①建立层次式复合三维语义地图模型，有效融合三维点云地图、特征地图和语义地图优势，提升大场景下机器人导航、智能交互和快速定位能力；.②研究基于二维和三维摄像机融合的机器人三维运动估计和路径优化方法，提高视觉程计在不同场景下的鲁棒性和估计精度；.③基于场景图像和三维信息，提出无先验知识的三维场景智能分割方法，建立分割区域目标的词袋描述模型，研究场景特定目标语义识别方法；.④根据连续三维视觉信息，探索基于语义目标和几何特性的大规模室内场景节点语义识别方法，实现语义地图创建

集成成像技术作为一种三维成像和可视化领域的新技术，在三维重建、目标探测及生物医学微成像等领域有着广泛的应用前景。本课题实现了一种具有偏移和放缩特征的弹性离轴分布感知系统，解决了目前基于相机阵列的集成成像系统中结构复杂、成像效率低等技术难题。在低照度环境下的弹性离轴分布系统设计和三维重构算法，显著性目标检测和遮挡去除等实际应用方面取得了一系列研究成果。在本项目的资助下，课题组共发表学术论文21篇，其中SCI论文7篇，国际会议论文14篇；获批1项国家自然科学基金；获得2项辽宁省自然科学学术成果奖，1项全国智能移动终端应用创新大赛一等奖；授权3项国内发明专利；培养了硕士生5名。本项目的研究不仅能够有效的推动集成成像在实际应用领域上的发展，还将为我国发展下一代三维可视化、目标探测及生物医学领域的三维立体微成像等领域所涉及的技术难题提供技术支撑，具有重要的理论价值和实用前景。 2100433B

集成成像作为一种无视觉疲劳的全视差、连续视点的裸眼显示方式，现已成为真三维立体成像及显示领域的研究热点。与全息三维技术相比，集成成像技术以简单的成像结构、较小的数据计算量及无需相干光源和苛刻的成像显示环境等方面具有明显的优势。然而，现有的集成成像存在成像结构复杂的问题，而且精密的传感器个体空间分布给成像带来极大挑战。为此，本项目将深入研究弹性离轴分布感知系统，其自由弹性结构既解决了精密复杂的二维成像结构问题，既保留了横向及纵向分辨率的同时又融合了偏移和缩放特征。此外，为解决在低照度环境下派生出的三维场景可视化重构问题，进一步提出为抑制噪声引入图像先验分布的光子计数可视化重构算法。本项目的研究能够有效地深化发展集成成像在深海探测、卫星遥感、生物医学等领域的实际应用。