基于视觉的施工场景监控方法研究

副题名

外文题名

学科专业

学位授予单位

西北工业大学

学位授予时间

2011

关键词

馆藏号

唯一标识符

108.ndlc.2.1100009031010001/T3F24.005744820

馆藏目录

\ \

2100433B

场景地图创建是机器人执行复杂多样化任务的基础，机器人与用户智能交互需求的日益提高，对复杂大场景环境的自主感知和地图创建提出了新的要求。项目针对项目任务要求，取得了如下研究进展：1）针对不同场景对里程计任务的要求，本研究提出了基于视觉和IMU融合的位姿估计方法，有效结合了二者优势，提高了移动机器人位姿估计的精确性和鲁棒性；提出了基于自适应特征的精确位姿估计方法，有效解决了稀疏场景下特征点提取困难，鲁棒性不高的问题。2）针对机器人三维彩色地图创建问题，本研究提出了基于深度学习的特征描述子的闭合回路检测方法，在提高图形特征鲁棒性的同时有效解决了位姿估计造成的累积误差；提出基于关键帧的移动机器人局部三维地图创建方案，采用八叉树的方式存储地图有效降低地图的大小和内存占用；提出一种基于点线特征融合的移动机器人三维地图创建方法，有效增强了机器人在低纹理和光照变化大的场景中地图创建的鲁棒性。3）针对三维场景识别分类、检测、语义分割问题，本研究提出了基于局部共享特征的处理模型和基于学习上采样的语义分割网络，提高了场景语义分割精度；提出了基于分通道卷积的语义分割网络，实现了场景实时语义分割；提出了融合深度学习和掩模的场景语义识别分类、检测方法，有效准确获取场景中散乱多目标的类别和6D位姿信息；提出了基于数据预处理的点云语义分割网络和基于扩张点卷积空间金字塔池化的点云语义分割网络，增强了点云局部特征获取能力，提高了场景分割精度。4）针对层次式复合三维语义地图研究，本研究分别创建了场景二维、三维视觉特征描述词典，通过深度学习的方式充分丰富视觉特征信息，并有效提高了特征的鲁棒性；提出了基于目标标签和场景标签的双监督语义节点识别方案，改善了在复杂语义节点的分类，提高了场景分类精度；提出了基于体素化点云标记拼接的语义地图创建方法，实现了实时创建三维语义地图。项目任务成果共发表11篇论文，其中SCI/EI源刊论文8篇，2篇EI收录源刊，1篇EI收录会议论文；申请国家发明专利6项，培养博士研究生2名，硕士研究生9名。项目技术成果委托湖南省产商品质量监督检验研究院进行了检验，技术指标全部达到或超过项目合同书要求。 2100433B

地图是机器人环境理解和执行交互任务的基础。三维摄像机可获取场景一定距离和分辨率的二维图像信息和三维信息。随着机器人任务的逐步复杂和工作范围的增大，基于三维视觉传感器的点云地图在人机交互、存储和计算更新方面存在严重制约。为此，本项目引入二维/三维摄像机融合的复合三维视觉系统，开展机器人室内场景复合语义地图创建方法研究。主要包括：.①建立层次式复合三维语义地图模型，有效融合三维点云地图、特征地图和语义地图优势，提升大场景下机器人导航、智能交互和快速定位能力；.②研究基于二维和三维摄像机融合的机器人三维运动估计和路径优化方法，提高视觉程计在不同场景下的鲁棒性和估计精度；.③基于场景图像和三维信息，提出无先验知识的三维场景智能分割方法，建立分割区域目标的词袋描述模型，研究场景特定目标语义识别方法；.④根据连续三维视觉信息，探索基于语义目标和几何特性的大规模室内场景节点语义识别方法，实现语义地图创建

机器视觉可提供高效且经济的位移测量方案，但索缆扭转导致的遮挡问题以及应用现场难以安装标定相机系统所需的二维标定物等情况，给机器视觉系统在索缆扭转位移测量上的应用提出了挑战。本项目研究了基于机器视觉的扭转位移测量方法的可行性。具体地，本项目系统研究实现了特征点的二维编码的自动编码方法、带编码筒状标志物的自动检测、基于带编码的筒状标志物对旋转运动待测点的持续跟踪，研究了特征点的自动检测方法，实现了基于一维线性标志物的摄像机标定方法，并结合群智能算法、参数更新及归一化方法大幅提升了相机一维标定的精度；实现了特征点三维空间坐标的高精度重构；基于差分演化的方式对特征点进行圆柱拟合，并基于刚体变换及欧拉角分解理论，建立标志物上特征点的三维位移与待测点六自由度位移之间的转换模型，初步获得了平动及扭转位移信息。依托本课题，共培养硕士研究生11名，以第一作者或通信作者身份发表论文8篇，其中SCI一区论文3篇，申请发明专利5项。本研究工作获专家同行认可，获得在国家自然科学基金委的“第一届土木工程青年论坛”上做口头报告的交流机会。