湖北省水电工程智能视觉监测重点实验室

水电工程智能视觉监测湖北省重点实验室是三峡大学计算机与信息学院牵头、整合三峡大学相关学科构建的重要科研平台。实验室拥有教学科研人员27人，其中湖北省百人计划人才2人、楚天学者3人，教授13人，副教授12人，具有博士学位25人。拥有计算机视觉、图像处理和模式识别湖北省高等学校优秀中青年科技创新团队，三峡地区地质灾害与生态环境湖北省协同创新中心一级PI团队。

主任：李小文，男，教授，中国科学院院士，图像处理，北京师范大学

副主任：王典洪，男，教授，博导，图像处理，中国地质大学

赵耀，男，教授，博导，国家杰青，信息与通信工程，北京交通大学

雷帮军，男，教授，楚天学者、湖北省百人计划，电子信息工程，三峡大学

委员：田斌，男，教授，博导，土木工程，三峡大学

王纪华，男，教授，博导，楚天学者，计算机应用，国家农业信息技术研究中心

肖人彬，男，教授，博导，系统工程，华中科技大学

陈胜勇，男，教授，博导，国家杰青，计算机视觉，浙江工业大学

金连文，男，教授，博导，模式识别，华南理工大学

秘书：孙水发，男，副教授，计算机视觉，三峡大学 2100433B

实验室现有建筑面积2000余平方米，建有办公室、教师工作室、研究生工作室及机房等基本办公环境，以及无人机实验室、近景摄影测量实验室、无线传感器网络实验室、嵌入式多媒体实验、运动捕捉实验室、三维扫描实验室、数字媒体实验室、高性能计算实验室、现代通信联合实验室、物联网实验室、智能终端实验室、3S技术实验室、信息技术展示实验室等功能实验室；并且可以实现与依托单位的相关省部级重点实验室：三峡库区地质灾害教育部重点实验室，三峡库区生态环境教育部工程研究中心，水电仿真部级重点实验室的资源、信息共享。

1）智能视觉监测基本理论与方法；2）水电工程高精度智能监测理论与方法；3）水电工程大尺度视觉分析理论与方法。校园计算机网络已将研究所和实验室相连；本专业图书馆藏书40万余册，中外文期刊230余种，中外文电子资源近20种，有较先进的微机检索设备；现有设备、仪器总价值达2100余万元，基本形成了系统的水电工程智能视觉安全监测等方面的研究与开发能力。近年在水电工程的智能视觉监测领域进行了有益的探索，在上述研究领域取得了长足的发展，承担国家自然科学基金23项，国家科技支撑计划项目2项；省部级项目16项，横向项目58项；项目总经费2000万余元，科研成果转让10余项，经济效益1亿多元。获省部级一等奖2项，二等奖2项，三等奖7项；获授权发明专利1项，出版著作9部，发表核心学术论文200余篇，SCI检索24篇，EI检索94篇；获省优硕士论文8篇。

激光深熔焊接中焊缝熔深的同轴视觉传感监测

前言

激光焊接过程的监测主要是基于声、光、电、热等信号监测焊接过程中气孔等缺陷的形成，但对未焊透时焊缝的成型状况特别是焊缝熔深则缺乏有效的监测，这主要是由于很难在熔深和监测信号之间建立一个稳定、直接的映射关系。在过去对熔深的监测中多采用“黑箱”模型——将监测信号和实验所测的焊缝熔深直接拟合得到监测信号与熔深之间的映射关系或者采用人工神经网络来建立二者之间的对应关系[1,2]。

同轴视觉传感是一种先进的激光焊接过程监测方法，可以实现焊接过程中的可视化、直接监测。但是由于激光致等离子体和金属蒸气对熔池和小孔的覆盖，使得在对激光深熔焊接过程同轴视觉传感监测过程中观测不到小孔的底部，并且小孔同轴图像灰度值的变化也不能表征小孔深度的变化[3,4]。因此不能利用图像三维形状恢复技术和小孔同轴图像灰度值与焊缝熔深的标定曲线来实现激光深熔焊接过程中焊缝熔深的监测。

尽管小孔的同轴视觉图像不能反映出小孔底部的三维形状和深度信息，但仍然能够反映出小孔底部的径向形状和大小[3,4]。因此可以通过图像处理提取出小孔的径向尺寸。本文在提取出小孔径向尺寸的基础上基于Nd:YAG激光深熔焊接过程中小孔前壁材料蒸发满足的能量条件来求解小孔的深度，并基于所提取出的小孔的深度实现了激光深熔焊接过程中焊缝熔深的直接监测。

本文中焊缝熔深监测是基于图像处理结果和焊接过程中小孔前壁满足的能量平衡进行的，不依赖于等离子体的辐射光强，是一种直接监测的方法。

1. 实验条件

实验用的激光器是额定功率为2kW的Nd:YAG固体激光器，输出波长为1.06μm的连续波激光，激光束由内径为0.6mm的光纤传输，经焦距为200mm的透镜聚焦后的激光束焦点直径为0.6mm；工件为250×100×1.8mm的Q235钢板，同轴保护气为Ar气。

小孔同轴视觉图像的采集采用自主开发的Nd:YAG激光焊接过程同轴视觉传感系统。

对所采集的小孔和熔池的同轴视觉图像，经平滑滤波除噪和同态滤波增强的预处理后，基于阈值分割技术提取出小孔和熔池的边缘，利用Hough变换拟合得到小孔内外边缘的曲线方程，从拟合结果中得到小孔的径向尺寸。

2. 小孔前壁的能量平衡

在给定焊接规范下，当焊接过程达到稳态时，小孔也达到了动态平衡状态：小孔深度和焊缝熔深不再变化，接受激光束辐照的小孔前壁材料不断熔化和气化，孔内脱离激光辐照的金属等离子体不断复合成金属蒸气并和孔内未电离的且不在激光辐照区域内的金属蒸气一起液化形成小孔的后部。这样随着激光束在工件表面上的连续扫描，小孔前壁的材料不断气化：

(a)小孔的同轴图像

(b)小孔边缘的Hough变换拟合结果

焊接过程不断地进行。

小孔前壁吸收的激光能量除了使材料达到气化状态并使金属蒸气具有一定的动能外，还有一部分能量通过热传导的方式传递到母材中去。因此小孔前壁不断气化满足的能量条件为：

EA=EV EK EL（1）

式中：EA——被小孔前壁吸收的激光束能量；

EV——小孔前壁气化所需要的能量；

EK——蒸发后金属蒸气的动能，为能量损失；

EL——通过热传导损失的能量。

由于金属蒸气的动能EK与材料蒸发所需要的能量EV相比很小，可以忽略不计[5]。由小孔经热传导传递到液态层和母材中能量EL和材料蒸发所需要的能量EV之间近似有如下关系[4]：

（2）

式中：ε——为热传导造成的能量损失与材料蒸发所需的能量之比；

I——单位质量的材料蒸发所需要的能量；

——材料的比热；

TV——材料的沸点。

因此，小孔前壁的能量平衡条件可简化为：

EA=(1 ε)EV（3）

在激光深熔焊接过程中，辐照在小孔前壁的激光功率密度是小孔前壁材料蒸发的决定性因素；考虑到计算小孔前壁的体积及其消耗的能量需要较多的假设条件，将会产生很大误差。因此，以单位面积的材料蒸发所需要的能量密度为基础建立小孔前壁材料气化的能量平衡方程。

用功率密度表示的小孔前壁气化过程中满足的能量平衡方程为

（4）

式中：A——工件材料对Nd:YAG激光的吸收率；

Q——激光功率；

R——激光光斑半径；

ρ——材料密度；

Vd——小孔前壁加深的平均速度。

在方程（4）中，只有小孔前壁平均加深速度是与小孔深度紧密相关的未知量。

3. 小孔深度的求解

包括3.1小孔平均加深速度的求解3.2小孔深度求解方程的建立和3.3小孔深度的求解。

3.1 小孔平均加深速度的求解

小孔前壁的加深速度是由辐照在其上方的激光焊接体能量所决定的，其瞬时下降速度受各种条件的限制很难将其求出。因此，根据小孔的径向尺寸来求解小孔前壁的平均加深速度。

椭球面，短轴直径为提取出的小孔内边缘的宽，长轴直径为提取出的小孔内边缘的长，且小孔最深处的水平位置与小孔内边缘中心的水平位置重合。在τd时间内，小孔前壁的材料从工件表面加深至小孔的最深处，其深度方向上的位移为小孔深度hk，而激光束在焊接方向上对工件的扫描距离为Ld，则有：

（5）

式中：hK——小孔深度；

Lo——提取出的小孔外边缘的长度；

"para" label-module="para">

V——为焊接速度。

则从（5）式可得小孔前壁的平均加深速度为：（6）

3.2 小孔深度求解方程的建立

将（6）式代入到（4）式整理可得小孔深度为

（7）

将激光光斑半径R随离焦量"_blank" href="/item/z变化/7765991" data-lemmaid="7765991">z变化的拟合关系式R=11.56"para" label-module="para">

（8）

式中："para" label-module="para">

式（8）即为在激光功率为Q，焊接速度为V，离焦量为"para" label-module="para">

在激光深熔焊接过程中，小孔处在液态金属的包围中，小孔的前壁是具有一定厚度的液态金属层。因此，本文认为小孔前壁下降是从液态金属表面开始的。因此，（8）式中材料的热物理参数分别取ρ为材料液态时的密度，I为单位质量的材料从液态到气态的气化过程中所需要的能量，取材料的比热在材料熔点TM到沸点TV范围内的平均值为，则单位质量的液态材料气化所需要的能量I为：

（9）

式中：LV——为材料的汽化热；

TM——为材料的熔点。

3.3 小孔深度的求解

小孔前壁为一倾斜的斜面，因此在小孔深度的求解过程中，激光功率密度不能按照辐照在工件表面的激光功率密度处理。鉴于小孔前壁加深速度为一平均值，因此小孔深度求解方程中的激光功率密度按小孔半深处的激光功率密度作为辐照在小孔前壁的平均激光功率密度处理。将小孔深度求解方程修正为：

(10)

这样小孔深度求解方程变成一个5阶非线性方程，其根不能用根式或解析式表示[6]，方程（10）需要用数值法求解。

对方程（10）的结构分析可以看出，方程（10）的右边可分为三项：第一项为系数项；最后一项与由同轴视觉传感监测提取出的小孔的二维径向特征参数和材料的热物理参数有关；而第二项是与焊接规范参数有关的项，物理意义为单位面积上的焊接线能量（或单位时间内激光功率密度），其被定义为焊接体能量。

焊接体能量qV的定义为[4]：

（11）

则方程（10）又可表示为

（12）

从（12）式中可以看出，在激光深熔焊接过程中，小孔深度的变化将会引起辐照在小孔前壁的焊接体能量的变化；反之，焊接体能量的变化又将导致小孔深度的变化，二者相互影响。因此，以（12）式为基础通过迭代可求得小孔深度。

4. 基于小孔深度的焊缝熔深的监测

包括4.1焊缝熔深的提取4.2焊缝熔深监测值的验证和4.3工件焊透的判断。

4.1 焊缝熔深的提取

由于孔底液态金属层的厚度很薄[4,5]，对焊缝熔深的影响不大，因此本文以小孔深度作为焊缝熔深来处理。则分别测量不同焊接规范参数下的焊缝熔深来验证由同轴视觉传感监测到的焊缝熔深。

4.2 焊缝熔深监测值的验证

(a)焊缝熔深监测值和实验值的比较

(b)监测误差

(a)焊缝熔深监测值和实验值的比较

(b)监测误差

(a)焊缝熔深监测值和实验值的比较

(b)监测误差

(a)焊缝熔深监测值和实验值的比较

(b)监测误差

在工件未焊透时，焊缝熔深的监测值与实验值具有较好的一致性，其监测误差最大不超过12%，最大误差为11.76%，而且是在不太常用的大离焦量下所监测到的；而在常用的小离焦量下，焊接规范参数的变化过程中未焊透时焊缝熔深的监测误差都不超过10%。较小的监测误差说明，工件未焊透时对焊缝熔深的监测是比较准确的。

在工件焊透时，焊缝熔深的监测值明显大于工件厚度，具有很大的监测误差。这主要是由于在工件焊透时有一部分激光束能量透过孔底液态金属薄层而损耗在工件之外，但在熔深监测过程中并没有考虑这部分能量损耗而造成的误差。另外，随着焊接体能量的增大，透过孔底液态金属层损耗的激光能量也就越多，造成的监测误差也就越大。

4.3 工件焊透的判断

由于工件焊透后焊缝熔深的监测值明显大于工件厚度，因此可以直接利用焊缝熔深的监测值和工件厚度比较来判断工件是否被焊透。

在实验过程中发现，当工件刚刚焊透时的焊缝背面成形并不是连续的，而是断断续续的，而这些不连续的焊点在对接的情况下将会成为裂纹起始点和应力

集中点而成为焊接缺陷。因此本文将这情况列为未焊透的状态。为了避免在监测过程中对这种情况出现误判，本文在焊透的判断过程中预设一定的判断裕量。本文根据实验情况取工件厚度的8%，即焊缝熔深的监测值不小于工件厚度的1.08倍时，认为工件是完全焊透的，否则认为工件未焊透。

实验结果证明，在工件焊透状况判断过程中考虑一定的判断裕量提高了判断的准确性和可靠性。

5. 结论

在由同轴视觉传感监测提取出的小孔径向尺寸和小孔前壁材料气化满足的能量平衡的基础上推导建立了小孔深度提取的迭代方程。基于在同轴视觉传感监测中所提取出的小孔深度实现了Nd:YAG激光深熔焊接过程中焊缝熔深的直接监测和工件焊透的判断。

焊缝熔深监测值和实验测量值的比较表明，工件未焊透时，焊缝熔深的监测值和实验测量值具有较好的一致性，其监测误差一般不超过12%；而工件完全焊透后，焊缝熔深的监测值明显大于工件厚度。

在工件是否焊透的判断中，通过预设工件厚度的8%为判断裕量提高判断结果的可靠性和准确性，避免在工件刚刚焊透对焊缝背面不连续成形出现误判。2100433B

一、研究方向

本实验室根据水电工程科学发展趋势和现有工作基础，面向水电工程建设的国家需求，针对我国“西电东送”、“ 南水北调”等大型水利水电工程建设与施工中的关键科学技术问题，开展水电工程施工与管理方面的基础研究和应用基础研究，注重多学科交叉融合和高新技术的研究与 开发，提炼出以下几个研究方向：

1.水电工程信息化施工

（1）施工过程计算机仿真

（2）大体积混凝土温控及防裂优化技术

（3）施工过程多 媒体技术

（4）施工反馈设计理论与方法

2. 边坡及其植被恢复技术

（1）陡高边坡变形机理及加固技术

（2）爆破新技术

（3）边坡植被 恢复技术及施工工艺

3.水利水电工程质量、安全与管理技术

(1）光纤检测技术

（2）安全监测及评价

(3) 病险库坝修复技术

(4) 管理信息系统

二、研究内容

1.在施工技术领域：主要进行水电工程信息化施工研究和边坡加固植被恢复技术的研究开发，包括 施工过程计算机多媒体仿真、大体积混凝土温控及防裂优化技术、施工质量与进度控制及其优化技术、施工反馈设计理论与方法、陡高边坡变形机理及加固技术、爆破新 技术、边坡植被恢复技术及施工工艺等，研究成果力争达到国内领先水平；在大体积混凝土温控优化技术研究方面达到国内领先水平；对于人工及天然坡体的加固及植被 恢复技术研究，形成实用化技术及自主知识产权。

2.在管理技术领域：主要进行水利水电工程质量、安全与管理技术方面的研究，包括光纤检测技术、安全监测及 评价、病险库坝修复技术、管理信息系统、施工企业发展战略等，达到国内领先水平。

三、研究队伍

本实验中心现有固定研究人员32人 ，其中，高级职称30人，中级职称2人；博士生导师6人，硕士生导师26人。已形成了一支年富力强、基本素质较高、结构较为合理的研究团队，具有从事水电工程施工与 管理科学的基础研究和应用开发以及科技创新的潜力和优势。

其中实验室学术委员会由11人组成，其中校内专家5人，校外专家6人。

近几年来，我实验室 围绕湖北省科技发展规划和我校重点科研发展方向，确定人才引进计划，重点是引进和培养学科带头人；加快高层次人才的引进工作，形成合理的学科人才梯队；更加重 视科技人员的继续教育和专业培训工作，大力培养各类专业技术人才，从而为实验室的进一步发展奠定坚实基础。

四、实验室资产

实验室自2003年立项建设以来，在原校级实验室的基础上，学校累计投入建设经费750万元，其中用于基础软件平台开发和先进仪器设备购置500万元。目前实验室面积达3000m，拥有的仪器设备价值1100万元，其中新增10万元以上仪器设备38台套，利用机时率都在60%以上。现正在进行水工模型实验大厅的水循环系统基础设施改造建设，以及筑坝材料实验室、仿真实验室等的完善配套工作。

五、特色及水平

本实验室立足于我国水电工程建设中的施工技术、施工管理理论及应用等领域的应用基础研究及应用推广研究，走产、学、研一体化的道路，服务于我国重大水电工程建设实践，形成水电工程施工领域若干核心技术、并致力于解决水电工程施工中的若干关键技术问题，总体学术水平居国际先进水平。

通过立项建设，形成在国内居于 先进水平的水电工程施工与管理领域科学研究与技术开发的实验和研究基地，为水电工程施工技术研究与推广、水电工程管理技术研究与应用提供实验平台与技术支持， 使实验室成为科技研究与社会服务的重要力量，学科建设的重要支撑，凝聚和培养人才的重要基地，展示三峡大学水电特色的重要窗口。

在研究成果方面，实验室获得国家科技进步二等奖4项；省部级科技进步奖与自然科学奖9项，其中特等奖一项，一等奖4项；出版学术著作6部、教材8部；获准专利15项，其中发明专利4项；发表论文250多篇，其中SCI收录12篇，EI收录59篇，ISTP收录7篇。这些成果能够很好地服务于科技进步、经济建设和社会发展。 2100433B

IVS，是基于DSP的单路视频编码器，同时内嵌了智能视觉监控功能，其自动检测、即时报警通告和即时视频确认等功能可以大幅提高安全监控水平，同时基于三维视场检测，能自动区分目标种类、大小、速度、移动方向等特征，具有出色的非平坦地形上的目标检测能力，能可靠的检测遥远距离的目标，采用先进的模式识别技术和特定的行为分析算法，保持高检测率(99.9%)的同时只有很低的误报率（少于1个/天）。IVS结合监控摄像机或PTZ球机可对智能视觉分析数据联网进行报警运营，实现“事先预警 事中处置 事后取证”，是“智能视觉 物联网”的真正的物联网。

中文名

IVS

低误报率

低于1%

应用

政府机关，军队

IVS平台

应用软件生成器

IVS是智能视觉物联网技术的英文简称，IVS是从行为模型中提炼算法，植入DSP芯片，形成模块化的、成熟的嵌入式软件，实现智能视觉识别。可有效检测人员倒地、徘徊、丢包、遗留物、偷盗、区域目标、围墙攀爬、停车超时、逆行等多种行为，可达到99%高侦测条件下的低误报率(低于1%)，被广泛应用于政府机关，军队，学校，油田，机场，航天，监狱看守所，电网和核电站，轨道和非轨道交通，别墅和居民小区等等。