多传感器图像像素级融合处理芯片集成技术研究结题摘要

多传感器图像融合，是多传感器信息融合的重要分支。通过对来自不同传感器的多源图像信息提取与综合，获得对同一场景/目标更丰富、更精确、更可靠的有用信息，广泛应用在目标检测、跟踪和识别，机场导航，医学成像与诊断等军民用领域，对国防建设和国民经济发展均具有非常重大的意义。多传感器像素级图像融合系统实现的关键是在确保信息融合效果的前提下能够实时地进行图像处理。本项目结合国内外相关技术，针对面向超大规模集成实现的像素级图像融合处理算法及单芯片集成实现展开研究，并取得了多项研究成果。 面向实时信息处理的多源图像像素级融合系统相关算法展开研究，提出了自适应的 LIP 模型 Lee 增强算法、自适应的中值滤波去噪算法等，为后续的配准融合提供了良好的原始图像；提出基于子图特征的同源图像配准算法、基于边缘FMT的异源图像配准算法等，提高了同、异源图像配准的速度和精度；提出了基于梯度金字塔分解的多尺度融合算法，对同源及异源图像进行融合，并对融合效果进行了主客观评价。 在算法研究基础上，研究多传感器图像融合处理系统的集成实现。本系统采用软硬件协同设计的方法，提出了一种“基于数据流分割、顶层垂直控制、本地互联、模块设计”的架构设计方法，构建融合信息处理单芯片系统基本体系结构，在SoC平台上完成了配准融合算法加速、数据接口实现以及软件应用的设计开发。 系统在消耗合理资源的前提下， 处理256x256大小图像耗时约10ms，尺度和旋转精度分别达到0.008和0.15°，平移误差达到亚像素级，实现较好的融合效果，满足实时处理要求，采集图与融合图可通过HDMI显示。 本项目在国家自然科学基金委的支持下圆满完成了研究任务，发表论文21篇，其中SCI 13篇；申请发明专利8项；培养博士、硕士研究生14名。本项目在图像预处理、配准和融合等相关算法方面提出了多种新方法，设计并实现了像素级图像融合单芯片集成系统，为实现国产军用与民用融合系统的小型化、智能化和高性能化奠定了良好的基础。

多传感器图像融合，即多传感器信息融合中可视信息部分的融合，是多传感器信息融合的重要分支。像素级图像融合被认为是现代多传感器图像处理和分析中非常重要的一步。多传感器像素级图像融合芯片实现的关键是在确保信息融合效果的前提下能够实时地进行图像处理。本项目将结合国内外相关技术的发展现状，在现有工作的基础上，对光学图像像素级融合处理算法及SoC（片上系统）单芯片集成实现进行研究。项目的重点之一，研究面向实时信息处理应用的像素级图像融合算法，设计适合于VLSI（大规模集成）的算法实现结构及联合优化方法。项目研究重点之二，在算法研究基础上，研究融合信息系统SoC的实现结构，涉及嵌入式多处理器内核引入、体系架构、系统的运行效率、性能、专用加速引擎等。最后对系统单芯片实现时的有限字长效应及算法结构映射技术进行研究。

本项目研究面向多传感器集成融合的智能诊断技术的若干基础理论和关键技术，包括智能诊断技术的多传感器集成融合体系、机制，基于多传感器集成融合的诊断策略、模型和算法，多传感器集成融合的数据级与特征决策级的协调通讯机制等．针对大型机电系统，开发一个基于多传感器集成融合的智能诊断系统开发环境，研制一个智能诊断的原型系统． 2100433B

多传感器图像信息融合技术在军事、遥感、医学、工业、交通等领域具有重要的应用价值。本项目将以红外成像与微光夜视成像融合、数码成像融合为对象，系统深入地研究：高效高精度像素级图像配准新方法，Wavelet变换、Curvelet变换、Contourlet变换理论和多分辨率图像融合新方法，多分辨率神经网络、多分辨率支持向量机理论和智能化图像融合新方法，彩色图像融合新方法。本项目将在像素级图像信息融合新理论 2100433B