智能化多分辨率多传感器图像融合方法研究

多传感器图像信息融合技术在军事、遥感、医学、工业、交通等领域具有重要的应用价值。本项目将以红外成像与微光夜视成像融合、数码成像融合为对象，系统深入地研究：高效高精度像素级图像配准新方法，Wavelet变换、Curvelet变换、Contourlet变换理论和多分辨率图像融合新方法，多分辨率神经网络、多分辨率支持向量机理论和智能化图像融合新方法，彩色图像融合新方法。本项目将在像素级图像信息融合新理论 2100433B

多传感器图像融合，即多传感器信息融合中可视信息部分的融合，是多传感器信息融合的重要分支。像素级图像融合被认为是现代多传感器图像处理和分析中非常重要的一步。多传感器像素级图像融合芯片实现的关键是在确保信息融合效果的前提下能够实时地进行图像处理。本项目将结合国内外相关技术的发展现状，在现有工作的基础上，对光学图像像素级融合处理算法及SoC（片上系统）单芯片集成实现进行研究。项目的重点之一，研究面向实时信息处理应用的像素级图像融合算法，设计适合于VLSI（大规模集成）的算法实现结构及联合优化方法。项目研究重点之二，在算法研究基础上，研究融合信息系统SoC的实现结构，涉及嵌入式多处理器内核引入、体系架构、系统的运行效率、性能、专用加速引擎等。最后对系统单芯片实现时的有限字长效应及算法结构映射技术进行研究。

多传感器图像融合，是多传感器信息融合的重要分支。通过对来自不同传感器的多源图像信息提取与综合，获得对同一场景/目标更丰富、更精确、更可靠的有用信息，广泛应用在目标检测、跟踪和识别，机场导航，医学成像与诊断等军民用领域，对国防建设和国民经济发展均具有非常重大的意义。多传感器像素级图像融合系统实现的关键是在确保信息融合效果的前提下能够实时地进行图像处理。本项目结合国内外相关技术，针对面向超大规模集成实现的像素级图像融合处理算法及单芯片集成实现展开研究，并取得了多项研究成果。 面向实时信息处理的多源图像像素级融合系统相关算法展开研究，提出了自适应的 LIP 模型 Lee 增强算法、自适应的中值滤波去噪算法等，为后续的配准融合提供了良好的原始图像；提出基于子图特征的同源图像配准算法、基于边缘FMT的异源图像配准算法等，提高了同、异源图像配准的速度和精度；提出了基于梯度金字塔分解的多尺度融合算法，对同源及异源图像进行融合，并对融合效果进行了主客观评价。 在算法研究基础上，研究多传感器图像融合处理系统的集成实现。本系统采用软硬件协同设计的方法，提出了一种“基于数据流分割、顶层垂直控制、本地互联、模块设计”的架构设计方法，构建融合信息处理单芯片系统基本体系结构，在SoC平台上完成了配准融合算法加速、数据接口实现以及软件应用的设计开发。 系统在消耗合理资源的前提下， 处理256x256大小图像耗时约10ms，尺度和旋转精度分别达到0.008和0.15°，平移误差达到亚像素级，实现较好的融合效果，满足实时处理要求，采集图与融合图可通过HDMI显示。 本项目在国家自然科学基金委的支持下圆满完成了研究任务，发表论文21篇，其中SCI 13篇；申请发明专利8项；培养博士、硕士研究生14名。本项目在图像预处理、配准和融合等相关算法方面提出了多种新方法，设计并实现了像素级图像融合单芯片集成系统，为实现国产军用与民用融合系统的小型化、智能化和高性能化奠定了良好的基础。

无线传感器网络环境下的融合系统不可避免地产生或受限于诸多彼此相关的网络约束条件，如信息延迟(无序)、丢包、带宽、动态网络拓扑和路由协议等，从而使得传感器网络融合的研究面临着诸多新的难题和挑战。海上船舶监控系统实际上是一个大型的无线Ad hoc网络，其信息处理的核心就是多网络约束下的多传感器信息融合问题。因此，开展多约束多传感器网络融合的关键科学问题研究具有重要的理论意义，其研究成果在船舶安全监控中具有广泛的工程实际应用前景。本项目主要研究内容包括：1)建立各约束条件间的相关性模型以及延迟、丢包特性模型；2)以带宽约束为基础，逐步引入其它约束开展网络融合算法设计和性能分析；3)开展不同信息传输形式下的网络融合算法的设计和比较研究；4)完成船舶监控网络下多源异步异类信息融合和不可靠信息的组合导航方法；5)利用仿真系统和Highlander公司的VMS平台进行各种模型和算法的验证、测试和评估。