图像信息资源可视化协同语义标注及实现研究结题摘要

随着图像信息资源的迅速增长，图像标注中存在的语义鸿沟问题严重影响了图像信息资源研究与应用的发展。本项目深挖图像语义鸿沟的产生根源与管理需求，将人对图像的感性认知与自动图像标注有机联系起来协同标注作为解决图像语义鸿沟问题的有效途径。本项目综合应用情报学、管理学、计算机科学、认知科学等多学科的理论与方法，系统研究了在用户可视化操作与计算机语义挖掘处理之间协同的模型与方法体系。通过理论分析与用户认知实验，深度剖析图像语义鸿沟的产生过程，发现图像标注具有复杂的认知过程，且受到交互方式等的影响；重点构建图像信息资源的可视化协同语义标注模型，以图像的最高层语义--情感语义的标注为例，以相关特征标签挖掘为基础进行较准确的图像情感语义自动标注，以图像与文本的协同挖掘进行图像标签语义优化，以语义可视化实现了支持图像标注用户的感性人机交互，通过用户对图像及图像之间关系的感性认知与计算机语义处理之间的协同，有效避免与消减图像标注中的语义鸿沟；以Flickr实际数据集及国际情感图片系统（IAPS）数据集为典型，从系统与用户体验两方面对模型进行实证研究，表明了模型方法体系的有效性；探索了将模型应用于多个不同领域的途径与方案，表明理论模型具有较广的研究与应用前景。本项目突破了现有图像信息理论对图像语义鸿沟的认识，将其深化到图像与图像语义的认知机制层面，并建立了认识与消减图像标注中语义鸿沟的模型方法体系，为有效标注大规模图像信息资源的多层次语义提供理论与应用指导，并将丰富与拓展图像信息资源管理理论与方法，对图像语义与感性人机交互、图像信息资源管理与利用以及相关学科发展有重要启发意义。

随着图像信息资源的迅速增长，图像标注中存在的语义鸿沟问题严重影响了图像信息资源研究与应用的发展，将人对图像的感性认知与自动图像标注有机联系起来协同标注是解决问题的有效途径。本项目综合应用情报学、管理学、计算机科学、认知科学等多学科的理论与方法，首先通过理论分析与用户认知实验，深度剖析图像语义鸿沟的产生过程，明确图像标注的研究需求；进而构建图像信息资源的可视化协同语义标注模型，以图像与文本协同挖掘进行图像标签语义优化，以语义可视化支持用户感性交互，通过用户对图像及图像之间关系的感性认知与计算机语义处理之间的协同，研究消减乃至消除语义鸿沟的图像标注；接着以典型数据集及web实际数据从系统与用户体验两方面对模型进行实证研究；最后探索将模型应用于图像信息资源研究与实践的途径与方式，为有效标注大规模图像信息资源的多层次语义提供理论与应用指导，并将丰富与拓展图像信息资源管理理论与方法。

主要研究大规模图像数据的自动标注算法，具体研究内容有：研究具有更好表示和区分能力的图像特征提取算法，其重点是研究特征选取和特征变换；研究用于高层语义特征提取的机器学习方法，其重点是研究半监督学习和大规模数据学习问题；研究图像标记的语义相关性挖掘问题，以进一步提高自动标记的性能，基本思路是利用先验信息、WordNet等知识库和标记在图像同现等统计信息。基于上述算法研究成果，我们将针对日常生活中常见的实体语义对象，从互联网上下载相应的图像，通过学习训练建立起较大规模的视觉语义特征模型库，用于实现图像的自动语义标注；我们还计划研究开发大规模图像数据的自动标注原型演示系统，用于网上大规模图像的搜索和过滤。