视频检索

智能视频处理成为视频监控的“救命稻草”

智能视频源自计算机视觉技术，计算机视觉技术是人工智能研究的分支之一，它能够在图像及图像内容描述之间建立映射关系，从而使计算机能够通过数字图像处理和分析来有限理解视频画面中的内容。运用智能视频分析技术，当系统发现符合某种规则的行为（如定向运动、越界、游荡、遗留等）发生时，自动向监控系统发出报警信号（如声光报警），提示相关工作人员及时处理可疑事件。

智能视频算法的实现

智能视频技术实现对移动目标的实时检测、识别、分类以及多目标跟踪等功能的主要算法分为以下五类：目标检测、目标跟踪、目标识别、行为分析、基于内容的视频检索和数据融合等。

视频检索目标检测

目标检测（Object Detection）是按一定时间间隔从视频图像中抽取像素，采用软件技术来分析数字化的像素，将运动物体从视频序列中分离出来。运动目标检测技术是智能化分析的基础。常用的目标检测技术可以分为背景减除法（Background Subtraction）、时间差分法（Temporal Difference）和光流法（Optic Flow）三类。

背景减除法利用当前图像与背景图像的差分检测运动区域。背景减除法假设视频场景中有一个背景，而背景和前景并未给出严格定义，背景在实际使用中是变化的，所以背景建模是背景减除法中非常关键的一步。常用的背景建模方法有时间平均法、自适应更新法、高斯模型等。背景减除法能够提供相对来说比较完全的运动目标特征数据，但对于动态场景的变化，如光线照射情况、摄像机抖动和外来无关事件的干扰特别敏感。

时间差分法充分利用了视频图像的时域特征，利用相邻帧图像的相减来提取出前景移动目标的信息。该方法对于动态环境具有较强的自适应性，不对场景做任何假设，但一般不能完全提取出所有相关的特征像素点，在运动实体内部容易产生空洞现象，只能够检测到目标的边缘。当运动目标停止时，一般时间差分法便失效。 光流法通过比较连续帧为每个图像中的像素赋予一个运动矢量从而分割出运动物体。

光流法能够在摄像机运动的情况下检测出独立的运动目标，然而光流法运算复杂度高并且对噪声很敏感，所以在没有专门硬件支持下很难用于实时视频流检测中。

视频检索目标跟踪

目标跟踪（Object Tracking）算法根据不同的分类标准，有着以下两种分类方法：根据目标跟踪与目标检测的时间关系分类和根据目标跟踪的策略分类。 根据目标跟踪与目标检测的时间关系的分类有三种：

一是先检测后跟踪(Detect before Track)，先检测每帧图像上的目标，然后将前后两帧图像上目标进行匹配，从而达到跟踪的目的。这种方法可以借助很多图像处理和数据处理的现有技术，但是检测过程没有充分利用跟踪过程提供的信息。

二是先跟踪后检测(Track before Detect)，先对目标下一帧所在的位置及其状态进行预测或假设，然后根据检测结果来矫正预测值。这一思路面临的难点是事先要知道目标的运动特性和规律。三是边检测边跟踪(Track while Detect)，图像序列中目标的检测和跟踪相结合，检测要利用跟踪来提供处理的对象区域，跟踪要利用检测来提供目标状态的观察数据。

根据目标跟踪的策略来分类，通常可分为3D方法和2D方法。相对3D方法而言，2D方法速度较快，但对于遮挡问题难以处理。基于运动估计的跟踪是最常用的方法之一。

视频检索目标识别

目标识别（Object Recognize）利用物体颜色、速度、形状、尺寸等信息进行判别，区分人、交通工具和其他对象。目标识别常用人脸识别和车辆识别。

视频人脸识别的通常分为四个步骤：人脸检测、人脸跟踪、特征提取和比对。人脸检测指在动态的场景与复杂的背景中判断是否存在面像，并分离出这种面像。人脸跟踪指对被检测到的面貌进行动态目标跟踪。常用方法有基于模型的方法、基于运动与模型相结合的方法、肤色模型法等。

人脸特征提取方法归纳起来分为三类：第一类是基于边缘、直线和曲线的基本方法；第二类是基于特征模板的方法；第三类是考虑各种特征之间几何关系的结构匹配法。单一基于局部特征的提取方法在处理闭眼、眼镜和张嘴等情景时遇到困难，相对而言，基于整体特征统计的方法对于图像亮度和特征形变的鲁棒性更强。人脸比对是将抽取出的人脸特征与面像库中的特征进行比对，并找出最佳的匹配对象。

车辆识别主要分为车牌照识别、车型识别和车辆颜色识别等，应用最广泛和技术较成熟的是车牌照识别。 车牌照识别的步骤分别为：车牌定位、车牌字符分割、车牌字符特征提取和车牌字符识别。

车牌定位是指从车牌图像中找到车牌区域并把其分离出来。字符分割是将汉字、英文字母和数字字符从牌照中提取出来。车牌特征提取的基本任务是从众多特征中找出最有效的特征，常用的方法有逐像素特征提取法、骨架特征提取法、垂直水平方向数据统计特征提取法、特征点提取法和基于统计特征的提取法。车牌字符识别可以使用贝叶斯分离器、支持向量机(SVM)和神经网络分类器(NNC)等算法。

视频检索行为分析

行为分析(Behavior Analysis)是指在目标检测、跟踪和识别的基础上，对其行为进行更高层次的语义分析。现有的行为分析技术根据分析的细节程度和对分析结果的判别要求可以分为三类：第一类使用了大量的细节，并往往使用已经建立好的数据进行分析而较少使用目标的时域信息。基于人脸、手势、步态的行为分析方法属于这一类；第二类是将目标作为一个整体，使用目标跟踪的算法来分析其运动轨迹以及该目标与其它目标的交互；第三类是在前两类的基础上做一个折中，它使用时域和空域的信息，分析目标各部分的运动。

视频检索图像检索

基于内容的图像检索技术是由用户提交检索样本，系统根据样本对象的底层物理特征生成特征集，然后在视频库中进行相似性匹配，得到检索结果的过程。现有基于内容的检索方法主要分为：基于颜色的检索方法、基于形状的检索方法和基于纹理的检索方法等。数据融合是将来自不同视频源的数据进行整合，以获得更丰富的数据分析结果。

在社会公共安全领域 ，视频监控系统成为维护社会治安，加强社会管理的一个重要组成部分。然而视频录像存在存储数据量大，存储时间长等特点，通过录像寻找线索，获取证据传统的做法是要耗费大量人力、物力以及时间，效率极其低下，以至于错过最佳破案时机。因此在视频监控系统中，录像智能检索已成为公安用户迫切需求。2100433B

视频检索简单的可以理解为从视频中搜索有用或者需要的资料。

随着“天网工程”、“平安城市”建设的不断深入，视频安防监控技术的更新换代、新技术的更迭以及未来的发展越来越受到各界的高度重视。高清视频、视频存储、智能视频分析等技术成为当前视频技术发展的主要方面。

2011年是我国安防行业飞速发展的一年，除了市场需求的增加外，政府的大力推动，特别是城市报警与监控系统（“3111”工程）建设的完成及使用， 全国进入了安防设施建高潮期安防行业得到进一步高速发展。‘但随着安防行业的发展，视频监控面临巨大的挑战。

监控摄像头已遍布中国大地的每个街头，昼夜不停地监视和录像。在改善社会治安的同时，产生海量视频信息，对成千上万个监控平台进行监控将耗费大量的人力、物力和时间。在海量的视频中查找我们需要的信息，无疑是大海捞针，也给视频监控带来巨大的挑战。传统的人海战术，因效率低下以及容易错过关键目标，容易使视频监控处于“监而不控”的状态。如何化解这一危机，是现代安防的热点和难点。视频检索和视频浓缩是其中的关键。其中视频检索技术已经逐渐成熟并开始走向市场。

网络信息检索策略设计应遵循快、准、全及低成本的原则，以实现检索策略最优化。所谓快、准、全，是指设计出来的检索策略能够快速、准确、全面地从网上检索到所需要的信息;低成本则是指以最低的费用获取所需的信息。由于检索网上信息要付通讯费，有些数据库还要付数据库使用费，因而降低信息成本对消费能力较弱的我国用户有比较重要的意义。

主题分析

明确检索需求后，就要对用户课题的具体内容作主题分析，这是正确选用检索词和逻辑算符的的关键，它将决定检索策略的质量并影响检索效果。

主题分析就是对用户的课题进行主题概念的分析，并用一定的概念词来表达这些主题内容，同时明确概念与概念之间的逻辑关系。主题分析必须注意：

（1）概念的表达要确切。抓住课题的实质性内容，分析出课题中有几个概念组面。

（2）找出核心的概念组面，排除掉无关概念组面，包括意义不大的概念和重复概念。用户有时会认为选取的概念组面越多，逻辑组配越细致，检索结果的针对性越强。事实上，过多过严的概念组配很可能导致大量的漏检，甚至结果为零。因此有时需要简化逻辑关系，减少概念组面，以提高检索效果。

（3）找出隐含的重要概念。如"智力测试"，隐含着"能力测试"、"态度测试"、"创造力测试"等概念。数据库的标引往往使用比较专指的词，用户对标引规则不甚了解，往往会列出比较抽象的概念，而忽略了较专指的概念

（4）明确概念组面之间的交叉关系，即明确是逻辑"与"、逻辑"或"还是逻辑"非"的关系。哪些概念可以用来扩大检索范围，哪些可以作为进一步缩小检索范围的主题词。明确这些逻辑关系，有助于编制出正确的检索式。

注意问题

如果对主题不熟悉，可采用关键性的文献以确认检索词汇和厘清概念。宜避免选择太广泛或模糊的词汇检索，且可以储存并重复使用相同的概念和检索策略以节省检索时间。检索时除了利用选定的检索词汇进行检索外，也可利用索引典、标题表或系统自动提供之相关词进行检索，以增加检索结果。

选择词汇时，需注意「隐含性概念」和资料库的关系。

总述

事实上，在构造检索策略过程中，要涉及到许多方面的知识与技能。诸如，用户对检索课题的明确程度，对检索课题的分析；对数据库及其系统特性和功能的掌握；编制逻辑检索式的技巧以及调整检索策略的方法等方面都会影响用户检索的整体效果。因此，制定检索策略是一种全面的知识与技能，也是一种经验。掌握了这种技能和经验，再通过广泛实习，可以获得比较好的检索效果。

所谓检索策略，就是在分析信息提问实质的基础上，正确地选择检索词(项)及相关数据库、科学地拟定逻辑提问式、合理地规划查找步骤的全过程。在科技查新的 检索过程中，检索策略的科学拟定是非常重要。

内容

（1）确定检索系统：根据课题选择合适的检索系统，它必须包括检索者检索需求的学科范围和熟悉的检索途径。在计算机检索中还需要确定检索所需要的文档名称或代码。

（2）确定检索途径：各检索系统一般都具有许多索引体系（即检索途径），应根据课题需要选择自己熟悉的检索途径。可多途径配合使用。

（3）选定检索词：各种检索途径均须有相应检索词（亦称入口词）方可进行检索。如分类途径以分类号作为检索词，主题途径以标题词、关键词等作为检索词等等。计算机检索还须选定检索词编制布尔逻辑提问式。

（4）调整检索方案：根据检索过程中出现的各种问题及时调整方案，扩大或缩小检索范围。

明确课题需求、选择数据库

检索过程中的首要环节，就是要明确课题需求，第一步如果搞错了，就谈不上最后检索结果的正确性。由于用户对自己的需求，特别是潜在的、模糊的需求并不总是非常明确，因此需要进行分析，以求得一个完整而明确的表达。在用户需求分析中，应搞清楚以下一些问题：

（1）分析课题检索的目的通常有几种类型：

1、开始某一项科学研究或承接某项工程设计，需要对课题进行全面的文献普查，并从中筛选出所需的资料，用以编写可行性报告、计划任务书等。对这样的课题，应选择一个年限比较长的，收录比较广泛的相关专业的二次文献数据库，在全面回溯检索的基础上，选出相关的文献，再获取一次文献。

2、为解决某个技术难题，查找关键性的技术资料。对这样的课题，应选择工程和技术类数据库或专利数据库。

3、为贸易与技术引进、合资谈判，了解国外市场、产品与公司的行情。查找科学数据库以了解技术的先进性，查找市场、产品、公司等商情数据库以对手的情况。

4、为申报专利或鉴定成果，查找参考依据。以选择国内外专利数据库为主。

5、为某项决策查找有关情报。根据决策的不同性质，进行综合性的全面文献调研，涉及到科学研究、技术研究、产品、市场等最新发展动态。

6、为撰写论文查找相关文献等。以期刊论文、学位论文等学术研究性的数据库为主。

（2）明确题所涉及的学科范围和专业面

明确课题所涉及的主要学科范围、相关学科范围、交叉学科范围，并根据数据库的主题收录范围进行选择。

（3）对文献的新颖性程度的要求

对文献新颖性要求高，就要选择数据更新周期短、速度快的数据库。

（4）用户对检索的查全与查准要求

为满足查全要求，就要普查多种数据库，为快速满足查准要求，应选择主题范围最专指的数据库。

亦称档案信息检索分类或档案情报检索分类。是以档案记述的内容为对象进行等级分类的逻辑体系。它以国家机构、社会组织从事的社会实践分工为基础,以档案记述的事物属性关系为依据,按照逻辑方法进行统一分类，不受档案所属全宗的限制。主要用于编制卡片目录和组织情报的机械化、自动化检索，一般不适用于档案实体管理的分类 (某些特殊专业档案例外),档案馆的情报检索分类系统与档案实体分类排列上架序列通常是不一致的。为建立统一的档案情报检索系统,一些国家制定有通用的、标准的分类方案。例如,苏联1962年出版了《苏联国家档案馆分类卡片目录系统中文件情报的统一分类方案》，1978年又出版了补充和修订本；中国1987年出版了《中国档案分类法》，并附有档案分类标引规则、《中国档案分类法》类目细分规则、清代档案分类表、民国档案分类表。