视频理解与语义提取
    视觉是知觉、注意、记忆等相关单元协同工作的复杂的认知过程,因此视频内容的理解是一个困难和前沿的课题。我们的研究主要集中在对人类视觉和听觉认知机理、特别是选择性注意过程和视觉不变性机理的研究,及将其转化为计算机所能理解的量化模型;借助于认知计算模型,建立音、视频底层特征与人类高层认知之间的联系;提出具有感知不变性的新的有效视频特征;综合视觉、听觉和文字等多模态信息,实现概念自动标注和语义提取等方面。在这个方向上,我们近年来持续参加本领域的TRECVID国际评测,获得了良好的成绩;在此基础上研制的视频摘要与检索系统正在移动环境中得到应用。

同源视频检测
    同源视频检测(Copy Detection)是近年发展起来的视频数字版权保护技术。所谓“同源”视频是指经拷贝或者二次编辑(例如亮度变化、旋转、缩放、剪切、画中画、添加字幕、多次压缩等)而产生的视频。同源视频检索无需事先在视频中插入任何信息,而是直接通过检测视频内容本身来确定被试视频是否复制了版权视频的全部或一部分。在数字图像和视频版权管理中,它可以与数字水印互为补充;同时,可以根据给定的视频样本在海量视频库中搜索和精确定位与之一致的视频。我们在此方向上参加的国际评测,获得了较好的成绩;基于此方向研究成果研制的系统已经商用。

视频搜索引擎
    视频搜索引擎是依据图像或视频内容进行信息检索的工具。在互联网上视频信息大量涌现的今天,这是一个急待解决和极具挑战性的课题。我们在这方面的研究包括图像和视频网页搜索、特征提取、分类、主题描述、高效的索引、检索与排名策略等,并已形成一个图片检索系统。

视频监控异常事件检测
    我们的研究主要集中在对人和车辆的行为检测两个方面,其中包括:人的检测与跟踪、人的特定动作的识别、大型公共场合中特定事件检测、车辆速度和轨迹检测等方面。