本文主要讨论了在多媒体数据库的检索技术中,围绕图像、视频、音频等多媒体信息,实现对多媒体数据库基于内容的检索。
科技信息
计算机与网络
基于内窖昀植索技术与多媳傩数据库 华东师范大学教育信息技术学系上海农林职业技术学院应用外语系张翠玉 [摘要]本文主要讨论了多媒体数据库的检索技术中,在围绕图像、视频、音频等多媒体信息,实现对多媒体数据库基于内容的检索。 [关键词]多媒体基于内容的检索视频音频查询接口 多媒体是将计算机、电视机、录像机、录音机和游戏机等技术融为 体,电脑与用户之间可以相互交流的操作环境。形成它可以接收外部图像、声音、录像及各种媒体信息,经计算机加工处理后以图片、文字、 声音、动画等多种方式输出,实现输入输出方式的多元化,改变了计算机只能输入输出文字、数据的局限,计算机开始能说会唱起来。在计算机和通信领域,我们所指的信息的正文、图形、声音、图像、画,可以动都称为媒体。从计算机和通信设备处理信息的角度来看,我们可以将自然界和人类社会原始信息存在的形式——数据、文字、有声的语言、音响、 绘画、动画、图像(静态的照片和动态的电影、电视和录像 ),等归结为三种最基本的媒体:声、图、。传统的计算机只能够处理单媒体——文“”电视能够传播声、文集成信息,文,图、但它不是多媒体系统。通过电 视,我们只能单向被动地接受信息,不能双向地、主动地处理信息,没有所谓的交互性。可视电话虽然有交互性,但我们仅仅能够听到声音,见到谈话人的形象,也不是多媒体。所谓多媒体,是指能够同时采集、处理、编辑、存储和展示两个或以上不同类型信息媒体的技术,这些信息媒体包括文字、声音、图形、图像、动画和活动影像等。 多媒体数据包含有图像、视频、音频等十分丰富的信息内容,有着: 数据量大、数据类型多、数据类型差别大、输入和输出复杂等特点。多媒体数据大多具有难以用符号描述的特征,如图像中的颜色分布,视频中的运动、音频中的音调等,由于它们属于非格式化数据,以对其进行所查询和处理就相当困难,即基于内容的检索问题。 多媒体数据库 M BM h nd a bs是建立多媒体应用软件系 D ( u i ei D t ae i a a ) 统最重要的工具。它是数据库技术与多媒体技术结合的产物。多媒体数据库不是对现有的
数据进行界面上的包装,而是从多媒体数据与信息本身的特性出发,考虑将其引入到数据库中之后而带来的有关问题。多媒体数据库从本质上来说,要解决三个难题。第一是信息媒体的多样化,不仅仅是数值数据和字符数据,要扩大到多媒体数据的存储、组织、 使用和管理。第二要解决多媒体数据集成或表现集成,实现多媒体数据之间的交叉调用和融合,成粒度越细,集多媒体一体化表现才越强,应用的价值也才越大。第三是多媒体数据与人之间的交互性。 随着互联网的发展,对多媒体数据的检索要求越来越多。在传统的数据库检索中,一般采用的是基于标识符、属性、字等形式的检索关键方法,这些方法只与数据类型和数据结构有关,不需要对内容作任何分析。这种传统的基于结构化的关系数据库检索方式并不适合非结构化的多媒体数据的检索,为多媒体数据的检索提出了新的要求。这就多媒体数据库在其应用中并不满足于这些简单的检索方式,而需要分析媒体的语义内容,得到更深的检索层次。如“查找包含人脸的所有图像”, 这种检索就涉及到图像的内容,它很难用一般的形式进行描述。概括地说:涉及媒体内容和语义理解的检索都可以归纳为基于内容的检索。 基于内容检索,就是从多媒体数据中提取出特定的信息线索,然后根据这些线索从大量的数据库中,检索出具有相似特征的多媒体数据。 基于内容的检索是一门新的信息检索技术。它以认知科学、用户模型、 模式识别、数据库管理系统、信息检索等领域的研究方法和技术为基础,研究新的媒体数据的表示与数据存储模式、有效可靠的查询方法、 智能查匐接口等。 基于内容的检索是对媒体对象的内容及上下文语义环境进行检二索,如像中的颜色、纹理、形状,视频中的镜头、场景、头的运动,镜声音中的音调、响度、音色等。基于内容的检索突破了传统的基于文本检索技术的局限,直接对图像、视频、频内容进行分析,音抽取特征和语义, J利月这些内容特征建立索引并进行检索。在这一检索过程中,它主要以图像处理、模式识别、计算机视觉、图像理解等学科中的一些方法为部分基础技术,多种技术的合成。是 、与传统的信息检索相比,基于内容的检索有如下特点: f从媒体内容中提取信息线索。基于内容的检索突
破了传统的基 1 )于关键词检索的局限,直接对图像、频、视音频进行分析,取特征,抽使得检索更加媒体对象。 f1 2提取特征的方法多种多样。以图像的提取为例,可以提取形状特征、颜色特征、轮廓特征等。 f) 3人机交互进行。一般地人类对于特征比较敏感,能迅速分辨出目 标的轮廓、音乐的旋律等,但对于大量的对象,一方面难以记住这些特征,另一方面人工从大量数据中查找目标效率非常低。因此,使用基于内容检索的系统时,与计算机相互配合,人进行启发式检索是一种有效 一 .. .——
途径。
(基于内容的检索是一种近似匹配。 4 )在检索过程中,采用逐步求精的方法,每一层的中间结果是一个集合,不断减小集合的范围,直到定位到目标。 基于内容的检索是一个逐步求精的过程,也是一种不断调整特征, 重新匹配的循环过程: ( 1 )从媒体内容中提取信息线索。基于内容的检索直接对图像、视频、音频内容进行分析,抽取特征和语义,利用这些内容特征进行索引, 并进行检索。 (相似性匹配, 2 )将查询特征与特征库中的资料按照一定的匹配算法进行形似匹配,满足一定相似性的一组候选结果按相似度大小排列放回给用户。 () 3特征调整。对系统返回的查询结果,用户可选择满意结果或从中选择一个示例,经特征调整,形成新的查询。 () 4逐步缩小检索范围,到用户满意。直 以下介绍两个基于内容的检索技术: 基于内容的图像检索技术基于内容的图像检索技术是指除了利用传统的数据库对图像描述的文字信息进行检索外,还利用图形的颜色、纹理、形状等进行检索。可以用一定的算法提取图库中图像的颜色、纹理形状等特征,检索时,用户提供一个样例图像,系统提取样例图像的特征,然后同数据库中的所有图像的特征进行比较,并将与样例特征相似的图像返回给用户。图像存储与检索大致分为存储和检索两部分。存储部分即使用扫描仪等装置将图像等输入计算机,进行图像分析,提取有关媒体特征,实现图并像及特征的存储,形成图像数据库。检索部分即,将要查询的图像使用扫描仪输入计算机,进行图像分析并提取特征,然后利用这些特征与图像数据库中媒体特征进行相似性匹配,最后输出符合条件的图像。基于内容的图像检
索,常用的检索内容包括:颜色、纹理、形状等特征。 1于颜色特征的检索 .基颜色是图像最重要的特征之一,现已经成为基于内容检索的首要特征,用颜色特征进行图像检索要解决三个关键问题:颜色的表示、颜色特征的提取和颜色的相似度量。颜色特征的提取与检索通常采用颜色直方图描述。颜色直方图的横轴表示颜色等级,表示在某一个颜纵轴色等级上具有该颜色的象素在整幅图像中所占的比例。检索时,将实例图像直方图与图形数据库图像直方图进行相似性匹配,依据相似性公式进行计算。该方法适用于图像的粗略查询。另外一种颜色特征描述与检索方法是颜色对比方法。颜色对比方法借助图像子块之间颜色的邻接关系通过颜色进行组对建模,如果两副图像具有相同的颜色对,那么这两副图像是相似的。颜色对比法适用于较细致的基于颜色特征的图 像检索。 2基于纹理特征的检索 .作为图像的一个重要特征,纹理也是基于内容的图像检索的一个主要途径。纹理是图像局部不规则,而整体有规律的特征,纹理包括粗糙性、规则性、线条相似性、凹凸性、向性和对比度等,方这些特征都可作为检索项。纹理特征可使用特征统计方法和结构方法进行分析。 () 1特征统计方法用于分析木纹、沙地、草坪等细致而不规则的物体,并根据关于像素间灰度的统计性质对纹理规定出特征及参数间的关系。 (结构方法 2 )适用于象布料的印刷图案或砖瓦等一类元素组成的纹理及其排列比较规则的图案,然后根据纹理基本及其排列规则来描述纹理的结构及特征。由于纹理难以描述,因此对纹理的检索一般采用示例查询方法,另外,为缩小查找纹理的范围,纹理颜色也作为一个检索特征,通过对纹理颜色的定性描述,把检索空间缩小到某个颜色范围,然后再以示例查询方法为基础,整粗糙度、向性和对比度三个特征值,调方逐步逼近要检索的目标。 3基于形状相似性的检索 .形状特征主要有区域、主轴方向、偏心率、圆形率等,用户可以选择某一或多种形状特征,与图像进行匹配检索。对形状分析的基础是图像的边缘提取。边缘是图像分割的重要依据,图像边缘提取的好坏直接影响到形状的提取。基于形状的检索更多地用于当用户粗略地画出一个轮廓进行检索的情况。基于形状特征的检索方法 (
下转第 2 7 ) 3页
23 -— 6. -—

多媒体数据库中基于内容的检索技术_专业资料。本文主要讨论了在多媒体数据库的检索技术中,围绕图像、视频、音频等多媒体信息,实现多媒体数据库基于内容的检索。维普...
34 福 建 电 脑 2008 年第 10期 多媒体数据库中基于内容的检索技术叶福军( 浙江传媒学院动画系 浙江 杭州 310018)摘要】 本文主要讨论了在多媒体数据库的...
基于内容的多媒体检索技术_理学_高等教育_教育专区。搜索引擎参考资料科技...媒体库包含多媒体数据, 如文本, 图像, 音频, 视频等; 特征库包含用户输入的...
第十二章 多媒体数据库及基于内容检索多媒体技术 多媒体技术 多媒体技术 第十二章 多媒体数据库及基于内容检索 12.1多媒体数据的管理问题 12.2多媒体数据库体系...
资源的组织与管理成为数字图书馆发展的一个关键性问题,而多媒体信息检索技术也就成为数字图书馆中的核心技术,因而在数字图书馆中引入基于内容的多媒体检索技术成为了...
基于内容的多媒体检索技术摘要: 基于内容检索是多媒体研究中的新兴热点, 会逐渐...媒体库包含多媒体数据,如文本、图像、音频、视频等;特征库包含用户输入 的特征...
介绍基于内容的检索技术新的发展动向和 相关技术特点.特别是从网络上多媒体数据库的角度对基于内容的检索技术结构特点进行 分析,并结合MPEG4标准做初步讨论。 关键词...
多媒体技术教程多媒体技术教程隐藏>> 高等学校21世纪教材《多媒体技术教程》 第九章多媒体数据库 及基于内容检索 人民邮电出版社 国防科学技术大学 版权所有 高等学校...
今日启明星 基于内容的多媒体和跨媒体信息检索技术复旦大学计算机科学与工程系信息...通常是利用 一组关键字或词组成的查询项来搜 索定位文本数据库中相关文本文 ...
10.1 基于内容检索技术概述多媒体数据库的早期检索方法 ? ? 基于属性的检索(Attribute-Based Retrieval) 基于文本的检索(Text-Based Retrieval) ? 先利用文本标注...
热门文档