CN1311386C - 多媒体信息的元描述符 - Google Patents

多媒体信息的元描述符 Download PDF

Info

Publication number
CN1311386C
CN1311386C CNB008019134A CN00801913A CN1311386C CN 1311386 C CN1311386 C CN 1311386C CN B008019134 A CNB008019134 A CN B008019134A CN 00801913 A CN00801913 A CN 00801913A CN 1311386 C CN1311386 C CN 1311386C
Authority
CN
China
Prior art keywords
descriptor
meta
multimedia
multimedia messages
registration table
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
CNB008019134A
Other languages
English (en)
Other versions
CN1524235A (zh
Inventor
G·韦迪林加姆
M·阿布德尔－莫塔莱布
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips Electronics NV filed Critical Koninklijke Philips Electronics NV
Publication of CN1524235A publication Critical patent/CN1524235A/zh
Application granted granted Critical
Publication of CN1311386C publication Critical patent/CN1311386C/zh
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/48—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S707/00—Data processing: database and file management or data structures
    • Y10S707/99931—Database or file accessing
    • Y10S707/99933—Query processing, i.e. searching
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S707/00—Data processing: database and file management or data structures
    • Y10S707/99931—Database or file accessing
    • Y10S707/99933—Query processing, i.e. searching
    • Y10S707/99935—Query augmenting and refining, e.g. inexact access
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S707/00—Data processing: database and file management or data structures
    • Y10S707/99931—Database or file accessing
    • Y10S707/99933—Query processing, i.e. searching
    • Y10S707/99936—Pattern matching access
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S707/00—Data processing: database and file management or data structures
    • Y10S707/99941—Database schema or data structure
    • Y10S707/99944—Object-oriented database structure
    • Y10S707/99945—Object-oriented database structure processing
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S707/00—Data processing: database and file management or data structures
    • Y10S707/99941—Database schema or data structure
    • Y10S707/99948—Application of database or data structure, e.g. distributed, multimedia, or image

Abstract

除了描述符之外用元描述符执行多媒体信息检索。“描述符”为特征的表示、“特征”为多媒体信息的区别特征，而“元描述符”为关于描述符的信息。元描述符是通过从多媒体信息中抽取(111)描述符，根据描述符群集(112)多媒体信息，赋予(113)各群集元描述符，及将元描述符附加(114)在注册表中的多媒体信息上，而为注册表中的多媒体信息(10、12、14、16、18、20、22、24)生成的。通过使用仿效实例查询形式的查询(131)获取(132)注册表多媒体项的描述符与元描述符，如果以前未曾生成相同类型的查询描述符则生成(133、134)查询描述符，比较(135)注册表多媒体项与查询多媒体项的描述符，及分级与显示(136、137)结果，来查询多媒体注册表。

Description

多媒体信息的元描述符
技术领域
本发明涉及多媒体数据的基于内容的处理，而更具体地涉及建立与使用描述其内容的多媒体数据属性。
背景技术
多媒体信息通常以多种不同形式存在，其中包含诸如数字、模拟(如VCR磁带与录音磁带)、光(如传统影片)、图象(如纸上的画与图)、等。在现代社会中定位这种多媒体信息的能力是重要的，而在诸如教育、新闻业(例如利用他的姓名、话音或面貌搜索某一政客的讲话)、旅游信息、文化服务(如历史博物馆、艺术阵列馆等)、娱乐(如搜索比赛或卡拉OK名称)、调查工作(如人类特征识别与法医学)、地理信息系统、遥感(如地图绘制学、生态学、自然资源管理等)、监视(如交通控制、地面运输、敌对环境中的非破坏性探测等)、生物医学应用、购物(如搜索你所喜爱的服装)、建筑、房地产、内部设计、社交(如约会服务)从及影片、电视与无线电档案等各种专业与消费者应用中尤为重要。不幸的是，现有的系统在搜索多媒体信息中并不彻底、快速或高效；见诸如国际标准化组织ISO/IEC JTC1/SC29/WG11电影与音频编码，MEPG-7应用文献卷8，N2728号，1999年3月，其全文在此作为参考。
支持搜索多媒体信息的重要步骤为以采用现代计算机系统能搜索的方式来表示它。在研制超越简单的波形或基于样本的表示、诸如MPEG-1与MPEG-2等基于压缩的表示、及诸如MPEG-4等基于对象的表示，以及能传递到设备或计算机代码或由其访问的音像信息表示形式中已表示了很大关注。已为描述多媒体内容及抽取表示与查询得出的表示的集合开发了许多专利解决方法，但它们只是繁殖了更多的不同多媒体信息并加重了进行快速与高效的多媒体信息搜索的困难。
“描述符”是特征的表示，“特征”是多媒体信息的区别性特征，不论多媒体信息的介质或技术，也不论如何存储、编码、显示与传输该多媒体信息。由于用在不同的专利多媒体信息检索中的描述符不一定兼容，对建立支持制作、交换、检索与/或重复使用多媒体信息的计算系统的操作要求的描述多媒体内容数据的标准表示了关注。实例中包含为图象理解(如监视、智能视觉、智能照相机)、媒体转换(如语音到正文、画面到语音、语音到画面)、与信息检索(用户感兴趣的各种类型的多媒体文献的快速与高效搜索)以及音像内容描述流中的过滤(只接收满足用户的偏爱的多媒体数据项目)设计的计算系统。
从而，存在着对支持这些操作要求以及尚待开发的其它操作要求的描述多媒体内容数据的标准的需求。
发明内容
从而，本发明在具体实施例中实现的目的为改进从注册表中检索多媒体信息的效率。
本发明在具体实施例中实现的另一目的为改进从注册表中检索多媒体信息的速度。
本发明在具体实施例中实现的又另一目的为提供多媒体信息的特征的标准表示。
本发明提供了一种表示多种多媒体信息的方法，包括：获取多个描述符，所述多个描述符分别是所述多媒体信息的多个特征的表示，所述描述符来自预定的一组不同的描述符类型；为多媒体信息项的检索，确定所述多个描述符中每一个的相关性；生成这些描述符的至少一个元描述符，其中所述元描述符包括一组数据元素，每个数据元素指示上述确定的相应描述符的相关性；以及将该元描述符附加在该多媒体信息上。
本发明还提供了一种利用查询多媒体信息项在使用描述符描述的注册表中搜索多媒体信息的方法，包括：获取注册表描述符的元描述符，其中所述元描述符包括一组数据元素，每个数据元素根据为多媒体信息项的检索的所述描述符的一个确定的相关性来指示各个注册表描述符的相对权重；选择查询多媒体信息；根据元描述符从查询多媒体信息项中抽取至少一个查询描述符以获得至少一个查询描述符；将该查询描述符与注册表描述符比较；以及按照比较步骤排定注册表中至少一些多媒体信息的次序。
本发明还提供了一种利用查询多媒体信息项搜索多媒体信息的系统，包括：一个用于存储多媒体信息的注册表，所述注册表中的多媒体信息由多个不同类型的注册表描述符描述，所述描述符是多媒体信息的特征的表示，且来自不同描述符类型的预定组；和一个含有注册表描述符的元描述符的存储器，其中所述元描述符包括一组数据元素，每个数据元素根据为多媒体信息项的检索的所述描述符的一个确定的相关性来指示各个注册表描述符的相对权重；所述系统用于：根据元描述符从查询多媒体信息项中抽取至少一个查询描述符以获得至少一个查询描述符；将该查询描述符与注册表描述符比较；以及按照比较步骤排定注册表中至少一些多媒体信息的次序。
在本发明的各实施例中实现这些与其它目的。
附图说明
图1为注册表中的多媒体数据的各种形式的图形表示。
图2为按照本发明的元描述符生成进程与多媒体查询进程的流程图。
图3为按照本发明的示例关系数据库的记录表。
图4为按照本发明的改进注册表中的多媒体元描述符的进程的流程图。
具体实施方式
图1中示出多媒体数据可存在的各种形式及包含例如图形10、静止图象12、视频14、影片16、音乐18、讲演20、声音22与其它媒体24的多个出现的示例。这多个出现了不同地存储，不同地编码，不同地传输，存在在不同的介质上，或者是用不同技术产生的。多媒体数据可存储在一处或分布在全球上；例如，用户所关注的数字化多媒体可存储在自含的关系或面向对象的数据库中，或在以不同技术实现并存储在分散在全球并只能在因特网上才能访问的不同专用计算机的分开的独立数据库中。当然，用户所关注的非数字多媒体可类似地存储在单一实体控制下的一个集合中，或广泛地散布在不同实体控制下的不同集合中。不论多媒体信息的存在形式及它是如何存储的，为了高效地搜索特定的多媒体数据，用户会希望将多媒体信息的集合看作单一的注册表，如参照数字1所示。
我们已发现除了描述符之外还利用元描述符的多媒体信息检索不仅在标识多媒体信息中高效并且还能标识以多种多样不同方式表示的多媒体信息。“描述符”是特征的表示，“特征”是多媒体信息的区别性特征，而“元描述符”是关于描述符的信息。元描述符不同于元数据但与元数据的一般概念相关，它是嵌入附加信息的著名方法。例如，文献中的元数据可包含文献中的图象的格式，而数据库中的元数据可包含关系中的属性的值限制或统计信息。具体地，多媒体信息项的元描述符标识包含用于标识多媒体信息项的最有用的信息的该多媒体信息项的描述符的部分。元描述符的概念是基于给定的多媒体信息项最有资格知道用什么来描述它最好，及指示这一信息极大地增进基于内容的检索的前提的。有利地，由于元描述符的大小通常较小，元描述符使计算机化搜索多媒体信息能更快地完成，并且由于消除了不大相关的信息而更高效。
虽然许多多媒体检索技术适用于采用元描述符，采用元描述符搜索多媒体信息的较佳技术为情况搜索或仿效实例查询。在示例性图象的仿效实例查询中，指定特定的静止图象作为查询该注册表的基础。查询是由作为人类用户或自动化过程的查询的发动者指定的，或由在检索进程中使用的检索算法指定的。查询是根据在注册表中的多媒体信息的元描述符中指示为重要的一或多种特征构成的。一或多种特征的描述符是从查询多媒体信息中抽取的并与从注册表多媒体信息中的描述符比较以获得类似性测度，将它们用于选择一或多个“匹配的”多媒体信息项。在一些实例中，注册表多媒体信息的元描述符可立即指示明显的及重大的内容不同性，借此避免执行描述符抽取及查询与特定注册表多媒体信息的特征比较的计算。如果用户不是信息检索专家，为了使用简单起见，用在匹配的多媒体信息检索中的一或多种特定特征最好是对用户透明的。
图2为展示用于生成注册表多媒体信息的元描述符及用于执行注册表查询的进程的流程图。虽然元描述符可用于任何类型的多媒体信息，图2中所示的实例是基于静止图象的以便说明。用基本步骤111-114说明生成元描述符的方法110，并用基本步骤131-137说明图1中所示的多媒体注册表的查询方法130。虽然元描述符也可通过由人或半自动的技术的混合物形式化用户输入来生成，元描述符生成方法110为机器学习的不受监视的或自动化的方法。查询方法130除了查询的用户阐述之外最好是自动化的。描述符生成与多媒体信息检索的各方面是众所周知的并在下述各种出版物中描述，其中包含例如Yong Rui、Thomas S.Huang与Shih-Fu Chang的“图象检索：过去、现在与未来”，可视通信与图象表示期刊，10，1-23(1999)；Sharad Mehrotra、Yong Rui、MichaclOrtega-Binderberger与Thrmas S.Huang的“在MARS中的图象上支持基于内容的查询”，IEEE多媒体计算与系统国际会议会报，1997年6月3-6日，Chateau Laurier，Ottawa，Ortario，Canada，1997，632-633页：Sharad Mehrotra、Yong Rui、Kaushik Chakrabarfi、Michael Ortega-Binderberger与Thomas S.Huang的“多媒体分析与检索系统”，第三次信息检索系统国际讨论会会报，Como，Italy，1997年9月25-27日，39-45页；及Patrick M.Kelly、Michael Cannon与Donnld R.Hush的“用图象实例的查询：CANDID方法”，图象与视频数据库III的存储与检索，SPIE卷2420，1995，238-247页，这时通过引用将它们全文结合在此。
元描述符生成方法110中的第一步骤111为从多媒体(“MM”)信息中抽取描述符。描述符抽取算法与软件以及索引算法与软件是本技术中众所周知的，并在上面的出版物中描述了它们的实例。除外任何相关标准施加的限制，可根据需要采用任何一种描述符抽取技术或其组合。通常，从静止图象抽取的描述符例如包含颜色、形状、结构与草图，但在任何一种实例中抽取的特定描述符取决于在自动化过程中所采用的软件，用户在手动过程的动作，或在混合过程中用户与软件的交互作用。自动化过程是有利的因为它们能处理注册表中的大量多媒体信息而无须太多的人类干预。通常在静止图象上操作的自动化过程并不在语义级上操作，即它们并不在这些项中描述系列画像，而是生成整个静止图象的或将该图象分成的多个块的颜色、形状、结构与草图的值。
下一步骤112为根据描述符将多媒体信息群集在一起，虽然如果愿意也可采用其它技术，在上面提到的出版物中描述了其实例。主要，群集是根据施加在描述符上的一定标准将来自大的混合数据集的类似的多媒体信息组合，对于小的相同内容类型信息的注册表不需要群集。一个群集是相似实体的集合，而来自不同群集的实体是不相似的。可以用受控制或不受控制的群集完成元描述符的抽取。给定早先已赋予标记或描述符的群集代表的集合，用受控制的群集抽取元描述符包含根据其特征群集多媒体内容。然后赋予各群集中的图象该群集的代表的标记或描述符。用不受控制的群集抽取元描述符包含根据各描述的特征群集多媒体内容。例如，一个图象集合具有根据它们的颜色特征的第一群集表示及具有根据它们的结构特征的第二群集表示。例如，根据用编程的尺度的各特征的群集的比较来计算群集是如何清楚地定义与小巧的，找出一种或少数特征在描述给定的图象中胜过其它特征。例如，某一图象根据颜色特征可能属于群集组中非常小巧与清楚地定义的群集，但根据结构特征可能属于群集组中的广泛分散与重叠的群集。从而选择颜色特征作为该图象的元描述符，由于它在它们各自的特征空间中比结构特征更好地分类该图象。
数学上，群集是测试空间中的点的聚集，使群集中任何两点之间的距离小于该群集中的任何一点与不在其中的任何一点之间的距离。见诸如Anil K.Jain与Richard C.Dubes的“群集数据算法”Prentice Hall高级参考书系列，19881页。群集分析是将对象分成在特定问题的角度上有意义的子集的过程。借此将这些对象组织成刻化所抽样的总体的特征的高效表示。对象之间的关系是以接近度矩阵表示的，其中行与列对应于对象。如果将这些对象表征为模式、或d维量度空间中的点，接近度可以是点对之间的距离，诸如欧氏距离。通常，接近度矩阵是对群集算法的唯一输入。群集在一起的对象可能是不同物种的植物，数字图象中的象素或不同主题的文档。群集分析在模式识别与图象处理中找到若干应用。群集分析在包含受控制的学习的应用中及在人工智能中的辅助机器学习与知识表示中用于特征选择。
从静止图象抽取的描述符通常是表示空间中的点的集合的多维数字的矢量。在简单的情况中，群集算法比较2D空间中的点的集合中的距离来确定这些点的接近程度。在更高级的算法中，将这一概念扩展到多维空间。为了保证相容性，最好只将群集过程作用在用同一抽取算法处理的多媒体信息上。对于静止图象，群集是基于通常低级特征的相似性的；例如，可将呈现特定颜色与结构的清楚的模式(例如诸如从海滩风景生成的)而带有草图与形状的其它不定结果的某些图象认为是在同一群集中。不受控制的群集算法通常交互式工作，求精它们的结果直到达到用户规定的阈值点为止。
下一步骤113为将元描述符赋予各群集。例如，当只为颜色形成模式时，将100％颜色的元描述符赋予群集。当只为草图形成模式时，这可预期用于单色工程制图，例如，可将100％草图的元描述符赋予群集。对于前面的例子中只为特定的颜色与结构形成清楚的模式的静止图象的特定群集，则将50％颜色与50％结构的元描述符赋予群集。如果希望过程自动化，可用根据来自带多媒体信息的过去的经验的统计信息的直观规则赋予权重。作为替代，如果愿意，可以手动或与人交互作用的半自动方式赋予元描述符。
元描述符可采用对程序员方便的任何形式。在一种特别紧致的形式中，元描述符为二进制矢量X，给定了该多媒体内容类别的固定数目的有序的特征，各位Xi表示特征的相关性(Xi第i特征是相关的)。在静止图象的情况中，适用的矢量为四位矢量，其中二进制1或0分别表示描述多媒体信息的颜式、形状、结构与草图的重要性或无关性。如果在特定静止图象中只有颜色是重要的，适当的元描述符为1000。
能赋予特定权重的一种符号利用加权矢量X，其中给定了该类别的多媒体内容的固定数目的有序的特征，矢量的各元素Xi表示赋予第i特征的权重。如果说颜色与草图都重要但具有不同的权重，这一类型的适当元描述符为“70，0，0，30”，表示颜色具有70％权重而草图具有30％权重。
另一种形式是串符号，它不仅能处理不同权重也能处理不同抽取算法与将静止图象分成多块。此外，串表示允许以后在元描述符中考虑新特征。在串符号中，给定按照预定义的标准符号的一组特征，串中的各字符或字符群表示特征的相关性。例如，考虑四种有效颜色描述符类型的组：(I)RGB颜色空间中整个图象的单一直方图；(2)分成5×5格的RGB颜色空间中的图象的25个直方图，所得出的25个块中的各个用一个直方图表示；(3)YUV彩色空间中的整个图象的直方图；以及(4)分成5×5格的YUV彩色空间中的图象的25个直方图，所得出的25块中的每一个用一个直方图表示。假定这些描述符类型是从1至“n”用数字排序的，n为有效描述符类型的数目，这里为4。例如用第一与第四颜色描述符最佳描述的静止图象的适当的串元描述符为“C214”，其含义为：颜色特征是相关的(C)并且是从预定义的颜色表示的组中用两种(2)颜色得出的，即来自预定义的颜色表示组中的第一与第四(14)颜色表示。串符号特别灵活，不仅允许标识不同的彩色空间(例如RGB与YUV)并且还允许不同地计算各彩色空间(例如，作为一块、10块的组、100块的组、等)。串符号的扩展还能用适当的预定义代码处理不同的抽取算法。
不同形式的元描述符可用于不同的多媒体信息，而在特定形式的元描述符中未提供的任何信息能用默认提供。例如，如果采用默认描述符抽取方法与默认彩色空间，二进制元描述符已经足够。
下一步骤114是根据群集信息将元描述符附加在多媒体信息上。各种不同的“附加”技术是众所周知的并可根据媒体类型与访问它的方式选用，并且在特定的元描述符数据库中可使用不同的附加类型。描述符本身可以存在或不存在，然而如果它们不存在，系统必须知道如何用默认或该元描述符符号中的值计算它们。最好至少将元描述符与它们的附加数据存储在存储器120中，它可以是系统能访问的任何类型的数据库。可将描述符存储在存储器120中或与从其抽取它们的多媒体信息一起存储。多媒体信息本身位于注册表中(图1)，它可以与存储器120中的其它存储空间一样明确或者与因特网一样分散，或甚至分散到包含诸如纸等非电子形式的存储物。
一旦选择了要出现在诸如图象等的元描述符中的特征，如果愿意，元描述符可以允许存在来自预定义的集合中的其它特征。为了减少要测试的特征数，适当时可使用从加标记的训练集合中导出的一组结合规则。例如，特定的注册表可包含不是用草图很好地描述的多媒体信息，因此检索系统不需要使用草图。
抽取期间，如果愿意可组合来自多媒体内容的特征，用较高级语义信息来确定元描述符中的值。例如，当多媒体内容为图象时，将来自图象的特征与来自与该图象关联的文字说明的语义信息组合来确定该图象的元描述符中的值。
图3为使用各种附加技术的关系数据库文件(任何其它类型的数据库同样适用)的简单多媒体信息表。示例性地，该表具有五个字段，多媒体信息号字段MM_INFO_NO、描述符值字段DV、元描述符值字段MDV、多媒体文件源字段MM_SOURCE、及注释字段COMMENT。MM_INFO_NO字段为主键字段。DV与MDV字段为用于包含例如串矢量的字符字段。MM_SOURCE字段为链接到或嵌入诸如数字化文档、图、画面、声音等OLE对象的OLE数据类型。COMMENT字段为摘要数据类型字段。假定将描述符嵌入多媒体信息中或检索系统能从多媒体信息中抽取描述符，如果愿意可从表中省略DV字段。然而，在本地数据库中具有描述符将使检索系统能更快地操作。
用主键MMO1标识的记录包含描述符值DV01与元描述符值MDV01，并用OLE数据类型字段中的链路附加在存储在FILE01中的数字化的静止图象上。用主键MM02标识的记录包含元描述符值MDV02，并附加在用OLE数据类型字段中的链路附加在存储在FILE02中的数字化静止图象上。描述符值是在查询注册表中的多媒体信息的过程中从FILE02的内容中抽取的。用主键MM03标识的记录包含图象中的一块多媒体信息的描述符值DV03与元描述符值MDV03，并用OLE数据类型字段中的链路附加在存储在FHLE03中的数字化静止图象上。用主键MM04标识的记录包含同一图象中的另一块多媒体信息的描述符值DV04与元描述符值MDV04，并用OLE数据类型字段中的链路附加到存储在FILE03中的数字化静止图象上。用主键MM05标识的记录以OLE数据类型字段中的链路附加到存储在FILE05中的数字化静止图象上，这一记录的DV与MDV字段是空的，由于DV与MDV嵌入在链接文件中并能容易地从其读出。周主键MM06标识的记录以OLE数据类型字段中的URL链路附加到存储在可在因特网上访问的另一数据库中的数字化静止图象上。这一记录的DV与MDV字段是空的，由于DV与MDV嵌入在链接的文件中并能从其读出。用主键MM07标识的记录包含元描述符值MDV07，并连接在VCR磁带上，这一记录的DV字段是空的，由于该描述符值嵌入在VCR磁带的垂直消隐间隔中并能从其读出，这一记录的MM_SOURCE字段是空的。除非检索系统从元描述符检测到在查询多媒体与VCR磁带之间存在内容上的明显与重大的不同，必须安装该磁带并必须在查询期间从该VCR磁带读出描述符。用主键MM08标识的记录包含描述符值DV08与元描述符值MDV08，并连接在印在照相纸上及存档在抽屉08中的静止图象上。这一记录的MM_SOURCE字段是空的。
用基本步骤131_137示出诸如图1中所示的多媒体注册表的查询方法130。步骤131为用户用任何传统方法(这里是仿效实例查询)构成查询。在仿效实例查询中，用户选择一多媒体信息项并希望从注册表中找出所有匹配的多媒体信息项。在步骤132中，示例性地从存储器120中检索注册表中的一个多媒体信息项的描述符与元描述符。在描述符的情况中，它们可替代地与该多媒体信息一起存储并因此必须从该多媒体信息检索，或者可能得不到它们而必须根据元描述符中的值重新抽取。如果注册表多媒体信息项的描述符具有未曾早先在查询130中处理过的类型(步骤133为是)，便通过应用抽取方法与由该注册表多媒体信息项的元描述符所指示的权重从该查询多媒体项中抽取对应的描述符(步骤134)。然后在查询描述符与注册表多媒体信息项描述符之间进行比较(步骤135)。在注册表多媒体信息项的元描述符中未给出权重的特征无须为元描述符抽取处理。对数据库中所有群集重复这一比较(步骤136为否)，并用本技术中众所周知的适当装置适当地分级来自各群集的最接近的匹配的集合，并将其显示给用户(步骤137)。
图4中示出包含人类专家的形式化用户输入的优化元描述符的技术。为了描述清楚起见，假设简单的静止图象注册表。这些图象通常可用少数类别分类，例如人物、植物、风景与纺织品，并允许用诸如颜色、形状、组织与草图等少数方法的基于内容的检索。数据库中给定的图象最好用一或多种这些特征描述，而用其它特征描述则不良。例如人物最好用形状描述，植物最好用颜色与结构描述，而风景最好只用结构描述。用下述人类输入训练具有这些特征的数据库。在步骤301中，利用例如颜色、形状、结构与草图等所有特征执行元描述符生成进程，图2的步骤112-114说明这一进程。在步骤302中，用例如颜色、形状、结构与草图等所有特征执行多媒体查询进程，图2的步骤131-136说明这一进程。在步骤303中，检索系统分级这些结果并将其显示给人类专家。从最接近的匹配中，用户确定哪种方法最适合查询图象，或如果一种以上方法适合查询图象，用户用适当的标准确定各适用特征的权重。用户还指示要给予该适当特征的相同权重的最接近的匹配的集合中的所有其它图象。在步骤306中，检索系统根据人类专家的输入例如通过赋予特征新的权重更新元描述符的值。可以采用各种迭代学习技术中任何一种。在训练中完全没有考虑过的图象，可赋予其所有特征相等的权重。重复步骤301、302、303与306直到人类专家对结果满意为止，此时优化了元描述符而进程300结束。
虽然特定的标准化方案不是关键性的，当将元描述符包含进描述符、描述符方案与描述符定义语言的标准的系统中时，元描述符是最有效的。描述符是什么及它在多媒体信息检索系统中如何起作用的说明性观点在下述文件中提出：国际标准化组织ISO/IEC JTCI/SC29/WG11动画与声音的编码，MEPG-7技术要求文件卷8，N2727号，1999年3月，及国际标准化组织ISO/IDC JTC1/SC29/WG11动画与声音编码，MEPG-7；上下文、目的与技术路线图，V.11、N2729号，1999年3月，通过引用将它们的全文结合在此。按照这些文件中表达的观点，多媒体信息的搜索是通过比较“描述符”与它们的例示(“描述符值”)执行的，描述符是多媒体信息的“特征”的表示而特征为向某人表明某一事物的多媒体信息的区别性特征。描述符定义特征表示的语法与语义。如果愿意，在需要访问不同的相关要求时，可用若干描述符来表示单一特征。例如，颜色特征的可能描述符有：彩色直方图、频率分量的平均值、运动范围、名称的正文、等。通过“描述方案”的机制组合描述符值来构成“描述”。具体地，描述方案(“DS”)规定其分量之间的关联的结构与语义，其分量可以是描述符与描述方案两者，而描述包含DS(结构)与描述该多媒体数据的描述符值(例示)的集合。描述定义语言(“DDL”)为允许建立新的描述方案与有可能描述符的语言。它还允许扩展与修改现有的描述方案。取自上面提到的MPEG-7技术要求文件V.8的表1(修改成包含草图特征)示例特征与其描述符之间的区别。
表1
  特征   描述符
  特征类别类型   特征   特征标记   数据类型
  空间   对象纹理，对象形状   一组多边形顶点
  时间   对象的轨迹   链码
  客观   对象的颜色   彩色直方图
  对象的形状   一组多边形顶点一组动差
  对象的结构   一组小波系数，对比、粗糙度与方向性的集合
  对象的草图   边组
  音频内容   频率分量平均值
  主观   感情(喜、怒、愁)   一组本征面参数，正文
  风格   正文
  注释   正文
  制作   作者   正文
  出品人   正文
  导演   正文
  组合信息   布景组织   树型图
  概念   事件   正文
  活动   正文，数字值
上面提到的MPEG-7技术要求文件中提出的描述符与描述方案的通用要求是受适当的描述符及它们的元描述符支持的。多种类型特征-适当的描述符与它们的元描述符用下述各种特征支持多媒体描述，诸如：N维时空结构(如音乐小节的持续时间)、客观特征(如酒店中的床位数、对象的颜色、对象的形状、音调、等)、主观特征(如某人如何好、快乐或胖，主题、风格、等)、制作特征(如诸如采集的日期、制作者、导演、表演者、角色、制作公司、制作历史、任何非IPMP制作信息等关于文件建立的信息)、组织信息(如如何组成布景、编辑信息、用户的偏爱、等)、及概念(如事件、活动)。多媒体资料的抽象级-支持在不同的抽象级上描述多媒体文献的分层机制，它提供用户对不同抽象级上的信息的需求，例如从子对象组成对象，逐个序列分析视频中的运动，及视频的曲线结构。交叉模态-支持允许根据视觉描述来检索音频数据及反过来的查询的音、像或其它描述符及它们的元描述符(例如，当查询为Pavarotti的声音的摘录而检索的结果是Pavarotti正在唱歌及Pavarotti出场的电视剪辑)。多种描述-支持同一资料在其制作过程的若干阶段上的多种描述的处理能力，以及应用在同一资料的多份拷贝上的描述。描述方案关联一适当的描述方案表达描述符与它们的元描述符之间的关联以便能将它们用在一种以上的描述方案中。支持以不同的描述方案编码描述符与它们的元描述符之间的等效关联的能力。描述符优先级-描述方案最好支持描述符与它们的元描述符的优先级化以便可以更高效地处理查询。优先极可反映信任度或可靠性级。描述符分层结构-适当的描述方案支持不同描述符与它们的元描述符的分层表示以便在N级描述符补充(N-1)级描述符时可在接连的级中更高效地处理查询。描述符可量测性-适当的描述方案支持用它们的元描述符可量测的描述符以便在接连的描述层中更高效地处理查询。时间范围的描述-支持不同的时间范围的描述符与它们的元描述符的关联，分层地(在全体数据或其时间子集上将描述符与它们的元描述符关联)以及顺序地(在相继的时段上将描述符与它们的元描述符接连地关联)两者。直接数据操作-支持作为直接引用数据的柄工作的描述符与它们的元描述符，以便能操作多媒体资料。基于正文的描述语言-适当的描述符与它们的元描述符指定用在描述中的语言并支持所有自然语言。正文描述中的翻译-适当的正文描述提供包含翻译成若干不同语言的方法，以便传递不同语言中的描述之间的关系。
适当的描述符与它们的元描述符支持上面提到的MPEG-7技术要求文件中所提出的对描述符与描述方案的功能要求。检索有效性-支持多媒体资料的有效检索。检索效率-支持多媒体资料的高效检索。基于相似性的检索-支持允许用与查询的相似性程度排列数据库内容次序的描述.关联的信息-支持其它信息与数据的关联。流送与存储的描述-支持流送的(与内容同步)及非流送的数据描述两者。分布式多媒体数据库-支持分布式数据库中的多媒体数据的同时与透明检索。参照模拟数据-支持参数与描述模拟格式的多媒体文献的能力(例如，提供对VHS磁带中的序列的时间参照)。交互式查询-支持允许交互式查询的机制。链接-支持允许空间与时间上定位源数据的机制，包含对相关信息的链路。相关的信息的优先级化-支持在上面链接条下提到的允许相关信息的优先级化的机制。浏览-支持为了协助用户克服对信息的结构与/或类型的不熟悉性或弄清楚他们的不确定的需要而允许预检信息内容的描述。相关关系-支持描述的分量之间的关系。交互性支持-支持允许规定关于描述的交互性的措施(例如，关于广播事件的电信投票)。知识产权信息-支持包含关于D、DS与描述的版权、许可证与证明信息。
适当的描述符与它们的元描述符支持上面提到的MPEG-7技术要求文件中提出的描述符与描述方案的视觉特定的要求。特征类型-支持允许下述特征(主要涉及查询中使用的信息类型)的视觉描述：颜色、视觉对象、结构、草图、形状、静止与移动图象(如，略图)、容积、空间关系、运动、变形、视觉对象源及其特征(如源对象、源事件、源属性、事件、事件属性、及典型的相关场景与模型(如，MPEG-4SNHC)。使用描述的数据形象化-支持带有提高的形象化方面的能力的多媒体数据描述范围(允许索引的数据的或多或少的粗略的形象化)。视觉数据格式-支持下述视觉数据格式的描述：数字电视与影片，诸如MPEG-1，MPEG-2或MPEG-4；模拟电视与影片；诸如JPEG、寻呼机或其它格式的电子产品中的静止画面；图形，诸如CAD、3D模型、特别是VRML；以及与视频相关的组合数据。尚待定义的其它视觉数据格式的描述也有可能。视觉数据类-支持专门应用于下述数据类的描述：自然视频、静止画面、图形、动画(2-D)、三维模型与组合信息。
适当的描述符与它们的元描述符支持上面的MPEG-7技术要求文件中提出的描述符与描述方案的音频特定的要求。特征类型-音频描述允许下述特征(主要关于查询中使用的信息类型)：频率轮廓(总趋势、旋律轮廓)、音频对象、音色、和声、频率分布、幅度包络、时间结构(包含节奏)、结构内容(典型地语音或歌词)声音逼近(例如通过哼旋律或轰呜声音效果发出声音梗概的声音)、样品声音(典型的用实例查询)、空间结构(可用于多声道源、立体声、5.1-声道、及各具有特定映象的立体声声音)、声源及其特征(如源对象、源事件、源属性、事件、事件属性、与典型的相关场景)、以及模型(如MPEG-4SAOL)。使用描述的数据声音化-支持带有增进的声音化方面的能力的多媒体数据描述范围。听觉数据格式-支持下述听觉数据类型的描述：数据音频(如MPEG-1音频、密致盘)、模拟音频(如乙烯基唱片、磁带介质)、包含通用MIDI与卡拉OK格式的MIDI、基于模型的音频(如MPEG-4的结构化音频管弦乐队语言-SAOL)、以及制作数据。听觉数据类-支持专用于下述听觉数据的子类的描述：声带(自然音频场景)、音乐、原子声音效果(如拍打)、语音、符号音频表示(MIDI、SNHC音频)、以及混合信息(包含效果)。
适当的描述符与它们的元描述符支持上面提到的MPEG-7要求文件中提出的描述符与描述方案的编码要求。描述高效表示-支持数据描述的高效表示。描述抽取-元描述符支持按照若干广泛使用的格式的从未压缩与压缩数据容易地抽取的描述符与描述方案的使用。对信息错误与丢失的坚实性-支持在传输错误的情况中保证系统的优美的表现的机制。
虽然在上面提到的MPEG-7技术要求文件中未提出描述符与描述方案的正文特定的要求，假设正文描述与界面允许查询根据音像描述检索正文数据及反过来，以及对于只有正文的文件的正文描述与包含正文的组合文件的正文描述是相同的，则适当的描述符与它们的元描述符支持多媒体内容包含或参照除了音像信息之外的正文的能力。
虽然在使用元描述符的某些情况中，搜索引擎或过滤器代理(用户方)可能必须知道元描述生成进程所采用的精确特征抽取算法，在其它情况中在描述生成进程中用于特征抽取的特定算法是与无描述生成进程无关的。因此，元描述进程能提供特征抽取中的技术发展并鼓励竞争性开发。
这时提出的本发明及其应用的描述是示例性的而非旨的限制下面的权利要求中所提出的发明范围。这里公开的实施例的改变与修正是可能的，并且对于熟悉本技术的人员，这些实施例的各种元素的实际替代品与等效物是已知的。可以作出这里公开的实施例的这些与其它改变与修正而不脱离下面的权利要求中所提出的发明范围与精神。

Claims (19)

1.一种表示多种多媒体信息(10、12、14、16、18、20、22、24)的方法，包括：
获取多个描述符的步骤(111)，所述多个描述符分别是所述多媒体信息的多个特征的表示，所述描述符来自预定的一组不同的描述符类型；
为多媒体信息项的检索，确定所述多个描述符中每一个的相关性；
生成(113)这些描述符的至少一个元描述符，其中所述元描述符包括一组数据元素，每个数据元素指示上述确定的相应描述符的相关性；以及
将该元描述符附加(114)在该多媒体信息上。
2.权利要求1的方法，其中该多媒体信息集体地具有各种内容类型，所述方法进一步包括生成描述符的群集的步骤(112)，其中：
该元描述符生成步骤包括生成(113)所述群集的元描述符；以及
该元描述符附加步骤包括分别将群集的元描述符附加(114)到用群集中的描述符所描述的多媒体信息项上。
3.权利要求2的方法，其中该元描述符生成步骤包括为各群集生成指示其中的描述符的相关性的各自的数据元素组。
4.权利要求3的方法，其中：
至少一些描述符为属于多媒体内容类别的多媒体信息项的特征的表示，这些特征构成特征的有序集合，其中包含颜色、结构、形状与草图，并且该多媒体内容类别是静止图象；及
该元描述符生成步骤包括为各群集生成指示其中的描述符的相关性的各自的二进制矢量。
5.权利要求3的方法，其中：
至少一些描述符是属于一种多媒体内容类别的多媒体信息项的特征的表示，这些特征构成特征的有序集合，其中包含颜色、结构、形状与草图，以及该多媒体内容类别是静止图象；及
该元描述符生成步骤包括为各群集分别生成指示其中的描述符的各自的权重的权重值群。
6.权利要求3的方法，其中：
至少一些描述符是属于一种多媒体内容类别的多媒体信息项的特征的表示，这些特征构成特征的有序集合，其中包含颜色、结构、形状与草图，并且该多媒体内容类别为静止图象；以及
该元描述符生成步骤包括为各群集生成标识具有预定的表示类型的集合的至少一种相关特征的各自的字符串，及至少这些相关特征之一来自该预定的表示类型的集合。
7.权利要求2的方法，还包括将这些描述符指向多媒体信息。
8.权利要求1的方法，其中：
至少一些描述符是属于一种多媒体内容类别的多媒体信息项的特征的表示，这些特征构成特征的有序集合，其中包含颜色、结构、形状与草图，并且该多媒体内容类别为静止图象；以及
该元描述符生成步骤包括生成指示其中的描述符的相关性的二进制矢量。
9.权利要求1的方法，其中：
至少一些描述符是属于一种多媒体内容类别的多媒体信息项的特征的表示，这些特征构成特征的有序集合，其中包含颜色、结构、形状与草图，并且该多媒体内容类别是静止图象；以及
该元描述符生成步骤包括生成一组指示其中的描述符的权重的权重值。
10.权利要求1的方法，其中：
至少一些描述符是属于一种类别的多媒体内容的多媒体信息项的特征的表示，这些特征构成特征的有序集合，其中包含颜色、结构、形状与草图，并且该多媒体内容类别是静止图象；以及
该元描述符生成步骤包括生成标识具有预定的表示类型的集合的至少一种相关特征及来自该预定的表示类型的集合的至少一种表示类型的字符串。
11.一种利用查询多媒体信息项在使用描述符描述的注册表中搜索多媒体信息(10、12、14、16、18、20、22、24)的方法，包括：
获取注册表描述符的元描述符的步骤(132)，其中所述元描述符包括一组数据元素，每个数据元素根据为多媒体信息项的检索的所述描述符的一个确定的相关性来指示各个注册表描述符的相对权重；
选择(131)查询多媒体信息；
根据元描述符从查询多媒体信息项中抽取(134)至少一个查询描述符以获得至少一个查询描述符；
将该查询描述符与注册表描述符比较；以及
按照比较步骤排定(137)注册表中至少一些多媒体信息的次序。
12.权利要求11中的方法，其中这些注册表描述符是多个不同描述符类型的实例，及其中：
从查询多媒体信息抽取至少一个查询描述符的步骤包括根据元描述符抽取(133、134)多个描述符以获取多个查询描述符，这些查询描述符是描述符类型的各自的实例；以及
该比较步骤包括将查询描述符与具有相同描述符类型的各自的注册表描述符比较(135、136)。
13.权利要求11的方法，其中所述获取元描述符的步骤包括：
从注册表中的多媒体信息获取注册表描述符的步骤(111)；
生成注册表描述符的群集(112)；
生成(113)群集的元描述符，其中所述群集的元描述符包括表示其中注册表描述符的相关性的一组数据元素；
将群集的元描述符附加(114)到群集中各自的多媒体信息上。
14.权利要求13的方法，其中这些注册表描述符是多个不同描述符的实例，及其中：
从查询多媒体信息抽取至少一个查询描述符的步骤包括根据元描述符抽取(133、134)多个描述符以获取多个查询描述符，这些查询描述符是描述符类型的各个的实例；以及
该比较步骤包括将查询描述符与具有相同描述符类型的各自的注册表描述符比较(135、136)。
15.一种利用查询多媒体信息项搜索多媒体信息(10、12、14、16、18、20、22、24)的系统，包括：
一个用于存储多媒体信息的注册表，所述注册表中的多媒体信息由多个不同类型的注册表描述符描述，所述注册表描述符是多媒体信息的特征的表示，且来自不同描述符类型的预定组；和
一个含有注册表描述符的元描述符的存储器，其中所述元描述符包括一组数据元素，每个数据元素根据为多媒体信息项的检索的描述符的一个确定的相关性来指示各个注册表描述符的相对权重；
所述系统用于：
根据元描述符从查询多媒体信息项中抽取(134)至少一个查询描述符以获得至少一个查询描述符；
将该查询描述符与注册表描述符比较(135)；以及
按照比较步骤排定(137)注册表中至少一些多媒体信息的次序。
16.权利要求15的系统，其中：
多媒体内容的类别是静止图象(12)；
这些特征是包括颜色、结构、形状与草图的特征有序集合；以及
这些数据元素是二进制矢量的位。
17.权利要求15的系统，其中：
多媒体内容的类别是静止图象(12)；
这些特征是包括颜色、结构、形状与草图的特征的有序集合；以及
这些数据元素是权重。
18.权利要求15的系统，其中：
多媒体内容的类别是静止图象(12)；
这些特征是包括颜色、结构、形状与草图的特征的有序集合；以及
这些数据元素是一串字符。
19.权利要求18的系统，其中该串包括：
用于标识相关特征的第一字符，该相关特征具有预定的表示类型的集合；
第二字符，用于表示利用来自预定的表示类型的集合的多少表示类型来表示该相关特征；以及
多个第三字符，用于标识来自该预定的表示类型的集合的表示类型的特定类型。
CNB008019134A 1999-07-02 2000-06-29 多媒体信息的元描述符 Expired - Lifetime CN1311386C (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US09/347,214 1999-07-02
US09/347,214 US6411724B1 (en) 1999-07-02 1999-07-02 Using meta-descriptors to represent multimedia information

Publications (2)

Publication Number Publication Date
CN1524235A CN1524235A (zh) 2004-08-25
CN1311386C true CN1311386C (zh) 2007-04-18

Family

ID=23362788

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB008019134A Expired - Lifetime CN1311386C (zh) 1999-07-02 2000-06-29 多媒体信息的元描述符

Country Status (6)

Country Link
US (2) US6411724B1 (zh)
EP (1) EP1395916B1 (zh)
JP (1) JP5340517B2 (zh)
CN (1) CN1311386C (zh)
DE (1) DE60035910T2 (zh)
WO (1) WO2001003002A2 (zh)

Families Citing this family (258)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6886047B2 (en) 1998-11-13 2005-04-26 Jp Morgan Chase Bank System and method for managing information retrievals for integrated digital and analog archives on a global basis
US6564263B1 (en) * 1998-12-04 2003-05-13 International Business Machines Corporation Multimedia content description framework
JP2000222584A (ja) * 1999-01-29 2000-08-11 Toshiba Corp 映像情報記述方法、映像検索方法及び映像検索装置
WO2000045596A1 (fr) * 1999-01-29 2000-08-03 Sony Corporation Procede de description de donnees et unite de traitement de donnees
KR100296967B1 (ko) * 1999-01-30 2001-09-26 구자홍 멀티미디어 스트림의 다단계 요약 세그먼트 정보 스킴 구성 방법 및 구성된 다단계 요약 세그먼트 정보 스킴으로 부터 요약 스트림 발생 방법과 이러한 방법에 의해 제공되는 다단계 요약 스트림의 브라우징/녹화/편집 장치
US7503051B1 (en) * 1999-06-11 2009-03-10 Panasonic Corporation Broadcast data receiving device and method for receiving a plurality of multimedia data
US6745368B1 (en) * 1999-06-11 2004-06-01 Liberate Technologies Methods, apparatus, and systems for storing, retrieving and playing multimedia data
CN1193593C (zh) * 1999-07-06 2005-03-16 皇家菲利浦电子有限公司 自动提取和数据索引方法
KR100741300B1 (ko) * 1999-07-06 2007-07-23 코닌클리케 필립스 일렉트로닉스 엔.브이. 비디오 시퀀스 구조의 자동 추출 방법
US7383504B1 (en) * 1999-08-30 2008-06-03 Mitsubishi Electric Research Laboratories Method for representing and comparing multimedia content according to rank
KR100350792B1 (ko) 1999-09-22 2002-09-09 엘지전자 주식회사 사용자 선호도를 반영한 사용자 프로파일 생성방법과 멀티미디어 데이타 브라우징 방법
US8554932B1 (en) 1999-11-12 2013-10-08 Jpmorgan Chase Bank, N.A. Data exchange management system and method
KR100346264B1 (ko) * 1999-12-02 2002-07-26 엘지전자주식회사 멀티미디어 특징소 정보의 갱신방법과 멀티미디어 특징소 정보 생성방법
US7212972B2 (en) * 1999-12-08 2007-05-01 Ddi Corporation Audio features description method and audio video features description collection construction method
KR20000023961A (ko) * 1999-12-22 2000-05-06 김정태 정보 모델링방법 및 데이터베이스 검색시스템
US7450734B2 (en) * 2000-01-13 2008-11-11 Digimarc Corporation Digital asset management, targeted searching and desktop searching using digital watermarks
KR20010081894A (ko) * 2000-02-18 2001-08-29 구자홍 이종 시스템간의 내용기반 멀티미디어 검색을 가능하게하는 칼라 히스토그램 변환방법, 멀티미디어 검색 방법,데이터 구조 및 멀티미디어 검색 시스템
CN100409234C (zh) * 2000-03-23 2008-08-06 三菱电机株式会社 图像检索配送系统和图像检索配送方法
US6505194B1 (en) * 2000-03-29 2003-01-07 Koninklijke Philips Electronics N.V. Search user interface with enhanced accessibility and ease-of-use features based on visual metaphors
EP1947648B1 (en) * 2000-04-05 2019-05-08 Sony United Kingdom Limited Video processing apparatus and method
US7761438B1 (en) * 2000-04-26 2010-07-20 Mitsubishi Denki Kabushiki Kaisha Method and apparatus for representing and searching for an object using shape
US6650705B1 (en) * 2000-05-26 2003-11-18 Mitsubishi Electric Research Laboratories Inc. Method for encoding and transcoding multiple video objects with variable temporal resolution
WO2001090840A2 (en) * 2000-05-26 2001-11-29 Tzunami, Inc. Method and system for organizing objects according to information categories
US6760724B1 (en) * 2000-07-24 2004-07-06 Lucent Technologies Inc. Approximate query processing using wavelets
US6686838B1 (en) 2000-09-06 2004-02-03 Xanboo Inc. Systems and methods for the automatic registration of devices
US7734724B2 (en) * 2000-09-06 2010-06-08 Xanboo Inc. Automated upload of content based on captured event
KR100439371B1 (ko) * 2000-09-08 2004-07-09 엘지전자 주식회사 히스토그램을 이용한 멀티미디어 검색방법
US20020120652A1 (en) * 2000-10-20 2002-08-29 Rising Hawley K. Two-stage mapping for application specific markup and binary encoding
US7398275B2 (en) * 2000-10-20 2008-07-08 Sony Corporation Efficient binary coding scheme for multimedia content descriptions
US8564661B2 (en) 2000-10-24 2013-10-22 Objectvideo, Inc. Video analytic rule detection system and method
BR0114879A (pt) 2000-10-24 2003-08-12 Thomson Licensing Sa Método de dimensionar uma página de executor de meios embutido
US9892606B2 (en) * 2001-11-15 2018-02-13 Avigilon Fortress Corporation Video surveillance system employing video primitives
US8711217B2 (en) 2000-10-24 2014-04-29 Objectvideo, Inc. Video surveillance system employing video primitives
US8122236B2 (en) 2001-10-24 2012-02-21 Aol Inc. Method of disseminating advertisements using an embedded media player page
US7868912B2 (en) * 2000-10-24 2011-01-11 Objectvideo, Inc. Video surveillance system employing video primitives
US20050146605A1 (en) * 2000-10-24 2005-07-07 Lipton Alan J. Video surveillance system employing video primitives
US7146349B2 (en) * 2000-11-06 2006-12-05 International Business Machines Corporation Network for describing multimedia information
US7593954B1 (en) * 2000-11-15 2009-09-22 Traction Software, Inc. System and method for cross-referencing, searching and displaying entries in a document publishing system
US7925967B2 (en) * 2000-11-21 2011-04-12 Aol Inc. Metadata quality improvement
US6629104B1 (en) * 2000-11-22 2003-09-30 Eastman Kodak Company Method for adding personalized metadata to a collection of digital images
KR100422710B1 (ko) * 2000-11-25 2004-03-12 엘지전자 주식회사 다중 가중치 구조를 사용한 멀티미디어 검색 방법
AU2002230501A1 (en) * 2000-11-27 2002-06-03 Intellocity Usa, Inc. System and method for providing an omnimedia package
KR100422805B1 (ko) * 2000-12-26 2004-03-12 한국전자통신연구원 자연어를 이용한 이미지 데이터 색상 및 형태 검색 장치및 그 방법
US7240285B2 (en) * 2001-03-01 2007-07-03 Sony Corporation Encoding and distribution of schema for multimedia content descriptions
US7689901B2 (en) * 2001-03-01 2010-03-30 Sony Corporation Multiple updates to content descriptions using a single command
US7197160B2 (en) 2001-03-05 2007-03-27 Digimarc Corporation Geographic information systems using digital watermarks
US7353236B2 (en) 2001-03-21 2008-04-01 Nokia Corporation Archive system and data maintenance method
US7254570B2 (en) 2001-03-21 2007-08-07 Nokia Corporation Query resolution system and service
GB0107138D0 (en) * 2001-03-21 2001-05-09 Nokia Oy Ab Management and distribution of electric media
US7424175B2 (en) 2001-03-23 2008-09-09 Objectvideo, Inc. Video segmentation using statistical pixel modeling
US7191190B2 (en) * 2001-03-27 2007-03-13 Microsoft Corporation Meta data management for media content objects
US7610205B2 (en) 2002-02-12 2009-10-27 Dolby Laboratories Licensing Corporation High quality time-scaling and pitch-scaling of audio signals
US7711123B2 (en) 2001-04-13 2010-05-04 Dolby Laboratories Licensing Corporation Segmenting audio signals into auditory events
US7962482B2 (en) 2001-05-16 2011-06-14 Pandora Media, Inc. Methods and systems for utilizing contextual feedback to generate and modify playlists
US7734997B2 (en) * 2001-05-29 2010-06-08 Sony Corporation Transport hint table for synchronizing delivery time between multimedia content and multimedia content descriptions
US20020184196A1 (en) * 2001-06-04 2002-12-05 Lehmeier Michelle R. System and method for combining voice annotation and recognition search criteria with traditional search criteria into metadata
US7475416B2 (en) * 2001-06-13 2009-01-06 Microsoft Corporation System and methods for searching interactive broadcast data
FR2826539B1 (fr) * 2001-06-22 2003-09-26 Thomson Multimedia Sa Procede d'identification de fichier et dispositif pour la mise en oeuvre du procede
JP4202622B2 (ja) * 2001-07-13 2008-12-24 富士通株式会社 コンテンツ配信方法、コンテンツ情報処理装置、および、プログラム
EP1423803A1 (en) * 2001-08-28 2004-06-02 Koninklijke Philips Electronics N.V. Automatic question formulation from a user selection in multimedia content
US6857030B2 (en) * 2001-09-12 2005-02-15 Sun Microsystems, Inc. Methods, system and article of manufacture for pre-fetching descriptors
US7907149B1 (en) * 2001-09-24 2011-03-15 Wolfgang Daum System and method for connecting people
US20040064500A1 (en) * 2001-11-20 2004-04-01 Kolar Jennifer Lynn System and method for unified extraction of media objects
US7925139B2 (en) * 2001-12-03 2011-04-12 Sony Corporation Distributed semantic descriptions of audiovisual content
US20030110297A1 (en) * 2001-12-12 2003-06-12 Tabatabai Ali J. Transforming multimedia data for delivery to multiple heterogeneous devices
US7287222B2 (en) * 2002-01-31 2007-10-23 Canon Kabushiki Kaisha Information processing apparatus and method that determines effectiveness of metadata for editing information content
US20030154071A1 (en) * 2002-02-11 2003-08-14 Shreve Gregory M. Process for the document management and computer-assisted translation of documents utilizing document corpora constructed by intelligent agents
US7664830B2 (en) * 2002-03-29 2010-02-16 Sony Corporation Method and system for utilizing embedded MPEG-7 content descriptions
JP4255239B2 (ja) * 2002-03-29 2009-04-15 富士通株式会社 文書検索方法
US7149755B2 (en) * 2002-07-29 2006-12-12 Hewlett-Packard Development Company, Lp. Presenting a collection of media objects
US7305133B2 (en) * 2002-11-01 2007-12-04 Mitsubishi Electric Research Laboratories, Inc. Pattern discovery in video content using association rules on multiple sets of labels
US7120626B2 (en) * 2002-11-15 2006-10-10 Koninklijke Philips Electronics N.V. Content retrieval based on semantic association
US20040128342A1 (en) * 2002-12-31 2004-07-01 International Business Machines Corporation System and method for providing multi-modal interactive streaming media applications
US7131059B2 (en) 2002-12-31 2006-10-31 Hewlett-Packard Development Company, L.P. Scalably presenting a collection of media objects
US7197698B2 (en) * 2003-01-21 2007-03-27 Canon Kabushiki Kaisha Information processing method and apparatus
US8478645B2 (en) * 2003-04-07 2013-07-02 Sevenecho, Llc Method, system and software for digital media narrative personalization
US8392834B2 (en) * 2003-04-09 2013-03-05 Hewlett-Packard Development Company, L.P. Systems and methods of authoring a multimedia file
JP4336950B2 (ja) * 2003-05-15 2009-09-30 富士ゼロックス株式会社 画像処理装置
US7610306B2 (en) * 2003-06-30 2009-10-27 International Business Machines Corporation Multi-modal fusion in content-based retrieval
US7643684B2 (en) * 2003-07-15 2010-01-05 Samsung Electronics Co., Ltd. Apparatus for and method of constructing multi-view face database, and apparatus for and method of generating multi-view face descriptor
US20050018057A1 (en) * 2003-07-25 2005-01-27 Bronstein Kenneth H. Image capture device loaded with image metadata
EP1503299A1 (en) * 2003-07-31 2005-02-02 Alcatel A method, a hypermedia communication system, a hypermedia server, a hypermedia client, and computer software products for accessing, distributing, and presenting hypermedia documents
US20050038814A1 (en) * 2003-08-13 2005-02-17 International Business Machines Corporation Method, apparatus, and program for cross-linking information sources using multiple modalities
US8600963B2 (en) * 2003-08-14 2013-12-03 Google Inc. System and method for presenting multiple sets of search results for a single query
US8031979B2 (en) * 2003-09-25 2011-10-04 Canon Research Centre France Method and device for verifying multimedia entities and in particular for verifying digital images
US7313574B2 (en) * 2003-10-02 2007-12-25 Nokia Corporation Method for clustering and querying media items
US20050091232A1 (en) * 2003-10-23 2005-04-28 Xerox Corporation Methods and systems for attaching keywords to images based on database statistics
JP4594701B2 (ja) * 2003-11-14 2010-12-08 パイオニア株式会社 情報検索装置、情報検索方法及び情報検索用プログラム並びに情報記録媒体
US8990255B2 (en) * 2003-11-17 2015-03-24 Nokia Corporation Time bar navigation in a media diary application
US20050108234A1 (en) * 2003-11-17 2005-05-19 Nokia Corporation Speed browsing of media items in a media diary application
US20050108643A1 (en) * 2003-11-17 2005-05-19 Nokia Corporation Topographic presentation of media files in a media diary application
US20050105374A1 (en) * 2003-11-17 2005-05-19 Nokia Corporation Media diary application for use with digital device
US8010579B2 (en) 2003-11-17 2011-08-30 Nokia Corporation Bookmarking and annotating in a media diary application
US7109848B2 (en) * 2003-11-17 2006-09-19 Nokia Corporation Applications and methods for providing a reminder or an alert to a digital media capture device
US7774718B2 (en) * 2003-12-17 2010-08-10 Nokia Corporation Time handle in a media diary application for accessing media files
US20050187943A1 (en) * 2004-02-09 2005-08-25 Nokia Corporation Representation of media items in a media file management application for use with a digital device
EP1770543A3 (en) * 2004-05-03 2007-05-09 LG Electronics Inc. Method and apparatus for managing bookmark information for content stored in a network media server
US8131674B2 (en) 2004-06-25 2012-03-06 Apple Inc. Methods and systems for managing data
US20050289107A1 (en) * 2004-06-25 2005-12-29 Yan Arrouye Methods and systems for managing data
US20050286428A1 (en) * 2004-06-28 2005-12-29 Nokia Corporation Timeline management of network communicated information
US8332401B2 (en) * 2004-10-01 2012-12-11 Ricoh Co., Ltd Method and system for position-based image matching in a mixed media environment
US8825682B2 (en) 2006-07-31 2014-09-02 Ricoh Co., Ltd. Architecture for mixed media reality retrieval of locations and registration of images
US8510283B2 (en) * 2006-07-31 2013-08-13 Ricoh Co., Ltd. Automatic adaption of an image recognition system to image capture devices
US7702673B2 (en) 2004-10-01 2010-04-20 Ricoh Co., Ltd. System and methods for creation and use of a mixed media environment
US9530050B1 (en) 2007-07-11 2016-12-27 Ricoh Co., Ltd. Document annotation sharing
US8156116B2 (en) 2006-07-31 2012-04-10 Ricoh Co., Ltd Dynamic presentation of targeted information in a mixed media reality recognition system
US7970171B2 (en) 2007-01-18 2011-06-28 Ricoh Co., Ltd. Synthetic image and video generation from ground truth data
US8856108B2 (en) 2006-07-31 2014-10-07 Ricoh Co., Ltd. Combining results of image retrieval processes
US8868555B2 (en) 2006-07-31 2014-10-21 Ricoh Co., Ltd. Computation of a recongnizability score (quality predictor) for image retrieval
US8521737B2 (en) 2004-10-01 2013-08-27 Ricoh Co., Ltd. Method and system for multi-tier image matching in a mixed media environment
US8184155B2 (en) 2007-07-11 2012-05-22 Ricoh Co. Ltd. Recognition and tracking using invisible junctions
US8156427B2 (en) 2005-08-23 2012-04-10 Ricoh Co. Ltd. User interface for mixed media reality
US8838591B2 (en) 2005-08-23 2014-09-16 Ricoh Co., Ltd. Embedding hot spots in electronic documents
US8335789B2 (en) 2004-10-01 2012-12-18 Ricoh Co., Ltd. Method and system for document fingerprint matching in a mixed media environment
US9373029B2 (en) 2007-07-11 2016-06-21 Ricoh Co., Ltd. Invisible junction feature recognition for document security or annotation
US8176054B2 (en) 2007-07-12 2012-05-08 Ricoh Co. Ltd Retrieving electronic documents by converting them to synthetic text
US9171202B2 (en) 2005-08-23 2015-10-27 Ricoh Co., Ltd. Data organization and access for mixed media document system
US8369655B2 (en) 2006-07-31 2013-02-05 Ricoh Co., Ltd. Mixed media reality recognition using multiple specialized indexes
US8195659B2 (en) 2005-08-23 2012-06-05 Ricoh Co. Ltd. Integration and use of mixed media documents
US8156115B1 (en) 2007-07-11 2012-04-10 Ricoh Co. Ltd. Document-based networking with mixed media reality
US8949287B2 (en) 2005-08-23 2015-02-03 Ricoh Co., Ltd. Embedding hot spots in imaged documents
US9405751B2 (en) 2005-08-23 2016-08-02 Ricoh Co., Ltd. Database for mixed media document system
US9384619B2 (en) 2006-07-31 2016-07-05 Ricoh Co., Ltd. Searching media content for objects specified using identifiers
US8276088B2 (en) 2007-07-11 2012-09-25 Ricoh Co., Ltd. User interface for three-dimensional navigation
US8600989B2 (en) 2004-10-01 2013-12-03 Ricoh Co., Ltd. Method and system for image matching in a mixed media environment
DE102004049227B4 (de) * 2004-10-08 2007-03-01 Yxlon International Security Gmbh Verfahren zur Bestimmung der Lageänderung eines Objekts in einem Gepäckstück
FR2878116B1 (fr) * 2004-11-15 2007-05-18 France Telecom Procede et systeme d'indexation d'un flux de donnees multimedia et procede et systeme de traitement correspondants
GB0427642D0 (en) * 2004-12-16 2005-01-19 Renovo Ltd Information collection system
US20060184553A1 (en) * 2005-02-15 2006-08-17 Matsushita Electric Industrial Co., Ltd. Distributed MPEG-7 based surveillance servers for digital surveillance applications
US8570586B2 (en) * 2005-05-02 2013-10-29 Digimarc Corporation Active images through digital watermarking
US20070122000A1 (en) * 2005-11-29 2007-05-31 Objectvideo, Inc. Detection of stationary objects in video
US20060287994A1 (en) * 2005-06-15 2006-12-21 George David A Method and apparatus for creating searches in peer-to-peer networks
JP4752623B2 (ja) 2005-06-16 2011-08-17 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
US20070011718A1 (en) * 2005-07-08 2007-01-11 Nee Patrick W Jr Efficient customized media creation through pre-encoding of common elements
EP1758398A1 (en) * 2005-08-23 2007-02-28 Syneola SA Multilevel semiotic and fuzzy logic user and metadata interface means for interactive multimedia system having cognitive adaptive capability
JP4633595B2 (ja) * 2005-09-30 2011-02-16 富士フイルム株式会社 動画生成装置、動画生成方法、及びプログラム
US10380623B2 (en) 2005-10-26 2019-08-13 Cortica, Ltd. System and method for generating an advertisement effectiveness performance score
US10380164B2 (en) 2005-10-26 2019-08-13 Cortica, Ltd. System and method for using on-image gestures and multimedia content elements as search queries
US9286623B2 (en) 2005-10-26 2016-03-15 Cortica, Ltd. Method for determining an area within a multimedia content element over which an advertisement can be displayed
US11620327B2 (en) 2005-10-26 2023-04-04 Cortica Ltd System and method for determining a contextual insight and generating an interface with recommendations based thereon
US10949773B2 (en) 2005-10-26 2021-03-16 Cortica, Ltd. System and methods thereof for recommending tags for multimedia content elements based on context
US8818916B2 (en) 2005-10-26 2014-08-26 Cortica, Ltd. System and method for linking multimedia data elements to web pages
US9235557B2 (en) 2005-10-26 2016-01-12 Cortica, Ltd. System and method thereof for dynamically associating a link to an information resource with a multimedia content displayed in a web-page
US11003706B2 (en) 2005-10-26 2021-05-11 Cortica Ltd System and methods for determining access permissions on personalized clusters of multimedia content elements
US9087049B2 (en) 2005-10-26 2015-07-21 Cortica, Ltd. System and method for context translation of natural language
US10193990B2 (en) 2005-10-26 2019-01-29 Cortica Ltd. System and method for creating user profiles based on multimedia content
US11604847B2 (en) 2005-10-26 2023-03-14 Cortica Ltd. System and method for overlaying content on a multimedia content element based on user interest
US11216498B2 (en) 2005-10-26 2022-01-04 Cortica, Ltd. System and method for generating signatures to three-dimensional multimedia data elements
US9477658B2 (en) 2005-10-26 2016-10-25 Cortica, Ltd. Systems and method for speech to speech translation using cores of a natural liquid architecture system
US10691642B2 (en) 2005-10-26 2020-06-23 Cortica Ltd System and method for enriching a concept database with homogenous concepts
US10380267B2 (en) 2005-10-26 2019-08-13 Cortica, Ltd. System and method for tagging multimedia content elements
US10585934B2 (en) 2005-10-26 2020-03-10 Cortica Ltd. Method and system for populating a concept database with respect to user identifiers
US9646005B2 (en) 2005-10-26 2017-05-09 Cortica, Ltd. System and method for creating a database of multimedia content elements assigned to users
US9218606B2 (en) 2005-10-26 2015-12-22 Cortica, Ltd. System and method for brand monitoring and trend analysis based on deep-content-classification
US9747420B2 (en) 2005-10-26 2017-08-29 Cortica, Ltd. System and method for diagnosing a patient based on an analysis of multimedia content
US11361014B2 (en) 2005-10-26 2022-06-14 Cortica Ltd. System and method for completing a user profile
US10776585B2 (en) 2005-10-26 2020-09-15 Cortica, Ltd. System and method for recognizing characters in multimedia content
US10698939B2 (en) 2005-10-26 2020-06-30 Cortica Ltd System and method for customizing images
US10191976B2 (en) 2005-10-26 2019-01-29 Cortica, Ltd. System and method of detecting common patterns within unstructured data elements retrieved from big data sources
US8312031B2 (en) 2005-10-26 2012-11-13 Cortica Ltd. System and method for generation of complex signatures for multimedia data content
US9330189B2 (en) 2005-10-26 2016-05-03 Cortica, Ltd. System and method for capturing a multimedia content item by a mobile device and matching sequentially relevant content to the multimedia content item
US10387914B2 (en) 2005-10-26 2019-08-20 Cortica, Ltd. Method for identification of multimedia content elements and adding advertising content respective thereof
US10607355B2 (en) 2005-10-26 2020-03-31 Cortica, Ltd. Method and system for determining the dimensions of an object shown in a multimedia content item
US9489431B2 (en) 2005-10-26 2016-11-08 Cortica, Ltd. System and method for distributed search-by-content
US8266185B2 (en) 2005-10-26 2012-09-11 Cortica Ltd. System and methods thereof for generation of searchable structures respective of multimedia data content
US9953032B2 (en) 2005-10-26 2018-04-24 Cortica, Ltd. System and method for characterization of multimedia content signals using cores of a natural liquid architecture system
US11386139B2 (en) 2005-10-26 2022-07-12 Cortica Ltd. System and method for generating analytics for entities depicted in multimedia content
US9396435B2 (en) 2005-10-26 2016-07-19 Cortica, Ltd. System and method for identification of deviations from periodic behavior patterns in multimedia content
US10621988B2 (en) 2005-10-26 2020-04-14 Cortica Ltd System and method for speech to text translation using cores of a natural liquid architecture system
US10180942B2 (en) 2005-10-26 2019-01-15 Cortica Ltd. System and method for generation of concept structures based on sub-concepts
US10635640B2 (en) 2005-10-26 2020-04-28 Cortica, Ltd. System and method for enriching a concept database
US8326775B2 (en) 2005-10-26 2012-12-04 Cortica Ltd. Signature generation for multimedia deep-content-classification by a large-scale matching system and method thereof
US10614626B2 (en) 2005-10-26 2020-04-07 Cortica Ltd. System and method for providing augmented reality challenges
US10848590B2 (en) 2005-10-26 2020-11-24 Cortica Ltd System and method for determining a contextual insight and providing recommendations based thereon
US9558449B2 (en) 2005-10-26 2017-01-31 Cortica, Ltd. System and method for identifying a target area in a multimedia content element
US11019161B2 (en) 2005-10-26 2021-05-25 Cortica, Ltd. System and method for profiling users interest based on multimedia content analysis
US10360253B2 (en) 2005-10-26 2019-07-23 Cortica, Ltd. Systems and methods for generation of searchable structures respective of multimedia data content
US11403336B2 (en) 2005-10-26 2022-08-02 Cortica Ltd. System and method for removing contextually identical multimedia content elements
US10372746B2 (en) 2005-10-26 2019-08-06 Cortica, Ltd. System and method for searching applications using multimedia content elements
US9191626B2 (en) 2005-10-26 2015-11-17 Cortica, Ltd. System and methods thereof for visual analysis of an image on a web-page and matching an advertisement thereto
US10535192B2 (en) 2005-10-26 2020-01-14 Cortica Ltd. System and method for generating a customized augmented reality environment to a user
US9767143B2 (en) 2005-10-26 2017-09-19 Cortica, Ltd. System and method for caching of concept structures
US9384196B2 (en) 2005-10-26 2016-07-05 Cortica, Ltd. Signature generation for multimedia deep-content-classification by a large-scale matching system and method thereof
US9466068B2 (en) 2005-10-26 2016-10-11 Cortica, Ltd. System and method for determining a pupillary response to a multimedia data element
US9639532B2 (en) 2005-10-26 2017-05-02 Cortica, Ltd. Context-based analysis of multimedia content items using signatures of multimedia elements and matching concepts
US9372940B2 (en) 2005-10-26 2016-06-21 Cortica, Ltd. Apparatus and method for determining user attention using a deep-content-classification (DCC) system
US11032017B2 (en) 2005-10-26 2021-06-08 Cortica, Ltd. System and method for identifying the context of multimedia content elements
US9031999B2 (en) 2005-10-26 2015-05-12 Cortica, Ltd. System and methods for generation of a concept based database
US10742340B2 (en) 2005-10-26 2020-08-11 Cortica Ltd. System and method for identifying the context of multimedia content elements displayed in a web-page and providing contextual filters respective thereto
WO2007066901A1 (en) * 2005-12-09 2007-06-14 Lg Electronics Inc. Method for managing and processing information of an object for presentation of multiple sources and apparatus for conducting said method
US7617224B2 (en) * 2006-01-30 2009-11-10 International Business Machines Corporation System and method for managing hierarchically related software components
US7478093B2 (en) * 2006-01-30 2009-01-13 International Business Machines Corporation Design of self-adapting meta descriptors based on real use scenarios and experiences
EP1984853A1 (en) * 2006-02-10 2008-10-29 Koninklijke Philips Electronics N.V. Method and apparatus for generating metadata
JP2009533778A (ja) 2006-04-17 2009-09-17 オブジェクトビデオ インコーポレイテッド 統計的画素モデリングを使った映像セグメント化
US8099086B2 (en) * 2006-06-21 2012-01-17 Ektimisi Semiotics Holdings, Llc System and method for providing a descriptor for a location to a recipient
US8750892B2 (en) * 2006-06-21 2014-06-10 Scenera Mobile Technologies, Llc System and method for naming a location based on user-specific information
JP4453684B2 (ja) * 2006-06-30 2010-04-21 ソニー株式会社 監視システム、監視装置、検索方法及び検索プログラム
US9633356B2 (en) 2006-07-20 2017-04-25 Aol Inc. Targeted advertising for playlists based upon search queries
US8201076B2 (en) 2006-07-31 2012-06-12 Ricoh Co., Ltd. Capturing symbolic information from documents upon printing
US9063952B2 (en) 2006-07-31 2015-06-23 Ricoh Co., Ltd. Mixed media reality recognition with image tracking
US8489987B2 (en) 2006-07-31 2013-07-16 Ricoh Co., Ltd. Monitoring and analyzing creation and usage of visual content using image and hotspot interaction
US8676810B2 (en) 2006-07-31 2014-03-18 Ricoh Co., Ltd. Multiple index mixed media reality recognition using unequal priority indexes
US9020966B2 (en) 2006-07-31 2015-04-28 Ricoh Co., Ltd. Client device for interacting with a mixed media reality recognition system
US9176984B2 (en) 2006-07-31 2015-11-03 Ricoh Co., Ltd Mixed media reality retrieval of differentially-weighted links
US8407213B2 (en) 2006-08-31 2013-03-26 Ektimisi Semiotics Holdings, Llc System and method for identifying a location of interest to be named by a user
US8050923B2 (en) * 2006-09-29 2011-11-01 Verint Americas, Inc. Automated utterance search
US10733326B2 (en) 2006-10-26 2020-08-04 Cortica Ltd. System and method for identification of inappropriate multimedia content
US20150052155A1 (en) * 2006-10-26 2015-02-19 Cortica, Ltd. Method and system for ranking multimedia content elements
US8804829B2 (en) * 2006-12-20 2014-08-12 Microsoft Corporation Offline motion description for video generation
US8276098B2 (en) 2006-12-22 2012-09-25 Apple Inc. Interactive image thumbnails
US9142253B2 (en) * 2006-12-22 2015-09-22 Apple Inc. Associating keywords to media
US20080288869A1 (en) * 2006-12-22 2008-11-20 Apple Inc. Boolean Search User Interface
US7954065B2 (en) * 2006-12-22 2011-05-31 Apple Inc. Two-dimensional timeline display of media items
EP1947576A1 (en) * 2007-01-22 2008-07-23 Deutsche Thomson OHG Method for storing media data from a broadcasted media data stream
KR100961444B1 (ko) * 2007-04-23 2010-06-09 한국전자통신연구원 멀티미디어 콘텐츠를 검색하는 방법 및 장치
US20080300702A1 (en) * 2007-05-29 2008-12-04 Universitat Pompeu Fabra Music similarity systems and methods using descriptors
US8375312B2 (en) * 2007-06-08 2013-02-12 Apple Inc. Classifying digital media based on content
US20090083275A1 (en) * 2007-09-24 2009-03-26 Nokia Corporation Method, Apparatus and Computer Program Product for Performing a Visual Search Using Grid-Based Feature Organization
US20090136208A1 (en) * 2007-11-28 2009-05-28 Flora Gilboa-Solomon Virtual Video Clipping and Ranking Based on Spatio-Temporal Metadata
US10600082B1 (en) 2007-12-05 2020-03-24 Beats Music, Llc Advertising selection
JP5041229B2 (ja) * 2007-12-07 2012-10-03 ソニー株式会社 学習装置および方法、認識装置および方法、並びにプログラム
JP4989516B2 (ja) * 2008-02-27 2012-08-01 キヤノン株式会社 表示制御装置、撮像装置及び表示制御方法、プログラム並びに記憶媒体
US8676001B2 (en) 2008-05-12 2014-03-18 Google Inc. Automatic discovery of popular landmarks
EP2136314A1 (en) * 2008-06-09 2009-12-23 Alcatel, Lucent Method and system for generating multimedia descriptors
US8065302B2 (en) * 2008-08-27 2011-11-22 Satyam Computer Services Limited System and method for annotation aggregation
US8341151B2 (en) * 2008-09-15 2012-12-25 Margalit Mordehai Method and system for providing targeted searching and browsing
US9721013B2 (en) 2008-09-15 2017-08-01 Mordehai Margalit Holding Ltd. Method and system for providing targeted searching and browsing
US8396287B2 (en) 2009-05-15 2013-03-12 Google Inc. Landmarks from digital photo collections
IL199115A (en) 2009-06-03 2013-06-27 Verint Systems Ltd Systems and methods for efficiently locating keywords in communication traffic
US8484140B2 (en) * 2009-06-09 2013-07-09 Microsoft Corporation Feature vector clustering
US9020038B2 (en) * 2009-06-14 2015-04-28 Rafael Advanced Defense Systems Ltd. Systems and methods for streaming and archiving video with geographic anchoring of frame contents
US8385660B2 (en) 2009-06-24 2013-02-26 Ricoh Co., Ltd. Mixed media reality indexing and retrieval for repeated content
US8135222B2 (en) * 2009-08-20 2012-03-13 Xerox Corporation Generation of video content from image sets
US10115065B1 (en) 2009-10-30 2018-10-30 Verint Americas Inc. Systems and methods for automatic scheduling of a workforce
WO2012154216A1 (en) * 2011-05-06 2012-11-15 Sti Medical Systems, Llc Diagnosis support system providing guidance to a user by automated retrieval of similar cancer images with user feedback
US9058331B2 (en) 2011-07-27 2015-06-16 Ricoh Co., Ltd. Generating a conversation in a social network based on visual search results
US8892572B2 (en) * 2011-12-30 2014-11-18 Cellco Partnership Video search system and method of use
US9258564B2 (en) * 2012-02-07 2016-02-09 Stmicroelectronics S.R.L. Visual search system architectures based on compressed or compact feature descriptors
US9069880B2 (en) * 2012-03-16 2015-06-30 Microsoft Technology Licensing, Llc Prediction and isolation of patterns across datasets
US20130283143A1 (en) * 2012-04-24 2013-10-24 Eric David Petajan System for Annotating Media Content for Automatic Content Understanding
KR102069538B1 (ko) * 2012-07-12 2020-03-23 삼성전자주식회사 멀티미디어 요소의 배치를 위한 마크업을 구성하는 방법
US10140372B2 (en) 2012-09-12 2018-11-27 Gracenote, Inc. User profile based on clustering tiered descriptors
EP2720172A1 (en) * 2012-10-12 2014-04-16 Nederlandse Organisatie voor toegepast -natuurwetenschappelijk onderzoek TNO Video access system and method based on action type detection
CN104981832A (zh) * 2012-12-06 2015-10-14 和谐控股有限责任公司 用于将视频档案上载至房地产放盘列项以及用于报告对于房地产放盘列项的兴趣程度的系统和方法
US9805725B2 (en) 2012-12-21 2017-10-31 Dolby Laboratories Licensing Corporation Object clustering for rendering object-based audio content based on perceptual criteria
US20140372439A1 (en) * 2013-06-13 2014-12-18 Canon Kabushiki Kaisha Systems and methods for creating a visual vocabulary
US9628528B2 (en) * 2013-07-19 2017-04-18 Electronics And Telecommunications Research Institute Apparatus and method for providing content
US9317260B2 (en) * 2013-08-09 2016-04-19 Vmware, Inc. Query-by-example in large-scale code repositories
CN104866332A (zh) * 2014-02-26 2015-08-26 华为终端有限公司 能力确定方法、能力配置方法、主机、终端设备及系统
US9639761B2 (en) 2014-03-10 2017-05-02 Mitsubishi Electric Research Laboratories, Inc. Method for extracting low-rank descriptors from images and videos for querying, classification, and object detection
US9767101B2 (en) * 2014-06-20 2017-09-19 Google Inc. Media store with a canonical layer for content
US20160203137A1 (en) * 2014-12-17 2016-07-14 InSnap, Inc. Imputing knowledge graph attributes to digital multimedia based on image and video metadata
US10402446B2 (en) * 2015-04-29 2019-09-03 Microsoft Licensing Technology, LLC Image entity recognition and response
US10402226B2 (en) * 2015-06-05 2019-09-03 Apple Inc. Media analysis and processing framework on a resource restricted device
US11055735B2 (en) 2016-09-07 2021-07-06 Adobe Inc. Creating meta-descriptors of marketing messages to facilitate in delivery performance analysis, delivery performance prediction and offer selection
US10298837B2 (en) 2016-12-28 2019-05-21 Facebook, Inc. Systems and methods for presenting content based on unstructured visual data
US11093542B2 (en) * 2017-09-28 2021-08-17 International Business Machines Corporation Multimedia object search
CN108470195B (zh) * 2018-05-11 2021-01-26 东方网力科技股份有限公司 视频身份管理方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1137320A (zh) * 1993-10-29 1996-12-04 瓦尔数据公司 用于建立关系型数据库模式的语义目标模型化系统
CN1151798A (zh) * 1994-05-10 1997-06-11 西门子公司 数据管理系统
US5806061A (en) * 1997-05-20 1998-09-08 Hewlett-Packard Company Method for cost-based optimization over multimeida repositories

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH056437A (ja) * 1991-06-27 1993-01-14 Matsushita Electric Ind Co Ltd 画像特徴抽出装置、画像特徴照合装置および画像検索装置
US5579471A (en) * 1992-11-09 1996-11-26 International Business Machines Corporation Image query system and method
SG49308A1 (en) * 1993-09-08 1998-05-18 Thomson Multimedia Sa Method and apparatus for motion estimation using block matching
JP2973944B2 (ja) * 1996-06-26 1999-11-08 富士ゼロックス株式会社 文書処理装置および文書処理方法
JP3661287B2 (ja) * 1996-08-02 2005-06-15 富士ゼロックス株式会社 画像登録装置および方法
JPH10198705A (ja) * 1997-01-14 1998-07-31 Ricoh Co Ltd 文書画像処理装置および文書画像処理方法および情報記録媒体
US6108619A (en) * 1998-07-02 2000-08-22 Novell, Inc. Method and apparatus for semantic characterization of general content streams and repositories
US6243713B1 (en) * 1998-08-24 2001-06-05 Excalibur Technologies Corp. Multimedia document retrieval by application of multimedia queries to a unified index of multimedia data for a plurality of multimedia data types
US6445834B1 (en) * 1998-10-19 2002-09-03 Sony Corporation Modular image query system
US6564263B1 (en) * 1998-12-04 2003-05-13 International Business Machines Corporation Multimedia content description framework
US6512850B2 (en) * 1998-12-09 2003-01-28 International Business Machines Corporation Method of and apparatus for identifying subsets of interrelated image objects from a set of image objects
US6490370B1 (en) * 1999-01-28 2002-12-03 Koninklijke Philips Electronics N.V. System and method for describing multimedia content
US6373979B1 (en) * 1999-01-29 2002-04-16 Lg Electronics, Inc. System and method for determining a level of similarity among more than one image and a segmented data structure for enabling such determination
EP1635243B1 (en) * 1999-01-29 2011-05-18 LG Electronics Inc. Method of searching or browsing multimedia data
US6941325B1 (en) * 1999-02-01 2005-09-06 The Trustees Of Columbia University Multimedia archive description scheme

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1137320A (zh) * 1993-10-29 1996-12-04 瓦尔数据公司 用于建立关系型数据库模式的语义目标模型化系统
CN1151798A (zh) * 1994-05-10 1997-06-11 西门子公司 数据管理系统
US5806061A (en) * 1997-05-20 1998-09-08 Hewlett-Packard Company Method for cost-based optimization over multimeida repositories

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
MULTIMEDIA CONTENT DESCRIPTION IN THE INFOPYRAMID CHUNG.SHENG LI ET AL,ACOUSTICS,SPEECH AND SIGNAL PROCESSING,1998.PROCEDINGS OF THE 1998 IEEE INTERNATIONAL CONFERENCE ON SEATTLE,WA,USA 12.15 MAY 1998,NEW YORK,NY,USA,IEEE,US 1998 *

Also Published As

Publication number Publication date
WO2001003002A3 (en) 2003-12-24
CN1524235A (zh) 2004-08-25
US7340458B2 (en) 2008-03-04
US20020159640A1 (en) 2002-10-31
US6411724B1 (en) 2002-06-25
JP5340517B2 (ja) 2013-11-13
DE60035910D1 (de) 2007-09-20
DE60035910T2 (de) 2008-05-21
EP1395916A2 (en) 2004-03-10
EP1395916B1 (en) 2007-08-08
JP2003529122A (ja) 2003-09-30
WO2001003002A2 (en) 2001-01-11

Similar Documents

Publication Publication Date Title
CN1311386C (zh) 多媒体信息的元描述符
Wong et al. Automatic semantic annotation of real-world web images
US6847980B1 (en) Fundamental entity-relationship models for the generic audio visual data signal description
EP1125245B1 (en) Image description system and method
KR100771574B1 (ko) 복수의 디지털 정보 신호를 인덱싱하는 방법
JP2009514075A (ja) 選択されたコンテンツアイテムをユーザーに提供する方法
Troncy et al. Multimedia semantics: metadata, analysis and interaction
Goodall et al. SCULPTEUR: multimedia retrieval for museums
Daras et al. Introducing a unified framework for content object description
JP2012168986A (ja) 選択されたコンテンツアイテムをユーザーに提供する方法
JP2005202939A (ja) Ｘｍｌファイルの作成方法
WO2000045307A1 (en) Multimedia archive description scheme
Fellner et al. Guest editors' introduction: 3D documents
van den Broek et al. Multimedia for art retrieval (m4art)
Farooque Image indexing and retrieval
Gagnon et al. ERIC7: an experimental tool for Content-Based Image encoding and Retrieval under the MPEG-7 standard
Pein et al. Content based image retrieval by combining features and query-by-sketch
Hobbs et al. Entity-media modelling: conceptual modelling for multimedia database design
Srinivasan et al. Management of Multimedia Semantics Using MPEG-7
Dimitrov Semantic notation and retrieval in art and architecture image collections
Lindley The FRAMES processing model for the synthesis of dynamic virtual video sequences
Cai Content-Based Retrieval (CBR)
Park et al. UCDL: a language for audio-visual content description
Çam Query processing for an MPEG-7 compliant video database
Leung et al. Semantic-based retrieval of visual data

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CX01 Expiry of patent term
CX01 Expiry of patent term

Granted publication date: 20070418