CN1518710A - 自动视频检索器精灵 - Google Patents

自动视频检索器精灵 Download PDF

Info

Publication number
CN1518710A
CN1518710A CNA028008480A CN02800848A CN1518710A CN 1518710 A CN1518710 A CN 1518710A CN A028008480 A CNA028008480 A CN A028008480A CN 02800848 A CN02800848 A CN 02800848A CN 1518710 A CN1518710 A CN 1518710A
Authority
CN
China
Prior art keywords
database
video
software
information
inquiry
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA028008480A
Other languages
English (en)
Other versions
CN1326075C (zh
Inventor
N
N·迪米特罗瓦
A·亚尼夫斯基
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Pendragon Wireless LLC
Original Assignee
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips Electronics NV filed Critical Koninklijke Philips Electronics NV
Publication of CN1518710A publication Critical patent/CN1518710A/zh
Application granted granted Critical
Publication of CN1326075C publication Critical patent/CN1326075C/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/73—Querying
    • G06F16/732—Query formulation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/73—Querying
    • G06F16/732—Query formulation
    • G06F16/7343—Query language or query format
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/858—Linking data to content, e.g. by linking an URL to a video object, by creating a hotspot

Abstract

一种用于视频查询处理的方法和系统。视频查询处理软件动态地连接到视频内容并且被配置为接收视频内容片断的关键查询(61)。所述的视频内容是实时的或已经记录的视频内容。软件可以在独立模式或服务方式下运行的在图象处理系统(10)中。所述的软件被配置为确定所述的查询的应答，并且将所述的应答传送给软件的用户。所述的软件连接到数据库，该数据库可以用于确定查询的应答(61)。该数据库可以是在本图象处理系统(10)的外部，并且与因特网网址或远程服务器相连接。可以使用多个数据库，这样从该多个数据库中获得的信息就可以被合并，以便应答查询。

Description

自动视频检索器精灵
本发明通常涉及一种用于视频查询处理的系统和方法，尤其涉及动态的上下文相关的视频查询处理。
电视(TV)用户可以通过图象处理系统访问电子程序向导(EPG)，以便获得总体上与电视节目有关的标准化信息，但是不能使用该图象处理系统获得涉及该电视节目某个特定方面的信息。这样，需要有用以使电视用户获得涉及某个特定方面的信息的系统和方法。
本发明提供一视频查询处理方法，包括：
提供视频查询处理软件；
提供视频内容；
动态地连接该软件到视频内容；
通过软件接收的视频内容片段的一个关键查询；并且通过软件确定所述的查询的应答。
本发明提供一个视频查询处理系统，包括视频查询处理软件，该软件动态地连接到视频内容，并且被设置为接收视频内容的片段的一个关键查询，并且被设置为确定查询的一个应答。
本发明提供允许电视(TV)用户获得与特定电视节目的方面有关信息的系统和方法。
图1描述了根据本发明实施例的视频处理结构的方框图。
图2描述了根据本发明实施例和根据图1所示的视频处理结构的动态视频查询处理系统。
图1表示根据本发明实施例的视频处理结构8的方框图。所述的视频处理结构8包括一个视频处理系统(VPS)10，一个视频源30，一个外部数据库24，以及一个用户40。VPS10包括一个处理器12，一个连接到处理器12的存储器结构14，一个连接到处理器12的本地数据库22，连接到处理器12和本地数据库22的视频输入18，连接到处理器12的一个用户输入设备19，连接到处理器12的一个输出装置20。系统10可以表示一个计算机系统(例如，台式计算机，膝上计算机，掌上计算机系统)，一个电视(TV)的机顶盒，等等。在图1所示的特定的结构中，系统10不是必要的，但是应当包括具有处理能力的任何一种存储装置，和任何一种软件，该软件能够分析视频内容，接收视频和用户输入，并且实现与用户的交互。″视频内容″包括：实时的影像内容(即，通过系统10实时接收视频内容)，已记录的视频内容，或将来的视频内容(将来的视频内容可与视频节目的跟踪相关，这将在下面进行论述)。
存储器结构14包括一个或多个存储装置或相当的区域，它可以包括暂时存储器，永久存储器，和活动存储器。在暂时存储器中存储的数据在VPS10的电力停止时清除。暂时存储器尤其可包括随机存取存储器(RAM)。在永久存储器中存储的数据在VPS10的电力停止时保留。永久存储器尤其可以包括硬盘存储器，光存储器，等等。活动存储器可以容易地从VPS10中删除。活动存储器尤其可以包括一个软盘或一个磁带。存储器结构14被配置为存储一个计算机代码32，用来实现根据本发明的动态查询处理算法并且在下面结合图2进行描述。计算机代码32可以是一个程序包的一部分，它通过处理器12被执行，并且尤其可以被存储在存储器结构14的RAM中。另外，计算机代码32可以在硬件中编码，尤其是在比如只读存储器(ROM)芯片上编码。
用户输入设备19是一个或多个用户输入装置，尤其可以包括：一个遥控装置，键盘，鼠标，等等。输出装置20包括一个或多个任何一种输出装置，例如，尤其是，一个输出显示器(例如，电视显示器，一个电脑监视器，个人数字助理(PDA)显示器，移动电话等等)，打印机，绘图仪，音频扬声器等等。输出装置20可以是任意一种装置，该装置能够显示，或传送数据内容(即，图象数据，文本数据，图表数据，音频数据，等等)。
图象输入装置18是任意一种装置或结构，它可以接收来自外部图象信号源的图象内容(相关的音频和文本/或数据信号)，例如图象信号源30，并且传送这样的图象内容到本地数据库22或到处理器12。图象输入装置18可以需要把接收的图象内容转换为可视的格式，例如从压缩格式(例如，从活动视频专家庭组(MPEG)格式)转换为解码或未压缩的格式。图象输入装置18还可以接收以可视格式的图象内容。图象输入装置18可以包括一个物理设备，但是通常包括用于接收并传送图象内容的任意一种结构。计算机代码32通过处理器12动态地连接到图象输入设备18或连接到通过图象装置18传送的图象内容。
图象信号源30包括一个或多个图象数据的、相关音频和文本数据等等的信号源。图象信号源30是一个通过通信介质或路径25(例如电视电缆线)由VPS10可接收的图象程序的信号源。图象信号源30尤其可以包括：一个电视(TV)广播系统，一个电视转播卫星系统，一个因特网网址，一个本地设备(例如，VHS磁带播放机，DVD播放机)等等。图象信号源30尤其可以把一个电视节目和一个电子程序向导(EPG)或一个EPG的当前或将来的替代物通过图象输入装置18传送到VPS10。EPG有很多的信息字段(一般超过100字段)，这些字段描述了电视节目(以，一个电影为例：制片人的姓名，演员的姓名，内容提要，等等)的属性。虽然本发明的实施例针对电视节目，但是本发明的范围包括任意一种可以将用户从图象信号源30传递到VPS10的图象程序。这样，图象信号源30可以同时包括一个因特网网址，该网址可以通过因特网广播一个图象程序，其中这样的被因特网广播的节目可以通过任意一种技术上可利用的通信介质或路径25(例如，电话线，电视电缆线，等等)经由VPS10来被接收。
本地数据库22包括一个或多个数据库，数据文件，或其它可以在VPS10内本地存储的存储库。本地数据库22包括来源于图象信号源30的图象数据及相关音频和文本数据。这样，本地数据库22可以包括图象数据及相关音频和文本数据，它们是关于一个或多个电视节目，以及与这样的电视节目有关的EPG数据或一个EPG数据的当前或将来的替代物。本地数据库22也包括其它类型的数据，这些数据需要处理用户查询，这些将在下面结合图2进行论述。然而，图1所示的本地数据库22与存储器结构14不同的，并且被连接或耦合到存储器结构14，而部分或者全部本地数据库22可以另外位于存储器结构14之内。
外部数据库24包括任意一种数据库结构或系统，以及对VPS10来说将是外部的(即，远程的)相关处理软件。外部数据库24和处理器12通过一个通信介质或路径26通信，该介质或路径尤其可以包括：电话线，电视电缆，等等。外部数据库24尤其可以包括，可以被包括或是被耦合于一个具有包括了有关图象数据的数据库的外部服务器，含相关网址和网页的因特网，或一个具有包括了有关图象数据的数据库或数据文件的外部电脑。″有关图象数据″包括这样的数据：可以直接或间接地与从信号源30传送来的图象数据有关。外部数据库24可以包括任意一种类型的、涉及图象内容的信息(例如，一个电视节目)。举例来说，外部数据库24可以包括关于一个特定的主题范围或一种电视节目形式的特定的信息。另一个例子中，外部数据库24可以包括一个或多个图象程序的摘要信息。开发一个图象程序的摘要信息可以为本领域的普通技术人员所公知的方式来完成，或通过使用在如下文献中公开的文本、音频、或图象程序的视听数据的副本数据中获得该种技术，这些文献是：(1)于2000年12月21日提交的美国专利申请，申请号为09/747,107，发明名称是：用于提供一个图象程序的多媒体概要的系统和方法和(2)于2000年11月14日提交的美国专利申请，申请号为09/712,681，发明名称是：使用副本信息产生图象程序的概要和索引的方法和装置，这两篇申请都受让给本发明的专利受让人并都在本文结合作为参考。
图1也示出了一个用户40，该用户可以通过用户输入设备19和输出装置20来与VPS10通信。
本发明针对用户40在看电视节目的同时来实时进行一个查询即，问题的动态处理，或识别性地接收从数据源30传送来的视频数据(以及相关的音频和文本数据)。用户40可以在整个电视节目(″程序-级别″问题)的各个级别提问题或，在一个与被监视的程序段(″片段-级别″问题)有关的程序段提问题。一个图象内容的″片段″(例如，一个电视节目)是一个连续的部分或图象内容的时段的子集。如果图象内容包括N帧其中N＞1，那么这种图象内容的一个片段是N帧的M帧的连续集，其中M＜N。片段—级别问题和片段—级别信息通常涉及到被观看的片段内容(“本地内容”)。相反的，程序—级别问题涉及全部程序(“全部内容”)。
如图所示，认为用户40正在看电视上播出的一个电影。一个程序-级别问题的例子是，用户40可以提问这些内容，包括：″电影的名称是什么？″″谁导演的这部电影？″和″这部电影何时结束？″应当注意到的是，在前的程序级别问题是仅针对全部上下文的内容，而不是针对本地上下文内容。一个片段-级别问题的例子是，用户40可以查询这些内容，包括：″在屏幕现在出现的演员的姓名是什么？″″当前的景色位于哪个城市？″和″现在播放的背景音乐是谁创作的？″应当注意到，在前的片段-级别问题处在片段级别，因此，是与本地上下文内容相关的，这是因为问题的含义在于特定程序片段被动态地查看。从定义上来讲，如果一个问题的意义在于义取决于特定程序片段被动态地查看，则该问题被认为是″本地上下文″。这样，一个片段-级别问题是本地上下文，并且一个程序-级别问题仅是针对全部上下文的，并且不针对本地上下文。此外，如果查询或询问是关于片段的本地上下文，则一个查询或询问就被称作是图象内容中″对一个片段来说是关键性的″(例如，一个电视节目)。
如另一个图所示，如果一个新闻程序有20个新闻报道，那么每个这种新闻报道是一个具有本地上下文的片段。相反，涉及新闻节目的全部的上下文是作为一个整体并且不对任一特定的新闻报道来说是关键性的。
本发明可以通过用户40利用本地数据库22、外部数据库24，或两者共同使用，给出查询的答案，这取决于查询所在的程序级别或片段级别。本地数据库22包括来源于图象数据的信息及相关的音频和文本数据，它们与从图象信号源30传送来的电视节目有关，而且也与相关于这种电视节目的EPG数据有关。本地数据库22还可以包括一个特定的信息数据库，它包括特定于程序级别的主题。这样，本地数据库22具有所述的程序级别的信息。另外，本地数据库22还可以包括片段级别数据，该片段级别数据是用户40的爱好的关键。这样，本地数据库22可以用来回答程序-级别问题，并且有限程度上回答片段级别问题。外部数据库24可以包括任何类型的数据库并且因此可以包括在程序级别和片段级别两个级别的信息。举例来说，外部数据库24可以包括因特网，该因特网具有一个实际上无限制的免费网址字段，而这些网址包含全部类型的数据并且是很容易地从VPS10的处理器12中获得的。另外，外部数据库24可以包括其它的因特网网址，这些网址向用户访问收费。另外，外部数据库24可以包括全部类型的服务器和远程计算机—如果通过通信介质或路径26所进行的这种访问已经被授权的话，而全部类型都可以通过VPS10被访问。确切的说，如果外部数据库24被限制在因特网，则VPS10将称为操作在一个″单机模式″，并且，如果外部数据库24可以访问除了因特网以外的数据库(例如访问一个远程服务器的数据库)，则VPS10被称作处于一个″服务模式″。
图2描述了根据本发明实施例的和图1中的图象处理结构8的动态视频查询处理系统50。在图2中，动态图象查询处理系统50包括一个查询处理60，它是图1中存储器结构14的计算机代码32的一部分。另外，图2包含查询处理包括了60在内的查询处理软件及在图2中将在以下被描述的其它软件(例如、特征抽取54)。图2所示的查询处理60，以及在图1所示的其它任意的计算机代码32之内的软件，都由图1的处理器12执行。查询处理60由处理器12动态地连接到视频内容，和相关的声音以及文本，它由VPS10的视频输入装置18接收(参见图1)。″动态地连接″意指能够实时地监控(或，另一方面交互于)视频内容及相关的声音和文本，因为这些视频内容是由VPS10的视频输入装置18接收的。如图2描述的，查询处理60在动态视频查询处理系统50中起着重要作用。查询处理60接收并且处理用户40输入的查询，查找与程序级查询一致的答案，查找与片段级查询一致的答案，并且在输出的表单里提供查询的答案，这将在下面进行说明。
查询处理60接收从用户40输入的查询61并且可以从用户40中接收或是已存储的问题或是无限制的问题。一个存储的问题尤其可以是：保存在一个标准查询存储库64中的预定的通用问题，该存储库又是本地数据库22的一部；分来源于视频内容的该通用问题，该视频内容是动态地通过视频输入装置18从视频来源30接收到的(参见图1)并且可以是随后在本地数据库22中存储的；或在查询处理软件的查询处理60中被编码的该通用问题。可取的是，已存储的问题的来源对用户40是透明的。
已存储的问题是形式相关的，这样，已存储的体育节目方面的问题就和，已存储的新闻节目方面的问题不同。存储的问题可以通过组织在一个目录树结构中利用形式相关型(例如/家庭/体育/足球/″这个四分卫今年完成了多少通过的码数？；/家庭/体育/棒球/这个选手今年打出了多少本垒打？；/家庭/电影/这个演员曾经嬴得奥斯卡奖吗？等等)。对本领域的普通技术人员来讲，可以用他们所列出的公式表示的任何目录树结构都能被使用。例如，家庭/体育/足球/查询可以表示一个文件，该文件包括在文档的独立的记录或文档的单个记录的个别的词中的每一优先问题的文档。
存储的问题可以包括程序级问题和片段级问题。片段级已存储的问题是暂时的；即，它们在程序进行时来往，并且仅在上下文中的程序中该点发生了什么的时候，它们变得与程序中给定的点相关。例如：在一足球比赛中，在一队刚刚取得射门得分以后，一个实时的、已存储的问题可以是：″本赛季中射门得分者踢进了多少分？″
无限制的问题是一个不定格式的问题，也就是说它不是一个已存储的问题。查询的最终格式必须包括一个已存储的问题。因此，查询处理60将来源于用户40的无限制的问题变成一个或多个本领域中中普通的技术人员所公知的标准查询，并且必要时处理答案。举例来说，假定用户40观看A队和B队之间的足球比赛，并且发送下列示例性问题到查询处理60：″最后一次A队战胜B队是什么时候？″。示例性问题可以是在标准查询存储库64中已存储的问题之一，但是还可以是不定格式的问题。如果是一个不定格式的问题，示例性问题就由查询处理60转换成下列已存储的问题：″A队什么时候与B队进行的比赛并且最后得分是多少？″在这个已存储的问题被回答后，查询处理60检查最后得分并且选择A队的比分超过B队的比分的最近的比赛。
如果用户40查询一个已存储的问题或一个无限制的问题，则这个问题可以是不明确的并且要求从用户40反馈交互62。举例说明，假定用户40观看一个″星际旅行″电影，其中正在被观看的一个场景显示出两个演员：船长Picard和1号演员，并且用户选择(例如，由按下图1的用户输入设备19的遥控器上的一个查询按钮)下列已存储的问题：″这个演员还演过其它什么电影？″这里，已存储的问题是不明确的，这是因为已存储的问题没有提供详细到单个演员。因此，查询处理60可以通过反馈交互作用62(例如，用在图1上的输出装置20的弹出信息)问用户40：″所指演员是船长Picard还是1号演员？″一旦用户40进行了选择(例如，用遥控或者说出选择)比如选船长Picard，查询处理60能够用以下明确的形式重做查询：“扮演船长Picard的演员还演过其它什么电影？”重做查询的问题能够利用外部的数据库24被更进一步处理以回答重做查询的问题。在前面星际旅行电影的片段级的例子说明一个具有本地的上下文的、已存储的问题要求片段级输入，以便更进一步以确定格式处理这个问题。这样的一个已存储的问题要求片段级输入，被称作一个″不确定的问题″并且被认为是″不定格式″的。在这样一个不确定的问题已经通过与片段级输入的结合改写为确定的格式以后，重新查询的问题被称作一个″明确的问题″并且处于″固定格式″。
用户40通过利用用户输入设备20(参见图1)，其中可以包括，尤其包括，遥控装置、电脑键盘或鼠标、利用声音识别软件的用户40的声音等等，来与查询处理60通信并交互。
就图2而论，一旦一个用户40的一个查询处于为更进一步处理的确定格式，则查询处理60使用本地数据库22、外部的数据库24、或两者都用，以用来确定查询的答案并且在相应于图1的输出装置20的输出端78输出答案。为了使用本地数据库22来回答一个程序级问题，查询处理60利用特征抽取54软件。特征抽取54软件动态地抽取程序级特征58并且把这样的抽取特征存入本地数据库22，以用于查询处理60响应用户40的程序级查询。按照上边的规定，部分或全部本地数据库22可以在存储器结构14中(参见图1)。尤其是，已抽取的程序级特征58可以是被存储在暂时存储器中，比如在一个RAM缓冲器中，以便在需要时更容易地被查询处理60所获得。
″特征″可以包含来源于视频来源30的信号级数据或元数据(参见图1)。信号级数据特征可以涉及，尤其涉及，颜色、形状，或纹理。元数据特征可以包括，尤其包括，EPG数据或当前的或预测的与一个或更多电视节目有关的EPG数据的替换物。元数据特征可以包括任何程序级信息，比如节目形式(例如，新闻、体育、电影、等等)、节目标题、演员表、电视频道、时间间隙等等。信号级特征可被保持在一个信号级格式中，或另外可作为元数据被编码。
信号级特征或元数据特征依照特征抽取54软件的任一算法来被抽取。这种算法可以是符合用户40个人的爱好52的(例如，节目形式、一个特定的演员、一个特定的足球队、特定的时间间隙等等)，它们已经保存在本地数据库22中。例如：一个用户40的喜爱的队可沿着特定线路用来集中在特征抽取54之处。用户40的个人的爱好可以按照用户40输入或察看历史被生成。用户40的个人的爱好52也可以用来在标准查询存储库64中定制已存储的问题。特征抽取54，动态地并且自动地在后台发生，不受用户40判别的影响，但受如上所述的用户40的个人爱好50所影响。对本领域的普通技术人员来讲，按已知的技术之一的任一种方法完成，或按照公开于以下文档的方法完成：(1)美国专利申请申请号为09/466,406，1999年12月17日提交，发明名称为：为利用决策树推荐的电视节目保留方法和仪器，和(2)美国专利申请申请号为号为09/666,401，2000年9月20日提交，发明名称是：为利用不明确的和明确的视图爱好产生评价保留的方法和装置，这两篇申请都受让给本发明的专利受让人并都在本文中结合以作为参考。
除从EPG数据或当前或将来的EPG数据的替换物抽取的特征之外，特征抽取54可以从电视节目的视频数据抽取特征及相关的声音和文本数据，并尤其从视觉的部分、关闭的标题文本、利用面部检测软件的面部、声音的内容，等等。特征抽取54可以按对本领域的普通技术人员所已知的技术之一完成，或按照在美国专利申请申请号为09/442,960，1999年11月18日提交，发明名称为：为声音的/数据/视觉信息选择保留的方法和装置，的申请文件中所公开的方法执行。这两篇申请转让给本发明的专利受让人并在此作为参考。在特征抽取上附加的相关的参考文件包括：(1)N.Dimitrova、T.McGee、L.Agnihotri、S.Dagtas，和R.Jasinschi，2000年在圣胡塞召开的视频和电视数据库的SPIE会议上发表的《在选择的电视内容上分析并且过滤》；和(2)N.Dimitrova、L.Agnihotri、C.Dorai，和R.Bolle在2000年9月出版的期刊《视频通信》第16卷，137-155页中发表的《MPEG 7电视文字信息系统描述方案为了添加文本在视频和电视、信号处理》。
特征抽取54连同本地数据库22可以用来响应程序级查询，针对用户爱好的片段级关键的查询。然而，外部的数据库24也可以用来找出程序级查询的答案。另外，外部的数据库24也可以用来找出片段级查询的答案。因此，下面讨论集中在查询处理60怎样使用外部的数据库24，以找到对由用户40产生的、或是程序级查询或是片段级查询的答案。
查询60可以利用的外部数据库指针被保存在查询站点描述66数据库或存储库，该库为本地数据库22的一部分或者在查询处理60的软件本身内部来被编码。这些指针可以是根据标准查询存储库64中相关于已存储的问题的主题而主题特定的。这些指针可以是在目录树构造之内被组织的。例如：一个指针可以是国际互联网络网点的通用资源定位器(URL)。举例说明，一个新闻数据库可以表现遵循查询站点描述66数据库或存储库为/home/news/″http：//www.cnn.com″而同时一个足球数据库可以表现遵循查询站点描述66数据库或存储库为/home/sports.football/″http：//www.nfl.com″。任何可以用被本领域的普通技术人员来所熟知的目录树公式的结构都会被使用。例如：″home/news/URL″能够表示一个在查询站点描述66数据库或存储库中的文件，该库包括指向新闻网址的指针(例如，http：//www.cnn.com、http：//www.abc.com等等)，以至于每个这样的指针都是文件的单独的记录或是单个文件记录的一个单独的词。同样地，″home/sports/football/URL″能够表示一个在查询站点描述66数据库或存储库中的文件，该库包括指向足球网址的指针(例如、http：//www.nfl.com、http：//www.football.com等等.)，这样以致于每个这样的指针都是文件的单独的记录或是单个文件记录的一个单独的词。
查询站点描述66数据库或存储库可以包括任何可用的外部数据库24的指针或能够通过传播介质或路径26(参见图1)通信的信息源的指针。这样的外部数据库24或信息源可以包括外部服务器或远程计算机，它们具有与在标准查询存储库64中存储的问题有关的数据或信息。另外，外部的数据库可以包括特定服务器或远程计算机，它们具有仅仅与特定主题有关的数据或信息(例如：电影、爵士乐、体育、等等)，而该数据或信息是从其它的数据库或信息源获得的。为了回答用户40询问的查询问题，而选择一个指向适当的数据库的指针可以涉及到所这个问题的主题内容与其它的信息源的主题内容连接，并且可以使用本领域普通技术人员公知的形式或在如下申请中公开的技术：美国专利申请申请号为09/351,086，1999年7月9日提交，发明名称为：为连接电视片段到另一个电视片段或信息源保留的方法和装置，这两篇申请转让给本发明的专利受让人并在此作为参考。
一旦查询处理60为了找到用户40的查询的答案而识别出查询站点描述66数据库或存储库中的特定的、外部的数据库指针，查询处理60就使用指向与特定的外部的数据库24连接的指针和检索来自特定的外部的数据库24的数据70，其中已检索的数据70与查询相关。查询处理60可以连接到特定的外部的数据库24的主题特定的目的地(例如，一个特定的因特网网页，它潜在包括与查询有关的数据或信息)或到一个搜索引擎目的地(例如，外部数据库，比如因特网搜索引擎网点 http：//www.altavista.com，联同检索参数，比如，用于一个自然语言检索的问题，或用于一个基于检索关键字的逻辑表达式)。举例来说，自然语言问题″演员Clark Gable是否曾经获得过奥斯卡奖？″可以是一个搜索引擎问题，或同样的问题可以是通过根据逻辑表达式：″Clarlk Gable″和″奥斯卡奖″关键字来查找答案。已检索的数据70可以是任何格式，例如用来自国际互联网络网点的一个或更多的网页的格式、或用来自一个远程服务器的一个或更多文件、文档、电子数据表、图形视频、等等的格式。
在查询处理60和外部服务器之间的数据通信是以一个外部服务器24可识别的数据格式进行的，比如在网页上为了构造文档和数据的可扩充标记语言(XML)，用于连续调协视频编码的联合视频专家庭组(JPEG)标准，TV anytime论坛标准用于允许基于大量市场高容量数字存储器的视听及其它服务，等等。实质上，外部服务器24以字串，数值数据，图形等方式发送已检索的数据70，以提供被包含的信息(例如，一个演员的名字，一个场景的描述，等等以)响应通过查询处理60请求。
一旦通常涉及查询的数据在外部数据库24被数据检索70时，信息抽取72从被检索的数据抽取特定信息，实际上它简化了查询的回答。信息抽取72执行″从谷壳分离小麦″的信息过滤处理即，丢弃从数据检索70接收的不相关信息，并且保持从数据检索70接收的相关信息。如果外部的数据库具有所要求的处理能力，则信息提取72可以在外部数据库执行。另外，信息提取72可以作为查询处理60或计算机编码32的一部分而被执行(参见图1)。然后，信息抽取72通过外部数据库或查询处理60进一步得到处理，如有必要时，给出查询的最终结果。这样的进一步处理的一个例子是结果匹配76。注意，用于外部数据库24的信息提取72类似于用于本地数据库22的取样程序特征58。信息提取可以是以本领域公知的方式之一来执行。
随着查询被处理，信息提取72规则就被动态地实时构造。举例来说，假设有一个关于抽取名人信息的通用信息抽出规则(例如，关于演员、政客、运动员等等.)。在一个谈话节目期间，多种名人类型(即、演员、政客、运动员等等.)都能够被请到谈话节目上。信息抽取72抽取的信息是关于谁是在谈话节目的恰当片段的特定的宾客。因此，特定的宾客的姓名是信息提取任务的一个参数并且成为查询本身的一部分。信息提取任务是专门查找有关特定来宾的信息，并且查找关于特定的来宾的特定类型网点或数据库。本地的上下文信息(即，特定的来宾)是一系列片段级结构。
结果匹配76的一个例子说明，回答一查询需要使用多个信息源，并且接着合并多源结果数据成为单一的回答。多源可以包括，尤其包活，多个外部源、本地源及一个或更多外部源等等。例如：问题″这个演员演过多少电影？″可能需要使用两个外部源：源A和源B。如果有10个电影的名称从源A返回且有5个电影的名称从源B处返回，并且如果其中有3个从源A和源B返回的电影名称是相同的，然后查询处理60根据相互匹配源A和源B的电影名称而得到12个明确的电影名称。
在查询处理60确定了用户40所查询的问题的答案之后，查询处理60通过在一个或更多输出装置20处的输出端78将这个答案传递到用户40(参见图1)。输出端78可以是任何格式或可通过传递信息的任何方法传送给用户40(例如，电子邮件)。输出端78可以传递的一个或更多输出装置20的例子包括：个人数字助理、移动电话、电视显示器、电脑监视器、打印机、绘图仪、音频扬声器等等。输出端78可以通过传递信息的任何方法(例如、电子邮件)与用户40通信。被用来传送答案到用户40的特定输出装置20可以被硬编码到查询处理60中或者通过反馈交互62由用户40选择。
查询处理60包括逻辑以考虑这样一个事实：给定的数据库可以不通过查询处理60返回它的信息请求。例如：如果一个特定的服务器没有提供被请求的信息，那么查询处理60可以到国际互联网络网址去寻找同样的被请求的信息。另外，用户40爱好可用于确定查找或不查找哪些外部源。例如：用户40可能指明有关足球的问题的搜寻应当包括在因特网网址 http：//www.nfl.com之中，而不应包括在因特网网址http：//espn.go.com/abcsports/mnf中。
在如上考虑了动态的实时的用户查询处理时，本发明的范围也还包括了用于过去发生的或将来要出现的视频内容(例如、电视节目)的用户查询处理。本发明的用户查询处理适合传送已经记录的电视内容，比如在VHS磁带放像机或在具有顶置盒的个人录象机，这是因为这样的电视内容，等到重放时，就模拟用户40的实时观看情况以用于处理用户40查询的目的。另外，电视节目的记录(例如、选择帧或视频，选择文本，选择声音等等)能够被存储(与存储整个电视节目它本身相反)在VHS磁带放像机或在具有顶置盒的个人电视录象机上，并且记录的回放能够触发用户40提问关于与该记录相匹配的电视节目的问题。另外，本发明的用户查询处理60也适用于将来的电视内容(例如，电视节目)—如果用户40能够查看的预测的电视内容的记录的话。
尽管如上所述的图1的本地数据库22能够支持程序级查询，对于本地数据库22来说，具有支持片段级查询的能力也仍然被包括在本发明的范畴之内(例如与用户爱好有关的片段级查询)。
尽管本发明的特定的实施例已经结合附图在此被说明，许多修改和变化对本领域的普通技术人员来讲也是容易想到的。另外，附加的权利要求试图包含未超出本发明的精神和范围的所有这类的修改和变化。

Claims (24)

1.一种视频查询处理方法，包括：
提供视频查询处理软件；
提供视频内容；
动态地将软件连接到视频内容；
通过软件来接收视频内容片段的关键查询(61)；和
通过软件确定出查询(61)的答案。
2.如权利要求1所述的方法，其中所述的确定包括通过软件接收信息，其中所述的信息从数据库得到，并且其中所述的信息回答所述的查询(61)。
3.如权利要求2所述的方法，其中接收信息包括：
从所述的数据库中接收数据，其中所述的数据包括所述的信息；以及
从所述的数据中抽取所述的信息。
4.如权利要求2所述的方法，其中接收信息包括：
在数据库中查找数据，其中所述的数据包括所述的信息；和
从该数据库之处的数据中抽取所述的信息；
发送所述的信息到所述的软件。
5.如权利要求2所述的方法，进一步包括：通过位于查找端描述(66)存储库中的指针确定所述的数据库。
6.如权利要求1所述的方法，其中所述的确定包括：
通过从多个数据库中的每个数据库得到的软件信息进行接收，其中每个数据库对视频处理系统(10)来讲是外部的，并且其中从每个数据库得到的所述信息部分地回答所述的查询(61)；和
合并从每个数据库得到的所述信息以形成所述的回答。
7.一种视频查询处理系统(50)，包括视频查询处理软件，该软件动态地连接到视频内容，并且设置为接收视频内容片段的关键查询(61)，并且设置为确定所述的查询(61)的答案。
8.如权利要求7所述的系统，进一步包括一个数据库，其中所述的软件被设置成通过接收从所述的数据库得到的信息以确定所述的回答，并且其中所述的信息回答所述的查询(61)。
9.如权利要求8所述的系统，其中所述的软件被设置为接收从所述的数据库得到的数据，其中所述的数据包括所述的信息，并且其中所述的软件被设置为从所述的数据中抽取所述信息。
10.如权利要求8所述的系统，其中在数据库中的数据包括所述的信息，其中所述的信息在所述的数据库之处从所述的数据中被抽取，并且其中由此被抽取所述的信息发送到所述的软件。
11.如权利要求8所述的系统，进一步包括一个连接到所述软件的查询端描述(66)存储库，其中，所述查询端描述(66)存储库又包括一个指针以识别所述的数据库。
12.如权利要求8所述的系统其中所述的软件是在视频处理系统(10)之内，并且其中所述的数据库相对于视频处理系统(10)是外部的。
13.如权利要求7所述的系统，进一步包括多个数据库，其中所述的软件被配置为接收从多个数据库中的每个数据库得到的信息，其中每个数据库相对于VPS(50)是外部的，其中从每个数据库得到的所述信息部分地回答所述的查询(61)，并且其中所述的系统被配置为合并从每个数据库得到的信息以成为所述的答案。
14.如权利要求13所述的系统，其中所述的软件被配置为从每个数据库中接收数据，其中从每个数据库接收的所述的数据包括从每个数据库得到的所述的信息，并且其中所述的软件被配置为从每个数据库的所述数据中抽取从与个数据库得到的所述的信息。
15.如权利要求13所述的系统，其中在每个数据库中所述的数据包括从每个数据库中得到的信息，其中所述的信息在每个数据库处从每个数据库的所述数据中进行抽取，并且其中由此被抽取的所述的信息发送到所述的软件。
16.如权利要求7所述的系统，其中所述的查询(61)是已存储的查询，它是所述的视频内容的一种形式的功能。
17.如权利要求7所述的系统，其中所述的查询(61)是一个没有限制的查询，并且其中所述的软件被配置为从所述没有限制的查询获得至少一个已存储的查询。
18.如权利要求7所述的系统，其中所述的软件被配置为接收一个程序级的、与所述的视频内容相关的问题，并且确定所述问题的答案。
19.如权利要求18所述的系统，其中所述的软件被配置为从所述的视频内容中抽取特征(54)，其中确定所述问题的答案包括：使用被抽取的特征(54)以回答所述问题。
20.如权利要求19所述的系统，其中抽取特征(54)包括：考虑所述查询处理系统(50)中的用户的爱好。
21.一个视频处理结构(8)，包括视频处理系统(10)，其中所述的视频处理系统(10)又包括：
一个处理器(12)；
一个存储器结构(14)连接到所述的处理器(12)，其中所述的存储器结构(14)包括一个计算机代码(32)，其中所述的计算机代码(32)包括视频查询软件，所述视频查询软件被配置为动态地连接到视频内容，并且被配置为接收视频内容的片段的关键的查询(61)，并且被配置为确定所述的查询(61)的答案；
一个本地数据库(22)连接到所述的处理器(12)；
一个视频输入装置(18)连接到所述的处理器(12)和连接到本地数据库(22)；
一个用户输入装置(19)连接到所述的处理器(12)；和
一个输出装置(20)连接到所述的处理器(12)。
22.如权利要求21所述的视频处理结构(8)，进一步包括连接到所述的软件的一个外部数据库(24)，其中所述的视频查询软件被配置为使用所述的外部数据库(24)来确定所述的查询(61)的所述的答案。
23.如权利要求21所述的视频处理结构(8)，进一步包括一个视频源(30)，其中所述的视频处理结构(8)被配置为启动所述的视频源(30)以传送所述的视频内容到所述的视频处理系统(10)。
24.一个计算机程序产品，可以在执行所述的计算机程序产品，其功能如权利要求7-20中任意一个所述的视频查询系统(50)时，启动一个可编程的装置。
CNB028008480A 2001-03-27 2002-03-12 自动视频检索器精灵 Expired - Fee Related CN1326075C (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US09/818,303 US20020144293A1 (en) 2001-03-27 2001-03-27 Automatic video retriever genie
US09/818,303 2001-03-27

Publications (2)

Publication Number Publication Date
CN1518710A true CN1518710A (zh) 2004-08-04
CN1326075C CN1326075C (zh) 2007-07-11

Family

ID=25225195

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB028008480A Expired - Fee Related CN1326075C (zh) 2001-03-27 2002-03-12 自动视频检索器精灵

Country Status (6)

Country Link
US (1) US20020144293A1 (zh)
EP (1) EP1405215A2 (zh)
JP (1) JP2004528640A (zh)
KR (1) KR20030007727A (zh)
CN (1) CN1326075C (zh)
WO (1) WO2002077864A2 (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009124443A1 (zh) * 2008-04-11 2009-10-15 华为技术有限公司 一种移动搜索的方法、系统和设备
WO2012083836A1 (zh) * 2010-12-20 2012-06-28 联想(北京)有限公司 信息推送装置、方法、服务器及视频播放装置
WO2015062224A1 (en) * 2013-10-31 2015-05-07 Tencent Technology (Shenzhen) Company Limited Tv program identification method, apparatus, terminal, server and system
US9363551B2 (en) 2013-10-31 2016-06-07 Tencent Technology (Shenzhen) Company Limited TV program identification method, apparatus, terminal, server and system
CN105874454A (zh) * 2013-12-31 2016-08-17 谷歌公司 用于基于场境信息生成搜索结果的方法、系统和介质
US10448110B2 (en) 2013-12-31 2019-10-15 Google Llc Methods, systems, and media for presenting supplemental information corresponding to on-demand media content
US10984038B2 (en) 2015-04-14 2021-04-20 Google Llc Methods, systems, and media for processing queries relating to presented media content

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB0108355D0 (en) * 2001-04-03 2001-05-23 Gemstar Dev Ltd Retrospective electronic program guide
TWI244005B (en) * 2001-09-13 2005-11-21 Newsoft Technology Corp Book producing system and method and computer readable recording medium thereof
US7120873B2 (en) * 2002-01-28 2006-10-10 Sharp Laboratories Of America, Inc. Summarization of sumo video content
KR100421766B1 (ko) * 2002-05-16 2004-03-11 한국전자통신연구원 전자 프로그램 안내(ｅｐｇ/이피지) 애플리케이션에서러프 퍼지 ｍｌｐ를 이용한 프로그램 추천 장치 및 방법
US8037496B1 (en) * 2002-12-27 2011-10-11 At&T Intellectual Property Ii, L.P. System and method for automatically authoring interactive television content
US20040268403A1 (en) * 2003-06-26 2004-12-30 Microsoft Corporation Context-sensitive television tags
US20070124304A1 (en) * 2003-09-30 2007-05-31 Koninklijke Philips Electronics N.V. System and method for automatically retrieving information for a portable information system
WO2007021277A1 (en) * 2005-08-15 2007-02-22 Disney Enterprises, Inc. A system and method for automating the creation of customized multimedia content
US8201073B2 (en) 2005-08-15 2012-06-12 Disney Enterprises, Inc. System and method for automating the creation of customized multimedia content
US20070192793A1 (en) * 2006-02-11 2007-08-16 Samsung Electronics Co., Ltd. Electronic programming guide providing apparatus and method
US20080082578A1 (en) 2006-09-29 2008-04-03 Andrew Hogue Displaying search results on a one or two dimensional graph
AU2006252090A1 (en) * 2006-12-18 2008-07-03 Canon Kabushiki Kaisha Dynamic Layouts
GB2447876B (en) * 2007-03-29 2009-07-08 Sony Uk Ltd Recording apparatus
US8000972B2 (en) * 2007-10-26 2011-08-16 Sony Corporation Remote controller with speech recognition
US20090144776A1 (en) * 2007-11-29 2009-06-04 At&T Knowledge Ventures, L.P. Support for Personal Content in a Multimedia Content Delivery System and Network
US8612754B2 (en) * 2011-06-14 2013-12-17 At&T Intellectual Property I, L.P. Digital fingerprinting via SQL filestream with common text exclusion
US10817520B1 (en) * 2015-02-25 2020-10-27 EMC IP Holding Company LLC Methods, systems, and computer readable mediums for sharing user activity data

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5553221A (en) * 1995-03-20 1996-09-03 International Business Machine Corporation System and method for enabling the creation of personalized movie presentations and personalized movie collections
US6061056A (en) * 1996-03-04 2000-05-09 Telexis Corporation Television monitoring system with automatic selection of program material of interest and subsequent display under user control
US5893110A (en) * 1996-08-16 1999-04-06 Silicon Graphics, Inc. Browser driven user interface to a media asset database
EP1025695A4 (en) * 1997-05-09 2002-11-27 Neomedia Tech Inc METHOD FOR INTEGRATING LINKS IN A NETWORK RESOURCE IN A TRANSMISSION MEDIUM
US6028600A (en) * 1997-06-02 2000-02-22 Sony Corporation Rotary menu wheel interface
US6766320B1 (en) * 2000-08-24 2004-07-20 Microsoft Corporation Search engine with natural language-based robust parsing for user query and relevance feedback learning

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009124443A1 (zh) * 2008-04-11 2009-10-15 华为技术有限公司 一种移动搜索的方法、系统和设备
WO2012083836A1 (zh) * 2010-12-20 2012-06-28 联想(北京)有限公司 信息推送装置、方法、服务器及视频播放装置
WO2015062224A1 (en) * 2013-10-31 2015-05-07 Tencent Technology (Shenzhen) Company Limited Tv program identification method, apparatus, terminal, server and system
US9363551B2 (en) 2013-10-31 2016-06-07 Tencent Technology (Shenzhen) Company Limited TV program identification method, apparatus, terminal, server and system
US9621950B2 (en) 2013-10-31 2017-04-11 Tencent Technology (Shenzhen) Company Limited TV program identification method, apparatus, terminal, server and system
CN105874454A (zh) * 2013-12-31 2016-08-17 谷歌公司 用于基于场境信息生成搜索结果的方法、系统和介质
US10448110B2 (en) 2013-12-31 2019-10-15 Google Llc Methods, systems, and media for presenting supplemental information corresponding to on-demand media content
US10992993B2 (en) 2013-12-31 2021-04-27 Google Llc Methods, systems, and media for presenting supplemental information corresponding to on-demand media content
US10997235B2 (en) 2013-12-31 2021-05-04 Google Llc Methods, systems, and media for generating search results based on contextual information
US11941046B2 (en) 2013-12-31 2024-03-26 Google Llc Methods, systems, and media for generating search results based on contextual information
US10984038B2 (en) 2015-04-14 2021-04-20 Google Llc Methods, systems, and media for processing queries relating to presented media content

Also Published As

Publication number Publication date
WO2002077864A2 (en) 2002-10-03
CN1326075C (zh) 2007-07-11
US20020144293A1 (en) 2002-10-03
KR20030007727A (ko) 2003-01-23
EP1405215A2 (en) 2004-04-07
WO2002077864A3 (en) 2004-02-05
JP2004528640A (ja) 2004-09-16

Similar Documents

Publication Publication Date Title
CN1326075C (zh) 自动视频检索器精灵
US11709888B2 (en) User interface for viewing targeted segments of multimedia content based on time-based metadata search criteria
US8060906B2 (en) Method and apparatus for interactively retrieving content related to previous query results
US7546288B2 (en) Matching media file metadata to standardized metadata
US7725467B2 (en) Information search system, information processing apparatus and method, and information search apparatus and method
JP4062908B2 (ja) サーバ装置および画像表示装置
US8189685B1 (en) Ranking video articles
US8176043B2 (en) Ranking search results
US20100186041A1 (en) Recommending Video Programs
US20080059989A1 (en) Methods and systems for providing media assets over a network
US20030074671A1 (en) Method for information retrieval based on network
CN1703694A (zh) 用于在视频节目中检索与人物相关的信息的系统和方法
KR20040058285A (ko) 개인 정보 검색, 업데이트 및 제공을 위한 방법 및 시스템
KR20030007736A (ko) 스트리밍 비디오 북마크들
WO2006073095A1 (ja) 連想辞書作成装置
JPH1069496A (ja) インターネット検索装置
EP2336900A2 (en) Search device and search method
JP2003168051A (ja) 電子カタログ提供システム、電子カタログ提供方法、そのプログラム、及びそのプログラムを記録した記録媒体
JP5335500B2 (ja) コンテンツ検索装置及びコンピュータプログラム
JP2003169312A (ja) 電子番組表提供システム、電子番組表提供方法、そのプログラム、及びそのプログラムを記録した記録媒体
JP5499566B2 (ja) 動画再生装置、動画再生方法及びプログラム
JP2001275056A (ja) 番組ガイド装置、推論装置および推論方法
JP2002325214A (ja) 関連番組参照型受信装置および関連番組参照型送信装置ならびに関連番組参照型プログラム
JP2007317217A (ja) 情報関連付け方法、端末装置、サーバ装置、プログラム
JP6647141B2 (ja) キーワードリスト生成装置、コンテンツ視聴装置、およびキーワードリスト生成プログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
ASS Succession or assignment of patent right

Owner name: IPG ELECTRONICS 503 CO., LTD.

Free format text: FORMER OWNER: ROYAL PHILIPS ELECTRONICS CO., LTD.

Effective date: 20090904

C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20090904

Address after: British Channel Islands

Patentee after: Koninkl Philips Electronics NV

Address before: Holland Ian Deho Finn

Patentee before: Koninklike Philips Electronics N. V.

ASS Succession or assignment of patent right

Owner name: PENDRAGON WIRELESS CO., LTD.

Free format text: FORMER OWNER: IPG ELECTRONICS 503 LTD.

Effective date: 20130106

C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20130106

Address after: Washington State

Patentee after: Pendragon wireless limited liability company

Address before: British Channel Islands

Patentee before: Koninkl Philips Electronics NV

CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20070711

Termination date: 20170312

CF01 Termination of patent right due to non-payment of annual fee