CN100521781C - 生成并检测用于同步音频和视频的指纹的方法和设备 - Google Patents

生成并检测用于同步音频和视频的指纹的方法和设备 Download PDF

Info

Publication number
CN100521781C
CN100521781C CNB2004800214039A CN200480021403A CN100521781C CN 100521781 C CN100521781 C CN 100521781C CN B2004800214039 A CNB2004800214039 A CN B2004800214039A CN 200480021403 A CN200480021403 A CN 200480021403A CN 100521781 C CN100521781 C CN 100521781C
Authority
CN
China
Prior art keywords
signal
fingerprint
time point
synchronizing time
secondary signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CNB2004800214039A
Other languages
English (en)
Other versions
CN1830211A (zh
Inventor
J·C·乌斯特维恩
D·K·罗伯茨
A·J·M·德尼森
W·R·T·坦凯特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips Electronics NV filed Critical Koninklijke Philips Electronics NV
Publication of CN1830211A publication Critical patent/CN1830211A/zh
Application granted granted Critical
Publication of CN100521781C publication Critical patent/CN100521781C/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/24—Systems for the transmission of television signals using pulse code modulation
    • H04N7/52—Systems for transmission of a pulse code modulated video signal with one or more other pulse code modulated signals, e.g. an audio signal or a synchronizing signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/04—Synchronising
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/24—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by sensing features on the record carrier other than the transducing track ; sensing signals or marks recorded by another method than the main recording
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/34—Indicating arrangements 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2389—Multiplex stream processing, e.g. multiplex stream encrypting
    • H04N21/23892—Multiplex stream processing, e.g. multiplex stream encrypting involving embedding information at multiplex stream level, e.g. embedding a watermark at packet level
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/242—Synchronization processes, e.g. processing of PCR [Program Clock References]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43072—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8547—Content authoring involving timestamps for synchronizing content

Abstract

本发明涉及生成可用于同步至少两个信号(101、103)的第一和第二指纹(102、104)的设备和方法以及用于同步两个或更多信号的对应方法和设备。在每个同步时间点上根据一段第一信号(例如音频信号)和一段第二信号(例如视频信号)生成一个指纹对。所生成的指纹对被存储在数据库(203)中并传送或分发到同步设备(303)。在同步期间，生成了要同步的音频信号的指纹和要同步的视频信号的指纹并将它们和数据库中的指纹进行匹配。当找到了匹配时，这些指纹还确定了用于同步这两个信号的同步时间点。这样就获得了一种同步至少两个信号的简单、可靠、高效的途径。此外，不用修改第一或第二信号(或后续信号)就实现了这一点。这些信号在一定程度上甚至可以被失真或改变，但是仍然能够实现同步。

Description

生成并检测用于同步音频和视频的指纹的方法和设备
本发明涉及至少两个信号之间的同步。更准确地说，本发明涉及同步第一信号(例如音频信号)和第二信号(例如视频信号)的方法和对应的设备。本发明还涉及实现音频信号和视频信号同步的方法和对应的设备。此外，本发明还涉及计算机可读介质，在其上存储了使一个或多个处理装置执行依照本发明的方法的指令。
视频流和对应的音频流的同步是一个已经受到了很多关注的难题。对这个问题已经提出并实现了很多解决方案。这些解决方案中的绝大部分都需要由熟练的操作员进行手工同步。通常操作员在图片中寻找可视线索以确定听到的声音是否与图片对应以及它们是否确实同步。当需要自动完成同步时这个问题变得要难得多。不管是在录音棚环境内还是在录音棚环境外，随着音频和视频信号的处理和发布变得更复杂，这个问题也相应地变得越来越难。下面是一个录音棚环境外的例子：消费者用他的录像机记录了一段电影。他希望以原始音轨观看。因此他购买了原始音轨，原始音轨例如被通过因特网采用流送方式发送给他。现在需要在(例如)他的录像机或别的同步设备中自动同步音频和视频。
一种已有的可用来实现音频和视频流的自动同步的系统是由Tektronix销售的。在这个系统中，音频信号包络被通过水印嵌入到视频信号中。在处理链分布中的任何点上，都可以比较实际的音频包络和嵌入的音频包络，从比较中可以得出两个音频流之间的延迟。接下来，纠正音频的延迟以实现同步。但是，这个系统需要广播公司或别的经销商的合作，因为在传输之前需要在视频中嵌入水印。此外，这个系统只能将一个特定的音频流关联到视频。一旦已经嵌入了音频流的包络，该系统就只能同步视频和那个特定的音频流。为了同步其它音频流，应该先嵌入别的水印。最后，该系统仅限于音频流和视频流之间的同步。
本发明的一个目标是提供解决了上述问题的、用于生成可用于同步至少两个信号的第一和第二指纹的方法和对应设备以及用于同步两个或多个信号的对应方法和设备。进一步的目标是以简单有效的途径提供这些方法和对应设备。另一目标是能够简单、可靠、准确地定位多媒体信号的给定部分。另一目标是能够不修改第一信号和至少一个第二信号中的任何信号就实现它们之间的自动同步。
这是由实现第一和第二信号的同步的第一方法(和对应设备)以及实现两个或多个信号的同步的第二方法(和对应设备)实现的，第一个方法包括下列步骤：
-根据一段第一信号得出第一指纹，其中该段第一信号与第一同步时间点毫无歧义地相关，
-根据一段第二信号得出第二指纹，其中该段第二信号与第二同步时间点毫无歧义地相关，以及
-将该第一和第二指纹提供给同步设备。
第二个方法包括下列步骤：
-根据第一信号生成第一指纹流，
-根据第二信号生成第二指纹流，
-比较一段第一指纹流和至少一个数据库中存储的一个或多个第一指纹以确定是否存在匹配，
-比较一段第二指纹流和至少一个数据库中存储的一个或多个第二指纹以确定是否存在匹配，
-如果对于第一和第二指纹都存在匹配，就确定了第一信号的第一同步时间点位置和第二信号的第二同步时间点位置并用确定出的位置同步该第一和第二信号。
这样，就获得了同步至少两个信号的简单、可靠、有效的途径。此外，不用更改第一或第二信号(或后续信号)就实现了这一点。这些信号在一定程度上甚至可以被失真或改变，而由于使用了指纹，所以仍然能够实现准确的同步。
多媒体对象/内容/信号的指纹是所关注的对象/内容/信号部分的可感知特征的表示。这种指纹有时也称作“(健壮)散列”。更准确地说，一段音频或视频的指纹是在该段音频或视频之上计算出来、并且即使所涉及的内容随后被转换了代码、进行了过滤或者被更改了也基本上不会发生变化的标识符。
从属权利要求中定义了依照本发明的方法和设备的便利实施方案。
此外，本发明还涉及计算机可读介质，在其上存储了使一个或多个处理装置执行依照本发明的方法的指令。
图1a示意地图示出了用于音频和视频信号间同步的指纹对的生成；
图1b示意地图示出了对按照本发明这样生成的用于同步的指纹对的检测；
图2示出了依照本发明的指纹生成设备的示意框图；
图3示出了依照本发明检测并使用指纹的同步设备的示意框图；
图4示出了依照本发明的表/记录的一个例子；
图5示出了第一信号和第二信号中的时间点之间的关系的可选实施方案；
图6示出了第一和第二表示被存储在远程位置的实施方案；
图7示意地且更具体地示出了在一种实施方案中如何在使用缓冲器的同步设备中实现同步。
图1a示意地图示出了用于音频和视频信号之间同步的指纹对的生成。
所示为数字或模拟第一信号101和数字或模拟第二信号103。下文中该第一信号101是音频信号，该第二信号103是视频信号。
必须在一个或多个同步时间点Tn、Tn+1上得出指纹对。这些时间点是根据至少一个预定标准选择的，例如规定一个时间点在音频和/或视频信号的开始、一个时间点在音频和/或视频信号结尾，一个时间点在中间的标准。或者，可以按照如下原则选择时间点：一个时间点在开始，一个时间点是已经经过了给定时间段之后的每个点，例如每隔两分钟或两秒钟一个时间点等等。或者，可以从对基础信号自身的分析得出时间点，例如视频信号中的每个场景变化上一个时间点。根据本发明，为了实现两个信号101、103之间的同步只需要单个时间点Tn、Tn+1。但是，使用更多时间点能够进行更好的同步，例如在信号中的一个(或两个都)被截断或更改等等的情况下就是如此。利用若干时间点的一个例子是当用户如前所述已经记录了一部电影并且购买了原始音轨但已经记录下的电影带有广告时段。通过增加更多同步时间点能够得到更好的同步，在同步时间点位于或接近广告时段的终点时尤其如此。
为音频信号101的每个同步时间点Tn、Tn+1得出一个音频指纹102，并在相同的同步时间点Tn、Tn+1为视频信号得出一个视频指纹104，结果就对每个同步时间点Tn、Tn+1都有一个指纹对102、104。对于给定时间点Tn、Tn+1(音频和/或视频信号)的指纹优选地是在(基本上)从给定时间点开始的一段信号上得出的。或者，该段(基本上)可以在该给定时间点Tn、Tn+1结束，或者，该段(基本上)可以在该给定时间点Tn、Tn+1之前或之后的预定距离处开始或结束，或者该给定时间点Tn、Tn+1可以在该段的起点和终点之间的预定时间点上，或者是任意其它方案，只要在同步期间应用了相同方案来根据指纹确定该给定时间点Tn、Tn+1即可，这点将结合图1b进行更详细描述。
指纹的大小可以是预定的固定大小或者是可变大小。
国际专利申请WO 02/065782(代理人文档号PHNL010110)中说明了一种用于计算健壮指纹的方法，当然可以使用任何用于计算健壮指纹的方法。
欧洲专利申请01200505.4说明了一种为多媒体内容(例如音频剪辑，该音频剪辑被分割成连续(首选重叠)的时间间隔)生成健壮指纹的方法。对每个时间间隔，将频谱分割成频带。计算出每个频带的健壮性(例如，能量)并由各自的指纹位表示。
多媒体内容因而由以二进制值连接组成的指纹表示，每个时间间隔一个指纹。不需要在整个多媒体内容上计算指纹，而是可以在已经接收到了一定长度的一部分时进行计算。因而对一个多媒体内容可以有多个指纹，取决于在哪部分上计算指纹。
此外，从(例如)下列公开可以了解视频指纹识别算法：JobOostveen，Ton Kalker，Jaap Haitsma的“Feature Extraction anda Database strategy for Video Fingerprinting”，117-128页；Shi-Kuo Chang，Zhe Chen，Suh-Yin Lee(Eds)的“Recent Advancesin Visual Information Systems”(2002年三月11-13于台湾新竹举行的第五届国际VISUAL会议论文集，Springer于2002年出版的Computer Science 2314中的讲稿)。
依照本发明，根据音频信号101的一个给定段和视频信号103位于特定时间点上或其附近的一段为每个时间点Tn、Tn+1生成一个音频指纹102和一个视频指纹104。
这样，给定指纹对102、104就是同步标志器，它能够对信号101和103的给定时间点进行非常准确和非常精确的定位，而不用使用具体时间点，相反使用(一段)信号即可。此外，不用改变信号就做到了这一点。即使对视频指纹识别来说，该定位通常也能准确到帧，至少只要视频信号的任何失真不是过于严重。
在已经生成了指纹对102、104之后，首选地将其存储在数据库、存储器、存储设备和/或类似装置中以备后用。
将多媒体信号101、103的指纹对(102、104)而不是多媒体信号自身存储在数据库中有多个优点。下面列出一些：
-降低了对数据库的存储器/存储设备的需求。
-指纹的比较比多媒体信号自身的比较更有效，因为指纹基本上比信号更短。
-在数据库中查找匹配指纹比查找完整的多媒体信号更有效，因为它涉及匹配更短的项目。
-查找匹配指纹更可能成功，因为对多媒体信号的小变动(例如以不同格式进行了编码或改变了位速率)都不影响指纹。
存储在数据库中的生成的指纹对102、104可以随后被(通过因特网或其它方式)分发到一个或多个同步设备，以在回放、存储之前根据本发明进行信号同步，或者进一步传输两个(已同步的)信号。
注意：本发明还适用于多于两个信号的同步以及不是音频和视频的其它类型的信号的同步，只要能够获得健壮指纹即可。原则上，根据本发明可以同步任意数量的信号。这可能只需要对每个附加信号在每个时间点Tn、Tn+1有一个附加的指纹。
或者，可以对各个信号在不同时间点生成指纹对，例如可在每一个信号的25秒处生成指纹对的第一指纹，而在第二信号的第30秒处生成指纹对的第二指纹。但是，这需要每个各自的时间点(例如上述例子中的25秒和30秒)到公共时线/时帧之间有明确的关系。将结合图5更详细地说明这种可选实施方案。
图1b用示意图示出了对根据本发明生成的用于同步的这种指纹的检测。所示为(要同步的)数字或模拟第一信号101和(要同步的)数字或模拟第二信号。下文中该第一信号101是音频信号，该第二信号103是视频信号。还示出了分别根据音频信号101和视频信号103连续或基本上连续生成的第一指纹流105和第二指纹流106。或者，分段生成指纹流105、106。将每个指纹流(或段)105、106与(例如)存储在数据库中的指纹102、104进行比较以确定是否存在匹配。更准确地说，将音频指纹流105和所存储的音频指纹102进行比较，将视频指纹流106和所存储的视频指纹104进行比较。所存储的指纹102、104是按照结合图1a所说明的那样生成的，例如在中心位置上生成。所存储的指纹102、104是例如通过因特网或其它一些方法(例如从中心位置)接收到的。
当发现音频指纹流105的一段和数据库中的给定音频指纹102之间存在匹配，并且在视频指纹流106的一段和数据库中的给定视频指纹104之间也存在匹配时，即当已经找到了匹配的指纹对时，当已经根据本发明并如结合图1a所说明的那样生成了指纹102、104时也就给出了适当的同步时间点Tn、Tn+1。
根据在特定时间点Tn、Tn+1上生成音频指纹102和视频指纹104期间已经使用的方案来确定具体的同步时间点Tn、Tn+1。
优选地，特定的同步时间点Tn、Tn+1，是通过让在(根据图1a)生成指纹期间匹配的指纹对102、104最初所基于的一段音频信号101和一段视频信号103(基本上)从该给定时间点Tn、Tn+1开始而给出的。在可选实施方案中，音频信号101的那一段和视频信号103的那一段(基本上)在该给定时间点Tn、Tn+1结束，音频信号和视频信号101、103的那些段在该给定同步时间点Tn、Tn+1之前或之后的预定距离处开始或结束，或者该给定同步时间点Tn、Tn+1可以在视频信号101和音频信号103的那些段的起始和结束之间的预定时间点上。
该同步设备只需要了解生成期间所用的给定指纹和给定时间点之间的关系，这个关系可以在该同步设备的制造期间确定并实现或者是可更新的。
如前所述，在确定了区配指纹102、104之后，就知道了这对指纹的时间点Tn、Tn+1，并将它当作同步时间点，因为这个时间点直接给出了两个信号101和103之间的参考点。该同步设备随后通过例如移位两个信号中的一个使它们关于该时间点对齐而补偿它们之间的延迟(如果有的话)。
上面提到的国际专利申请WO 02/065782(代理人文档号PHNL010110)说明了用于匹配为音频剪辑计算出的指纹和数据库中存储的指纹的各种匹配策略。匹配表示未知信息信号的指纹和存储在数据库中的已识别信息的多个指纹以标识该未知信号的一种这样的方法使用了提取出的指纹位的可靠性信息。指纹位，是通过计算信息信号的特征并为所述特征设置获得指纹位的阈值而确定出的。如果一个特征的值非常接近该阈值，那么该信号中微小的变化都可能导致具有相反值的指纹位。特征值和该阈值之间的差的绝对值被用来标记各个指纹位可靠或不可靠。可靠性随后被用来改进实际的匹配过程。
这样，即使信号之一(例如视频信号)已经被以较低质量获得、被修改过(例如压缩)等等，也可以达到同步。
请注意音频信号101和/或视频信号103可以是指纹生成期间所用信号即图1a中的信号的失真版本。
如同结合图1a所述那样，可以方便地修改这个实施方案以适应多于两个信号的同步和/或非音频和/或视频的另一种类型的信号的同步。
图2示出了依照本发明的指纹生成设备的示意框图。
所示为指纹生成设备200，包括信号输入模块201、指纹采集模块202、数据库、存储器和/或类似设备203，这些装置通过总线205或类似部件在一个或多个微处理器(未示出)的控制下通信。指纹生成设备200在一种实施方案中还可以任选地包括用于通过有线和/或无线网络(例如因特网)与其它系统、设备等通信的发送器和接收器204。
信号输入模块201接收第一信号101和至少第二信号103。下文中接收到的两个信号包含了模拟或数字的音频信号和视频信号形式的多媒体内容。输入模块201将这两个信号馈送到指纹采集模块202。指纹采集模块202还接收到了将用作同步时间点的时间点(...，Tn，Tn+1，...)的表示。或者，由指纹生成设备200得出时间点。如果时间点由指纹生成设备200提供并且不是由它生成的，那么就不必向指纹生成设备200提供完整的音频信号101和完整的视频信号103。因而，只提供用于生成指纹的音频信号101和视频信号103各自的段就足够了，即每个信号对应每个时间点的一段就足够了。
发送器和接收器204还可负责接收一个或多个信号101和103并将它(们)提供给信号接收器301或者直接提供给指纹检测器302.
指纹采集模块202根据接收到的音频信号101和视频信号103计算指纹。可以为整个内容或一部分内容得出指纹。或者，几个指纹均可以从不同的部分得出。根据本发明，按照结合图1a所述，对每个时间点Tn，Tn+1得出一个指纹。或者，指纹采集模块202可以被分成两个(例如)独立的指纹模块或者由两个独立的指纹模块组成，一个模块用于得出音频指纹，一个模块用于得出视频指纹。
指纹采集模块202随后将计算出的指纹对传送给数据库203。如图4中所示，数据库203包含由视频指纹104“V_FP1”、“V_FP2”、“V_FP3”、“V_FP4”、“V_FP5”等和对应的音频指纹102“A_FP1”、“A_FP2”、“A_FP3”、“A_FP4”、“A_FP5’等组成的一列组织成的视频指纹。
可以用多种方式组织数据库203以优化查询时间和/或数据组织。设计数据库203中的表时应该考虑指纹采集模块202的输出。在图4所示的实施方案中，数据库203包含一张其表项(记录)由各自的指纹对组成的表。
如上所述，可以方便地更改这个示范实施方案以适应多于两个的信号的同步或非音频和/或视频的另一类型的信号的同步。
图3示出了根据本发明检测并使用指纹的同步设备的示意框图。
所示为同步设备300，包括信号接收器301、指纹检测器302、同步电路303、数据库、存储器和/或类似装置203，这些装置在一个或多个微处理器(未示出)的控制下通过总线205或类似部件通信。同步设备300在一种实施方案中还可任选地包括用于通过有线和/或无线网络(例如因特网)与其它系统、设备等通信的发送器和接收器204。
信号接收器301接收到第一信号101和至少第二信号103。下文中接收到的两个信号包含了要同步的模拟或数字音频信号和模拟或数字视频信号形式的多媒体内容。发送器和接收器204还可以负责接收一个或多个信号101和103并将它(们)提供给信号接收器301或者直接提供给指纹检测器302。
接收到的信号被馈送到指纹检测器302，它为每个信号得出指纹流或其的各段并按照结合图1b所述确定与数据库203中存储的指纹对是否存在匹配。如果找到了匹配，也就确定了每个信号的具体同步时间点Tn、Tn+1。每个信号的同步时间点Tn、Tn+1的具体确定，取决于生成特定时间点Tn、Tn+1上音频指纹102和视频指纹104的期间已经使用的方案。
优选地，特定的同步时间点Tn、Tn+1是通过让在(根据图1a)生成指纹期间匹配的指纹对102、104最初所基于的音频信号101的那一段和视频信号103的那一段(基本上)从该给定时间点Tn、Tn+1开始而给出的。在可选实施方案中，音频信号101的那一段和视频信号103的那一段(基本上)在该给定时间点Tn、Tn+1结束，音频信号和视频信号101、103的那些段在该给定同步时间点Tn、Tn+1之前或之后的预定距离处开始或结束，或者该给定同步时间点Tn、Tn+1可以在视频信号101和音频信号103的那些段的起始和结束之间的预定时间点上。
该同步设备只需要了解生成期间所用的给定指纹和给定时间点之间的关系，这个关系可以在该同步设备的制造期间确定并实现或者是可更新的。
如前所述，在确定了匹配指纹对102、104之后，就知道了这对指纹的每个指纹的时间点Tn、Tn+1(不过不必知道其值，而只需要知道其在音频和视频信号中的位置)，并将其当作同步时间点，因为这些时间点直接给出了两个信号101和103之间的参考点。该同步设备，随后通过例如移位两个信号中的一个或两个使它们关于该时间点对齐，来补偿它们之间的延迟或偏移量(如果有的话)。
作为一个简单的例子，假定在根据图1a的指纹生成期间信号101和103的同步时间点在5分34秒。在(根据图1a的)指纹生成期间，可以在音频信号101的5分34秒处或附近(取决于所用方案)得出一个音频指纹，并且在视频信号103的5分34秒处或附近(取决于所用方案)也可以得出一个视频指纹。随后可以存储这两个指纹并将它们发送到用于实施这两个信号间的同步的同步设备。在同步设备中，可以将音频信号的指纹流105和视频信号的指纹流106同存储的两个指纹进行比较。当在所存储的音频指纹和音频指纹流之间找到了匹配时，该指纹流中的匹配位置(例如图1b的105中的Tn)就给出了所用的同步时间点，即应该与5分34秒对应的时间点。同样，当在所存储的视频指纹和视频指纹流之间找到了匹配时，该指纹流中的匹配位置(例如图1b的106中的Tn)就给出了所用的同步时间点，即5分34秒。可以移位这两个信号，但随后可用信号中应该是5分34秒的确切位置(由与所存储的指纹匹配的指纹流的那一段给出)对齐这两个信号。甚至不需要知道或特别得出时间点(5分34秒)的具体值。需要的唯一知识是应该对齐/同步两个信号101、103的指纹匹配位置。例如，5分34秒的同步时间点可能对应于音频信号中的5分34秒(例如，因为这是在音频指纹生成期间使用的原始音轨)并对应于视频信号中的6分零3秒(例如，在该视频信号与视频指纹生成期间所用的原始视频信号相比还包括了广告时段的情况下)。然后，可以用两个时间值(6分零3秒-5分34秒＝29秒)之间的差/偏移量来补偿延迟，例如通过将回放移位以使音频信号和视频信号在同步时间点上被同时播放来进行，并且向前进(在不存在对任一信号进一步修改的情况下，例如额外的广告时段等)。
优选地，数据库203的数据布局与图4所示相一致。
如上所述，可以方便地修改这个实施方案以适应多于两个信号的同步和/或非音频和/或视频的另一种类型的信号的同步。
图4示出了依照本发明的表/记录的一个例子。所示的表包括指纹对102、104。在这个例子中，该表由两列组成，一列包括视频指纹“V_FP1”、“V_FP2”、“V_FP3”、“V_FP4”、“V_FP5”等，另一列包括各自对应的音频指纹102“A_FP1”、“A_FP2”、“A_FP3”、“A_FP4”、“A_FP5”等。
图5示出了第一和第二信号中的时间点之间关系的一种可选实施方案。所示为第一信号101和第二信号103。在这个实施方案中，还示出了第三个或参考或公共或内部时钟/时线107(以下只标示为参考时线)以更好地解释这个实施方案的原理。
在这个特定的可选实施方案的例子中，已经在值为560的第一同步时间点Tn为第一信号101生成了指纹(未示出)。第一信号101的这个特定时间点Tn与由参考时线107表示的参考时帧相关(如箭头所示)，关系到参考时线107上值为8:45:17.23的时间点(表示在Tn＝560的第一信号应该在8:45:17.23出现)。可以将第一信号101的特定时间点Tn之间的这种指示或关系的表示(即，第一表示)与生成的第一指纹相关联并存储在数据库中(例如包括所生成的指纹的数据库或者不同的数据库)，这一点将在以下解释。
此外，已经在值为1800的第二同步时间点Tm为第二信号103生成了指纹(未示出)。第二信号103的这个特定时间点Tm也与由参考时线107所示的相同参考时帧相关(如箭头所示)，关系到参考时线上值为8:45:17.18的时间点(表示在Tm＝1800处的第二信号应该在8:45:17.18出现)。可以将第二信号103的特定时间点Tm之间的这种指示或关系的表示(即，第二表示)与生成的第二指纹相关联并存储在数据库中(例如包括所生成的指纹的数据库或者不同的数据库)，这一点将在以下解释。
例如，在简单情况下，该第一和第二表示可以分别是第一和第二信号的参考时间点。在上面的例子中，值8:45:17.23然后可以被和在Tn＝560处生成的指纹存储在一起，值8:45:17.18然后可以将被和在Tm＝1800生成的指纹存储在一起。
在同步期间，依照这个实施方案的同步设备如同结合图1b所述生成第一和第二指纹流或指纹段。将每个指纹流(或段)与本地或远程数据库中存储的指纹相比较以确定是否存在匹配，也按结合图1b所述进行。当已经找到了匹配的第一和第二指纹时，那么就知道或者能够得出第一同步时间点Tn(即，上例中的560)和第二同步时间点Tm(即，上例中的1800)。然后，利用上述与参考时帧的关系的第一和第二表示就能够确定应该如何根据给定时帧来同步信号。
如上所述，可以将第一和第二表示存储在一个或多个数据库中，并且应该在同步之前将它们传送给同步设备。在一种实施方案中，第一和第二表示被直接从指纹生成设备传送给了同步设备进行存储。或者，可以将第一和第二表示传送给能够与同步设备通信的别的设备，例如一台服务器。将结合图6更详细地阐述这个实施方案。
图6示出了第一和第二表示被存储在远程位置的一种实施方案。所示为分别向音频指纹发生器202和视频指纹发生器202提供音频流和视频流的音频服务器601和视频服务器602。音频和视频指纹发生器202如同结合图2所述那样运行并且可以位于相同或两个不同的指纹发生设备200中。在这个实施方案中，生成的指纹被供应到位于(数据库)服务器600的数据库203，该服务器与同步设备300有通信连接。服务器600还接收并存储例如结合图5所述的每个音频指纹的第一表示和每个视频指纹的第二表示，即音频和视频流的时间点和公共参考时线或时帧之间的关系的表示。
同步设备300如结合图3或图5所述那样运行。它从音频和视频服务器601、602接收要同步的音频和视频流，并生成每个的指纹流或指纹段，并如前所述和表示同步时间点的预定指纹(对应于图1a和1b的102和104)进行比较。可以从指纹发生设备200(如两个虚箭头所示)或从服务器600接收到预定的指纹。如果预定的指纹是从服务器600接收到的，就节省了同步设备300中的存储，同步设备300具有的存储能力可能非常有限。优选地，还从服务器600接收到每个指纹对的第一和第二表示并用来如结合图5所述在回放之前同步音频和视频流。
所述服务器(一个或者多个)可能已经存储了若干不同音频和视频流的预定指纹和/或它们相关联的第一和第二表示。
因此，在一种实施方案中，预定指纹被存储在同步设备200上，而第一和第二表示被存储在一个或多个服务器600上。当已经检测到指纹对时，就将这一对的第一和第二表示从所述服务器(一个或者多个)发送出来，并且被用于同步设备200中。或者，可以在同步开始之前根据(例如)流ID等将给定音频和视频流的所有预定指纹的所有第一和第二表示供应给同步设备200。
在一种可选实施方案中，预定指纹以及它们相关联的第一和第二表示一起仅被存储在一个或多个服务器600。在流同步之前，例如根据流ID或类似信息将指纹和它们相关联的第一和第二表示发送到同步设备200。或者，在同步开始之前只发送指纹，并在检测到匹配指纹时，将相关联的第一和第二表示发送到同步设备200。
请注意：在根据音频和视频流生成指纹和这些流被供应到到同步设备300之间通常会有一段时间。
数据库203可以是可能位于单个或多个服务器的单个数据库或多个数据库。
图7示意地且具体地示出了在一个实施方案中如何在使用缓冲器的同步设备中完成同步。所示为缓冲音频数据的缓冲器701和缓冲视频数据的缓冲器702。对于音频缓冲器701，输入指针I-P表示从音频流到达的下一个音频采样将被放在缓冲器中的位置。输出指针O-P表示将从哪里读出下一个音频采样。输出指针以同步设备的时钟所设置的步调移动到下一个位槽。
对于视频缓冲器702，所示输入指针I-P和输出指针O-P以与针对音频缓冲器701所述相同的方式运行。
根据第一表示(例如，已经位于同步设备中或如前所述从服务器接收到)，调整(即移位)输出指针到缓冲器701中的前一个位槽或后一个位槽。
对于视频缓冲器702第二表示也是如此。
这样，根据第一和第二表示调整输出指针并由此以非常简单的方式同步输出流。
在权利要求中，放在括号中的任何附图标记都不应被看作限制本发明。词组“包括”不排除权利要求中所列部件或步骤之外的部件或步骤的存在。部件之前的“一个”不排除多个这种部件的存在。
可以通过包括若干分立部件的硬件或者适当编程的计算机实现本发明。在枚举了若干装置的设备权利要求中，这些装置中的一些可以由一个且相同的硬件项来实现。在互不相同的从属权利要求中列举了某些措施这一纯粹的事实并不表示：不能够有利地来使用这些措施的组合。

Claims (14)

1.一种同步两个或更多信号的方法，该方法包括下列步骤：
-根据第一信号(101)，生成第一指纹流(105)；
-根据第二信号(103)，生成第二指纹流(106)；
-比较第一指纹流(105)的段和至少一个数据库(203)中存储的一个或多个第一指纹(102)，以便确定是否存在匹配；
-比较第二指纹流(106)的段和至少一个数据库(203)中存储的一个或多个第二指纹(104)，以便确定是否存在匹配；和
-如果对于第一和第二指纹(102；104)都存在匹配，则确定用于第一信号(101)的第一同步时间点(Tn，Tn+1)的位置和用于第二信号(103)的第二同步时间点(Tn，Tn+1；Tm)的位置，并使用所确定的位置来同步第一信号(101)和第二信号(103)。
2.依照权利要求1的方法，其特征在于，同步步骤包括：将第一信号(101)或第二信号(103)延迟一个数量，其中若有的话，该数量等于用于第一信号(101)的第一同步时间点(Tn，Tn+1)的位置和用于第二信号(103)的第二同步时间点(Tn，Tn+1；Tm)的位置之间的差值。
3.依照权利要求1或2的方法，其特征在于，用于第一信号(101)的第一同步时间点(Tn，Tn+1；Tm)的位置通过与在生成匹配第一指纹(102)期间所使用的第一信号(101)的段之间的毫无歧义的关系来给出，而用于第二信号(103)的第二同步时间点(Tn，Tn+1；Tm)的位置通过与在生成匹配第二指纹(104)期间所使用的第二信号(103)的段之间的毫无歧义的关系来给出。
4.依照权利要求1或2的方法，其特征在于，第一和第二同步时间点(Tn；Tn+1；Tm)是相同的。
5.依照权利要求1或2的方法，其特征在于，第一和第二同步时间点(Tn；Tn+1；Tm)是不同的，并且该方法还包括：
-如果对于第一和第二指纹(102；104)都存在匹配，则
-获得第一同步时间点(Tn；Tn+1)和参考时间(107)的第一时间点之间关系的第一表示；
-获得第二同步时间点(Tn；Tn+1；Tm)和所述参考时间(107)的第二时间点之间关系的第二表示；以及
-使用所述参考时间(107)的第一和第二时间点来同步第一信号(101)和第二信号(103)，
-而不是：
-如果对于第一和第二指纹(102；104)都存在匹配，则确定用于第一信号(101)的第一同步时间点(Tn，Tn+1)的位置和用于第二信号(103)的第二同步时间点(Tn，Tn+1；Tm)的位置，并使用所确定的位置来同步第一信号(101)和第二信号(103)。
6.依照权利要求5的方法，其特征在于，该方法还包括下列步骤：
-在同步设备(300)中从服务器(600)接收第一和/或第二表示，其中该服务器与同步设备(300)进行通信连接；和/或
-从该服务器(600)接收一个或多个第一指纹(102)和第二指纹(104)。
7.依照权利要求1或2的方法，其特征在于，所述第一信号(101)是音频信号，所述第二信号(103)是视频信号，所述第一指纹(102)是音频指纹，并且所述第二指纹(104)是视频指纹。
8.一种用于同步两个或更多信号的同步设备(300)，该设备包括：
-用于根据第一信号(101)生成第一指纹流(105)的装置(302)；
-用于根据第二信号(103)生成第二指纹流(106)的装置(302)；
-用于比较第一指纹流(105)的段和至少一个数据库(203)中存储的一个或多个第一指纹(102)以便确定是否存在匹配的装置(302)；
-用于比较第二指纹流(106)的段和至少一个数据库(203)中存储的一个或多个第二指纹(104)以便确定是否存在匹配的装置(302)；和
-用于在对于第一和第二指纹(102；104)都存在匹配时确定用于第一信号(101)的第一同步时间点(Tn；Tn+1)的位置和确定用于第二信号(103)的第二同步时间点(Tn；Tn+1；Tm)的位置的装置(302)；和
用于使用所确定的位置来同步第一信号(101)和第二信号(103)的装置(303)。
9.依照权利要求8的设备，其特征在于，用于同步的装置(303)适合于：将第一信号(101)或第二信号(103)延迟一个数量，其中若有的话，该数量等于用于第一信号(101)的第一同步时间点(Tn；Tn+1)的位置和用于第二信号(103)的第二同步时间点(Tn；Tn+1；Tm)的位置之间的差值。
10.依照权利要求8或9的设备，其特征在于，用于第一信号(101)的第一同步时间点(Tn，Tn+1；Tm)的位置通过与在生成匹配第一指纹(102)期间所使用的第一信号(101)的段之间的毫无歧义的关系来给出，而用于第二信号(103)的第二同步时间点(Tn，Tn+1；Tm)的位置通过与在生成匹配第二指纹(104)期间所使用的第二信号(103)的段之间的毫无歧义的关系来给出。
11.依照权利要求8或9的设备，其特征在于，第一和第二同步时间点(Tn；Tn+1；Tm)是相同的。
12.依照权利要求8或9的设备，其特征在于，第一和第二同步时间点(Tn；Tn+1；Tm)是不同的，并且该设备还包括：
-如果对于第一和第二指纹(102；104)都存在匹配，
-用于获得第一同步时间点(Tn；Tn+1)和参考时间(107)的第一时间点之间关系的第一表示的接收器(204)；
-用于获得第二同步时间点(Tn；Tn+1；Tm)和所述参考时间(107)的第二时间点之间关系的第二表示的接收器(204)；和
-用于使用所述参考时间(107)的第一和第二时间点来同步第一信号(101)和第二信号(103)的同步装置(303)，
-而不是包括：
-用于在对于第一和第二指纹(102；104)都存在匹配时确定用于第一信号(101)的第一同步时间点(Tn；Tn+1)的位置和确定用于第二信号(103)的第二同步时间点(Tn；Tn+1；Tm)的位置的装置(302)；和
用于使用所确定的位置来同步第一信号(101)和第二信号(103)的装置(303)。
13.依照权利要求12的设备，其特征在于，该设备还包括：
-用于在同步设备(300)中从服务器(600)接收第一和/或第二表示的接收器(204)，其中该服务器与同步设备(300)进行通信连接；和/或
-用于从服务器(600)接收一个或多个第一指纹(102)和第二指纹(104)的接收器(204)。
14.依照权利要求8或9的设备，其特征在于，所述第一信号(101)是音频信号，所述第二信号(103)是视频信号，所述第一指纹(102)是音频指纹，并且所述第二指纹(104)是视频指纹。
CNB2004800214039A 2003-07-25 2004-07-20 生成并检测用于同步音频和视频的指纹的方法和设备 Expired - Fee Related CN100521781C (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP03102301.3 2003-07-25
EP03102301 2003-07-25

Publications (2)

Publication Number Publication Date
CN1830211A CN1830211A (zh) 2006-09-06
CN100521781C true CN100521781C (zh) 2009-07-29

Family

ID=34089696

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB2004800214039A Expired - Fee Related CN100521781C (zh) 2003-07-25 2004-07-20 生成并检测用于同步音频和视频的指纹的方法和设备

Country Status (8)

Country Link
US (4) US7907211B2 (zh)
EP (1) EP1652385B1 (zh)
JP (1) JP2006528859A (zh)
KR (1) KR20060037403A (zh)
CN (1) CN100521781C (zh)
AT (1) ATE373389T1 (zh)
DE (1) DE602004008936T2 (zh)
WO (1) WO2005011281A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104980820A (zh) * 2015-06-17 2015-10-14 小米科技有限责任公司 多媒体文件播放方法及装置
US11234050B2 (en) * 2019-06-18 2022-01-25 Roku, Inc. Use of steganographically-encoded data as basis to control dynamic content modification as to at least one modifiable-content segment identified based on fingerprint analysis
US11962846B2 (en) * 2021-12-14 2024-04-16 Roku, Inc. Use of steganographically-encoded data as basis to control dynamic content modification as to at least one modifiable-content segment identified based on fingerprint analysis

Families Citing this family (125)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6560349B1 (en) * 1994-10-21 2003-05-06 Digimarc Corporation Audio monitoring using steganographic information
US7224819B2 (en) 1995-05-08 2007-05-29 Digimarc Corporation Integrating digital watermarks in multimedia content
US6411725B1 (en) * 1995-07-27 2002-06-25 Digimarc Corporation Watermark enabled video objects
US6505160B1 (en) * 1995-07-27 2003-01-07 Digimarc Corporation Connected audio and other media objects
US7689532B1 (en) 2000-07-20 2010-03-30 Digimarc Corporation Using embedded data with file sharing
US7020304B2 (en) * 2002-01-22 2006-03-28 Digimarc Corporation Digital watermarking and fingerprinting including synchronization, layering, version control, and compressed embedding
ATE373389T1 (de) 2003-07-25 2007-09-15 Koninkl Philips Electronics Nv Verfahren und einrichtung zur erzeugung und erkennung von fingerabdrücken zur synchronisierung von audio und video
US8554681B1 (en) * 2003-11-03 2013-10-08 James W. Wieder Providing “identified” compositions and digital-works
US8407752B2 (en) * 2004-03-18 2013-03-26 Digimarc Corporation Synchronizing broadcast content with corresponding network content
US8870639B2 (en) 2004-06-28 2014-10-28 Winview, Inc. Methods and apparatus for distributed gaming over a mobile device
US8376855B2 (en) 2004-06-28 2013-02-19 Winview, Inc. Methods and apparatus for distributed gaming over a mobile device
US10226698B1 (en) 2004-07-14 2019-03-12 Winview, Inc. Game of skill played by remote participants utilizing wireless devices in connection with a common game event
DE102005014477A1 (de) 2005-03-30 2006-10-12 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum Erzeugen eines Datenstroms und zum Erzeugen einer Multikanal-Darstellung
RU2007144588A (ru) * 2005-06-03 2009-06-10 Конинклейке Филипс Электроникс Н.В. (Nl) Гомоморфное шифрование для защиты водяного знака
EP1904196A2 (en) 2005-06-20 2008-04-02 Airplay Network, Inc. Method of and system for managing client resources and assets for activities on computing devices
US10721543B2 (en) 2005-06-20 2020-07-21 Winview, Inc. Method of and system for managing client resources and assets for activities on computing devices
DE102005045628B3 (de) * 2005-06-22 2007-01-11 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum Ermitteln einer Stelle in einem Film, der in einer zeitlichen Folge aufgebrachte Filminformationen aufweist
DE102005045627A1 (de) * 2005-06-22 2007-01-25 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum Durchführen einer Korrelation zwischen einem Testtonsignal, das mit variabler Geschwindigkeit abspielbar ist, und einem Referenztonsignal
WO2006137762A1 (en) * 2005-06-23 2006-12-28 Telefonaktiebolaget Lm Ericsson (Publ) Method for synchronizing the presentation of media streams in a mobile communication system and terminal for transmitting media streams
US7764713B2 (en) * 2005-09-28 2010-07-27 Avaya Inc. Synchronization watermarking in multimedia streams
JP2007097076A (ja) * 2005-09-30 2007-04-12 Fujifilm Corp 撮影日時修正装置、撮影日時修正方法及びプログラム
US8149530B1 (en) 2006-04-12 2012-04-03 Winview, Inc. Methodology for equalizing systemic latencies in television reception in connection with games of skill played in connection with live television programming
US9919210B2 (en) 2005-10-03 2018-03-20 Winview, Inc. Synchronized gaming and programming
US8705195B2 (en) 2006-04-12 2014-04-22 Winview, Inc. Synchronized gaming and programming
US9511287B2 (en) 2005-10-03 2016-12-06 Winview, Inc. Cellular phone games based upon television archives
US8358375B2 (en) * 2005-10-27 2013-01-22 National University Corporation Chiba University Method and device for accurately and easily measuring a time difference between video and audio
JP2009521170A (ja) * 2005-12-22 2009-05-28 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 透かしによるスクリプト同期化方法
US10556183B2 (en) 2006-01-10 2020-02-11 Winview, Inc. Method of and system for conducting multiple contest of skill with a single performance
US8002618B1 (en) 2006-01-10 2011-08-23 Winview, Inc. Method of and system for conducting multiple contests of skill with a single performance
US9056251B2 (en) 2006-01-10 2015-06-16 Winview, Inc. Method of and system for conducting multiple contests of skill with a single performance
US20080086311A1 (en) * 2006-04-11 2008-04-10 Conwell William Y Speech Recognition, and Related Systems
US11082746B2 (en) 2006-04-12 2021-08-03 Winview, Inc. Synchronized gaming and programming
MX2008015819A (es) * 2006-06-13 2009-01-12 Koninkl Philips Electronics Nv Impresion digital, aparato, metodo de identificacion y sincronizacion de video.
US7661121B2 (en) 2006-06-22 2010-02-09 Tivo, Inc. In-band data recognition and synchronization system
DE102006036562B4 (de) * 2006-08-04 2014-04-10 Hewlett-Packard Development Co., L.P. Verfahren und System zum Übertragen aufeinander bezogener Datenströme oder/und zum Synchronisieren aufeinander bezogener Datenströme
US8300877B2 (en) * 2007-02-20 2012-10-30 Sony Mobile Communications Ab Copy protected information distribution
US20080260350A1 (en) * 2007-04-18 2008-10-23 Cooper J Carl Audio Video Synchronization Stimulus and Measurement
JP5090523B2 (ja) * 2007-06-06 2012-12-05 ドルビー ラボラトリーズ ライセンシング コーポレイション 複数の検索の組み合わせを使用して、オーディオ／ビデオの指紋検索精度を改善する方法及び装置
CN101409614B (zh) 2007-10-12 2011-04-13 华为技术有限公司 一种数据同步方法、系统和设备
US8813112B1 (en) 2007-10-23 2014-08-19 Winview, Inc. Method of and apparatus for utilizing SMS while running an application on a mobile device controlling a viewer's participation with a broadcast
DE102008009024A1 (de) * 2008-02-14 2009-08-27 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum synchronisieren von Mehrkanalerweiterungsdaten mit einem Audiosignal und zum Verarbeiten des Audiosignals
US8644377B2 (en) * 2008-04-14 2014-02-04 Cisco Technology Inc. System and method for embedding data in video
US9510044B1 (en) * 2008-06-18 2016-11-29 Gracenote, Inc. TV content segmentation, categorization and identification and time-aligned applications
US8347408B2 (en) * 2008-06-30 2013-01-01 Cisco Technology, Inc. Matching of unknown video content to protected video content
US8259177B2 (en) * 2008-06-30 2012-09-04 Cisco Technology, Inc. Video fingerprint systems and methods
US20090327334A1 (en) * 2008-06-30 2009-12-31 Rodriguez Arturo A Generating Measures of Video Sequences to Detect Unauthorized Use
CN102177726B (zh) 2008-08-21 2014-12-03 杜比实验室特许公司 用于音频和视频签名生成和检测的特征优化和可靠性估计
US9716918B1 (en) 2008-11-10 2017-07-25 Winview, Inc. Interactive advertising system
US10880340B2 (en) 2008-11-26 2020-12-29 Free Stream Media Corp. Relevancy improvement through targeting of information based on data gathered from a networked device associated with a security sandbox of a client device
US10419541B2 (en) 2008-11-26 2019-09-17 Free Stream Media Corp. Remotely control devices over a network without authentication or registration
US9986279B2 (en) 2008-11-26 2018-05-29 Free Stream Media Corp. Discovery, access control, and communication with networked services
US9519772B2 (en) 2008-11-26 2016-12-13 Free Stream Media Corp. Relevancy improvement through targeting of information based on data gathered from a networked device associated with a security sandbox of a client device
US9961388B2 (en) 2008-11-26 2018-05-01 David Harrison Exposure of public internet protocol addresses in an advertising exchange server to improve relevancy of advertisements
US9154942B2 (en) 2008-11-26 2015-10-06 Free Stream Media Corp. Zero configuration communication between a browser and a networked media device
US10334324B2 (en) 2008-11-26 2019-06-25 Free Stream Media Corp. Relevant advertisement generation based on a user operating a client device communicatively coupled with a networked media device
US8180891B1 (en) 2008-11-26 2012-05-15 Free Stream Media Corp. Discovery, access control, and communication with networked services from within a security sandbox
US10631068B2 (en) 2008-11-26 2020-04-21 Free Stream Media Corp. Content exposure attribution based on renderings of related content across multiple devices
US10567823B2 (en) 2008-11-26 2020-02-18 Free Stream Media Corp. Relevant advertisement generation based on a user operating a client device communicatively coupled with a networked media device
US10977693B2 (en) 2008-11-26 2021-04-13 Free Stream Media Corp. Association of content identifier of audio-visual data with additional data through capture infrastructure
EP2356817B1 (en) * 2008-12-08 2017-04-12 Telefonaktiebolaget LM Ericsson (publ) Device and method for synchronizing received audio data with video data
CN101763848B (zh) * 2008-12-23 2013-06-12 王宏宇 一种用于音频内容识别的同步方法
US8934545B2 (en) * 2009-02-13 2015-01-13 Yahoo! Inc. Extraction of video fingerprints and identification of multimedia using video fingerprinting
GB2470201A (en) * 2009-05-12 2010-11-17 Nokia Corp Synchronising audio and image data
CN101594527B (zh) * 2009-06-30 2011-01-05 成都艾索语音技术有限公司 从音频视频流中高精度检测模板的两阶段方法
US9615140B1 (en) 2010-05-27 2017-04-04 Edward Malinowski Method and device for delivery of subtitle synchronized with a media stream
US8300147B2 (en) * 2010-06-02 2012-10-30 Disney Enterprises, Inc. System and method for in-band A/V timing measurement of serial digital video signals
US8531603B2 (en) 2010-06-02 2013-09-10 Disney Enterprises, Inc. System and method for in-band A/V timing measurement of serial digital video signals
US8384827B2 (en) 2010-06-02 2013-02-26 Disney Enterprises, Inc. System and method for in-band A/V timing measurement of serial digital video signals
KR101884483B1 (ko) * 2010-07-21 2018-08-01 디-박스 테크놀러지스 인코포레이트 미디어 인식 및 움직임 신호와의 동기화
US10515523B2 (en) 2010-07-21 2019-12-24 D-Box Technologies Inc. Media recognition and synchronization to a motion signal
US8965026B2 (en) * 2011-06-10 2015-02-24 Canopy Co. Method and apparatus for remote capture of audio in a handheld device
US8928809B2 (en) * 2010-09-15 2015-01-06 Verizon Patent And Licensing Inc. Synchronizing videos
US8736700B2 (en) * 2010-09-30 2014-05-27 Apple Inc. Techniques for synchronizing audio and video data in an image signal processing system
US20120134529A1 (en) * 2010-11-28 2012-05-31 Pedro Javier Vazquez Method and apparatus for applying of a watermark to a video during download
US9075806B2 (en) 2011-02-22 2015-07-07 Dolby Laboratories Licensing Corporation Alignment and re-association of metadata for media streams within a computing device
US9967600B2 (en) * 2011-05-26 2018-05-08 Nbcuniversal Media, Llc Multi-channel digital content watermark system and method
US8717499B2 (en) * 2011-09-02 2014-05-06 Dialogic Corporation Audio video offset detector
US8586847B2 (en) * 2011-12-02 2013-11-19 The Echo Nest Corporation Musical fingerprinting based on onset intervals
US8625027B2 (en) 2011-12-27 2014-01-07 Home Box Office, Inc. System and method for verification of media content synchronization
US9292894B2 (en) 2012-03-14 2016-03-22 Digimarc Corporation Content recognition and synchronization using local caching
US9553756B2 (en) * 2012-06-01 2017-01-24 Koninklijke Kpn N.V. Fingerprint-based inter-destination media synchronization
CN104584571B (zh) * 2012-06-28 2018-01-09 谷歌公司 在机顶盒处产生音频指纹序列
US20140074466A1 (en) * 2012-09-10 2014-03-13 Google Inc. Answering questions using environmental context
US9661361B2 (en) 2012-09-19 2017-05-23 Google Inc. Systems and methods for live media content matching
US9460204B2 (en) 2012-10-19 2016-10-04 Sony Corporation Apparatus and method for scene change detection-based trigger for audio fingerprinting analysis
WO2014091281A1 (en) * 2012-12-13 2014-06-19 Nokia Corporation An apparatus aligning audio signals in a shared audio scene
CN103051921B (zh) * 2013-01-05 2014-12-24 北京中科大洋科技发展股份有限公司 一种精确检测视音频处理系统视频、音频同步误差的方法
JP6360281B2 (ja) * 2013-01-07 2018-07-18 日本放送協会 同期情報生成装置およびそのプログラム、同期データ再生装置およびそのプログラム
US8699862B1 (en) * 2013-02-06 2014-04-15 Google Inc. Synchronized content playback related to content recognition
US9161074B2 (en) 2013-04-30 2015-10-13 Ensequence, Inc. Methods and systems for distributing interactive content
KR101463864B1 (ko) * 2013-08-07 2014-11-21 (주)엔써즈 직접 반응 광고 검출 및 분류 시스템 및 방법
WO2015039891A1 (en) * 2013-09-20 2015-03-26 Koninklijke Kpn N.V. Correlating timeline information between media streams
WO2015039888A1 (en) * 2013-09-20 2015-03-26 Koninklijke Kpn N.V. Correlating timeline information between media streams
US9426336B2 (en) * 2013-10-02 2016-08-23 Fansmit, LLC System and method for tying audio and video watermarks of live and recorded events for simulcasting alternative audio commentary to an audio channel or second screen
EP2876890A1 (en) * 2013-11-21 2015-05-27 Thomson Licensing Method and apparatus for frame accurate synchronization of video streams
GB2522260A (en) * 2014-01-20 2015-07-22 British Broadcasting Corp Method and apparatus for determining synchronisation of audio signals
JP6429291B2 (ja) * 2014-06-30 2018-11-28 Ｎｅｃディスプレイソリューションズ株式会社 表示装置、表示方法、及び表示プログラム
US9905233B1 (en) 2014-08-07 2018-02-27 Digimarc Corporation Methods and apparatus for facilitating ambient content recognition using digital watermarks, and related arrangements
US10341342B2 (en) * 2015-02-05 2019-07-02 Carrier Corporation Configuration data based fingerprinting for access to a resource
DE102015001622A1 (de) 2015-02-09 2016-08-11 Unify Gmbh & Co. Kg Verfahren zur Übertragung von Daten in einem Multimedia-System, sowie Softwareprodukt und Vorrichtung zur Steuerung der Übertragung von Daten in einem Multimedia-System
WO2017015759A1 (en) * 2015-07-30 2017-02-02 Amp Me Inc. Synchronized playback of streamed audio content by multiple internet-capable portable devices
TWI625059B (zh) * 2015-08-17 2018-05-21 新加坡商雲網科技新加坡有限公司 終端設備、及音訊視訊同步檢測方法
GB2545181A (en) 2015-12-07 2017-06-14 Fujitsu Ltd Synchronisation device, method, program and system
KR20170067546A (ko) * 2015-12-08 2017-06-16 한국전자통신연구원 오디오 신호 및 비디오 신호의 동기화 시스템 및 그 방법
US9516373B1 (en) 2015-12-21 2016-12-06 Max Abecassis Presets of synchronized second screen functions
US9596502B1 (en) 2015-12-21 2017-03-14 Max Abecassis Integration of multiple synchronization methodologies
EP3398286B1 (en) 2016-02-25 2020-07-15 Amp Me Inc. Synchronizing playback of digital media content
US10149022B2 (en) * 2016-03-09 2018-12-04 Silveredge Technologies Pvt. Ltd. Method and system of auto-tagging brands of television advertisements
US9813659B1 (en) * 2016-05-11 2017-11-07 Drone Racing League, Inc. Diversity receiver
US10015612B2 (en) 2016-05-25 2018-07-03 Dolby Laboratories Licensing Corporation Measurement, verification and correction of time alignment of multiple audio channels and associated metadata
US11551529B2 (en) 2016-07-20 2023-01-10 Winview, Inc. Method of generating separate contests of skill or chance from two independent events
US10462512B2 (en) * 2017-03-31 2019-10-29 Gracenote, Inc. Music service with motion video
US11134279B1 (en) 2017-07-27 2021-09-28 Amazon Technologies, Inc. Validation of media using fingerprinting
US10158907B1 (en) 2017-10-10 2018-12-18 Shazam Investments Ltd. Systems and methods for performing playout of multiple media recordings based on a matching segment among the recordings
US11049507B2 (en) 2017-10-25 2021-06-29 Gracenote, Inc. Methods, apparatus, and articles of manufacture to identify sources of network streaming services
US10726852B2 (en) 2018-02-19 2020-07-28 The Nielsen Company (Us), Llc Methods and apparatus to perform windowed sliding transforms
US10733998B2 (en) 2017-10-25 2020-08-04 The Nielsen Company (Us), Llc Methods, apparatus and articles of manufacture to identify sources of network streaming services
US10629213B2 (en) 2017-10-25 2020-04-21 The Nielsen Company (Us), Llc Methods and apparatus to perform windowed sliding transforms
KR102037221B1 (ko) 2017-11-06 2019-10-29 주식회사 아이티밥 오디오 핑거프린트 매칭 방법
KR102037220B1 (ko) 2017-11-06 2019-10-29 주식회사 아이티밥 오디오 핑거프린트 매칭 시스템
BR112020012544A2 (pt) * 2017-12-22 2020-11-24 Nativewaves Gmbh método para sincronizar um sinal adicional com um sinal primário
TW201931863A (zh) * 2018-01-12 2019-08-01 圓剛科技股份有限公司 多媒體訊號的同步設備及其同步方法
US11308765B2 (en) 2018-10-08 2022-04-19 Winview, Inc. Method and systems for reducing risk in setting odds for single fixed in-play propositions utilizing real time input
KR102439201B1 (ko) * 2020-09-14 2022-09-01 네이버 주식회사 멀티미디어 콘텐츠와 음원을 동기화하기 위한 전자 장치 및 그의 동작 방법
CN115174960B (zh) * 2022-06-21 2023-08-15 咪咕文化科技有限公司 音视频同步方法、装置、计算设备及存储介质

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5019899A (en) * 1988-11-01 1991-05-28 Control Data Corporation Electronic data encoding and recognition system
US6611607B1 (en) * 1993-11-18 2003-08-26 Digimarc Corporation Integrating digital watermarks in multimedia content
US6324694B1 (en) * 1996-09-06 2001-11-27 Intel Corporation Method and apparatus for providing subsidiary data synchronous to primary content data
US20020120925A1 (en) * 2000-03-28 2002-08-29 Logan James D. Audio and video program recording, editing and playback systems using metadata
US7756892B2 (en) * 2000-05-02 2010-07-13 Digimarc Corporation Using embedded data with file sharing
US6737957B1 (en) 2000-02-16 2004-05-18 Verance Corporation Remote control signaling using audio watermarks
US6642966B1 (en) 2000-11-06 2003-11-04 Tektronix, Inc. Subliminally embedded keys in video for synchronization
AU2002232817A1 (en) * 2000-12-21 2002-07-01 Digimarc Corporation Methods, apparatus and programs for generating and utilizing content signatures
US7461002B2 (en) * 2001-04-13 2008-12-02 Dolby Laboratories Licensing Corporation Method for time aligning audio signals using characterizations based on auditory events
US20030014755A1 (en) * 2001-07-13 2003-01-16 Williams Marvin Lynn Method and system for processing correlated audio-video segments with digital signatures within a broadcast system
KR20040086350A (ko) * 2002-02-05 2004-10-08 코닌클리케 필립스 일렉트로닉스 엔.브이. 핑거프린트의 효율적 저장
DE60323086D1 (de) * 2002-04-25 2008-10-02 Landmark Digital Services Llc Robuster und invarianter audiomustervergleich
US7519819B2 (en) * 2002-05-29 2009-04-14 Digimarc Corporatino Layered security in digital watermarking
US7461392B2 (en) * 2002-07-01 2008-12-02 Microsoft Corporation System and method for identifying and segmenting repeating media objects embedded in a stream
US20060129822A1 (en) * 2002-08-26 2006-06-15 Koninklijke Philips Electronics, N.V. Method of content identification, device, and software
JP4456004B2 (ja) * 2003-02-14 2010-04-28 トムソン ライセンシング メディア・サービスの再生自動同期化方法および装置
US7359006B1 (en) * 2003-05-20 2008-04-15 Micronas Usa, Inc. Audio module supporting audio signature
US20040240562A1 (en) * 2003-05-28 2004-12-02 Microsoft Corporation Process and system for identifying a position in video using content-based video timelines
ATE373389T1 (de) 2003-07-25 2007-09-15 Koninkl Philips Electronics Nv Verfahren und einrichtung zur erzeugung und erkennung von fingerabdrücken zur synchronisierung von audio und video

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
An Efficient Database Search Strategy For AudioFingerprinting. Jaao Haitsma,Ton Kalker,Job Oostveen.IEEE. 2002

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104980820A (zh) * 2015-06-17 2015-10-14 小米科技有限责任公司 多媒体文件播放方法及装置
US11234050B2 (en) * 2019-06-18 2022-01-25 Roku, Inc. Use of steganographically-encoded data as basis to control dynamic content modification as to at least one modifiable-content segment identified based on fingerprint analysis
US20220109912A1 (en) * 2019-06-18 2022-04-07 Roku, Inc. Use of Steganographically-Encoded Data as Basis to Control Dynamic Content Modification as to at Least One Modifiable-Content Segment Identified Based on Fingerprint Analysis
US11962846B2 (en) * 2021-12-14 2024-04-16 Roku, Inc. Use of steganographically-encoded data as basis to control dynamic content modification as to at least one modifiable-content segment identified based on fingerprint analysis

Also Published As

Publication number Publication date
US20150003799A1 (en) 2015-01-01
CN1830211A (zh) 2006-09-06
WO2005011281A1 (en) 2005-02-03
EP1652385A1 (en) 2006-05-03
US20080062315A1 (en) 2008-03-13
JP2006528859A (ja) 2006-12-21
DE602004008936T2 (de) 2008-06-19
US8358376B2 (en) 2013-01-22
DE602004008936D1 (de) 2007-10-25
US8817183B2 (en) 2014-08-26
US20110128444A1 (en) 2011-06-02
KR20060037403A (ko) 2006-05-03
ATE373389T1 (de) 2007-09-15
US20130128115A1 (en) 2013-05-23
US7907211B2 (en) 2011-03-15
EP1652385B1 (en) 2007-09-12

Similar Documents

Publication Publication Date Title
CN100521781C (zh) 生成并检测用于同步音频和视频的指纹的方法和设备
JP2021530927A (ja) フレーム精度のコンテンツ修正の円滑化を支援する、低レートフィンガープリンティングを用いた補間に基づく時間マッピングの確立及び使用
CN101681664B (zh) 用于在音频信号内确定时间点的方法
JP2007528144A (ja) マルチメディア信号おいてトリガーマーカとして機能するフィンガープリントを生成及び検出する方法及び装置
KR20150095957A (ko) 미디어 스트림의 샘플을 처리하는 방법 및 시스템
US20180367868A1 (en) System for low-latency detection of known audio video content using audio fingerprinting and audio watermarking
US11736746B2 (en) Use of steganographically-encoded time information as basis to establish a time offset, to facilitate taking content-related action
US11792254B2 (en) Use of in-band metadata as basis to access reference fingerprints to facilitate content-related action
US11395048B2 (en) Timely addition of human-perceptible audio to mask an audio watermark
US20230403416A1 (en) Method and system for re-uniting metadata with media-stream content at a media client, to facilitate action by the media client
CN111656795A (zh) 用于使附加信号与主要信号同步的方法
US11418826B2 (en) Content-modification system with supplemental content stitching feature
KR102320670B1 (ko) 데이터 동기화 시스템 및 방법
US20210360305A1 (en) Content-Modification System with Unscheduling Feature

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C17 Cessation of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20090729

Termination date: 20110720