CN1150772C - 检测数字视频图象序列中的淡变的方法及装置 - Google Patents
检测数字视频图象序列中的淡变的方法及装置 Download PDFInfo
- Publication number
- CN1150772C CN1150772C CNB981199216A CN98119921A CN1150772C CN 1150772 C CN1150772 C CN 1150772C CN B981199216 A CNB981199216 A CN B981199216A CN 98119921 A CN98119921 A CN 98119921A CN 1150772 C CN1150772 C CN 1150772C
- Authority
- CN
- China
- Prior art keywords
- frame
- variance
- fade
- fades
- subarea
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 230000033001 locomotion Effects 0.000 claims abstract description 80
- 230000003068 static effect Effects 0.000 claims abstract description 44
- 238000000034 method Methods 0.000 claims abstract description 41
- 238000010606 normalization Methods 0.000 claims description 7
- 238000005562 fading Methods 0.000 abstract description 22
- 238000012935 Averaging Methods 0.000 abstract 1
- 230000006870 function Effects 0.000 description 28
- 238000012360 testing method Methods 0.000 description 19
- 239000013598 vector Substances 0.000 description 14
- 238000001514 detection method Methods 0.000 description 12
- 238000004364 calculation method Methods 0.000 description 6
- 241000533950 Leucojum Species 0.000 description 4
- 238000013459 approach Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000007619 statistical method Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 230000006835 compression Effects 0.000 description 3
- 238000007906 compression Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000004744 fabric Substances 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 1
- 230000010006 flight Effects 0.000 description 1
- 239000012634 fragment Substances 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
- H04N19/87—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving scene cut or scene change detection in combination with video compression
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/147—Scene change detection
Abstract
一种检测数字视频图象中的静态淡变的方法。确定连续图象中相应位置的像素的亮度差。确定亮度差的方差,然后根据亮度差的平均方值归一化该方差以产生一个淡变指数Jn。该淡变指数与淡变阈值,例如为0.9相比较以确定是否指示淡变。也可选择通过把亮度差的均方值与运动阈值相比较,从而作出检查以证实指示静态淡变。本技术方案适用于帧模式和场模式视频序列。如果数字图象包括场模式视频,其中每个图象具有第一和第二场,分别地确定每个场的淡变指数,对每个场的淡变指数求平均值而得到一个总淡变指数。本发明还提供了一种用于在逐宏块基础上检测静态淡变的方案。
Description
技术领域
本发明涉及一种检测数字视频图象,如视频帧中的静态淡变的方法和装置。本发明还提供一种检测视频图象中单个宏块的静态淡变的方法和装置。本发明特别适用于检测源视频图象中周围光强的暂时波动。由于淡变具有可靠的检测,编码效率可被提高。
背景技术
最近,数字视频传输格式已日益广泛地用于向消费者的家庭提供电视和其他的声频,视频和/或数据服务。这类的节目可经过直接广播卫星链路,有线电视网,电话网,或其他的广播设备传输给消费者的家庭。除了提供新的和扩展的节目的外,数字视频还能够提供比传统的模拟电视广播具有更高质量的图象和音质。
为了在可用的频带宽度范围内传输数字视频信号,就必须对数据进行压缩。特别是,空间压缩技术利用了一帧中的相邻像素之间或像素块之间的相关性的优点,而时间技术利用了连续视频帧中的像素之间或像素块之间的相关性的优点。此外,运动补偿技术能够提供更大的时间压缩。
然而,为了提供视频帧序列的最佳压缩,就希望具有能够检测图象序列中淡入或淡出的能力。淡入是指超过两帧或更多帧或其他图象的光强逐渐地增强,而淡出是指光强逐渐地减弱。例如,电影摄影机和其他的视频编辑机使用淡变技术,从而在节目线中产生奇特的效果或强调其变化。
例如,那些符合MPEG-2标准的数字视频编码器中的当前运动估算硬件使用了块匹配算法,目的使预测中的绝对误差的总和为最小。然而,这种方法不能解决光强的时间变化,例如源视频中的淡入和淡出的问题。运动图象专家小组(MPEG)标准的具体细节可以在文件ISO/IECJTC1/SC29/WG11 NO702中查到,它是1994年3月25日公开的标题为“信息技术-运动图象和相关音频的通用编码,建议H.262”。
希望的是检测静态淡变,即静止景象或包含少量运动的景象中的淡入或淡出效果,以便对视频进行更有效地编码。特别是,如果检测静态淡变时,运动矢量可被强制为零,因此,更少的数据被编码和传输。
用于检测淡变的方法有很多种。例如,计算每帧的像素亮度值的总和。如果总和中帧到帧之间的变化超过一预先设定的阈值时,则一幕景象就被分类为一次淡变。在另一种方法中,是计算当前帧与先前帧之间的像素亮度差的总和。如果该总和超过一预先设定的阈值时,则一幕景象就被分类为一次淡变。这些方法在数学上是等效的,虽然使用的装置不相同,但是他们通常需要相同数量的硬件。然而这些方法对于包含大量运动的复杂景象通常是不可靠的。
另一种方法,是计算当前帧与先前帧之间的像素差的直方图。然后通过检验直方图来检测淡变。这种方法比较可靠,但是需要实现直方图的计算器的硬件相对来说比较复杂和昂贵。
因此,就非常希望具有一种检测视频图象序列的淡变的方法和装置,这种方法通过使用低成本的硬件就能相对简单地实现淡变检测,且仅需要对现存的电视电影传送装置或电视的检测硬件进行较少的修改。该方案通过分辨诸如静止图象和包含慢速移动目标的图象的非淡变景象就能避免错误的淡变指示。
而且,该方案也与现存的数字视频通信系统,包括MPEG-1,MPEG-2,MPEG-4,ISO/IEC H.261(电视会议),和ISO/IEC H.263兼容。此外,该系统还与各种彩色电视广播标准,例如北美洲使用的国家电视标准委员会(NTSC)制定的标准,和欧洲使用的逐行倒相制(PAL)标准相兼容,该系统还可与帧和场模式视频相兼容。
人们还希望具有一种用于例如通过在一视频帧中逐宏块的基础上,检测一视频图象的子区上的静态淡变,并使相应的运动矢量设定为零的方案。
发明内容
本发明提供了一种具有上述和其他优点的系统。
根据本发明,它提供了一种用于检测数字视频图象中的静态淡变的方法和装置。
一种检测数字视频图象序列中的淡变的方法,包括有步骤:确定第一和第二图象之间的像素亮度差dn的步骤。确定处于第一和第二图象中相应(x,y)位置的像素的亮度差。确定该亮度差的方差Vn,然后再根据该亮度差的均方值En/N对该方差Vn进行归一化以产生一个淡变指数Jn。该淡变指数与淡变阈值相比较以确定是否指示淡变。例如,如果Jn<0.9,就指示淡变。
可随意地进行检验以证明静态淡变被指示。这种检验是通过把该亮度差的均方值与一运动阈值相比较而实现的。例如,试验表明运动阈值可以是一场或帧中的像素数量的256倍,假定像素值的范围为0至255。如果该亮度差的均方值小于该运动阈值,就指示静态淡变。因此,是否指示静态淡变的最终决定取决于淡变阈值和运动阈值。
本技术方案适用于帧模式(例如,非隔行扫描或“逐行扫描”)和场模式(隔行扫描)视频序列。如果数字图象包括场模式视频信号,其中每个图象具有第一和第二场,就能分别地确定第一和第二图象中每个场的亮度差。例如,dn1可以表示第一个场的亮度差,而dn2表示第二个场的亮度差。
也可以分别地确定每个场的亮度差的方差,根据该亮度差的均方值归一化该方差以产生每个场的淡变指数。例如,Jn1可以表示第一个场的淡变指数,而Jn2表示第二个场的淡变指数。然后就能确定全体场的每个图象的一总平均淡变指数,例如为Jave=(Jn1+Jn2)/2,并将该平均淡变指数与淡变阈值相比较以确定是否指示淡变。
本发明还提供了一种与所述方法相对应的装置。
本发明还提供了一种用于检测数字视频图象中子区,例如宏块的淡变的方法。在一个当前帧宏块和一个相应的先前帧宏块之间确定全体帧到帧的余数。这个余数用于确定当前宏块的全体帧到帧方差Vff。在当前宏块和先前帧中一个最佳匹配的宏块之间的全体运动补偿余数也被确定,该余数用于提供当前宏块的全体运动补偿方差Vmc。如果Vmc>Vff就指示静态淡变。
对于场模式视频,使用先前帧中相应位置的宏块的相应场,分别地确定当前宏块的顶部和底部场的中间帧到帧余数和中间帧到帧方差。使用先前帧中最佳匹配的宏块的相应场,还能分别地确定当前宏块的顶部和底部场的中间运动补偿余数和中间运动补偿方差。最后。通过对顶部和底部场的中间帧到帧方差求平均值而获得全体帧到帧的方差,通过对顶部和底部场的中间运动补偿方差求平均值而得到全体运动补偿方差。
本发明还提供一种与所述方法相对应的装置。
附图说明
图1是根据本发明的用于一视频帧的淡变检测器的方框图。
图2是根据本发明的用于“花形—淡变”视频测试序列的淡变指数的曲线图。
图3是根据本发明的用于“雪花干扰(confetti)”视频测试序列的淡变指数的曲线图。
图4是根据本发明的用于“花园”视频测试序列的淡变指数的曲线图。
图5是根据本发明的用于视频图象的单个宏块的淡变检测器的方框图。
具体实施方式
本发明提供一种用于检测数字视频图象中静态淡变的方法和装置。一种简单的和低成本的技术检测淡变,或者,通常说,检测源视频的光强的总体变化。
淡变是通过检验当前和先前输入帧之间的不同图象的均匀度而被检测的。均匀度是通过方差而测定的,并通过全部图象的亮度像素值的差的均方值被归一化的。淡变检测器具有均方误差计算器,该均方误差计算器正被许多现存的电影电视传送装置检测器和场景变化检测器所使用。因此,淡变检测器仅仅用一个附加的累加器就能方便地实现。此外,淡变检测算法的效率通过对许多标准测试序列的模拟已被证实。
静态淡出的视频数据段可以被模型为一幅静止的图象,该图象是通过这样的一系列增益系数{α1,α2,α3…}而被调制的,对于场模式(例如,隔行扫描)视频,第n个输入场的帧坐标(x,y)的亮度值为:
Pn(x,y)=αnPn-2(x,y)
这里Pn-2(x,y)表示第(n-2)个输入场的亮度值,0≤αn≤1。对于淡出,α从1至0随时间或帧数减小。对于淡入,α从0至1随时间或帧数增大。相似的情况是,对于帧模式(例如,逐行扫描)视频,第n个输入场的帧坐标(x,y)的亮度值为:
Pn(x,y)=αnPn-1(x,y)
在淡入的情况下,对于场模式,Pn(x,y)=(1/αn+2)Pn+2(x,y)。例如,假定P20(x,y)是淡入中的最后稳定的图象。那么,举例的先前像素值是
P14(x,y)=(1/α16)(1/α18)(1/α20)P20(x,y)。对于帧模式,Pn(x,y)=(1/αn+1)Pn+1(x,y)。
理想情况下,静态淡变能够通过对每个输入像素的比例rn(x,y)=Pn(x,y)/Pn-2(x,y)进行统计分析而被检测。特别是,如果输入视频满足所述的淡变模式时,比例rn(x,y)将会是一个与第n个输入场的每个像素的系数αn相等的恒定值。对于帧模式视频,rn(x,y)理想上将会等于αn-1。然而,这种方法也存在缺点。首先,实时的像素比例的计算需要非常复杂的硬件。第二,对于小x,由于形式函数1/x对x的变化非常灵敏,所以比例rn(x,y)的统计分析对源噪音,舍位误差,和自理想的静态淡变模式的偏差也非常灵敏。
因此,人们就需要一种更简单和更健全的检测静态淡变的方案。根据本发明的淡变检测技术是通过对相对于先前帧或场的亮度变化进行统计分析而检测淡变的。对于场模式视频,第n个奇数或偶数场中像素亮度的变化给定如下:
dn(x,y)=Pn(x,y)-Pn-2(x,y)
对于帧模式视频,第n个帧中像素亮度的变化给定如下:
dn(x,y)=Pn(x,y)-Pn-1(x,y)
现在假定,在淡变过程中,整个输入视频场的亮度差dn(x,y)大致是均匀的,这样整个场的dn(x,y)的方差(Vn)就较小。根据这个假定,通过把亮度差的方差与预先设定的阈值相比较就能检测视频中的静态淡变。然而,人们发现在某些非淡变景象中,诸如静止或包含慢速移动目标的图象中,方差还是较小。
因此,为了避免错误地把这些景象划分为淡变,亮度差的方差通过亮度差的均方值被归一化而产生输入视频的该场或帧的淡变指数Jn即:
这里
N是场或帧中的像素的数量。对于帧模式视频,(x,y)∈En和Dn的帧。因此,如果一场或帧具有较小的淡变指数值,那么该场或帧就很可能属于淡变。En表示亮度差平方的总和,而Dn表示亮度差的总和。
对于满足以上理想的静态淡变模式的序列,淡变指数能被方便地指示出:
这里μ表示平均值,Vn表示产生淡变序列的图象(即在淡变序列开始的图象)的方差。对于绝大多数淡变图象来说,μ2的数值与Vn的数值相差不大,所以Jn远小于1。另一方面,对于没有淡变的典型的运动视频来说,亮度差可能具有相等的正值和负值,所以Jn接近于1。这是正确的,因为(Dn/N)2的数值与(En/n)相比显得较小。
图1是根据本发明的用于一视频帧的淡变检测器的方框图。淡变检测器可被用作为数字视频编码器的一部分。输入视频提供给一终端105和一幅帧延时功能元件110,延时帧和输入视频之间的差被减法器115接收,并提供给平方功能元件120。差的平方提供给累加器125,该累加器125对一个场的平方差值进行累加以产生平方差的总和En。
减法器115的输出还提供给累加器130,该累加器130对差值进行累加而产生像素差的总和Dn,对于每个输入场来说,En和Dn通过主中心处理单元135(CPU)读取。主CPU可以使用数字信号处理技术在固件中实现。特别是,En在除法器功能元件140中被场中像素的个数N相除而获得一个均方误差值En/N,并把此值提供给减法器145。有利地,计算均方差值的硬件已经在许多现存的电影电视传送装置检测器和景象变化检测器中被使用,所以累加器130可以仅仅是一个所需的附加硬件。En/N还可任意地提供给一运动检测器(如比较器)180以与运动阈值相比较,下面将会对此作讨论。然后一相应的信号提供给一个“与”门电路175。
Dn被N除,结果值Dn/N在功能元件155中被平方。差En/N-(Dn/N)2被减法器145接收而向除法器功能元件150提供方差Vn。除法器功能元件150把当前场的淡变指数Jn=Vn/(En/N)提供给场延时功能元件170及加法器及除法器功能元件160。场延时功能元件170是一个象随机存取存储器(RAM)那样的暂时存储元件,它用于存储第一个场淡变指数,而图象的第二个场正被处理。当第二个场的淡变指数已从除法器功能元件150被输出,并提供加法器及除法器功能元件160时,加法器及除法器功能元件160就对第一个和第二个场的淡变指数求平均值。举例来说,Jn1和Jn2分别表示第一个和第二个场的淡变指数。那么总淡变指数的平均值为Jave=(Jn1+Jn2)/2。
在对帧的两个场的淡变指数求平均值后,该平均值在检测器(例如比较器)165中与经验阈值相比较。如果该平均值小于阈值,指示淡变。下面结合图2-4对此作讨论,0.9的阈值能够正确地识别绝大多数淡变序列。
在任一实施例中设置运动检测器180和“与”门电路175时,信号从检测器165提供给“与”门电路175,并且设定一个相应的静态淡变标志。即如果Jn小于淡变阈值且En小于运动阈值时,淡变就被指示。例如,如果淡变指示时,那么淡变标志就是1。该淡变标志被用于将运动矢量设定为零。
尽管结合一个2∶1的隔行视频图象对图1中的淡变检测器进行了讨论,应该明白它可以适用于其他的隔行和下拉视频格式。另外,帧模式视频也可以按图1所示进行处理,并有下面的一些变化。首先,累加器125和130对一幅帧而不是一个场的值进行累加。第二,无需延时器170和平均器160。第三,除法器功能元件140中的值N是对全体帧而不是场所取的。
另外,该技术方案也适于对一帧的部分,例如MPEG-4标准所定义的视频目标平面(VOP)使用。
此外,应该明白其他各种硬件和/或固件也可能实现,例如,平行处理结构可用于同时处理隔行视频图象的第一和第二个场。
本发明的淡变检测技术已经对具有不同的运动程度的序列测试过,并已表明能够准确地识别淡变景象。然而,强制零运动应该只用于静态淡变,即包含少量运动的图象序列中的淡变。为了避免对于具有大量运动的淡变景象的强制运动矢量为零,图1中的淡变检测器可随意地使用运动检测器180和“与”门电路175。可以假定在连续帧或场之间差的均方值En/N小于运动阈值时,存在少量的运动。注意值En/N可容易地用在淡变检测器内以输入到比较器180中。
下面的表1指示测试序列淡变检测的结果,其中淡变指数的阈值为0.9,方差En/N的平均和值的运动阈值是一帧(对于帧模式视频)或一个场(对于场模式视频)中的像素N的个数的256倍,这里假定像素值的范围为0至255。这个经验值经过试验表明非常有效。表1中的测试序列已在测试模型编辑委员会,1993年4月的“测试模型5”,ISO/IECJTC1/SC29/WG11 MPEG93/457中描述过。对于引入噪音真实值的测试序列,该方案也表明很有效。
表1
序 列 被检测的淡变 被检测的 注释
静态淡变
星形船—淡变 帧0-29 帧0-29
花型—淡变 帧0-29 帧0-29
雪花干扰 帧111-119 帧 帧118-119的亮
118-119 度接近于黑
花园 没有 没有
汽车 没有 没有
汽车的挂历 没有 没有
啦啦队长 没有 没有
NHK—花型 没有 没有
NHK—花型序列包含慢速移动的目标。对于这个序列,亮度差的方差和均方值都比较小。然而,淡变指数非常接近于1,这些序列能够被准确地分类。
多个测试序列的亮度像素差的统计分析被执行。场模式视频的每个输入帧的两个场的平均的淡变指数值Jn在图2-4中绘出。从测定的数据中看出,阈值为0.9的能够准确地划分绝大多数帧。
图2是本发明的用于“花型—淡变”视频测试序列的淡变指数的曲线图。轴200上指示的是帧数,而轴210指示的是淡变指数值。淡变指数Jn大约为0.2,它大大地小于阈值0.9。因此,对图示的帧就指示淡变。
图3是本发明的用于“雪花干扰”视频测试序列的淡变指数的曲线图。轴300上指示的是帧数,而轴310指示的是淡变指数值。雪花干扰序列在明亮的背景中具有多个随机飞行的目标。它大约在帧111开始,在最后10帧渐显为黑色。淡出在Jn小于0.9的点处被清楚地辨认出。
图4是本发明的用于“花园”视频测试序列的淡变指数的曲线图。轴400上指示的是帧数,而轴410指示的是淡变指数值。花园是一个没有淡变指示的典型的明亮多花的视频序列。因此,应该注意到整个序列的该淡变指数值Jn接近于1,大大地高于淡变阈值。
图5是本发明的用于视频图象的单个宏块的淡变检测器的方框图。在本发明的另一个实施例中,对于视频帧不同的子区,例如在逐宏块的基础上选择地设定运动矢量为零,就能提高淡变景象中的编码效率。
首先,对于每个宏块,计算具有有常用的运动估算产生的运动矢量的经运动补偿的余数的方差Vmc,这个余数是当前帧宏块和先前帧中最佳匹配的宏块之间的像素亮度值的差。该最佳匹配的宏块通常被选为界定的搜索误差中的宏块,例如,该界定的搜索误差根据绝对差值的总和或在公知的视频编码标准中使用的其他准则,产生当前宏块和先前帧宏块之间的最小误差。
接着,计算帧到帧的差值的方差Vff,也就是说,对于帧运动,计算具有设定至零的运动矢量的经运动补偿的余数,这个余数是当前帧宏块和位于帧该中相应位置的先前帧的宏块之间的像素亮度值的差。
对于场模式视频,顶部和底部场的方差分别被计算出,然后被平均而产生宏块的方差。例如,为当前帧宏块顶部场和先前帧中最佳匹配宏块的顶部场之间的余数确定一个方差Vmc-top,同样,为当前帧宏块底部场和先前帧中最佳匹配宏块的底部场之间的余数确定一个方差Vmc-bottom。然后,宏块的方差Vmc等于(Vmc-top+Vmc-bottom)/2。Vmc-top和Vmc-bottom可以认为是中间运动补偿方差,而Vmc是全体运动补偿的方差。相似的情况是,场模式视频的方差Vff被确定为(Vff-top+Vff-bottom)/2,这里Vff-top是顶部场的帧到帧方差,Vff-bottom是底部场的帧到帧方差。Vff-top和Vff-bottom可以认为是中间帧到帧方差,而Vff是全体帧到帧方差。
根据本发明,如果Vff<Vmc时,为当前帧中的每个宏块指示静态淡变。该方案已表明对于测试各种视频序列是非常有效的。另一种情况是,可以引入偏差或偏移以便在Vff<Vmc+k1,或Vff<K1·Vmc+k2,或类似情况时,能够指示静态淡变,这里k1和k2是常数。在为一宏块指示静态淡变时,该宏块的运动矢量被设定为零。该方法可以重复地用于当前帧的视频图象中的每个宏块直到每个宏块已被处理完。对于未指示静态淡变的宏块,非零运动矢量将被传输。对于视频帧中的至少一部分宏块,通过将运动矢量设定为零,就提高了编码效率。
在对宏块,例如16×16的亮度宏块讨论完上述方法后,应该明白:本方法也适用于其他大小的视频图象的子区。
图5所示的方案适用于实现本发明的逐宏块处理的方法。一运动补偿器505接收来自运动估算器的运动矢量(MVs),该运动矢量指示出参考帧(例如,先前帧)中的最佳匹配的宏块。提供场/帧的判定以指示该视频是场还是帧模式。运动补偿器505还接收由参考帧的像素数据组成的数据信号,并把由最佳匹配的宏块组成的信号提供给减法器520。
减法器520还接收来自当前帧存储器525的由当前宏块数据组成的信号,并单独地计算出场模式视频的顶部和底部场的相应的余数。对于帧模式视频,只有一个余数由减法器525计算出。顶部场余数提供给顶部场方差计算功能535,它计算出方差Vmc-top=(En/N)-(Dn/N)2。同样,底部场余数提供给底部场方差计算功能元件540,它计算出方差Vmc-bottom=(En/N)-(Dn/N)2。Vmc-top和Vmc-bottom的平均值(即Vmc)由平均功能元件555确定,并提供给判定功能元件(即比较器)560。
运动补偿器515与运动补偿器505相似,但是它使用一个固定为零的运动矢量以便把由参考帧中的非运动补偿宏块组成的信号提供给减法器530。减法器530还接收来自当前帧存储器525的由当前宏块中的像素数据组成的信号,并输出一个余数,该余数是当前宏块和相应位置的参考宏块之间的帧到帧的差的指示。场模式视频的顶部和底部场的余数被分别地计算出。
然后将顶部场帧到帧的余数提供给与顶部场方差计算功能元件535相对应的顶部场方差计算功能元件545,还提供给与底部场方差计算功能元件540相对应的底部场方差计算功能元件550。顶部场方差计算功能545计算方差Vff-top,而底部场方差计算功能元件550计算方差Vff-bottom。平均功能元件565确定Vff-top和Vff-bottom的平均值(即Vff),并把此平均值提供给判定功能元件560。
在判断功能元件560中,如果Vmc>Vff,就为当前宏块指示淡变,且该宏块的运动矢量可以设定为零。该判断功能元件可以实现一个包括所述讨论的偏差项(bias term)的修改的判定标准。
因此,可以明白本发明提供了一种检测视频序列中的淡变的方法和装置。计算出淡变指数Jn,并把淡变指数与淡变阈值,例如为0.9相比较。如果Jn小于该阈值,就指示淡入或淡出。可选择地,将均方差值En/N与运动阈值相比较以证实有很少或没有运动,以使检测静止或静态淡变。该方案能够可靠地检测淡变,同时提供了一种低成本的装置,该装置利用在目前绝大多数电影电视传送装置检测器或景象变化检测器中使用的硬件。各种测试序列表明本方案是非常有效的。
在另一个实施例中,还提供了一种在逐宏块基础上检测静态淡变的方案。帧到帧的方差Vff与每个宏块的运动补偿方差Vmc相比较以确定是否指示静态淡变。
虽然结合各种具体的实施例对本发明进行了描述,本领域的熟练人员将理解到可对此作出许多修改和变化,在没有脱离权利要求所提出的本发明的精神和保护范围的前提下。
Claims (22)
1.一种用于检测数字视频图象的序列中淡变的方法,它包括下列步骤:
确定所述图象中第一和第二图象之间的像素亮度差;
确定所述差的方差;
根据所述差的均方值归一化所述方差以产生一个淡变指数;
把所述的淡变指数与淡变阈值相比较以确定是否指示淡变;
其中如果所述淡变指数低于0.9的淡变阈值,一淡变被指示。
2.如权利要求1所述的方法,其中
所述的数字图象包括场模式视频,每个图象包括第一和第二场,所述的方法还包括下列步骤:
分别地确定所述第一和第二图象的每个场的像素亮度差;
确定所述每个场的所述差的方差;
根据所述差的平均方值归一化所述方差以产生每个所述场的淡变指数;
确定所有所述场的所述每个图象的平均淡变指数;
把所述平均淡变指数与该淡变阈值相比较以确定是否指示淡变。
3.如权利要求1或2所述的方法,其中
所述像素亮度差是对于处于所述第一和第二图象中相应位置的像素而确定的。
4.如权利要求1或2的方法,还包括下列步骤:
把所述差的均方值与运动阈值相比较以确定是否指示静态淡变。
5.如权利要求4所述的方法,其中
所述的像素亮度在一个由预定的较低值至预定的较高值的范围内增大;
所述的运动阈值对应于所述范围的量值乘以(i)帧模式视频的一帧或(ii)场模式视频的一场之一中的像素数。
6.如权利要求4所述的方法,其中
如果所述差的所述均方值小于所述运动阈值,就指示静态淡变。
7.一种用于检测数字视频图象的序列中淡变的装置,它包括:
用于确定所述图象中第一和第二图象之间的像素亮度差的装置;
用于确定所述差的方差的装置;
用于根据所述差的均方值归一化所述方差以产生一个淡变指数的装置;
用于把所述的淡变指数与淡变阈值相比较以确定是否指示淡变的装置;
其中如果所述淡变指数低于0.9的淡变阈值,一淡变被指示。
8.如权利要求7所述的装置,其中
所述的数字图象包括场模式视频,每个图象包括第一和第二场,所述装置还包括:
用于分别地确定所述第一和第二图象的每个场的像素亮度差的装置;
用于确定所述每个场的所述差的方差的装置;
用于根据所述差的均方值归一化所述方差以产生每个所述场的淡变指数的装置;
用于确定所有所述场的所述每个图象的平均淡变指数的装置;
用于把所述平均淡变指数与该淡变阈值相比较以确定是否指示淡变的装置。
9.如权利要求7或8所述的装置,其中
所述像素亮度差是对于处于所述第一和第二图象中相应位置的像素而确定的。
10.如所述权利要求7或8所述的装置,还包括:
用于把所述差的均方值与运动阈值相比较以确定是否指示静态淡变。
11.如权利要求10所述的装置,其中所述的像素亮度在一个由预定的较低值至预定的较高值的范围内增大;
所述的运动阈值对应于所述范围的量值乘以(i)帧模式视频的一帧或(ii)场模式视频的一场之一中的像素数。
12.如权利要求10所述的装置,其中
如果所述差的所述均方值小于所述运动阈值,就指示静态淡变。
13.一种用于检测数字视频图象的序列中的当前视频图象的当前子区内的淡变的方法,它包括有步骤:
确定所述当前子区和参考视频图象的相应位置的子区之间的全体帧到帧的余数;
根据所述全体帧到帧的余数确定所述当前子区的全体帧到帧的方差;
确定所述当前子区和所述参考视频图象的最佳匹配子区之间的一个全体运动补偿余数;
根据所述全体运动补偿余数确定所述当前子区的一个全体运动补偿方差;
基于所述全体运动补偿方差和所述全体帧到帧方差的有关量值比较,确定是否指示所述的当前子区的静态淡变。
14.如权利要求13所述的方法,其中
所述的数字图象包括场模式视频,每个图象包括第一和第二场,所述的方法还包括下列步骤;
使用所述相应位置的子区中的相应场分别地确定所述当前子区的每个场的帧到帧余数和中间帧到帧方差;
使用所述最佳匹配的子区的相应场分别地确定所述当前子区的每个场的中间运动补偿余数和中间运动补偿方差;
对所述当前子区的每个场的中间帧到帧的方差求平均值以得到所述全体帧到帧的方差;
对所述当前子区的每个场的中间运动补偿方差求平均值以得到所述全体运动补偿方差。
15.如权利要求13或14所述的方法,其中
如果所述全体运动补偿方差的量值大于所述全体帧到帧方差的量值,就指示所述当前子区的静态淡变。
16.如权利要求13或14所述的方法,其中
如果所述全体运动补偿方差的量值带有一个偏差地大于所述全体帧到帧方差的量值,就指示所述当前子区的静态淡变。
17.如权利要求13或14所述的方法,其中
所述的当前子区包括一个宏块。
18.一种用于检测数字视频图象的序列中当前视频图象的子区内淡变的装置,它包括:
用于确定所述当前子区和参考视频图象的相应位置的子区之间的全体帧到帧的余数的装置;
用于根据所述全体帧到帧的余数确定所述当前子区的全体帧到帧的力差的装置;
用于确定所述当前子区和所述参考视频图象的最佳匹配子区之间的一个全体运动补偿余数的装置;
用于根据所述全体运动补偿余数确定所述当前子区的一个全体运动补偿方差的装置;
用于基于所述全体运动补偿方差和所述全体帧到帧方差的有关量值的比较,确定是否指示所述的当前子区的静态淡变的装置。
19.如权利要求18所述的装置,其中
所述的数字图象包括场模式视频,每个图象包括第一和第二场,所述的装置还包括:
用于使用所述相应位置的子区中的相应场分别地确定所述当前子区的每个场的帧到帧余数和中间帧到帧方差的装置;
用于使用所述最佳匹配的子区的相应场分别地确定所述当前子区的每个场的中间运动补偿余数和中间运动补偿方差的装置;
用于对所述当前子区的每个场的中间帧到帧方差进行平均以得到所述全体帧到帧方差的装置;
用于对所述当前子区的每个场的中间运动补偿方差进行平均以得到所述全体运动补偿方差的装置。
20.如权利要求18或19所述的装置,其中
如果所述全体运动补偿方差的量值大于所述全体帧到帧方差的量值,就指示所述当前子区的静态淡变。
21.如权利要求18或19所述的装置,其中
如果所述全体运动补偿方差的量值带有一个偏差地大于所述全体帧到帧方差的量值,就指示所述当前子区的静态淡变。
22.如权利要求18或19所述的装置,其中
所述的当前子区包括一个宏块。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US08/906,809 | 1997-08-06 | ||
US08/906,809 US6084641A (en) | 1997-08-06 | 1997-08-06 | Fade detector for digital video |
Publications (2)
Publication Number | Publication Date |
---|---|
CN1211878A CN1211878A (zh) | 1999-03-24 |
CN1150772C true CN1150772C (zh) | 2004-05-19 |
Family
ID=25423015
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CNB981199216A Expired - Fee Related CN1150772C (zh) | 1997-08-06 | 1998-08-06 | 检测数字视频图象序列中的淡变的方法及装置 |
Country Status (6)
Country | Link |
---|---|
US (1) | US6084641A (zh) |
EP (2) | EP0896466B1 (zh) |
JP (1) | JPH11191862A (zh) |
CN (1) | CN1150772C (zh) |
CA (1) | CA2244433C (zh) |
NO (1) | NO983593L (zh) |
Families Citing this family (30)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6560281B1 (en) * | 1998-02-24 | 2003-05-06 | Xerox Corporation | Method and apparatus for generating a condensed version of a video sequence including desired affordances |
JP2000059792A (ja) * | 1998-08-06 | 2000-02-25 | Pioneer Electron Corp | 動画像信号の高能率符号化装置 |
JP3724956B2 (ja) * | 1998-08-06 | 2005-12-07 | パイオニア株式会社 | 画像信号のフェード検出方法及びフェード検出装置 |
JP4168490B2 (ja) * | 1998-09-03 | 2008-10-22 | ソニー株式会社 | 動き判定装置、その方法および画像情報変換装置 |
US6445686B1 (en) * | 1998-09-03 | 2002-09-03 | Lucent Technologies Inc. | Method and apparatus for improving the quality of speech signals transmitted over wireless communication facilities |
US6731684B1 (en) | 1998-09-29 | 2004-05-04 | General Instrument Corporation | Method and apparatus for detecting scene changes and adjusting picture coding type in a high definition television encoder |
DE69920055T2 (de) * | 1999-02-26 | 2005-09-15 | Stmicroelectronics Asia Pacific Pte Ltd. | Verfahren und vorrichtung zur bestimmung von zeilensprung-/nichtzeilensprungbildern und erkennung von wiederholten halbbildern und szenenänderungen |
KR20010087552A (ko) * | 2000-03-07 | 2001-09-21 | 구자홍 | 엠펙(mpeg)압축 비디오 환경에서 매크로 블록의시공간상의 분포를 이용한 디졸브/페이드 검출 방법 |
JP2002084544A (ja) * | 2000-09-06 | 2002-03-22 | Mitsubishi Electric Corp | 動画像符号化装置および動画像符号化方法 |
RU2187904C1 (ru) * | 2000-12-19 | 2002-08-20 | Многопрофильное предприятие ООО "Элсис" | Способ и устройство преобразования изображения |
GB0104922D0 (en) * | 2001-02-28 | 2001-04-18 | Mansfield Richard L | Method of detecting a significant change of scene |
KR100468967B1 (ko) * | 2001-12-28 | 2005-01-29 | 엘지전자 주식회사 | 썸네일 영상 생성장치 및 방법 |
RU2321967C2 (ru) * | 2002-07-15 | 2008-04-10 | Нокиа Корпорейшн | Способ маскирования ошибок в видеопоследовательностях |
JP4221655B2 (ja) * | 2003-03-06 | 2009-02-12 | ソニー株式会社 | 符号化装置および符号化方法、プログラム、並びに記録媒体 |
US7356084B2 (en) * | 2003-10-09 | 2008-04-08 | Samsung Electronics Co., Ltd. | Method for tracking the disappearance of detected logos within digital video signals |
US7391468B2 (en) * | 2004-07-06 | 2008-06-24 | Magnum Semiconductor, Inc. | Telecine conversion detection for progressive scan playback |
US7382417B2 (en) * | 2004-12-23 | 2008-06-03 | Intel Corporation | Method and algorithm for detection of scene cuts or similar images in video images |
GB2423661A (en) * | 2005-02-28 | 2006-08-30 | David Thomas | Identifying scene changes |
FR2887731A1 (fr) * | 2005-06-23 | 2006-12-29 | Nextream France Sa | Methode et dispositif de detection de fondus dans une sequence d'images |
US8239766B2 (en) * | 2005-09-27 | 2012-08-07 | Qualcomm Incorporated | Multimedia coding techniques for transitional effects |
CN100428801C (zh) * | 2005-11-18 | 2008-10-22 | 清华大学 | 一种视频场景切换检测方法 |
GB2436654A (en) * | 2006-02-03 | 2007-10-03 | Snell & Wilcox Ltd | Detection of a cross-fade in a video sequence |
JP5337492B2 (ja) * | 2006-03-01 | 2013-11-06 | ティーピー ビジョン ホールディング ビー ヴィ | 動き適応型周辺照明 |
WO2009034489A2 (en) * | 2007-09-10 | 2009-03-19 | Nxp B.V. | Method and apparatus for motion estimation in video image data |
FR2929736A1 (fr) * | 2008-04-02 | 2009-10-09 | Thomson Licensing Sas | Procede de detection de changement de scene dans une sequence d'images video. |
JP2010010915A (ja) * | 2008-06-25 | 2010-01-14 | Sony Corp | 画像処理装置および方法、並びにプログラム |
US8269885B2 (en) * | 2009-04-03 | 2012-09-18 | Samsung Electronics Co., Ltd. | Fade in/fade-out fallback in frame rate conversion and motion judder cancellation |
CN102098379A (zh) * | 2010-12-17 | 2011-06-15 | 惠州Tcl移动通信有限公司 | 一种终端及其实时视频图像获取方法和装置 |
JP2015530034A (ja) * | 2012-08-23 | 2015-10-08 | トムソン ライセンシングThomson Licensing | ビデオ・ビットストリーム内の徐々に変化するトランジションを示すピクチャを検出する方法および装置 |
EP3013050A1 (en) | 2014-10-22 | 2016-04-27 | Axis AB | Video compression with adaptive GOP length and adaptive quantization |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5245436A (en) * | 1992-02-14 | 1993-09-14 | Intel Corporation | Method and apparatus for detecting fades in digital video sequences |
US5544239A (en) * | 1992-12-14 | 1996-08-06 | Intel Corporation | Method and apparatus for improving motion analysis of fades |
CA2114052A1 (en) * | 1993-07-29 | 1995-01-30 | Monica Medina-Puri | Method of detecting scene cuts |
US5642294A (en) * | 1993-12-17 | 1997-06-24 | Nippon Telegraph And Telephone Corporation | Method and apparatus for video cut detection |
US5734419A (en) * | 1994-10-21 | 1998-03-31 | Lucent Technologies Inc. | Method of encoder control |
US5500689A (en) * | 1994-10-26 | 1996-03-19 | Thomson Consumer Electronics, Inc. | System for detecting a video signal image intensity gradient |
EP0780844A3 (en) * | 1995-12-21 | 2002-03-20 | Siemens Corporate Research, Inc. | Cut browsing and editing apparatus |
US5771316A (en) * | 1995-12-26 | 1998-06-23 | C-Cube Microsystems | Fade detection |
US5740278A (en) * | 1996-02-16 | 1998-04-14 | Cornell Research Foundation, Inc. | Facsimile-based video compression method and system |
-
1997
- 1997-08-06 US US08/906,809 patent/US6084641A/en not_active Expired - Lifetime
-
1998
- 1998-07-30 CA CA002244433A patent/CA2244433C/en not_active Expired - Lifetime
- 1998-07-31 EP EP98114374A patent/EP0896466B1/en not_active Expired - Lifetime
- 1998-07-31 EP EP07018058.3A patent/EP1863269B1/en not_active Expired - Lifetime
- 1998-08-05 NO NO983593A patent/NO983593L/no not_active Application Discontinuation
- 1998-08-06 JP JP10254481A patent/JPH11191862A/ja active Pending
- 1998-08-06 CN CNB981199216A patent/CN1150772C/zh not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
EP1863269B1 (en) | 2014-04-09 |
CA2244433C (en) | 2006-04-11 |
NO983593L (no) | 1999-02-08 |
CN1211878A (zh) | 1999-03-24 |
JPH11191862A (ja) | 1999-07-13 |
EP1863269A3 (en) | 2011-04-13 |
US6084641A (en) | 2000-07-04 |
EP0896466A3 (en) | 2001-08-16 |
EP0896466A2 (en) | 1999-02-10 |
EP1863269A2 (en) | 2007-12-05 |
NO983593D0 (no) | 1998-08-05 |
CA2244433A1 (en) | 1999-02-06 |
EP0896466B1 (en) | 2011-09-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN1150772C (zh) | 检测数字视频图象序列中的淡变的方法及装置 | |
US7054367B2 (en) | Edge detection based on variable-length codes of block coded video | |
CN1091997C (zh) | 用于交叠视频输入信号的影片模式检测的方法和装置 | |
US5751378A (en) | Scene change detector for digital video | |
CN1179302C (zh) | 使用正交变换域中的块匹配进行运动估测的方法和装置 | |
US7233361B2 (en) | Apparatus for and method of detecting whether incoming image signal is in film mode | |
CN1133525A (zh) | 用于识别由影片源产生的视频场的方法和装置 | |
US20090109341A1 (en) | Detecting scene transitions in digital video sequences | |
KR20110133635A (ko) | 역 텔레시네 기술 | |
CN1717920A (zh) | 运动序列模式的检测 | |
US7606303B2 (en) | Method and apparatus to detect anchor frames from digital video streams | |
CN1650328A (zh) | 增强编码的数字视频的清晰度的系统和方法 | |
CN1147154C (zh) | 用于编码交错形状信息的方法和设备 | |
US8611423B2 (en) | Determination of optimal frame types in video encoding | |
CN1672174A (zh) | 用于分割的系统和方法 | |
CN1875633A (zh) | 跟踪快速移动的小物体的运动矢量场求精法 | |
CN101076104B (zh) | 电影模式的检测方法 | |
US20070104273A1 (en) | Method for robust inverse telecine | |
US20060268181A1 (en) | Shot-cut detection | |
US20060158513A1 (en) | Recognizing film and video occurring in parallel in television fields | |
Lin et al. | Motion adaptive de-interlacing with local scene changes detection | |
CN1593066A (zh) | 判定视频信号的设备和方法 | |
JP3377679B2 (ja) | 符号化インタレース映像カット検出方法および装置 | |
Keller et al. | Detecting interlaced or progressive source of video | |
JPH1023329A (ja) | シーン・チェンジおよび/またはフラッシュ検出装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
C19 | Lapse of patent right due to non-payment of the annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |