CN1180276A

CN1180276A - 数字视频信号的场景变化检测器

Info

Publication number: CN1180276A
Application number: CN97118915A
Authority: CN
Inventors: 陈学敏; 刘承德
Original assignee: NextLevel Systems Inc
Current assignee: Arris Technology Inc
Priority date: 1996-09-27
Filing date: 1997-09-26
Publication date: 1998-04-29
Anticipated expiration: 2017-09-26
Also published as: MX9707360A; JPH10178613A; CA2216077A1; NO974432D0; CA2216077C; TW361035B; NO974432L; HK1010299A1; CN1099801C; KR19980025070A; EP0833503A3; EP0833503A2; US5751378A

Abstract

检测图象序列的前一视频图象和当前视频图象间场景变化的方法。确定前一和当前视频图象块对的平均亮度值。用平均亮度值的差值确定增量视觉检测值。若增量视觉检测值超过块对比阈值水平表示有场景变化。若当前和前一图象块平均亮度值的最小值超过暗场景阈值,则用平均亮度值差值的绝对值和当前和前一图象块的平均亮度值的最小值之比确定增量视觉检测值。否则,用差值的绝对值和暗场景阈值之比确定增量视觉检测值。

Description

数字视频信号的场景变化检测器

本发明涉及一种用于检测数字图象帧(例如图象)序列中场景变化的装置和方法。特别是利用图象帧中不同块的亮度相对于前一帧中相应块的亮度的变化来提供可靠的场景变化指示。

近来，用于给用户家庭提供电视及其它音频、视频和/或数据服务的数字视频传输格式越来越流行。这类节目可通过直播卫星链路，或通过有线电视网传输到用户家庭。除提供新的和扩大的节目源外，数字视频可比传统的模拟电视广播提供更高的图象质量。

为在可利用的带宽内传输数字视频信号，需使用数据压缩技术。特别是，空间压缩技术利用一帧中相邻象素或象素块之间的相关性，而时间技术则利用连续图象帧中象素或象素块之间的相关性。此外，运动补偿技术可提供更大的时间压缩。

然而，为提供最佳的视频帧序列的压缩，需要有检测该序列中场景变化的能力。场景变化通常可定义为帧的组成部分的任何显著变化。例如，在电影的视频序列中，当摄相机的角度改变时，或当在特写和全景之间进行切换时，会发生场景变化。此外，场景变化常常是通过连续视频帧之间亮度级的明显改变表现出来的。例如，当在暗室中打开亮的灯时，会发生场景变化。

一旦检测到场景变化，就可以相应地修改视频序列的编码。例如，当检测到场景变化时，由于新的场景的第一帧和前一场景最后一帧之间时间相关的可能性降低，可暂时中止运动补偿。另外，可根据场景变化信息选择图象的具体类型(如I，P，或B图象)。I，P，或B图象是根据如下面将更详细讨论的MPEG-2标准来定义的。

各种现有的场景检测系统试图提供可靠的场景变化检测。例如，一种系统使用在当前帧和前一帧之间相应象素值之差的绝对值的和数，并将此和数与预定的常数阈值比较以确定是否有场景变化。然而，如果在连续帧中发生快速运动，该系统可能不能给出可靠的结果。另外，当存在不同水平的运动(例如中速，快速，高速)时，这种系统也并非始终都是可靠的。

另一种系统确定当前帧和前一帧之间相应象素值之差的绝对值。然后确定当前帧和下一帧之间相应象素值之差的绝对值。最后得到上述两差值的差值和数，并将其与预定的常数阈值比较以确定是否有场景变化。然而，这一系统当场景从没有运动转变为快速运动时，可能不能提供可靠的结果。

因此，需要提供一种用于数字视频的场景检测系统，当存在不同水平的运动时，以及当场景从没有运动转变为快速运动时，该系统能够可靠地检测场景变化。而且，该系统应与现有的包括运动图象专家组(MPEG)标准的数字视频编码标准兼容，该标准的详细情况可见这里作为参考资料编入的文件：ISO/IECJTC1/SC 29/W G 11 N 0702，标题为“信息技术-运动图象及有关音频的遗传编码，建议H.262，”March 25，1994。

MPEG系统包括三种类型的视频图象；它们分别是帧内编码图象(I-图象)，预测编码图象(P-图象)及双向预测编码图象(B-图象)。而且，帧或场结构视频序列都是适和的。I-图象完整地描述单个视频图象，而不参考任何其它图象。为了提高隐错能力，在I-图象中可包括运动矢量。由于在底层(base layer)中P-图象和B-图象都是从I-图象预测的，因此I-图象中的错误有对所显示的图象产生更大影响的可能性。P图象是根据前一I或P图象预测的。参考是从前面的I或P图象到将来的P-图象，称为前向预测。B-图象是从最接近的后面的I或P图象及最接近的后面的I或P图象预测的。

一个好的场景检测系统还提供速率控制的自动控制和视频压缩编码器的自适应量化处理，该编码器使用各种标准，包括MPEG-1，MPEG-2，ISO/IECH.261(视频会议)及ISO/IE C H.263。此外，该系统还应与各种彩色电视广播标准兼容，如在北美使用的国家电视标准委员会(NTSC)标准，在欧洲使用的逐行倒相(PAL)标准，并且该系统还应和帧和场模式的视频兼容。本发明提供具有上述和其它优点的系统。

根据本发明，提供一种检测视频图象序列中前一图象和当前图象之间场景变化的方法和装置。

在检测前一视频图象和当前视频图象之间场景变化的方法中，确定前一和当前视频图象块对的平均亮度值。块对的块最好在以前和当前图象中分别位于同一相对位置上。之后，用平均亮度值之间的差值来确定增量视觉检测值。如果增量视觉检测值超过块对比阈值水平，则表示有场景变化。块对比阈值水平可约为在本文中定义的韦伯(Weber)分数常数的十五到二十五倍。

特别是，确定当前和前一图象块的平均亮度值的最小值，其中，如果这一最小值超过暗场景阈值，则用(a)平均亮度值之间差值的绝对值，和(b)当前和前一图象块的平均亮度值的最小值之比来确定增量视觉检测值。否则，用(a)差值的绝对值，和(b)暗场景阈值之比来确定增量视觉检测值。暗场景阈值可约为最大灰度级的10％。

此外，可确定前一和当前视频图象多个块对的平均亮度值之间的差值。最好用图象中的每个块对来确定总的图象场景变化。用差值来确定每个块对的增量视觉检测值，其中，如果增量视觉检测值超过块对比阈值水平当前和前一视频图象的块对的阈值比例，则表示有场景变化。这一阈值比例可约为80％到90％。

另外，通过确定块对的块之间的运动相对量，并根据该运动相对量来调节块的大小，该方法可自适应地优化。特别是，当运动相对量增加时，增加块的大小。此外，运动相对量可通过确定水平运动矢量的绝对值和垂直运动矢量的绝对值的和数来获得，其中，水平和垂直运动矢量分别表示当前图象块的视频图象相对于前一图象块的视频图象的水平和垂直运动。然后确定该和数是否超过了运动阈值。运动阈值可根据当前图象的图象类型(例如，当前图象是否是I，P或B图象)来调节。

本发明还提供了相应的装置。

图1示出根据本发明两相继视频帧的块之间的比较。

图2是根据本发明的场景变化检测器的方框图。

本发明提供一种检测数字视频帧序列中场景变化的方法和装置。

场景的辉度级由包括该场景的各象素的平均亮度和各象素亮度值的动态范围决定。此外，人眼对辉度的视觉检测通常被认为是图象亮度的自然对数的函数。在场景变化的帧和/或场中，对辉度的视觉检测随前一帧或前一相应场而明显改变。

而且，由于人对亮度的对比比对绝对亮度值本身更敏感，因此两场景之间的增量视觉检测δC是场景变化的一个好的标志。δC定义为在两帧和/或场中，具有同一相对位置的区域(例如块)的平均辉度之差值。

特别是，根据韦伯定理，如果一物体的亮度b₀与周围区域的亮度b_s之间的差别正好是可察觉的，则可定义下面被称为韦伯分数的比值：

在高的背景亮度级，例如大于0.5mL(毫流明)时，韦伯分数基本保持为常数。已发现该常数C的值为0.02，这意味着在0到1的刻度上，对于人可察觉的级之间的对比，至少需要五十个不同的亮度级。

令b₀＝b，则有b_s＝b+δb，其中δb是最小可察觉的亮度变化。这样，

这显示

是与辉度增量视觉检测值成比例的。

图1示出根据本发明两相继视频帧的块之间的比较。当前帧，即帧(i)，在100上示出，它包括块110。前一帧，即帧(i-1)，在150上示出，它包括块160，该块在帧150中位于与帧100中的块110同一相对位置上。

例如，对于NTSC格式，帧100和150可各包括三十片(slice)，每一片有四十四个宏块。这样，整个NTSC帧包括1,320个宏块。而且，宏块一般包括一个16×16的象素块，在MPEG-2标准中，该块例如是由四个8×8的象素块构成的。从而，一个NTSC帧可能包括在宽度上为44×16＝704个象素，在高度上为30×16＝480个象素，总数为337,920个象素。此外，本发明与PAL格式是兼容的，该格式包括在36片中的1,584个宏块，每片有44个模块，每个宏块有16×16个象素。

块110和160用坐标组(k，l)表示，其中k是块的水平索引，l是垂直索引。此外，每个块110和160的大小可为例如在高度上为16个象素而宽度上为32个象素。在这种情况下，k的范围从1到704/32＝22，l的范围从1到480/16＝30。下面各项定义为：h 帧高度(象素)w 帧宽度(象素)m 块高度(象素)n 块宽度(象素)i 帧索引k 水平块索引(k＝1，...，h/m)l 垂直块索引(l＝1，...，w/n)X_i，k，l，第i个帧，第k个水平块，第l个垂直块的象素密度

这样，我们有了由象素组定义的两个相继帧和/或两个顶(top)(或底(bottom))场。特别是，第(i)帧，即帧100由象素组X_i，k，l来定义，第(i-1)帧，即帧150由象素组X_i-1，k，l来定义。为有效地分辨场景变化，将每帧划分为一组k×l的分开的块，每块有m×n个象素。

注意块的大小可设计为根据当前运动信息自适应地改变。特别是运动越快，则块大小m×n应越大。根据运动量对于每一帧调节块大小的一种方法是执行下列步骤。首先，对于每个16×16的宏块，计算索引v[x][y]，其中x＝1，2，....，[w/16]，y＝1，2，...，[h/16]。如果全象素前向运动矢量，即vector[x][y][z]满足下列不等式：

|vector[x][y][0]|+|vector[x][y][1]|＞T₃，则表示两块之间有快速运动。vector[x][y][0]和vector[x][y][1]分别为当前帧块(例如块(x，y))相对于前一帧块的水平和垂直运动矢量。这样，如果不等式成立，则令索引v[x][y]＝1；否则令v[x][y]＝0。

注意运动矢量vector[x][y][z]是从具有同样图象类型的最近的可利用的图象获得的。例如，如果当前图象类型是P-图象，则运动矢量vector[x][y][z]是以前的预测P-图象的运动矢量。由于对于每个图象的场景变化检测发生在图象的运动估值之前，因此这是正确的。

阈值T₃是根据视频帧序列中出现的不同图象类型来选择的。例如，如果比特流中没有B-图象，例如序列I，P，P，... 则T₃＝16是合适的选择。如果出现一个B-图象，例如序列P，B，P，B，...，则在当前图象是B-图象时，T3＝16是合适的选择，在当前图象是P-图象时，T₃＝32是合适的选择，如此等等。

其次，相应地调节块大小。可使用初始(缺省)的16×16的块大小。然后，可根据v[x][y]调节块大小。例如，如果v[x][y]＝1，则可增加块大小，例如增至16×32或32×32。类似地，如果v[x][y]＝0，则可减小块大小，例如减至8×16。但注意块大小的增加不能使得块超过宏块的右和/或底边界。通常，当运动越快时，块大小应越大。而且，在某些应用中，最大允许的块大小可能被限制在32×48个象素。

接下来，确定在帧(或顶场)中每块的平均亮度。对于第(i)帧，块(k，l)，平均亮度为：

B_{i, k, l} = \frac{1}{mn} Σ_{c 1 = 0}^{m - 1} Σ_{c 2 = 0}^{n - 1} X_{i, kh + c 1, lw + c 2}

k＝1，...h/m，l＝1，...，w/n。c1和c2为虚设的计数索引。之后，第(i)和第(i-1)帧(或顶场)之间的块亮度增量δB_i，k，l由下式确定：

δB_i，k，l＝δB_i，k，l-δB_i-1，k，l

此外，对于第(i)帧，块(k，l)，可定义相对块增量对比δC_i，k，l如下：

T₀是表示场景被认为是暗场景的阈值。通常，可使用T₀＝25.5，该值是最大灰度级255的10％。

对于场景变化，将块亮度对比的相对变化的有效阈值T₁设置为：T₁＝15-25C。现在，考虑索引阵列，对于k＝1，...，h/m，l＝1，...，w/n，index[k][l]定义为：

那么，如果一帧中块的约80％-90％具有比有效阈值大的相对块增量对比，即

其中T₂＝80％-90％则根据本发明，这表示有场景变化。80％-90％的范围是根据大范围的测试确定的，但实际的最佳值可随具体的场景而改变。注意数学表示式代表将非整数x舍入成下一个最小的整数。

图2是根据本发明的场景变化检测器的方框图。检测器，在200上示出，包括输入端205和210。在输入端205，接收来自当前帧的象素数据x_i，k，l，并将其提供给块平均函数215以为第i帧中的每一块产生平均亮度值B_i，k，l。类似地，在输入端210，接收来自前一帧的象素数据x_i-1，k，l，并将其提供给块平均函数220以为第(i-1)帧中的每一块产生平均亮度值B_i-1，k，l。

最小化单元拟(M IN)225确定min{B_i，k，l，B_i-1，k，l}并将该项输出到除法器(divisor)函数230中。同时，减法器235确定δB_i，k，l＝B_i，k，l-B_i-1，k，l。绝对值函数240确定|δB_i，k，l|，并将该项提供给除法器230。除法器230根据是否min{B_i，k，l，B_i-1，k，l)＞T₀。为第(i)帧，块(k，l)确定相对块增量对比δC_i，k，l。然后将δC_i，k，l提供给阈值函数235，该函数235确定块(k，l)是否表示有场景变化(例如是否δC_i，k，l＞T₁)。如果是，可相应地设定index[k][l]。累加器240累加每块的场景变化结果，并对整个帧或其一部分的结果求和。最后，阈值函数25O接收来自累加器240的相加的结果，并用阈值T₂确定是否表示整个帧有场景变化。

用不同的视频序列对本发明的场景变化检测系统进行了大范围的测试。特别是对在测试模式编辑委员会“Test Model 5”，ISO/IEC JTC1/SC 29/W G11M PEG 93/457，April 1993中描述的“Football”，“Mobile Calendar”，“FlowerGarden”及“Table tennis”视频序列以及在关于M PEG-4视频VM编辑的特设组，“M PEG-4视频确认模型版本3.0”，ISO/IEC JTC1/SC 29/W G11N 1277，Tam pere，F in land，July 1996中描述的“Destruct”，“Street O rgan”，“Silent”及“Fun Fair”视频序列进行了分析。

本发明场景检测系统的样本测试结果示于下面的表1中。阈值选择为T₁＝0.3和T₂＝0.85，块大小为m＝16，n＝32。具体的视频序列在第一栏中给出。所涉及的帧序列示于第二栏中。例如，[0：50]表示分析了0到50帧的场景变化。第三栏表示是否检测到场景变化，且如果是，是在哪一帧。例如，第三帧中的场景变化意味着在第二和第三帧之间检测到场景变化。第四栏，如果可使用，提供有关视频序列特性的额外信息。表1

序列	帧	场景变化	备注
序列	帧	场景变化	备注	Football	[0：50]	无	快速运动
Mobile Calendar	[0：44]	无		Football	[0：50]	无	快速运动
Mobile Calendar	[0：44]	无		Street Organ	[0：50]	无
Silent	[0：50]	无	没有运动到运动	Street Organ	[0：50]	无
Silent	[0：50]	无	没有运动到运动	Flower Garden	[0：30]	无	摄象机移动
Fun Fair	[0：50]	无	快速运动	Flower Garden	[0：30]	无	摄象机移动
Fun Fair	[0：50]	无	快速运动	Table tennis	[90：100]	97
Destruct	[0：40]	25，26	亮灯	Table tennis	[90：100]	97
Destruct	[0：40]	25，26	亮灯	任意两个序列的结合		有	每次均检测到场景变化

此外，对于在上面视频序列中检测到场景变化的帧，使用MPEG-2WG-11方案检查编码效率。通过确定由达到所给图象质量的编码方法产生的比特数来确定编码效率。特别地，对于一恒定的质量水平，较少的编码比特表示较高的编码效率。如果有根据本发明检测的场景变化的帧被编码为P-图象类型，则多于46％的宏块被编码为I-图象。于是，发现本发明的场景检测系统如所预期的那样工作，因为它成功地将用预测编码技术难于有效地编码的帧定位。由于编码器的速率控制工具给I-图象分配更多的比特，这样的帧可被方便地编码为I-图象，从而也改善了图象质量。

通常，在典型的编码器中，如使用Test Model 5标准的MPEG-2编码器，对于P-图象或B-图象的每一宏块有一个选择宏块编码类型的过程。这一过程将决定是应将宏块编码为帧内编码块(I-编码)还是非帧内编码块(P-或B-编码)，这要基于哪种编码类型可提供更好的质量或使用更少的数据比特。对于P-图象或B-图象，如果预测是有效的，则图象中只有小比例的宏块将为I-编码(例如少于百分之五)。这是必要的，因为I-编码块由于没有时间压缩而要使用相对来说大量的数据比特。

如果图象中I-编码的宏块比例大于例如百分之三十或四十，图象质量就会不好。在这种情况下，在场景变化处，如所与预期的一样，预测编码对于该图象是无效的。这样，当发生场景变化时，通常需要新场景的第一帧不被编码为P-图象。

虽然结合各个特定的实施例来描述了本发明，但本领域技术人员懂得对其可做多种修改和变化而不脱离如在权利要求中提出的本发明的实质和范围。例如，在此提出的各阈值水平可根据所分析的具体场景或视频序列来调节。即，有些类型的视频序列，如动作电影，其特点可能是有更频繁和显著的场景变化活动。而且，特定的照明情况可能与具体的视频序列有关，例如恐怖电影，其中相对来说低的照明水平可能贯穿于整个序列中。在这种情况下，可相应调节场景变化检测阈值。

此外，可能需要仅对视频图象的一部分进行分析以确定场景变化，或者可用不同的阈值分析不同的部分。例如，在具有在图象底部的相对来说暗的地面及图象顶部的相对来说亮的天空的风景场景的视频序列中，对于图象的底部，可使用更灵敏的场景变化阈值。类似地，在图象的不同区域可使用不同大小的块。例如，当向图象中部的运动比向图象边缘的运动更普遍时，可在图象的中部使用更大的块。

Claims

1.一种检测前一视频图象和当前视频图象之间场景变化的方法，包括下列步骤：

确定所述前一和当前视频图象的块对的平均亮度值；以及

用所述平均亮度值之间的差值来确定增量视觉检测值；其中：

如果所述增量视觉检测值超过块对比阈值水平，则表示有场景变化。

2.如权利要求1的方法，其中所述块对比阈值水平为韦伯分数常数的约十五到二十五倍。

3.如权利要求1或2的方法，其中所述块对的所述块在所述前一和当前图象中分别位于同一相对位置。

4.如前面权利要求之一的方法，还包括下列步骤：

确定所述当前和前一图象块的所述平均亮度值的最小值，其中：

如果所述最小值超过暗场景阈值，则用(a)所述差值的绝对值，和(b)所述最小值之比来确定所述增量视觉检测值；

否则，用(a)所述差值的绝对值，和(b)所述暗场景阈值之比来确定所述增量视觉检测值。

5.如权利要求4的方法，其中：

所述暗场景阈值约为最大灰度级的10％。

6.如前面权利要求之一的方法，其中：

确定所述前一和当前视频图象的多个块对的平均亮度值之间的所述差值；以及

用所述差值来确定每个所述块对的所述增量视觉检测值；其中：

如果所述增量视觉检测值超过块对比阈值水平所述当前和前一视频图象中块对的阈值比较，则表示有场景变化。

7.如权利要求6的方法，其中所述阈值比例为约80％到90％。

8.如前面权利要求之一的方法，还包括下列步骤：

确定所述块对的所述块之间的运动的相对量；以及

根据所述运动相对量来调节所述块的大小。

9.如权利要求8的方法，其中当所述运动相对量增加时，增加所述块的大小。

10.如权利要求8的方法，其中所述确定运动相对量的步骤还包括下列步骤：

确定水平运动矢量的绝对值与垂直运动矢量的绝对值的和数；

其中所述水平与垂直运动矢量分别表示所述当前图象块的视频图象相对于所述前一图象块的视频图象的水平和垂直运动；以及

确定所述和数是否超过运动阈值。

11.如权利要求10的方法，其中：

根据所述当前图象的图象类型来调节所述运动阈值。

12.一种检测前一视频图象和当前视频图象之间场景变化的装置，包括：

用于确定所述前一和当前视频图象块对的平均亮度值的设备；以及

用来用所述平均亮度值之间的差值来确定增量视觉检测值的设备；其中：

13.如权利要求12的装置，其中所述块对比阈值水平为韦伯分数常数的约十五到二十五倍。

14.如权利要求12或13的装置，还包括：

用于确定所述当前和前一图象块的所述平均亮度值的最小值的设备，其中：

15.如权利要求12至14的装置，还包括：

用于确定所述前一和当前视频图象的多个块对的平均亮度值之间的所述差值的设备；以及

用所述差值来确定每个所述块对的所述增量视觉检测值的设备；其中：

如果所述增量视觉检测值超过块对比阈值水平所述当前和前一视频图象中块对的阈值比例，则表示有场景变化。

16.如权利要求15的装置，其中所述阈值比例为约80％到90％。

17.如权利要求12至16的装置，还包括：

用于确定所述块对的所述块之间运动相对量的设备；以及

用于根据所述运动相对量来调节所述块的大小的设备。

18.如权利要求17的装置，还包括：

用于当所述运动相对量增加时，增加所述块的大小的设备。

19.如权利要求17的装置，其中于所述确定运动相对量的设备还包括：

用于确定水平运动矢量的绝对值与垂直运动矢量的绝对值的和数的设备；

其中所述水平和垂直运动矢量分别表示所述当前图象块的视频图象相对于所述前一图象块的视频图象的水平和垂直运动；以及

用于确定所述和数是否超过运动阈值的设备。

20.如权利要求19的装置，还包括：

用于根据所述当前图象的图象类型来调节所述运动阈值的设备。