CN101848384A

CN101848384A - 动态图像编码方法及装置、记录方法、再现方法、装置及系统

Info

Publication number: CN101848384A
Application number: CN200910209033A
Authority: CN
Inventors: 远间正真; 矢羽田洋; 池田航
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 2006-12-14
Filing date: 2007-12-12
Publication date: 2010-09-29
Also published as: RU2483467C2; BRPI0722391A2; CA2671557A1; JPWO2008072669A1; KR101362653B1; RU2475997C2; RU2009120317A; CN101815214A; US20100040351A1; US20110299831A1; EP2079241A4; CN101800896B; ZA200903806B; CA2671557C; JP2011097612A; JP2011103669A; TW200845761A; EP2079241B1; RU2010145129A; CN101554057A

Abstract

本发明涉及动态图像编码方法及装置、记录方法、再现方法、装置及系统。提供一种不增大再现时的处理负担而不发生再现中断的动态图像编码方法。作为对包括第一动态图像和用于覆盖至第一动态图像的第二动态图像在内的影像流进行编码的动态图像编码方法，包括：步骤(S5201-S5303)，在影像流之中，决定连续再现区间，该连续再现区间是部分区间的集合，而且是成为连续再现的对象的区间；步骤(S5304)，对构成连续再现区间的多个部分区间中的第一及第二动态图像进行编码，以使在决定的连续再现区间中，满足不变更用于在覆盖中通过亮度按键进行透过处理的阈值的限制；以及步骤(S5305)，制作包括标记信息的管理信息，该标记信息表示在连续再现区间内阈值是固定的。

Description

动态图像编码方法及装置、记录方法、再现方法、装置及系统

本申请是申请日为2007年12月12日，申请号为200780045656.3，发明创造名称为动态图像编码方法、动态图像编码装置、动态图像记录方法、记录介质、动态图像再现方法、动态图像再现装置及动态图像再现系统的申请的分案申请。

技术领域

本发明涉及在生成按照亮度等级的阈值可将前景和背景分离的编码流时、切换阈值并对动态图像进行编码的动态图像编码方法、动态图像记录方法、动态图像再现方法、以及记录了编码流的记录介质等。

背景技术

对于作为现有技术的DVD视频(DVD-Video)盘(以下简称为DVD)进行说明。

图1是表示DVD的构造的图，如图1的下部所示，在DVD盘上，从导入(lead in)到导出(lead out)之间设有逻辑地址空间，从逻辑地址空间的先头开始记录了文件系统的卷(volume)信息，接着记录了影像声音等应用数据。

所谓文件系统，指的是ISO9660或UDF(通用盘格式：Universal DiscFormat)，是以被称为目录或文件的单位来表现盘上的数据的结构。在日常使用的PC(个人计算机)的情况下，也通过被称为FAT或NTFS的文件系统，以目录或文件这样的构造将记录在硬盘上的数据表现在计算机上，提高可用性。

在DVD的情况下，使用UDF及ISO9660两者(有时将两者合称为“UDF桥”)，通过UDF或ISO9660任一个的文件系统驱动器，都能够进行数据的读取。当然，在可擦写型的DVD盘即DVD-RAM/R/RW中，通过这些文件系统，可以在物理上进行数据的读取、写入、删除。

在DVD上记录的数据通过UDF桥，能够作为图1左上所示的目录或文件来观察。在根目录(图中“ROOT”)的紧下面设有被称为“VIDEO_TS”的目录，在此记录了DVD的应用数据。应用数据被记录为多个文件，主要的文件如下所示。

VIDEO_TS.IFO 盘再现控制信息文件

VTS_01_0.IFO 视频标题组#1再现控制信息文件

VTS_01_0.VOB 视频标题组#1流文件

......

作为扩展名规定了2种，“IFO”是记录了再现控制信息的文件，“VOB”是记录了作为AV数据的MPEG流的文件。所谓再现控制信息，指的是用于实现DVD所采用的交互性(按照用户的操作来动态改变再现的技术)的信息、或像元(meta)数据那样附加在标题或AV流上的信息等。另外，在DVD上一般将再现控制信息称为导航信息。

再现控制信息文件有管理整张盘的“VIDEO_TS.IFO”、以及作为每个视频标题组(在DVD中可以将多个标题、也就是不同的电影或不同的版本的电影记录在一张盘中。)的再现控制信息的“VTS_01_0.IFO”。在此，位于文件名实体中的“01”表示视频标题组的号码，例如，视频标题组#02的情况为“VTS_02_0.IFO”。

图1的右上部是DVD的应用层中的DVD导航空间，是展开上述再现控制信息的逻辑构造空间。在DVD导航空间中，“VIDEO_TS.IFO”内的信息被展开为VMGI(视频管理信息：Video Manager Information)，“VTS_01_0.IFO”或存在于其他每个视频标题组的再现控制信息被展开为VTSI(视频标题组信息：Video Title Set Information)。

在VTSI之中，记录了被称为PGC(程序链：Program Chain)的再现序列的信息即PGCI(程序链信息：Program Chain Information)。PGCI由单元(Cell)的集合和一种被称为指令的编程信息构成。单元本身是VOB(是视频对象(Video Object)的简称，指MPEG流)的部分区间或全部区间的集合，单元的再现意味着再现由该VOB的单元指定的区间。

指令通过DVD的虚拟机处理，接近于在浏览器上执行的Java(注册商标)脚本等。但是，不同点在于：Java(注册商标)脚本除了逻辑运算还进行窗口或浏览器的控制(例如，打开新的浏览器的窗口等)，与此相对，DVD的指令除了逻辑运算仅执行AV标题的再现控制、例如再现的章节的指定等。

单元具有在盘上记录的VOB的开始及结束地址(盘上的逻辑记录地址)作为其内部信息，播放器使用在单元中记录的VOB的开始及结束地址信息来执行数据的读取、再现。

图2是说明AV流中内置的导航信息的概略图。作为DVD的特长的交互性并不仅通过记录在上述“VIDEO_TS.IFO”或“VTS_01_0.IFO”等中的导航信息来实现，许多重要的信息使用被称为导航包(被称为导包或NV_PCK)的专用载体在VOB内与影像、声音数据一起进行复用。

在此说明菜单来作为简单的交互性的例子。在菜单画面上，出现许多按钮，在各个按钮上定义了选择执行该按钮时的处理。另外，在菜单上选择一个按钮(通过加亮在选择按钮上覆盖半透明色，向用户表示该按钮处于选择状态)，用户使用遥控器的上下左右按键，能够使选择状态的按钮移动至上下左右的任何的按钮。使用遥控器的上下左右按键，使加亮移动到希望选择执行的按钮，并进行决定(按下决定按键)，从而执行对应的指令的程序。一般的，对应的标题或章节的再现通过指令来执行。

图2的左上部表示NV_PCK内存放的控制信息的概要。

在NV_PCK内，包括加亮颜色信息和各个按钮信息等。在加亮颜色信息中，记录了调色板信息，指定了覆盖显示的加亮的半透明色。在按钮信息中，记录了作为各个按钮的位置信息的矩形区域信息、从该按钮向其他按钮的移动信息(与用户的上下左右按键操作分别对应的移动目标按钮的指定)和按钮指令信息(决定该按钮时执行的指令)。

菜单上的加亮如图2的中央右上部所示，制作为覆盖图像。覆盖图像是在按钮信息的矩形区域信息上附加了调色板信息的颜色的图像。该覆盖图像与图2的右部所示的背景图像合成并显示在画面上。

如上所述，在DVD中实现了菜单。另外，利用NV_PCK将导航数据的一部分内置在流中，是为了与流同步动态更新菜单信息(例如，仅在电影再现的过程中5分至10分之间显示菜单等)，或在同步定时容易出现问题的应用的情况下也能够没有问题地实现。另外，另一个重要理由是为了在NV_PCK中存放用于辅助特殊再现的信息，在DVD再现时的快进、倒回等非通常再现时，也顺利地对AV数据进行解码并再现等，提高用户的操作性。

图3是作为DVD的流的VOB的图形。如图所示，影像、声音、字幕等数据(图3的a部分)基于MPEG系统规格(ISO/IEC13818-1)，进行打包(packet)及分包(pack)(图3的b部分)，对各自进行复用并作为1个MPEG程序流(图3的c部分)。另外，如上所述，包括用于实现交互性的按钮指令在内的NV_PCK也被一起复用。

MPEG系统的复用的特征在于，复用的各个数据按照其解码顺序成为比特列，而复用的数据间，即影像、声音、字幕之间不一定按照再现顺序形成比特列。这是因为：复用的MPEG系统流的解码模式(一般被称为系统目标解码：System Target Decode，或STD)(图3的d部分)在解开复用之后，等待与各个基本流(Elementary Stream)对应的解码器缓冲器，直到解码定时为止暂时累积数据。例如，由DVD视频规定的解码器缓冲器对于各个基本流尺寸不同，分别对于影像具有232KB，对于声音具有4KB，对于字幕具有52KB。

即，与影像数据一起进行复用的字幕数据不一定在同一定时解码或再现。

另一方面，作为下一代DVD规格，存在BD(蓝光盘：Blu-ray Disc)。

在DVD中，目的在于对标准画质(标准定义：Standard Definition画质)的影像的、包分发(DVD视频规格)或模拟播放的记录(DVD视频录像规格)，但在BD中，能够将高精度画质(高定义：High Definition画质)的数字播放原样记录(蓝光盘可擦写规格，以下称为BD-RE)。

但是，BD-RE规格广泛以数字播放的记录作为目的，所以不是非常适用特殊再现的辅助信息等。在将来，如果考虑以比数字播放更高的速率来对高精度影像进行包分发(BD-ROM规格)，那么在非通常再现时也需要不对用户造成压力的结构。

另外，作为BD中动态图像的编码方式的一种，采用了MPEG-4 AVC(高级视频编码：Advanced Video Coding)。所谓MPEG-4 AVC，指的是ISO/IEC(国际标准化机构，国际电气标准会议)的JTC1/SC29/WG11和ITU-T(国际电气通信联盟，电气通信标准化部门)共同商定的高压缩率的次时代编码方式。

一般在动态图像的编码中，通过减少时间方向及空间方向的冗余来进行信息量的压缩。因此，在以减少时间上的冗余为目的的画面间预测编码中，参照前方或后方的图片，以块为单位进行动态的检测及预测图像的制作，并对得到的预测图像与编码对象图片之间的差分值进行编码。在此，所谓图片，是表示1张画面的用语，在逐行扫描图像中意味着帧，在隔行扫描图像中意味着帧或场(field)。在此，所谓隔行扫描图像，指的是1个帧由时刻不同的2个场构成的图像。在隔行扫描图像的编码或解码处理中，能够将一个帧仍然作为帧进行处理，或作为2个场进行处理，或对帧内的每个块作为帧结构或场结构进行处理。

将不具备参照图象而进行画面内预测编码的称为I图片。另外，将仅参照1张图片进行画面间预测编码的称为P图片。另外，将能够同时参照2张图片进行画面间预测编码的称为B图片。B图片可以从显示时间为前方或后方以任意的组合参照2张图片。参照图像(参照图片)可以按每个编码及解码的基本单位即块来进行指定，但将进行编码的比特流中先记录一方的参照图片区别为第一参照图片，将后记录一方区别为第二参照图片。其中，作为对这些图片进行编码或解码时的条件，需要参照的图片已经进行了编码或解码。

从编码的图像中将由画面内预测或画面间预测所得到的预测信号减去的余差信号在进行了频率变换并量化之后，进行可变长度编码并输出为编码流。在MPEG-4 AVC中，作为可变长度编码的方式，有CAVLC(上下文适应性可变长度编码：Context-Adaptive Variable Length Coding)、或者CABAC(上下文适应性二元算术编码：Context-Adaptive Binary ArithmeticCoding)这两种，能够以图片为单位进行切换。在此，所谓内容适应性，指的是根据周围的情况适应性地选择高效的编码方式的方式。

接着，说明不同的编码方式(或者，不同属性的动态图像)混杂存在的流、以及接收了这样的流的解码装置中的解码处理。在此，说明2个例子，即，可变长度编码方式(CAVLC/CABAC)混杂存在的第一例，以及，在图片内图片中由亮度按键进行透过处理时所使用的亮度的阈值混杂存在的第二例。

首先，说明不同的编码方式(或者，不同属性的动态图像)混杂存在的流的第一例，即可变长度编码方式(CAVLC/CABAC)混杂存在的例子。图4是表示在MPEG-4 AVC的流中、构成可随机访问的单位的图片中使用的可变长度编码的方式的例子。在此，在MPEG-4 AVC中，虽然没有相当于MPEG-2视频的GOP(图片组：Group of Pictures)的概念，但如果以不依赖于其他图片就能够解码的特别的图片为单位分割数据，那么就能够构成相当于GOP的可随机访问的单位，所以，将其称为随机访问单位(RAU)。如图4所示，使用CABAC或CAVLC来作为可变长度编码的方式以图片为单位进行切换。

接着，由于在CABAC和CAVLC中可变长度解码时的处理不同，参照图5A-图5C说明各自的可变长度解码处理。图5A表示图像解码装置的框图，该图象解码装置执行以CABAC进行了可变长度编码的数据的解码处理即CABAD(上下文适应性二元算术解码：Context-Adaptive BinaryArithmetic Decoding)和以CAVLC进行了可变长度编码的数据的解码处理即CAVLD(上下文适应性可变长度解码：Context-Adaptive Variable LengthDecoding)。

通过CABAD的图像解码处理如下执行。首先，将使用了CABAC的编码数据Vin输入至流缓冲器5001。接着，算数解码部5002从流缓冲器中读取编码数据Vr并进行算术解码，将二元数据Bin1输入至二元数据缓冲器5003。二元数据解码处理部5004从二元数据缓冲器5003获取二元数据Bin2，将二元数据解码，并将解码后的二元数据Din1输入至像素复原部5005。像素复原部5005对于二元解码数据Din1进行逆量化、逆变换以及动态补偿等，复原像素，并输出解码数据Vout。图5B是表示从对使用了CABAC的编码数据进行解码开始、到实施像素复原处理为止的动作的流程图。首先，在步骤5001中，对使用了CABAC的编码数据Vin进行算术解码，生成二元数据。接着，在步骤5002中，判定是否备齐了一个以上的图片等、规定的数据单位量的二元数据，备齐时前进至步骤S5003，没有备齐时重复步骤S5001的处理。在此，进行二元数据的缓冲，是因为：在CABAC中，每个图片或宏块的二元数据的码量显著增大，与此相伴算术解码的处理负担也显著增加，所以为了在最差情况下也实现无中断的再现，需要预先进行一定量的算术解码处理。在步骤S5003中，将二元数据解码，并在步骤S5004中实施像素复原处理。像这样，在CABAD中，由于步骤S5001及步骤S5002中不到备齐规定的数据单位量的二元数据为止不能开始像素复原处理，所以在解码开始时发生延迟。

通过CAVLD的图像解码处理如下进行。首先，将使用了CAVLC的编码数据Vin输入至流缓冲器5001。接着，CAVLD部5006进行可变长度解码处理，将VLD解码数据Din2输入至像素复原部5005。像素复原部5005进行逆量化、逆变换以及动态补偿等，复原像素，并输出解码数据Vout。图5C是表示从对使用了CAVLC的编码数据进行解码开始、到实施像素复原处理为止的动作的流程图。首先，在步骤S5005中，进行CAVLD，接着，在步骤S5004中实施像素复原处理。像这样，在CAVLD中，与CABAD不同，在开始像素复原处理之前，不需要等待至备齐规定的数据单位量的数据为止，并且不需要具有像二元数据缓冲器5003那样的、可变长度解码处理中的中间缓冲器。

图6是表示如图4的例子那样、对在流的中途切换可变长度编码的方式的流进行解码的、以往的解码装置的动作的流程图。另外，在本说明中，解码装置及解码方法分别是动态图像再现装置及动态图像再现方法的一例。

首先，在步骤S5101中，获取表示在图片中使用的可变长度编码方式的信息，并前进至步骤S5102。在步骤S5102中，判定是否按解码顺序在紧前的图片与当前图片间切换了可变长度编码的方式。在CABAD与CAVLD中，可变长度解码处理中的缓冲器的管理方法不同，所以在切换可变长度编码的方式时，前进至步骤S5103并进行缓冲器管理的切换处理，如果可变长度编码的方式没有切换，则前进至步骤S5104。在步骤S5104中，判定可变长度编码方式是否为CAVLC，为CAVLC时前进至步骤S5105并进行CAVLD处理，为CABAC时前进至步骤S5106。在步骤S5106中，判定是否按解码顺序在紧前的图片与当前图片间切换了可变长度编码的方式，切换时前进至步骤S5107，如图5的步骤S5001和步骤S5002所示，到备齐规定的数据单位量的二元数据为止进行算术解码，然后将二元数据解码。在步骤S5106中判定为可变长度编码的方式没有切换时，前进至步骤S5108，进行通常的CABAD处理。在此，所谓通常的CABAD处理，指的是不进行从CAVLC切换至CABAC或开始对使用了CABAC的流进行解码时所需要的二元数据的缓冲的处理。最后，在步骤S5109中实施像素复原处理。

接着，说明不同的编码方式(或，不同属性的动态图像)混杂存在的流的第二例，即在图片内图片中通过亮度按键进行透过处理时所使用的亮度的阈值(动态图像的属性)混杂存在的例子。在BD-ROM等的包媒体中，存在以下应用，该应用覆盖在正篇影像上显示导演剪辑(导演的解说影像)等、与正篇不同的影像，将这样的应用称为图片内图片。图7是说明图片内图片的图。图7(a)表示图像的显示平面，平面2覆盖在平面1上显示。图7(b)和图7(c)分别表示在平面1和平面2上显示的图像，平面2的显示图像覆盖在平面1的显示图像上显示(图7(d))。在图片内图片的例子中，平面1上显示的是正篇影像，而平面2上显示的是与正篇不同的影像。在此，如果将平面2上显示的影像原样进行覆盖，则平面1的图像完全被遮住，所以对平面2的图像通过亮度按键进行透过处理。以下，说明通过亮度按键的透过处理。在透过处理中，根据图像内的各像素的亮度值来切换是否透过该像素进行显示。具体如下。

1、亮度值为0以上、规定的阈值YL以下时，设为完全透过(透过率为1)该像素。

2、亮度值超过规定的阈值YL时，不透过该像素(透过率为0)，按亮度值所示地进行显示。

在图7(c)中，如果设涂黑的区域中亮度值为上述规定的阈值YL以下，其他区域中亮度值超过上述规定的阈值YL，那么如图7(d)所示，在将平面2的图像覆盖至平面1上时，透过涂黑的区域并不透过此外的区域来进行显示。即，仅将平面2的图像之中亮度超过阈值YL的区域(像素)覆盖至平面1的图像，并进行显示。由此，平面2根据亮度等级的阈值分离为前景和背景，仅将前景覆盖至平面1并显示，实现了图片内图片。

专利文献1：日本特开2000-228656号公报

非专利文献1：Proposed SMPTE Standard for Television：VC-1Compressed Video Bitstream Format and Decoding Process，FinalCommittee Draft Revision 6，2005.7.1 3(对电视机提出的SMPTE标准：VC-1压缩视频比特流格式及解码处理，最终委员会草案修订6，2005.7.13)

接收了如上所述的不同的编码方式(或不同属性的动态图像)混杂存在的流的解码装置在解码处理中需要切换处理，所以存在处理负担变大的问题。图8是说明在由现有的复用装置生成的现有的记录介质中通过亮度按键实现透过处理时的问题的图。图8表示通过亮度按键进行透过处理的影像被连续再现的区间，区间1、区间2、区间3依次被再现。在此，以透过率为1来透过显示的像素中的亮度值的阈值在区间1为20，在区间2为40，在区间3为30，所以在区间的切换中，需要变更透过显示的像素中的亮度值的阈值。如果变更亮度值的阈值，那么需要变更合成平面时的动作，随着动作的变更，发生延迟。结果，在应该不中断再现的各区间的切换部分，存在再现中断的问题。

像这样，对复用了由现有图像编码方式所生成的流的现有记录介质进行再现时，由于在每个再现区间变更亮度按键的阈值，所以随着上述阈值的切换，存在再现时的亮度值的阈值处理中发生延迟的问题。

发明内容

本发明的目的在于，提供一种不增大再现时的处理负担而不发生再现中断的记录介质、动态图像编码方法、动态图像编码装置、动态图像记录方法、动态图像再现方法、动态图像再现装置及动态图像再现系统。

本发明所涉及的动态图像编码方法的特征在于，在作为连续再现的对象的区间(连续再现区间)中，不切换编码方式(或动态图像的属性)地事先对动态图像进行编码，并且事先制作包括标记信息的管理信息，该标记信息表示在该区间内编码方式是固定的。

更具体而言，作为对应于图片内图片的情况的发明，本发明所涉及的动态图像编码方法对包括第一动态图像和用于覆盖(overlay)至上述第一动态图像的第二动态图像在内的影像流进行编码，其特征在于，在上述覆盖中，仅将上述第二动态图像之中具有超过预定阈值的亮度的图像区域覆盖至上述第一动态图像；上述动态图像编码方法包括：连续再现区间决定步骤，在上述影像流之中，决定连续再现区间，该连续再现区间是部分区间的集合，而且是成为连续再现的对象的区间；编码步骤，对构成上述连续再现区间的多个部分区间内的上述第一及第二动态图像进行编码，以在上述连续再现区间决定步骤中决定的连续再现区间内满足不变更上述阈值的限制；管理信息制作步骤，制作包括标记信息的管理信息，该标记信息表示在上述连续再现区间内上述阈值是固定的；以及结合步骤，将在上述编码步骤中被编码的上述第一及第二动态图像与在上述管理信息制作步骤中制作的管理信息进行结合并输出。

另外，本发明所涉及的动态图像编码装置对包括第一动态图像和用于覆盖至上述第一动态图像的第二动态图像在内的影像流进行编码，其特征在于，在上述覆盖中，仅将上述第二动态图像之中具有超过预定阈值的亮度的图像区域覆盖至上述第一动态图像；上述动态图像编码装置具备：连续再现区间决定部，在上述影像流之中，决定连续再现区间，该连续再现区间是部分区间的集合，而且是成为连续再现的对象的区间；编码部，对构成上述连续再现区间的多个部分区间内的上述第一及第二动态图像进行编码，以在由上述连续再现区间决定部决定的连续再现区间内满足不变更上述阈值的限制；管理信息制作部，制作包括标记信息的管理信息，该标记信息表示在上述连续再现区间内上述阈值是固定的；以及结合部，将由上述编码部编码的上述第一及第二动态图像与由上述管理信息制作部制作的管理信息进行结合并输出。

另外，本发明所涉及的动态图像记录方法对于包括第一动态图像和用于覆盖至上述第一动态图像的第二动态图像在内的影像流进行编码并记录至记录介质，其特征在于，在上述覆盖中，仅将上述第二动态图像之中具有超过预定阈值的亮度的图像区域覆盖至上述第一动态图像；上述动态图像记录方法包括：连续再现区间决定步骤，在上述影像流之中，决定连续再现区间，该连续再现区间是部分区间的集合，而且是成为连续再现的对象的区间；编码步骤，对构成上述连续再现区间的多个部分区间内的上述第一及第二动态图像进行编码，以在上述连续再现区间决定步骤中决定的连续再现区间内满足不变更上述阈值的限制；管理信息制作步骤，制作包括标记信息的管理信息，该标记信息表示在上述连续再现区间内上述阈值是固定的；以及结合步骤，将在上述编码步骤中被编码的上述第一及第二动态图像与在上述管理信息制作步骤中制作的管理信息进行结合并记录至记录介质。

另外，本发明所涉及的记录介质记录了计算机可读取的数据，其特征在于，在上述数据中包含：包括第一动态图像和用于覆盖至上述第一动态图像的第二动态图像在内的影像流、以及管理上述影像流的信息即管理信息；在上述覆盖中，仅将上述第二动态图像之中具有超过预定阈值的亮度的图像区域覆盖至上述第一动态图像；在上述影像流中，构成上述连续再现区间的多个部分区间内的上述第一及第二动态图像被编码，以在连续再现区间内满足不变更上述阈值的限制，该连续再现区间是部分区间的集合，而且是成为连续再现的对象的区间；在上述管理信息中，包括标记信息，该标记信息表示在上述连续再现区间内上述阈值是固定的。

另外，本发明所涉及的动态图像再现方法将包括被编码的第一及第二动态图像在内的影像流解码，并将上述第二动态图像覆盖至上述第一动态图像来进行显示，其特征在于，包括：管理信息处理步骤，获取与上述影像流对应的管理信息，并对获取的管理信息进行解释；解码步骤，根据上述管理信息处理步骤中的解释，将上述第一及第二动态图像解码；以及显示步骤，仅将被解码的上述第二动态图像之中、具有超过预定阈值的亮度的图像区域覆盖至被解码的上述第一动态图像，并进行显示；在上述管理信息处理步骤中，判断在上述管理信息中是否包括标记信息，该标记信息表示上述阈值是固定的；在上述显示步骤中，在上述管理信息处理步骤判断为在上述管理信息中包括上述标记信息的情况下，利用与紧前的部分区间内的阈值同值的阈值，进行当前部分区间内的上述覆盖显示。

另外，本发明所涉及的动态图像再现装置将包括被编码的第一及第二动态图像在内的影像流解码，并将上述第二动态图像覆盖至上述第一动态图像来进行显示，其特征在于，包括：管理信息处理部，获取与上述影像流对应的管理信息，并对获取的管理信息进行解释；解码部，根据上述管理信息处理部的解释，将上述第一及第二动态图像解码；以及显示部，仅将被解码的上述第二动态图像之中、具有超过预定阈值的亮度的图像区域覆盖至被解码的上述第一动态图像，并进行显示；上述管理信息处理部判断在上述管理信息中是否包括标记信息，该标记信息表示上述阈值是固定的；上述显示部在上述管理信息处理部判断为在上述管理信息中包括上述标记信息的情况下，利用与紧前的部分区间内的阈值同值的阈值，进行当前部分区间内的上述覆盖显示。

另外，本发明所涉及的动态图像再现系统包括：上述记录介质；以及读取上述记录介质中记录的数据并进行再现的的动态图像再现装置；该动态图形再现系统的特征在于，上述动态图像再现装置包括：管理信息处理部，从上述记录介质中读取管理信息并进行解释；解码部，根据上述管理信息处理部的解释，从上述记录介质中读取上述第一及第二动态图像并进行解码；以及显示部，仅将被解码的上述第二动态图像之中、具有超过预定阈值的亮度的图像区域覆盖至被解码的上述第一动态图像，并进行显示；上述管理信息处理部判断在上述管理信息中是否包括标记信息，该标记信息表示上述阈值是固定的；上述显示部在上述管理信息处理部判断为在上述管理信息中包括上述标记信息的情况下，利用与紧前的部分区间内的阈值同值的阈值，进行当前部分区间内的上述覆盖显示。

而且，本发明不仅可以作为上述的动态图像编码方法、动态图像编码装置、动态图像记录方法、记录介质、动态图像再现方法、动态图像再现装置及动态图像再现系统来实现，而且也可以作为使计算机执行上述各方法中包括的步骤的程序来实现，或作为记录了该程序的DVD等的计算机可读取的记录介质来实现，或将上述各装置作为LSI等半导体集成电路来实现。

如上所述，根据本发明的动态图像编码方法，在作为连续再现的对象的区间中，不切换编码方式(或动态图像的属性)地对动态图像进行编码，并且制作包括标记信息的管理信息，该标记信息表示在该区间内编码方式是固定的。由此，接受了(或从记录介质中读取了)这样的数据结构的动态图像及管理信息的再现装置不需要对编码方式或动态图像的属性的切换进行监视的处理，处理负担减轻。

即，对于图片内图片，在连续再现区间内的动态图像的编码数据中，通过对在判定是否透过各像素进行显示中所使用的亮度值的阈值进行固定，从而消除了由阈值的切换引起的再现时的延迟，能够实现无缝的再现。因此，能够提高在动态图像、图形或静止图像等上覆盖动态图像进行显示的包介质、分发应用等的再现品质。另外，由于能够减轻实现上述应用的再现装置的处理负担，所以其应用价值很高。

附图说明

图1是DVD的结构图。

图2是加亮的结构图。

图3是表示DVD中的复用的例子的图。

图4是表示现有的MPEG-4 AVC流中用于图片单位的可变长度编码方式的例子的图。

图5A是表示对使用了CABAC和CAVLC的编码流进行解码的解码装置的结构的框图。

图5B是表示对使用了CABAC的编码流进行解码的动作的流程图。

图5C是表示对使用了CAVLC的编码流进行解码的动作的流程图。

图6是表示现有的解码装置的动作的流程图。

图7是用于说明图片内图片的显示例的图。

图8是说明由于亮度按键的阈值在连续再现区间内切换而引起的问题的图。

图9是表示实施方式1的记录介质中存放的MPEG-4 AVC流中用于图片单位的可变长度编码的方式的例子的图。

图10是表示标记信息的存放例的图，该标记信息表示在记录介质中可变长度编码的方式是固定的单位。

图11是表示再现记录介质的解码装置的动作的流程图。

图12是表示复用装置的结构的框图。

图13是表示复用装置的动作的流程图。

图14是表示图13中的S5201的具体例的流程图。

图15是表示图13中的S5202的具体例的流程图。

图16是表示图13中的S5204及S5205的其他具体例的流程图。

图17是表示图13中的S5202的具体例的流程图。

图18是BD的数据阶层图。

图19是BD上的逻辑空间的结构图。

图20是BD播放器的简要框图。

图21是BD播放器的结构框图。

图22是BD的应用空间的说明图。

图23是MPEG流(VOB)的结构图。

图24是包(pack)的结构图。

图25是说明AV流和播放器构成的关系的图。

图26是向轨(track)缓冲器的AV数据连续供给模式图。

图27是VOB信息文件结构图。

图28是时间映射(time map)的说明图。

图29是播放列表文件的构成图。

图30是与播放列表对应的程序文件的结构图。

图31是BD盘整体管理信息文件的结构图。

图32是记录全局事件处理器的文件的结构图。

图33是说明时间事件的例子的图。

图34是说明用户事件的例子的图。

图35是说明全局事件处理器的例子的图。

图36是虚拟机的结构图。

图37是播放器变量表的图。

图38是表示事件处理器(时间事件)的例子的图。

图39是表示事件处理器(用户事件)的例子的图。

图40是播放器的基本处理的流程图。

图41是播放列表再现处理的流程图。

图42是事件处理的流程图。

图43是字幕处理的流程图。

图44是说明在连续再现区间内固定亮度按键的阈值的例子的图。

图45是说明在无缝再现区间设亮度按键的值固定的说明图。

图46是说明保证亮度按键的阈值固定的标记的图。

图47是说明本发明的记录介质中的图片内图片动作的图。

图48是说明主视频与次视频的复用的图。

图49是表示实现本发明实施方式2的图片内图片动作的复用方法的动作的流程图。

图50是表示在实现本发明实施方式2的图片内图片动作的复用方法中、生成管理信息的动作的流程图。

图51是表示本发明的实施方式2的复用装置的结构的框图。

图52是表示存放在图片内图片的元信息中的显示属性信息的例子的图。

图53是表示由复用装置5200生成的管理信息的数据结构的图，图53(a)表示作为管理信息之一的播放列表的数据要素，图53(b)表示对无缝连接的再现区间进行表示的播放列表的例子。

图54是表示进行本发明的实施方式2的图片内图片动作的播放器的动作的流程图。

图55A是表示实施方式3中的记录介质主体即软盘的物理格式的例子的图。

图55B是表示从软盘的正面观察的外观、剖面构造及软盘的图。

图55C是表示用于在软盘FD上进行上述程序的记录再现的结构的图。

符号说明

104、201 BD盘

202 光拾取器

203 程序记录存储器

204 管理信息记录存储器

205 AV记录存储器

206 程序处理部

207 管理信息处理部

208 呈现处理部

209 图形平面

210 视频屏面

211 合成处理部

301 程序记录存储器

302 程序处理器

303 UOP管理器

304 管理信息记录存储器

305 脚本处理器

306 呈现控制器

307 时钟

308 图形存储器

309 轨缓冲器

310 解复用器

311 图形处理器

312 视频处理器

313 音频处理器

314 图形面板

315 视频面板

316 合成处理部

317 驱动器控制器

S101盘插入步骤

S102 BD.INFO读取步骤

S103 BD.PROG读取步骤

S104第一事件生成步骤

S105事件处理器执行步骤

S201UOP接受判定步骤

S202UOP事件生成步骤

S203菜单呼叫判定步骤

S204事件生成步骤

S205事件处理器执行步骤

S301播放列表再现开始步骤

S302播放列表信息(XXX.PL)读取步骤

S303播放列表程序(XXX.PROG)读取步骤

S304单元再现开始步骤

S305 AV再现开始步骤

S401 AV再现开始步骤

S402 VOB信息(YYY.VOBI)读取步骤

S403 VOB(YYY.VOB)读取步骤

S404 VOB再现开始步骤

S405 VOB再现结束步骤

S406 下一单元存在判定步骤

S501 播放列表再现开始步骤

S502 播放列表再现结束判定步骤

S503 时间事件时刻判定步骤

S504 事件生成步骤

S505 事件处理器执行步骤

S601 播放列表再现开始步骤

S602 播放列表再现结束判定步骤

S603 UOP接受判定步骤

S604 UOP事件生成步骤

S605 菜单呼叫判定步骤

S606 用户事件有效期间判定步骤

S607 事件生成步骤

S608 事件处理器执行步骤

S701 播放列表再现开始步骤

S702 播放列表再现结束判定步骤

S703 字幕描绘开始判定步骤

S704 字幕描绘步骤

S705 字幕显示结束判定步骤

S706 字幕消除步骤

具体实施方式

以下参照附图说明本发明的实施方式。

(实施方式1)

首先，对于不同的编码方式(或不同属性的动态图像)混杂存在的流的第一例、即可变长度编码方式(CAVLC/CABAC)混杂存在的例子，作为本发明的第一实施方式来进行说明。

在本实施方式中，说明在BD-ROM等的包介质等中，在将动态图像的编码数据解码时，能够对由可变长度编码方式切换而造成的解码动作的延迟、或与同时需要的缓冲器管理方法的切换相伴的处理负担的增加进行抑制的记录介质及其再现装置。在此，设动态图像的编码方式是MPEG-4AVC，但也可以是能够在流的中途切换可变长度编码方式的其他编码方式。

在本实施方式的记录介质中存放的MPEG-4 AVC流中，对能够切换可变长度编码方式的单位进行限制，并且将下述信息存放至管理信息中，该信息表示切换单位被限制、或被限制的切换单位。

图9表示MPEG-4 AVC流中的、可变长度编码方式的切换单位的限制例。在BD-ROM等的包介质中，通过播放列表等，表示出对动态图像的编码数据进行连续再现的单位(以下称为连续再现单位)，所以如果在连续再现单位中固定可变长度编码方式，那么在连续再现的区间中，与可变长度编码方式的切换相伴的解码动作的延迟或由缓冲器管理方法的切换引起的处理负担的增加就不发生。因此，在本实施方式中，在连续再现单位中将可变长度编码方式固定。图9(a)和图9(b)分别表示在连续再现单位中将可变长度编码的方式仅限制为CAVLC或仅限制为CABAC的例子。进而，在连续再现的片断(clip)的连接条件中，存在有缝连接和无缝连接这两种。这里所谓的连接，设为包括对同一片断内的多个区间进行连接的情况。在无缝连接中，例如，如向开放(open)GOP连接时那样，有时在解码动作中发生间隔，所以还可以设为也允许可变长度编码方式的切换，并在无缝连接的连续再现单位中固定可变长度编码的方式。

另外，也可以在片断或随机访问单位(RAU)等与连续再现单位不同的单位中固定可变长度编码的方式。图9(c)和图9(d)表示以片断单位来固定的例子，图9(e)表示以随机访问单位来固定的例子。

接着，在管理信息中，存放了标记信息，该标记信息表示在MPEG-4AVC的流中可变长度编码方式的切换单位被限制。在此，将编码方式的识别信息作为标记来使用。图10表示BD-ROM中的标记的存放例。在BD-ROM中，由播放列表参照的各片断的编码方式被存放于管理信息内的被称为“StreamCodingInfo”的区域，所以在此表示出编码方式为MPEG4AVC时，设在连续再现单位中可变长度编码的方式是固定的。而且，也可以另外示出可变长度编码的方式为CABAC或CAVLC。

而且，也可以另外规定并存放表示可变长度编码方式的切换单位被限制的标记，进而，也可以存放表示切换单位的信息。另外，这些信息也可以存放于MPEG-4 AVC的流内。例如，可以将表示随机访问单位内的图片中可变长度编码方式固定的信息存放于随机访问单位的先头图片中的SEI(补充增强信息：Supplemental Enhancement Information)、或具有非特定的类型的NAL(网络提取层：Network Abstraction Layer)单元。

另外，在MPEG-4 AVC中，在表示图片单位的初始化信息的PPS(图片参数组：Picture Parameter Set)内的entropy_coding_mode_flag中，表示出可变长度编码的方式是CAVLC还是CABAC。因此，在一定区间内可变长度编码的方式固定时，在该区间内的图片所参照的全部PPS中，设entropy_coding_mode_flag的场值是固定的。在MPEG-4 AVC中，也允许将按解码顺序存在于规定区间的图片所没有参照的存放于PPS上述规定区间，但对于区间内的图片所没有参照的PPS中的entropy_coding_mode_flag的场值，并不需要特别限制。例如，随机访问单位RAU内的图片所参照的PPS保证全部存在于随机访问单位RAU内，但随机访问单位RAU内的图片所没有参照的PPS也可以存在于随机访问单位内。这时，没有被参照的PPS不对解码造成影响，所以也可以不限制entropy_coding_mode_flag的场值。其中，统一地决定规定区间中所包括的PPS中的entropy_coding_mode_flag的场值在操作上简单，所以也可以包括没有被参照的PPS在内地将场值固定。

图11是表示本实施方式的记录介质中的连续再现单位的解码动作的流程图。在连续再现单位中可变长度编码的方式是固定的，所以与图6的现有的解码动作不同，解码过程中的二元数据的缓冲以及缓冲管理方法的切换变得不需要。对于各步骤的动作，与图6中附加了相同符号的步骤相同，所以省略说明。

进而，作为新的编码方式，现在，在SMPTE(电影电视工程师协会：The Society of Motion Picture and Television Engineers)正在策划VC-1(非专利文献1)的规格。在VC-1中，定义了表示宏块(具有16×16像素的大小的单位)的编码方式的各种标记。作为标记例如存在：是否跳过宏块、是否为场模式/帧模式的某一个、是否为直接(direct)模式宏块等。

作为扩展的编码手段之一，有比特平面编码。比特平面编码在对表示上述宏块的编码方式的标记进行表示时使用。在比特平面编码中，可以将这些标记汇集为1个图片量，并在图片头中表示。一般的，相邻的宏块在相关性上较高，所以在标记上相关性也较高。因此，通过将相邻的多个宏块的标记汇集并编码，能够减少表现标记的码量。

在比特平面编码中，规定了7种编码方法。其中之一是在宏块头中对各标记进行编码的方法，该方法被称为RAW模式(原始图像数据存储模式)，是与MPEG-2视频方式或MPEG-4视觉方式相同的方法。剩余的6种方法是将1个图片量的标记汇集并编码的方法，根据如何将相邻的宏块的标记汇集并编码，定义了不同的方法。作为该6种方法，例如存在：将左右相邻的2个宏块的标记汇集并编码的方法，在水平方向上排列的一列宏块的标记如果都是“0”则将其用1比特的“0”表示、一列宏块的标记中如果有1个为“1”也将各标记原样编码的方法等。

在比特平面编码中使用该7种中的哪一种方法，对每个标记独立，可以按图片单位变更。

在此，在比特平面编码中，把仅使用在宏块头中将各标记编码的方法的情况设为模式1，把仅使用将1个图片量的标记汇集并编码的方法的情况设为模式2，那么由于模式1与模式2中解码时的动作不同，在模式的切换部分中处理的负担增大，有时发生延迟。因此，与限制上述可变长度编码的切换单位相同，也可以对比特平面编码也限制模式1与模式2的切换单位。例如，在连续再现单位、或无缝连接的连续再现单位中，将模式固定。另外，也可以在管理信息中包括表示比特平面编码的模式在规定的单位中固定的标记信息。例如，可以将StreamCodingInfo中表示的编码方式用作标记信息，在表示为编码方式是VC-1时，规定的单位中比特平面编码的模式是固定的。

进而，把共同使用了在宏块头中将各标记编码的方法和将1个图片量的标记汇集并编码的方法的情况设为模式3，根据VC-1被使用的环境，存在区分使用模式1和模式3的情况。例如，可以对处理能力低的终端使用模式1，对处理能力高的终端使用模式3。在这样的情况下，在规定的再现单位中固定为模式1或模式3的某一方是有效的。进而，可以在管理信息或编码流中存放表示固定为模式1或模式3的某一方的标记信息、或表示固定为哪一个模式的信息。另外，也可以区分使用模式2和模式3。

图12是表示使用本实施方式的复用方法的复用装置5100的结构的框图。复用装置5100具备切换单位决定部5101、切换信息生成部5102、编码部5103、系统复用部5104、管理信息制作部5105、结合部5106。以下说明各部的动作。

切换单位决定部5101决定能够对可变长度编码的方式进行切换的单位，并将决定的切换单位Unit输入至切换信息生成部5102及编码部5103。切换单位设为预先设定，但也可以设为能够从外部进行设定。切换信息生成部5102根据切换单位Unit，生成表示能够切换可变长度编码的单位的切换信息SwInf，并输入至管理信息制作部5105。编码部5103以满足单位Unit的限制的方式将各片断的数据编码，并将编码数据Cdata1输入至系统复用部5104。系统复用部5104对编码数据Cdata1进行系统复用，并将流信息StrInf1输入至管理信息制作部5105，将复用数据Mdata1输入至结合部5106。在BD-ROM中，使用被称为源包的、在MPEG-2的传输流中附加了4字节的头的方式，来作为系统复用的方式。另外，流信息StrInf1包括用于生成时间映射等、关于复用数据Mdata1的管理信息的信息。管理信息制作部5105生成管理信息CtrlInf1，该管理信息CtrlInf1包括根据流信息StrInf1生成的时间映射、以及切换信息SwInf等，并输入至结合部5106。结合部5106对管理信息CtrlInf1和复用数据Mdata1进行结合并作为记录数据Dout1输出。

另外，在由著作(authoring)工具等制作数据时，在不同的装置进行编码数据的生成、和系统复用或管理信息的制作，但在这种情况下，也可以使各装置的动作与复用装置5100中的各部相同。

图13是表示用于制作本实施方式中的记录介质中存放的复用数据的复用方法的动作的流程图。本实施方式的复用方法在具备决定能够对可变长度编码的方式进行切换的单位的步骤(步骤S5201)、根据决定的单位将片断编码的步骤(步骤S5202)、以及生成表示可变长度编码的切换单位的标记信息的步骤(步骤S5204)这几点上，与现有的复用方法不同。

首先，在步骤S5201中，决定能够对可变长度编码的方式进行切换的单位。即，决定是否能够以连续再现单位、片断、或随机访问单位中的哪个单位来进行切换。接着，在步骤S5202中，根据步骤S5201中决定的切换单位，将MPEG-4 AVC的片断的数据编码。在步骤S5203中，判定最终片断的编码是否结束，在判定为结束时前进至步骤S5204，判定为没有结束时返回步骤S5202并重复片断的编码。在步骤S5204中，生成表示可变长度编码的切换单位的标记信息，并前进至步骤S5205。在步骤S5205中，制作包括步骤S5204中生成的标记信息的管理信息，并对管理信息和片断的数据进行复用并输出。

图14是表示图13中决定能够对可变长度编码的方式进行切换的单位的步骤(S5201)的具体例的流程图。在该图中，将能够对可变长度编码的方式进行切换的最小单位设为图9(c)、图9(d)所示的片断。在此，所谓片断，指的是在记录介质上作为AV数据的文件而存放的、例如存放了MPEG-4 AVC的一个流或VC-1的一个流的一个文件。另外，片断在传输流中指的是通过TS包的识别符来确定的流。

在图14中，切换单位决定部5101判定编码对象的图片是否为片断的开始图像(S5201a)，不是开始图像的情况、即为片断的中途的图像的情况下，决定为在该片断的编码中不能切换可变长度编码的方式(S5201f)。

是开始图片的情况下，切换单位决定部5101判定开始图片的片断是否与编码完成的紧前的片断无缝连接(S5201b)，在无缝连接的情况下，决定为开始图片的片断的编码中不能切换可变长度编码的方式(S5201f)。

在没有无缝连接的情况下，切换单位决定部5101判定开始图片的片断是否为与构成多角度的角度相对应的片断(S5201c)，是与该角度相对应的片断的情况下，决定为在开始图片的片断的编码中，在构成该多角度的角度之间不能切换可变长度编码的方式(S5201f)。在此，能够在各角度无缝连接的无缝多角度中，各角度的可变长度编码的方式被决定为与多角度区间的紧前的片断相同的方式。另一方面，在不保证能够在各角度无缝连接的非无缝多角度中，如果各角度上可变长度编码的方式相同，则其方式也可以与多角度区间的紧前的片断不同。

另外，切换单位决定部5101在编码对象的图片是片断的开始图片、且与S5201b至S5201c的哪一种都不相当的情况(否的情况)下，决定为对于编码完成的紧前的片断能够切换开始图片的片断的可变长度编码方式(S5201e)。

像这样在图14的流程图中，在切换单位决定部5101中被决定为不能切换的片断被决定为以下片断，即：(a)通过传输流的包识别符确定的片断；(b)作为无缝连接的对象的多个片断；(c)与构成多角度的各角度相对应的多个片断。另外，S5201a至S5201c的判定按照哪种顺序来执行都可以。另外，在多角度的情况下，也可以仅在无缝多角度中使可变长度编码方式不可替换。另外，片断也可以通过文件名等与包识别符不同的信息来识别。另外，在图1 4中说明了能够对可变长度编码的方式进行切换的最小单位是图9(c)、图9(d)所示的片断的情况，但也可以以图9(e)那样的RAU为最小单位。这时，进行将图中的“片断”读取替换为“RAU”的处理即可。

图15是表示图13中的片断编码步骤(S5202)的具体例的流程图。在图15中，表示了进行MPEG-4 AVC的编码的情况。在该图中，编码部5103在片断的编码开始之前先判定能否切换该片断的可变长度编码的方式(S5202a)。该判定按照图14中的决定。编码部5103在判定为能够切换的情况下任意决定该片断的可变长度编码方式(S5202b)，判定为不能切换的情况下将该片断的可变长度编码方式决定为与相互无缝连接的紧前的、或构成同一多角度的其他的片断相同的方式(S5202c)。进而，编码部5103将表示所决定的可变长度编码方式的标记设定至图片参数组PPS(S5202d)，根据决定的可变长度编码方式将该片断编码(S5202e)。该标记在MPEG4-AVC中被称为entoropy_coding_mode_flag。

像这样，编码部5103对于被判定为不能切换的连续再现区间的片断不切换可变长度编码的方式，将动态图像编码，从而生成编码数据Cdata1。

图16是表示图13中的标记信息生成步骤(S5204)及管理信息生成步骤(S5205)的具体例的流程图。

在该图中，切换信息生成部5102判定由编码部5103进行了编码的片断是否是被判定为能够切换可变长度编码方式的片断(S5204a)，在是被判定为能够切换的片断的情况下，生成表示可变长度编码的方式不固定的标记信息，并与该片断相对应地将标记信息积蓄在存储器的工作区域中(S5204b)，在不是被判定为能够切换的片断的情况下，生成表示可变长度编码的方式固定的标记信息，并与该片断相对应地将标记信息蓄积在存储器的工作区域中(S5204c)。进而，切换信息生成部5102判定该片断是否是由编码部5103进行了编码的最后的片断(S5204d)，如果不是最后的片断，则重复上述S5204a至S5204c，如果是最后的片断，则将蓄积在存储器的工作区域中的标记信息作为切换信息SwInf输出至管理信息制作部5105。

进而，管理信息制作部5105生成包括播放列表的管理信息(S5205a)，参照切换信息SwInf，附加表示播放列表中所包括的播放项目中可变长度编码的方式固定的标记信息(S5205b)。另外，标记信息也可以表示可变长度编码的方式与紧前的播放项目所参照的再现区间是否相同。在此，播放列表表示一个以上的播放项目的再现顺序。播放项目是表示应该再现的片断的信息，将一个片断的全部或部分指定为再现区间。另外，上述标记信息也可以与播放项目中附加的其他参数兼用。这时，例如，可以将意味着片断无缝连接的参数(例如“connection_condition＝5”)与上述标记信息兼用。这是因为：在图14中，被决定为不能切换的连续再现区间(可变长度编码的方式固定的区间是：(a)通过传输流的包识别符确定的片断、(b)作为无缝连接的对象的多个片断、(c)与构成多角度的各角度相对应的多个片断，其中(b)以无缝连接为前提。另外，是否是多角度区间可以通过被称为“is_multi_angle”的标记表示，所以也可以将本标记与表示可变长度编码的方式固定的标记兼用。由此，可以减少管理信息的数据量。

图17是表示图13中的片断编码步骤(S5202)的其他具体例的流程图。在图17中，表示了进行VC-1的编码的情况。在该图中，编码部5103在片断的编码开始之前，先判定能否在RAW模式与此外的模式之间切换该片断的可变长度编码的方式(S5202a)。该判定按照图14中的决定。编码部5103在判定为能够切换的情况下任意决定该片断的比特平面编码的方式(S5202f)，判定为不能切换的情况下将该片断的比特平面编码方式决定为与紧前的片断相同的方式(S5202g)。编码部5103判定所决定的比特平面编码方式是RAW模式(RAW MODE)还是此外的方式(S5202h)。编码部5103在图片单位上附加表示模式的信息，在判定为是RAW模式(RAWMODE)的情况下，对每个宏块MB的规定的信息在各宏块中进行编码(S5202i)，在判定为不是RAW模式(RAW MODE)的情况下，将每个宏块MB的规定的信息汇集设定在图片的先头，并将该片断编码(S5202j)。另外，表示上述模式的信息在VC-1中通过被称为IMODE的场来表示。

像这样，编码部5103对于被判定为不能切换的连续再现区间的片段不切换比特平面编码的方式，将动态图像编码，从而生成编码数据Cdata1。

另外，上述播放列表不限定于光盘上的使用，在经由网络接收流时，也可以使用以下用法，即：首先接收播放列表并进行解析，决定了接收的流之后，开始实际的流的接收。另外，在将流打包为RTP(实时传输协议：Real-time Transport Protocol)的包或TS包等之后通过IP(互联网协议：Internet Protocol)网进行传输时，作为再现控制信息，也可以通过SDP(对话描述协议：Session Description Protocol)等，表示再现区间内可变长度编码的方式是否固定。

以下，表示存放了通过本实施方式所涉及的动态图像编码方法生成的数据的BD-ROM盘的数据结构、以及再现该盘的播放器的结构。

(盘上的逻辑数据结构)

图18是表示BD-ROM的结构、特别是作为盘介质的BD盘104和在盘上记录的数据101、102、103的结构的图。在BD盘104上记录的数据有AV数据103、与AV数据相关的管理信息及AV再现序列等的BD管理信息102、和实现交互性的BD再现程序101。在本实施方式中，为了说明方便，进行以用于再现电影的AV内容的AV应用为主的BD盘的说明，但用作其他用途显然也是相同的。

图19是表示上述BD盘上记录的逻辑数据的目录/文件结构的图。BD盘与其他光盘、例如DVD或CD等相同，从其内周向外周以螺旋状具有记录区域，在内周的导入与外周的导出之间具有能够记录逻辑数据的逻辑地址空间。另外，在导入的内侧存在被称为BCA(二进制位组截断区：BurstCutting Area)的只能由驱动器读取的特殊区域。该区域不能由应用读取，所以例如用于版权保护技术等。

在逻辑地址空间中，以文件系统信息(卷)为先头记录了影像数据等的应用数据。所谓文件系统，正如现有技术中说明的，是UDF或ISO9660等，可以与通常的PC一样使用目录、文件结构读取记录的逻辑数据。

在本实施例的情况下，BD盘上的目录、文件结构为：在根目录(ROOT)紧下设有BDVIDEO目录。该目录是存放着BD中处理的AV内容或管理信息等的数据(在图18中说明的101、102、103)的目录。

BDVIDEO目录之下记录了以下的7种文件。

BD.INFO(文件名固定)

“BD管理信息”之一，是记录了与BD盘整体相关的信息的文件。BD播放器最初读取此文件。

BD.PROG(文件名固定)

“BD再现程序”之一，是记录了与BD盘整体相关的再现控制信息的文件。

XXX.PL(“XXX”可变，扩展符“PL”固定)

“BD管理信息”之一，是记录了作为脚本(再现序列)的播放列表信息的文件。每个播放列表具有1个文件。

XXX.PROG(“XXX”可变，扩展符“PROG”固定)

“BD再现程序”之一，是记录了每个上述播放列表的再现控制信息的文件。与播放列表的对应通过文件实体名(“XXX”一致)来识别。

YYY.VOB(“YYY”可变，扩展符“VOB”固定)

“AV数据”之一，是记录了VOB(与现有例中说明的VOB相同)的文件。每个VOB具有一个文件。

YYY.VOBI(“YYY”可变，扩展符“VOBI”固定)

“BD管理信息”之一，是记录了与作为AV数据的VOB相关的流管理信息的文件。与VOB的对应通过文件实体名(“YYY”一致)来识别。

ZZZ.PNG(“ZZZ”可变，扩展符“PNG”固定)

“AV数据”之一，是记录了用于构成字幕及菜单的图形数据PNG(是由W3C进行了标准化的图像格式，读作“平格”)的文件。每个PNG图形具有一个文件。

(播放器的结构)

接着，利用图20及图21来说明再现上述BD盘的播放器的结构。

图20是表示播放器的大概的功能结构的框图。

BD盘201上的数据通过光拾取器202读取。读取的数据根据各自的数据的种类转发至专用的存储器。分别将BD再现程序(“BD.PROG”或“XXX.PROG”文件的内容)转发至程序记录存储器203，将BD管理信息(“BD.INFO”、“XXX.PL”或“YYY.VOBI”)转发至管理信息记录存储器204，将AV数据(“YYY.VOB”或“ZZZ.PNG”)转发至AV记录存储器205。

程序记录存储器203中记录的BD再现程序通过程序处理部206进行处理，管理信息记录存储器204中记录的BD管理信息通过管理信息处理部207进行处理，另外，AV记录存储器205中记录的AV数据通过呈现处理部208进行处理。

程序处理部206接受由管理信息处理部207再现的播放列表的信息或程序的执行定时等的事件信息，并进行程序的处理。另外，在程序中可能存在动态改变再现的播放列表的情况，在这种情况下对管理信息处理部207发送播放列表的再现命令来实现。程序处理部206接受来自用户的事件、即来自遥控器按键的请求，存在与用户事件对应的程序时，将其执行。

管理信息处理部207接受程序处理部206的指示，解析对应的播放列表及与播放列表对应的VOB的管理信息，并对呈现处理部208指示作为对象的AV数据的再现。另外，管理信息处理部207从呈现处理部208接受基准时刻信息，根据时刻信息对呈现处理部208进行AV数据再现的停止指示，另外，对于程序处理部206生成表示程序执行定时的事件。

呈现处理部208具有与影像、声音、字幕/图形(静止画面)分别对应的解码器，按照来自管理信息处理部207的指示，进行AV数据的解码及输出。在影像数据、字幕/图形的情况下，在解码后，在各自的专用平面、视频平面210及图片平面209上进行描绘，通过合成处理部211进行影像的合成处理，并向电视机(TV)等显示设备输出。

像这样如图20所示，BD播放器具有基于图18所示的BD盘上所记录的数据结构的设备结构。

图21是细化了上述播放器结构的框图。在图21中，AV记录存储器205与图形存储器308和轨缓冲器309，程序处理部206与程序处理器302和UOP管理器303，管理信息处理部207与脚本处理器305和呈现控制器306，呈现处理器208与时钟307、解复用器310、图形处理器311、视频处理器312和音频处理器313分别对应/扩展。

从BD盘201中读取的VOB数据(MPEG流)被记录至轨缓冲器309，图形数据(PNG)被记录至图形存储器308。解复用器31 0根据时钟307的时刻，提取轨缓冲器309中记录的VOB数据，并分别将影像数据送入视频处理器312，将声音数据送入至音频处理器313。视频处理器312及音频处理器313分别如MPEG系统规格所规定的那样，各自由解码器缓冲器和解码器构成。即，从解复用器310送入的影像、声音各自的数据被暂时记录至各自的解码器缓冲器，并按照时钟307由各自的解码器进行解码处理。

在图形存储器308记录的PNG有以下2种处理方法。

在图形数据为字幕用的情况下，由呈现控制器306指定解码定时。脚本处理器305一旦接受到来自时钟307的时刻信息，如果到了字幕显示时刻(开始及结束)，则对呈现控制器306发出显示、不显示字幕的指示，以进行合适的字幕显示。从呈现控制器306接受了解码/显示的指示的图片处理器311从图片存储器308中提取对应的PNG数据，进行解码，并在图形平面314上描绘。

接着，在图形数据为菜单用的情况下，由程序处理器302指定解码定时。程序处理器302何时指定图形的解码，取决于程序处理器302所处理的BD程序，无法统一决定。

图形数据及影像数据如图20说明的那样，分别解码后输出至图形平面314、视频平面315，并由合成处理部316合成后输出。

从BD盘201读取的管理信息(脚本、AV管理信息)被存放至管理信息存储器304，而脚本信息(“BD.INFO”及“XXX.PL”)被向脚本处理器305进行读取处理。另外，AV管理信息(“YYY.VOBI”)由呈现控制器306进行读取处理。

脚本处理器305解析播放列表的信息，对呈现控制器306指示由播放列表参照的VOB及其再现位置，呈现控制器306解析作为对象的VOB的管理信息(“YYY.VOBI”)，对驱动器控制器31 7发出指示，使其读取作为对象的VOB。

驱动器控制器317按照呈现控制器306的指示，使光拾取器移动，进行作为对象的AV数据的读取。读取出的AV数据如上所述，被读取至图形存储器308或轨存储器309。

另外，脚本处理器305监视时钟307的时刻，在管理信息中设定的定时将事件投向程序处理器302。

在程序记录存储器301中记录的BD程序(“BD.PROG”或“XXX.PROG”)由程序处理器302执行处理。程序处理器302处理BD程序，存在从脚本处理器305发送来事件的情况，或从UOP管理器303发送来事件的情况。UOP管理器303在由用户通过遥控器按键发送来请求的情况下，生成对程序处理器302的事件。

(应用空间)

图22是表示BD的应用空间的图。

在BD的应用空间中，播放列表(Playlist)成为一个再现单位。播放列表是单元(Cell)的连接，具有由连接的顺序决定的再现序列即静态脚本、以及由程序记录的动态脚本。只要不存在由程序实现的动态脚本，那么播放列表只是按各个单元的顺序再现，另外，在结束了全部单元的再现的时刻，播放列表的再现结束。另一方面，程序可以动态地改变通过超出播放列表的再现记录还有用户选择或播放器的状态来再现的对象。作为典型的例子可以举出菜单。在BD的情况下，所谓菜单，可以定义为通过用户的选择来再现的脚本，由程序动态地选择播放列表。

在此所说的程序，指的是通过时间事件或用户事件来执行的事件处理器。

时间事件是根据播放列表中埋入的时刻信息来生成的事件。从图21说明的脚本处理器305向程序处理器302发送的事件便相当于此。如果发行了时间事件，那么程序处理器302对通过ID加以对应的事件处理器进行执行处理。如上所述，所执行的程序可以指示其他的播放列表的再现，在这种情况下，当前正在再现的播放列表的再现中止，转移至被指定的播放列表的再现。

用户事件是由用户的遥控器按键操作所生成的事件。用户事件总体上分为两种类型。第一种是通过方向按键(“上”“下”“左”“右”按键)还有“决定”按键的操作所生成的菜单选择的事件。与菜单选择的事件对应的事件处理器仅在播放列表内的有限期间有效(设定了各个事件处理器的有效期间来作为播放列表的信息)，在遥控器的“上”“下”“左”“右”按键或“决定”按键被按下时，检索有效的事件处理器，在存在有效的事件处理器的情况下，执行处理该事件处理器。其他情况下，无视菜单选择的事件。

第二种用户事件是由“菜单”按键的操作所生成的菜单呼叫的事件。如果生成了菜单呼叫的事件，那么调用全局事件处理器。全局事件处理器不依赖于播放列表，是通常有效的事件处理器。通过利用该功能，可以安装DVD的菜单呼叫(在标题再现中调用声音、字幕菜单等，在变更声音或字幕之后执行从中断的位置开始的标题再现的功能等)。

在播放列表中构成静态脚本的单位即单元(Cell)参照了VOB(MPEG流)的全部或部分的再现区间。单元以开始、结束时刻的信息的方式具有VOB内的再现区间。与各个VOB成对的VOB管理信息(VOBI)在其内部具有与数据的再现时刻对应的记录地址的表信息即时间映射(Time Map或TMAP)，通过该时间映射可以导出在VOB内(即，作为对象的文件“YYY.VOB”内)读取上述VOB的再现、结束时刻的开始地址及结束地址。另外，时间映射的详情留待后述。

(VOB的详情)

图23是本实施例中使用的MPEG流(VOB)的结构图。

如图23所示，VOB由多个VOBU(视频对象单元：Video Object Unit)构成。VOBU是以MPEG视频流中所谓的GOP(图片组：Group OfPictures)为基准，作为还包括了声音数据的复用流的一个再现单位。VOBU具有1.0秒以下的视频再现时间，通常具有0.5秒左右的再现时间。

VOBU先头的TS包(MPEG-2传输流包：MPEG-2 Transport StreamPacket)存放了序列头及此后的GOP头和I图片(内部编码：Intra-coded)，可以从该I图片开始解码。另外，由时间映射管理包括该VOBU先头的I图片的先头在内的TS包的地址(开始地址)、从该开始地址到包括I图片的最后在内的TS包为止的地址(结束地址)、和该I图片的再现开始时刻(PTS)。因此，时间映射的项目被赋予VOBU先头的各个TS包。

VOBU在其内部具有视频包(V_PKT)和音频包(A_PKT)。各包为188字节，虽然在图23中没有图示，但各TS包的紧前被赋予了与该TS包的相对的解码供给开始时刻即ATS(到达时刻戳：Arrival Time Stamp)。

将ATS赋予给各TS包是因为该TS流的系统速率不是固定速率，而是可变速率。一般的，在将系统速率固定的情况下插入被称为NULL包的假的TS包，但为了在有限的记录容量中以高画质进行记录，适用可变速率，在BD中记录为附加了ATS的TS流。

图24是表示TS包的结构的图。

如图24所示，TS包由TS包头、适用场、有效负载部构成。在TS包头中存放了PID(包识别符：Packet Identifier)，由此识别TS包存放了什么样的信息。适用场中存放了PCR(程序时钟参照：Program ClockReference)。PCR是将流解码的设备的基准时钟(系统时间时钟：SystemTime Clock，被称为STC)的参照值。设备典型地在PCR的定时上将系统流解复用，并重新架构视频流等各种流。有效负载中存放了PES包。

在PES包头中，存放了DTS(解码时间戳：Decoding Time Stamp)和PTS(呈现时间戳：Presentation Time Stamp)。DTS表示在该PES包中存放的图片/音频帧的解码定时，PTS表示影像声音输出等的呈现定时。视频数据及音频数据这样的基本数据在被称为PES包有效负载(PESPacket Payload)的包(PES Packet)的数据存放区域中从先头依次存入。在PES包头中，还记录了用于识别在有效负载中存放的数据是什么流的ID(stream_id)。

关于TS流的详情在ISO/IEC13818-1中进行了规定，在BD中特征在于对每个TS包赋予ATS。

(VOB的交错记录)

接着利用图25及图26说明VOB文件的交错记录。

图25上部分是上述播放器结构图的一部分。如图所示，BD盘上的数据通过光拾取器，若是VOB即MPEG流则输入至轨缓冲器，若是PNG即图片数据则输入至图片存储器。

轨缓冲器是FIFO，输入的VOB的数据按输入的顺序发送至解复用器。这时，按照上述ATS，各个TS包被从轨缓冲器提取出来，并通过解复用器，数据被送达至视频处理器或音频处理器。另一方面，在图片数据的情况下，由呈现控制器指示要描绘哪个图片。另外，在描绘中使用的图片数据是字幕用图片数据的情况下，同时从图片存储器中删除，而是菜单用图片数据的情况下，在该菜单描绘中原样留在图片存储器内。这是因为：菜单的描绘依赖于用户操作，有时追随用户的操作重新显示菜单的一部分或替换为不同的图片，此时使重新显示的部分的图片数据容易解码。

图25下部分是表示BD盘上的VOB文件及PNG文件的交错记录的图。一般在ROM、例如CD-ROM或DVD-ROM的情况下，作为一系列的连续再现单位的AV数据被连续记录。这是因为只要连续记录，那么驱动器只要依次读取数据，并送达至解码器即可，但在连续数据被切断并在盘上离散配置的情况下，在各个连续再现区间之间加入寻找(seek)操作，其间数据的读取停止，存在数据的供给停止的可能性。在BD的情况下也相同，优选VOB文件能够在连续区域上记录，但例如存在像字幕数据那样与VOB上记录的影像数据同步再现的数据，需要与VOB文件同样地将字幕数据也通过某种方法从BD盘中读取。

作为字幕数据的读取方法的一个手段，有在VOB的再现开始前统一读取字幕用的图片数据(PNG文件)的方法。但是，这时需要大量的存储器，是不现实的。

因此，使用将VOB文件分为几个块、并与图形数据交错记录的方式。图25下部分是说明该交错记录的图。

通过适当地交错配置VOB文件和图形数据，可以在没有如上所述的大量的暂时记录存储器的条件下，在需要的定时将图形数据存放至图形存储器。但是在读取图形数据时，VOB数据的读取当然要停止。

图26是说明使用了解决该问题的轨(track)缓冲器的VOB数据连续供给模式的图。

正如已经说明的，VOB的数据暂时累积在轨缓冲器中。如果在向轨缓冲器的数据输入速率(Va)和从轨缓冲器的数据输出速率(Vb)之间设有差(Va＞Vb)，则只要从BD盘持续读取数据，那么轨缓冲器的数据累积量变不断增加。

如图26的上部分所示，VOB的一个连续记录区域从逻辑地址的“a1”持续到“a2”。在“a2”到“a3”之间，设为记录了图形数据、不进行VOB数据的读取的区间。

图26的下部分是表示轨缓冲器的内部的图。横轴表示时间，纵轴表示在轨缓冲器内部累积的数据量。时刻“t1”表示开始VOB的一个连续记录区域的开始点即“a1”的读取的时刻。该时刻以后，在轨缓冲器中以速率Va-Vb累积数据。该速率显然是轨缓冲器的输入输出速率之差。时刻“t2”是读取一个连续记录区域的结束点即“a2”的数据的时刻。即时刻“t1”到“t2”之间，以速率Va-Vb，轨缓冲器内数据量不断增加，在时刻“t2”的数据累积量B(t2)可以通过下式求出。

B(t2)＝(Va-Vb)×(t2-t1) (式1)

此后，由于图形数据持续到BD盘上的地址“a3”为止，所以向轨缓冲器的输入为0，输出速率为“-Vb”，轨缓冲器内的数据量不断减少。这到读取位置“a3”为止，时刻上到“t3”为止。

在此重要的是：如果在时刻“t3”之前轨缓冲器中累积的数据量变为0，则向解码器供给的VOB的数据消失，存在VOB的再现停止的可能性。但是，在时刻“t3”轨缓冲器中有数据剩余的情况下，意味着VOB的再现可以不停止地连续进行。

该条件可以由下式表示。

B(t2)≥Vb×(t3-t2) (式2)

即，以满足式(2)的方式决定图形数据(非VOB数据)的配置即可。

(导航数据结构)

利用图27至图33，说明BD的导航数据(BD管理信息)结构。

图27是表示VOB管理信息文件(“YYY.VOBI”)内部结构的图。

VOB管理信息具有该VOB的流属性信息(Attribute)和时间映射。流属性构成为各自具有视频属性(Video)、音频属性(Audio#0-Audio#m)。特别是在音频流的情况下，VOB可以同时具有多个音频流，所以通过音频流数(Number)，表示有无数据区域(field)。

下面是视频属性(Video)所具有的区域和各自可以具有的值。

压缩方式(Coding)：

MPEG1

MPEG2

MPEG3

MPEG4

MPEG4-AVC(高级视频编码：Advanced Video Coding)

解析度(Resolution)：

1920×1080

1440×1080

1280×720

720×480

720×565

高宽比(Aspect)：

4∶3

16∶9

帧率(Framerate)：

60

59.94(60/1.001)

50

30

29.97(30/1.001)

25

24

23.976(24/1.001)

下面是音频属性(Audio)所具有的区域和各自可以具有的值。

压缩方式(Coding)：

AC3

MPEG1

MPEG2

LPCM

通道数(Ch)：

1-8

语言属性(Language)：

时间映射(TMAP)是具有每个VOBU的信息的表，包括该VOB所具有的VOBU数(Number)和各VOBU信息(VOBU#1-VOBU#n)。各个VOBU信息由VOBU先头TS包(I图片开始)的地址I_start、到该I图片的结束地址为止的偏置地址(I_end)、以及该I图片的再现开始时刻(PTS)构成。

另外，I_end的值也可以不具有偏置值、即I图片的尺寸，而具有实际的I图片的结束地址。

图28是说明VOBU信息的详情的图。

众所周知，MPEG视频流为了高画质记录而以可变比特率压缩，其再现时间与数据尺寸间不单纯相关。反之，作为声音的压缩规格的AC3进行以固定比特率的压缩，所以时间与地址的关系可以通过1次式求出。但是，在MPEG视频数据的情况下，各个帧具有固定的显示时间，例如在NTSC的情况下1帧具有1/29.97秒的显示时间，而各个帧的压缩后的数据尺寸根据图像的特性或在压缩中使用的图片类型、所谓的I/P/B图片，数据尺寸变化很大。因此，在MPEG视频的情况下，时间与地址的关系不可能通过一次式的形式来表现。

当然，复用了MPEG视频数据的MPEG系统流、即VOB也不可能通过一次式的形式来表现时间与数据尺寸。因此，对VOB内的时间与地址的关系进行联系的是时间映射(TMAP)。

像这样，在施加了某时刻信息的情况下，首先检索(跟踪每个VOBU的PTS)该时刻属于哪个VOBU，跳至TMAP中具有该时刻的紧前的PTS的VOBU(由I_start指定的地址)，从VOBU先头的I图片开始解码，并从该时刻的图片开始显示。

接着利用图29，说明播放列表信息(“XXX.PL”)的内部结构。

播放列表信息由单元列表(CellList)和事件列表(EventList)构成。

单元列表(CellList)是播放列表内的再现单元序列，按照本列表的记录顺序再现单元。单元列表(CellList)的内容是单元的个数(Number)和各单元信息(Cell#1-Cell#n)。

单元信息(Cell#)具有VOB文件名(VOBName)、该VOB内的开始时刻(In)及结束时刻(Out)、以及字幕表(SubtitleTable)。开始时刻(In)及结束时刻(Out)分别由该VOB内的帧号码来表现，通过使用上述时间映射可以得到再现所需的VOB数据的地址。

字幕表(SubtitieTable)是具有与该VOB同步再现的字幕信息的表。字幕可以与声音同样具有多种语言，字幕表(SubtitleTable)由作为最初的信息的语言数(Number)和此后的各个语言的表(Language#1-Language#k)构成。

各语言的表(Language#)由语言信息(Lang)、分别显示的字幕的字幕信息数(Number)、以及分别显示的字幕的字幕信息(Speech#1-Speech#j)构成，字幕信息(Speech#)由对应的图片数据文件名(Name)、字幕显示开始时刻(In)及字幕显示结束时刻(Out)、和字幕的显示位置(Position)构成。

事件列表(Eventlist)是定义了该播放列表内发生的事件的表。事件列表在事件数(Number)之后由各个事件(Event#1-Event#m)构成，各个事件(Event#)由事件的种类(Type)、事件的ID(ID)、事件发生时刻(Time)和有效期间(Duration)构成。

图30是具有各个播放列表的事件处理器(时间事件和菜单选择用的用户事件)的事件处理器表(“XXX.PROG”)。

事件处理器表具有定义的事件处理器/程序数(Number)和各个事件处理器/程序(Program#1-Program#n)。各事件处理器/程序(Program#)内的记录具有事件处理器开始的定义(<event_handler>标签)和与上述事件的ID成对的事件处理器的ID(ID)，其后该程序也记录在Function之后的括号“{”和“}”之间。上述“XXX.PL”的事件列表(EventList)中存放的事件(Event#1-Event#m)利用“XXX.PROG”的事件处理器的ID(ID)来确定。

下面利用图31说明与BD盘整体相关的信息(“BD.INFO”)的内部结构。

BD盘整体信息由标题列表(TitleList)和全局事件用的事件表(EventList)构成。

标题列表(TitleList)由盘内的标题数(Number)和此后的各标题信息(Title#1-Title#n)构成。各个标题信息(Title#)包括标题内所包含的播放列表的表(PLTable)和标题内的章节列表(ChapterList)。播放列表的表(PLTable)具有标题内的播放列表的个数(Number)、以及播放列表名(Name)即播放列表的文件名。

章节列表(ChapterList)由该标题中包括的章节数(Number)和各个章节信息(Chapter#1-Chapter#n)构成，各个章节信息(Chapter#)具有该章节所包括的单元的表(CellTable)，单元的表(CellTable)由单元数(Number)和各个单元的项目信息(CellEntry#1-CellEntry#k)构成。单元的项目信息(CellEntry#)通过包括该单元在内的播放列表名、以及播放列表内的单元号码来记录。

事件列表(EvertList)具有全局事件的个数(Number)和各个全局事件的信息。在此应该注意的是，最初定义的全局事件被称为第一事件(FirstEvent)，在BD盘被插入播放器时，是最初被调出的事件。全局事件用事件信息仅具有事件类型(Type)和事件的ID(ID)。

图32是全局事件处理器的程序的表(“BD.PROG”)。

本表与图30中说明的事件处理器表内容相同。

(事件发生的机制)

利用图33至图35说明事件发生的机制。

图33是时间事件的例子。

如上所述，时间事件由播放列表信息(“XXX.PL”)的事件列表(EventList)定义。在被定义为时间事件的事件即事件类型(Type)为“TimeEvent”的情况下，在成为事件生成时刻(“t1”)的时刻，具有ID“Ex1”的时间事件从脚本处理器对程序处理器发出。程序处理器搜索具有事件ID“Ex1”的事件处理器，执行处理对象的事件处理器。例如，在本实施例的情况下，可以执行描绘2个按钮图形等。

图34是进行菜单操作的用户事件的例子。

如上所述，进行菜单操作的用户事件也由播放列表信息(“XXX.PL”)的事件列表(EventList)定义。在被定义为用户事件的事件即事件类型(Type)为“UserEvent”的情况下，在成为事件生成时刻(“t1”)的时刻，该用户事件就绪(ready)。此时，事件自身尚未生成。该事件在由有效期间信息(Duration)记录的期间处于就绪状态。

如图34所示，用户按下遥控器按键的“上”“下”“左”“右”按键或“决定”按键的情况下，首先UOP事件由UOP管理器生成，发送至程序处理器。程序处理器对脚本处理器转发UOP事件，脚本处理器在接受UOP事件的时刻检索是否存在有效的用户事件，存在作为对象的用户事件的情况下，生成用户事件，并发送至程序处理器。在程序处理器中，检索具有事件ID“Ev1”的事件处理器，执行处理对象的事件处理器。例如，在本实施例的情况下，开始播放列表#2的再现。

在生成的用户事件中，不包括由用户按下了哪个遥控器按键的信息。选择的遥控器按键的信息由UOP事件传送至程序处理器，并记录保持在具有虚拟播放器的寄存器SPRM(8)中。事件处理器的程序可以调查该寄存器的值并执行分支处理。

图35是全局事件的例子。

如上所述，全局事件由与BD盘整体相关的信息(“BD.INFO”)的事件列表(EventList)定义。在被定义为全局事件的事件、即事件类型(Type)为“GlobalEvent”的情况下，仅在存在用户的遥控器按键操作的情况下生成事件。

在用户按下了“菜单”的情况下，首先UOP事件由UOP管理器生成，发送至程序处理器。程序处理器对脚本处理器转发UOP事件，脚本处理器生成该全局事件，并发送至程序处理器。在程序处理器中，检索具有事件ID“menu”的事件处理器，执行处理对象的事件处理器。例如，在本实施例的情况下，开始播放列表#3的再现。

在本实施例中，简称为“菜单”按键，但也可以像DVD那样存在多个菜单按键。可以分别定义与各菜单按键对应的ID来进行对应。

(虚拟播放机)

利用图36说明程序处理器的功能结构。

程序处理器是在内部具有虚拟播放机的处理模块。虚拟播放机是由BD定义的功能模块，不依赖于各BD播放器的安装。即，在任何BD播放器中都保证能够安装同样的功能。

虚拟播放机总体具有2个功能。存在编程函数和播放变量(寄存器)。编程函数以Java(注册商标)脚本(script)为基础，将以下所述的功能定义为BD固有函数。

连接函数：停止当前的再现，开始从指定的播放列表、单元、时刻的再现

Link(PL#，Cell#，time)

PL#：播放列表名

Cell#：单元号码

time：单元内的再现开始时刻

PNG描绘函数：将指定PNG数据描绘在图形平面上

Draw(File，X，Y)

File：PNG文件名

X：X坐标位置

Y：Y坐标位置

图形平面重置函数：重置图形平面的指定区域

Clear(X，Y，W，H)

X：X坐标位置

Y：Y坐标位置

W：X方向宽度

H：Y方向宽度

播放器变量存在表示播放器的状态的系统参数(SPRM)和可以用作一般用途的通用参数(GPRM)。

图37是系统参数(SPRM)的一览。

SPRM(0)：语言编码

SPRM(1)：声音流号码

SPRM(2)：字母流号码

SPRM(3)：角度号码

SPRM(4)：标题号码

SPRM(5)：章节号码

SPRM(6)：程序号码

SPRM(7)：单元号码

SPRM(8)：选择按键信息

SPRM(9)：导航定时器

SPRM(10)：再现时刻信息

SPRM(11)：卡拉OK用混合模式

SPRM(12)：家长用国信息

SPRM(13)：家长等级

SPRM(14)：播放器设定值(视频)

SPRM(15)：播放器设定值(音频)

SPRM(16)：声音流用语言编码

SPRM(17)：声音流用语言编码(扩展)

SPRM(18)：字幕流用语言编码

SPRM(19)：字幕流用语言编码(扩展)

SPRM(20)：播放器地域编码

SPRM(21)：预留

SPRM(22)：预留

SPRM(23)：再现状态

SPRM(24)：预留

SPRM(25)：预留

SPRM(26)：预留

SPRM(27)：预留

SPRM(28)：预留

SPRM(29)：预留

SPRM(30)：预留

SPRM(31)：预留

另外，在本实施例中，设虚拟播放器的编程函数以Java(注册商标)脚本为基础，但也可以不是Java(注册商标)脚本，而是UNIX(注册商标)OS等所使用的B-Shell、或Perl脚本(Script)等其他编程函数，也就是说，本发明不限定于Java(注册商标)脚本。

(程序的例子)

图38及图39是事件处理器中的程序的例子。

图38是具有2个选择按钮的菜单的例子。

在单元(PlayList#1.Cell#1)先头利用时间事件执行图38左侧的程序。在此，最初在通用参数之一GPRM(0)中设置“1”。GPRM(0)用于在该程序之中识别被选择的按钮。在最初的状态下，左侧配置的按钮1被选择的情况被设置为初始值。

接着，利用描绘函数即Draw分别对按钮1、按钮2进行PNG的描绘。按钮1以坐标(10，200)为起点(左端)描绘了PNG图形“1black.png”。按钮2以坐标(330，220)为起点(左端)描绘了PNG图形“2white.png”。

另外，在本单元中最后利用时间事件执行图38右侧的程序。在此，利用Link函数指定从该单元的先头再次再现。

图39是菜单选择的用户事件的事件处理器的例子。

分别对应于按下了“左”按键、“右”按键、“决定”按键中某一个遥控器按键的情况的程序记录在事件处理器中。用户按下了遥控器按键的情况下，如图34所说明的，生成用户事件，启动图39的事件处理器。在本事件处理器中，利用识别选择按钮的GPRM(0)的值、以及识别被选择的遥控器按键的SPRM(8)来进行分支处理。

条件1)选择了按钮1，而且，选择按键是“右”按键的情况

将GPRM(0)重新设定为2，将处于选择状态的按钮变更为右按钮2。

分别改写按钮1、按钮2的图形。

条件2)选择按键是“决定(OK)”的情况下，选择了按钮1的情况

开始播放列表#2的再现

条件3)选择按键是“决定(OK)”的情况下，选择了按钮2的情况

开始播放列表#3的再现

如上所述进行执行处理。

(播放器处理流程)

接着利用图40至图43说明播放器中的处理流程。

图40是到AV再现为止的基本处理流程。

如图40(a)所示，如果插入BD盘(S101)，则BD播放器执行BD.INFO文件的读取和解析(S102)，并执行BD.PROG的读取(S103)。BD.INFO和BD.PROG一起被暂时存放在管理信息记录存储器中，通过脚本处理器进行解析。

接着，脚本处理器根据BD.INFO文件内的第一事件(FirstEvent)信息，生成最初的事件(S104)。生成的第一事件由程序处理器接受，并执行处理与该事件对应的事件处理器(S105)。

在与第一事件对应的事件处理器中，期待记录着最初应该再现的播放列表信息。假如，在没有指示播放列表再现的情况下，如图40(b)所示，播放器什么也不再现，而仅是继续等待接受用户事件(S201)。BD播放器如果接受到来自用户的遥控器操作，则UOP管理器对程序处理器建立UOP事件(S202)。

程序处理器判断UOP事件是否为菜单按键(S203)，是菜单按键的情况下，向脚本处理器转发UOP事件，脚本处理器生成用户事件(S204)。程序处理器执行处理与生成的用户事件对应的事件处理器(S205)。

图41是从PL再现开始到VOB再现开始的处理流程。

如上所述，通过第一事件处理器或全局时间处理器开始播放列表再现(S301)。脚本处理器进行播放列表信息“XXX.PL”的读取和解析(S302)、并进行与播放列表对应的程序信息“XXX.PROG”的读取(S303)，来作为再现对象的播放列表再现所需的信息。接着，脚本处理器根据播放列表中登录的单元信息指示单元的再现(S304)。单元再现意味着从脚本处理器对呈现控制器发出请求，呈现控制器开始AV再现(S305)。

如果开始AV再现的开始(S401)，呈现控制器进行与再现的单元对应的VOB的信息文件(YYY.VOBI)的读取及解析(S402)。呈现控制器利用时间映射确定再现开始的VOBU及其地址，向驱动器控制器指示读取地址，驱动器控制器读取作为对象的VOB数据(S403)，VOB数据被发送至解码器并开始再现(S404)。

VOB再现持续到该VOB的再现区间结束为止(S405)，如果结束，则转移到下一个单元再现开始步骤S304。接着在没有单元的情况下，停止再现(S406)。

图42是从AV再现开始后的事件处理流程。

BD播放器是事件驱动型的播放器模式。如果开始播放列表的再现，则分别启动时间事件类、用户事件类、字幕显示类的事件处理过程，并行地执行事件处理。

S500类的处理(图42(a))是时间事件类的处理流程。

播放列表再现开始后(S501)，经过确定播放列表再现是否结束的步骤(S502)，脚本处理器确认是否到了时间事件发生时刻(S503)。在到了时间事件发生时刻的情况下，脚本处理器生成时间事件(S504)，程序处理器接受时间事件并执行处理事件处理器(S505)。

在步骤S503中未到时间事件发生时刻的情况下，或者，在步骤S505中执行处理事件处理器之后，再次返回步骤S502，重复上述处理。另外，在步骤S502中如果确认了播放列表再现结束，那么强制结束时间事件类的处理。

S600类的处理(图42(b))是用户事件类的处理流程。

播放列表再现开始后(S601)，经过播放列表再现结束确认步骤(S602)，转移至UOP接受确认步骤(S603)。存在UOP的接受的情况下，UOP管理器生成UOP事件(S604)，接受了UOP事件的程序处理器确认UOP事件是否为菜单呼叫(S605)，是菜单呼叫的情况下，程序处理器使脚本处理器生成事件(S607)，程序处理器执行处理事件处理器(S608)。

在步骤S605中判断为UOP事件不是菜单呼叫的情况下，表示出UOP事件是由方向按键或“决定”按键引起的事件。这种情况下，脚本处理器判断当前时刻是否在用户事件有效期间内(S606)，在有效期间内的情况下，脚本处理器生成用户事件(S607)，程序处理器执行处理对象的事件处理器(S608)。

在步骤S603中没有UOP接受的情况、步骤S606中当前时刻不在用户事件有效期间内的情况、或者步骤S608中事件处理器执行处理之后，再次返回步骤S602，重复上述处理。另外，在步骤S602中如果确认了播放列表再现结束，那么强制结束用户事件类的处理。

图43是字幕处理的流程。

播放列表再现开始后(S701)，经过播放列表再现结束确认步骤(S702)，转移至字幕描绘开始时刻确认步骤(S703)。是字幕描绘开始时刻的情况下，脚本处理器向呈现控制器指示字幕描绘，呈现控制器向图形处理器指示字幕描绘(S704)。在步骤S703中判断为不是字幕描绘开始时刻的情况下，确认是否是字幕显示结束时刻(S705)。在判断为是字幕显示结束时刻的情况下，呈现控制器对图形处理器进行字幕消除指示，将描绘的字幕从图形平面消除(S706)。

在字幕描绘步骤S704结束之后、字幕消除步骤S706结束之后、或在字幕显示结束时刻确认步骤S705中判断为不是该时刻的情况下，返回步骤S702，重复上述处理。另外，在步骤S702中如果确认了播放列表再现结束，那么强制结束字幕显示类的处理。

(实施方式2)

接着，对于不同的编码方式(或不同属性的动态图像)混杂存在的流的第二例、即图片内图片中通过亮度按键进行透过处理时所用的亮度的阈值(动态图像的属性)混杂存在的例子，作为本发明的第二实施方式来进行说明。

在本实施方式中，说明在BD-ROM等的包介质等中，在基于图片内图片的再现时，能够通过切换表示是否进行透过处理的亮度值的阈值来消除再现动作的延迟的记录介质、复用方法、复用装置及其再现装置。

在本实施方式的记录介质上，在通过亮度按键实施透过处理的流中，在连续再现的单位中，在管理信息中存放了：判定是否在图像显示时进行透过处理的亮度值的阈值被限制的情况、或表示被限制的情况的信息。

本实施方式的记录介质、复用方法、复用装置及其再现装置与实施方式1中的记录介质的数据结构、以及复用方法或再现装置中的动作和结构要素的基本部分相同，所以以下仅对本实施方式中特征部分进行说明。

图44表示本实施方式的记录介质上存放的流中的亮度按键的阈值的例子。在图44的例子中，无缝连接的各区间中的亮度按键的阈值全部固定为20，所以能够不发生与亮度按键的阈值的切换相伴的延迟而实现无缝连接。

另外，在本实施方式的记录介质中，无缝连接的再现区间中的与亮度按键相关的信息被存放在管理信息中。图45表示将与亮度按键有关的信息存放为图片内图片的元信息的一部分的例子。图45(a)示出表示亮度按键是否有效的标记信息luma_key_valid。如果亮度按键有效(luma_key_valid为1)，则根据亮度按键的阈值对图像进行透过处理并显示，如果亮度按键不是有效的(luma_key_valid为0)，则不进行透过处理地显示。如图所示，在无缝连接的各再现区间中，luma_key_valid的值是固定的。即，在无缝连接的各再现区间中，固定为亮度按键有效或非有效中的一方。图45(b)示出在使用亮度按键时、决定为透过并显示的亮度值的阈值luma_key_upper_limit。例如，如果luma_key_upper_limit为20，那么亮度值为20以下的像素进行透过显示，对于亮度值超过20的像素不进行透过地显示。如图中所示，在无缝连接的各再现区间中，luma_key_upper_limit的值相同。在此，luma_key_upper_limit的信息在亮度按键有效的情况下被参照，所以也可以仅在亮度按键有效的情况下设定表示亮度按键的阈值的信息。

在通过亮度按键实施透过处理的播放器中，如果保证了亮度按键的阈值是固定的，那么不需要亮度按键的阈值处理中的阈值的变更，所以优选能够预先判定为亮度按键的阈值是固定的。图46是说明保证亮度按键的阈值固定的标记的图。在图46的例子中，表示亮度按键的阈值固定的标记信息luma_key_fixed_flag被存放为各再现区间的属性信息的一部分。luma_key_fixed_flag表示该再现区间中的亮度按键的阈值与紧前的再现区间中的亮度按键的阈值是否相同。图46(a)是表示亮度按键的阈值固定(luma_key_fixed_flag为1)的例子。在本例中，各再现区间无缝连接，在这些再现区间中保证亮度按键的阈值是固定的。图46(b)是不保证亮度按键的阈值固定(luma_key_fixed_flag为0)的例子。各再现区间不是无缝连接的对象，在各再现区间中亮度按键的阈值是可变的。另外，luma_key_fixed_flag可以对连续再现的区间整体进行设定，也可以对构成连续再现区间的各再现区间进行设定。进而，在对各再现区间进行设定时，由于各再现区间表示由播放项目指定的再现区间，也可以将再现区间内亮度按键的阈值是否固定包含在播放项目单位中设定的再现信息中。在此，亮度按键的阈值是否固定，也可以与表示由当前播放项目和紧前的播放项目指定的再现区间能否无缝连接的信息等兼用并汇总为一个标记。另外，对于表示是否使用亮度按键的信息也可以同样地存放。

在此，对于无缝连接，存在与实施方式1相同的种类，也包括能够在不同角度的流中无缝连接的无缝多角度等。在无缝多角度中，在各角度上，亮度按键是否有效、或亮度按键的阈值是相同的。另外，作为无缝连接的种类，存在：(1)在连接的前后MPEG-2系统规格中的STC(系统时间时钟：System Time Clock)等基准时钟的值不连续的情况(类型1的无缝连接)；(2)在连接的前后MPEG-2系统规格中的STC(系统时间时钟：SystemTime Clock)等基准时钟的值连续的情况(类型2的无缝连接)等多种。因此，如果通过表示是否为类型1的无缝连接、或是否为类型2的无缝连接的信息来示出无缝连接，那么通过这些信息，可以表示在连续的2个再现区间中亮度按键的阈值是固定的。

图47说明图片内图片中使用亮度按键的例子。在图片内图片中，在被称为主视频的主影像上覆盖被称为次视频的副影像进行显示。这时，如果对于次视频基于亮度按键的透过处理是有效的，那么实施透过处理，如果不是有效的，则不实施。图47(a)表示视频的显示平面，如图47(b)和图47(c)所示，平面1用于主视频的显示，平面2用于次视频的显示。如图47(d)所示，将次视频覆盖在主视频上显示。在本例中，图47(c)所示的涂黑的部分通过基于亮度按键的透过处理进行透过显示。作为次视频可以切换多个流，但在图47(e)、图47(f)、图47(g)中，表示存在2个次视频的例子，图47(e)表示主视频中的各再现区间的显示的时间线，图47(f)表示第一次视频中的各再现区间的显示的时间线，图47(g)表示第二次视频中的各再现区间的显示的时间线。例如，如果在图47(f)中区间1-1与区间1-2无缝连接(图中(1))，则在区间1-1和区间1-2中，基于亮度按键的透过处理是否有效、以及在有效的情况下亮度按键的阈值分别相同。另外，如果设从第一次视频中的区间1-2向第二次流中的区间2-3的连接是无缝连接(图中(2))，则区间1-2和区间2-3中与亮度按键相关联的信息也相同。进而，为了确保各再现区间的连接部分以外的连接(图中(3))的连续性，也可以使区间1-3与区间2-3之间与亮度按键相关联的信息也相同。

接着，主视频和次视频在传输流等中复用记录，而图48表示复用的方法。图48(a)是将主视频和次视频在相同的传输流中复用的例子，图48(b)是将主视频和次视频在不同的传输流中复用的例子。像这样，主视频和次视频可以在相同的传输流中复用，也可以在不同的传输流中复用。

图49是表示用于制作本实施方式的记录介质中存放的复用数据的复用方法的动作的流程图。本实施方式的复用方法在具备以下步骤上与现有的复用方法不同，这些步骤为：决定能够对是否使亮度按键有效进行切换的单位的步骤(步骤S5301)，根据决定的单位将片断的动态图像编码的步骤(步骤S5302)，对规定的每个再现区间生成与亮度按键有关的标记信息的步骤(步骤S5304)，以及生成包括步骤S5304所生成的与亮度按键有关的标记信息在内的管理信息的步骤(步骤S5305)。

即，本实施方式中的复用方法是对包括第一动态图像和用于覆盖至第一动态图像的第二动态图像在内的影像流进行编码的动态图像编码方法，包括：步骤(S5301-S5303)，在影像流之中，决定连续再现区间，该连续再现区间是部分区间的集合，而且是成为连续再现的对象的区间，对各再现区间的影像流进行编码，以使在该连续再现区间中，通过亮度按键是否有效、或在基于亮度按键的透过处理中使用的阈值中的某一个或两者来定义的亮度按键属性固定；步骤(S5304)，对1个或多个再现区间中的每个生成上述亮度按键属性；以及步骤(S5305)，制作包括标记信息的管理信息，该标记信息表示在连续再现区间内上述亮度按键属性是固定的。以下，详细说明这些步骤。

首先，在步骤S5301中，决定能够对是否使亮度按键有效进行切换的单位。即，决定是否能够以连续再现单位、片断、或随机访问单位中的哪个单位来进行切换。接着，在步骤S5302中，根据步骤S5301中决定的切换单位，将片断的数据编码。其中，也可以在步骤S5301中对于能否切换亮度按键的阈值也进行判定，根据判定结果，在步骤S5302中将片断的数据编码。在步骤S5303中，判定最终片断的编码是否结束，在判定为结束时前进至步骤S5304，判定为没有结束时返回步骤S5302并重复片断的编码。在步骤S5304中，对每个规定的再现区间制作与亮度按键有关的属性信息，并前进至步骤S5305。所谓规定的再现区间，设为由播放列表指定的再现区间，但也可以是片断或随机访问单位。在步骤S5305中，制作包括步骤S5304中生成的属性信息的管理信息，并对管理信息和片断的数据进行复用并输出。在此，也可以在管理信息中包括表示连续2个再现区间能否无缝连接的信息。在无缝连接的各再现区间中，将能否使亮度按键有效设为固定，所以在步骤S5301中，决定为无缝连接的各再现区间中是否使亮度按键有效不可切换。进而，在步骤S5302中进行编码，以使在无缝连接的各再现区间中，在使亮度按键有效的情况下，进行亮度按键的透过处理时的阈值相同。另外，对于步骤S5301中决定能够对是否使亮度按键有效进行切换的单位时的详细动作，可以使用与图14所示的本实施方式1的复用方法相同的动作。

图50是表示图49中的标记信息生成步骤(S5304)及管理信息生成步骤(S5305)的具体例的流程图。在步骤S5304a中，判定进行了编码的片断是否是被判定为能够切换亮度按键的有效和无效的片断，在是被判定为能够切换的片断的情况下，生成表示亮度按键是否有效不固定的标记信息，并与该片断相对应地将标记信息积蓄在存储器的工作区域中(S5304b)，在不是被判定为能够切换的片断的情况下，生成表示亮度按键是否有效是固定的标记信息，并与该片断相对应地将标记信息蓄积在存储器的工作区域中(S5304c)。在此，标记信息对于每个由播放项目指定的再现区间等规定的再现区间，包括表示亮度按键是否有效的信息，以及在亮度信息有效的情况下，包括亮度按键的阈值。在步骤S5304d中，判定该片断是否是进行了编码的最后的片断，如果不是最后的片断，则重复上述S5304a至S5304c，如果是最后的片断，则前进至步骤S5304e。在步骤S5304e中，生成包括与每个播放项目的亮度按键有关的信息在内的图片内图片用的元信息，在步骤S5305f中，生成包括图片内图片用的元信息和播放列表、以及随机访问所需的信息等在内的管理信息。在播放列表中，包括表示连续2个再现区间能否无缝连接、以及无缝连接的类型的信息。

另外，在管理信息内，包括了对次视频的传输流或编码流进行识别的索引信息，所以也可以仅对于由索引号码示出是次视频的传输流或编码流，在管理信息内包括与亮度按键有关的信息。

另外，以上说明了图片内图片动作的次视频中的、基于亮度按键的透过处理，但本发明不限定于此，在存在多个显示平面的情况下，可以适用于比规定的平面靠前显示的平面上的图像的全部显示。例如，在静止图像或计算机图形等上，可以覆盖静止图像或动画来进行显示。进而，对于在不同的显示平面上显示的多个图像，也可以实施基于亮度按键的透过处理。

另外，也可以根据亮度按键的阈值等，以半透过等0和1以外的透过率进行显示。

在图片内图片上，也可以对于与基于亮度按键的透过处理不同的再现动作进行限制。例如，在跨无缝连接的再现区间进行高速再现或逆再现等特殊再现时，也可以使是否显示次视频固定。即，在特殊再现时，固定为总是显示或不显示次视频中的某一方。另外，在特殊再现时显示次视频时，也可以固定亮度按键的阈值等、对基于亮度按键的透过处理与特殊再现进行关联。此时，也可以使表示特殊再现时有无次视频的显示的标记信息的值固定，或者，通过表示该标记值固定的标记信息，来保证图片内图片的特殊再现时的限制。

另外，主视频和次视频的编码方式例如可以是MPEG-4 AVC、MPEG-2视频、VC-1等。在此，如果主视频是MPEG-4 AVC，可以使次视频也是MPEG-4 AVC等，为了减少播放器中对应的组合而限制主视频与次视频的编码方式的组合。

图51是表示实施本实施方式的复用方法的复用装置5200的结构的框图。复用装置5200是对包括第一动态图像和用于覆盖至第一动态图像的第二动态图像在内的影像流进行编码的动态图像编码装置的一例，具备切换单位决定部5201、切换信息生成部5202、编码部5203、系统复用部5204、管理信息制作部5205、结合部5206。在此，在覆盖中，仅将第二动态图像之中具有超过预定阈值的亮度的图像区域覆盖至第一动态图像。以下说明各部的动作。

切换单位决定部5201是以下这样的处理部，即：在影像流之中，决定连续再现区间，该连续再现区间是部分区间的集合，而且是成为连续再现的对象的区间；在此，决定能够对亮度按键进行切换的单位，并将决定的切换单位Unit2输入至切换信息生成部5202及编码部5203。切换单位设为预先设定，但也可以设为能够从外部进行设定。

切换信息生成部5202根据切换单位Unit2，生成表示由播放列表指定的每个再现单位的亮度按键的属性信息的亮度按键信息LumaInf2，并输入至管理信息制作部5205。例如，生成表示在连续再现区间中上述阈值固定的标记信息。

另外，切换信息生成部5202生成对覆盖中的各种显示处理进行指定的多个显示属性信息，而在该多个显示属性信息的生成中，生成显示属性信息，以使多个显示属性信息之中，在构成连续再现区间的多个部分区间中内容切换的显示属性信息的个数为预定的固定值以下。具体的，如图52所示，切换信息生成部5202生成(i)上述阈值，即表示使用亮度按键时透过率看作1的亮度值的阈值在紧前的再现区间与当前的再现区间上相同(1)还是不同(0)的标记、或亮度按键的阈值，(ii)表示在主视频图像上覆盖的次视频图像的显示位置在紧前的再现区间与当前的再现区间上相同(1)还是不同(0)的标记，或显示位置的坐标信息，以及(iii)表示在主视频图像上覆盖的次视频图像的缩放(扩大率)在紧前的再现区间与当前的再现区间上相同(1)还是不同(0)的标记，或指定缩放方法的信息等的显示属性信息，来作为图片内图片的元信息，而在该多个显示属性信息的生成中，生成显示属性信息，以使多个显示属性信息之中，可切换的显示属性信息的个数为预定的固定值(例如，2个)以下。通过该限制，保证连续再现区间中值切换的显示属性信息的个数被抑制为一定数量以下，减轻了再现装置中与切换处理相伴的处理负担。

编码部5203是以在切换单位决定部5201决定的连续再现区间中满足不变更上述阈值的限制的方式，将构成连续再现区间的多个部分区间中的第一及第二动态图像编码的处理部。在此，以满足切换单位Unit2的限制的方式将各片断的数据编码，并将编码数据Cdata2输入至系统复用部5204。具体的，编码部5203对构成第二动态图像的像素的亮度值进行校正(乘以系数、或加上偏置值等)，以使连续再现区间中，第二动态图像之中进行覆盖的图像区域的亮度超过上述阈值，而且，不进行覆盖(实施透过处理)的图像区域的亮度为上述阈值以下。

另外，编码部5203也可以不仅在由切换单位决定部5201决定的连续再现区间中，而且在按照解码模式无缝连接的多个部分区间中，也以满足不变更上述阈值的限制的方式，将多个部分区间中的第一及第二动态图像编码。即，在上述解码模式中，存在2个部分区间必须无缝连接的情况，所以在这样的2个部分区间中，优选预先以满足不变更上述阈值的限制的方式，将第一及第二动态图像编码。

系统复用部5204对编码数据Cdata2进行系统复用，并将流信息StrInf2输入至管理信息制作部5205，将复用数据Mdata2输入至结合部5206。在BD-ROM中，使用被称为源包的、在MPEG-2的传输流中附加了4字节的头的方式，来作为系统复用的方式。另外，流信息StrInf2包括用于生成时间映射等、关于复用数据Mdata2的管理信息的信息。另外，系统复用部5204也可以以通过传输流的包识别符来确定构成连续再现区间的多个部分区间的方式进行复用。由此，上述阈值被固定的片段可以通过包识别符确定。

管理信息制作部5205是根据来自切换信息生成部5202的指示制作管理信息的处理部的一例，上述管理信息包括表示连续再现区间中上述阈值固定的标记信息或上述显示属性信息；在此，生成管理信息CtrlInf2，该管理信息CtrlInf2包括根据流信息StrInf2生成的时间映射、以及亮度按键信息LumaInf2等，并输入至结合部5206。

结合部5206是将由编码部5203进行了编码的第一及第二动态图像与由管理信息制作部5205制作的管理信息结合输出的处理部，在此，对管理信息CtrlInf2和复用数据Mdata2进行结合并作为记录数据Dout2输出。

如上构成的复用装置5200根据图49、图50所示的流程图进行复用动作，结果，生成图44-图48所示的管理信息和编码流。

图53是表示由该复用装置5200生成的管理信息的数据结构的图。图53(a)表示作为管理信息之一的播放列表的数据要素，图53(b)表示对无缝连接的(Connection condition＝5的)再现区间进行表示的播放列表的例子。复用装置5200如图53(a)所示，制作“播放项目”、“副播放项目”及“图片内图片的元信息”作为播放列表。在此，“播放项目”如图53(b)所示，表示主视频中的各再现区间的信息(片断的再现开始时刻和再现结束时刻等)或再现区间之间的连接条件等，“副播放项目”表示次视频中的各再现区间的信息(片断的再现开始时刻和再现结束时刻等)或再现区间之间的连接条件等，“图片内图片的元信息”表示再现图片内图片时的、次视频的显示属性信息(亮度按键、显示位置、缩放等)。另外，与播放项目及副播放项目对应的主视频的片断通过播放项目的索引号码进行关联。

像这样，复用装置5200生成表示上述阈值固定的标记信息，作为与构成连续再现区间的多个部分区间(图中的“再现区间”)分别对应的再现信息(图中的“元”信息)。具体的，生成该标记信息作为与播放列表中包括的播放项目对应的再现信息(图中的“元”信息)。

另外，在由著作工具等制作数据时，在不同的装置进行编码数据的生成、和系统复用或管理信息的制作，但在这种情况下，也可以使各装置的动作与复用装置5200中的各部相同。

另外，该复用装置5200不仅用作生成编码流的动态图像编码装置，而且可以用作在BD等光盘、SD(安全数据：Secure Digital)卡等闪存、或硬盘等记录介质中记录编码流的动态图像记录装置。为此，复用装置5200所具备的输出段即结合部5206具备将由编码部5203进行了编码的第一及第二动态图像与由管理信息制作部5205制作的管理信息结合并记录至记录介质的记录功能即可。通过这样的动态图像记录装置(或，动态图像记录方法)，制作本说明中公开的记录介质。

图54是表示再现本实施方式中的记录介质中存放的复用数据的播放器(动态图像再现装置)中、切换再现区间时实施基于亮度按键的透过处理的动作的流程图。

首先，在步骤S5401中，播放器判定由播放列表指定的当前的再现区间与下一再现区间是否无缝连接，如果判定为无缝连接，则前进至步骤S5405，如果判定为没有无缝连接，则前进至步骤S5402。作为具体的判断例，播放器获取与影像流对应的管理信息，判断在取得的管理信息中是否包括表示上述阈值固定的标记信息(S5401)。在管理信息中包括标记信息的情况下，判断为当前再现区间与下一再现区间无缝连接(S5401中为是)，另一方面，在管理信息中不包括标记信息的情况下，判断为当前再现区间与下一再现区间没有无缝连接(S5401中为否)。

在步骤S5402中，播放器判定下一再现区间中亮度按键是否有效，如果判定为亮度按键有效，则前进至步骤S5403，如果判定为亮度按键不是有效的，则前进至步骤S5406。在步骤S5403中，获取亮度按键的阈值，在步骤S5404中，根据步骤S5403中获取的阈值，对次视频实施透过处理。

在步骤S5405中，播放器根据与当前的再现区间相同的条件(上述阈值相同)，对次视频实施透过处理。具体的，对于次视频之中亮度为上述阈值以下的像素实施完全透过的处理。此时，如果当前的再现区间中亮度按键不是有效的，那么不进行对次视频的透过处理。

在步骤S5406中，播放器在步骤S5404或步骤S5405的输出结果、或步骤S5402中判定为亮度按键不是有效的情况下，将不实施透过处理的次视频的解码结果覆盖至主视频进行显示。

另外，在图54中说明的动作可以在本实施方式1的图20及图21中说明的再现BD盘的播放器中实现。例如，在图20的呈现处理部208中进行亮度按键的透过处理。

另外，播放器也可以按照规定的再现顺序，决定再现的播放项目的顺序。例如，在多个播放项目的连续再现时，优先选择亮度按键的阈值固定的播放项目。此时，存在通过遥控器动作等来自用户的特定播放项目的再现请求时，也可以连续再现亮度按键的阈值不同的播放项目。进而，本实施方式2的复用方法及复用装置也可以设为按规定的再现顺序连续再现的播放项目间亮度按键的阈值固定。在此，一个播放项目对应于1个再现单位。

(实施方式3)

进而，通过将用于实现上述各实施方式所示的记录介质、其再现方法及记录方法的程序记录至软盘等记录介质，从而可以在独立的计算机系统中简单地实施上述各实施方式所示的处理。

图55A-图55C是利用软盘等记录介质上记录的程序、通过计算机系统实施上述各实施方式的再现方法及记录方法的情况的说明图。

图55B表示从软盘的正面观察的外观、剖面构造及软盘，图55A表示记录介质主体即软盘的物理格式的例子。软盘FD内置在壳体F内，在该盘的表面，以同心圆状从外周向内周形成有多个轨Tr，各轨在角度方向上分割为16个扇区Se。因此，在存放了上述程序的软盘中，在上述软盘FD上分割的区域中，记录有上述程序。

另外，图55C表示用于在软盘FD上进行上述程序的记录再现的结构。将实现再现方法及记录方法的上述程序记录在软盘FD的情况下，由计算机系统Cs通过软盘驱动器FDD读取上述程序。另外，在将通过软盘内的程序实现再现方法及记录方法的再现方法及记录方法架构在计算机系统中地情况下，通过软盘驱动器从软盘上读取程序，并转发至计算机系统。

另外，在上述说明中，利用软盘作为记录介质进行了说明，但利用光盘也可以同样地进行。另外，记录介质不限于此，如果是IC卡、ROM盒等，能够记录程序的记录介质，则可以同样地实施。

另外，图12、图20、图21、图25、图51等所示的框图的各功能模块典型地作为集成电路装置即LSI实现。该LSI可以单片化，也可以多片化(例如也可以将存储器以外的功能模块单片化)。在此，设为LSI，但根据集成度的不同，也有时称为IC、系统LSI、超大规模LSI、特大规模LSI。

集成电路化的方法不限于LSI，也可以通过专用电路或通用处理器实现。在制造LSI后，也可以利用可编程的FPGA(现场可编程门阵列：FieldProgrammable Gate Array)、或可重构LSI内部的电路单元的连接和设定的可重定义处理器。

进而，如果随着半导体技术的进步或衍生的其他技术而出现了替换LSI的集成电路化的技术，当然也可以利用该技术进行功能模块的集成化。生物技术的应用是有可能的。

另外，也可以在各功能模块之中，不是仅将存放数据的单元单片化，而是像本实施方式的记录介质那样作为不同的结构。

以上根据实施方式1及2说明了本发明所涉及的动态图像编码方法等，但本发明不限定于这些实施方式。对于这些实施方式加以本领域技术人员想到的变更来实现的其他方式、或对实施方式中的各结构要素进行任意组合来实现的其他方法等也属于本发明。

另外，图12、图20、图21、图25、图51等所示的框图的各功能模块及图11、图13-图17、图40-图43、图49、图50、图54等所示的流程图中，中心部分也可以通过处理器及程序来实现。

像这样，可以将上述实施方式所示的动态图像编码方法或动态图像解码方法用于上述任何的设备、系统中，由此，可以得到上述实施方式说明的效果。

工业可利用性

本发明涉及的动态图像编码方法在构成由管理信息所示的连续再现单位的动态图像的编码数据中，通过将在由亮度值判定是否透过像素进行显示时的阈值固定，从而可以消除由阈值的切换引起的解码时的延迟并实现无缝再现，所以适用于在动态图像、图形、或静止图像等上覆盖动态图像来进行显示的包介质或分发应用等，例如，可以用作动态图像编码用LSI、摄影机、动态图像记录器、带动态图像记录功能的电视机、计算机程序等。

Claims

1.一种动态图像编码方法，对包括第一动态图像和用于覆盖至上述第一动态图像的第二动态图像在内的影像流进行编码，其特征在于，

在上述覆盖中，仅将上述第二动态图像之中具有超过预定阈值的亮度的图像区域覆盖至上述第一动态图像；

上述动态图像编码方法包括：

连续再现区间决定步骤，在上述影像流之中，决定连续再现区间，该连续再现区间是部分区间的集合，而且是成为连续再现的对象的区间；

编码步骤，对构成上述连续再现区间的多个部分区间内的上述第一及第二动态图像进行编码，以在上述连续再现区间决定步骤中决定的连续再现区间内满足不变更上述阈值的限制；

管理信息制作步骤，制作包括标记信息的管理信息，该标记信息表示在上述连续再现区间内上述阈值是固定的；以及

结合步骤，将在上述编码步骤中被编码的上述第一及第二动态图像与在上述管理信息制作步骤中制作的管理信息进行结合并输出。

2.如权利要求1所记载的动态图像编码方法，其特征在于，

在上述管理信息制作步骤中，制作除了上述标记信息之外还包括表示上述阈值的信息的管理信息。

3.如权利要求1所记载的动态图像编码方法，其特征在于，

上述动态图像编码方法还包括：复用步骤，将在上述编码步骤中被编码的第一及第二动态图像作为传输流进行复用；

在上述复用步骤中，以通过传输流的包识别符来确定构成上述连续再现区间的多个部分区间的方式，进行上述复用。

4.如权利要求1所记载的动态图像编码方法，其特征在于，

在上述连续再现区间决定步骤中，将作为无缝连接的对象的部分区间的集合决定为上述连续再现区间。

5.如权利要求4所记载的动态图像编码方法，其特征在于，

在上述管理信息制作步骤中，生成兼而表示在上述连续再现区间内上述阈值是固定的、以及表示构成上述连续再现区间的多个部分区间为无缝连接的标记信息，来作为上述标记信息。

6.如权利要求1所记载的动态图像编码方法，其特征在于，

在上述连续再现区间决定步骤中，将与构成无缝的多角度的各角度相对应的部分区间的集合决定为上述连续再现区间。

7.如权利要求1所记载的动态图像编码方法，其特征在于，

在上述连续再现区间决定步骤中，将与构成非无缝的多角度的各角度相对应的部分区间的集合决定为上述连续再现区间。

8.如权利要求1所记载的动态图像编码方法，其特征在于，

在上述管理信息制作步骤中，生成上述标记信息来作为与构成上述连续再现区间的多个部分区间分别对应的再现信息。

9.如权利要求8所记载的动态图像编码方法，其特征在于，

在上述管理信息制作步骤中，生成上述标记信息来作为与播放列表中包括的播放项目对应的再现信息；

上述播放列表是将1个以上的播放项目的再现顺序指定为上述连续再现区间的信息；

上述播放项目是将应该再现的一个片断的全部或一部分指定为上述部分区间的信息。

10.如权利要求9所记载的动态图像编码方法，其特征在于，

在上述管理信息制作步骤中，生成上述标记信息来作为与上述播放项目对应设置的再现信息即图片内图片的元信息。

11.如权利要求1所记载的动态图像编码方法，其特征在于，

在上述管理信息制作步骤中，生成对上述覆盖中的各种显示处理进行指定的多个显示属性信息，在上述多个显示属性信息的生成中，生成上述显示属性信息，以使上述多个显示属性信息之中，在构成上述连续再现区间的多个部分区间内，切换内容的显示属性信息的个数为预定的一定值以下。

12.如权利要求1所记载的动态图像编码方法，其特征在于，

在上述编码步骤中，对上述多个部分区间内的上述第一及第二动态图像进行编码，以使在根据解码模式无缝连接的多个部分区间内满足不变更上述阈值的限制。

13.一种动态图像编码装置，对包括第一动态图像和用于覆盖至上述第一动态图像的第二动态图像在内的影像流进行编码，其特征在于，

上述动态图像编码装置具备：

连续再现区间决定部，在上述影像流之中，决定连续再现区间，该连续再现区间是部分区间的集合，而且是成为连续再现的对象的区间；

编码部，对构成上述连续再现区间的多个部分区间内的上述第一及第二动态图像进行编码，以在由上述连续再现区间决定部决定的连续再现区间内满足不变更上述阈值的限制；

管理信息制作部，制作包括标记信息的管理信息，该标记信息表示在上述连续再现区间内上述阈值是固定的；以及

结合部，将由上述编码部编码的上述第一及第二动态图像与由上述管理信息制作部制作的管理信息进行结合并输出。

14.一种动态图像记录方法，对包括第一动态图像和用于覆盖至上述第一动态图像的第二动态图像在内的影像流进行编码并记录至记录介质，其特征在于，

上述动态图像记录方法包括：

结合步骤，将在上述编码步骤中被编码的上述第一及第二动态图像与在上述管理信息制作步骤中制作的管理信息进行结合并记录至记录介质。

15.一种记录介质，记录了计算机可读取的数据，其特征在于，

在上述数据中包含：包括第一动态图像和用于覆盖至上述第一动态图像的第二动态图像在内的影像流、以及管理上述影像流的信息即管理信息；

在上述影像流中，构成上述连续再现区间的多个部分区间内的上述第一及第二动态图像被编码，以在连续再现区间内满足不变更上述阈值的限制，该连续再现区间是部分区间的集合，而且是成为连续再现的对象的区间；

在上述管理信息中，包括标记信息，该标记信息表示在上述连续再现区间内上述阈值是固定的。

16.一种动态图像再现方法，将包括被编码的第一及第二动态图像在内的影像流解码，并将上述第二动态图像覆盖至上述第一动态图像来进行显示，其特征在于，包括：

管理信息处理步骤，获取与上述影像流对应的管理信息，并对获取的管理信息进行解释；

解码步骤，根据上述管理信息处理步骤中的解释，将上述第一及第二动态图像解码；以及

显示步骤，仅将被解码的上述第二动态图像之中、具有超过预定阈值的亮度的图像区域覆盖至被解码的上述第一动态图像，并进行显示；

在上述管理信息处理步骤中，判断在上述管理信息中是否包括标记信息，该标记信息表示上述阈值是固定的；

在上述显示步骤中，在上述管理信息处理步骤判断为在上述管理信息中包括上述标记信息的情况下，利用与紧前的部分区间内的阈值同值的阈值，进行当前部分区间内的上述覆盖显示。

17.如权利要求16记载的动态图像再现方法，其特征在于，

在上述显示步骤中，通过对于上述第二动态图像之中小于上述阈值的像素完全透过地进行显示，来进行上述覆盖显示。

18.一种动态图像再现装置，将包括被编码的第一及第二动态图像在内的影像流解码，并将上述第二动态图像覆盖至上述第一动态图像来进行显示，其特征在于，包括：

管理信息处理部，获取与上述影像流对应的管理信息，并对获取的管理信息进行解释；

解码部，根据上述管理信息处理部的解释，将上述第一及第二动态图像解码；以及

显示部，仅将被解码的上述第二动态图像之中、具有超过预定阈值的亮度的图像区域覆盖至被解码的上述第一动态图像，并进行显示；

上述管理信息处理部判断在上述管理信息中是否包括标记信息，该标记信息表示上述阈值是固定的；

上述显示部在上述管理信息处理部判断为在上述管理信息中包括上述标记信息的情况下，利用与紧前的部分区间内的阈值同值的阈值，进行当前部分区间内的上述覆盖显示。

19.一种动态图像再现系统，包括：权利要求15记载的记录介质；以及读取上述记录介质中记录的数据并进行再现的的动态图像再现装置；该动态图形再现系统的特征在于，

上述动态图像再现装置包括：

管理信息处理部，从上述记录介质中读取管理信息并进行解释；

解码部，根据上述管理信息处理部的解释，从上述记录介质中读取上述第一及第二动态图像并进行解码；以及