CN100576898C

CN100576898C - 记录方法、再现装置和方法

Info

Publication number: CN100576898C
Application number: CN200480018704A
Authority: CN
Inventors: 矢羽田洋; 约瑟夫·麦克罗森; 冈田智之; 池田航
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 2003-06-30
Filing date: 2004-06-29
Publication date: 2009-12-30
Anticipated expiration: 2024-06-29
Also published as: CN101527863B; US20060291814A1; JP2007053777A; US20060288290A1; US7668440B2; CN101527863A; KR20060027365A; CN1817032A; US20060245723A1; JP4027400B2; TWI340596B; JP2007068191A; EP1641260A4; JP2007080485A; CN1817031A; JP2007080486A; JP2007335074A; KR100897465B1; WO2005002219A1; CN100583973C

Abstract

BD-ROM上记录了AV剪辑记录，所述AV剪辑是通过复用视频流和图形流而获得的。所述图形流是PES数据包的序列。所述PES数据包可以是包含图形数据的ODS(对象定义段)，也可以是包含控制信息的PCS(呈现控制段)。PCS表示：在预定时机，将位于该PCS之前的ODS中包含的图形数据与运动图像流进行组合并显示。PCS和ODS属于不同的显示集合。ODS可以是未被相同显示集合中的PCS引用的无引用图形数据。

Description

记录方法、再现装置和方法

发明领域

本发明涉及一种上面记录了数字流的记录介质以及一种用于再现数字流的再现装置，所述数字流是通过复用视频流和图像流而生成的。具体而言，在本发明所涉及的技术中，再现装置对视频流和图形流独立地进行解码，并重叠所得的视频和图形，从而产生再现图像。

技术背景

采用上述视频/图形覆盖技术，可以根据再现装置的语言设置或显示设置，选择图形和显示选中的图形。此外，采用上述视频/图形覆盖技术，还可以选择是否根据需要来显示图形。由于能够提供这些选择，所以，DVD-Video和ETSI EN 300 743的播放机模型中使用了视频/图形覆盖技术。在这些标准中，图形流是PES数据包的序列。PES数据包可分为两种类型：承载控制信息的PES数据包和承载用于描绘图形的图形数据的PES数据包。控制信息设置在图形数据之前，一对控制信息和图形数据产生一个图形显示。更详细地说，再现装置顺序地读取控制信息和图形数据，对控制信息进行解码，再对图形数据进行解码，从而生成解压缩的图形。再现装置根据控制信息的解码结果，在预期的显示时机，显示解压缩的图形。

根据该技术，对于每一次图形显示，都需要执行图形数据的解码。因此，从一次图形显示到下一次图形显示之间的时间间隔取决于图形数据的解码处理所需的时间。如果图形具有较高的分辨率并且图形数据的解码处理要花费较长的时间，则图形更新的时间间隔就会变长。

对于电影中的字幕等，其中更新图形的时间间隔是2至3秒，所以，即使图形具有较高的分辨率并且图形数据的解码需要较长的时间，也可以产生合适的图形显示。但是，对于图形专用于娱乐的情况，就需要缩短图形更新间隔。

例如，在用于娱乐目的的图形的应用中，需要移动表示字符对话的图形，以吸引浏览者的注意力，或需要改变其颜色，以给浏览者带来惊喜。诸如杂耍表演之类内容的制造商尤其渴望采用这样的图形显示。

但是，为了实现图形的流畅运动，需要在短短的一帧周期(NTSC中是1/29.97秒)内执行对图形数据进行解码和呈现图形的操作。在每个帧周期内重复对图形数据进行解码和呈现图形的操作需要很大的负载，并且，所实现的再现装置的硬件规格很难以低成本来提供。

通过提前覆盖每个视频帧上的图形以使得图形成为每帧图像图案的一部分，可以实现前述图形运动和颜色变化。但是，提前覆盖每个帧上的图形的方法灵活性不够高，无法根据再现装置的语言设置或显示设置来有选择地显示图形，因此未来的潜力不大。

发明内容

本发明的目的在于提供一种记录介质，它使得图形能够象运动图像一样流畅地运动。

一种用于存储数据的记录介质可以实现上述目的，该记录介质包括通过复用视频流和图形流而生成的数字流，其中：所述图形流是多个数据包的序列，所述数据包序列包括一个包含控制信息的数据包；所述控制信息表示，在预定时间，将所述序列中前一数据包中包含的图形数据以覆盖到所述视频流之上的状态进行显示。

控制信息表示：使用位于该控制信息之前的图形数据，产生显示。因此，只需向再现装置输入表示图形新坐标的控制信息，就可以改变图形的显示位置。同样，只需向再现装置输入适当的控制信息，就可以改变图形的颜色。

由于只使用控制信息就可更新图形显示，所以，很容易使图形与视频同步。

通常，为了改变图形的显示位置，不需要改变图形本身的图像图案。这是因为，人眼无法如此清楚地察觉到运动对象。所以，本发明提供的技术适于显示相同的图形，同时高速地改变其位置。

附图说明

图1是本发明所涉及的记录介质的示例性应用；

图2示出了图1所示的BD-ROM的结构；

图3示出了AV剪辑的结构；

图4A示出了呈现图形流的结构；

图4B示出了包含功能段的PES数据包；

图5示出了由多种功能段构成的逻辑结构；

图6示出了字幕显示位置和时元之间的关系；

图7A示出了ODS的数据结构；

图7B示出了PDS的数据结构；

图8A示出了WDS的数据结构；

图8B示出了PCS的数据结构；

图9示出了用于显示字幕的DS的示例性描述；

图10示出了DS1中的PCS和WDS的示例性描述；

图11示出了DS2中的PCS的示例性描述；

图12示出了DS3中的PCS的示例性描述；

图13示出了当执行如图10至12所示的图形更新时对象缓冲器中的存储空间；

图14示出了用于计算DECODEDURATION的示例性算法；

图15是图14所示算法的流程图；

图16A和16B是图14所示算法的流程图；

图17A示出了一个窗口中存在一个图形对象的情形；

图17B和17C是图14所示算法中所用的参数的时序图；

图18A示出了一个窗口中存在两个图形对象的情形；

图18B和18C是图14所示算法中所用的参数的时序图；

图19A示出了两个图形对象分别存在于两个窗口中的情形；

图19B是当解码时间(2)大于清除时间(1)与写入时间(31)之和时的时序图；

图19C是当清除时间(1)与写入时间(31)之和大于解码时间(2)时的时序图；

图20示出了前向引用PCS；

图21A示出了用于在屏幕上产生运动图形显示效果的时元；

图21B示出了DS1至DS8中的PCS的内容和PTS；

图22A示出了DS0中的ODS；

图22B示出了由窗口定义的坐标系中的坐标(x1，y1)、(x2，y2)、(x3，y3)……(x8，y8)的位置；

图23示出了每个DS中的功能段的时戳的设置；

图24示出了连续图形更新的一个具体例子；

图25示出了用于显示仅调色板显示更新的一系列DS；

图26A示出了DS0中的PDS；

图26B示出了DS0至DS3中的PCS；

图27示出了馈入四个DS所达到的显示效果；

图28示出了本发明的实施例所涉及的再现装置的内部构造；

图29示出了图28中所示的图形平面、编码数据缓冲器和对象缓冲器的传输速率Rx、Rc、Rd和尺寸；

图30是再现装置中的流水线处理的时序图；

图31是当ODS解码在清除图形平面之前结束情况下的流水线处理的时序图；

图32是合成缓冲器、对象缓冲器、编码数据缓冲器和图形平面的占用率变化的时序图；

图33是加载功能段的操作的流程图；

图34示出了执行跳节操作的情形；

图35示出了当执行如图34所示的跳节操作时向编码数据缓冲器中加载DS10的情形；

图36示出了当执行普通再现时的情形；

图37示出了当执行如图36所示的普通再现时向编码数据缓冲器中加载DS1和DS20的情形；

图38是图28所示的图形控制器的操作流程图；

图39是图形控制器的操作流程图；

图40是图形控制器的操作流程图；

图41示出了BD-ROM的制造步骤。

具体实施方式

(第一个实施例)

下面描述本发明第一个实施例所涉及的记录介质。下面首先介绍该记录介质的使用。图1示出了该记录介质的示例性应用。在图中，该记录介质为BD-ROM 100。BD-ROM 100用于在家庭影院系统中提供电影，该家庭影院系统包括再现装置200、电视300和遥控400。

接着介绍记录介质的制造。通过改进BD-ROM的应用层，可以实现该记录介质。图2示出了BD-ROM 100的示例性结构。

在图中，第四级示出了BD-ROM 100，第三级示出了BD-ROM100上的轨道。图中所示的轨道向外延伸成直线，但实际上，轨道从BD-ROM 100的中心向外螺旋延伸。轨道包括引入区、容量区和引出区。容量区的层模型是物理层、文件系统层和应用层。第一级以目录结构的形式示出了BD-ROM 100的应用层格式(应用格式)。如图所示，BD-ROM 100在根目录下有BDMV目录。BDMV目录包含一个用于存储AV剪辑的文件(XXX.M2TS)、一个用于存储AV剪辑的管理信息的文件(XXX.CLPI)和一个用于定义AV剪辑的逻辑播放路径(播放列表)的文件(YYY.MPLS)。通过生成这样的应用格式，可以实现BD-ROM 100。如果上述各文件类型都有一个以上的文件，则在BDMV目录下设置三个名为STREAM、CLIPNF和PLAYLIST的目录，分别用来存储与XXX.M2TS类型相同的文件、与XXX.CLPI类型相同的文件以及与YYY.MPLS类型相同的文件。

下面说明该应用格式中的AV剪辑(XXX.M2TS)。

AV剪辑(XXX.M2TS)是MPEG-TS(传输流)格式的数字流，它是通过复用一个视频流、至少一个音频流和一个呈现图形流而获得的。视频流代表电影的运动图像，音频流代表电影的音频，呈现图形流代表电影的字幕。图3示出了AV剪辑(XXX.M2TS)的结构。

在图中，中间级示出了AV剪辑。可以如下创建该AV剪辑。将上方第一级中由多个视频帧(图像pj1、pj2、pj3……)构成的视频流和由多个音频帧构成的音频流转换成上方第二级中的PES数据包，然后再转换成上方第三级中的TS数据包。同样，将下方第一级中的呈现图形流转换成下方第二级中的PES数据包，然后再转换成下方第三级中的TS数据包。将视频、音频和呈现图形流的这些TS数据包进行复用，从而形成AV剪辑。

在图3所示的例子中，只有一个呈现图形流被复用到AV剪辑中。如果BD-ROM 100支持多种语言，则可以将每种语言的呈现图形流都复用到AV剪辑中。以上述方式生成的AV剪辑按照与计算机文件相同的方式被分成多个内容，并存储到BD-ROM 100上。

下面说明呈现图形流。图4A示出了呈现图形流的结构。在图中，第一级显示的是构成该AV剪辑的TS数据包序列。第二级显示的是构成呈现图形流的PES数据包序列。该PES数据包序列是通过将第一级的TS数据包序列中具有预定PID的TS数据包的有效负载进行连接而形成的。

第三级示出了呈现图形流的结构。呈现图形流是由多个功能段构成的，这些功能段包括PCS(呈现合成段)、WDS(窗口定义段)、PDS(调色板定义段)、ODS(对象定义段)和END(显示集合段的末尾)。在这些功能段中，PCS是画面合成段，WDS、PDS和ODS是定义段。一个功能段对应于一个PES数据包或多个PES数据包。也就是说，一个功能段被转换成一个PES数据包并记录到BD-ROM100上，或者，被分成多个片断，再转换成PES数据包，并记录到BD-ROM 100上。

图4B示出了包含功能段的PES数据包。如图所示，每个PES数据包由包头和有效负载构成。有效负载携带功能段，包头携带与该功能段相关联的DTS和PTS。后面，将包含一个功能段的PES数据包的包头中的DTS和PTS视为该功能段的DTS和PTS。

这些多种类型的功能段形成如图5所示的逻辑结构。在图中，第三级示出了功能段，第二级示出了DS(显示集合)，第一级示出了时元。

第二级中的DS是呈现图形流中的一组功能段，用于创建一个图形画面。虚线hk2表明第三级中的功能段属于哪个DS。从图中可以看出，功能段序列PCS-WDS-PDS-ODS-END组成一个DS。再现装置200从BD-ROM 100中读取构成该DS的这些功能段，以产生一个图形画面。

第一级中的时元指的是AV剪辑的再现时间轴上的连续存储器管理的一个时间单元以及分配给该时间单元的一组数据。这里所说的存储器包括：图形平面，用于存储一个图形画面；对象缓冲器，用于存储解压缩的图形数据。连续存储器管理意味着：在该时元内，不刷新图形平面和对象缓冲器，只在图形平面的预定矩形区域中执行图形的删除和呈现(刷新意味着清除整个图形平面或整个对象缓冲器)。在该时元内，该矩形区域的大小和位置是固定的。只要在图形平面的该固定矩形区域中执行图形的删除和呈现，就可以保证视频和图形的同步。换言之，时元是AV剪辑的再现时间轴上的一个时间单位，其中，可以保证视频和图形的同步。为了改变图形平面中的图形删除/呈现区域，需要定义再现时间轴上的变化点以及从该点向前设置一个新的时元。在这两个时元之间的边界中，视频和图形的同步无法得到保证。

对于字幕，时元是再现时间轴上的一个时间段，其中，字幕出现在平面上固定矩形区域内。图6示出了字幕显示位置和时元之间的关系。在图中，字幕显示位置的改变取决于图像的图案。更详细地说，三个字幕“Actually”、“I lied to you”和“Sorry”位于屏幕的底部，而两个字幕“三年已经过去了”和“从那以后。”位于屏幕的顶部。因此，为了增加可视性，字幕显示位置从一个边缘部分变化到另一边缘部分。在这种情况下，在AV剪辑的再现时间轴上，在屏幕底部显示字幕的时间段是时元1，在屏幕顶部显示字幕的时间段是时元2。这两个时元各有自己的字幕呈现区域。在时元1中，字幕呈现区域是Window1，对应于屏幕的底部边缘部分。在时元2中，字幕呈现区域是Window2，对应于屏幕的顶部边缘部分。在时元1和时元2中，对象缓冲器和图形平面的存储器管理是连续的，所以，字幕在该屏幕的相应边缘部分中无缝地显示。对时元的解释到此结束。

下面解释DS。

在图5中，虚线hk1表示第二级中的DS属于哪个时元。如图所示，DS序列(Epoch Start DS、Acquisition Point DS和Normal Case DS)构成第一级中的一个时元。在这里，Epoch Start(时元开始)、Acquisition Point(采集点)和Normal Case(正常情况)是DS的类型。在图5中，Acquisition Point DS位于Normal Case DS之前，但它们的排列顺序也可以反过来。

Epoch Start DS提供显示效果“新显示”，并表示一个新时元的开始。Epoch Start DS包含下一画面合成所需的全部功能段。提供EpochStart DS的位置是跳节操作的目的地，如电影中一章的开始。

Acquisition Point DS提供显示效果“显示刷新”，并且与前面的Epoch Start DS相同。Acquisition Point DS不是时元的开始，但却包含下一画面合成所需的全部功能段。因此，当从Acquisition Point DS开始再现时，能够可靠地显示图形。也就是说，通过Acquisition PointDS，可以从时元的中间点进行画面合成。

提供Acquisition Point DS的位置可以是跳节操作的目的地，例如可以通过时间搜索来指定的位置。时间搜索是一种操作，用于对与用户的时间输入(单位为分/秒)相对应的再现点进行定位。时间输入的单位较大，如10分或10秒。因此，提供Acquisition Point DS的位置可以通过单位是10分或10秒的时间搜索来指定。通过在可由时间搜索指定的位置中提供Acquisition Point DS，当执行时间搜索时，可以流畅地再现图形流。

Normal Case DS提供显示效果“显示更新”，并且仅包含与前一画面合成之间的差值。例如，如果DSv与它之前的Dsu具有相同的字幕，但却具有不同的画面合成，则DSv是仅包含一个PCS和一个END的Normal Case DS。这样，就不必在DSs中提供覆盖的ODS，从而可以减少BD-ROM 100上所存储的数据量。由于Normal Case DS只包含差值，所以，不能单用Normal Case DS来显示图形。

下面说明ODS、WDS和PDS(定义段)。

ODS是用于定义图形对象的功能段。BD-ROM上记录的AV剪辑的图像质量与高清晰度电视一样高。因此，以1920×1080的高分辨率来设置图形对象。由于该高分辨率，可以在BD-ROM上逼真地再现影院屏幕风格的字幕，即，雅致的手写体字幕。图形对象由多个游程数据构成。游程数据表示使用像素编码的像素串，是像素值和该像素值的连续长度。像素编码有8个比特，表示从1到255的值。通过使用该像素编码，游程数据设置全部颜色(16777216色)中任意256个像素颜色。应当注意的是，为了将图形对象显示为字幕，需要将字符串放置在透明色的背景上。

ODS定义根据图7A所示的数据结构的图形对象。如图所示，ODS包括：segment_type字段，表示段类型“ODS”；segment_length字段，表示ODS的数据长度；object_id字段，标识时元中的图形对象；object_version_number字段，表示时元中的ODS的版本；last_in_sequence_flag字段；object_data_fragment字段，承载与图形对象的部分或全部相对应的连续字节序列。

更详细地讲，object_id是一个标识符，用于标识图形对象，以及当对ODS进行解码和将图形对象缓冲到对象缓冲器中时该图形对象在对象缓冲器中所占用的存储区域。因此，当对象缓冲器中有一个或多个图形对象时，用object_id字段值标识对象缓冲器中的各存储区域。假设将一个object_id分配给两个或更多个ODS。在这种情况下，在将与一个ODS相对应的图形对象存储到对象缓冲器之后，该图形对象会被与随后具有相同object_id的ODS相对应的图形对象覆盖。这样的更新意在防止对象缓冲器中出现很多小的自由空间和防止该对象缓冲器中的图形对象的分散。当显示图形时，对象缓冲器中的图形对象不断地被传输到图形平面。因此，如果对象缓冲器中存在很多小的自由空间或者一个图形对象分散在对象缓冲器中，则读取图形对象的开销导致从对象缓冲器到图形平面的传输效率降低。传输效率的这种降低会影响图形和视频的同步显示。为了防止这种问题，对象缓冲器中的现有图形对象被具有相同object_id的一个新图形对象覆盖。

这里，覆盖现有图形对象的新图形对象需要在尺寸上等于现有图形对象，也就是说，新图形对象既不能小于现有图形对象，也不能大于现有图形对象。因此，在创作时，创作者需要使这些图形对象尺寸相等。该尺寸约束条件，即具有相同object_id的图形对象应该宽度和高度相等，只适用于一个时元内。具有相同object_id的图形对象不必尺寸相等，如果它们属于不同时元的话。

接下来解释last_in_sequence_flag字段和object_data_fragment字段。由于PES数据包的有效负载的约束条件，构成一个字幕的解压缩图形可能无法包含在一个ODS中。在这种情况下，将图形分割成多个片断，将其中一个片断承载在object_data_fragment中。当将图形对象跨过多个ODS进行存储时，除最后片断之外的每个片断都具有相同的尺寸。也就是说，最后的片断小于或等于前面片断的尺寸。承载图形对象的这些片断的ODS顺序地出现在DS中。last_in_sequence_flag字段表示图形对象的结束。尽管上述ODS数据结构所基于的方法将片断不留空隙地存储在连续PES数据包中，但是，也可以通过在PES数据包中留出一些空隙的方式将片断存储在PES数据包中。

PDS是功能段，定义用于颜色转换的调色板。调色板是表示1至255的像素代码和像素值的组合的数据。这里所指的像素值是由红色差值分量(Cr值)、蓝色差值分量(Cb值)、亮度分量(Y值)和透明色(T值)构成的。将每个游程数据的像素代码代入调色板上的像素值中，从而产生颜色。图7B示出了PDS的数据结构。如图所示，PDS包括：segment_type字段，表示段类型“PDS”；segment_length字段，表示PDS的数据长度；palette_id字段，唯一地标识该调色板；palette_version_number字段，表示该时元内的PDS的版本；以及palette_entry字段，承载每个条目的信息。palette_entry字段表示每个条目的红色差值分量(Cr值)、蓝色差值分量(Cb值)和透明色(T值)

WDS是功能段，用于定义图形平面上的矩形区域。如前所述，在图形平面上的固定矩形区域中执行清除和呈现的时元内，存储器管理是连续的。图形平面上的该矩形区域被称为窗口，它是用WDS来定义的。图8A示出了WDS的数据结构。如图所示，WDS包括：window_id字段，唯一地标识图形平面上的该窗口；window_horizontal_position字段，指定图形平面上该窗口的左上方像素的水平位置；window_vertical_position字段，指定图形平面上该窗口的左上方像素的垂直位置；window_width字段，指定图形平面上该窗口的长度；window_height字段，指定图形平面上该窗口的高度。

window_horizontal_position字段、window_vertical_position字段、window_width字段和window_height字段可以取以下值。图形平面作为这些字段值的坐标系。图形平面具有由参数window_width和window_height定义的二维尺寸。

window_horizontal_position字段指定图形平面上该窗口的左上方像素的水平位置，因此取值范围是0至(video_width)-1。window_vertical_position字段指定图形平面上该窗口的左上方像素的垂直位置，因此取值范围是0至(video_height)-1。

window_width字段指定图形平面上该窗口的长度，因此取值范围是1至(video_width)-(window_horizontal_position)。window_height字段指定图形平面上该窗口的高度，因此取值范围是1至(video_height)-(window_vertical_position)。对于每个时元，使用WDS中的window_horizontal_position、window_vertical_position、window_width和window_height字段，可以定义窗口的位置和尺寸。因此，在创作时，创作者可以调整窗口，使其出现在时元中的每个图像的预期边缘部分中，从而不干扰该图像的图案。可以清楚地观看按照这种方式显示的字幕的图形。对于每个时元，可以定义WDS。因此，当图像图案随时间而变化时，可以基于这样的变化，移动图形，从而不降低可视度。这将电影质量增强到与将字幕集成到运动图像中相同的等级。

下面解释END。END是用于表示DS传输结束的功能段。END位于DS中最后的ODS之后。END包括：segment_type字段，表示段类型“END”；segment_length，表示END的数据长度。这些字段不是本发明的主要特色，因此这里不再赘述。

下面解释PCS(合成段)。

PCS是功能段，用于合成可与运动图像同步的画面。图8B示出了PCS的数据结构。如图所示，PCS包括：segment_type字段；segment_length字段；composition_number字段；composition_state字段；palette_update_flag字段；palette_id_ref字段；composition_object(1)至composition_object(m)字段。

composition_number字段用从0至15的数字来唯一地标识DS中的图形更新。更详细地讲，对于每个图形更新，从时元的开始到PCS，composition_number字段加1。

composition_state字段表示DS是Normal Case DS、AcquistionPoint DS、还是时元Start DS。

palette_update_flag字段表示PCS是否描述仅调色板显示更新。仅调色板显示更新指的是只用新调色板替换先前调色板的更新。为了表示仅调色板显示更新，将palette_update_flag字段设置为1。

palette_id_ref字段指定在该DS中使用的调色板。

composition_object(1)至composition_object(m)字段各包含用于实现该DS中的画面合成的控制信息。在图8B中，作为示例，虚线wd1表示composition_object(i)的内部结构。如图所示，composition_object(i)包括：object_id_ref字段；window_id_ref字段；object_cropped_flag字段；object_horizontal_position字段；object_vertical_position字段；cropping_rectangle信息(1)至cropping_rectangle信息(n)。

object_id_ref字段表示图形对象的标识符(object_id)的引用值。该引用值表示为了产生与composition_object(i)相对应的画面合成而要使用的图形对象。

window_id_ref字段表示窗口标识符(window_id)的引用值。该引用值表示为了产生与composition_object(i)相对应的画面合成而要显示图形对象的窗口。

object_cropped_flag字段表示是否要显示对象缓冲器中剪裁的图形对象。当将object_cropped_flag字段设为1时，显示对象缓冲器中剪裁的图形对象。当将object_cropped_flag字段设为0时，不显示对象缓冲器中剪裁的图形对象。

object_horizontal_position字段表示图形对象在图形平面的左上方像素的水平位置。

object_vertical_position字段表示图形对象在图形平面的左上方像素的垂直位置。

当object_cropped_flag字段为1时，cropping_rectangle信息(1)cropping_rectangle信息(n)是有效的。作为示例，虚线wd2指示了cropping_rectangle信息(i)的内部结构。如图所示，cropping_rectangle信息(i)包括：object_cropping_horizontal_position字段；object_cropping_vertical_position字段；object_cropping_width字段；object_cropping_height字段。

object_cropping_horizontal_position字段表示剪裁矩形在图形对象中左上角的水平位置。剪裁矩形用于取出图形对象的一部分，其对应于ETSI EN 300 743中的“区域”。

object_cropping_vertical_position字段表示剪裁矩形在图形对象中左上角的垂直位置。

object_cropping_width字段表示剪裁矩形在图形对象中的水平长度。

object_cropping_height字段表示剪裁矩形在图形对象中的垂直长度。

下面具体描述PCS，在所使用的例子中，当运动图像的再现进行时，通过三个向图形平面写入的操作，顺序地显示图6所示的三个字幕“Actually”、“I lied to you.”和“Sorry.”。图9示出了实现该字幕显示的示例性描述。在图中，一个时元具有DS1(Epoch Start DS)、DS2(Normal Case DS)和DS3(Normal Case DS)。DS1包括：一个WDS，用于定义显示字幕的窗口；一个ODS，表示行“Actually I liedto you.Sorry.”；一个PCS。DS2包括一个PCS。DS3包括一个PCS。

下面描述各个PCS。图10至12示出了属于DS1和DS3的WDS和PCS。

图10示出了DS1中的PCS和WDS。在图中，WDS中的window_horizontal_position字段值和window_vertical_position字段值指定图形平面上的窗口的左上方坐标LP1，WDS中的window_width字段值和window_height字段值指定窗口的宽度和高度。

PCS中cropping_rectangle信息的object_cropping_horizontal_position字段值和object_cropping_vertical_position字段值指定剪裁矩形在坐标系中左上角坐标ST1，该剪裁矩形的原点是对象缓冲器中图形对象的左上方坐标。剪裁矩形是一个区域，由从左上角坐标ST1的object_cropping_width字段值和object_cropping_height字段值进行定义。剪裁过的图形对象位于区域cp1(被虚线框包围)中，所以，剪裁过的图形对象的左上角位于一个由坐标系中该图形平面的object_horizontal_position字段和object_vertical_position字段指定的像素。这样，将字幕“Actually I lied to you. Sorry.”中的“Actually”写入图形平面上的窗口中。字幕“Actually”覆盖在一张图片之上，然后，显示所得的图像。

图11示出了DS2中的PCS。由于图中的WDS的描述与图10相同，所以这里不再赘述。同时，cropping_rectangle信息的描述与图10不同。在图11中，cropping_rectangle信息中的object_cropping_horizontal_position字段值和object_cropping_vertical_position字段值指定与对象缓冲器中的字幕“I lied to you.”相对应的剪裁矩形的左上方坐标，而object_cropping_width字段值和object_cropping_height字段值指定剪裁矩形的宽度和高度。从而，将字幕“I lied to you.”写入图形平面上的窗口中。字幕“I lied to you.”覆盖在一张图片上，并显示所得的图像。

图12示出了DS3中的PCS。由于图中的WDS的描述与图10相同，所以这里不再赘述。同时，cropping_rectangle信息的描述与图10不同。在图12中，object_cropping_horizontal_position字段值和object_cropping_vertical_position字段值表示对象缓冲器中与字幕“Sorry.”相对应的剪裁矩形的左上角坐标，而object_cropping_width字段值和object_cropping_height字段值表示剪裁矩形的宽度和高度。从而，将字幕“Sorry.”写入图形平面上的窗口中。字幕“Sorry.”覆盖在一张图片上，并显示所得图像。图13示出了当执行如图10至12的图形更新时对象缓冲器的存储器空间。如图所示，对象缓冲器有四个存储区域A至D，它们各有固定的高度和宽度以及固定的位置。在存储器区域A至D中，图10所示的字幕存储在存储区域A中。存储区域A至D中的每一个用与该存储区域中要存储的图形对象相对应的object_id标识。详细地讲，存储区域A用object_id＝1标识，存储区域B用object_id＝2标识，存储区域C用object_id＝3标识，存储区域D用object_id＝4标识。为了维持从对象缓冲器到图形平面的传输效率，存储区域A至D中的每一个区域的高度和宽度都是固定的。因此，当解码之后获得具有相同object_id的图形对象时，将该图形对象写入由该object_id标识的存储区域中，覆盖现有的图形对象。例如，为了在与图10至12中显示的字幕相同的位置用相同的尺寸显示字幕，需要在后续的DS中提供与DS1中的ODS具有相同object_id的ODS。通过如此添加相同的object_id，对象缓冲器中的图形对象被新的图形对象覆盖，新的图形对象的显示位置以及尺寸与被覆盖的图形对象相同。

下面描述实现显示效果的约束条件。为了流畅地显示字幕，在窗口上需要执行清除和呈现。当以视频帧的帧速率执行窗口清除和窗口呈现时，需要下面的从对象缓冲器到图形平面的传输速率。

首先，检查对窗口尺寸的约束条件。假设Rc是从对象缓冲器到图形平面的传输速率。在最糟糕的情况下，需要以Rc执行窗口清除和窗口呈现。换言之，窗口清除和窗口呈现各需要以Rc的一半(Rc/2)执行。

为了一个视频帧同步窗口清除和窗口呈现，需要满足：

(窗口尺寸)×(帧速率)≈Rc/2。

如果帧速率为29.97，则

Rc＝(窗口尺寸)×2×29.97

为了显示字幕，窗口尺寸至少需要是整个图形平面的25％至33％。如果图形平面的像素总数量是1920×1080，每个像素的索引的比特长度为8比特，则图形平面的总容量是2M字节(≈500K字节×2×29.97)。

假定窗口尺寸是图形平面的1/4，即500K字节(＝2M字节/4)。将其代入上式，则得到Rc＝256Mbps(500K字节×2×29.97)。

因此，如果窗口尺寸是图形平面的大约25％至33％，那么，只要用Rc＝256Mbps来显示字幕，就可以实现字幕的显示效果，而不会与运动图像失去同步。

如果以视频帧速率的1/2或1/4执行窗口清除和窗口呈现，则在Rc相同的情况下窗口尺寸可以为两倍或四倍。下面描述窗口的位置和范围。如前所述，窗口的位置和范围在一个时元内是固定的，原因如下。

如果窗口的位置或范围在时元中变化，则需要改变到图形平面的写地址。这会产生开销，从而导致从对象缓冲器到图形平面的传输速率Rc降低。

当向图形平面传输解码后的图形对象时，为了降低开销，在一个窗口中可同时显示的图形对象的数量是有限的。当设置图形对象的边缘部分的地址时，会产生这里所说的开销发生。如果边缘部分的数量较大，则该开销会增加。

如果对一个窗口中可显示的图形对象的数量没有限制，那么，当向图形平面传输图形对象时，开销会无限地发生，这会增加传输负载的变化。另一方面，如果一个窗口中的图形对象的数量被限制为2，那么，基于最糟糕情形下开销数量为4的假设，可以设置传输速率Rc。因此，可以很容易地确定传输速率Rc的最低标准。对窗口的解释到此结束。

下面说明如何将承载诸如PCS和ODS之类功能段的DS分配到AV剪辑的再现时间轴上。时元是再现时间轴上的一个时间段，其中，存储器管理是连续的，并且，时元由一个或多个DS构成。因此，将DS有效地分配到AV剪辑的再现时间轴上是很重要的。这里所说的AV剪辑的再现时间轴是一个时间轴，用于定义构成AV剪辑中复用的视频流的各图片的解码时间和呈现时间。再现时间轴上的解码时间和呈现时间用90KHz的时间精度来表示。DS中的PCS和ODS的DTS和PTS表示该再现时间轴上的同步控制的时机。换言之，通过使用PCS和ODS的DTS和PTS来实施同步控制，将DS分配到再现时间轴上。

首先介绍用PCS和ODS的DTS和PTS来实施同步控制。

DTS表示ODS的解码处理的开始时间，具有的精度是90KHz。PTS表示ODS的解码处理的结束时间，具有的精度是90KHz。

解码处理包括：对ODS进行解码；然后，将通过解码而生成的解压缩图形对象传输到对象缓冲器。该解码处理并不是瞬间结束的，而是需要一定的时间量。ODS的DTS和PTS分别表示ODS的解码开始时间和解码结束时间，以指定解码处理的开始和结束。

由于PTS所示的时间是最终期限，所以，需要在PTS所示时间之前对ODS进行解码并将解压缩的图形对象存储到对象缓冲器中。

DSn中任一ODSj的解码开始时间用DTS(DSn[ODSj])表示，其精度是90KHz。因此，DSn中ODSj的解码结束时间(即PTS(DSn[ODSj]))是DTS(DSn[ODSj])与解码处理所需最长时间之和。

假设SIZE(DSn[ODSj])表示ODSj的尺寸，Rd表示ODS解码速率。那么，解码处理所需的最长时间(以秒为单位)是SIZE(DSn[ODSj])//Rd。符号“//”表示一种将小数部分取整的除法运算符。

通过将该最长时间转换为90KHz的精度并将该结果加上ODSj的DTS，则可以计算出PTS指定的ODSj的解码结束时间，精度为90KHz。

DSn中ODSj的该PTS可用下面的公式表示：

PTS(DSn[ODSj])＝DTS(DSn[ODSj])+

90000×(SIZE(DSn[ODSj])//Rd)

此外，DSn中两个相邻的ODS(ODSj和ODSj+1)需要满足下面的关系：

PTS(DSn[ODSj])≤DTS(DSn[ODSj+1])

DSn中的END表示DSn的结束。因此，END表示DSn中最后一个ODS(ODSlast)的解码结束时间。ODSlast的PTS(PTS(DSn[ODSlast]))表示ODSlast的解码结束时间，所以，如下设置END的PTS：

PTS(DSn[END])＝PTS(DSn[ODSlast])

同时，如下设置DSn中的PCS的DTS和PTS。

PCS的DTS表示DSn中顶部ODS(ODS1)的解码开始时间或比它更早的时间。这是因为，需要将PCS加载到再现装置200的缓冲器中，与ODS1的解码开始时间(DTS(DSn[ODS1]))和DSn中的顶部PDS(PDS1)变为无效时(PTS(DSn[PDS1]))相同或更早。也就是说，PCS的DTS需要满足下面的公式：

DTS(DSn[PCS])≤DTS(DSn[ODS1])

DTS(DSn[PCS])≤PTS(DSn[ODS1])

另一方面，如下计算PCS的PTS：

PTS(DSn[PCS])≥DTS(DSn[PCS])+DECODEDURATION(DSn)

在这里，DECODEDURATION(DSn)表示DSn中的PCS所述的更新所用的全部图形对象的呈现和解码所需的时间。尽管DECODEDURATION(DSn)不是固定值，它也不会受诸如再现装置实现和状态差异之类因素的影响。当DSn.PCS.OBJ[j]表示DSn中的PCS描述的画面合成所用的图形对象时，可以通过以下方面来改变DECODEDURATION(DSn)：(i)窗口清除所需的时间；(ii)对DSn.PCS.OBJ[j]进行解码所需的时间；(iii)将DSn.PCS.OBJ[j]写到图形平面上所需的时间。因此，只要Rd和Rc是预先确定的，那么，DECODEDURATION(DSn)就是相同的，而不管再现装置的实现方式。因此，在合成时，计算上述各时间段的长度，从而指定PCS的PTS。

基于图14所示的程序，执行DECODEDURATION(DSn)的计算。图15以及图16A和16B的流程图示出了该程序的算法。下面结合这些附图解释DECODEDURATION(DSn)的计算过程。在图15中，调用函数PLANEINITIALIZATIONTIME，然后将返回值加上decode_duration(S1)。函数PLANEINITIALIZATIONTIME(图16A)是用于计算初始化图形平面从而产生DSn的显示所需时间的函数。在步骤S1中，用DSn、DSn.PCS.OBJ[0]和decode_duration作为参数，调用该PLANEINITIALIZATIONTIME函数。

图16A示出了PLANEINITIALIZATIONTIME函数的过程。在图中，initialize_duration是一个变量，用于表示PLANEINITIALIZATIONTIME函数的返回值。

步骤S2判断DSn中的PCS的composition_state字段是不是EpochStart。如果composition_state字段是Epoch Start(S2：是，图14中DSn.PCS.composition_state＝＝EPOCH_START)，则将清除图形平面所需的时间设置为initialize_duration(S3)。

如上所述，假设从对象缓冲器到图形平面的传输速率Rc是256000000，图形平面的总尺寸是(video_width)*(video_height)。那么，清除图形平面所需的时间(单位是秒)是(video_width)*(video_height)//256000000。将其乘以90000Hz，用PTS精度表示。因此，清除图形平面所需的时间是90000×(video_width)*(video_height)//256000000。将其加上intialize_duration，作为返回值返回。

如果composition_state字段不是Epoch Start(S2：否)，则对所有窗口Window[i]，执行将清除Window[i]所需的时间加上initialize_duration的操作(S4)。如前所述，假设从对象缓冲器到图形平面的传输速率Rc是256000000，并且，Window[i]的总尺寸是∑SIZE(WDS.WIN[i])。那么，清除全部Window[i]所需的时间(单位是秒)是∑SIZE(WDS.WIN[i])//256000000。将其乘以90000Hz，用PTS精度表示。因此，清除所有Window[i]所需的时间是90000×∑SIZE(WDS.WIN[i])//256000000。将其加上intialize_duration，作为返回值返回。对PLANEINITIALIZATIONTIME函数的描述到此结束。

在图15中，步骤S5判断DSn中的图形对象的数量是1还是2(图14中的if(DSn.PCS.num_of_objects＝＝2)、if(DSn.PCS.num_of_objects＝＝1))。如果DSn中的图形对象的数量是1(S5：＝1)，则将用于等待该图形对象解码结束的等待时间加上decode_duration(S6)。通过调用WAIT函数，计算该等待时间(在图14中，(decode_duration+＝WAIT(DSn，DSn.PCS.OBJ[0]，decode_duration)))。使用DSn、DSn.PCS.OBJ[0]和decode_duration作为参数，调用WAIT函数，并将表示等待时间的wait_duration作为返回值返回。

图16B示出了WAIT函数的过程。

在WAIT函数中，current_duration是一个变量，将decode_duration设置为该参数，object_definition_ready_time是表示DSn中的图形对象OBJ[i]的PTS的变量。

此外，current_time是一个变量，表示current_duration与DSn中的PCS的DTS之和。如果object_definition_ready_time大于current_time(S7：是，图14中if(current_time＜object_definition_ready_time))，则将object_definition_ready_time和current_time之间的差值设为wait_duration，然后作为返回值返回(S8，图14中wait_duration+＝object_definition_ready_time-current_time)。WAIT函数到此结束。

再回到图15中，WAIT函数的返回值与用于在OBJ[0]所属窗口上进行呈现所需的时间(90000×∑SIZE(DSn.WDS.WIN[0])//256000000)被设置为decode_duration(S9)。

上述过程涉及DSn中图形对象数量为1的情况。如果图形对象的数量是2(S5：＝2，图14中的if(DSn.PCS.num_of_objects＝＝2))，则使用DSn、DSn.PCS.OBJ[0]和decode_duration作为参数，调用WAIT函数，然后将WAIT函数的返回值加到decode_duration中(S10)。

步骤S11判断OBJ[0]所属的窗口与OBJ[1]所属的窗口是否相同(在图14中，if(DSn.PCS.OBJ[0].window_id＝＝DSn.PCS.OBJ[1].window_id))。如果判断结果是肯定的(S11：是)，则用DSn、DSn.PCS.OBJ[1]和decode_duration作为参数，调用WAIT函数，然后将WAIT函数的返回值加上decode_duration(S12)。此外，将在OBJ[0]和OBJ[1]所属窗口上进行呈现所需的时间(90000×∑SIZE(DSn.WDS.WIN[0].window_id)//256000000)加上decode_duration(S13)。

另一方面，如果判断结果是否定的(S11：否)，则将在OBJ[0]所属窗口上进行呈现所需的时间(90000×∑SIZE(DSn.WDS.OBJ[0].window_id)//256000000)加上decode_duration(S15)。此后，用DSn、DSn.PCS.OBJ[1]和decode_duration作为参数，调用WAIT函数，然后将WAIT函数的返回值加上decode_duration(S16)。此外，将在OBJ[1]所属窗口上进行呈现所需的时间(90000×∑SIZE(DSn.WDS.OBJ[1].window_id)//256000000)加上decode_duration(S17)。这样，计算出DECODEDURATION(DSn)。

下面通过具体的例子，说明如何设置一个DS中的PCS的PTS。

在图17A示出的情形中，与一个ODS(ODS1)相对应的一个OBJ(OBJ1)属于一个窗口。图17B和17C示出了图14中使用的参数之间的关系的时序图。这些时序图都有三级。在这三级中，“图形平面访问”级和“ODS解码”级表示当再现ODS时并行执行的两个过程。上述算法基于这两个过程并行执行的假设。

图形平面访问由清除时间(1)和写入时间(3)构成。清除时间(1)表示用于清除整个图形平面所需的时间(90000×((图形平面尺寸)//256000000))，或用于清除图形平面上所有窗口所需的时间(∑(90000×((窗口[i]的尺寸)//256000000)))。

写入时间(3)表示在整个窗口上进行呈现所需的时间(90000×((窗口尺寸)//256000000))。

ODS解码由解码时间(2)构成。解码时间(2)表示从ODS1的DTS到PTS的时间周期。

清除时间(1)、解码时间(2)和写入时间(3)的变化取决于要清除的范围、要解码的ODS的尺寸和要写入图形平面的图形对象的尺寸。在图17中，为简单起见，假设解码时间(2)的开始与清除时间(1)的开始相同。

图17B所示的情形中，解码时间(2)比清除时间(1)要长。在这种情况下，decode_duration是解码时间(2)与写入时间(3)之和。

图17C所示的情形中，清除时间(1)比解码时间(2)要长。在这种情况下，decode_duration是清除时间(1)与写入时间(3)之和。

在图18A至18C所示情形中，与两个ODS(ODS1和ODS2)相对应的两个OBJ(OBJ1和OBJ2)属于一个窗口。在图18B和18C中，解码时间(2)表示对ODS1和ODS2进行解码所需的总时间。同样，写入时间(3)表示将OBJ1和OBJ2写入图形平面所需的总时间。尽管ODS的数量是2，但是可以采用与图17相同的方式计算decode_duration。详细地讲，如果ODS1和ODS2的解码时间(2)比清除时间(1)长，则decode_duration是解码时间(2)与写入时间(3)之和，如图18B所示。

如果清除时间(1)比解码时间(2)长，则decode_duration是清除时间(1)与写入时间(3)之和，如图18C所示。

图19A至19C所示的情形中，OBJ1属于Window1，而OBJ2属于Window2。在这种情形中，如果清除时间(1)比ODS1和ODS2的解码时间(2)长，则decode_duration是清除时间(1)与写入时间(3)之和。另一方面，如果清除时间(1)比解码时间(2)短，则可以将OBJ1写入Window1，而不必等待解码时间(2)的结束。在这种情况下，decode_duration不仅仅是解码时间(2)与写入时间(3)之和。假设写入时间(31)表示将OBJ1写入Window1所需的时间，写入时间(32)表示将OBJ2写入Window2所需的时间。在图19B所示情形中，解码时间(2)比清除时间(1)与写入时间(31)之和要长。在这种情况下，decode_duration是解码时间(2)与写入时间(32)之和。

图19C所示的情形中，清除时间(1)与写入时间(31)之和比解码时间(2)长。在这种情况下，decode_duration是清除时间(1)、写入时间(31)以及写入时间(32)之和。

根据播放机模型，图形平面的尺寸是固定的。窗口和ODS的尺寸和数量也是在合成时预先设置的。因此，计算出来的decode_duration可能是以下之一：清除时间(1)与写入时间(3)之和；解码时间(2)与写入时间(3)之和；解码时间(2)与写入时间(32)之和；清除时间(1)、写入时间(31)与写入时间(32)之和。通过基于如此计算出的decode_duration来设置PCS的PTS，可以使图形与图像数据同步，且具有高精度。如此准确的同步控制是通过定义窗口和限制窗口中的清除和呈现操作来实现的。因此，在创作中，对概念“窗口”的介绍是非常重要的。

下面介绍如何设置DSn中WDS的DTS和PTS。设置WDS的DTS，以满足下面的公式：

DTS(DSn[WDS])≥DTS(DSn[PCS])

WDS的PTS表示启动向图形平面写入的最后期限。由于向图形平面写入只限于一个窗口，所以，通过从PCS的PTS所示时间减去在所有窗口上进行呈现所需的时间，可以确定启动向图形平面写入的时间。假设∑SIZE(WDS.WIN[i])是Windows[i]的总尺寸。那么，用于在所有Windows[i]上进行清除和呈现所需的时间是∑SIZE(WDS.WIN[i])//256000000。用90000KHz的精度表达该时间，得到90000×SIZE(WDS.WIN[i])//256000000。

因此，可以如下计算WDS的PTS：

PTS(DSn[WDS])＝PTS(DSn[PCS])-

90000×SIZE(WDS.WIN[i])//256000000

由于WDS的PTS表示最后期限，所以，可以在该PTS所示的时间之前启动向图形平面的写入。也就是说，在属于这两个窗口之一的一个ODS解码结束之后，可以将通过解码获得的图形对象立即写入图19所示的窗口中。

因此，使用WDS的DTS和PTS，可以将窗口分配给AV剪辑的再现时间轴上的预期点。对DSn中PCS和WDS的DTS和PTS的介绍到此结束。

下面解释PCS的前向引用。前向引用是一种再现控制，其引用已经存储在再现装置200中的图形对象。图20示出了前向引用PCS。图中示出了三个DS，即DSn、DSn+1和DSn+2。DSn+1和DSn+2的PCS是前向引用PCS。箭头yy1和yy2表示由这些PCS做出的前向引用。这些PCS前向引用DSn中ODS#1至ODS#v中定义的图形对象。在这里，DSn包含多个图形对象，即ODS#1至ODS#u和ODS#u+1至ODS#v。在这些图形对象中，DSn的PCS引用ODS#1至ODS#u，但DSn的PCS未引用ODS#u+1至ODS#v。DSn+1和DSn+2前向引用未被DSn的PCS引用的这些图形对象。

一个DS中的PCS前向引用的图形对象已经存储在再现装置200中，所以，不必再等待ODS的解码。因此，只要向再现装置200输入PCS，就可以执行基于该PCS的显示控制。由于当向再现装置200输入PCS时立即执行显示控制，所以，可以在很短的时间间隔内，执行用新图形替换现有图形的图形更新。当运动图像的再现进行时，通过重复如此短间隔的图形更新，就可以流畅地实现运动图形的显示控制。下面描述两个前向引用PCS的示例。

首先描述用于在屏幕上实现运动图形显示效果的前向引用PCS。图21A示出了一个具有此显示效果的时元。该时元由九个DS构成(DS0至DS8)。该时元的第一个DS，即DS0，包括PCS、PDS和ODS。DS0中的ODS定义如图22A所示的字幕“My heart is fluttering”，且具有object_id＝1。同时，DS0后面的DS1至DS8都仅包括一个PCS。

图21B示出了DS1至DS8中的PCS的PTS和composition_object字段。如图所示，DS1至DS8中的PCS指明在由object_horizontal_position和object_vertical_position表示的相应坐标(x1，y1)、(x2，y2)、(x3，y3)、……、(x8，y8)上显示由object_id_ref＝1表示的图形对象。图22B示出了由窗口定义的坐标系中的坐标(x1，y1)、(x2，y2)、(x3，y3)、……、(x8，y8)的位置。从图中可以看出，坐标(x1，y1)、(x2，y2)、(x3，y3)、……、(x8，y8)位于一条波浪线上。设置坐标(x1，y1)、(x2，y2)、(x3，y3)、……、(x8，y8)，以使得图形对象位于WDS定义的窗口之内。这是因为，如果图形对象不包含在窗口之内，则无法建立图形流的图形显示和视频流的视频显示之间的同步。

在图21B中，DS1至DS8中的PCS的PTS指定视频流的再现时间轴上的时间t1、t2、t3、……t8，在这些时间，在相应的坐标(x1，y1)、(x2，y2)、(x3，y3)、……、(x8，y8)上显示图形对象。

图23示出了向再现装置200顺序地输入具有上述PCS的DS1至DS8时的显示效果。在视频流的再现时间轴上的t1处，向再现装置输入DS1，从而，在窗口内的坐标(x1，y1)处显示图形。在t4处，向再现装置输入DS4，从而，在窗口内的坐标(x4，y4)处显示图形。在t6处，向再现装置输入DS6，从而，在窗口内的坐标(x6，y6)处显示图形。在t8处，向再现装置输入DS8，从而，在窗口内的坐标(x8，y8)处显示图形。由于坐标(x1，y1)、(x4，y4)、(x6，y6)和(x8，y8)位于一条波浪线上，所以，图形会沿着波浪线，如图24所示。

因此，当向再现装置200顺序地输入包括PCS(各具有指定的object_horizontal_position和object_vertical_position)的这些DS时，再现装置200根据这些PCS，显示对象缓冲器中已经存储的图形对象。由于只需通过向再现装置200输入控制信息就可以改变图形的位置，所以，可以在屏幕上实现图形的快速运动。

当向再现装置200输入这些DS时，新的PCS可能会覆盖现有的PCS。这使得再现装置200只保存最新的PCS，即便有数十个或数百个PCS给出流畅运动的图形的显示坐标。这样，可以降低再现装置200中的存储器占用率。

作为前向引用PCS的另一示例，下面描述仅调色板显示更新。图25示出了用于实现仅调色板显示更新的DS序列。在图中，第一级表示仅调色板显示更新的DS序列(DS0、DS1、DS2和DS3)。DS0有一个PCS、四个PDS(PDS0、PDS1、PDS2和PDS3)和一个ODS。DS0后面的DS1、DS2和DS3各仅有一个PCS。

DS0中的ODS定义字幕“I will never forget”，如指导线hv1所示。单词“I”、“will”、“never”和“forget”各由多个游程数据(图25所示的矩形表示)构成。构成“I”的游程数据具有像素代码0，构成“will”的游程数据具有像素代码1，构成“never”的游程数据具有像素代码2，构成“forget”的游程数据具有像素代码3。

图26A示出了DS0中的四个PDS。

PDS0是DS0中的第一个PDS(在第一级中)，具有palette_id＝0，它为像素代码0分配红色，为像素代码1至3分配白色。

PDS1是DS0中的第二个PDS(在第二级中)，具有palette_id＝1，它为像素代码0和1分配红色，为像素代码2和3分配白色。

PDS2是DS0中的第三个PDS(在第三级中)，具有palette_id＝2，它为像素代码0、1和2分配红色，为像素代码3分配白色。

PDS3是DS0中的第四个PDS(在第四级中)，具有palette_id＝3，它为像素代码0至3分配红色。

图26B示出了DS0至DS3中的PCS。

DS0中的PCS(在第一级中)用object_id_ref＝1表示的图形对象指定要执行的显示控制。该PCS具有palette_update_flag＝0和palette_id_ref＝0。因此，当向再现装置200输入DS0时，用palette_id＝0表示的PDS显示DS0中ODS表示的图形对象。

DS1中的PCS(在第二级中)用object_id_ref＝1表示的图形对象指定要执行的显示控制。该PCS具有palette_update_flag＝1和palette_id_ref＝1。因此，当向再现装置200输入DS1时，用palette_id＝1表示的PDS更新图形对象的显示。

DS2中的PCS(在第三级中)用object_id_ref＝1表示的图形对象指定要执行的显示控制。该PCS具有palette_update_flag＝1和palette_id_ref＝2。因此，当向再现装置200输入DS2时，用palette_id＝2表示的PDS更新图形对象的显示。

DS3中的PCS(在第四级中)用object_id_ref＝1表示的图形对象指定要执行的显示控制。该PCS具有palette_update_flag＝1和palette_id_ref＝3。因此，当向再现装置200输入DS3时，用palette_id＝3表示的PDS更新图形对象的显示。通过如此设置DS0至DS3中的PCS，可以用不同的调色板数据重复地更新属于DS0的图形对象。

图27示出了当向再现装置200顺序地输入这四个DS时所达到的显示效果。当向再现装置输入DS0时，显示字幕“I will neverforget”，其中的单词“I”用红色显示。当向再现装置输入DS1时，单词“will”变红。当向再现装置输入DS2时，单词“never”变红。当向再现装置输入DS3时，单词“never”变红，因此，整个字幕“Iwill never forget”以红色显示。所以，当从BD-ROM 100向再现装置200顺序地输入DS时，构成字幕“I will never forget”的单词从最左边的单词开始，逐个从白色变成红色。当音频流的再现进行时，这产生字幕颜色变化的显示效果。

应当注意的是，上述DS的数据结构(PCS、WDS、PDS和ODS)是用程序语言编写的类结构的例子。创作者根据蓝光只读光盘格式中定义的句法编写这些类结构，从而在BD-ROM 100上创建这些数据结构。对根据本发明第一个实施例的记录介质的描述到此结束。下面描述根据本发明第一个实施例的再现装置。图28示出了再现装置200的内部构造。再现装置200是基于该内部构造制造的。再现装置200主要包括三个部分：系统LSI；驱动装置；微处理器系统。可以将这些部件装配到该装置的壳体和衬底上，从而制造再现装置200。系统LSI是集成电路，包括各种处理单元，用于实现再现装置200的功能。再现装置200包括：BD驱动器1；读取缓冲器2；PID滤波器3；传输缓冲器4a、4b和4c；外围电路4d；视频解码器5；视频平面6；音频解码器7；图形平面8；CLUT单元9；加法器10；图形解码器12。图形解码器12包括：编码数据缓冲器13；外围电路13a；流图形处理器14；对象缓冲器15；合成缓冲器16；图形控制器17。

BD驱动器1执行BD-ROM 100的加载、读取和弹出。BD驱动器1访问BD-ROM 100。

读取缓冲器2是FIFO(先进先出)存储器。因此，从BD-ROM100读取的TS数据包在读取缓冲器2中消除的次序与它们的到达次序相同。

PID滤波器3对从读取缓冲器2输出的TS数据包执行滤波。更详细地讲，PID滤波器3只把具有预定PID的TS数据包传递给传输缓冲器4a、4b和4c。PID滤波器3中没有缓冲机制。因此，进入PID滤波器3的TS数据包立即被写入传输缓冲器4a、4b和4c。

传输缓冲器4a、4b和4c是FIFO存储器，用于存储从PID滤波器3输出的TS数据包。传输速度Rx表示从传输缓冲器4a读取TS数据包的速度。

外围电路4d具有连线逻辑，用于把从传输缓冲器4a读取的TS数据包转换成功能段。然后，将功能段存储在编码数据缓冲器13中。

视频解码器5对从PID滤波器3输出的TS数据包进行解码，从而获得解压缩的图片，并将其写入视频平面6。

视频平面6是用于存储运动图像的平面存储器。

音频解码器7对从PID滤波器3输出的TS数据包进行解码，并输出解压缩的音频数据。

图形平面8是一个平面存储器，它具有一幅画面的存储区域，能够存储一幅画面的解压缩图形。

CLUT电路9基于PDS中所示的Y、Cr和Cb值，对图形平面8上的解压缩图形的索引色(index color)进行转换。

加法器10将CLUT电路9转换过的解压缩图形乘以PDS中所示的T值(透明色)。然后，加法器10对所得的解压缩图形和视频平面6上的解压缩图片数据中的相应像素执行加法，并输出所得的图像。

图形解码器12对图形流进行解码，从而获得解压缩的图形，并将解压缩的图形作为图形对象写入图形平面8中。对图形流进行解码之后，字幕和菜单就出现在屏幕上。

图形解码器12从对象缓冲器15中读取属于DSn的图形对象，同时将属于DSn+1的图形对象写入对象缓冲器15，从而执行流水线处理。

图形解码器12包括：编码数据缓冲器13；外围电路13a；流图形处理器14；对象缓冲器15；合成缓冲器16；图形控制器17。

编码数据缓冲器13用于将功能段与DTS和PTS一起存储。通过将传输缓冲器4a中存储的各TS数据包去除TS包头和PES包头以及将剩余的有效负载顺序地进行排列，得到这些功能段。去除的TS包头和PES包头中包含的DTS和PTS存储在编码数据缓冲器13中，与这些功能段相对应。

外围电路13a具有连线逻辑，用于将来自编码数据缓冲器13的数据传输到流图形处理器14，并将来自编码数据缓冲器13的数据传输到合成缓冲器16。更详细地讲，如果当前时间到达ODS的DTS，则外围电路13a将ODS从编码数据缓冲器13传输到流图形处理器14。此外，如果当前时间到达PCS或PDS的DTS，则外围电路13a将PCS或PDS从编码数据缓冲器13传输到合成缓冲器16。

流图形处理器14对ODS进行解码，从而获得具有索引色的解压缩图形，并将解压缩图形作为图形对象传输到对象缓冲器15。流图形处理器14的解码是瞬时的，并且，通过解码获得的图形对象暂时存储在流图形处理器14中。尽管流图形处理器14的解码是瞬时的，但图形对象从流图形处理器14到对象缓冲器15的传输不是瞬时的。这是因为，对于蓝光只读光盘格式的播放机模型，到对象缓冲器15的传输是以128Mbps的传输速率执行的。DS中的END的PTS给出了属于DS的所有图形对象到对象缓冲器15的传输的结束。因此，在END的PTS所示的时间之前，不会启动下一DS的处理。通过对各ODS进行解码而得到的图形对象向对象缓冲器15的传输开始于ODS的DTS所示的时间，结束于ODS的PTS所示的时间。

如果DSn的图形对象和DSn+1的图形对象具有不同的Object_id，那么，流图形处理器14将这两个图形对象写入对象缓冲器15中不同的存储区域。这样，就可以实现图形对象的流水线呈现，并且，DSn的图形对象不会被DSn+1的图形对象覆盖。另一方面，如果DSn的图形对象和DSn+1的图形对象具有相同的Object_id，那么，流图形存储器14将DSn+1的图形对象写入对象缓冲器15中也存储了DSn的图形对象的存储区域，从而覆盖DSn的图形对象。在这种情况下，不执行流水线处理。DS也可以可以包括由该DS的PCS引用的ODS以及PCS未引用的ODS。流图形处理器14不仅顺序地对该PCS引用的ODS进行解码，而且还对PCS未引用的ODS进行解码，然后，将解码所得的图形存储到对象缓冲器15中。

对象缓冲器15对应于ETSI EN 300 743中的像素缓冲器。流图形处理器14解码的图形对象存储在对象缓冲器15中。对象缓冲器15的尺寸应当是图形平面8的尺寸的两倍或四倍。这是因为，为了实现滚读(scrolling)，对象缓冲器15需要能够存储图形平面18两倍或四倍的图形。

合成缓冲器16用于存储PCS和PDS。当DSn和DSn+1中的PCS的激活时间重叠时，组合缓冲器16存储DSn中的PCS和DSn+1中的PCS。

图形控制器17对合成缓冲器16中的PCS进行解码。基于解码结果，图形控制器17将DSn+1的图形对象写入对象缓冲器15，同时从对象缓冲器15中读取DSn的图形对象，并将其呈现以供显示。在DSn中的PCS的PTS所示的时间，执行图形控制器17的呈现。

为了用PCS产生画面合成，图形控制器17执行如下处理。图形控制器17从PCS中读取object_id_ref，object_id_ref是图形对象的标识符的引用值。图形控制器17从图形对象中取出由object_cropping_horizontal_position、object_cropping_vertical_position、object_cropping_width和object_cropping_height定义的部分。图形控制器17将取出的部分写在图形平面8上由object_horizontal_position、object_vertical_position表示的位置处。如果该引用值指定的图形对象属于与该PCS相同的DS，则在对该DS中相应的ODS进行解码结束之前，不能执行上述的向图形平面8的写入。

另一方面，当PCS的composition_state是Normal_Case时，图形对象是已经解码的，并存储在对象缓冲器15中。因此，可以执行上述的向图形平面8的写入，而不必等待ODS的解码。

为了实现仅调色板显示更新，图形控制器17执行以下处理。从BD-ROM 100中读出DS后，图形控制器17判断该DS中的PCS的palette_update_flag是否为“1”。如果palette_update_flag为“1”，则图形控制器17指示CLUT单元9使用该PCS的palette_id表示的调色板数据来执行像素值转换。然后，图形控制器17从对象缓冲器15中读取图形对象，并将其写入图形平面8。因此，仅仅通过设置CLUT单元9中的调色板数据，就可以执行图形更新。

下面给出建议的传输速率以及PID滤波器3、传输缓冲器4a、4b和4c、图形平面8、CLUT单元9、编码数据缓冲器13、流图形处理器14、对象缓冲器15、合成缓冲器16和图形控制器17的缓冲器尺寸。图29示出了传输速率Rx、Rc和Rd以及图形平面8、传输缓冲器4a、编码数据缓冲器13和对象缓冲器15的尺寸。

从对象缓冲器15到图形平面8的传输速率Rc(像素合成速率)是再现装置200中最高的传输速率，根据窗口大小和帧速率，将其计算为256Mbps(＝500K字节×29.97×2)。

与Rc不同，从流图形处理器14到对象缓冲器15的传输速率Rd(像素解码速率)不必与帧速率一致，它可以是Rc的1/2或1/4。因此，传输速率Rd是128Mbps或64Mbps。

从传输缓冲器4a到编码数据缓冲器13的传输速率Rx(传输缓冲器泄漏速率)ODS处于压缩状态下的传输速率。因此，通过用ODS的压缩率乘以Rd，可以计算出传输速率Re。例如，如果压缩率为25％，则传输速率Rx是16Mbps(＝64Mbps×25％)。

给出的这些传输速率和缓冲器尺寸只是最低标准，传输速率和缓冲器大小也可以大于图29所示情况。

在如上构造的再现装置200中，组成部件以流水线方式执行处理。

图30的时序图示出了再现装置200中执行的流水线处理。在图中，第五级示出了BD-ROM 100上的DS。第四级示出了PCS、WDS、PDS、ODS和END向编码数据缓冲器13的写入时间。第三级示出了流图形处理器14对ODS的解码时间。第二级示出了合成缓冲器16的存储内容。第一级示出了图形控制器17的操作。

ODS1和ODS2的DTS分别给出了t31和t32。因此，在t31和t32之前，需要将ODS1和ODS2缓冲在编码数据缓冲器13中。因此，在t31之前，ODS1向编码数据缓冲器13的写入结束，在t31，解码时间dp1开始，在t31之前，ODS2向编码数据缓冲器13的写入结束，在t31，解码时间dp2开始。

同时，ODS1和ODS2的PTS分别给出了t32和t33。因此，在t32之前，流图形处理器14对ODS1的解码结束，在t33之前，流图形处理器14对ODS2的解码结束。因此，在ODS的DTS给出的时间之前，ODS缓存在编码数据缓冲器13中，在ODS的PTS所示的时间之前，对所缓冲的ODS进行解码并将其传输到对象缓冲器15。

在第一级中，cd1表示图形控制器17清除图形平面8所需的时间，td1表示图形控制器17将对象缓冲器15中包含的图形写入图形平面8所需的时间。WDS的PTS表示启动写入图形的最后期限。PCS的PTS表示向图形平面8中写入图形结束并呈现所写入图形以供显示的时间。因此，在PCS的PTS所示的时间处，获得图形平面8上的一幅画面的解压缩图形。CLUT单元9对解压缩的图形执行颜色转换，加法器10将该图形覆盖在视频平面6上存储的解压缩图片上。从而产生所得的图像。

在图形解码器12中，当图形控制器17清除图形平面8时，流图形处理器14继续解码。该流水线处理的结果是，可以快速地显示图形。

图30示出了在ODS解码之前图形平面8的清除结束的例子。另一方面，图31的时序图示出了ODS的解码在清除图形平面8之前结束的流水线处理。在这种情况下，ODS解码结束之后，还不能把通过解码获得的图形写入图形平面8。只有图形平面8的清除结束之后，才可以将该图形写入图形平面8中。

图32的时序图示出了再现装置200中的缓冲器占用率的变化。在图中，第一至第四级分别示出了图形平面8、对象缓冲器15、编码数据缓冲器13和合成缓冲器16的占用率。这些变化是用线图的形式表示的，其中，水平轴表示时间，垂直轴表示占用率。

第四级表示合成缓冲器16的占用率的变化。如图所示，合成缓冲器16的占用率的变化包括单调增加Vf0，单调增加Vf0反映将从编码数据缓冲器13输出的PCS进行存储。

第三级显示编码数据缓冲器13的占用率的变化。如图所示，数据缓冲器13的占用率的变化包括单调增加Vf1和Vf2以及单调减少Vg1和Vg2，单调增加Vf1和Vf2反映ODS1和ODS2的存储，单调减少Vg1和Vg2反映流图形处理器14顺序地读取ODS1和ODS2。单调增长Vf1和Vf2的斜率基于从传输缓冲器4a到编码数据缓冲器13的传输速率Rx，而单调减少Vg1和Vg2是瞬时的，因为流图形处理器14的解码是瞬时执行的。也就是说，流图形处理器14瞬时地对每个ODS进行解码，并保存通过解码获得的解压缩图形。由于从流图形处理器14到对象缓冲器15的传输速率Rd是128Mbps，所以，对象缓冲器15的占用率以128Mbps增加。

第二级给出了对象缓冲器15的占用率的变化。如图所示，对象缓冲器15的占用率的变化包括单调增加Vh1和Vh2，单调增加Vh1和Vh2反映将从流图形处理器14输出的ODS1和ODS2的图形对象进行存储。单调增加Vh1和Vh2的斜率基于从流图形处理器14到对象缓冲器15的传输速率Rd。ODS1和ODS2的解码时间分别对应于第三级中出现单调减少和第二级中出现单调增加的时间段。ODS的DTS表示解码时间的开始，而ODS的PTS表示解码时间的结束。如果在ODS的PTS显示的时间之前将解压缩图形对象传输到对象缓冲器15，则ODS的解码结束。在ODS的PTS所示时间之前将解压缩图形对象存储在对象缓冲器15中是很重要的。只要满足这一点，解码时间中的单调减少和单调增加不限于图32所示情形。

第一级示出了图形平面8的占用率的变化。如图所示，图形平面8的占用率的变化包括单调增加Vf3，单调增加Vf3反映将从对象缓冲器15输出的图形对象进行存储。单调增加Vf3的斜率基于从对象缓冲器15到图形平面8的传输速率Rc。PCS的PTS给出了单调增加Vf3的结束。

通过使用ODS的DTS和PTS、PCS的DTS和PTS以及图29所示的缓冲器尺寸和传输速率，可以创建图32所示的图。该图使得当再现BD-ROM 100上的AV剪辑时创作者能够了解缓冲器状态如何改变。

通过重写DTS和PTS，可以调整缓冲器状态的这些变化。因此，创作者可以防止解码负载超过再现装置的解码器的规格，或者，防止再现期间的缓冲器溢出。这使得当开发再现装置200时硬件和软件的实现更容易。对再现装置200的内部构造的解释到此结束。

下面说明如何实现图形解码器12。通过让一个通用CPU执行用于实现图33所示操作的程序，可以实现图形解码器12。下面结合图33，描述图形解码器12的操作。

图33的流程图示出了功能段的加载操作。在图中，SegmentK是一个变量，表示一个属于DS并且在再现AV剪辑期间被读取的Segment(PCS、WDS、PDS或ODS)，忽略标志表示是忽略SegmentK还是加载SegmentK。在该流程图中，在将忽略标志复位为0之后(S20)，对于每个SegmentK，执行步骤S21到S24和S27到S31的循环(S25和S26)。

步骤S21判断SegmentK是不是PCS。如果SegmentK是PCS，则操作转入步骤S27。

步骤S22判断忽略标志是0还是1。如果忽略标志是0，则操作转入步骤S23。如果忽略标志是1，则操作转入步骤S24。在步骤S23中，将SegmentK加载到编码数据缓冲器13中。

如果忽略标志是1(S22：否)，则忽略SegmentK(S24)。这导致在步骤S22中对属于该DS的所有功能段的否定判断，因此，忽略DS的所有功能段。

因此，忽略标志指示要忽略或加载SegmentK。执行步骤S27至S31和S34至S35，从而设置该忽略标志。

步骤S27判断PCS的composition_state字段是不是AcquisitionPoint。如果composition_state字段是Acquisition Point，则操作转入步骤S28。如果composition_state字段是Epoch Start或Normal Case，则操作转入步骤S31。

步骤S28判断前一DS是否存在图形解码器12的某一缓冲器中(编码数据缓冲器13、流图形处理器14、对象缓冲器15和合成缓冲器16)。如果执行跳节操作的话，则前面的DS不存在于图形解码器12中。在这种情况下，需要从Acquisition Point Ds开始显示，从而使操作转入步骤S30(S28：否)。

在步骤S30中，将忽略标志设置为0，于是操作转入步骤S22。

另一方面，如果执行正常再现的话，则前面的DS存在图形解码器12中。在这种情况下，操作转入步骤S29(S28：是)。在步骤S29中，将忽略标志设置为1，于是操作转入步骤S22。

步骤S31判断composition_state字段是否为Normal Case。如果composition_state字段是Normal Case，则操作转入步骤S34。如果composition_state字段为Epoch Start，则操作转入步骤S30，其中，将忽略标志设置为0。步骤S34与步骤S28相同，判断前面的DS是否存在图形解码器12中。如果前面的DS是否存在，则将忽略标志设置为0(S30)。否则，则将忽略标志设置为1，因为无法获得足以合成一幅画面图形的的功能段(S35)。这样，当前面的DS不存在于图形解码器12中时，忽略Normal Case DS的功能段。

下面结合图34给出加载DS的具体例子。在图34中，将三个DS(DS0、DS1和DS2)与视频进行复用。DS1的composition_state字段是Epoch Start，DS10的composition_state字段是AcquisitionPoint，DS20的composition_state字段是Normal Case。

假设对复用了这三个DS和视频的AV剪辑中的图片数据pt10执行跳节操作，，如箭头am1所示。在这种情况下，最接近pt10的DS10受到图33所示操作的影响。DS10的composition_state字段是Acquisition Point(S27：是)，但是，前面的DS(DS1)不存在于编码数据缓冲器13中(S28：否)。因此，将忽略标志设置为0(S30)。从而，将DS10加载到编码数据缓冲器13中，如图35中的箭头md1所示。另一方面，假设对DS10之后的图片数据执行跳节操作，如图34中的箭头am2所示。在这种情况下，DS20是Normal Case DS，之前的DS(DS10)不存在于编码数据缓冲器13中。因此，忽略DS20，如图35中的箭头md2所示。

图37示出了当执行如图36所示的正常再现时如何加载DS1、DS10和DS20。在这三个DS中，DS1是一个Epoch Start DS，被加载到编码数据缓冲器13中，如箭头rd1所示(S23)。但是，对于作为Acquisition Point DS的DS10，忽略标志被设置成1(S29)，所以，DS10的功能段不会被加载到编码数据缓冲器13中，而是被忽略，如箭头rd2所示(S24)。同时，作为Normal Case DS的DS20被加载到编码数据缓冲器13中，如箭头rd3所示(S23)。

下面解释图形控制器17的操作。图38至40的流程图示出了图形控制器17的操作。

步骤S41至S44构成一个主程序，其中，等待由步骤S41到S44中任意之一所表示的事件。

在图38中，步骤S41判断当前再现时间是否为PCS的DTS。如果是，则执行步骤S45至S53。

步骤S45判断PCS的composition_state字段是不是Epoch Start。如果是，则在步骤S46中清除整个图形平面8。否则，在步骤S47中清除由WDS的window_horizontal_position字段、window_vertical_position字段、window_width 字段和window_height字段表示的窗口。

在步骤S46至S47之后执行步骤S48，判断是否已经超过任一ODSx的PTS。清除整个图形平面8需要花费很长时间，所以，在清除整个图形平面8之前，ODSx的解码可能已经结束。步骤S48检查这种可能性。如果没有超过ODSx的PTS，则操作返回到主程序。如果超过了ODSx的PTS，则执行步骤S49至S51。步骤S49判断object_cropped_flag字段是否为0。如果是，则将与ODSx对应的图形对象设置为不显示(S50)。

如果object_cropped_flag字段是1，则将基于object_cropping_horizontal_position字段、object_cropping_vertical_position字段、cropping_width字段和cropping_height字段剪裁的图形对象写入图形平面8上的窗口中，所在位置用object_horizontal_position字段和object_vertical_position字段表示(S51)。这样，就将图形对象写入了窗口。

步骤S52判断是否超过另一ODS(ODSy)的PTS。如果在将ODSx的图形对象写入图形平面8的期间完成了ODSy的解码，则将ODSy设置为ODSx(S53)，然后，操作返回步骤S49。因此，对ODSy执行步骤S49至S51。

在图39中，步骤S42判断当前再现时间是否为WDS的PTS。如果是，则操作转入步骤S54，判断窗口的数量是否为1。如果窗口的数量为2，则操作返回主程序。如果窗口的数量为1，则执行步骤S55至S59的循环。在该循环中，对于窗口中要显示的最多两个图形对象中的每一个，执行步骤S57至S59。步骤S57判断object_cropped_flag是否为0。如果是，则将图形对象设置为不显示(S58)。

如果object_cropped_flag是1，则将基于object_cropping_horizontal_position字段、object_cropping_vertical_position字段、cropping_width字段和cropping_height字段剪裁的图形对象写入图形平面8上的窗口中，所在位置用object_horizontal_position字段和object_vertical_position字段表示(S59)。该循环之后，一个或多个图形对象被写入窗口中。

步骤S44判断当前再现时间是否为PCS的PTS。如果是，则操作转入步骤S60，以判断palette_update_flag字段是否为1。如果是，则将palette_id字段标识的调色板发送到CLUT单元9(S61)。如果palette_update_flag字段为0，则跳过步骤S61。

此后，CLUT单元对图形平面8上的图形执行颜色转换。然后，将图形覆盖到视频上(S62)。

在图40中，步骤S43判断当前时间是否为ODS的PTS。如果是，则操作转入步骤S63，以判断窗口数量是否为2。如果窗口数量为1，则操作返回主程序。

这里，步骤S43和S63中做出的判断具有以下意思。如果窗口数量为2，则分别在两个窗口中显示两个图形对象。在这种情况下，每次ODS解码结束时，需要将通过解码得到的图形对象写入图形平面8(参见图19B)。因此，如果当前时间是ODS的PTS并且窗口数量是2，则执行步骤S64至S66，以将每个图形对象写入图形平面8中。步骤S64判断object_cropped_flag字段是否为0。如果是，则将图形对象设置为不显示(S65)。

如果object_cropped_flag字段是1，则将基于object_cropping_horizontal_position字段、object_cropping_vertical_position字段、cropping_width字段和cropping_height字段剪裁的图形对象写入图形平面8上的窗口中，所在位置用object_horizontal_position字段和object_vertical_position字段表示(S66)。重复该处理，从而将两个图形对象分别写入这两个窗口。

(第二个实施例)

本发明的第二个实施例涉及第一个实施例中介绍的BD-ROM100的制造过程。图41是BD-ROM 100的制造过程的流程图。

该制造过程包括：材料生产步骤，用于记录视频、声音等(S201)；创作步骤，使用创作设备创建应用格式(S202)；印制(pressing)步骤，用于创建BD-ROM 100的原始主盘(original master)，并执行压制(stamping)和粘合(bonding)，以完成BD-ROM 100(S203)。

在该制造过程中，创作步骤包括步骤S204至S213。

在步骤S204中，生成控制信息、窗口定义信息、调色板定义信息和图形。在步骤S205中，将控制信息、窗口定义信息、调色板定义信息和图形转换成功能段。在步骤S206中，基于要同步图片的时间，设置每个PCS的PTS。在步骤S207中，基于PTS[PCS]设置DTS[ODS]和PTS[ODS]。在步骤S208中，基于DTS[ODS]，设置DTS[PCS]、PTS[PDS]、DTS[WDS]和PTS[WDS]。在步骤S209中，用图表示播放机模型中每个缓冲器的占用率的变化。在步骤S210中，判断图示的变化是否满足播放机模型的约束条件。如果判断结果是否定的，则在步骤S211中，重写每个功能段的DTS和PTS。如果判断结果是肯定的，则在步骤S212中生成图形流，并在步骤S213中将图形流与视频流和音频流进行复用，以形成AV剪辑。此后，将AV剪辑改编为蓝光只读光盘格式，从而完成该应用格式。

(修改)

尽管通过上面的实施例对本发明进行了描述，但本发明不限于此。也可以用下面的修改(A)至(P)中任意之一来实现本发明。本申请的每项权利要求的发明都包括上述实施例的扩展和概括以及下面的修改。扩展和概括程度取决于做出本发明时本发明技术领域的技术发展水平。

(A)在上述实施例描述的情形中，将BD-ROM用作记录介质。但是，本发明的主要特征在于记录介质上记录的图形流，而这并不依赖于BD-ROM的物理特性。因此，本发明同样适用于能够记录图形流的任何记录介质。这种记录介质的示例包括：光盘，如DVD-ROM、DVD-RAM、DVD-RW、DVD-R、DVD+RW、DVD+R、CD-R或CD-RW；磁光盘，如PD和MO；半导体存储卡，如CF卡、Smartmedia卡、记忆棒、多媒体卡或PCM-CIA卡；磁记录盘，如软盘、SuperDisk、Zip和Click！；可移动硬盘，如ORB、Jaz、SparQ、SyJet、EZFley和Microdrive；以及不可移动硬盘。

(B)在上述实施例描述的情形中，再现装置对BD-ROM上的AV剪辑进行解码，并将解码后的AV剪辑输出到电视。当然，再现装置也可以只有BD驱动器，其他的组成部件由电视来提供。在这种情况下，可以将再现装置和电视集成到通过IEEE 1394连接器相连的家庭网络中。在上述实施例描述的情形中，再现装置连接到电视，但是，再现装置也可以与显示装置集成在一起。此外，再现装置也可以只包括系统LSI(集成电路)，其构成处理的实质性部分。该再现装置和该集成电路都是本说明书所描述的发明。因此，不管涉及再现装置还是涉及集成电路，基于第一个实施例中描述的再现装置的内部构造来制造再现装置的行为都是实施本发明的一种行为。此外，有偿转让(即销售)或无偿转让(即，作为礼物)、出租和进口该再现装置也是实施本发明的行为。同样，使用橱窗展示、商品目录或宣传册来许诺转让或出租该再现装置的行为也是实施本发明的行为。

(C)使用上述流程图所示的程序的信息处理实际上是用硬件资源实现的。因此，描述这些流程图中所示操作过程的程序本身也是一项发明。在上述实施例所描述的情形中，程序是集成到再现装置中的，但是，这些程序的使用也可以独立于再现装置。实施这些程序的行为包括：(1)制造行为；(2)有偿或无偿转让的行为；(3)出租行为；(4)进口行为；(5)经由双向电子通信网络提供给公众的行为；(6)使用橱窗展示、商品目录或宣传册许诺销售或出租的行为。

(D)在每个流程图中以时间序列执行的步骤的时间单元可被视为本发明的必要单元。因此，这些流程图所示的再现方法是一项发明。如果执行每个流程图中所示的处理，通过以时间顺序执行这些步骤，从而实现预期的目的和预期的效果，那么，这也是实施本发明的记录方法的行为。

(E)当把AV剪辑记录到BD-ROM上时，可以向AV剪辑中的各个TS包添加扩展头。该扩展头被称为TP_extra_header，其包括arrival_time_stamp和copy_permission_indicator，并且数据长度为4个字节。具有TP_extra_header的TS数据包(下文称之为“EX TS包”)以32个数据包为单位进行分组，并且将每组写入3个扇区中。由32个EX TS数据包构成的一组具有6144个字节(＝32x192)，这相当于3个扇区的尺寸(6144个字节＝(2048x3))。包含在这3个扇区中的这32个EX TS数据包被称为一个对准单元(aligned unit)。

在通过IEEE1394连接器相连的家庭网络中，该再现装置以下面的方式发送对准单元。该再现装置将对准单元中的32个EX TS数据包中的每一个都删除TP_extra_header，并且根据DTCP规范加密各TS数据包的主体，然后输出加密的TS数据包。当输出TS数据包时，该再现装置将一个同步包插入相邻的TS数据包之间。根据TP_extra_header的arrival_time_stamp所示的时间来确定插入同步包的位置。该再现装置输出DTCP_descriptor以及TS包。DTCP_descriptor对应于TP_extra_header中的copy_permission_indicator。通过提供表明“禁止复制”的DTCP_descriptor，当在IEEE连接器连接的家庭网络中使用TS数据包时，可以防止将TS数据包记录到其他设备上。

(F)在上述实施例所描述的情形中，将BD-ROM格式的AV剪辑用作数字流，但本发明还可以用DVD视频格式或DVD视频记录格式的VOB(视频对象)来实现。VOB是符合ISO/IEC13818-1标准的节目流，它是通过复用视频流和音频流而获得的。同样，AV剪辑中的视频流也可以是MPEG4视频流或WMV视频流。此外，AV剪辑中的音频流可以是线性PCM音频流、DolbyAC-3音频流、MP3音频流、MPEG-AAC音频流或dts音频流。

(G)上述实施例中的电影可以是通过对经过模拟广播传输的模拟图像信号进行编码而获得的。此外，该电影也可以是经过数字广播传输的传输流构成的流数据。

或者，还可以通过对记录在录像带中的模拟/数字图像信号进行编码来获得内容。此外，还可以通过对从视频照相机中直接装载的模拟或数字图像信号进行编码来获得内容。这些内容也可以是通过分发服务器分发的数字作品。

(H)上述实施例中描述的图形对象是游程编码的栅格数据。游程编码用于压缩和编码图形对象，因为游程编码适于压缩和解压缩字幕。字幕的属性在于，水平方向上的相同像素值的连续长度较长。因而，通过使用游程编码进行压缩，可以获得高压缩率。此外，游程编码降低了解压缩的负担，因此适于用软件实现解密。但是，对图形对象使用游程编码不是限制本发明。例如，图形对象可以是PNG数据。此外，图形对象不必是栅格数据，也可以是矢量数据。此外，图形对象可以是透明图案。

(I)根据再现装置中的语言设置选择的字幕图形可以实现PCS的显示效果。因此，可以通过根据该再现装置的语言设置显示的字幕图形来实现通过使用在常规DVD中视频主体内包含的字符而达到的显示效果。这有助于提高实用性。

此外，根据该再现装置的显示设置而选择的字幕图形可以实现PCS的显示效果。例如，BD-ROM上记录了各种显示模式的图形，如宽屏幕、平移与扫描(Pan and Scan，即4:3模式)和邮箱(letterbox，即16:9模式)，再现装置根据与再现装置连接的电视的显示设置来选择一种显示模式，并显示对应的图形。由于PCS的显示效果适用于这些图形，所以可视性得到了增强因此，用根据显示设置显示的字幕图形可以实现用传统DVD中视频主体内包含的字符达到的显示鲜果。这有助于提高实用性。

(J)在第一个实施例描述的情形中，设置从对象缓冲器到图形平面的传输速率Rc，从而在一个视频帧内，清除图形平面和在窗口上呈现图形，窗口尺寸是图形平面的25％。但是，可以将Rc设置成在垂直消隐期间完成清除和呈现。假定垂直消隐周期是1/29.93秒的25％。那么，Rc是1Gbps。如此设置Rc，可以更流畅地显示图形。

此外，可以与垂直消隐期间的写操作一起，使用与行扫描同步的写操作。这样，可以Rc＝256Mbps流畅地显示字幕。

(K)在上述实施例所描述的情形中，再现装置包括图形平面上。但是，还可以将用于储存一行解压缩像素的线缓冲器代替图形平面。因为对于每行执行到图像信号的转换，所以，同样可以用线缓冲器执行到图像信号的转换。

(L)在上述实施例所描述的情形中，图形是表示电影中的对话的字符串，但是，本发明同样适用于与视频精确同步显示的任何图形。这样的图形示例包括插图、图案、卡通人物和字符标记。这些图形的示例还包括构成商标的图案、字符和颜色的组合、国家饰章、国旗、国徽、国家政府使用的公共标记或图章、国际组织的饰章、旗帜或徽章，或者特殊项目的原始标记。

(M)在第一个实施例所描述的情形中，基于字幕在屏幕顶部或底部上水平地显示的假设，将窗口设置在屏幕的顶部或底部。但是，也可以将窗口设置在屏幕的左侧或右侧，从而在屏幕的左侧和右侧上垂直地显示字幕。这样，就可以垂直地显示日文字幕。

(O)当DSn和DSn+1属于图形流中同一时元时，图形解码器对DSn和DSn+1执行流水线处理。另一方面，当DSn和DSn+1属于不同的时元时，在DSn的图形显示开始之后，图形解码器开始处理DSn+1。

此外，有两种图形流，即：呈现图形流，主要用于与视频进行同步；交互图形流，主要用于实现交互显示。当该图形流是呈现图形流时，图形解码器对DSn和DSn+1执行流水线处理；当该图形流是交互图形流时，不执行流水线处理。

(P)在图20所示的例子中，DS中的PCS引用的图形数据设置在未被该DS中的PCS引用的图形数据之前。但是，多组引用图形数据和多组无引用图形数据也可以在DS中按照它们object_id表示的次序排列。或者，多组引用图形数据可以按照扫描线次序排列。这里的扫描线次序指的是执行扫描的次序。通常，从屏幕的左上方到右下方执行扫描。因此，将显示坐标位于屏幕左上方的图形数据设置在显示坐标位于平面右下方的图形数据之前。这可以加速图形数据的呈现。

可以如上所述修改本发明。但是，本申请的每项权利要求的发明都反映了解决传统技术所遇到的技术问题的手段，所以，根据权利要求书的本发明的技术范围不会超过本领域技术人员认识该技术问题的技术范围。因此，根据权利要求书的本发明基本上对应于本申请中的说明书部分。

工业应用性

上述实施例披露了本发明所涉及的记录介质和再现装置的内部构造，可以基于所披露的内部构造，批量制造记录介质和再现装置。换言之，该记录介质和再现装置能够在工业上制造出来。因此，该记录介质和再现装置具有工业应用性。

Claims

1、一种用于再现数字流的再现装置，所述数字流是通过复用视频流和图形流而生成的，所述再现装置包括：

视频解码器，用于对所述视频流进行解码，以生成运动图像，并把构成所述运动图像的图片存入视频平面中；

图形解码器，用于对所述图形流进行解码，以生成图形，并把所生成的图形存入图形平面中；

加法器，用于将所述视频平面中存储的图片和所述图形平面中存储的图形的相应像素相加，从而重叠所述图形和所述运动图像；

其中，

从记录介质中新读取出控制数据之后，所述图形解码器便基于所述控制数据，将已经通过对所述图形流中位于所述控制数据之前的图形数据进行解码而生成的图形传送给所述图形平面。

2、如权利要求1所述的再现装置，其中：

所述图形流包括多个显示集合，所述多个显示集合都用于产生图形显示；以及

读取所述图形数据所属的显示集合之后，所述图形解码器便对所述图形数据进行解码，以生成所述图形，并将所生成的图形存储到对象缓冲器中。

3、如权利要求2所述的再现装置，其中：

所述多个显示集合包括时元开始显示集合，后者包括窗口定义数据，用于定义呈现所述图形数据的区域；

所述窗口定义数据指定所述图形平面中用于覆盖所述运动图像的窗口的位置、高度和宽度；以及

所述图形解码器通过清除所述窗口定义数据指定的所述窗口并将所述图形写入所述窗口，来显示所述图形。

4、一种向记录介质上进行记录的方法，包括下列步骤：

生成图形流；

复用视频流和所述图形流；

将通过所述复用而获得的数字流记录到所述记录介质上；

其中，生成图形流的步骤包括以下子步骤：

将图形数据和控制数据分别存储在不同的数据包中；

按序排列用于存储图形数据的数据包和用于存储控制数据的数据包，以获得图形流；

其中，所述控制数据指示：在预定时间，将数据包序列中位于用来存储控制数据的数据包之前的数据包里的图形数据以覆盖到所述视频流之上的状态进行显示。

5、如权利要求4所述的记录方法，其中：

当将所述图形数据和所述控制数据存储在不同的数据包中时，每一个数据包都属于多个显示集合中的一个显示集合，所述多个显示集合都用于产生图形显示；以及

所述图形数据和所述控制数据属于不同的显示集合。

6、如权利要求5所述的记录方法，其中：

所述多个显示集合包括时元开始显示集合；

所述时元开始显示集合包括窗口定义数据，以用于定义呈现所述图形数据的区域；

所述窗口定义数据指定图形平面中用于覆盖运动图像的窗口的位置、高度和宽度，其中所述图形平面用于存储通过解码所述图形流而生成的图形；以及

所述控制数据指示：所述图形数据要位于所述窗口之内。

7、一种用于再现数字流的方法，所述数字流是通过复用视频流和图形流而生成的，所述方法包括下列步骤：

对所述视频流进行解码，以生成运动图像，并把构成所述运动图像的图片存入视频平面中；

对所述图形流进行解码，以生成图形，并把所生成的图形存入图形平面中；

把所述视频平面中存储的图片和所述图形平面中存储的图形的相应像素相加，从而重叠所述图形和所述运动图像；

其中，

从记录介质中新读取出控制数据之后，对所述图形流进行解码的步骤便基于所述控制数据，将已经通过对所述图形流中位于所述控制数据之前的图形数据进行解码而生成的图形传送给所述图形平面。