CN101202091B - 记录方法、再现装置和方法 - Google Patents

记录方法、再现装置和方法 Download PDF

Info

Publication number
CN101202091B
CN101202091B CN2007101679895A CN200710167989A CN101202091B CN 101202091 B CN101202091 B CN 101202091B CN 2007101679895 A CN2007101679895 A CN 2007101679895A CN 200710167989 A CN200710167989 A CN 200710167989A CN 101202091 B CN101202091 B CN 101202091B
Authority
CN
China
Prior art keywords
ods
pcs
time
stream
drawing object
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN2007101679895A
Other languages
English (en)
Other versions
CN101202091A (zh
Inventor
约瑟夫·麦克罗森
冈田智之
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Publication of CN101202091A publication Critical patent/CN101202091A/zh
Application granted granted Critical
Publication of CN101202091B publication Critical patent/CN101202091B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G11B27/034—Electronic editing of digitised analogue information signals, e.g. audio or video signals on discs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/92—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10—Digital recording or reproducing
    • G11B20/12—Formatting, e.g. arrangement of data block or words on the record carriers
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/102—Programmed access in sequence to addressed parts of tracks of operating record carriers
    • G11B27/105—Programmed access in sequence to addressed parts of tracks of operating record carriers of operating discs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/04—Synchronising
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/84—Television signal recording using optical recording
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/84—Television signal recording using optical recording
    • H04N5/85—Television signal recording using optical recording on discs or drums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B2220/00—Record carriers by type
    • G11B2220/20—Disc-shaped record carriers
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B2220/00—Record carriers by type
    • G11B2220/20—Disc-shaped record carriers
    • G11B2220/21—Disc-shaped record carriers characterised in that the disc is of read-only, rewritable, or recordable type
    • G11B2220/213—Read-only discs
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B2220/00—Record carriers by type
    • G11B2220/20—Disc-shaped record carriers
    • G11B2220/25—Disc-shaped record carriers characterised in that the disc is based on a specific recording technology
    • G11B2220/2537—Optical discs
    • G11B2220/2541—Blu-ray discs; Blue laser DVR discs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/78—Television signal recording using magnetic recording
    • H04N5/782—Television signal recording using magnetic recording on tape
    • H04N5/783—Adaptations for reproducing at a rate different from the recording rate
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/641—Multi-purpose receivers, e.g. for auxiliary information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/806—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components with processing of the sound signal
    • H04N9/8063—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components with processing of the sound signal using time division multiplex of the PCM audio and PCM video signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • H04N9/8227—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal the additional signal being at least another television signal

Abstract

在BD-ROM上记录通过复用视频流和图形流而生成的AV剪辑。所述图形流包括多个DS(显示集合)，其每组段均用于图形显示。属于DS的ODS(对象定义段)包括参考ODS以及非参考ODS。所述非参考ODS是没有通过所述显示集合中包括的PCS(呈现合成段)而参考的ODS。END段设置为紧跟在所述显示集合中所述参考ODS和非参考ODS的序列中最后一个ODS之后。

Description

记录方法、再现装置和方法
本申请是2004年7月9日提交的、申请号为200480026201.3、题为“记录介质、记录方法、再现装置和方法以及计算机可读程序”的专利申请的分案申请。
发明领域
本发明涉及诸如BD-ROM和再现装置的记录介质，并特别涉及通过再现数字流来加字幕的技术，其中通过复用视频流和图形流生成该数字流。
技术背景
通过渲染图形流显示的字幕对于不同语言地域的人享受外语电影来说是重要的手段。此类图形流与代表运动图像的视频流复用，并记录在记录介质上。图形流包括多个显示集合，每个显示集合由显示控制信息和图形数据组成。每个显示集合用于显示电影再现中的单独字幕。从记录介质中读取显示集合，并一个个处理，作为运动图像进行的再现，以与运动图像一同显示字幕。
这里，如果只在前面紧邻的一个显示集合的处理完成之后处理每个显示集合，就出现处理延迟。特别当每个显示集合具有例如1920×1080的高分辨率时，出现明显的处理延迟。因此，当图形流包含多个显示集合时，就出现需要并行处理显示集合。
发明内容
一个显示集合可以不仅携带其自身呈现合成段所参考的对象定义段，还可以携带后面显示集合的呈现合成段所参考的对象定义段。在传送不是呈现合成段参考的对象定义段的情况下，在将多个对象定义段加载到再现装置上的时候，属于一个显示集合的对象定义段和属于后面显示集合的对象定义段之间的边界不明确。
本发明在于提供一种记录介质，其可以甚至在一个显示集合不仅包括其自身呈现合成段所参考的对象定义段，还包括后面显示集合的呈现合成段所参考的对象定义段的时候，说明对象定义段属于哪个显示集合。
上述目的可以通过一种记录方法来实现。所述记录方法包括下面的步骤：创建包括多个显示集合的图形流，每个所述显示集合都用于图形显示；将所产生的数字流记录到记录介质上，其中每个所述显示集合包括如下功能段：呈现合成段PCS、用于限定图形对象的对象定义段ODS以及END段，其中所述PCS包括时间信息，所述时间信息用于在所述视频流的再现时间轴上指定所述显示集合中PCS的活动周期；每个段包含在包中；所述时间信息包括写在包中的解码时戳以及呈现时戳；所述显示集合包括ODS序列，该ODS序列包括通过所述显示集合中PCS而参考的参考ODS以及没有通过所述显示集合中PCS而参考的非参考ODS，其中创建图形流的步骤包括：将所述参考ODS和非参考ODS设置在所述显示集合中，所述显示集合中的ODS是顺序地设置的，以便以所述设置的顺序而依次解码；紧跟在所述参考ODS和非参考ODS的序列中最后一个ODS之后设置所述END段；将所述功能段转换为传输流数据包，并将所述传输流数据包与所述视频流一同记录在所述记录介质上，其中所述视频流同样被转换为传输流数据包；向每个对应于所述功能段的传输流数据包和对应于所述视频流的传输流数据包给定称为到达时戳ATS的时戳；以及复用所述视频流和所述图形流以生成数字流。
根据此结构，END段设置在显示集合中属于该显示集合的对象定义段之后。通过参考END段，再现装置可以探测属于显示集合的对象定义段的传送结束。因此，即使在一个显示集合包括参考对象定义段和非参考对象定义段的时候，在处理显示集合时，很容易就可以识别需要从哪个点到哪个点执行解码。这使再现装置使用非参考对象定义段执行高速渲染。
附图说明
图1是本发明所涉及的记录介质的示例性应用；
图2示出了图1所示的BD-ROM的结构；
图3示出了AV剪辑的结构；
图4A示出了呈现图形流的结构；
图4B示出了包含功能段的PES数据包；
图5示出了由多种功能段构成的逻辑结构；
图6示出了字幕显示位置和时元之间的关系；
图7A示出了ODS的数据结构；
图7B示出了PDS的数据结构；
图8A示出了WDS的数据结构；
图8B示出了PCS的数据结构；
图9示出了用于显示字幕的DS的示例性描述；
图10示出了DS1中的PCS和WDS的示例性描述；
图11示出了DS2中的PCS的示例性描述；
图12示出了DS3中的PCS的示例性描述；
图13示出了当执行如图10至12所示的图形更新时对象缓冲器中的存储空间；
图14示出了用于计算DECODEDURATION的示例性算法；
图15是图14所示算法的流程图；
图16A和16B是图14所示算法的流程图；
图17A示出了一个窗口中存在一个图形对象的情形；
图17B和17C是图14所示算法中所用的参数的时序图；
图18A示出了一个窗口中存在两个图形对象的情形；
图18B和18C是图14所示算法中所用的参数的时序图；
图19A示出了两个图形对象分别存在于两个窗口中的情形；
图19B是当解码时间(2)大于清除时间(1)与写入时间(31)之和时的时序图；
图19C是当清除时间(1)与写入时间(31)之和大于解码时间(2)时的时序图；
图20示出了一个DS的处理内容；
图21示出了如何在一个流水线解码器模型中并行处理两个DS；
图22示出了在三个DS中重叠PCS的活动周期的实例；
图23示出了每个DS中功能段的时戳的设定；
图24示出了每个DS中PCS的时戳；
图25A示出了两个DS中PCS的活动周期重叠的情况；
图25B示出了两个DS中PCS的活动周期不重叠的情况；
图26示出了指明传送完成的END段；
图27A至27C示出了活动周期重叠和object_id分配之间的关系；
图28示出了本发明的实施例所涉及的再现装置的内部构造；
图29示出了图28中所示的图形平面、编码数据缓冲器和对象缓冲器的传输速率Rx、Rc、Rd和尺寸；
图30是再现装置中的流水线处理的时序图；
图31是当ODS解码在清除图形平面之前结束情况下的流水线处理的时序图；
图32是合成缓冲器、对象缓冲器、编码数据缓冲器和图形平面的占用率变化的时序图；
图33是加载功能段的操作的流程图；
图34示出了执行跳节操作的情形；
图35示出了当执行如图34所示的跳节操作时向编码数据缓冲器中加载DS10的情形；
图36示出了当执行普通再现时的情形；
图37示出了当执行如图36所示的普通再现时向编码数据缓冲器中加载DS1和DS20的情形；
图38是图28所示的图形控制器的操作流程图；
图39是图形控制器的操作流程图；
图40是图形控制器的操作流程图；
图41示出了BD-ROM的制造步骤。
具体实施方式
(第一个实施例)
下面描述本发明第一个实施例所涉及的记录介质。下面首先介绍该记录介质的使用。图1示出了该记录介质的示例性应用。在图中，该记录介质为BD-ROM 100。BD-ROM 100用于在家庭影院系统中提供电影，该家庭影院系统包括再现装置200、电视300和遥控400。
接着介绍记录介质的制造。通过改进BD-ROM的应用层，可以实现该记录介质。图2示出了BD-ROM 100的示例性结构。
在图中，第四级示出了BD-ROM 100，第三级示出了BD-ROM100上的轨道。图中所示的轨道向外延伸成直线，但实际上，轨道从BD-ROM 100的中心向外螺旋延伸。轨道包括引入区、容量区和引出区。容量区的层模型是物理层、文件系统层和应用层。第一级以目录结构的形式示出了BD-ROM 100的应用层格式(应用格式)。如图所示，BD-ROM 100在根目录下有BDMV目录。BDMV目录包含一个用于存储AV剪辑的文件(XXX.M2TS)、一个用于存储AV剪辑的管理信息的文件(XXX.CLPI)和一个用于定义AV剪辑的逻辑播放路径(播放列表)的文件(YYY.MPLS)。通过生成这样的应用格式，可以实现BD-ROM 100。如果上述各文件类型都有一个以上的文件，则在BDMV目录下设置三个名为STREAM、CLIPNF和PLAYLIST的目录，分别用来存储与XXX.M2TS类型相同的文件、与XXX.CLPI类型相同的文件以及与YYY.MPLS类型相同的文件。
下面说明该应用格式中的AV剪辑(XXX.M2TS)。
AV剪辑(XXX.M2TS)是MPEG-TS(传输流)格式的数字流，它是通过复用一个视频流、至少一个音频流和一个呈现图形流而获得的。视频流代表电影的运动图像，音频流代表电影的音频，呈现图形流代表电影的字幕。图3示出了AV剪辑(XXX.M2TS)的结构。
在图中，中间级示出了AV剪辑。可以如下创建该AV剪辑。将上方第一级中由多个视频帧(图像pj1、pj2、pj3……)构成的视频流和由多个音频帧构成的音频流转换成上方第二级中的PES数据包，然后再转换成上方第三级中的TS数据包。同样，将下方第一级中的呈现图形流转换成下方第二级中的PES数据包，然后再转换成下方第三级中的TS数据包。将视频、音频和呈现图形流的这些TS数据包进行复用，从而形成AV剪辑。
在图3所示的例子中，只有一个呈现图形流被复用到AV剪辑中。如果BD-ROM 100支持多种语言，则可以将每种语言的呈现图形流都复用到AV剪辑中。以上述方式生成的AV剪辑按照与计算机文件相同的方式被分成多个内容，并存储到BD-ROM 100上。
下面说明呈现图形流。图4A示出了呈现图形流的结构。在图中，第一级显示的是构成该AV剪辑的TS数据包序列。第二级显示的是构成呈现图形流的PES数据包序列。该PES数据包序列是通过将第一级的TS数据包序列中具有预定PID的TS数据包的有效负载进行连接而形成的。
第三级示出了呈现图形流的结构。呈现图形流是由多个功能段构成的，这些功能段包括PCS(呈现合成段)、WDS(窗口定义段)、PDS(调色板定义段)、ODS(对象定义段)和END(显示集合段的末尾)。在这些功能段中，PCS是画面合成段，WDS、PDS和ODS是定义段。一个功能段对应于一个PES数据包或多个PES数据包。也就是说，一个功能段被转换成一个PES数据包并记录到BD-ROM 100上，或者，被分成多个片断，再转换成PES数据包，并记录到BD-ROM 100上。
图4B示出了包含功能段的PES数据包。如图所示，每个PES数据包由包头和有效负载构成。有效负载携带功能段，包头携带与该功能段相关联的DTS和PTS。后面，将包含一个功能段的PES数据包的包头中的DTS和PTS视为该功能段的DTS和PTS。
这些多种类型的功能段形成如图5所示的逻辑结构。在图中，第三级示出了功能段，第二级示出了DS(显示集合)，第一级示出了时元。
第二级中的DS是呈现图形流中的一组功能段，用于创建一个图形画面。虚线hk2表明第三级中的功能段属于哪个DS。从图中可以看出，功能段序列PCS-WDS-PDS-ODS-END组成一个DS。再现装置200从BD-ROM 100中读取构成该DS的这些功能段，以产生一个图形画面。
第一级中的时元指的是AV剪辑的再现时间轴上的连续存储器管理的一个时间单元以及分配给该时间单元的一组数据。这里所说的存储器包括：图形平面，用于存储一个图形画面；对象缓冲器，用于存储解压缩的图形数据。连续存储器管理意味着：在该时元内，不刷新图形平面和对象缓冲器，只在图形平面的预定矩形区域中执行图形的删除和呈现(刷新意味着清除整个图形平面或整个对象缓冲器)。在该时元内，该矩形区域的大小和位置是固定的。只要在图形平面的该固定矩形区域中执行图形的删除和呈现，就可以保证视频和图形的同步。换言之，时元是AV剪辑的再现时间轴上的一个时间单位，其中，可以保证视频和图形的同步。为了改变图形平面中的图形删除/呈现区域，需要定义再现时间轴上的变化点以及从该点向前设置一个新的时元。在这两个时元之间的边界中，视频和图形的同步无法得到保证。
对于字幕，时元是再现时间轴上的一个时间段，其中，字幕出现在平面上固定矩形区域内。图6示出了字幕显示位置和时元之间的关系。在图中，字幕显示位置的改变取决于图像的图案。更详细地说，三个字幕“Actually”、“I lied to you”和“Sorry”位于屏幕的底部，而两个字幕“三年已经过去了”和“从那以后。”位于屏幕的顶部。因此，为了增加可视性，字幕显示位置从一个边缘部分变化到另一边缘部分。在这种情况下，在AV剪辑的再现时间轴上，在屏幕底部显示字幕的时间段是时元1，在屏幕顶部显示字幕的时间段是时元2。这两个时元各有自己的字幕呈现区域。在时元1中，字幕呈现区域是Window1，对应于屏幕的底部边缘部分。在时元2中，字幕呈现区域是Window2，对应于屏幕的顶部边缘部分。在时元1和时元2中，对象缓冲器和图形平面的存储器管理是连续的，所以，字幕在该屏幕的相应边缘部分中无缝地显示。对时元的解释到此结束。
下面解释DS。
在图5中，虚线hk1表示第二级中的DS属于哪个时元。如图所示，DS序列(Epoch Start DS、Acquisition Point DS和Normal Case DS)构成第一级中的一个时元。在这里，Epoch Start(时元开始)、AcquisitionPoint(采集点)和Normal Case(正常情况)是DS的类型。在图5中，Acquisition Point DS位于Normal Case DS之前，但它们的排列顺序也可以反过来。
Epoch Start DS提供显示效果“新显示”，并表示一个新时元的开始。Epoch Start DS包含下一画面合成所需的全部功能段。提供EpochStart DS的位置是跳节操作的目的地，如电影中一章的开始。
Acquisition Point DS提供显示效果“显示刷新”，并且与前面的Epoch Start DS相同。Acquisition Point DS不是时元的开始，但却包含下一画面合成所需的全部功能段。因此，当从Acquisition Point DS开始再现时，能够可靠地显示图形。也就是说，通过Acquisition PointDS，可以从时元的中间点进行画面合成。
提供Acquisition Point DS的位置可以是跳节操作的目的地，例如可以通过时间搜索来指定的位置。时间搜索是一种操作，用于对与用户的时间输入(单位为分/秒)相对应的再现点进行定位。时间输入的单位较大，如10分或10秒。因此，提供Acquisition Point DS的位置可以通过单位是10分或10秒的时间搜索来指定。通过在可由时间搜索指定的位置中提供Acquisition Point DS，当执行时间搜索时，可以流畅地再现图形流。
Normal Case DS提供显示效果“显示更新”，并且仅包含与前一画面合成之间的差值。例如，如果DSv与它之前的Dsu具有相同的字幕，但却具有不同的画面合成，则DSv是仅包含一个PCS和一个END的Normal Case DS。这样，就不必在DSs中提供覆盖的ODS，从而可以减少BD-ROM 100上所存储的数据量。由于Normal Case DS只包含差值，所以，不能单用Normal Case DS来显示图形。
下面说明ODS、WDS和PDS(定义段)。
ODS是用于定义图形对象的功能段。BD-ROM上记录的AV剪辑的图像质量与高清晰度电视一样高。因此，以1920×1080的高分辨率来设置图形对象。由于该高分辨率，可以在BD-ROM上逼真地再现影院屏幕风格的字幕，即，雅致的手写体字幕。
图形对象由多个游程数据构成。游程数据表示使用像素编码的像素串，是像素值和该像素值的连续长度。像素编码有8个比特，表示从1到255的值。通过使用该像素编码，游程数据设置全部颜色(16777216色)中任意256个像素颜色。应当注意的是，为了将图形对象显示为字幕，需要将字符串放置在透明色的背景上。
ODS定义根据图7A所示的数据结构的图形对象。如图所示，ODS包括：segment_type字段，表示段类型“ODS”；segment_length字段，表示ODS的数据长度；object_id字段，标识时元中的图形对象；object_version_number字段，表示时元中的ODS的版本；last_in_sequence_flag字段；object_data_fragment字段，承载与图形对象的部分或全部相对应的连续字节序列。
更详细地讲，object_id是一个标识符，用于标识图形对象，以及当对ODS进行解码和将图形对象缓冲到对象缓冲器中时该图形对象在对象缓冲器中所占用的存储区域。因此，当对象缓冲器中有一个或多个图形对象时，用object_id字段值标识对象缓冲器中的各存储区域。假设将一个object_id分配给两个或更多个ODS。在这种情况下，在将与一个ODS相对应的图形对象存储到对象缓冲器之后，该图形对象会被与随后具有相同object_id的ODS相对应的图形对象覆盖。这样的更新意在防止对象缓冲器中出现很多小的自由空间和防止该对象缓冲器中的图形对象的分散。当显示图形时，对象缓冲器中的图形对象不断地被传输到图形平面。因此，如果对象缓冲器中存在很多小的自由空间或者一个图形对象分散在对象缓冲器中，则读取图形对象的开销导致从对象缓冲器到图形平面的传输效率降低。传输效率的这种降低会影响图形和视频的同步显示。为了防止这种问题，对象缓冲器中的现有图形对象被具有相同object_id的一个新图形对象覆盖。
这里，覆盖现有图形对象的新图形对象需要在尺寸上等于现有图形对象，也就是说，新图形对象既不能小于现有图形对象，也不能大于现有图形对象。因此，在创作时，创作者需要使这些图形对象尺寸相等。该尺寸约束条件，即具有相同object_id的图形对象应该宽度和高度相等，只适用于一个时元内。具有相同object_id的图形对象不必尺寸相等，如果它们属于不同时元的话。
接下来解释last_in_sequence_flag字段和object_data_fragment字段。由于PES数据包的有效负载的约束条件，构成一个字幕的解压缩图形可能无法包含在一个ODS中。在这种情况下，将图形分割成多个片断，将其中一个片断承载在object_data_fragment中。当将图形对象跨过多个ODS进行存储时，除最后片断之外的每个片断都具有相同的尺寸。也就是说，最后的片断小于或等于前面片断的尺寸。承载图形对象的这些片断的ODS顺序地出现在DS中。last_in_sequence_flag字段表示图形对象的结束。尽管上述ODS数据结构所基于的方法将片断不留空隙地存储在连续PES数据包中，但是，也可以通过在PES数据包中留出一些空隙的方式将片断存储在PES数据包中。
PDS是功能段，定义用于颜色转换的调色板。调色板是表示1至255的像素代码和像素值的组合的数据。这里所指的像素值是由红色差值分量(Cr值)、蓝色差值分量(Cb值)、亮度分量(Y值)和透明色(T值)构成的。将每个游程数据的像素代码代入调色板上的像素值中，从而产生颜色。图7B示出了PDS的数据结构。如图所示，PDS包括：segment_type字段，表示段类型“PDS”；segment_length字段，表示PDS的数据长度；palette_id字段，唯一地标识该调色板；palette_version_number字段，表示该时元内的PDS的版本；以及palette_entry字段，承载每个条目的信息。palette_entry字段表示每个条目的红色差值分量(Cr值)、蓝色差值分量(Cb值)和透明色(T值)。
WDS是功能段，用于定义图形平面上的矩形区域。如前所述，在图形平面上的固定矩形区域中执行清除和呈现的时元内，存储器管理是连续的。图形平面上的该矩形区域被称为窗口，它是用WDS来定义的。图8A示出了WDS的数据结构。如图所示，WDS包括：window_id字段，唯一地标识图形平面上的该窗口；window_horizontal_position字段，指定图形平面上该窗口的左上方像素的水平位置；window_vertical_position字段，指定图形平面上该窗口的左上方像素的垂直位置；window_width字段，指定图形平面上该窗口的长度；window_height字段，指定图形平面上该窗口的高度。
window_horizontal_position字段、window_vertical_position字段、window_width字段和window_height字段可以取以下值。图形平面作为这些字段值的坐标系。图形平面具有由参数window_width和window_height定义的二维尺寸。
window_horizontal_position字段指定图形平面上该窗口的左上方像素的水平位置，因此取值范围是0至(video_width)-1。window_vertical_position字段指定图形平面上该窗口的左上方像素的垂直位置，因此取值范围是0至(video_height)-1。
window_width字段指定图形平面上该窗口的长度，因此取值范围是1至(video_width)-(window_horizontal_position)。window_height字段指定图形平面上该窗口的高度，因此取值范围是1至(video_height)-(window_vertical_position)。
对于每个时元，使用WDS中的window_horizontal_position、window_vertical_position、window_width和window_height字段，可以定义窗口的位置和尺寸。因此，在创作时，创作者可以调整窗口，使其出现在时元中的每个图像的预期边缘部分中，从而不干扰该图像的图案。可以清楚地观看按照这种方式显示的字幕的图形。对于每个时元，可以定义WDS。因此，当图像图案随时间而变化时，可以基于这样的变化，移动图形，从而不降低可视度。这将电影质量增强到与将字幕集成到运动图像中相同的等级。
下面解释END。END是用于表示DS传输结束的功能段。END位于DS中最后的ODS之后。END包括：segment_type字段，表示段类型“END”；segment_length，表示END的数据长度。这些字段不是本发明的主要特色，因此这里不再赘述。
下面解释PCS(合成段)。
PCS是功能段，用于合成可与运动图像同步的画面。图8B示出了PCS的数据结构。如图所示，PCS包括：segment_type字段；segment_length字段；composition_number字段；composition_state字段；palette_update_flag字段；palette_id_ref字段；composition_object(1)至composition_object(m)字段。
composition_number字段用从0至15的数字来唯一地标识DS中的图形更新。更详细地讲，对于每个图形更新，从时元的开始到PCS，composition_number字段加1。
composition_state字段表示DS是Normal Case DS、AcquistionPoint DS、还是时元Start DS。
palette_update_flag字段表示PCS是否描述仅调色板显示更新。仅调色板显示更新指的是只用新调色板替换先前调色板的更新。为了表示仅调色板显示更新，将palette_update_flag字段设置为1。
palette_id字段指定在该DS中使用的调色板。
composition_object(1)至composition_object(m)字段各包含用于控制该DS中的单个窗口的信息。在图8B中，作为示例，虚线wd1表示composition_object(i)的内部结构。如图所示，composition_object(i)包括：object_id字段；window_id字段；object_cropped_flag字段；object_horizontal_position字段；object_vertical_position字段；cropping_rectangle信息(1)至cropping_rectangle信息(n)。
object_id字段表示对应于窗口中图形对象的ODS的标识符，该对象对应于composition_object(i)。
window_id字段表示在PCS中被分配了图形对象的窗口的标识符。至多两个图形对象可以被分配给一个窗口。
object_cropped_flag字段表示是否要显示对象缓冲器中剪裁的图形对象。当将object_cropped_flag字段设为1时，显示对象缓冲器中剪裁的图形对象。当将object_cropped_flag字段设为0时，不显示对象缓冲器中剪裁的图形对象。
object_horizontal_position字段表示图形对象在图形平面的左上方像素的水平位置。
object_vertical_position字段表示图形对象在图形平面的左上方像素的垂直位置。
当object_cropped_flag字段为1时，cropping_rectangle信息(1)cropping_rectangle信息(n)是有效的。作为示例，虚线wd2指示了cropping_rectangle信息(i)的内部结构。如图所示，cropping_rectangle信息(i)包括：object_cropping_horizontal_position字段；object_cropping_vertical_position字段；object_cropping_width字段；object_cropping_height字段。
object_cropping_horizontal_position字段表示剪裁矩形在图形对象中左上角的水平位置。剪裁矩形用于取出图形对象的一部分，其对应于ETSI EN 300 743中的“区域”。
object_cropping_vertical_position字段表示剪裁矩形在图形对象中左上角的垂直位置。
object_cropping_width字段表示剪裁矩形在图形对象中的水平长度。
object_cropping_height字段表示剪裁矩形在图形对象中的垂直长度。
下面具体描述PCS，在所使用的例子中，当运动图像的再现进行时，通过三个向图形平面写入的操作，顺序地显示图6所示的三个字幕“Actually”、“I lied to you.”和“Sorry.”。图9示出了实现该字幕显示的示例性描述。在图中，一个时元具有DS1(Epoch Start DS)、DS2(Normal Case DS)和DS3(Normal Case DS)。DS1包括：一个WDS，用于定义显示字幕的窗口；一个ODS，表示行“Actually I liedto you.Sorry.”；一个PCS。DS2包括一个PCS。DS3包括一个PCS。
下面描述各个PCS。图10至12示出了属于DS1和DS3的WDS和PCS。
图10示出了DS1中的PCS和WDS。在图中，WDS中的window_horizontal_position字段值和window_vertical_position字段值指定图形平面上的窗口的左上方坐标LP1，WDS中的window_width字段值和window_height字段值指定窗口的宽度和高度。
PCS中cropping_rectangle信息的object_cropping_horizontal_position字段值和object_cropping_vertical_position字段值指定剪裁矩形在坐标系中左上角坐标ST1，该剪裁矩形的原点是对象缓冲器中图形对象的左上方坐标。剪裁矩形是一个区域，由从左上角坐标ST1的object_cropping_width字段值和object_cropping_height字段值进行定义。剪裁过的图形对象位于区域cp1(被虚线框包围)中，所以，剪裁过的图形对象的左上角位于一个由坐标系中该图形平面的object_horizontal_position字段和object_vertical_position字段指定的像素。这样，将字幕“Actually I lied to you.Sorry.”中的“Actually”写入图形平面上的窗口中。字幕“Actually”覆盖在一张图片之上，然后，显示所得的图像。
图11示出了DS2中的PCS。由于图中的WDS的描述与图10相同，所以这里不再赘述。同时，cropping_rectangle信息的描述与图10不同。在图11中，cropping_rectangle信息中的object_cropping_horizontal_position字段值和object_cropping_vertical_position字段值指定与对象缓冲器中的字幕“I lied to you.”相对应的剪裁矩形的左上方坐标，而object_cropping_width字段值和object_cropping_height字段值指定剪裁矩形的宽度和高度。从而，将字幕“I lied to you.”写入图形平面上的窗口中。字幕“I lied to you.”覆盖在一张图片上，并显示所得的图像。
图12示出了DS3中的PCS。由于图中的WDS的描述与图10相同，所以这里不再赘述。同时，cropping_rectangle信息的描述与图10不同。在图12中，object_cropping_horizontal_position字段值和object_cropping_vertical_position字段值表示对象缓冲器中与字幕“Sorry.”相对应的剪裁矩形的左上角坐标，而object_cropping_width字段值和object_cropping_height字段值表示剪裁矩形的宽度和高度。从而，将字幕“Sorry.”写入图形平面上的窗口中。字幕“Sorry.”覆盖在一张图片上，并显示所得图像。
图13示出了当执行如图10至12的图形更新时对象缓冲器的存储器空间。如图所示，对象缓冲器有四个存储区域A至D，它们各有固定的高度和宽度以及固定的位置。在存储器区域A至D中，图10所示的字幕存储在存储区域A中。存储区域A至D中的每一个用与该存储区域中要存储的图形对象相对应的object_id标识。详细地讲，存储区域A用object_id＝1标识，存储区域B用object_id＝2标识，存储区域C用object_id＝3标识，存储区域D用object_id＝4标识。为了维持从对象缓冲器到图形平面的传输效率，存储区域A至D中的每一个区域的高度和宽度都是固定的。因此，当解码之后获得具有相同object_id的图形对象时，将该图形对象写入由该object_id标识的存储区域中，覆盖现有的图形对象。例如，为了在与图10至12中显示的字幕相同的位置用相同的尺寸显示字幕，需要在后续的DS中提供与DS1中的ODS具有相同object_id的ODS。通过如此添加相同的object_id，对象缓冲器中的图形对象被新的图形对象覆盖，新的图形对象的显示位置以及尺寸与被覆盖的图形对象相同。
下面描述实现显示效果的约束条件。为了流畅地显示字幕，在窗口上需要执行清除和呈现。当以视频帧的帧速率执行窗口清除和窗口呈现时，需要下面的从对象缓冲器到图形平面的传输速率。
首先，检查对窗口尺寸的约束条件。假设Rc是从对象缓冲器到图形平面的传输速率。在最糟糕的情况下，需要以Rc执行窗口清除和窗口呈现。换言之，窗口清除和窗口呈现各需要以Rc的一半(Rc/2)执行。
为了一个视频帧同步窗口清除和窗口呈现，需要满足：
(窗口尺寸)×(帧速率)≈Rc/2。
如果帧速率为29.97，则
Rc＝(窗口尺寸)×2×29.97
为了显示字幕，窗口尺寸至少需要是整个图形平面的25％至33％。如果图形平面的像素总数量是1920×1080，每个像素的索引的比特长度为8比特，则图形平面的总容量是2M字节(≈1920×1080×8)。
假定窗口尺寸是图形平面的1/4，即500K字节(＝2M字节/4)。将其代入上式，则得到Rc＝256Mbps(500K字节×2×29.97)。
因此，如果窗口尺寸是图形平面的大约25％至33％，那么，只要用Rc＝256Mbps来显示字幕，就可以实现字幕的显示效果，而不会与运动图像失去同步。
如果以视频帧速率的1/2或1/4执行窗口清除和窗口呈现，则在Rc相同的情况下窗口尺寸可以为两倍或四倍。下面描述窗口的位置和范围。如前所述，窗口的位置和范围在一个时元内是固定的，原因如下。
如果窗口的位置或范围在时元中变化，则需要改变到图形平面的写地址。这会产生开销，从而导致从对象缓冲器到图形平面的传输速率Rc降低。
当向图形平面传输解码后的图形对象时，为了降低开销，在一个窗口中可同时显示的图形对象的数量是有限的。当设置图形对象的边缘部分的地址时，会产生这里所说的开销发生。如果边缘部分的数量较大，则该开销会增加。
如果对一个窗口中可显示的图形对象的数量没有限制，那么，当向图形平面传输图形对象时，开销会无限地发生，这会增加传输负载的变化。另一方面，如果一个窗口中的图形对象的数量被限制为2，那么，基于最糟糕情形下开销数量为4的假设，可以设置传输速率Rc。因此，可以很容易地确定传输速率Rc的最低标准。对窗口的解释到此结束。
下面说明如何将承载诸如PCS和ODS之类功能段的DS分配到AV剪辑的再现时间轴上。时元是再现时间轴上的一个时间段，其中，存储器管理是连续的，并且，时元由一个或多个DS构成。因此，将DS有效地分配到AV剪辑的再现时间轴上是很重要的。这里所说的AV剪辑的再现时间轴是一个时间轴，用于定义构成AV剪辑中复用的视频流的各图片的解码时间和呈现时间。再现时间轴上的解码时间和呈现时间用90KHz的时间精度来表示。DS中的PCS和ODS的DTS和PTS表示该再现时间轴上的同步控制的时机。换言之，通过使用PCS和ODS的DTS和PTS来实施同步控制，将DS分配到再现时间轴上。
首先介绍用PCS和ODS的DTS和PTS来实施同步控制。
DTS表示ODS的解码处理的开始时间，具有的精度是90KHz。PTS表示ODS的解码处理的结束时间，具有的精度是90KHz。
解码处理包括：对ODS进行解码；然后，将通过解码而生成的解压缩图形对象传输到对象缓冲器。该解码处理并不是瞬间结束的，而是需要一定的时间量。ODS的DTS和PTS分别表示ODS的解码开始时间和解码结束时间，以指定解码处理的开始和结束。
由于PTS所示的时间是最终期限，所以，需要在PTS所示时间之前对ODS进行解码并将解压缩的图形对象存储到对象缓冲器中。
DSn中任一ODSj的解码开始时间用DTS(DSn[ODSj])表示，其精度是90KHz。因此，DSn中ODSj的解码结束时间(即PTS(DSn[ODSj]))是DTS(DSn[ODSj])与解码处理所需最长时间之和。
假设SIZE(DSn[ODSj])表示ODSj的尺寸，Rd表示ODS解码速率。那么，解码处理所需的最长时间(以秒为单位)是SIZE(DSn[ODSj])//Rd。符号“//”表示一种将小数部分取整的除法运算符。
通过将该最长时间转换为90KHz的精度并将该结果加上ODSj的DTS，则可以计算出PTS指定的ODSj的解码结束时间，精度为90KHz。
DSn中ODSj的该PTS可用下面的公式表示：
PTS(DSn[ODSj])＝DTS(DSn[ODSj])+
90000×(SIZE(DSn[ODSj])//Rd)
此外，DSn中两个相邻的ODS(ODSj和ODSj+1)需要满足下面的关系：
PTS(DSn[ODSj])≤DTS(DSn[ODSj+1])
DSn中的END表示DSn的结束。因此，END表示DSn中最后一个ODS(ODSlast)的解码结束时间。ODSlast的PTS(PTS(DSn[ODSlast]))表示ODSlast的解码结束时间，所以，如下设置END的PTS：
PTS(DSn[END])＝PTS(DSn[ODSlast])
同时，如下设置DSn中的PCS的DTS和PTS。
PCS的DTS表示DSn中顶部ODS(ODS1)的解码开始时间或比它更早的时间。这是因为，需要将PCS加载到再现装置200的缓冲器中，与ODS1的解码开始时间(DTS(DSn[ODS1]))和DSn中的顶部PDS(PDS1)变为无效时(PTS(DSn[PDS1]))相同或更早。也就是说，PCS的DTS需要满足下面的公式：
DTS(DSn[PCS])≤DTS(DSn[ODS1])
DTS(DSn[PCS])≤PTS(DSn[ODS1])
另一方面，如下计算PCS的PTS：
PTS(DSn[PCS])≥DTS(DSn[PCS])+DECODEDURATION(DSn)
在这里，DECODEDURATION(DSn)表示DSn中的PCS所述的更新所用的全部图形对象的呈现和解码所需的时间。尽管DECODEDURATION(DSn)不是固定值，它也不会受诸如再现装置实现和状态差异之类因素的影响。当DSn.PCS.OBJ[j]表示DSn中的PCS描述的画面合成所用的图形对象时，可以通过以下方面来改变DECODEDURATION(DSn)：(i)窗口清除所需的时间；(ii)对DSn.PCS.OBJ[j]进行解码所需的时间；(iii)将DSn.PCS.OBJ[j]写到图形平面上所需的时间。因此，只要Rd和Rc是预先确定的，那么，DECODEDURATION(DSn)就是相同的，而不管再现装置的实现方式。因此，在合成时，计算上述各时间段的长度，从而指定PCS的PTS。
基于图14所示的程序，执行DECODEDURATION(DSn)的计算。图15以及图16A和16B的流程图示出了该程序的算法。下面结合这些附图解释DECODEDURATION(DSn)的计算过程。在图15中，调用函数PLANEINITIALIZATIONTIME，然后将返回值加上decode_duration(S1)。函数PLANEINITIALIZATIONTIME(图16A)是用于计算初始化图形平面从而产生DSn的显示所需时间的函数。在步骤S1中，用DSn、DSn.PCS.OBJ[0]和decode_duration作为参数，调用该PLANEINITIALIZATIONTIME函数。
图16A示出了PLANEINITIALIZATIONTIME函数的过程。在图中，initialize_duration是一个变量，用于表示PLANEINITIALIZATIONTIME函数的返回值。
步骤S2判断DSn中的PCS的composition_state字段是不是EpochStart。如果composition_state字段是Epoch Start(S2：是，图14中DSn.PCS.composition_state＝＝EPOCH_START)，则将清除图形平面所需的时间设置为initialize_duration(S3)。
如上所述，假设从对象缓冲器到图形平面的传输速率Rc是256000000，图形平面的总尺寸是(video_width)*(video_height)。那么，清除图形平面所需的时间(单位是秒)是(video_width)*(video_height)//256000000。将其乘以90000Hz，用PTS精度表示。因此，清除图形平面所需的时间是90000×(video_width)*(video_height)//256000000。将其加上intialize_duration，作为返回值返回。
如果composition_state字段不是Epoch Start(S2：否)，则对所有窗口Window[i]，执行将清除Window[i]所需的时间加上initialize_duration的操作(S4)。如前所述，假设从对象缓冲器到图形平面的传输速率Rc是256000000，并且，Window[i]的总尺寸是∑SIZE(WDS.WIN[i])。那么，清除全部Window[i]所需的时间(单位是秒)是∑SIZE(WDS.WIN[i])//256000000。将其乘以90000Hz，用PTS精度表示。因此，清除所有Window[i]所需的时间是90000×∑SIZE(WDS.WIN[i])//256000000。将其加上intialize_duration，作为返回值返回。对PLANEINITIALIZATIONTIME函数的描述到此结束。
在图15中，步骤S5判断DSn中的图形对象的数量是1还是2(图14中的if(DSn.PCS.num_of_objects＝＝2)、if(DSn.PCS.num_of_objects＝＝1))。如果DSn中的图形对象的数量是1(S5：＝1)，则将用于等待该图形对象解码结束的等待时间加上decode_duration(S6)。通过调用WAIT函数，计算该等待时间(在图14中，(decode_duration+＝WAIT(DSn，DSn.PCS.OBJ[0]，decode_duration)))。使用DSn、DSn.PCS.OBJ[0]和decode_duration作为参数，调用WAIT函数，并将表示等待时间的wait_duration作为返回值返回。
图16B示出了WAIT函数的过程。
在WAIT函数中，current_duration是一个变量，将decode_duration设置为该参数，object_definition_ready_time是表示DSn中的图形对象OBJ[i]的PTS的变量。
此外，current_time是一个变量，表示current_duration与DSn中的PCS的DTS之和。如果object_definition_ready_time大于current_time(S7：是，图14中if(current_time＜object_definition_ready_time))，则将object_definition_ready_time和current_time之间的差值设为wait_duration，然后作为返回值返回(S8，图14中wait_duration+＝object_definition_ready_time-current_time)。WAIT函数到此结束。
再回到图15中，WAIT函数的返回值与用于在OBJ[0]所属窗口上进行呈现所需的时间(90000×∑SIZE(DSn.WDS.WIN[0])//256000000)被设置为decode_duration(S9)。
上述过程涉及DSn中图形对象数量为1的情况。如果图形对象的数量是2(S5：＝2，图14中的if(DSn.PCS.num_of_objects＝＝2))，则使用DSn、DSn.PCS.OBJ[0]和decode_duration作为参数，调用WAIT函数，然后将WAIT函数的返回值加到decode_duration中(S10)。
步骤S11判断OBJ[0]所属的窗口与OBJ[1]所属的窗口是否相同(在图14中，if(DSn.PCS.OBJ[0].window_id＝＝DSn.PCS.OBJ[1].window_id))。如果判断结果是肯定的(S11：是)，则用DSn、DSn.PCS.OBJ[1]和decode_duration作为参数，调用WAIT函数，然后将WAIT函数的返回值加上decode_duration(S12)。此外，将在OBJ[0]和OBJ[1]所属窗口上进行呈现所需的时间(90000×∑SIZE(DSn.WDS.WIN[0].window_id)//256000000)加上decode_duration(S13)。
另一方面，如果判断结果是否定的(S11：否)，则将在OBJ[0]所属窗口上进行呈现所需的时间(90000×∑SIZE(DSn.WDS.OBJ[0].window_id)//256000000)加上decode_duration(S15)。此后，用DSn、DSn.PCS.OBJ[1]和decode_duration作为参数，调用WAIT函数，然后将WAIT函数的返回值加上decode_duration(S16)。此外，将在OBJ[1]所属窗口上进行呈现所需的时间(90000×∑SIZE(DSn.WDS.OBJ[1].window_id)//256000000)加上decode_duration(S 17)。这样，计算出DECODEDURATION(DSn)。
下面通过具体的例子，说明如何设置一个DS中的PCS的PTS。
在图17A示出的情形中，与一个ODS(ODS1)相对应的一个OBJ(OBJ1)属于一个窗口。图17B和17C示出了图14中使用的参数之间的关系的时序图。这些时序图都有三级。在这三级中，“图形平面访问”级和“ODS解码”级表示当再现ODS时并行执行的两个过程。上述算法基于这两个过程并行执行的假设。
图形平面访问由清除时间(1)和写入时间(3)构成。清除时间(1)表示用于清除整个图形平面所需的时间(90000×((图形平面尺寸)//256000000))，或用于清除图形平面上所有窗口所需的时间(∑(90000×((窗口[i]的尺寸)//256000000)))。
写入时间(3)表示在整个窗口上进行呈现所需的时间(90000×((窗口尺寸)//256000000))。
ODS解码由解码时间(2)构成。解码时间(2)表示从ODS1的DTS到PTS的时间周期。
清除时间(1)、解码时间(2)和写入时间(3)的变化取决于要清除的范围、要解码的ODS的尺寸和要写入图形平面的图形对象的尺寸。在图17中，为简单起见，假设解码时间(2)的开始与清除时间(1)的开始相同。
图17B所示的情形中，解码时间(2)比清除时间(1)要长。在这种情况下，decode_duration是解码时间(2)与写入时间(3)之和。
图17C所示的情形中，清除时间(1)比解码时间(2)要长。在这种情况下，decode_duration是清除时间(1)与写入时间(3)之和。
在图18A至18C所示情形中，与两个ODS(ODS1和ODS2)相对应的两个OBJ(OBJ1和OBJ2)属于一个窗口。在图18B和18C中，解码时间(2)表示对ODS1和ODS2进行解码所需的总时间。同样，写入时间(3)表示将OBJ1和OBJ2写入图形平面所需的总时间。尽管ODS的数量是2，但是可以采用与图17相同的方式计算decode_duration。详细地讲，如果ODS1和ODS2的解码时间(2)比清除时间(1)长，则decode_duration是解码时间(2)与写入时间(3)之和，如图18B所示。
如果清除时间(1)比解码时间(2)长，则decode_duration是清除时间(1)与写入时间(3)之和，如图18C所示。
图19A至19C所示的情形中，OBJ1属于Window1，而OBJ2属于Window2。在这种情形中，如果清除时间(1)比ODS1和ODS2的解码时间(2)长，则decode_duration是清除时间(1)与写入时间(3)之和。另一方面，如果清除时间(1)比解码时间(2)短，则可以将OBJ1写入Window1，而不必等待解码时间(2)的结束。在这种情况下，decode_duration不仅仅是解码时间(2)与写入时间(3)之和。假设写入时间(31)表示将OBJ1写入Window1所需的时间，写入时间(32)表示将OBJ2写入Window2所需的时间。在图19B所示情形中，解码时间(2)比清除时间(1)与写入时间(31)之和要长。在这种情况下，decode_duration是解码时间(2)与写入时间(32)之和。
图19C所示的情形中，清除时间(1)与写入时间(31)之和比解码时间(2)长。在这种情况下，decode_duration是清除时间(1)、写入时间(31)以及写入时间(32)之和。
根据播放机模型，图形平面的尺寸是固定的。窗口和ODS的尺寸和数量也是在合成时预先设置的。因此，计算出来的decode_duration可能是以下之一：清除时间(1)与写入时间(3)之和；解码时间(2)与写入时间(3)之和；解码时间(2)与写入时间(32)之和；清除时间(1)、写入时间(31)与写入时间(32)之和。通过基于如此计算出的decode_duration来设置PCS的PTS，可以使图形与图像数据同步，且具有高精度。如此准确的同步控制是通过定义窗口和限制窗口中的清除和呈现操作来实现的。因此，在创作中，对概念“窗口”的介绍是非常重要的。
下面介绍如何设置DSn中WDS的DTS和PTS。设置WDS的DTS，以满足下面的公式：
DTS(DSn[WDS])≥DTS(DSn[PCS])
WDS的PTS表示启动向图形平面写入的最后期限。由于向图形平面写入只限于一个窗口，所以，通过从PCS的PTS所示时间减去在所有窗口上进行呈现所需的时间，可以确定启动向图形平面写入的时间。假设∑SIZE(WDS.WIN[i])是Windows[i]的总尺寸。那么，用于在所有Windows[i]上进行清除和呈现所需的时间是∑SIZE(WDS.WIN[i])//256000000。用90000KHz的精度表达该时间，得到90000×SIZE(WDS.WIN[i])//256000000。
因此，可以如下计算WDS的PTS：
PTS(DSn[WDS])＝PTS(DSn[PCS])-
90000×SIZE(WDS.WIN[i])//256000000
由于WDS的PTS表示最后期限，所以，可以在该PTS所示的时间之前启动向图形平面的写入。也就是说，在属于这两个窗口之一的一个ODS解码结束之后，可以将通过解码获得的图形对象立即写入图19所示的窗口中。
因此，使用WDS的DTS和PTS，可以将窗口分配给AV剪辑的再现时间轴上的预期点。对DSn中PCS和WDS的DTS和PTS的介绍到此结束。
每个DS中的PCS在从由其DTS示出的时间至由其PTS示出的时间中是活动的。在PCS为活动的该时间周期被称为DS中的PCS的活动周期。
以下说明DS中的PCS的活动周期是如何重叠的。当图形流包含多个DS时，希望并行处理两个或更多DS。为了使再现装置中能够实现此类并行处理，DS中的PCS的活动周期需要重叠。同时，蓝光光盘只读格式保证以必需的最小结构的再现装置执行解码。
蓝光光盘只读格式的解码器模型基于流水线处理(流水线解码模型)。流水线解码模型能够同时从对象缓冲器读取一个DS的图形对象到图形平面，同时地，解码并向对象缓冲器写入下一个DS的图形对象。
当再现装置遵循流水线解码模型时，需要合理确定引入间隔。这里所指的引入间隔是从一个DS处理的开始到下一个DS处理的开始的时间周期。一个DS的处理包括，对象缓冲器可以被分成两个处理，也就是，解码ODS并将未压缩的图形对象写入对象缓冲器的处理，以及从对象缓冲器中读取未压缩图形对象并将其写入图形平面的处理。如此，一个DS中的PCS的活动周期可以被分解，如图20所示。如该图所示，一个DS的处理由解码ODS并将图形写入对象缓冲器所需的时间，以及从对象缓冲器中读取图形并将其写入图形平面所需的时间。
流水线解码模型能够同时将图形写入对象缓冲器以及从对象缓冲器中读取图形。因此，可以并行处理两个DS，如图21所示。图21示出在流水线解码模型中如何并行处理两个DS(DSn和DSn+1)。
如图解，并行处理DSn和DSn+1，使得从对象缓冲器中读取DSn的时间与向对象缓冲器写入DSn+1的时间重叠。
在此类并行处理中，在将DSn的图形对象写入对象缓冲器完成之后，DSn+1的图形对象被写入对象缓冲器。
DSn中一个ODS的解码停止时间由DSn中END的PTS表示。同样，DSn+1中一个ODS的开始解码的最早时间由DSn+1中PCS的DTS表示。因此，预先设定DSn中END的时戳和DSn+1中PCS的时戳，使得满足
PTS(DSn[END])≤DTS(DSn+1[PCS])
通过以此方式设定引入间隔，在流水线解码模型中可以并行处理DSn和DSn+1。
图22示出三个DS(DS0，DS1，和DS2)中PCS的活动周期重叠的情况。
以下说明如何在再现时间轴上设定重叠DS中的功能段的时戳。图23示出每个DS0和DS1中功能段的时戳，其中DS0和DS1的PCS具有重叠的活动周期。在此图中，DS0中WDS，PDS，和最高级ODS(ODS1)的DTS被设定为等于DS0中PCS的DTS。这意味着当DS0中PCS的活动周期开始，DSn中ODS的解码就立即开始。因此，在由PCS的DTS示出的时间开始ODS1的解码。同时，在由DS0中END的PTS示出的时间停止ODSn的解码，其中ODSn为DS0中的最后一个ODS。这里应该注意，DS0中WDS的DTS，PDS，和最高级ODS的DTS可以改为设定为晚于DS0中PCS的DTS。
DS1中PCS的DTS示出一个时间，其等于或晚于由DS0中END的PTS示出的时间。因此，当在由DS1中PCS的DTS示出的时间开始DS1中ODS的解码时，可以在流水线解码模型中并行处理DS0和DS1。
以下检查在此类流水线处理中对图形平面的渲染处理。
当并行处理DSn和DSn+1时，通过解码DSn获得的图形对象和通过解码DSn+1获得的图形对象可以同时写入图形平面，造成未能在屏幕上显示DSn的图形对象。
为了防止这一点，需要如下设定DSn中PCS的PTS和DSn+1中PCS的PTS：
PTS(DSn[PCS])+(90,000×∑SIZE(DSn[WDS]·Window[i]))//256,000,000≤PTS(DSn+1[PCS])
其中∑SIZE(DSn[WDS]·Window[i])为Windows[i]的总尺寸，(90,000×∑SIZE(DSn[WDS]·Window[i]))//256,000,000为渲染Windows[i]所需的时间。通过以此方式延迟DSn+1的图形对象的显示时间，防止DSn+1的图形对象覆盖DSn的图形对象。图24示出根据此公式，DS0至DS2中PCS的PTS。
当窗口的尺寸为图形平面的1/4时，PTS(DSn[PCS])和PTS(DSn+1[PCS])之间的间隔等于视频流的一个帧周期。
以下说明对DS中PCS的活动周期重叠的约束。如果属于一个DS的图形对象具有与属于前面紧邻的DS的图形对象相同的object_id以实现更新，这些DS中PCS的活动周期就不能重叠。假设DS0包括具有object_id＝1的ODS，DS1包括具有相同object_id＝1的ODS。
如果此DS0和DS1中PCS的活动周期重叠，DS1中ODS载入再现装置200，并在DS0停止之前解码。在此情况下，DS0的图形对象被DS1的图形对象覆盖。这使得DS1的图形对象，而不是DS0的图形对象，出现在屏幕上。为了防止这一点，在图形更新的情况下，DS中PCS的活动周期的重叠是被禁止的。
图25A示出可以在一条流水线中处理两个DS的情况，而图25B示出不可以在一条流水线中处理两个DS的情况。在这些图中，DS0具有ODSA和ODSB，同时DS1具有ODSC和ODSD。如果DS1中的ODSC和ODSD具有与DS0中的ODSA和ODSB不同的object_id，DS0和DS1中PCS的活动周期可以重叠，如图25A所示。如果DS1中的ODSC和ODSD具有与DS0中的ODSA和ODSB相同的object_id，DS0和DS1中PCS的活动周期不可以重叠，如图25B所示。
可以通过以下“传送加速度”的方法克服该约束。例如，当DS0包含具有object_id＝1的ODSA，而且DS1包含ODSC，用于更新DS0中ODSA的图形对象时，初始为DS1中ODSC给出不同于object_id＝1的object_id。只在DS1中ODSC的图形对象已经被存入对象缓冲器中之后，ODSC的object_id改为object_id＝1，覆盖DS0中ODSA的图形对象。根据此方法，可以克服上述约束。这就是说，用于更新对象缓冲器中先前的图形对象的图形对象可以被载入对象缓冲器，无需等待显示先前的图形对象。
因为以上方法可以用于图形更新中，一个DS不仅可以经常携带由其自身的PCS引用的ODS，还可以经常携带由随后的DS的PCS引用的ODS。在此情况下，必须向再现装置200指明哪些ODS属于DS。为此，在DS自身中携带的所有ODS之后放置END。再现装置200参考DS中的END，以探测属于DS的ODS的末端。
图26示出由END指明的ODS传送的末端。在此图中，第一层示出属于一个DS的功能段，而第二层示出BD-ROM 100上的这些功能段的安排。例如PCS，WDS，PDS，和ODS的功能段被转换为TS数据包，并与视频流一同记录在BD-ROM 100上，该视频流同样被转换为TS数据包。
每个对应于功能段的TS数据包和对应于视频流的TS数据包被给定称为ATS的时戳。对应于功能段的TS数据包和对应于视频流的TS数据包安排在BD-ROM 100上，使得具有相同时戳的TS数据包彼此邻近。
这意味着属于DS的PCS，WDS，以及PDS在BD-ROM 100上是不连续，对应于视频流(由图中的字母V指明)的TS数据包插入其中。因此功能段相隔一定距离在BD-ROM 100上出现。当对应于功能段的TS数据包以一定间隔出现在BD-ROM 100上时，难以立即探测直到哪个TS数据包属于DS。同样，DS可以包括不由DS的PCS引用的ODS，这使得探测更加困难。在此实施例中，然而，在属于DS的最后一个ODS之后提供END。因此，即使当属于DS的功能段以一定间隔出现时，也容易探测到哪个ODS属于DS。
图27示出重叠的活动周期和object_id分配之间的关系。图27A示出四个DS(DS0，DS1，DS2，和DS3)。DS0的PCS不描述任何图形对象的显示。DS1的PCS描述屏幕上的对象X和Y的显示，DS2的PCS描述屏幕上的对象A，Y，和C的显示，而且DS3的PCS描述屏幕上的对象D的显示。
图27B示出属于DS的ODS和DS中PCS的活动周期。DS0包含对象X的ODS。DS1包含对象Y的ODS。DS2包含对象A，B，和C的ODS。DS3包含对象D的ODS。四个DS的每个中显示图形对象和传送ODS之间的矛盾可归于以上传送加速度。这些DS中PCS的活动周期部分重叠。图27C示出对象缓冲器中图形对象的安排。
假定object_id 0，1，2，3，和4分别分配给对象X，Y，A，B，和C。这里是这样一种情况，属于DS3的对象D可以分配给object_id5，3，和0中的任何一个。
因为object_id 5在DS0至DS2中未分配，该object_id是可能的。
因为具有object_id 3的对象B包括在DS2中，但不由任何DS的PCS引用，该object_id是可能的。
因为具有object_id 0的对象X显示在DS1中，该object_id是可能的。只要DS1中PCS的活动周期已经结束，显示对象D而不是对象X的问题就不会出现。
相反地，不可能将object_id 1，2，和4中的任何一个分配给对象D。如果此类object_id的任何一个分配给对象D，对象D而不是三个对象A，Y，和C中的任何一个将会停止显示，且三个对象A，Y，和C将显示在DS2中。
因此，对象D可以分配给相同的object_id，作为不在DS中PCS的活动周期中引用的对象，该活动周期与DS3中PCS的活动周期重叠，或作为由DS的PCS引用的对象，而其中该PCS的活动周期已经结束。
DSn和DSn+1中PCS的活动周期的重叠基于DSn和DSn+1属于图形流中相同时元的前提。如果DSn和DSn+1属于不同时元，DSn和DSn+1中PCS的活动周期不能重叠。这是因为如果在DSn中PCS的活动周期结束之前，载入DSn+1的PCS或ODS，就不可能在DSn中PCS的活动周期结束时刷新(flush)对象缓冲器和图形平面。
当DSn为EPOCHm的最后一个DS(以下为“EPOCHmDSlast[PCS]”)，而DSn+1为EPOCHm+1的第一个DS(以下为“EPOCHm+1DSfirst[PCS]”)，DSn和DSn+1的PCS的PTS需要满足以下公式：
PTS(EPOCHm DSlast[PCS])≤DTS(EPOCHm+1DSfirst[PCS])
同样，DSn和DSn+1中PCS的活动周期的重叠基于图形流为呈现图形流的前提。存在两种类型的图形流：呈现图形流；以及交互式图形流，该交互式图形流主要用于生成交互式显示。
如果DSn和DSn+1属于交互式图形流，禁止DSn和DSn+1的重叠。在交互式图形流中，携带控制信息的段称为交互成分段(ICS)。这样，需要设定DSn和DSn+1的时间信息，使得紧接在DSn中ICS的活动周期之后，开始DSn+1中ICS的活动周期。DSn中ICS的活动周期的结束通过DSn中ICS的PTS示出，而DSn+1中ICS的活动周期的开始通过DSn+1中ICS的DTS示出。这里，PTS(DSn[ICS]和DTS(DSn+1[ICS])需要满足以下公式：
PTS(DSn[ICS])≤DTS(DSn+1[ICS])
这样完成对DS中PCS的活动周期重叠的说明。
注意到以上说明的DS的数据结构(PCS，WDS，PDS，和ODS)为以程序语言编写的类结构的实例。作者根据蓝光光盘只读格式中定义的语法编写类结构，在BD-ROM 100上创建这些数据结构。
这样完成了对根据本发明第一实施例的记录介质的说明。以下说明根据本发明第一实施例的再现装置。图28示出了再现装置200的内部构造。再现装置200是基于该内部构造制造的。再现装置200主要包括三个部分：系统LSI；驱动装置；微处理器系统。可以将这些部件装配到该装置的壳体和衬底上，从而制造再现装置200。系统LSI是集成电路，包括各种处理单元，用于实现再现装置200的功能。再现装置200包括：BD驱动器1；读取缓冲器2；PID滤波器3；传输缓冲器4a、4b和4c；外围电路4d；视频解码器5；视频平面6；音频解码器7；图形平面8；CLUT单元9；加法器10；图形解码器12。图形解码器12包括：编码数据缓冲器13；外围电路13a；流图形处理器14；对象缓冲器15；合成缓冲器16；图形控制器17。
BD驱动器1执行BD-ROM 100的加载、读取和弹出。BD驱动器1访问BD-ROM 100。
读取缓冲器2是FIFO(先进先出)存储器。因此，从BD-ROM 100读取的TS数据包在读取缓冲器2中消除的次序与它们的到达次序相同。
PID滤波器3对从读取缓冲器2输出的TS数据包执行滤波。更详细地讲，PID滤波器3只把具有预定PID的TS数据包传递给传输缓冲器4a、4b和4c。PID滤波器3中没有缓冲机制。因此，进入PID滤波器3的TS数据包立即被写入传输缓冲器4a、4b和4c。
传输缓冲器4a、4b和4c是FIFO存储器，用于存储从PID滤波器3输出的TS数据包。传输速度Rx表示从传输缓冲器4a读取TS数据包的速度。
外围电路4d具有连线逻辑，用于把从传输缓冲器4a读取的TS数据包转换成功能段。然后，将功能段存储在编码数据缓冲器13中。
视频解码器5对从PID滤波器3输出的TS数据包进行解码，从而获得解压缩的图片，并将其写入视频平面6。
视频平面6是用于存储运动图像的平面存储器。
音频解码器7对从PID滤波器3输出的TS数据包进行解码，并输出解压缩的音频数据。
图形平面8是一个平面存储器，它具有一幅画面的存储区域，能够存储一幅画面的解压缩图形。
CLUT电路9基于PDS中所示的Y、Cr和Cb值，对图形平面8上的解压缩图形的索引色(index color)进行转换。
加法器10将CLUT电路9转换过的解压缩图形乘以PDS中所示的T值(透明色)。然后，加法器10对所得的解压缩图形和视频平面6上的解压缩图片数据中的相应像素执行加法，并输出所得的图像。
图形解码器12对图形流进行解码，从而获得解压缩的图形，并将解压缩的图形作为图形对象写入图形平面8中。对图形流进行解码之后，字幕和菜单就出现在屏幕上。
图形解码器12从对象缓冲器15中读取属于DSn的图形对象，同时将属于DSn+1的图形对象写入对象缓冲器15，从而执行流水线处理。
图形解码器12包括：编码数据缓冲器13；外围电路13a；流图形处理器14；对象缓冲器15；合成缓冲器16；图形控制器17。
编码数据缓冲器13用于将功能段与DTS和PTS一起存储。通过将传输缓冲器4a中存储的各TS数据包去除TS包头和PES包头以及将剩余的有效负载顺序地进行排列，得到这些功能段。去除的TS包头和PES包头中包含的DTS和PTS存储在编码数据缓冲器13中，与这些功能段相对应。
外围电路13a具有连线逻辑，用于将来自编码数据缓冲器13的数据传输到流图形处理器14，并将来自编码数据缓冲器13的数据传输到合成缓冲器16。更详细地讲，如果当前时间到达ODS的DTS，则外围电路13a将ODS从编码数据缓冲器13传输到流图形处理器14。此外，如果当前时间到达PCS或PDS的DTS，则外围电路13a将PCS或PDS从编码数据缓冲器13传输到合成缓冲器16。
流图形处理器14对ODS进行解码，从而获得具有索引色的解压缩图形，并将解压缩图形作为图形对象传输到对象缓冲器15。流图形处理器14的解码是瞬时的，并且，通过解码获得的图形对象暂时存储在流图形处理器14中。尽管流图形处理器14的解码是瞬时的，但图形对象从流图形处理器14到对象缓冲器15的传输不是瞬时的。这是因为，对于蓝光只读光盘格式的播放机模型，到对象缓冲器15的传输是以128Mbps的传输速率执行的。DS中的END的PTS给出了属于DS的所有图形对象到对象缓冲器15的传输的结束。因此，在END的PTS所示的时间之前，不会启动下一DS的处理。通过对各ODS进行解码而得到的图形对象向对象缓冲器15的传输开始于ODS的DTS所示的时间，结束于ODS的PTS所示的时间。
如果DSn的图形对象和DSn+1的图形对象具有不同的Object_id，那么，流图形处理器14将这两个图形对象写入对象缓冲器15中不同的存储区域。这样，就可以实现图形对象的流水线呈现，并且，DSn的图形对象不会被DSn+1的图形对象覆盖。另一方面，如果DSn的图形对象和DSn+1的图形对象具有相同的Object_id，那么，流图形存储器14将DSn+1的图形对象写入对象缓冲器15中也存储了DSn的图形对象的存储区域，从而覆盖DSn的图形对象。在这种情况下，不执行流水线处理。DS也可以可以包括由该DS的PCS引用的ODS以及PCS未引用的ODS。流图形处理器14不仅顺序地对该PCS引用的ODS进行解码，而且还对PCS未引用的ODS进行解码，然后，将解码所得的图形存储到对象缓冲器15中。
对象缓冲器15对应于ETSI EN 300 743中的像素缓冲器。流图形处理器14解码的图形对象存储在对象缓冲器15中。对象缓冲器15的尺寸应当是图形平面8的尺寸的两倍或四倍。这是因为，为了实现滚读(scrolling)，对象缓冲器15需要能够存储图形平面18两倍或四倍的图形。
合成缓冲器16用于存储PCS和PDS。当DSn和DSn+1中的PCS的激活时间重叠时，组合缓冲器16存储DSn中的PCS和DSn+1中的PCS。
图形控制器17对合成缓冲器16中的PCS进行解码。基于解码结果，图形控制器17将DSn+1的图形对象写入对象缓冲器15，同时从对象缓冲器15中读取DSn的图形对象，并将其呈现以供显示。在DSn中的PCS的PTS所示的时间，执行图形控制器17的呈现。DSn的图形对象的呈现和DSn+1的图形对象的呈现之间的时间间隔如上所述。
下面给出建议的传输速率以及PID滤波器3、传输缓冲器4a、4b和4c、图形平面8、CLUT单元9、编码数据缓冲器13、流图形处理器14、对象缓冲器15、合成缓冲器16和图形控制器17的缓冲器尺寸。图29示出了传输速率Rx、Rc和Rd以及图形平面8、传输缓冲器4a、编码数据缓冲器13和对象缓冲器15的尺寸。
从对象缓冲器15到图形平面8的传输速率Rc(像素合成速率)是再现装置200中最高的传输速率，根据窗口大小和帧速率，将其计算为256Mbps(＝500K字节×29.97×2)。
与Rc不同，从流图形处理器14到对象缓冲器15的传输速率Rd(像素解码速率)不必与帧速率一致，它可以是Rc的1/2或1/4。因此，传输速率Rd是128Mbps或64Mbps。
从传输缓冲器4a到编码数据缓冲器13的传输速率Rx(传输缓冲器泄漏速率)ODS处于压缩状态下的传输速率。因此，通过用ODS的压缩率乘以Rd，可以计算出传输速率Re。例如，如果压缩率为25％，则传输速率Rx是16Mbps(＝64Mbps×25％)。
给出的这些传输速率和缓冲器尺寸只是最低标准，传输速率和缓冲器大小也可以大于图29所示情况。
在如上构造的再现装置200中，组成部件以流水线方式执行处理。
图30的时序图示出了再现装置200中执行的流水线处理。在图中，第五级示出了BD-ROM 100上的DS。第四级示出了PCS、WDS、PDS、ODS和END向编码数据缓冲器13的写入时间。第三级示出了流图形处理器14对ODS的解码时间。第二级示出了合成缓冲器16的存储内容。第一级示出了图形控制器17的操作。
ODS1和ODS2的DTS分别给出了t31和t32。因此，在t31和t32之前，需要将ODS1和ODS2缓冲在编码数据缓冲器13中。因此，在t31之前，ODS1向编码数据缓冲器13的写入结束，在t31，解码时间dp1开始，在t31之前，ODS2向编码数据缓冲器13的写入结束，在t31，解码时间dp2开始。
同时，ODS1和ODS2的PTS分别给出了t32和t33。因此，在t32之前，流图形处理器14对ODS1的解码结束，在t33之前，流图形处理器14对ODS2的解码结束。因此，在ODS的DTS给出的时间之前，ODS缓存在编码数据缓冲器13中，在ODS的PTS所示的时间之前，对所缓冲的ODS进行解码并将其传输到对象缓冲器15。
在第一级中，cd1表示图形控制器17清除图形平面8所需的时间，td1表示图形控制器17将对象缓冲器15中包含的图形写入图形平面8所需的时间。WDS的PTS表示启动写入图形的最后期限。PCS的PTS表示向图形平面8中写入图形结束并呈现所写入图形以供显示的时间。因此，在PCS的PTS所示的时间处，获得图形平面8上的一幅画面的解压缩图形。CLUT单元9对解压缩的图形执行颜色转换，加法器10将该图形覆盖在视频平面6上存储的解压缩图片上。从而产生所得的图像。
在图形解码器12中，当图形控制器17清除图形平面8时，流图形处理器14继续解码。该流水线处理的结果是，可以快速地显示图形。
图30示出了在ODS解码之前图形平面8的清除结束的例子。另一方面，图31的时序图示出了ODS的解码在清除图形平面8之前结束的流水线处理。在这种情况下，ODS解码结束之后，还不能把通过解码获得的图形写入图形平面8。只有图形平面8的清除结束之后，才可以将该图形写入图形平面8中。
图32的时序图示出了再现装置200中的缓冲器占用率的变化。在图中，第一至第四级分别示出了图形平面8、对象缓冲器15、编码数据缓冲器13和合成缓冲器16的占用率。这些变化是用线图的形式表示的，其中，水平轴表示时间，垂直轴表示占用率。
第四级表示合成缓冲器16的占用率的变化。如图所示，合成缓冲器16的占用率的变化包括单调增加Vf0，单调增加Vf0反映将从编码数据缓冲器13输出的PCS进行存储。
第三级显示编码数据缓冲器13的占用率的变化。如图所示，数据缓冲器13的占用率的变化包括单调增加Vf1和Vf2以及单调减少Vg1和Vg2，单调增加Vf1和Vf2反映ODS1和ODS2的存储，单调减少Vg1和Vg2反映流图形处理器14顺序地读取ODS1和ODS2。单调增长Vf1和Vf2的斜率基于从传输缓冲器4a到编码数据缓冲器13的传输速率Rx，而单调减少Vg1和Vg2是瞬时的，因为流图形处理器14的解码是瞬时执行的。也就是说，流图形处理器14瞬时地对每个ODS进行解码，并保存通过解码获得的解压缩图形。由于从流图形处理器14到对象缓冲器15的传输速率Rd是128Mbps，所以，对象缓冲器15的占用率以128Mbps增加。
第二级给出了对象缓冲器15的占用率的变化。如图所示，对象缓冲器15的占用率的变化包括单调增加Vh1和Vh2，单调增加Vh1和Vh2反映将从流图形处理器14输出的ODS1和ODS2的图形对象进行存储。单调增加Vh1和Vh2的斜率基于从流图形处理器14到对象缓冲器15的传输速率Rd。ODS1和ODS2的解码时间分别对应于第三级中出现单调减少和第二级中出现单调增加的时间段。ODS的DTS表示解码时间的开始，而ODS的PTS表示解码时间的结束。如果在ODS的PTS显示的时间之前将解压缩图形对象传输到对象缓冲器15，则ODS的解码结束。在ODS的PTS所示时间之前将解压缩图形对象存储在对象缓冲器15中是很重要的。只要满足这一点，解码时间中的单调减少和单调增加不限于图32所示情形。
第一级示出了图形平面8的占用率的变化。如图所示，图形平面8的占用率的变化包括单调增加Vf3，单调增加Vf3反映将从对象缓冲器15输出的图形对象进行存储。单调增加Vf3的斜率基于从对象缓冲器15到图形平面8的传输速率Rc。PCS的PTS给出了单调增加Vf3的结束。
通过使用ODS的DTS和PTS、PCS的DTS和PTS以及图29所示的缓冲器尺寸和传输速率，可以创建图32所示的图。该图使得当再现BD-ROM 100上的AV剪辑时创作者能够了解缓冲器状态如何改变。
通过重写DTS和PTS，可以调整缓冲器状态的这些变化。因此，创作者可以防止解码负载超过再现装置的解码器的规格，或者，防止再现期间的缓冲器溢出。这使得当开发再现装置200时硬件和软件的实现更容易。对再现装置200的内部构造的解释到此结束。
下面说明如何实现图形解码器12。通过让一个通用CPU执行用于实现图33所示操作的程序，可以实现图形解码器12。下面结合图33，描述图形解码器12的操作。
图33的流程图示出了功能段的加载操作。在图中，SegmentK是一个变量，表示一个属于DS并且在再现AV剪辑期间被读取的Segment(PCS、WDS、PDS或ODS)，忽略标志表示是忽略SegmentK还是加载SegmentK。在该流程图中，在将忽略标志复位为0之后(S20)，对于每个SegmentK，执行步骤S21到S24和S27到S31的循环(S25和S26)。
步骤S21判断SegmentK是不是PCS。如果SegmentK是PCS，则操作转入步骤S27。
步骤S22判断忽略标志是0还是1。如果忽略标志是0，则操作转入步骤S23。如果忽略标志是1，则操作转入步骤S24。在步骤S23中，将SegmentK加载到编码数据缓冲器13中。
如果忽略标志是1(S22：否)，则忽略SegmentK(S24)。这导致在步骤S22中对属于该DS的所有功能段的否定判断，因此，忽略DS的所有功能段。
因此，忽略标志指示要忽略或加载SegmentK。执行步骤S27至S31和S34至S35，从而设置该忽略标志。
步骤S27判断PCS的composition_state字段是不是AcquisitionPoint。如果composition_state字段是Acquisition Point，则操作转入步骤S28。如果composition_state字段是Epoch Start或Normal Case，则操作转入步骤S31。
步骤S28判断前一DS是否存在图形解码器12的某一缓冲器中(编码数据缓冲器13、流图形处理器14、对象缓冲器15和合成缓冲器16)。如果执行跳节操作的话，则前面的DS不存在于图形解码器12中。在这种情况下，需要从Acquisition Point Ds开始显示，从而使操作转入步骤S30(S28：否)。
在步骤S30中，将忽略标志设置为0，于是操作转入步骤S22。
另一方面，如果执行正常再现的话，则前面的DS存在图形解码器12中。在这种情况下，操作转入步骤S29(S28：是)。在步骤S29中，将忽略标志设置为1，于是操作转入步骤S22。
步骤S31判断composition_state字段是否为Normal Case。如果composition_state字段是Normal Case，则操作转入步骤S34。如果composition_state字段为Epoch Start，则操作转入步骤S30，其中，将忽略标志设置为0。
步骤S34与步骤S28相同，判断前面的DS是否存在图形解码器12中。如果前面的DS是否存在，则将忽略标志设置为0(S30)。否则，则将忽略标志设置为1，因为无法获得足以合成一幅画面图形的的功能段(S35)。这样，当前面的DS不存在于图形解码器12中时，忽略Normal Case DS的功能段。
下面结合图34给出加载DS的具体例子。在图34中，将三个DS(DS0、DS1和DS2)与视频进行复用。DS1的composition_state字段是Epoch Start，DS10的composition_state字段是Acquisition Point，DS20的composition_state字段是Normal Case。
假设对复用了这三个DS和视频的AV剪辑中的图片数据pt10执行跳节操作，如箭头am1所示。在这种情况下，最接近pt10的DS10受到图33所示操作的影响。DS10的composition_state字段是Acquisition Point(S27：是)，但是，前面的DS(DS1)不存在于编码数据缓冲器13中(S28：否)。因此，将忽略标志设置为0(S30)。从而，将DS10加载到编码数据缓冲器13中，如图35中的箭头md1所示。另一方面，假设对DS10之后的图片数据执行跳节操作，如图34中的箭头am2所示。在这种情况下，DS20是Normal Case DS，之前的DS(DS10)不存在于编码数据缓冲器13中。因此，忽略DS20，如图35中的箭头md2所示。
图37示出了当执行如图36所示的正常再现时如何加载DS1、DS10和DS20。在这三个DS中，DS1是一个Epoch Start DS，被加载到编码数据缓冲器13中，如箭头rd1所示(S23)。但是，对于作为Acquisition Point DS的DS10，忽略标志被设置成1(S29)，所以，DS10的功能段不会被加载到编码数据缓冲器13中，而是被忽略，如箭头rd2所示(S24)。同时，作为Normal Case DS的DS20被加载到编码数据缓冲器13中，如箭头rd3所示(S23)。
下面解释图形控制器17的操作。图38至40的流程图示出了图形控制器17的操作。
步骤S41至S44构成一个主程序，其中，等待由步骤S41到S44中任意之一所表示的事件。
在图38中，步骤S41判断当前再现时间是否为PCS的DTS。如果是，则执行步骤S45至S53。
步骤S45判断PCS的composition_state字段是不是Epoch Start。如果是，则在步骤S46中清除整个图形平面8。否则，在步骤S47中清除由WDS的window_horizontal_position字段、window_vertical_position字段、window_width字段和window_height字段表示的窗口。
在步骤S46至S47之后执行步骤S48，判断是否已经超过任一ODSx的PTS。清除整个图形平面8需要花费很长时间，所以，在清除整个图形平面8之前，ODSx的解码可能已经结束。步骤S48检查这种可能性。如果没有超过ODSx的PTS，则操作返回到主程序。如果超过了ODSx的PTS，则执行步骤S49至S51。步骤S49判断object_cropped_flag字段是否为0。如果是，则将与ODSx对应的图形对象设置为不显示(S50)。
如果object_cropped_flag字段是1，则将基于objetct_cropping_horizontal_position字段、object_cropping_vertical_position字段、cropping_width字段和cropping_height字段剪裁的图形对象写入图形平面8上的窗口中，所在位置用object_horizontal_position字段和object_vertical_position字段表示(S51)。这样，就将图形对象写入了窗口。
步骤S52判断是否超过另一ODS(ODSy)的PTS。如果在将ODSx的图形对象写入图形平面8的期间完成了ODSy的解码，则将ODSy设置为ODSx(S53)，然后，操作返回步骤S49。因此，对ODSy执行步骤S49至S51。
在图39中，步骤S42判断当前再现时间是否为WDS的PTS。如果是，则操作转入步骤S54，判断窗口的数量是否为1。如果窗口的数量为2，则操作返回主程序。如果窗口的数量为1，则执行步骤S55至S59的循环。在该循环中，对于窗口中要显示的最多两个图形对象中的每一个，执行步骤S57至S59。步骤S57判断object_cropped_flag是否为0。如果是，则将图形对象设置为不显示(S58)。
如果object_cropped_flag是1，则将基于object_cropping_horizontal_position字段、object_cropping_vertical_position字段、cropping_width字段和cropping_height字段剪裁的图形对象写入图形平面8上的窗口中，所在位置用object_horizontal_position字段和object_vertical_position字段表示(S59)。该循环之后，一个或多个图形对象被写入窗口中。
步骤S44判断当前再现时间是否为PCS的PTS。如果是，则操作转入步骤S60，以判断palette_update_flag字段是否为1。如果是，则将palette_id字段标识的调色板发送到CLUT单元9(S61)。如果palette_update_flag字段为0，则跳过步骤S61。
此后，CLUT单元对图形平面8上的图形执行颜色转换。然后，将图形覆盖到视频上(S62)。
在图40中，步骤S43判断当前时间是否为ODS的PTS。如果是，则操作转入步骤S63，以判断窗口数量是否为2。如果窗口数量为1，则操作返回主程序。
这里，步骤S43和S63中做出的判断具有以下意思。如果窗口数量为2，则分别在两个窗口中显示两个图形对象。在这种情况下，每次ODS解码结束时，需要将通过解码得到的图形对象写入图形平面8(参见图19B)。因此，如果当前时间是ODS的PTS并且窗口数量是2，则执行步骤S64至S66，以将每个图形对象写入图形平面8中。步骤S64判断object_cropped_flag字段是否为0。如果是，则将图形对象设置为不显示(S65)。
如果object_cropped_flag字段是1，则将基于object_cropping_horizontal_position字段、object_cropping_vertical_position字段、cropping_width字段和cropping_height字段剪裁的图形对象写入图形平面8上的窗口中，所在位置用object_horizontal_position字段和object_vertical_position字段表示(S66)。重复该处理，从而将两个图形对象分别写入这两个窗口。
根据该实施例，在前面紧邻的DS中PCS的活动周期内开始一个DS的处理。换句话说，无需等待前面紧邻的DS中PCS的活动周期结束，就可以开始DS的处理。DS的处理开始的定时是在前面紧邻的DS中PCS的活动周期内，前面紧邻的DS的图形的解码和传送完成的时候。因此，DS的处理可以提前一个时间周期，其中该时间周期从前面紧邻的DS的图形的解码和传送完成到前面紧邻的DS中PCS的活动周期结束。
即使当以此方式，在前面紧邻的DS中PCS的活动周期内开始一个DS的处理时，DS的图形对象写入对象缓冲器的时间周期也不与前面紧邻的DS的图形对象写入对象缓冲器的时间周期重叠。因此，只要将可以同时读取和写入的双端口存储器用作为对象缓冲器，就可以用单个流图形处理器在流水线中处理两个或更多DS。此类流水线处理提高解码效率，不会使再现装置200的内部结构复杂化。
(第二个实施例)
本发明的第二个实施例涉及第一个实施例中介绍的BD-ROM100的制造过程。图41是BD-ROM 100的制造过程的流程图。
该制造过程包括：材料生产步骤，用于记录视频、声音等(S201)；创作步骤，使用创作设备创建应用格式(S202)；印制(pressing)步骤，用于创建BD-ROM 100的原始主盘(original master)，并执行压制(stamping)和粘合(bonding)，以完成BD-ROM 100(S203)。
在该制造过程中，创作步骤包括步骤S204至S213。
在步骤S204中，生成控制信息、窗口定义信息、调色板定义信息和图形。在步骤S205中，将控制信息、窗口定义信息、调色板定义信息和图形转换成功能段。在步骤S206中，基于要同步图片的时间，设置每个PCS的PTS。在步骤S207中，基于PTS[PCS]设置DTS[ODS]和PTS[ODS]。在步骤S208中，基于DTS[ODS]，设置DTS[PCS]、PTS[PDS]、DTS[WDS]和PTS[WDS]。在步骤S209中，用图表示播放机模型中每个缓冲器的占用率的变化。在步骤S210中，判断图示的变化是否满足播放机模型的约束条件。如果判断结果是否定的，则在步骤S211中，重写每个功能段的DTS和PTS。如果判断结果是肯定的，则在步骤S212中生成图形流，并在步骤S213中将图形流与视频流和音频流进行复用，以形成AV剪辑。此后，将AV剪辑改编为蓝光只读光盘格式，从而完成该应用格式。
(修改)
尽管通过上面的实施例对本发明进行了描述，但本发明不限于此。也可以用下面的修改(A)至(P)中任意之一来实现本发明。本申请的每项权利要求的发明都包括上述实施例的扩展和概括以及下面的修改。扩展和概括程度取决于做出本发明时本发明技术领域的技术发展水平。
(A)在上述实施例描述的情形中，将BD-ROM用作记录介质。但是，本发明的主要特征在于记录介质上记录的图形流，而这并不依赖于BD-ROM的物理特性。因此，本发明同样适用于能够记录图形流的任何记录介质。这种记录介质的示例包括：光盘，如DVD-ROM、DVD-RAM、DVD-RW、DVD-R、DVD+RW、DVD+R、CD-R或CD-RW；磁光盘，如PD和MO；半导体存储卡，如CF卡、Smartmedia卡、记忆棒、多媒体卡或PCM-CIA卡；磁记录盘，如软盘、SuperDisk、Zip和Click！；可移动硬盘，如ORB、Jaz、SparQ、SyJet、EZFley和Microdrive；以及不可移动硬盘。
(B)在上述实施例描述的情形中，再现装置对BD-ROM上的AV剪辑进行解码，并将解码后的AV剪辑输出到电视。当然，再现装置也可以只有BD驱动器，其他的组成部件由电视来提供。在这种情况下，可以将再现装置和电视集成到通过IEEE 1394连接器相连的家庭网络中。
在上述实施例描述的情形中，再现装置连接到电视，但是，再现装置也可以与显示装置集成在一起。此外，再现装置也可以只包括系统LSI(集成电路)，其构成处理的实质性部分。该再现装置和该集成电路都是本说明书所描述的发明。因此，不管涉及再现装置还是涉及集成电路，基于第一个实施例中描述的再现装置的内部构造来制造再现装置的行为都是实施本发明的一种行为。此外，有偿转让(即销售)或无偿转让(即，作为礼物)、出租和进口该再现装置也是实施本发明的行为。同样，使用橱窗展示、商品目录或宣传册来许诺转让或出租该再现装置的行为也是实施本发明的行为。
(C)使用上述流程图所示的程序的信息处理实际上是用硬件资源实现的。因此，描述这些流程图中所示操作过程的程序本身也是一项发明。在上述实施例所描述的情形中，程序是集成到再现装置中的，但是，这些程序的使用也可以独立于再现装置。实施这些程序的行为包括：(1)制造行为；(2)有偿或无偿转让的行为；(3)出租行为；(4)进口行为；(5)经由双向电子通信网络提供给公众的行为；(6)使用橱窗展示、商品目录或宣传册许诺销售或出租的行为。
(D)在每个流程图中以时间序列执行的步骤的时间单元可被视为本发明的必要单元。因此，这些流程图所示的再现方法是一项发明。如果执行每个流程图中所示的处理，通过以时间顺序执行这些步骤，从而实现预期的目的和预期的效果，那么，这也是实施本发明的记录方法的行为。
(E)当把AV剪辑记录到BD-ROM上时，可以向AV剪辑中的各个TS包添加扩展头。该扩展头被称为TP_extra_header，其包括arrival_time_stamp和copy_permission_indicator，并且数据长度为4个字节。具有TP_extra_header的TS数据包(下文称之为“EX TS包”)以32个数据包为单位进行分组，并且将每组写入3个扇区中。由32个EX TS数据包构成的一组具有6144个字节(＝32x192)，这相当于3个扇区的尺寸(6144个字节＝(2048x3))。包含在这3个扇区中的这32个EX TS数据包被称为一个对准单元(aligned unit)。
在通过IEEE1394连接器相连的家庭网络中，该再现装置以下面的方式发送对准单元。该再现装置将对准单元中的32个EX TS数据包中的每一个都删除TP_extra_header，并且根据DTCP规范加密各TS数据包的主体，然后输出加密的TS数据包。当输出TS数据包时，该再现装置将一个同步包插入相邻的TS数据包之间。根据TP_extra_header的arrival_time_stamp所示的时间来确定插入同步包的位置。该再现装置输出DTCP_descriptor以及TS包。DTCP_descriptor对应于TP_extra_header中的copy_permission_indicator。通过提供表明“禁止复制”的DTCP_descriptor，当在IEEE连接器连接的家庭网络中使用TS数据包时，可以防止将TS数据包记录到其他设备上。
(F)在上述实施例所描述的情形中，将BD-ROM格式的AV剪辑用作数字流，但本发明还可以用DVD视频格式或DVD视频记录格式的VOB(视频对象)来实现。VOB是符合ISO/IEC13818-1标准的节目流，它是通过复用视频流和音频流而获得的。同样，AV剪辑中的视频流也可以是MPEG4视频流或WMV视频流。此外，AV剪辑中的音频流可以是线性PCM音频流、Dolby AC-3音频流、MP3音频流、MPEG-AAC音频流或dts音频流。
(G)上述实施例中的电影可以是通过对经过模拟广播传输的模拟图像信号进行编码而获得的。此外，该电影也可以是经过数字广播传输的传输流构成的流数据。
或者，还可以通过对记录在录像带中的模拟/数字图像信号进行编码来获得内容。此外，还可以通过对从视频照相机中直接装载的模拟或数字图像信号进行编码来获得内容。这些内容也可以是通过分发服务器分发的数字作品。
(H)上述实施例中描述的图形对象是游程编码的栅格数据。游程编码用于压缩和编码图形对象，因为游程编码适于压缩和解压缩字幕。字幕的属性在于，水平方向上的相同像素值的连续长度较长。因而，通过使用游程编码进行压缩，可以获得高压缩率。此外，游程编码降低了解压缩的负担，因此适于用软件实现解密。但是，对图形对象使用游程编码不是限制本发明。例如，图形对象可以是PNG数据。此外，图形对象不必是栅格数据，也可以是矢量数据。此外，图形对象可以是透明图案。
(I)根据再现装置中的语言设置选择的字幕图形可以实现PCS的显示效果。因此，可以通过根据该再现装置的语言设置显示的字幕图形来实现通过使用在常规DVD中视频主体内包含的字符而达到的显示效果。这有助于提高实用性。
此外，根据该再现装置的显示设置而选择的字幕图形可以实现PCS的显示效果。例如，BD-ROM上记录了各种显示模式的图形，如宽屏幕、平移与扫描(Pan and Scan，即4:3模式)和邮箱(1etterbox，即16:9模式)，再现装置根据与再现装置连接的电视的显示设置来选择一种显示模式，并显示对应的图形。由于PCS的显示效果适用于这些图形，所以可视性得到了增强因此，用根据显示设置显示的字幕图形可以实现用传统DVD中视频主体内包含的字符达到的显示鲜果。这有助于提高实用性。
(J)在第一个实施例描述的情形中，设置从对象缓冲器到图形平面的传输速率Rc，从而在一个视频帧内，清除图形平面和在窗口上呈现图形，窗口尺寸是图形平面的25％。但是，可以将Rc设置成在垂直消隐期间完成清除和呈现。假定垂直消隐周期是1/29.93秒的25％。那么，Rc是1Gbps。如此设置Rc，可以更流畅地显示图形。
此外，可以与垂直消隐期间的写操作一起，使用与行扫描同步的写操作。这样，可以Rc＝256Mbps流畅地显示字幕。
(K)在上述实施例所描述的情形中，再现装置包括图形平面上。但是，还可以将用于储存一行解压缩像素的线缓冲器代替图形平面。因为对于每行执行到图像信号的转换，所以，同样可以用线缓冲器执行到图像信号的转换。
(L)在上述实施例所描述的情形中，图形是表示电影中的对话的字符串，但是，本发明同样适用于与视频精确同步显示的任何图形。这样的图形示例包括插图、图案、卡通人物和字符标记。这些图形的示例还包括构成商标的图案、字符和颜色的组合、国家饰章、国旗、国徽、国家政府使用的公共标记或图章、国际组织的饰章、旗帜或徽章，或者特殊项目的原始标记。
(M)在第一个实施例所描述的情形中，基于字幕在屏幕顶部或底部上水平地显示的假设，将窗口设置在屏幕的顶部或底部。但是，也可以将窗口设置在屏幕的左侧或右侧，从而在屏幕的左侧和右侧上垂直地显示字幕。这样，就可以垂直地显示日文字幕。
(O)当DSn和DSn+1属于图形流中同一时元时，图形解码器对DSn和DSn+1执行流水线处理。另一方面，当DSn和DSn+1属于不同的时元时，在DSn的图形显示开始之后，图形解码器开始处理DSn+1。
此外，有两种图形流，即：呈现图形流，主要用于与视频进行同步；交互图形流，主要用于实现交互显示。当该图形流是呈现图形流时，图形解码器对DSn和DSn+1执行流水线处理；当该图形流是交互图形流时，不执行流水线处理。
可以如上所述修改本发明。但是，本申请的每项权利要求的发明都反映了解决传统技术所遇到的技术问题的手段，所以，根据权利要求书的本发明的技术范围不会超过本领域技术人员认识该技术问题的技术范围。因此，根据权利要求书的本发明基本上对应于本申请中的说明书部分。
工业应用性
上述实施例披露了本发明所涉及的记录介质和再现装置的内部构造，可以基于所披露的内部构造，批量制造记录介质和再现装置。换言之，该记录介质和再现装置能够在工业上制造出来。因此，该记录介质和再现装置具有工业应用性。

Claims (4)

1.一种再现装置，用于从记录介质读取数字流并再现在该数字流中复用的视频流和图形流，所述再现装置包括：
视频解码器(5)，用于解码所述视频流以生成运动图像；以及
图形解码器(12)，用于解码所述图形流以生成图形对象，其中：
所述图形流包括多个显示集合，每个所述显示集合用于图形显示；
所述显示集合包括呈现合成段PCS、用于限定图形对象的对象定义段ODS的序列以及END段；
所述PCS包括时间信息，该时间信息用于在所述视频流的再现时间轴上指定所述显示集合中PCS的活动周期；
每个段包含在包中；
所述时间信息包括写在所述包中的解码时戳以及呈现时戳；
所述ODS的序列包括通过所述显示集合中PCS而参考的参考ODS以及没有通过所述显示集合中PCS而参考的非参考ODS，所述显示集合中的ODS是顺序地设置的；以及
其中所述图形解码器还包括流图形处理器(14)，其对设置在所述显示集合中PCS和END段之间的所述参考ODS和非参考ODS依次进行解码，并存储解码获得的图形对象到所述图形解码器的缓冲器中。
2.如权利要求1所述的再现装置，其中：
在与所述END段相关的时戳显示的时间，完成通过所述图形解码器对所述参考ODS和非参考ODS的解码。
3.一种记录方法，包括下面的步骤：
创建包括多个显示集合的图形流，每个所述显示集合都用于图形显示；
将所创建的图形流与视频流一同记录到BD-ROM的螺旋轨道上，其中每个所述显示集合包括如下功能段：呈现合成段PCS、用于限定图形对象的对象定义段ODS以及END段，其中所述PCS具有时间信息，所述时间信息用于在所述视频流的再现时间轴上指定所述显示集合中PCS的活动周期；每个段包含在包中；所述时间信息包括写在包中的解码时戳以及呈现时戳；所述显示集合包括ODS序列，该ODS序列包括通过所述显示集合中PCS而参考的参考ODS以及没有通过所述显示集合中PCS而参考的非参考ODS，
其中创建图形流的步骤包括：
将所述参考ODS和非参考ODS设置在所述显示集合中，所述显示集合中的ODS是顺序地设置的，以便以所述设置的顺序而依次解码；
紧跟在所述参考ODS和非参考ODS的序列中最后一个ODS之后设置所述END段；以及
在记录所述图形流之前，执行如下步骤：
将所述功能段转换为传输流数据包，以及；
向每个对应于所述功能段的传输流数据包和对应于所述视频流的传输流数据包分配到达时戳ATS；其中
通过将带有所分配的ATS的传输流数据包记录到所述BD-ROM的所述螺旋轨道上来记录所述图形流。
4.一种再现方法，用于在计算机上实现从记录介质读取数字流并再现所述数字流中复用的视频流和图形流的处理，所述方法包括下面的步骤：
解码所述视频流以生成运动图像；以及
解码所述图形流以生成图形对象，其中：
所述图形流包括多个显示集合，每个所述显示集合用于图形显示；
所述显示集合包括呈现合成段PCS、用于限定图形对象的对象定义段ODS以及END段；
所述PCS包括时间信息，该时间信息用于在所述视频流的再现时间轴上指定所述显示集合中PCS的活动周期；
每个段包含在包中；
所述时间信息包括写在所述包中的解码时戳以及呈现时戳；
所述显示集合包括ODS序列，该ODS序列包括通过所述显示集合中PCS而参考的参考ODS以及没有通过所述显示集合中PCS而参考的非参考ODS；
所述ODS顺序地设置在所述显示集合中；以及
在处理所述显示集合的时候，对所述图形流解码的步骤解码设置在所述显示集合中PCS和END段之间的参考ODS和非参考ODS，并存储解码获得的图形对象到所述计算机的缓冲器中。
CN2007101679895A 2003-07-11 2004-07-09 记录方法、再现装置和方法 Expired - Fee Related CN101202091B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US48684403P 2003-07-11 2003-07-11
US60/486,844 2003-07-11

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN2004800262013A Division CN1849821B (zh) 2003-07-11 2004-07-09 记录方法、再现装置和方法

Publications (2)

Publication Number Publication Date
CN101202091A CN101202091A (zh) 2008-06-18
CN101202091B true CN101202091B (zh) 2012-11-28

Family

ID=34062142

Family Applications (6)

Application Number Title Priority Date Filing Date
CN2004800262013A Expired - Fee Related CN1849821B (zh) 2003-07-11 2004-07-09 记录方法、再现装置和方法
CN2007101679857A Active CN101202930B (zh) 2003-07-11 2004-07-09 记录方法、再现装置和方法
CN2007101679804A Active CN101217675B (zh) 2003-07-11 2004-07-09 再现装置、记录方法和再现方法
CN200480026200A Active CN100576900C (zh) 2003-07-11 2004-07-09 记录介质、记录方法、再现装置和方法
CN2007101679819A Active CN101217676B (zh) 2003-07-11 2004-07-09 记录方法、再现装置和方法
CN2007101679895A Expired - Fee Related CN101202091B (zh) 2003-07-11 2004-07-09 记录方法、再现装置和方法

Family Applications Before (5)

Application Number Title Priority Date Filing Date
CN2004800262013A Expired - Fee Related CN1849821B (zh) 2003-07-11 2004-07-09 记录方法、再现装置和方法
CN2007101679857A Active CN101202930B (zh) 2003-07-11 2004-07-09 记录方法、再现装置和方法
CN2007101679804A Active CN101217675B (zh) 2003-07-11 2004-07-09 再现装置、记录方法和再现方法
CN200480026200A Active CN100576900C (zh) 2003-07-11 2004-07-09 记录介质、记录方法、再现装置和方法
CN2007101679819A Active CN101217676B (zh) 2003-07-11 2004-07-09 记录方法、再现装置和方法

Country Status (8)

Country Link
US (2) US7415192B2 (zh)
EP (2) EP1645124B1 (zh)
JP (8) JP4048224B2 (zh)
KR (7) KR100882077B1 (zh)
CN (6) CN1849821B (zh)
DE (6) DE602004010668T2 (zh)
TW (6) TWI405202B (zh)
WO (2) WO2005006746A1 (zh)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE60321151D1 (de) 2002-03-29 2008-07-03 Asahi Kasei Pharma Corp Verfahren zum nachweis einer milden beeinträchtigt
KR100739676B1 (ko) 2003-07-31 2007-07-13 삼성전자주식회사 그래픽 데이터를 포함하는 정보저장매체, 그 처리장치 및처리방법
MXPA05010586A (es) * 2003-07-31 2005-11-23 Samsung Electronics Co Ltd Medio de almacenamiento de informacion que guarda datos graficos y aparato y metodo de procesamiento de los mismos.
KR100561417B1 (ko) * 2004-02-09 2006-03-16 삼성전자주식회사 Ａｖ 데이터의 재생상태를 전환할 수 있는 인터랙티브그래픽 스트림을 기록한 정보저장매체, 그 재생방법 및 장치
BRPI0509231A (pt) * 2004-03-26 2007-09-04 Lg Electronics Inc meio de gravação, método e aparelho para reproduzir fluxos de subtìtulo de texto
DE602005017878D1 (de) * 2004-03-26 2010-01-07 Lg Electronics Inc Aufzeichnungsmedium und verfahren und vorrichtung zum wiedergeben eines auf dem aufzeichnungsmedium aufgezeichneten textuntertitelstroms
CN102270482A (zh) * 2005-01-28 2011-12-07 松下电器产业株式会社 记录介质、程序和再现方法
EP2105032A2 (en) 2006-10-11 2009-09-30 Koninklijke Philips Electronics N.V. Creating three dimensional graphics data
EP2051253A4 (en) * 2007-02-28 2010-12-29 Panasonic Corp PLAYING DEVICE, PLAY PROCESS AND SYSTEM LSI
KR101512988B1 (ko) 2007-12-26 2015-04-17 코닌클리케 필립스 엔.브이. 그래픽 오브젝트를 중첩하기 위한 이미지 프로세서
CA2729995C (en) * 2008-07-24 2015-12-22 Panasonic Corporation Playback device capable of stereoscopic playback, playback method, and program
JP4985807B2 (ja) * 2009-04-15 2012-07-25 ソニー株式会社 再生装置および再生方法
KR101537615B1 (ko) * 2009-07-17 2015-07-17 엘지전자 주식회사 기록매체, 데이터 기록/재생 방법 및 데이터 기록/재생 장치
KR101503190B1 (ko) * 2010-09-30 2015-03-16 후지쯔 가부시끼가이샤 동화상 부호화 장치, 동화상 부호화 방법 및 동화상 부호화용 컴퓨터 프로그램
CN103152654A (zh) * 2013-03-15 2013-06-12 杭州智屏软件有限公司 低延迟的视频片段截取技术
JP6844112B2 (ja) * 2016-03-17 2021-03-17 ソニー株式会社 情報処理装置、情報記録媒体、および情報処理方法、並びにプログラム

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004036578A1 (en) * 2002-10-15 2004-04-29 Lg Electronics Inc. Recording medium having data structure for managing reproduction of multiple graphics streams recorded thereon and recording and reproducing methods and apparatuses

Family Cites Families (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0739558B1 (en) 1993-06-09 2003-04-16 BTG International Inc. Method and apparatus for multiple media digital communication system
EP0651571B1 (en) * 1993-11-02 2000-03-15 Texas Instruments Incorporated A graphics data unit and method for a television receiver
EP0745307B3 (en) * 1994-12-14 2010-06-23 Philips Electronics N.V. Subtitling transmission system
JP3528989B2 (ja) * 1995-01-20 2004-05-24 ソニー株式会社 データ多重化装置、データ多重化方法、多重化データ処理装置および多重化データ処理方法
TW293981B (zh) * 1995-07-21 1996-12-21 Philips Electronics Nv
EP0915470A3 (en) * 1995-08-21 2004-03-24 Matsushita Electric Industrial Co., Ltd. Multimedia optical disk, reproduction apparatus and method for achieving variable scene development based on interactive control
TW385431B (en) * 1995-09-29 2000-03-21 Matsushita Electric Ind Co Ltd A method and an apparatus for encoding a bitstream with plural possible searching reproduction paths information useful in multimedia optical disk
SG80607A1 (en) * 1995-09-29 2001-05-22 Matsushita Electric Ind Co Ltd Method and device for recording and reproducing interleaved bitstream on and from medium
TW436777B (en) * 1995-09-29 2001-05-28 Matsushita Electric Ind Co Ltd A method and an apparatus for reproducing bitstream having non-sequential system clock data seamlessly therebetween
US5838316A (en) * 1996-01-26 1998-11-17 International Business Machines Corporation Method and system for presenting a plurality of animated display objects to a user for selection on a graphical user interface in a data processing system
TW335487B (en) 1996-02-28 1998-07-01 Matsushita Electric Ind Co Ltd A method and an apparatus for interleaving bitstream to record thereof on a recording medium, and reproducing the interleaved bitstream therefrom
JP3728344B2 (ja) 1996-03-22 2005-12-21 パイオニア株式会社 情報再生装置及び情報再生方法
JP3345414B2 (ja) * 1996-05-09 2002-11-18 松下電器産業株式会社 主映像が画面上にどのように配置されようとも、副映像をバランス良く主映像上に重ね合わせることができる記録媒体、再生装置、及び再生方法。
US5929857A (en) * 1997-09-10 1999-07-27 Oak Technology, Inc. Method and apparatus for dynamically constructing a graphic user interface from a DVD data stream
JP3407287B2 (ja) * 1997-12-22 2003-05-19 日本電気株式会社 符号化復号システム
US6526214B2 (en) * 1998-04-13 2003-02-25 Oak Technology, Inc. DVD sub-picture decoder with minimal buffering
JP3058870B1 (ja) 1999-02-05 2000-07-04 株式会社次世代デジタルテレビジョン放送システム研究所 Ａｆｃ回路
WO2000049803A1 (fr) 1999-02-18 2000-08-24 Kabushiki Kaisha Toshiba Support d'enregistrement pour flux de donnees, procede d'enregistrement et procede de reproduction associes
US7010032B1 (en) * 1999-03-12 2006-03-07 Kabushiki Kaisha Toshiba Moving image coding apparatus and decoding apparatus
JP3363407B2 (ja) * 1999-08-17 2003-01-08 株式会社第一興商 歌詞字幕表示装置
KR100657241B1 (ko) 1999-09-03 2006-12-18 삼성전자주식회사 동영상 기록/재생 장치와 방법 및 기록 매체
EP1214842B1 (en) * 1999-09-20 2010-11-17 TiVo, Inc. Closed caption tagging system
GB0007870D0 (en) 2000-03-31 2000-05-17 Koninkl Philips Electronics Nv Methods and apparatus for making and replauing digital video recordings, and recordings made by such methods
AU2001257087A1 (en) 2000-04-17 2001-10-30 Mojave Therapeutics Inc. Heat shock protein-based antiviral vaccines
EP1173031A1 (en) * 2000-07-14 2002-01-16 Deutsche Thomson-Brandt Gmbh Method and device for recording sub-titles
US7068719B2 (en) * 2001-06-01 2006-06-27 General Instrument Corporation Splicing of digital video transport streams
JP2002374494A (ja) 2001-06-14 2002-12-26 Fuji Electric Co Ltd ビデオコンテンツファイル生成システムおよびビデオコンテンツファイル検索方法。
JP3871123B2 (ja) * 2001-06-16 2007-01-24 三星電子株式会社 プリロードフォント情報を有する情報貯蔵媒体、その再生装置及び再生方法
DE10130156B4 (de) * 2001-06-22 2013-08-08 Qimonda Ag Verfahren und System zur bidirektionalen Signalübertragung
DE60203600T2 (de) * 2001-11-30 2006-02-09 Matsushita Electric Industrial Co., Ltd., Kadoma Verfahren und vorrichtung zur stream-umsetzung, verfahren und vorrichtung zur datenaufzeichnung und datenaufzeichnungsmedium
JP4061567B2 (ja) 2001-12-03 2008-03-19 松下電器産業株式会社 Ｄｖｄオーディオ再生装置、及びｄｖｄオーディオ再生方法
JP4136383B2 (ja) * 2002-01-28 2008-08-20 キヤノン株式会社 テレビ受信装置及びその制御方法
US20040213542A1 (en) * 2003-04-22 2004-10-28 Hiroshi Hamasaka Apparatus and method to reproduce multimedia content for a multitude of resolution displays
EP2369590B1 (en) * 2003-04-28 2015-02-25 Panasonic Corporation Playback apparatus, playback method, recording medium, recording apparatus, recording method for recording a video stream and graphics with window information over graphics display
DE602004030060D1 (de) * 2003-06-30 2010-12-23 Panasonic Corp Aufzeichnungsmedium, Wiedergabegerät, Programm und Wiedergabeverfahren
KR20050004339A (ko) * 2003-07-02 2005-01-12 엘지전자 주식회사 고밀도 광디스크의 그래픽 데이터 관리방법 및 그에 따른고밀도 광디스크

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004036578A1 (en) * 2002-10-15 2004-04-29 Lg Electronics Inc. Recording medium having data structure for managing reproduction of multiple graphics streams recorded thereon and recording and reproducing methods and apparatuses

Also Published As

Publication number Publication date
CN1849820A (zh) 2006-10-18
CN101217675B (zh) 2011-05-04
DE602004022885D1 (de) 2009-10-08
KR101051835B1 (ko) 2011-07-25
WO2005006747A1 (en) 2005-01-20
CN100576900C (zh) 2009-12-30
JP2007273081A (ja) 2007-10-18
CN101202930B (zh) 2010-09-22
JP2007534182A (ja) 2007-11-22
KR101037025B1 (ko) 2011-05-25
TW201115567A (en) 2011-05-01
JP2007528567A (ja) 2007-10-11
TW201115569A (en) 2011-05-01
TWI405201B (zh) 2013-08-11
CN1849821B (zh) 2012-06-20
KR20070107763A (ko) 2007-11-07
JP2007329941A (ja) 2007-12-20
EP1645124B1 (en) 2007-12-12
TW201115568A (en) 2011-05-01
DE602004008923D1 (de) 2007-10-25
TWI405202B (zh) 2013-08-11
KR100882075B1 (ko) 2009-02-10
TW200506839A (en) 2005-02-16
DE602004022344D1 (de) 2009-09-10
JP4126076B2 (ja) 2008-07-30
US7415192B2 (en) 2008-08-19
KR20070108244A (ko) 2007-11-08
CN101217676B (zh) 2010-09-01
JP4126075B2 (ja) 2008-07-30
KR20060039429A (ko) 2006-05-08
TW201115570A (en) 2011-05-01
DE602004008923T2 (de) 2008-01-17
JP2008072726A (ja) 2008-03-27
JP4126077B2 (ja) 2008-07-30
CN101217676A (zh) 2008-07-09
JP2007273080A (ja) 2007-10-18
TWI345232B (en) 2011-07-11
US20090016705A1 (en) 2009-01-15
KR100882077B1 (ko) 2009-02-10
TW200511277A (en) 2005-03-16
JP4048224B2 (ja) 2008-02-20
TWI405200B (zh) 2013-08-11
EP1645124A1 (en) 2006-04-12
KR20070108243A (ko) 2007-11-08
CN101202091A (zh) 2008-06-18
JP4569931B2 (ja) 2010-10-27
CN101217675A (zh) 2008-07-09
US20060222334A1 (en) 2006-10-05
WO2005006746A1 (en) 2005-01-20
JP2007306579A (ja) 2007-11-22
JP4510854B2 (ja) 2010-07-28
DE602004010668T2 (de) 2008-12-04
KR20100132081A (ko) 2010-12-16
KR100882079B1 (ko) 2009-02-10
TWI405199B (zh) 2013-08-11
US8139915B2 (en) 2012-03-20
EP1645123B1 (en) 2007-09-12
CN101202930A (zh) 2008-06-18
DE602004022883D1 (de) 2009-10-08
CN1849821A (zh) 2006-10-18
DE602004010668D1 (de) 2008-01-24
KR100882076B1 (ko) 2009-02-10
JP2007312396A (ja) 2007-11-29
KR100882078B1 (ko) 2009-02-10
DE602004022884D1 (de) 2009-10-08
EP1645123A1 (en) 2006-04-12
JP4020952B2 (ja) 2007-12-12
KR20060041216A (ko) 2006-05-11
TWI363335B (en) 2012-05-01
JP4126078B2 (ja) 2008-07-30
KR20070107764A (ko) 2007-11-07

Similar Documents

Publication Publication Date Title
CN101005630B (zh) 记录方法、再现装置和方法
CN101702756B (zh) 记录介质和方法、再现装置和方法、程序和集成电路
CN1922870B (zh) 再现装置和再现方法
CN101202091B (zh) 记录方法、再现装置和方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20121128

Termination date: 20150709

EXPY Termination of patent right or utility model