CN101853680B - 再现装置和再现方法 - Google Patents

再现装置和再现方法 Download PDF

Info

Publication number
CN101853680B
CN101853680B CN201010129142XA CN201010129142A CN101853680B CN 101853680 B CN101853680 B CN 101853680B CN 201010129142X A CN201010129142X A CN 201010129142XA CN 201010129142 A CN201010129142 A CN 201010129142A CN 101853680 B CN101853680 B CN 101853680B
Authority
CN
China
Prior art keywords
playlist
application
title
mixing
sound
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201010129142XA
Other languages
English (en)
Other versions
CN101853680A (zh
Inventor
桥本敏史
大芦雅弘
冈田智之
矢羽田洋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Publication of CN101853680A publication Critical patent/CN101853680A/zh
Application granted granted Critical
Publication of CN101853680B publication Critical patent/CN101853680B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G11B27/32Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on separate auxiliary tracks of the same or an auxiliary record carrier
    • G11B27/327Table of contents
    • G11B27/329Table of contents on a disc [VTOC]
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B19/00Driving, starting, stopping record carriers not specifically of filamentary or web form, or of supports therefor; Control thereof; Control of operating function ; Driving both disc and head
    • G11B19/02Control of operating function, e.g. switching from recording to reproducing
    • G11B19/022Control panels
    • G11B19/025'Virtual' control panels, e.g. Graphical User Interface [GUI]
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10Digital recording or reproducing
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G11B27/034Electronic editing of digitised analogue information signals, e.g. audio or video signals on discs
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/102Programmed access in sequence to addressed parts of tracks of operating record carriers
    • G11B27/105Programmed access in sequence to addressed parts of tracks of operating record carriers of operating discs
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/34Indicating arrangements 
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B2220/00Record carriers by type
    • G11B2220/20Disc-shaped record carriers
    • G11B2220/21Disc-shaped record carriers characterised in that the disc is of read-only, rewritable, or recordable type
    • G11B2220/213Read-only discs
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B2220/00Record carriers by type
    • G11B2220/20Disc-shaped record carriers
    • G11B2220/25Disc-shaped record carriers characterised in that the disc is based on a specific recording technology
    • G11B2220/2537Optical discs
    • G11B2220/2541Blu-ray discs; Blue laser DVR discs

Abstract

本发明提供一种再现装置和再现方法。在BD-ROM上,记录着AVClip和Java(注册商标)应用。在该AVClip上,复用着视频流及音频流。此外,在BD-ROM上,记录着管理信息和与其对应的Mixing_On标志,上述管理信息是表示应与Java(注册商标)应用的执行同时开始的AVClip的再现控制的信息,Mixing_On标志表示是否混合与用户对Java(注册商标)应用的操作相应的点击声、和上述再现控制时的AVClip的声音输出。

Description

再现装置和再现方法
本申请是申请日为2005年11月30日、申请号为200580015873.9、名称为“记录媒体、再现装置、程序、再现方法、集成电路”的中国专利申请的分案申请。
技术领域
本发明属于点击声(クリツク音)再现的技术领域。
背景技术
所谓点击声再现,是在用户对电影作品的再现中显示的GUI进行了操作的情况下,呼应该操作,在电影作品中的再现声音中混合点击声并输出的技术。
例如考虑下述情况:电影作品的再现中显示的GUI为接受“开始游戏”这一功能的执行指示,按照该执行指示,将“现在开始游戏”这一语音宣告作为点击声,混合到电影正片的声音中并输出。如果该语音宣告是电影作品中登场的人物的声音,则儿童用户通过该语音宣告感受到电影作品中登场的人物正在对他说话的印象。通过以上的点击声再现的导入,能够将儿童可快乐地游戏的GUI导入到电影作品中。
这里,在1个声音输出上混合别的声音输出并输出的技术中,有以下的专利文献1中记载的技术。
专利文献1:(日本)特开平7-320411号公报
然而,为了混合点击声,必须将数字化了的音频流暂时展开到LPCM状态。这里,在待混合的正片一侧的音频流具有例如5.1声道这一多声道属性的情况下,展开了的LPCM状态下的数据量很大。因此,在具有例如多声道属性的音频流上混合点击声并进行数字声音输出的情况下,由于频带上的限制,有些种类的数字接口不能进行数字声音输出。近年的电影大多重视音响方面,而用户也往往投入放大器、环绕扬声器等巨额的私人费用,构筑了私人的音响系统,所以如果想要混合点击声,却不能进行电影正片的数字声音输出,则对电影的负面印象不可估量。
只要有因导入点击声而有例如“多声道的声音输出该不会中断吧”这一不安的束缚,就经常发生点击声这一功能本身不能用于电影制作中的情况。为了将电影制作工作室从这种束缚中解放出来,将在再现装置中进行重新编码的想法,在所有再现装置中执行即可。即,在再现装置内具备编码器,将具有5.1声道这一多声道属性的音频流展开到LPCM状态,并混合了点击声后,对其进行重新编码后,进行数字输出即可。具体地说,在经S/PDIF(Sony/Philips Digital InterConnect Format(索尼/菲利浦数字互连格式),ISO60958-3标准)这样的数字接口来执行混合后的声音的数字声音输出的情况下,需要进行上述重新编码,并变换为杜比数字或DTS。但是这种重新编码必须具备编码器,所以无法被采用为BD-ROM再现装置的标准模型。
就是说,现有技术中,存在着在要实现点击声的声音混合输出时,将对声音输出带来不良影响的技术问题。
发明内容
本发明的目的是提供一种再现装置和再现方法,不影响声音输出,就能够实现点击声的混合输出。
本发明的再现装置,用于执行应用,并且再现数字流,其特征在于,包括:选择单元,选择与记录媒体上记录的上述数字流、上述应用、声音数据及管理信息相关联的标题;读出单元,从上述记录介质上记录的管理信息中读出表示上述应用能执行的区间的信息、表示在上述能执行的区间中执行应用的过程中应该开始的数字流的再现控制的信息、以及标志;平台部,在对该应用确定的能执行的区间中执行上述记录介质上记录的与标题相关联的应用;再现控制引擎部,在上述能执行的区间中执行应用的过程中,通过执行由上述管理信息所表示的再现控制,再现与该标题相关联的数字流,并进行影像输出及声音输出;以及混合部,在上述管理信息所包含的标志是“开”的情况下,执行使用了与用户对上述执行中的应用的操作相对应的声音数据的点击声的输出、和上述数字流的声音输出之间的混合,而在上述管理信息所包含的标志是“关”的情况下,不执行该混合。
本发明的再现方法,用于执行应用,并且再现数字流,其特征在于包括:选择步骤,选择与记录媒体上记录的上述数字流、上述应用、声音数据及管理信息相关联的标题;读出步骤,从上述记录介质上记录的管理信息中读出表示上述应用能执行的区间的信息、表示在上述能执行的区间中执行应用的过程中应该开始的数字流的再现控制的信息、以及标志;执行步骤,在对该应用确定的能执行的区间中执行上述记录介质上记录的与标题相关联的应用;再现控制步骤,在上述能执行的区间中执行应用的过程中,通过执行由上述管理信息所表示的再现控制,再现与该标题相关联的数字流,并进行影像输出及声音输出;以及混合步骤,在上述管理信息所包含的标志是“开”的情况下,执行使用了与用户对上述执行中的应用的操作相对应的声音数据的点击声的输出、和上述数字流的声音输出之间的混合,而在上述管理信息所包含的标志是“关”的情况下,不执行该混合。
发明效果
本发明具有上述结构,所以在不对声音输出带来不良影响的情况下,就能够实现点击声的声音混合输出。例如,能够在执行希望多声道的声音输出的再现控制时使混音无效,而在执行不希望多声道的声音输出的再现控制时使混音有效。
由此,例如,电影制作工作室能够进行下述调整:在希望多声道的再现的情况下,禁止点击声;而在希望点击声的再现的情况下,禁止多声道的声音输出。
在这种调整的基础上,若将点击声导入到电影制作中,则能够将制作工作室从“多声道的声音输出该不会中断吧”这一不安的束缚中解放出来。由此,能够鼓励在制作电影作品时导入点击声。
附图说明
图1是本发明的记录介质的使用行为的图。
图2是BD-ROM的内部结构的图。
图3是被赋予了扩展名.m2ts的文件如何构成的示意图。
图4是构成AVClip的TS包经过什么样的过程而被写入到BD-ROM上的图。
图5是构成AVClip的TS包经过什么样的过程而被写入到BD-ROM上的图。
图6是Clip信息的内部结构的图。
图7是对于电影的视频流的EP_map设定的图。
图8是PlayList信息的数据结构的图。
图9是AVClip和PlayList之间的关系的图。
图10(a)是STN_table的结构的图。
(b)~(e)是entry-attribute(项目属性)的详细情况的图。
图11是PlayList信息的PlayListMark信息的内部结构的图。
图12是用PlayList信息的PlayListMark信息来指定章节位置的图。
图13是BD-J Object的内部结构的图。
图14是存档文件容纳的程序、数据的图。
图15是文件sound.bdmv的结构的图。
图16(a)是应用管理表的内部结构的图。
(b)是构成应用管理表的信息元素的意义内容的图。
图17是盘内容中的状态转移的图。
图18(a)是整个BD-ROM的时间轴的图。
(b)是整个BD-ROM的时间轴的结构的图。
图19(a)(b)是在整个BD-ROM的时间轴上、由BD-J Object确定的标题再现区间的图。
图20是图19(b)的时间轴上规定的生命周期的典型的图。
图21是包含正片标题、在线购物标题、游戏标题这3个标题的盘内容的图。
图22(a)(b)是应用管理表、生命周期的一例的图。
图23是运行属性可取的三态(Present、AutoRun、Suspend)、紧挨着的前面的标题中的应用状态的三态(未运行、运行中、Suspend)可取的组合的图。
图24(a)是播放列表管理表的内部结构的图。
(b)是构成播放列表管理表的信息元素的意义内容的图。
图25是用播放列表管理表、应用管理表规定的标题的具体例的图。
图26是当前标题可取的三态(无播放列表管理表、有播放列表管理表而且未指定、有播放列表管理表而且AutoPlay)、和紧挨着的前面的标题中的PL的状态(未再现状态、再现中状态)可取的6种组合的图。
图27(a)是播放列表管理表及应用管理表的描述例的图。
(b)是如何根据如图27(a)所示描述的应用管理表、播放列表管理表来进行播放列表再现、应用执行的图。
图28(a)是播放列表管理表的另一描述例的图。
(b)是基于图28(a)的情况的应用执行及进行播放列表再现的图。
图29是SMT的内部结构的图。
图30(a)(b)是STN_Table中的音频流的entry-attribute、和Mixing_On标志的设定之间的因果关系的图。
图31是在Mixing_On标志被设定为ON的标题中操作了GUI框架上的按钮的情况下再现装置的声音再现的图。
图32是在Mixing_On标志被设定为OFF的标题中操作了GUI框架上的按钮的情况下再现装置的声音再现的图。
图33是本发明的再现装置的内部结构的图。
图34是将由ROM 24中保存的软件和硬件组成的部分置换为层结构而绘制的图。
图35是Java(注册商标)虚拟机36的内部结构的图。
图36是Presentation Engine 31~模块管理器34进行的处理的示意图。
图37是应用管理器37根据BD-J Object中的PLMT进行的处理的图。
图38是应用管理器37根据BD-J Object中的SMT进行的处理的图。
图39是应用管理器37进行的处理过程的流程图。
图40(a)是第2实施方式的播放列表信息的内部结构的图。
(b)是PlayItem信息内所设的、Mixing_On标志的内容的图。
图41是Playback Control Engine 32进行的播放列表再现过程的流程图。
图42是应用管理器37进行的通知处理的处理过程的流程图。
图43是第3实施方式的应用管理器37的处理过程的图。
图44(a)示出基于父母锁级别的选择算法的内容。
(b)示出基于Language for Audio的选择算法的内容。
(c)示出基于Player Configuration for Video的选择算法的内容。
图45是使标题无边界应用(title unboundary application)选择播放列表的过程的示意图。
标号说明
1  BD-ROM驱动器
2  读缓冲器
3  解复用器
4  视频解码器
5  视频平面
6  声音处理器
7  声音处理器
8  混音器
9  声音控制器
10 D/A转换器
11 Interactive Graphics(交互图形)解码器
12 Interactive Graphics平面
13 Presentation Graphics(演示图形)解码器
14 Presentation Graphics平面
15 JPEG解码器
16 Still(静止)平面
17 合成部
18 STC-delta附加部
19 ATC-delta附加部
20 局部储存器
21 指令ROM
22 用户事件处理部
23 PSR组
24 CPU
25 脚本存储器
26 局部存储器
具体实施方式
(第1实施方式)
以下,说明本发明的记录介质的实施方式。首先,说明本发明的记录介质的实施行为中的使用作为的方式。图1是本发明的记录介质的使用行为的方式的图。在图1中,本发明的记录介质是BD-ROM 100,BD-ROM 100用于向由再现装置200、遥控器300、电视机400、环绕扬声器上连接的放大器500形成的家庭影院系统提供作品。
在本系统中,再现装置200再现BD-ROM 100上记录着的各种数据,来进行影像输出及声音输出。该再现装置200的影像输出经HDMI(HighDefinition Multimedia Interface:高清晰度多媒体接口)等模拟接口输出到电视机400。此外,再现装置200的声音输出经S/PDIF或HDMI等模拟接口输出到电视机400或放大器500。
以上是本发明的记录介质的使用方式的说明。
接着说明本发明的记录介质的生产行为。本发明的记录介质能够用BD-ROM的文件系统上的改进来实现。图2是表示BD-ROM的文件·目录结构的图。在本图中,在BD-ROM上,在Root(根)目录下,有BDMV目录。
在BDMV目录中,有被赋予了扩展名bdmv的文件(index.bdmv,MovieObject.bdmv)。而在该BDMV目录的属下,还存在称为PLAYLIST目录、CLIPINF目录、STREAM目录、BDBJ目录、BDJA目录、AUXDATA目录的6个子目录。
在PLAYLIST目录中,有被赋予了扩展名mpls的文件(00001.mpls,00002.mpls,00003.mpls)。
在CLIPINF目录中,有被赋予了扩展名clpi的文件(00001.clpi,00002.clpi,00003.clpi)。
在STREAM目录中,有被赋予了扩展名m2ts的文件(00001.m2ts,00002.m2ts,00003.m2ts)。
在BDBJ目录中,存在被赋予了扩展名BOBJ的文件(00001.bobj,00002.bobj,00003.bobj)。
在BDJA目录中,有被赋予了扩展名jar的文件(00001.jar,00002.jar,00003.jar)。
在AUXDATA目录中,保存着文件sound.bdmv。
通过以上的目录结构可知,种类互不相同的多个文件被配置在BD-ROM上。
<BD-ROM的结构之1.AVClip>
首先,说明被赋予了扩展名.m2ts的文件。图3是被赋予了扩展名.m2ts的文件如何构成的示意图。被赋予了扩展名.m2ts的文件(00001.m2ts,00002.m2ts,00003.m2ts……)保存着AVClip。AVClip是MPEG2-TransportStream(MPEG2传输流)形式的数字流。该数字流是通过将把电影影像、NTSC影像、PAL影像数字化而得到的数字视频、把LPCM音源、AC-3音源、DTS音源数字化而得到的数字音频(上第1层)变换为由PES包组成的基本流(上第2层),进而变换为TS包(上第3层),同样将字幕类的演示图形流(Presentation Graphics(PG)流)及对话类的交互图形流(InteractiveGraphics(IG)流)(下第1层)变换为PES包串(下第2层),进而变换为TS包(下第3层),并复用它们而构成的。
所谓PG流,是实现伴随动态图像的再现进行的字幕显示的基本流,而IG流则是实现伴随动态图像的再现进行的GUI的基本流。
PES打包了的数字影像被称为视频流,而PES打包了的声音则被称为音频流。这些视频流、音频流是基本流,作为可独立解码的单位,存在“Access Unit(存取单位)”。在视频流中,所谓的GOP(Group Of Picture:图片组)就相当于该“Access Unit”。
将视频流中的、用1个PTS来再现的再现单位(图片等)称为“VideoPresentation Unit(视频演示单位)”。将音频流中的、用1个PTS来再现的再现单位称为“Audio Presentation Unit(音频演示单位)”。
这里,构成AVClip的PES包构成1个以上的“STC_Sequence。所谓“STC_Sequence”,是PES包的排列,是指在其PTS、DTS参考的SystemTime Clock(系统时钟)(STC)的值上,不存在STC不连续点(system time-basediscontinuity)。没有STC不连续点是STC_Sequence的必要条件,所以从构成1个STC_Sequence的PES包串中的、位于紧挨着STC不连续点后方并包含PCR(Program Clock Reference:节目时钟参考)的PES包到紧挨着下一STC不连续点之前为1个STC_Sequence。
接着,说明如上构成的AVClip如何被写入到BD-ROM上。图4示出构成AVClip的TS包经过什么样的过程而被写入到BD-ROM上。在本图的第1层中示出构成AVClip的TS包。
构成AVClip的188个字节的TS包如第2层所示被附加了4个字节的TS_extra_header(图中的阴影部分),而成为192个字节长的Source(源)包。该TS_extra_header包含Arrival_Time_Stamp。
构成AVClip的Source包在第3层的AVClip中构成1个以上的“ATC_Sequence”。所谓“ATC_Sequence”,是Source包的排列,是指在该Arrival_Time_Stamp参考的Arrival_Time_Clock上,不存在不连续点(noarrival time-base discontinuity)。换言之,将该Arrival_Time_Stamp参考的Arrival_Time_Clock上存在连续性的Source包串称为“ATC_Sequence”。
这种ATC_Sequence成为AVClip,以xxxxx.m2ts这一文件名记录到BD-ROM上。
这种AVClip与通常的计算机文件同样,被分割为多个文件盘区(fileextent),记录到BD-ROM上的区域上。第4层示意性地示出AVClip如何被记录到BD-ROM上。在该第4层中,构成文件的各文件盘区具有预定的Sextent以上的数据长度。
下面讨论将AVClip分割为多个盘区来记录的情况下的、平均每一个盘区的最小数据长度Sextent。
这里,在BD-ROM上,光拾取器的跳跃所需的时间由
Tjump=Taccess+Toverhead
给出。
Taccess是按照跳跃距离给出的时间(m秒),
如果跳跃距离(逻辑块数)是0~5000则为179m秒,
如果跳跃距离(逻辑块数)是5001~10,000则为210m秒,
如果跳跃距离(逻辑块数)是10,001~20,000则为270m秒,
如果跳跃距离是半程(half stroke)则为990m秒,
如果跳跃距离是全程(full stroke)则为1220m秒。
从BD-ROM上读出的TS包被保存到称为读缓冲器的缓冲器中后,被输出到解码器;而向读缓冲器的输入以Rud这一比特率来进行,在设ECC块中的扇区数为Secc的情况下,
Toverhead通过
Toverhead≤(2×Secc×8)/Rud=20m秒
这一计算来给出。
从BD-ROM上读出的TS包以Source包的状态被保存到读缓冲器中后,以TS_Recording_rate这一传送速率被提供给解码器。
为了使以TS_Recording_rate这一传送速率向解码器提供TS包不中断,需要在Tjump期间持续从读缓冲器向解码器输出TS包。这里,从读缓冲器的输出不是以TS包、而是以Source包的状态来进行的,所以在设TS包的与Source包的长度比为192/188的情况下,需要在Tjump期间用(192/188×TS_Recording_rate)这一传送速率来持续从读缓冲器输出Source包。
因此,用于使读缓冲器不下溢的缓冲器存储量为:
Boccupied≥(Tjump/1000×8)×((192/188)×TS_Recording_rate)。
向读缓冲器的输入速率是Rud,从读缓冲器的输出速率是TS_Recording_rate×(192/188),所以向读缓冲器的存储速率通过计算输入速率-输出速率来给出,为(Rud-TS_Recording_rate×(192/188))。
将该Boccupied存储到读缓冲器中所需的时间Tx为
Tx=Boccupied/(Rud-TS_Recording_rate×(192/188))。
为了从BD-ROM上读出,需要在该时间Tx内持续以Rud来输入TS包,所以将AVClip分割为多个盘区来记录的情况下的、平均每一个盘区的最小数据长度Sextent为
Sextent=Rud×Tx
=Rud×Boccupied/(Rud-TS_Recording_rate×(192/188))
≥Rud×(Tjump/1000×8)×((192/188)×TS_Recording_rate)
/(Rud-TS_Recording_rate×(192/188))
≥(Rud×Tjump/1000×8)×
TS_Recording_rate×192/(Rud×188-TS_Recording_rate×192)。
因此,
Sextent≥
(Tjump×Rud/1000×8)×
TS_Recording_rate×192/(Rud×188-TS_Recording_rate×192)。
构成AVClip的各文件盘区通过具有这样算出的Sextent以上的数据长度,即使构成AVClip的各文件盘区离散地位于BD-ROM上,在再现时向解码器提供TS包也不会中断,而能连续地读出。
图5是BD-ROM的物理单位和构成1个文件盘区的Source包之间的对应关系的图。如第2层所示,在BD-ROM上形成了多个扇区。构成文件盘区的Source包如第1层所示,每32个被分为一组,写入到连续的3个扇区中。由32个Source包组成的组是6144个字节(=32×192),这与3个扇区的长度6144个字节(=2048×3)一致。将3个扇区中容纳的32个Source包称为“Aligned Unit(对准单位)”,在写入到BD-ROM中时,以Aligned Unit为单位来进行加密。
在第3层中,扇区以32个为单位被附加纠错码,构成ECC块。再现装置只要以Aligned Unit为单位来访问BD-ROM,就能够得到32个完整的Source包。以上是向BD-ROM上写入AVClip的过程。
<BD-ROM的结构之2.Clip信息>
接着说明被赋予了扩展名.clpi的文件。被赋予了扩展名.clpi的文件(00001.clpi,00002,clpi,00003.clpi……)保存着Clip信息。Clip信息是各个AVClip的管理信息。图6是Clip信息的内部结构的图。如本图的左侧所示,Clip信息由
i)保存着关于AVClip的信息的“ClipInfo()”、
ii)保存着与ATC Sequence(ATC序列)、STC Sequence(STC序列)有关的信息的“Sequence Info()”、
iii)保存着与Program Sequence(节目序列)有关的信息的“ProgramInfo()”、
iv)“Characteristic Point Info(CPI())”组成。
Sequence Info是关于被包含在AVClip中的、1个以上的STC-Sequence、ATC-Sequence的信息。设这些信息的意义是为了将STC、ATC的不连续点预先通知给再现装置。即,如果存在这种不连续点,则在AVClip内有可能出现相同值的PTS、ATS,在再现时发生问题。为了表示STC、ATC连续是从传输流的哪里到哪里,所以设了Sequence Info。
所谓Program Info,是表示Program内容一定的区间(Program Sequence)的信息。所谓Program,是共享用于同步再现的时间轴的基本流的集合。设Program Sequence信息的意义是为了将Program内容的变化点预先通知给再现装置。这里的所谓Program内容的变化点,是指视频流的PID变化、或者视频流的种类从SDTV变换为HDTV的点等。
接着说明Characteristic Point Info。图中的引出线cu2详细示出了CPI的结构。如引出线cu2所示,CPI由Ne个EP_map_for_one_stream_PID(EP_map_for_one_stream_PID(0)~EP_map_for_one_stream_PID(Ne-1))组成。这些EP_map_for_one_stream_PID是属于AVClip的各个基本流的EP_map。EP_map是与项目时刻(PTS_EP_start)相对应地来表示在一个基本流中作为Access Unit的起始部分的、Access Unit Delimiter(存取单位定界符)所存在的项目位置的包号(SPN_EP_start)的信息。图中的引出线cu3详细示出了EP_map_for_one_stream_PID的内部结构。
由此可知,EP_map_for_one_stream_PID由Nc个EP_High(EP_High(0)~EP_High(Nc-1))、和Nf个EP_Low(EP_Low(0)~EP_Low(Nf-1))组成。这里,EP_High具有表示Access Unit的SPN_EP_start及PTS_EP_start的高位比特的作用,而EP_Low具有表示Access Unit的SPN_EP_start及PTS_EP_start的低位比特的作用。
图中的引出线cu4详细示出了EP_High的内部结构。如该引出线所示,EP_High(i)由作为对EP_Low的参照值的“ref_to_EP_Low_id[i]”、表示位于Access Unit的起始处的Non-IDR I图片、IDR图片的PTS的高位比特的“PTS_EP_High[i]”、以及表示位于Access Unit的起始处的Non-IDR I图片、IDR图片的SPN的高位的“SPN_EP_High[i]”组成。这里,所谓i,是用于识别任意的EP_High的标识符。
图中的引出线cu5详细示出了EP_Low的结构。如引出线cu5所示,EP_Low由表示对应的Access Unit是否是IDR图片的“is_angle_change_point(EP_Low_id)”、表示对应的Access Unit的长度的“I_end_position_offset(EP_Low_id)”、表示对应的Access Unit(Non-IDR I图片、IDR图片)的PTS的低位比特的“PTS_EP_Low(EP_Low_id)”、以及表示对应的Access Unit(Non-IDR I图片、IDR图片)的SPN的低位比特的“SPN_EP_Low(EP_Low_id)”组成。这里,所谓EP_Low_id,是用于识别任意的EP_Low的标识符。
<Clip信息的说明之2.EP_map>
以下,通过具体例来说明EP_map。图7是对电影的视频流的EP_map设定的图。第1层表示按显示顺序配置的多个图片(MPEG4-AVC中规定的IDR图片、I图片、B图片、P图片),第2层表示该图片的时间轴。第4层表示BD-ROM上的TS包串,第3层表示EP_map的设定。
假设在第2层的时间轴上,在时刻t1~t7上,存在作为Access Unit的IDR图片及I图片。假设这些t1~t7的时间间隔是1秒左右,则电影所用的视频流中的EP_map被设定为,示出t1~t7作为项目时刻(PTS_EP_start),与其相对应来示出项目位置(SPN_EP_start)。
<PlayList信息>
接着,说明PlayList信息。被赋予了扩展名“mpls”的文件(00001.mpls)是保存着PlayList(PL)信息的文件。
图8是PlayList信息的数据结构的图。在本图中,如引出线mp1所示,PlayList信息由定义MainPath的MainPath信息(MainPath())、和定义章节的PlayListMark信息(PlayListMark())组成。
<PlayList信息的说明之1.MainPath信息>
首先说明MainPath。MainPath是对作为主影像的视频流或音频流定义的再现路径。
MainPath如箭头mp1所示,由多个PlayItem信息#1……#m来定义。PlayItem信息定义构成MainPath的1个以上的逻辑再现区间。PlayItem信息的结构由引出线hs1来详细示出。如该引出线所示,PlayItem信息由表示再现区间的IN(入)点及Out(出)点所属的AVClip的再现区间信息的文件名的“Clip_Information_file_name”、表示AVClip的编码方式的“Clip_codec_identifier”、表示PlayItem是否构成多角度的“is_multi_angle”、唯一地表示由该PlayItem作为对象的STC_Sequence的“ref_to_STC_id[0]”、表示是否无缝地进行该PlayItem和其前一个PlayItem之间的连接的“connection_condition”、表示再现区间的始点的时间信息“In_time”、表示再现区间的终点的时间信息“Out_time”、表示在该PlayItem中应屏蔽的用户操作是哪个的“UO_mask_table”、表示是否允许随机访问该PlayItem的中途的“PlayItem_random_access_flag”、表示在该PlayItem的再现结束后是否继续静止显示最后一个图片的“Still_mode”、以及“STN_table”构成。其中,构成再现路径的是表示再现区间的始点的时间信息“In_time”、表示再现区间的终点的时间信息“Out_time”的组,所谓再现路径信息,由该“In_time”及“Out_time”的组构成。
图9是AVClip和PlayList之间的关系的图。第1层表示PlayList信息具有的时间轴。第2层至第5层表示由EP_map参照的视频流(与图7所示的相同)。
PlayList信息包含PlayItem信息#1、#2这2个PlayItem信息,用这些PlayItem信息#1、#2的In_time、Out_time定义了2个再现区间。如果排列这些再现区间,则定义了与AVClip时间轴不同的时间轴。这就是第1层所示的PlayItem时间轴。这样,通过定义PlayItem,能够定义与AVClip不同的时间轴。
<STN_table>
STN_table是表示用Play Item(播放项目)的Clip_Information_file_name指定的AVClip上复用的多个基本流中的可再现者的表。具体地说,STN_table通过将关于多个基本流的每个的entry(项目)与attribute(属性)相对应来构成。
图10(a)是STN_table的内部结构的图。如本图所示,STN_table包含STN_table中的entry和attribute的多个组(entry-attribute),是表示这些entry-attribute的组的个数(number_of_video_stream_entries,number_of_audio_stream_entries,number_of_PG_stream_entries,number_of_IG_stream_entries)的数据结构。
entry-attribute的组如图中的括号记号“{”所示,分别对应于Play Item中可再现的视频流、音频流、PG_stream、IG流。
下面说明entry-attribute的详细情况。图10(b)~(e)是entry-attribute的详细情况的图。
图10(b)是与视频流对应的entry-attribute的组的图。
视频流中的entry包含表示在解复用AVCIip时提取该视频流时所用的PID的“ref_to_stream_PID_of_mainClip”。
视频流中的attribute包含被设定为0x02的“stream_coding_type”、和表示视频流的显示速率的“frame_rate”等。
图10(c)是与音频流对应的entry-attribute的组的图。
音频流中的entry包含表示在解复用AVClip时提取该音频流时所用的PID的“ref_to_stream_PID_of_mainClip”。
音频流中的attribute由通过被设定为0x80(LinearPCM(线性PCM))、0x81(AC-3)、0x82(DTS)中的某一个来表示音频流的编码类型的“stream_coding_type”、和表示对应的音频流的声道结构、表示可否进行多声道输出的“audio_presentation_type”、以及表示对应的音频流的语言属性的“audio_language_code”等组成。
在多声道中,除了5.1CH的环绕声之外,也包含立体声,但是在以下的说明中,假设多声道只意味着5.1CH的环绕声来进行说明。
图10(d)是与PG流对应的entry-attribute的组的图。
PG流中的entry包含表示在解复用AVClip时提取该PG流时所用的PID的“ref_to_stream_PID_of_mainClip”。
PG流中的attribute由通过被设定为0x90来表示PG流的编解码器(codec)的“stream_coding_type”、和表示对应的PG流的语言属性的“PG_language_code”组成。
图10(e)是与IG流对应的entry-attribute的组的图。
IG流中的entry包含表示在解复用AVClip时提取该IG流时所用的PID的“ref_to_stream_PID_of_mainClip”。
IG流中的attribute由通过被设定为0x91来表示IG流的编解码器的“stream_coding_type”、和表示对应的IG流的语言属性的“IG_language_code”组成。
<PlayList信息的说明之2.PlayListMark>
以上是本实施方式的PlayItem信息的说明。接着说明PlayListMark信息。
图11是PlayList信息的PlayListMark信息的内部结构的图。如本图的图中的引出线pm0所示,PlayListMark信息由多个PLMark信息(#1~#n)组成。PLmark信息(PLmark())是将PL时间轴中的任意的区间指定为章节点的信息。如引出线pm1所示,PLmark信息包含表示作为章节指定的对象的PlayItem的“ref_to_PlayItem_Id”、和用时间符号来表示该PlayItem中的章节位置的“mark_time_stamp”。
图12是用PlayList信息的PLMark信息来指定章节位置的图。本图的第2层至第5层表示图10所示的EP_map和AVClip。
本图的第1层表示PLMark信息和PL时间轴。在该第1层中,存在2个PLMark信息#1~#2。箭头kt1、2表示用PLMark信息的ref_to_PlayItem进行的指定。由该箭头可知,PLMark信息的ref_to_PlayItem_Id指定了PlayItem信息的每一个。此外,Mark_time_stamp表示PlayItem时间轴中应成为Chapter#1、#2的时刻。这样,PLMark信息能够在PlayItem时间轴上定义章节点。
能够定义可使AVClip-SubClip同步的同步区间,是BD-ROM上的播放列表信息的特征。以上的Clip信息及播放列表信息被分类为“静态脚本”。这是因为,用以上的Clip信息及播放列表信息定义了作为静态的再现单位的播放列表。至此结束对静态脚本的说明。
接着说明“动态脚本”。所谓动态脚本,是动态规定AVClip的再现控制的脚本数据。所谓“动态”,是指通过再现装置中的状态变化或来自用户的键事件而知道再现控制的内容。对于BD-ROM,设想了2个模式作为该再现控制的动作环境。第1个是与DVD再现装置的动作环境类似的动作环境,是基于命令的执行环境。第2个是Java(注册商标)虚拟机的动作环境。这2个动作环境中的第1个被称为HDMV模式。第2个被称为BD-J模式。由于有这2个动作环境,所以设想其中某一个动作环境来描述动态脚本。设想了HDMV模式的动态脚本被称为Movie Object(电影对象)。而设想了BD-J模式的动态脚本被称为BD-J Object。
首先说明Movie Object。
<Movie Object>
Movie Object被保存在图2所示的MovieObject.bdmv这一文件中,包含导航命令串。
导航命令串由实现条件转移、再现装置中的状态寄存器的设定、状态寄存器的设定值取得等的命令串组成。在Movie Object中可描述的命令如下所示。
PlayPL命令
格式:PLayPL(第1变量,第2变量)
第1变量是播放列表的号码,能够指定应再现的播放列表。第2变量能够用该播放列表中包含的PlayItem、或该播放列表中的任意的时刻、Chapter(章节)、Mark(标记)来指定再现开始位置。
将用PlayItem指定了PL时间轴上的再现开始位置的PlayPL函数称为PlayPLatPlayItem(),
将用Chapter指定了PL时间轴上的再现开始位置的PlayPL函数称为PlayPLatChapter(),
将用时刻信息指定了PL时间轴上的再现开始位置的PlayPL函数称为PlayPLatSpecifiedTime()。
JMP命令
格式:JMP变量
JMP命令是在途中废弃(discard)当前的动态脚本、执行作为变量的转移目的地动态脚本的转移。在JMP命令的形式中,有直接指定转移目的地动态脚本的直接参照的形式、和间接指定转移目标动态脚本的间接参照的形式。
Movie Object中的导航命令的描述与DVD中的导航命令的描述方式类似,所以能够高效地进行将DVD上的盘内容移植到BD-ROM上这一作业。对于Movie Object,存在以下的国际公开公报中记载的现有技术。详细情况请参考该国际公开公报。
国际公开公报WO 2004/074976
至此结束对Movie Object的说明。接着说明BD-J Object。
<BD-J Object>
BD-J Object是在Java(注册商标)编程环境下描述的、BD-J模式的动态脚本,被保存在00001~00003.bobj这些文件中。
图13是BD-J Object.bdmv的内部结构的图。由应用管理表(AMT)、播放列表管理表(PLMT)、声音管理表(SMT)组成。与Movie Object的不同点是在BD-J Object中未直接描述命令。即,在Movie Object中,控制过程由导航命令直接描述。而在BD-J Object中,通过将对Java(注册商标)应用的指定记载到应用管理表中,而间接规定了控制过程。通过这种间接的规定,能够高效地进行在多个动态脚本中共用控制过程这样的控制过程的共用。
此外,Movie Object中的播放列表再现通过描述命令再现播放列表的导航命令(PlayPl命令)来进行,而BD-J Object中的播放列表再现可以通过将表示播放列表再现过程的播放列表管理表包含到BD-J Object中来描述。
下面说明该BD-J模式下的Java(注册商标)应用。这里,BD-J模式设想的Java(注册商标)平台完全安装了Java(注册商标)2 Micro_Edition(J2ME)Personal Basis Profile(PBP 1.0)、和Globally Executable MHP specification(GEM1.0.2)for package media targets。
该BD-J模式下的Java(注册商标)应用通过xlet接口由ApplicationManager(应用管理器)来控制。xlet接口具有“loaded(已加载)”、“paused(已暂停)”、“active(激活)”、“destroyed(已毁灭)”这4个状态。
上述Java(注册商标)平台包含用于表示JFIF(JPEG)或PNG等图像数据的标准Java(注册商标)库。因此,Java(注册商标)应用能够实现与在HDMV模式下用IG流实现的GUI不同的GUI框架。Java(注册商标)应用中的GUI框架包含GEM1.0.2中规定的HAVi框架,包含GEM1.0.2中的遥控导航机构。
由此,Java(注册商标)应用能够实现将基于HAVi框架的按钮显示、文本显示、在线显示(BBS的内容)等显示与运动图像的显示组合而成的画面显示,能够用遥控器对该屏幕显示进行操作。
相当于该Java(注册商标)应用的实体的是图2中的BDMV目录属下的BDJA目录中保存的Java(注册商标)存档文件(00001.jar,00002.jar)。以下,说明Java(注册商标)存档文件。
<Java(注册商标)存档文件>
Java(注册商标)存档文件(图2的00001.jar,00002.jar)是通过将1个以上的类文件、1个以上的数据文件等合并为1个而得到的文件,构成应在BD-J模式下动作的Java(注册商标)应用。
图14是存档文件容纳的程序、数据的图。本图中的程序、数据用java(注册商标)归档器(ア一カイバ)合并了布置成框内所示的目录结构的多个文件。框内所示的目录结构由Root目录、Java(注册商标)1、2、3目录、Image1、2、3目录组成,在Root目录中布置着common.pkg,在Java(注册商标)1、Java(注册商标)2、Java(注册商标)3目录中布置着类文件(00001.class~00007.class),在Image1、Image2、Image3目录中布置着00001.JPEG~00003.JPEG、00004.PNG~00006.PNG。java(注册商标)存档文件是通过用java(注册商标)归档器合并它们而得到的。这种类文件及数据在从BD-ROM上读出到高速缓冲存储器时被展开,在高速缓冲存储器上,被看作目录中布置的多个文件而被处理。Java(注册商标)存档文件的文件名中的“zzzzz”这5位的数值表示应用的ID(applicationID)。在本Java(注册商标)存档文件被读出到高速缓冲存储器时,通过引用该文件名中的数值,能够取出构成任意的Java(注册商标)应用的程序、数据。
其中,在本实施方式中构成应用的程序、数据被合并为Java(注册商标)存档文件,但是也可以是LZH文件、zip文件。
以上是对BD-J模式下的动态脚本的说明。
<sound.bdmv>
接着说明sound.bdmv。sound.bdmv是保存着在对Java(注册商标)应用的GUI框架进行了操作的情况下、应作为点击声来输出的音频数据(将这种音频数据称为声音数据)的文件。
图15是文件sound.bdmv的结构的图。文件sound.bdmv由Sound Data()和Sound Index()组成。Sound Data()由多个声音数据(sound_data(0),sound_data(1))组成。这些声音数据中的sound_data(0)是对Java(注册商标)应用的GUI框架进行操作时作为第1点击声来输出的音源。sound_data(1)是对Java(注册商标)应用的GUI框架进行操作时作为第2点击声来输出的音源。这些声音数据用称为sound_ID的标识符来指示。
Sound Index()由声音数(number_of_sound_entries)、对于sound_data(0)的索引、对于sound_data(1)的索引组成。
索引由单声道/立体声之别等各声音的属性(sound_attributes)、对应的声音数据的地址(sound_data_start_address)、对应的声音数据的连续长度(sound_data_length)组成。
如图2~图6所示,电影的剧中使用的音频(台词、BGM、效果音)的音源作为音频流被复用在AVClip内。这是为了将表示电影剧中的声音的音频流,与视频流的读出同时提供给再现装置。而文件sound.bdmv作为与AVClip独立的文件被记录在BD-ROM上。文件sound.bdmv作为与AVClip独立的文件被记录,所以在AVClip的读出中,如果想要输出声音数据,则发生用于读出文件sound.bdmv的光拾取器的跳跃,AVClip的读出不得不中断。如果发生这种中断,则AVClip再现出现中断。
为了避免这种AVClip的再现中断,需要在未再现AVClip的时刻将文件sound.bdmv预先预加载到缓冲器中。即,需要在再现AVClip之前,预加载文件sound.bdmv内的声音数据。以上是对文件sound.bdmv的说明。
<Index.bdmv>
Index.bdmv是表示构成标题的Movie Object或BD-J Object的表。
在Title(标题)中,定义作为某个Title的构成要素的MovieObject是哪个,或者作为某个Title的构成要素的BD-J Object是哪个。
在以下的国际公开公报中记载了Index.bdmv的详细情况。详细情况请参考该公报。
国际公开公报WO 2004/025651A1公报
以下,更详细地分别说明图15所示的应用管理表、播放列表管理表、声音管理表的每一个。
<应用管理表>
下面说明应用管理表(AMT)。所谓应用管理表(AMT),是实现了上述GEM1.0.2 for package media targets中的“应用信令(application signaling)”的表。所谓“应用信令”,是指在GEM1.0.2规定的MHP(Multimedia HomePlatform:多媒体家庭平台)中将“服务”作为生命周期来进行应用的运行、执行的控制。本实施方式中的应用管理表不是将该“服务”,而是将BD-ROM上的“标题”作为生命周期,来实现应用的运行、执行的控制。
图16(a)是应用管理表的内部结构的图。如本图所示,应用管理表由“life_cycle”、“apli_id_ref”、“run_attribute”、以及“run_priority”组成。
图16(b)是构成应用管理表的信息元素的意义内容的图。
“life_cycle”表示应用的“生命周期”。
“apli_id_ref”通过描述对“应用标识符”的参照值,来表示具有下述生命周期的应用是哪个。应用标识符在Java(注册商标)存档文件中用作为文件名而赋予的5位数值zzzzz来表现。在“apli_id_ref”中,描述该5位数值。
“run_attribute”描述该生命周期中的应用的“运行属性”。在运行属性中,有AutoRun、Present、Suspend等种类。
“run_priority”描述该生命周期中的应用的“运行优先级”。在BD-JObject中,用这些信息来控制应用的举动。
<生命周期>
下面说明应用管理表中规定的信息中的生命周期。
所谓生命周期,表示在BD-ROM上记录的整个内容的时间轴上、在虚拟机的工作存储器上应用可生存的区间。所谓工作存储器上的“生存”,是指构成该应用的xlet程序被读出到Java(注册商标)虚拟机内的工作存储器上、成为Java(注册商标)虚拟机可执行的状态。
在Java(注册商标)虚拟机中使应用动作的情况下,明确规定从时间轴的何处开始基于应用的服务、在时间轴的何处结束基于应用的服务这样的“服务的开始点·结束点”很重要。规定该服务的开始点·结束点的就是应用管理表中的生命周期。
另一方面,用DVD-Video这样的只读盘提供的盘内容采用了以顶级菜单标题为核心的构造。进行下述独特的状态转移:从该顶级菜单标题转移到各个作品来进行再现,其后再次返回到顶级菜单标题。图17是盘内容中的状态转移的图。本图中的四方框是Title。所谓Title,是在盘内容特有的状态转移中与1个“状态”相当的再现单位,该标题被看作Java(注册商标)应用的生命周期来处理。
在Title中,有装入BD-ROM时首先再现的“FirstPlayTitle”、构成Top-Menu(顶级菜单)的“Top_menuTitle”、其他一般的“Title”。此外,图中的箭头jh1、2、3、4、5、6、7、8象征性地表示Title间的转移。本图所示的所谓状态转移,是在装入BD-ROM时再现“FirstPlayTitle”,发生向“Top_menuTitle”的转移,等待对顶级菜单的选择。
如果用户对顶级菜单进行了选择操作,则根据选择来再现该Title,再次返回到TopMenu Title;不断地重复进行上述处理,直至弹出BD-ROM,这是盘内容特有的状态转移。
那么,在进行图17那样的状态转移的盘内容中,Title如何被规定为生命周期呢?假设在装入了BD-ROM后,按图17中箭头jh1、2、3、4……所示的参照标号的数值顺序来进行转移,弹出了BD-ROM。这样,装入BD-ROM后,能够将弹出之前的连续时间带看作一根时间轴。将该时间轴设为整个盘的时间轴。图18(a)是整个盘的时间轴的图,图18(b)示出该时间轴的结构。如图18(b)所示,整个盘的时间轴由再现FirstPlay Title的区间、再现TopMenu Title的区间、再现title#1的区间等组成。至于这些Title的再现区间如何规定,则由于Title由唯一的BD-J Object构成,所以可以将某个MovieObject或BD-J Object有效的期间看作Title的再现区间。
即,FirstPlay Title、TopMenu Title、其他Title都由动态脚本构成,所以可以将构成Title的BD-J Object中的某个作为当前BD-J Object来激活、在再现装置内供解释·执行的期间定义为Title的再现区间。图19(a)是在整个BD-ROM的时间轴上、由标识符bobj_id确定的BD-J Object所确定的标题再现区间的图。这里,如果由标识符bobj_id确定的BD-J Oject构成1个Title,则可以将由该标识符bobj_id确定的BD-J Oject有效的BD-ROM时间轴上的一个区间看作Title的再现区间。
这里,BD-J Object被激活的期间的期间终点是到进行Title转移为止。即,在进行Title转移之前,作为执行的对象的动态脚本被作为当前BD-JObject处理,所以将在该BD-J Object中发生JumpTitle之前的1个区间看作Title区间。
接着说明Title区间和PL时间轴之间的关系。如上所述,在MovieObject、BD-J Object中,可以描述播放列表再现过程作为1个处理过程。如果有播放列表再现过程的描述,则上述PL时间轴的全部或一部分就归属于Title区间。假设在图19(a)的一例中,在BD-J Object中描述了播放列表管理表。在此情况下,如图19(b)所示,PL时间轴归属于与BD-J Object对应的Title区间。在该PL时间轴上,还可定义多个章节(Chapter#1,#2,#3),所以在BD-ROM上的时间轴上,存在整个BD-ROM-Title-播放列表—章节这些域(domain)。可以用这些域来描述应用的生命周期。其中,再现播放列表与执行应用同时进行,所以有时在再现播放列表的途中发生Title转移。在此情况下,不是整个播放列表时间轴,而是只有播放列表时间轴的一部分归属于1个Title再现区间。即,整个播放列表、还是其一部分归属于1个Title的再现区间,这根据何时发生Title转移来变化。
图20是图19(b)的时间轴上规定的生命周期的典型的图。如本图所示,在应用中,有下述3个典型:将Title作为生命周期的“标题边界应用(titleboundary application)”、将Title内的章节作为生命周期的“章节边界应用(chapter boundary application)”、将整个BD-ROM的时间轴作为生命周期的“标题无边界应用(title unboundary application)”。
其中,标题边界应用的生命周期可以用该标题的标识符来定义。而章节边界应用的生命周期可以用章节所属的标题的标识符、和该章节的标识符的组来定义。
即使平台进行了动作,如果Title或章节这样的生命周期结束,则也可以从应用回收资源。由于能保证资源回收的机会,所以能够稳定平台的动作。
将近期的将来可能实施的盘内容选为题材,结合具体例来说明应用管理表中的生命周期描述。这里,作为题材的盘内容包含构成电影正片的正片标题(title#1)、构成在线购物的在线购物标题(title#2)、构成游戏应用的游戏标题(title#3)这3个性质不同的标题。图21是包含正片标题、在线购物标题、游戏标题这3个标题的盘内容的图。在本图中的右侧描述了Index.bdmv,在左侧描述了3个标题。
右侧的虚线框表示各应用属于哪个标题这一归属关系。3个标题中的title#1由application#1、application#2、application#3这3个应用组成。title#2包含application#3、application#4这2个应用,title#3包含application#5。在图21的一例中,application#3由title#1、title#2双方来运行。
根据图21的虚线所示的归属关系将各应用的生命周期图表化时,则如图22(a)所示。在本图中,横轴是标题再现区间,在纵轴方向上布置了各应用的生命周期。这里,application#1、application#2只归属于title#1,所以它们的生命周期仅限于title#1内。application#4只归属于title#2,所以它的生命周期仅限于title#2内。application#5只归属于title#3,所以它的生命周期仅限于title#3内。application#3归属于title3#1及title#2,所以它的生命周期跨title#1-title#2。如果根据该生命周期来描述应用管理表,则title#1、#2、#3的应用管理表如图22(b)所示。如果这样描述应用管理表,则在开始再现title#1时将application#1、application#2、application#3加载到工作存储器中。随后在开始title#2时,从工作存储器中删除application#1、application#2而只剩application#3。与此同样可进行下述控制:在开始再现title#2时将application#4加载到工作存储器中,在开始title#3时,从工作存储器中删除application#3、#4。
再者,可进行下述控制:在title#3的再现中将application#5加载到工作存储器中,在title#3的再现结束时,从工作存储器中删除application#5。
在有标题间转移的情况下,也只要将在转移源—转移目标中生存着的应用保存到工作存储器上,将转移源中没有、只存在于转移目标的应用读入到工作存储器中即可,所以将应用读入到工作存储器中的次数为所需最低数。这样,通过减少读入次数,能够实现不使人意识到标题的边界的应用、即无边界(アンバウンダリ)的应用。
接着更详细地说明应用的运行属性。在运行属性中,有表示自动运行的“AutoRun”,表示虽然不是自动运行的对象、但是可以放在虚拟机的工作存储器中的“Present”,虽然能放在虚拟机的工作存储器中、但是不能分配CPU性能(power)的“Suspend”。
“AutoRun”是表示与对应的标题的转移同时、将该应用读入到工作存储器中、而且执行的属性。如果有从某个标题到另一个标题的转移,则进行应用管理的管理主体(应用管理器)将在该转移目标标题中生存着的、而且运行属性被设定为AutoRun的应用读入到虚拟机的工作存储器中并执行。由此,该应用与标题转移一起自动被运行。
运行属性“Present”是继续属性,表示继续转移源title中的应用的状态。此外,是表示可以执行对应的应用的属性。在运行属性是“Present”的情况下,被赋予了该运行属性的应用被允许从其他应用调用。如果从运行中的应用进行了调用,则进行应用管理的管理主体(应用管理器)判断是否该应用的applicationID在应用管理表中被描述、运行属性是“Present”。如果是“Present”,则将该应用加载到工作存储器中。而在该被调用应用的applicationID在应用管理表中未被描述的情况下,不将该应用加载到工作存储器中。应用进行的调用限于被赋予了该“Present”的应用。“Present”是未明确指定运行属性的情况下赋予的缺省的运行属性,所以在某个应用的运行属性是未指定“——”的情况下,表示该应用的运行属性是该Present。
所谓“Suspend”,是指虽然分配了资源,但是应用被置于未分配CPU性能的状态。这种Suspend在实现例如在游戏标题的执行中经由侧道(サイドパス)这一处理时有意义。
图23是运行属性可取的三态(Present、AutoRun、Suspend)、紧挨着的前面的标题中的应用状态的三态(未运行、运行中、Suspend)可取的组合的图。在紧前面的状态是“未运行”的情况下,如果运行属性是“AutoRun”,则在转移目标标题中该应用被运行。
如果紧前面的状态是“未运行”、运行属性是“Present”、“Suspend”,则在转移目标标题中该应用什么也不做,继续原状态。
在紧前面的状态是“运行中”的情况下,如果运行属性是“Present”、“AutoRun”,则在转移目标标题中该应用什么也不做,继续原状态。
如果运行属性是“Suspend”,则应用的状态被变为Suspend。在紧前面的状态是“Suspend”的情况下,如果转移目标标题的运行属性是“Suspend”,则维持Suspend。如果是“Present”或“AutoRun”,则在转移目标标题中恢复该应用。通过在应用管理表中定义生命周期及运行属性,能够进行使Java(注册商标)应用沿标题再现区间的进行而动作的同步控制,能够将伴有影像再现和程序执行的各种各样的应用实现。
其中,在紧前面的状态是“Suspend”、转移目标标题的运行属性是“Present”的情况下,也可以维持紧前面的状态、即挂起状态。
最后,说明各应用的“运行优先级”。
该运行优先级取0~255的值,成为应用管理器在存储器资源枯竭时、或CPU负担增高时进行强制性地结束哪个应用、并且从哪个应用那里夺取资源的处理时的判断依据。在此情况下,应用管理器进行结束运行优先级低的应用的动作、使运行优先级高的应用继续动作这一处理。
此外,运行优先级也用于对再现中播放列表的请求有竞争的情况下的应用间的仲裁。这里,假设某个应用快进某个播放列表。这里,如果别的应用请求暂停该播放列表,则比较赋予给这些应用的运行优先级。如果命令了快进的应用的运行优先级高,则继续该应用进行的快进。相反,如果命令暂停的应用的运行优先级高,则暂停快进中的播放列表。
用以上的生命周期·运行属性·运行优先级,能够在创作时规定将虚拟机上可动作的应用的数目限制在规定数以下。因此,能够保证应用的稳定动作。
<播放列表管理表>
以上是对应用管理表的说明。接着说明播放列表管理表(PLMT)。所谓播放列表管理表,是表示在应用的生命周期中,应与各应用的执行同时进行的再现控制的表。应用的动作不稳定,可能有运行的失败或异常结束。因此,作为运行失败、异常结束的情况下的Fail Safe(故障保险)机构,在本实施方式中,为应用的每个生命周期,设有播放列表管理表。播放列表管理表是规定在某个应用的生命周期开始时应与其同时进行的再现控制的信息。该所谓再现控制,是基于播放列表信息的AVClip再现,通过同时进行基于播放列表信息的再现控制,能同时进行应用执行和播放列表再现。虽然假设为应用的每个生命周期设有播放列表管理表,但是设有播放列表管理表的应用限于标题边界的应用。这是因为,标题无边界应用将全部标题作为生命周期,所以不适合与应用的执行同时来进行播放列表再现。
章节边界应用在从1个播放列表内的章节起开始执行应用这一前提下规定了生命周期,所以无需规定播放列表再现。由以上事实可知,播放列表管理表被定义为由1个以上的Title组成的生命周期。
图24(a)是播放列表管理表的内部结构的图。如本图所示,播放列表管理表由“PL_id_ref”和“Playback_Attribute”组成。
图24(b)是构成播放列表管理表的信息元素的意义内容的图。
“PL_id_ref”通过描述对播放列表标识符的“参照值”,来表示在应用的生命周期中可再现的播放列表是哪个。播放列表标识符用文件YYYYY.MPLS中作为文件名而赋予的5位数值YYYYY来表现。通过描述该YYYYY,“PL_id_ref”表示在对应的Title中可再现的播放列表是哪个。
“Playback_Attribute”是仿照了应用管理表中的运行属性的属性。是规定在标题开始时如何再现“PL_id_ref”中描述的播放列表的再现属性。在对于播放列表的再现属性中,有“AutoPlay”、“Present”等种类。
所谓“AutoPlay”,是表示与对应的标题的转移同时来再现该播放列表的属性。如果有从某个标题向别的标题的转移,则进行应用管理的管理主体(应用管理器)开始在该转移目标标题中可再现、而且再现属性被设定为AutoPlay的播放列表的再现。由此,运行属性被设定为AutoPlay的播放列表与标题转移一起自动被运行。
所谓“Present”,与运行属性中的Present同样,是继续属性,表示继续转移源title中的播放列表的状态。此外,是表示可以再现对应的播放列表的属性。例如假设有连续再现的2个Title,在前一标题的播放列表管理表中,某个播放列表的再现属性被设定为AutoPlay,在当前标题的播放列表管理表中,该播放列表的再现属性被设定为Present。这里,假设播放列表的再现时间是2个小时长,其中在经过了1个小时的时刻发生了转移。在此情况下,在当前标题中,再现属性被设定为Present,所以在当前标题中,该播放列表从1个小时这一已再现区间的后面起被再现。如果这样将再现属性设定为Present,则在有Title间的转移的情况下,也能够从其剩余的部分起开始播放列表再现。由此,在相互转移的一系列Title中,能够容易地实现再现共用的播放列表这一“标题间的播放列表再现的共用化”。此外,在有多个转移目标标题的情况下,如果将这多个标题的再现属性都设为Present,则不管转移到多个中的哪个,都能够继续1个共用的播放列表再现。
其中,Title的边界也可以不保证无缝再现,所以在如上所述想要在多个Title间再现1个播放列表的情况下,允许在转移前后中断播放列表再现。
此外,在再现属性是“Present”的情况下,被赋予了该再现属性的播放列表根据来自其他应用的再现请求被再现。如果从运行中的应用发出了再现播放列表的请求,则进行应用管理的管理主体(应用管理器)判断是否受到请求的播放列表的PL_id_ref在播放列表管理表中有描述、再现属性是“AutoPlay”或“Present”中的某一个。如果是“AutoPlay”或“Present”中的某一个,则再现该播放列表。而在受到请求的播放列表的PL_id_ref在播放列表管理表中未描述的情况下,不再现该播放列表。根据应用的请求来再现播放列表限于被赋予了该“AutoPlay”或“Present”中的某一个的播放列表。“Present”是未明确指定再现属性的情况下赋予的缺省的再现属性,所以如果某个播放列表的再现属性是未指定“——”,则表示该播放列表的再现属性是该Present。
图25示出用播放列表管理表、应用管理表规定的标题的具体例。图25的第1层表示Title的再现影像,第2层表示Title的时间轴。第3层表示用PLMT规定了再现的播放列表,第4层表示应用执行。在第4层中,application#1随着Title的开始被运行,其后,在时刻t1成为动作状态。另一方面,PlayList#1随着Title的开始被开始再现。PlayList#1的再现在与Title的开始相同的时刻开始,所以如第1层的左侧所示,在从Title的再现刚刚开始之后、到应用成为动作状态的启动延迟中,播放列表的再现图像gj1被全屏显示。通过将播放列表管理表的再现属性设定为“AutoPlay”,即使Java(注册商标)应用成为动作状态为止花费了5~10秒这一时间,在此期间,也处于“暂且显示了些东西的状态”。用该“暂且显示了些东西的状态”能够补偿开始执行标题时的启动延迟。
另一方面,application#1在时刻t1成为动作状态,所以将播放列表再现图像作为子画面、将应用的执行图像作为母画面而成的合成图像gj2在时刻t1被显示。应用的执行图像是布置了Start(开始)按钮、continue(继续)按钮、POWER(电源)指示器的游戏用的GUI框架,通过使Java(注册商标)执行这种GUI框架的绘制处理来显示。
能够构成这种将播放列表的再现影像、和Java(注册商标)应用的GUI框架组合而成的再现影像的标题,是PLMT的特征。
图26是当前标题可取的三态(无播放列表管理表(i)、有播放列表管理表而且AutoPlay(ii)、有播放列表管理表而且未指定(iii))、和紧挨着的前面的标题中的播放列表的状态(未再现状态、再现中状态)可取的6种组合的图。
在本图中的6种组合中的“紧挨着的前面的状态=未再现状态”、“当前标题=有播放列表管理表,而且当前标题的再现属性=AutoPlay”的组合中,转移目标标题中的播放列表的再现自动开始。
此外,在“紧挨着的前面的状态=再现中状态”和“当前标题=无播放列表管理表”的组合中,转移目标标题中的播放列表的再现自动停止。
这2种组合以外全部是继续前一标题的状态。根据播放列表管理表来开始再现播放列表,仅限于在转移源标题中是未再现状态、在转移目标标题中被赋予了AutoPlay属性的情况,所以无需每当发生标题的转移就开始再现播放列表。即使发生了许多标题间的转移,也能够使开始再现播放列表的次数为所需最低数。
下面参考图27(a)来说明播放列表管理表及应用管理表的描述例。这里设想的具体例是2个连续的Title(title#1、title#2),在其中的title#1中,作为AutoRun应用,描述了application#1、application#2。在title#2中,作为AutoRun应用,描述了application#2、application#3。另一方面,假设在title#1的播放列表管理表中,作为AutoPlay播放列表,描述了PlayList#1;在title#2的播放列表管理表中,作为AutoPlay播放列表,描述了PlayList#2。图27(b)是表示如何根据如图27(a)所示描述的应用管理表、播放列表管理表来进行播放列表再现、应用执行的图。
在title#1中如上所述设定了应用管理表、播放列表管理表,所以在开始title#1时自动运行application#1、application#2,自动开始再现PlayList#1。
在title#2中如上所述设定了应用管理表、播放列表管理表,所以使虽然在title#1侧有记载、但是在title#2侧没有记载的application#1的执行停止。同样,也使在title#1侧有记载、但是在title#2侧没有记载的PlayList#1的再现也停止。
在title#1侧没有记载、但是在title#2侧有记载的PlayList#2、application#3自动开始再现及执行。如果有标题转移,则可以以该转移为机会,将应再现的播放列表切换到其他播放列表。通过这样采用应用管理表、播放列表管理表,能够在创作阶段规定以转移为机会来切换播放列表再现这一处理。
此外,在图27中,向application#1、application#2、application#3分别给予了200、128、200的运行优先级。通过赋予这些运行优先级,能够进行对PlayList#1、PlayList#2的控制请求有竞争的情况下的仲裁。这里假设application#1命令PlayList#1快进。另一方面,假设application#2请求暂停。在此情况下,由于在应用管理表中规定了对于各应用的运行优先级,所以能根据该运行优先级对两个应用进行仲裁。其结果是,能够在创作时规定驳回application#2的请求、继续application#1的控制这一处理。通过与播放列表管理表一起来利用运行优先级,也能够使再现装置进行在对播放列表的控制有竞争的情况下的仲裁。
下面说明播放列表管理表描述的另一具体例。图28(a)是播放列表管理表的另一描述例的图。本图中设想的是,在2个连续的标题(title#1、title#2)中,在title#1侧的播放列表管理表中,作为AutoPlay播放列表,描述了PlayList#1,作为可再现的播放列表,描述了PlayList#2;而在title#1侧的应用管理表中,作为AutoPlay应用,描述了application#1,作为可执行的应用,描述了application#2。另一方面,在title#2侧的播放列表管理表中,作为可再现的播放列表,描述了PlayList#2、PlayList#3;在应用管理表中,作为AutoRun应用,描述了application#3。图28(b)是根据图28(a)的例子来进行应用执行及播放列表再现的图。在title#1的应用管理表中,作为AutoRun应用,描述了application#1,所以在开始title#1时自动运行application#1。另一方面,在title#1的应用管理表中,作为可执行的应用,描述了application#2,所以通过来自application#1的调用yd1来运行application#2。
在title#2侧的应用管理表中application#1、application#2为非生存,而作为AutoRun应用,描述了application#3。因此,在title#1-title#2的边界部,进行停止application#1、application#2、自动运行application#3这一处理。参考播放列表管理表可知,title#1侧的播放列表管理表描述了PlayList#1、PlayList#2可再现,其中PlayList#1为AutoPlay属性。因此,PlayList#1在开始title#1时自动被再现。
在title#1侧的播放列表管理表中,描述了除了PlayList#1之外,PlayList#2可再现,所以application#1通过停止再现PlayList#1,而请求再现PlayList#2,能够执行播放列表交替。
在title#2侧的播放列表管理表中,作为可再现的播放列表,描述了PlayList#2、PlayList#3。此外,没有被赋予了AutoPlay属性的播放列表。因此,假定在开始title#1时自动再现的PlayList#1的再现持续到title#2,PlayList#1的再现也自动结束。
但是,如果在PlayList#2再现继续的状态下到达title#2,则PlayList#2再现在title#2开始以后也继续。在title#2的播放列表管理表中,作为可再现的播放列表,描述了PlayList#2、PlayList#3。因此,在title#2中成为执行中的application#3通过停止再现PlayList#2,取而代之请求再现PlayList#3,能够交替再现中的播放列表。
如果如上所述将播放列表管理表的再现属性设定为“AutoPlay”,则即使Java(注册商标)应用的运行花费了5~10秒这一时间,在进行该运行的期间,也处于“暂且显示了些东西的状态”。在开始执行标题时,即使应用运行花费了时间,画面也处于“暂且显示了些东西的状态”。由此,能够补偿由于运行应用花费时间而造成的启动延迟的延长。
通过定义应用管理表及播放列表管理表,能够进行使Java(注册商标)应用沿标题再现区间的进展来动作的同步控制,能够将伴有影像再现和程序执行的各种各样的应用实现。
<声音管理表>
以下说明声音管理表(SMT)。
图29是SMT的内部结构的图。如本图所示,声音管理表包含Mixing_On标志。所谓Mixing_On标志,是通过被设定为0或1、来表示使混音有效还是无效的标志。所谓“有效”,是指对音频流的再现声音进行了混合后输出;所谓“无效”,是指直接输出音频流的再现声音。
在Mixing_On标志被设定为1(ON)的情况下,表示将基于文件sound.bdmv的点击声混合到用属于同一BD-J Object的PLMT再现的播放列表的再现声音中。
在Mixing_On标志被设定为0(OFF)的情况下,表示不将基于文件sound.bdmv的点击声混合到用属于同一BD-J Object的PLMT再现的播放列表的再现声音中。
可以以Java(注册商标)应用的生命周期为单位、即以标题为单位来规定是否混合基于文件sound.bdmv的点击声。而将该Mixing_On标志设定为何种值,与该播放列表具有的STN_Table的设定内容相应。
图30(a)(b)是STN_Table中的音频流的entry-attribute、和Mixing_On标志的设定之间的因果关系的图。在图30(a)中,如果entry-attribute中的audio_presentation_type表示“多声道”,则Mixing_On标志被设定为0(OFF)。在图30(b)中,如果entry-attribute中的audio_presentation_type表示“非多声道”,则Mixing_On标志被设定为1(ON)。通过进行以上那样的设定,在同时执行再现“多声道”的播放列表(PlayItem)和应用的情况下,能够使与再现装置中的声音再现的混合无效;而在同时执行再现“非多声道”的播放列表(PlayItem)和应用的情况下,能够使与再现装置中的声音再现的混合有效。
以下,说明对图27(a)中的声音管理表的一例如何进行再现。假设图27(a)中的Title#1、#2中的Title#1的Mixing_On标志表示使与声音再现的混合有效,Title#2中的声音管理表#2的Mixing_On标志表示使与声音再现的混合无效。
再者,假设在再现Title#1时,输出了图25所示的GUI框架、和播放列表的再现影像。用户经遥控器如图31所示操作了该GUI框架中的按钮。在此情况下,如果绘制了该GUI框架的Java(注册商标)应用的应用管理表、和属于同一BD-J Object的声音管理表被设定为Mixing_On标志=1,则文件sound.bdmv中的声音数据被混合到播放列表的再现声音中。
这里,如果播放列表的再现声音是电影剧中的BGM,文件sound.bdmv中的声音数据是“开始游戏了!”这一语音引导,则该电影剧中的BGM和语音引导被混合并输出。
再者,假设在再现Title#2时,输出了与图25不同的GUI框架和播放列表的再现影像。此外,假设用户经遥控器如图32所示操作了该GUI框架中的按钮。在此情况下,如果绘制了该GUI框架的Java(注册商标)应用的应用管理表、和属于同一BD-J Object的声音管理表被设定为Mixing_On标志=0,则文件sound.bdmv中的声音数据不被混合到播放列表的再现声音中。这里,如果播放列表的再现声音是电影剧中的多声道的BGM,则只输出该电影剧中的BGM。
<Mixing_On标志的意义>
即使在想要再现的AVClip上复用了5.1Ch的环绕声的音频流、和单声道的音频流,在PlayItem的STN_Table中允许再现该单声道的音频流、不允许再现5.1Ch的环绕声的音频流的情况下,也能够将与该PlayItem对应的Mixing_On标志设为ON,执行与点击声的混合。通过这样做,即使5.1Ch的环绕声的音频流、和单声道的音频流构成了同一AVClip,在用不许再现5.1Ch的环绕声的PlayItem来再现该AVClip这样的情况下,也能够执行再现该PlayItem时的点击声的混合。
如果考虑以上事实,则在将希望混合点击声的标题、和不希望混合的标题记录到1个BD-ROM上的情况下,无需将具有5.1Ch的环绕声的AVClip、和具有单声道的AVClip分开地记录到BD-ROM上。
如果只将1个复用了5.1Ch的环绕声和单声道的AVClip记录到BD-ROM上,记录允许再现5.1Ch的环绕声的音频流的PlayItem信息、和不允许再现5.1Ch的环绕声的音频流的PlayItem信息,则能够用1个BD-ROM来提供希望混合点击声的标题、和不希望混合的标题。
由于不用增多AVClip的数目,就能够制作不希望混合点击声而希望充实音响方面的标题、和希望混合点击声并希望充实对话方面的标题这两者,并提供给用户,所以制作工作室的工时减少,能够提高电影制作的效率。
<Movie Object、Java(注册商标)应用之间的关系>
在HDMV模式下的Movie Object中未包含希望发出点击声的导航命令、在BD-J模式下的Java(注册商标)应用中未包含希望发出点击声的字节码的情况下,即,在应用明确不进行点击声再现的情况下,Mixing_On标志被设定为0(OFF)。相反,在存在希望发出点击声的导航命令或字节码的情况下,Mixing_On标志被设定为1(ON)。通过进行以上那样的设定,在同时执行不再现点击声的应用、和再现音频的PlayItem的情况下,能够使再现装置中的混合无效;而在同时执行再现点击声的应用、和再现音频的PlayItem的情况下,能够使再现装置中的混合有效。
以上是对记录介质的说明。接着说明本发明的再现装置。
图33是本发明的再现装置的内部结构的图。本发明的再现装置根据本图所示的内部结构,来工业生产。本发明的再现装置主要由系统LSI和驱动器装置这2个部分组成,可以通过将这些部分安装到装置的机箱及电路板上来工业生产。系统LSI是集成了起再现装置的功能的各种各样的处理部的集成电路。这样生产的再现装置由BD-ROM驱动器1、读缓冲器2、解复用器3、视频解码器4、视频平面5、声音处理器6、声音处理器7、混音器8、声音控制器9、D/A转换器10、Interactive Graphics解码器11、Interactive Graphics平面12、Presentation Graphics解码器13、PresentationGraphics平面14、JPEG解码器15、Still平面16、合成部17、STC-delta附加部18、ATC-delta附加部19、局部储存器20、指令ROM 21、用户事件处理部22、PSR组23、CPU 24、脚本存储器25、局部存储器26构成。
首先,说明与再现BD-ROM上记录着的AVClip有关的构成要素(BD驱动器1~音频解码器6)。
BD-ROM驱动器1装入/弹出BD-ROM,执行对BD-ROM的访问。
读缓冲器2是FIFO存储器,先入先出式地保存从BD-ROM上读出的TS包。
解复用器(De-MUX)3从读缓冲器2中取出Source包,并将构成该Source包的TS包变换为PES包。然后将通过变换得到的PES包中的、具有STN_Table中记载的PID的PES包输出到视频解码器4、音频解码器6、Interactive Graphics解码器11、Presentation Graphics解码器13中的某一个。
视频解码器4对从解复用器3输出的多个PES包进行解码而得到非压缩形式的图片并写入到视频平面5上。
视频平面5是用于保存非压缩形式的图片的平面。所谓平面,是再现装置中用于保存一个画面的像素数据的存储区域。视频平面5的分辨率是1920×1080,该视频平面5上保存的图片数据由用16位的YUV值表现的像素数据构成。在视频平面5上,能够缩放(scaling)视频流中的每一帧的再现影像。所谓缩放,是将每一帧的再现图像变化到整个视频平面5的1/4(称为quarter)、1/1(称为full scale)中的某一个。由于在BD-J模式下根据来自CPU 24的指示来执行这种缩放,所以能够进行将视频流的再现图像安排到画面的角落、或者满屏显示这样的画面显示。
声音处理器6包含:解码缓冲器(DB)6a,在PID过滤器3输出构成音频流的PES包时,保存该PES包;和音频解码器6b,对该缓冲器中保存着的PES包进行解码,并输出PCM状态的音频数据。
声音处理器7包含:预加载存储器7a,预加载从BD-ROM上读出的文件sound.bdmv;和音频解码器7b,对预加载的文件sound.bdmv中的多个声音数据中的、由CPU 24指示的声音数据进行解码,并输出PCM状态的音频数据。向预加载缓冲器7a的预加载最好在装入BD-ROM时或切换标题时进行。这是因为,如果想要在AVClip的再现中读出文件sound.bdmv,则发生用于读出与AVClip不同的文件的光拾取器的寻道(seek)。另一方面,在装入BD-ROM时或切换标题时,AVClip的再现很少继续,所以通过在这样的定时读出文件sound.bdmv,能够保证AVClip再现不中断。
混音器8混合从声音处理器6及声音处理器7输出的PCM状态的声音数据。在混合时,混音器8为了使采样频率和声道数一致,进行将从声音处理器6输出的声音的属性变换为从声音处理器7输出的音频属性这一处理。该混音器8进行的混音通过用CPU 24解释希望发出点击声的导航命令、或希望发出点击声的字节码来进行。
声音控制器9切换输出从混音器8输出的展开状态的音频数据、及未经声音处理器6的压缩状态的音频数据中的哪一个。该声音输出经S/PDIF或HDMI输出到电视机400或放大器500。在输出压缩状态的音频数据的情况下,在其输出目的地的电视400及放大器500中被解码。
D/A转换部10对从混音器8输出的数字的音频数据进行D/A转换,并输出模拟音频。
I-Graphics解码器(IG解码器)11对从BD-ROM或局部储存器20上读出的IG流进行解码,并将非压缩图形写入到Interactive Graphics平面12上。
Interactive Graphics(IG)平面12在HDMV模式下被写入由I-Graphics解码器10解码得到的非压缩图形。而在BD-J模式下,被写入由应用绘制的字符或图形。
P-Graphics解码器13对从BD-ROM或局部储存器20上读出的PG流进行解码,并将非压缩图形写入到Presentation Graphics平面14上。通过P-Graphics解码器13进行的解码,字幕出现在画面上。
Presentation Graphics平面14是具有一个画面的区域的存储器,能够保存一个画面的非压缩图形。
JPEG解码器15对BD-ROM或局部储存器20上记录着的JPEG数据进行解码,并写入到Still平面16上。
Still平面16是保存通过展开JPEG数据而得到的非压缩的图形数据的平面。该图形数据被用作Java(注册商标)应用绘制的GUI框架的所谓的“壁纸”。
合成部17得到合成了Interactive Graphics平面12的保存内容、Presentation Graphics平面14的保存内容、视频平面5的保存内容、以及Still平面16的保存内容的合成图像。
STC_delta附加部18生成System Time Clock(STC)。在切换STC_Sequence时,通过将以前的STC_Sequence中的STC值(STC1)加上称为STC_delta的偏移值来求新的STC_Sequence的STC值(STC2),并将以前的STC_Sequence中的STC值(STC1)、和新的STC_Sequence的STC值(STC2)变为连续的值。
在之前的STC_Sequence中最后再现的图片的显示开始时刻为PTS1(1stEnd)、图片的显示期间为Tpp、后续STC_Sequence中最先显示的图片的开始时刻为PTS2(2ndSTART)的情况下,STC_delta可表现为
STC_delta=PTS1(1stEND)+Tpp-PTS2(2ndSTART)。如上所述求STC_delta,将加上了它的时钟的计数值输出到各解码器。由此,各解码器能够不中断地再现与2个STC_Sequence相当的流。通过以上,即使在1个AVClip中存在2个以上的STC_Sequence,并且即使应连续再现的2个以上的AVClip分别具有不同的STC_Sequence,也能够无缝地执行这些STC_Sequence间的解码处理。
此外,为了满足缓冲的连续性,满足以下的1)、2)即可。
1)满足STC2(2ndSTART)>STC2(1stEND),
这里,STC2(1stEND)是将STC1(1stEND)投影到STC2的时间轴上所得的值,用STC2(1stEND)=STC1(1stEND)-STC_delta这一计算式来给出。
2)从TS1中取出TS包、和从TS2中取出TS包由投影到同一时间轴上的STC1和STC2来定义,应该不引起缓冲器的下溢或上溢。
ATC_delta附加部19生成Arrival Time Clock(到达时钟)(ATC)。在切换STC_Sequence时,通过将以前的ATC_Sequence中的ATC值(ATC1)加上称为ATC_delta的偏移值,而将以前的ATC_Sequence中的ATC值(ATC1)、和新的ATC_Sequence的ATC值(ATC2)变为连续的值。通过该加法,ATC2=ATC1+ATC_delta。所谓ATC_delta,是指从以前读出的传输流(TS1)的最后TS包的输入时刻T1、到新读出的传输流(TS2)的最初TS包的输入时刻T2的偏移值,用“ATC_delta≥N1/TS_recording_rate”这一计算式来给出。这里,输入时刻T2表示将TS2的最初TS包的输入时刻投影到TS1的时间轴上所得的时刻。此外,N1是TS1的最后的视频PES包的后续的TS包的包数。在BD-ROM上,这种ATC_delta在Clip信息中被描述,所以通过采用它,能够计算ATC_delta。通过以上的计算,能够将以前的ATC_Sequence具有的ATC值(ATC1)、和新的ATC_Sequence具有的ATC值(ATC2)变为连续的值。通过将加上了ATC_delta的时钟的计数值输出到解复用器(De-MUX)3,能够实现无缝的缓冲控制。
以上是关于AVClip再现的构成要素。接着说明关于BD-J模式下的动作的构成要素(局部储存器20~局部存储器26)。
局部储存器20是用于与元数据一起保存从web站点下载的内容等从BD-ROM以外的记录介质、从通信媒体提供的内容的硬盘。该元数据是用于将下载内容绑定在局部储存器20上来管理的信息,通过访问该局部储存器20,BD-J模式下的应用能够进行利用了下载内容长度的各种各样的处理。
接着,说明再现装置中的实现综合控制的构成要素(指令ROM 21~局部存储器26)。
指令ROM 21存储着规定再现装置的控制的软件。
用户事件处理部22按照对遥控器或再现装置的前面板的键操作,将进行该操作的用户事件输出到CPU 24。
PSR组23是再现装置中内置的寄存器,由64个Player Status Register(播放器状态寄存器)(PSR)、和4096个General Purpose Register(通用寄存器)(GPR)组成。Player Status Register的设定值(PSR)中的PSR4~PSR8被用来表现当前的再现时刻。
PSR4通过被设定为1~100的值,来表示当前的再现时刻所属的标题;通过被设定为0,来表示当前的再现时刻是顶级菜单。
PSR5通过被设定为1~999的值,来表示当前的再现时刻所属的章节号;通过被设定为0xFFFF,来表示在再现装置中章节号无效。
PSR6通过被设定为0~999的值,来表示当前的再现时刻所属的播放列表(当前PL)的号码。
PSR7通过被设定为0~255的值,来表示当前的再现时刻所属的PlayItem(当前Play Item)的号码。
PSR8通过被设定为0~0xFFFFFFFF的值,来用45KHz的时间精度表示当前的再现时刻(当前PTM(Presentation TiMe))。用以上的PSR4~PSR8,能够在图18(a)中的整个BD-ROM的时间轴上确定当前的再现时刻在哪里。
CPU 24执行指令ROM 21中保存着的软件,来执行整个再现装置的控制。该控制的内容按照从用户事件处理部22输出的用户事件、及PSR组23中的各PSR的设定值来动态变化。
脚本存储器25是用于保存当前的PL信息或当前的Clip信息的存储器。所谓当前PL信息,是指BD-ROM上记录着的多个播放列表信息中的作为当前处理对象的播放列表信息。所谓当前Clip信息,是指BD-ROM上记录着的多个Clip信息中的作为当前处理对象的Clip信息。
由于从BD-ROM的读出是低速的,所以局部存储器26是用于暂时保存BD-ROM的记录内容的高速缓冲存储器。由于存在这种局部存储器26,所以BD-J模式下的应用执行的效率提高。
以上是本实施方式的再现装置的硬件结构。接着说明本实施方式的再现装置的软件结构。
图34是将由ROM 24中保存的软件和硬件组成的部分置换为层结构而绘制的图。如本图所示,再现装置的层结构由以下的a)、b)、c)组成。即,由
a)BD Player Device(BD播放器设备)的第1层次、
b)BD Player Model(BD播放器模型)的第2层次、
c)Application Runtime Environment(应用运行期环境)的第3层次组成。
这些层次中的图34所示的再现装置的硬件结构属于第1层次。在本图的第1层次“BD Player Device”中,包含与图34所示的硬件结构中的视频解码器4、音频解码器6、IG解码器11、PG解码器13相当的“解码器”、和与视频平面5、IG平面12、PG平面14相当的“平面”、BD-ROM及其文件系统、局部储存器20及其文件系统。
第2层次“BD Player Model”由以下的b1)、b2)的层组成。即,
b2)Playback Control Engine 32的层、b1)Virtual File System(虚拟文件系统)30及Presentation Engine 31的层组成,向自身的上级的层次提供功能API。
第3层次“Application Runtime Environment”由以下的c1)、c2)组成。即,由
c1)存在模块管理器34的层、
c2)存在BD-J平台35的层组成。
首先,说明属于第2层的Virtual File System 30~模块管理器34。
Virtual File System 30是用于与BD-ROM上的盘内容一体地处理局部储存器20中保存着的下载内容的虚拟的文件系统。这里,局部储存器20中保存着的下载内容包含SubClip、Clip信息、播放列表信息。该下载内容中的播放列表信息不管是BD-ROM及局部储存器20中的哪一个中存在的Clip信息,都能够指定,在这一点上与BD-ROM上的播放列表信息不同。在该指定时,Virtual File System 30上的播放列表信息无需用完整路径(フルパス)来指定BD-ROM或局部储存器20上的文件。这是因为,BD-ROM上的文件系统或局部储存器20上的文件系统被作为虚拟的1个文件系统(Virtual File System 30)来识别。因此,PlayItem信息中的Clip_Information_file_name通过指定与保存着Clip信息的文件的文件主体相当的5位数值,能够指定Virtual File System 30、BD-ROM上的AVClip。通过经Virtual File System 30读出局部储存器20的记录内容,与BD-ROM的记录内容动态组合,能够产生各种各样的再现的变化。将局部储存器20和BD-ROM组合而成的盘内容,被与BD-ROM上的盘内容对等看待,所以本申请中的“BD-ROM”也包含由局部储存器20+BD-ROM的组合组成的虚拟的记录介质。
Presentation Engine 31执行AV再现功能。所谓再现装置的AV再现功能,是从DVD播放器、CD播放器沿袭的传统的功能组,是开始再现(Play)、停止再现(Stop)、暂停(Pause On)、解除暂停(Pause Off)、解除Still(静止)功能(still off)、带速度指定的快进(Forward Play(speed))、带速度指定的倒退(Backward Play(speed))、切换声音(Audio Change)、切换副影像(SubtitleChange)、切换角度(Angle Change)等功能。为了实现AV再现功能,Presentation Engine 31控制视频解码器4、P-Graphics解码器13、I-Graphics解码器10、音频解码器6,以便对读出到读缓冲器2上的AVClip中的、与期望的时刻相当的部分进行解码。作为期望的时刻,通过对PSR8(当前PTM)所示的部位进行解码,能够在AVClip中再现任意的时刻。
再现控制引擎(Playback Control Engine(PCE))32执行对播放列表的再现控制功能(i)、PSR组23中的状态取得/设定功能(ii)等诸功能。所谓对播放列表的再现控制功能,是指根据当前PL信息及Clip信息来进行Presentation Engine 31进行的AV再现功能中的开始再现或停止再现。这些功能(i)~(ii)按照来自HDMV模块33~BD-J平台35的功能调用来执行。
模块管理器34保持从BD-ROM上读出的Index.bdmv,进行转移控制。该转移控制通过向构成当前标题的动态脚本发出Terminate(终止)事件、向构成转移目标标题的动态脚本发出Activate(激活)事件来进行。
以上是对Presentation Engine 31~模块管理器34的说明。接着说明BD-J平台35。
BD-J平台35是所谓的Java(注册商标)平台,采用了以Java(注册商标)虚拟机36为核心的结构。BD-J平台35除了上述Java(注册商标)2Micro_Edition(J2ME)Personal Basis Profile(PBP 1.0)、和GloballyExecutable MHP specification(GEM[1.0.2])for package media targets以外,还安装了BD-J Extention(扩展)。BD-J Extention包含为了将超越了GEM[1.0.2]的功能提供给BD-J平台而专门化了的各种各样的程序包(package)。
首先,说明作为BD-J平台35的核心的Java(注册商标)虚拟机36。
<Java(注册商标)虚拟机36>
图35是Java(注册商标)虚拟机36的内部结构的图。如本图所示,Java(注册商标)虚拟机36由图33所示的CPU 24、用户类加载器52、方法区域(method area)53、工作存储器54、线程55a、b…n、Java(注册商标)栈56a、b…n构成。
用户类加载器52从局部存储器26等中读出BDJA目录的Java(注册商标)存档文件中的类文件并保存到方法区域53中。该用户类加载器52进行的类文件读出,通过用应用管理器37指示用户类加载器52进行指定了文件路径的读出来进行。如果文件路径表示局部存储器26,则用户类加载器52将构成应用的Java(注册商标)存档文件中的类文件从局部存储器26中读出到工作存储器54中。如果文件路径表示Virtual File System 30上的目录,则用户类加载器52将构成应用的Java(注册商标)存档文件中的类文件从BD-ROM或局部储存器20中读出到工作存储器54中。应用的运行控制通过该用户类加载器52进行的类文件读出来实现。在指示读出的类文件不在局部存储器26中的情况下,用户类加载器52将读出失败通知给应用管理器37。
方法区域53保存用户类加载器52从局部存储器26中读出的类文件。
工作存储器54是所谓的堆区域(heap area),保存各种各样的类文件的实例(instance)。图34所示的应用管理器37是驻留在该工作存储器54中的驻留应用。在工作存储器54中,除了保存这些驻留型的实例之外,还保存与读出到方法区域53中的类文件对应的实例。该实例是构成应用的xlet程序。通过将这种xlet程序布置到工作存储器54中,应用变为可执行的状态。
在图34的层模型中,将该工作存储器54上的应用管理器37描绘在Java(注册商标)虚拟机36上,但是这不过是照顾到易懂性。应用管理器37及应用作为实例由线程55a、b…n来执行,这是现实性的描述。
线程55a、b…n是执行工作存储器54中保存着的方法的逻辑执行主体,将局部变量、或操作数栈中保存着的变量作为操作数来进行运算,将运算结果保存到局部变量或操作数栈中。图中的箭头ky1、ky2、kyn象征性地表示从工作存储器54向线程55a、b…n提供方法。物理上,执行主体CPU只有1个,而作为逻辑执行主体的线程在Java(注册商标)虚拟机36内最大可存在64个。在该64个这一数值内,可以新创建线程,也可以删除已有的线程,线程的动作数在Java(注册商标)虚拟机36的动作中可增减。线程的数目可以适当增加,所以也可以用多线程来并行执行1个实例,实现实例的高速化。在本图中,CPU 24和线程之间的对应关系设为1对多的关系,但是在CPU有多个的情况下,CPU和线程之间的对应关系可为多对多的关系。用线程55a、b…n来执行方法通过将构成方法的字节码变换为CPU 24的本机代码后发出到CPU 24来进行。对于该本机代码变换,脱离了本申请的重点,所以省略其说明。
Java(注册商标)栈56a、b…n与线程55a、b…n以1对1的比率存在,在内部具有程序计数器(图中的PC)和1个以上的帧。“程序计数器”表示在实例中当前正在执行哪个部分。“帧”是分配给对方法的1次调用的栈式的区域,由保存该1次调用时的变量的“操作数栈”、和被调用的方法使用的“局部变量栈(图中的局部变量)”组成。每进行1次调用,帧就被堆积到Java(注册商标)栈56a、b…n上,所以在某个方法递归地调用自身的情况下,也堆积1个该帧。
以上是对Java(注册商标)虚拟机的说明。
<应用管理器37>
应用管理器37是在Java(注册商标)虚拟机36内的工作存储器上动作的系统软件,每当发生标题转移时,指示Java(注册商标)虚拟机36运行在转移前标题中未执行、但在新的标题中具有AutoRun的运行属性的应用。与此同时,结束在转移前标题中执行了、但是不将新的标题作为生命周期的应用。这些运行控制及结束控制在参考了当前BD-J Object中的应用管理表后进行。
图36是应用管理器37根据BD-J Object中的应用管理表进行的处理的示意图。
图36中的☆1、☆2、☆3示意性地表示参考应用管理表(☆1)、指示Java(注册商标)虚拟机36运行应用(☆2)、指示Java(注册商标)虚拟机36读出Java(注册商标)存档文件(☆3)、加载定义Java(注册商标)应用的类文件的类(☆4、5、6)这一系列过程。Java(注册商标)虚拟机36根据该运行指示从局部存储器26中将xlet程序读出到工作存储器中。
图37是应用管理器37根据BD-J Object中的PLMT进行的处理的图。▽1表示参考BD-J Object中的PLMT,▽2表示指示Presentation Engine 31读出播放列表信息。
图37中的◎1、2、3、4示意性地表示经由Virtual File System 30来读出播放列表信息(◎1)、解释构成播放列表信息的PlayItem信息(◎2)、经由Virtual File System 30来读出Clip信息(◎3)、解释Clip信息(◎4)。如果经过以上的过程解释出Clip信息、播放列表信息,则将构成AVClip的TS包通过Virtual File System 30转交给Presentation Engine 31。如果这样依次将TS包交给Presentation Engine 31,则Presentation Engine 31将构成AVClip的TS包输出到解码器,显示到平面上。图中的☆1、2、3、4示意性地表示读出构成AVClip的TS包(☆1、2)、从Virtual File System 30向PresentationEngine 31转交TS包(☆3)、将TS包投入到解码器中(☆4)、从解码器向各种平面输出解码结果(☆5)。
图38是应用管理器37根据BD-J Object中的声音管理表进行的处理的图。图38中的◎0、1、2示意性地表示应用管理器37参考BD-J Object内的声音管理表(◎0)、指示使每个应用生命周期的混音有效、无效(◎1)、指示输出与操作了的按钮对应的声音数据或指示对其进行解码(◎2)。
以下,说明用软件来实现应用管理器37。图39是应用管理器37进行的处理过程的流程图。本图中的处理过程具有由步骤S1-步骤S2-步骤S3-步骤S4组成的主循环。步骤S1判断是否进行了TitleJump,如果是,则切换Title(步骤S7)。
步骤S8判断在与当前标题对应的BD-J Object中是否存在PLMT。如果不存在,则在前面的标题中,停止再现PLMT中记载着的播放列表(步骤S9)。
如果存在,则开始再现在前面标题中未记载在PLMT中、但是在当前标题中记载在PLMT中、被赋予了AutoPlay属性的播放列表(步骤S10)。
在步骤S11中,判断在与当前Title对应的BD-J Object中是否存在声音管理表。步骤S12是在存在声音管理表的情况下执行的判断步骤,判断该声音管理表中的Mixing_On标志是否是1。如果Mixing_On标志是1,则指示声音控制器9使混音有效(步骤S13);如果Mixing_On标志是0,则指示声音控制器9使混音无效(步骤S14)。
步骤S15判断在与当前Title对应的BD-J Object中是否存在应用管理表,如果存在,则运行未将前面的Title作为生命周期、但是将当前Title作为生命周期、具有AutoRun属性的Java(注册商标)应用(步骤S16)。如果不存在,则停止将前面的Title作为生命周期、但是未将当前Title作为生命周期的应用(步骤S17)。
其后,判断Java(注册商标)应用的运行是否成功(步骤S18),如果运行成功(步骤S18中“是”),则实现将AutoPlayPL的再现图像变换为四分之一(1/4)(步骤S19)这一过程。
而如果该步骤S18是“否”,则执行由步骤S23、S24、S16、S18组成的循环处理。本循环处理中的控制变量是重新运行计数器。重新运行计数器是规定应用的重新运行次数的计数器。重新运行计数器在运行本流程图时被复位,在步骤S23中,判断是否是0。在不是0的情况下,在步骤S24中重新运行计数器被递减。通过由以上的步骤S23、S24、S16、S18~步骤S19组成的循环处理,只要重新运行计数器不是0,就重复运行AutoRun应用。通过这种重复,保证了应用的运行。
步骤S2判断是否是未执行主应用的状态,如果是,则进行步骤S5的判断。步骤S5判断应用是否正常结束。如果异常结束,则执行步骤S21、步骤S22的处理。如果正常结束,则不执行步骤S21~步骤S22,而返回到由步骤S1~步骤S4组成的主循环。
步骤S21判断是否是AutoPlayPL的再现中,如果是再现中,则指示Playback Control Engine 32将AutoPlayPL的再现图像变为全屏(步骤S22)。其后,转移到步骤S23。通过转移到步骤S23,即使在异常结束时也执行由步骤S14~步骤S17组成的循环处理。由此重复应用的重新运行,直至重新运行计数器的次数变为0。
步骤S4判断在BD驱动器1中是否存在BD-ROM,如果不存在BD-ROM,则对所有应用发出结束指示(步骤S6)。
如上所述,根据本实施方式,能够在执行希望输出多声道的声音的再现控制时使混音无效,而在执行不希望输出多声道的声音的再现控制时使混音有效。
由此,电影制作工作室能够进行下述调整:在希望多声道的再现的情况下,禁止点击声;而在希望点击声的再现的情况下,禁止多声道的声音输出。
通过导入点击声,能够将制作工作室从“多声道的声音输出该不会中断吧”这一不安的束缚中解放出来,鼓励在制作电影作品时导入点击声。
其中,在第1实施方式中,说明了在多声道是5.1CH的环绕声、音频流具有该多声道的属性的情况下,将Mixing_On标志设为OFF,但是在多声道表示2CH的立体声、音频流具有立体声属性的情况下,也可以将Mixing_On标志设为OFF。
展开立体声后的数据量并不太大,在展开为LPCM状态后,即使进行混音,有时也能够进行数字输出。这样,在展开立体声后的数据量可望不太大、可确认能够进行数字输出的情况下,也可以将多声道设定为ON。
(第2实施方式)
在第1实施方式中,为自动再现了播放列表的应用的每个生命周期设有Mixing_On标志,但是从另一个角度来看,播放列表和应用生命周期是等价的,可以考虑为构成播放列表的每个再现区间进行基于Mixing_On标志的控制。
鉴于这些,在本实施方式中,提出将Mixing_On标志设在播放列表信息中的技术。
图40(a)是第2实施方式的播放列表信息的内部结构的图。本图与图8(a)所示的播放列表信息的内部结构的不同点是,在PlayItem信息内设有Mixing_On标志。图40(b)是PlayItem信息内所设的Mixing_On标志的内容的图。
在Mixing_On标志被设定为1的情况下,表示将基于文件sound.bdmv的点击声混合到PlayItem的再现声音中。
在Mixing_On标志被设定为0的情况下,表示不将基于文件sound.bdmv的点击声混合到PlayItem的再现声音中。
可以以播放列表为单位来规定是否混合基于文件sound.bdmv的点击声。将该Mixing_On标志设定为何种值,与该PlayItem信息具有的STN_Table的设定内容对应。
以上是第2实施方式的记录介质的改进。接着说明第2实施方式的再现装置的改进。第2实施方式的再现装置的改进点存在于Playback ControlEngine 32中。
以下参考图41的流程图,来说明Playback Control Engine 32进行的具体的控制过程。
图41是Playback Control Engine 32进行的播放列表再现过程的流程图。该再现过程主要包含对Presentation Engine 31的控制(步骤S106)、和对BD-ROM驱动器1或局部储存器20的控制(步骤S108)。在本流程图中,将作为处理对象的PlayItem设为PlayItem#x。本流程图为,读入当前PL信息(.mpls)(步骤S101),其后,执行步骤S102~步骤S110的处理。这里,步骤S102~步骤S110构成下述循环处理:对构成当前PL信息的各个PI信息,重复步骤S103~步骤S110的处理,直至步骤S109为“是”。在该循环处理中,将作为处理对象的PlayItem称为PlayItem#x(PI#x)。该PlayItem#x通过被设定为当前播放列表的第一个PlayItem,而被初始化(步骤S102)。结束上述循环处理的必要条件是,该PlayItem#x为当前播放列表的最后一个PlayItem(步骤S109),如果不是最后一个PlayItem,则当前播放列表中的下一个PlayItem被设定为PlayItem#x(步骤S110)。
在循环处理中重复执行的步骤S103~步骤S110将用PlayItem#x的Clip_information_file_name指定的Clip信息读入到脚本存储器25中(步骤S103),用当前Clip信息的EPmap将PlayItem#x的In_time变换为I图片地址u(步骤S104),用当前Clip信息的EP_map将PlayItem#x的Out_time变换为I图片地址v(步骤S105),来求通过这些变换得到的地址v的下一个I图片,并将该地址的上一个地址设定为地址w(步骤S107),命令BD-ROM驱动器1或局部储存器20用这样算出的地址w来读出从I图片地址u到地址w的TS包(步骤S108)。
另一方面,命令Presentation Engine 31进行当前PLMark的mark_time_stamp至PlayItem#x的Out_time的输出(步骤S106)。通过以上的步骤S105~步骤S108,在AVClip中,再现了用PlayItem#x指示的部分。
其后,判断PlayItem#x是否是当前播放列表的最后一个PI(步骤S109)。
如果PlayItem#x不是当前播放列表的最后一个PI,则将当前播放列表中的下一个PlayItem设定为PlayItem#x(步骤S110),返回到步骤S103。通过重复以上的步骤S103~步骤S110,依次再现了构成播放列表的PI。
在本流程图中,步骤S115~步骤S117是每当步骤S103~步骤S110转一圈时执行的步骤。步骤S115判断PlayItem#x中的Mixing_On标志是否是1。如果Mixing_On标志是1,则指示声音控制器9使混音有效(步骤S116);如果Mixing_On标志是0,则指示声音控制器9使混音无效(步骤S117)。
如上所述,根据本实施方式,不管在HDMV模式下,还是在BD-J模式下,都在利用的播放列表信息中设Mixing_On标志,所以即使在HDMV模式下用IG流来实现GUI的情况下,也能够规定点击声的混音的有效、无效。
此外,不限于点击声,在实现与从WWW站点下载的其他音频流混音的情况下,也能够将该混音的有效/无效规定在Mixing_On标志中。
(第3实施方式)
在第1实施方式中,Java(注册商标)虚拟机中的播放列表再现能够用BD-J Object内的播放列表管理表来规定。这里成问题的是播放列表管理表。即,是否可以再现播放列表,在每个BD-J Object的播放列表管理表中有描述,所以会在某个Title中能够再现、而在别的Title中不能再现。此外,即使能够再现播放列表,但是从著作权保护的观点来看,有时想禁止从某种应用再现。为了实现这种播放列表再现的限制,在第3实施方式中,在Java(注册商标)平台35中设有权限控制器。
在某个应用请求再现播放列表的情况下,权限控制器与该应用进行相互认证,判断发出请求的应用是否有再现播放列表的权限。如果有,则请求Playback Control Engine 32进行该再现;如果没有,则将表示不允许的响应事件输出到发出请求的应用。根据该权限控制器的是否允许判断,即使与别的发行公司的发行有关的应用请求了与某个发行公司的发行有关的播放列表,也可以不允许这种请求。因此,能够避免没有正当权限的应用擅自引用播放列表。应允许的播放列表和应用的组合、不应允许的播放列表和应用的组合在另外记录在BD-ROM中的Permission(权限)文件中有规定,权限控制器的判断基于此。这种文件的详细情况不是本申请的重点,所以省略其说明。
在第3实施方式中,应用管理器37按照来自应用的请求来通知在当前的再现时刻可再现的播放列表。图42是该应用管理器37进行的通知处理的处理过程的流程图。本流程图中,在应用的运行中,监视应用是否发出了请求通知可再现的播放列表的请求(GetPL)(步骤S45)。如果发出了,则判断在构成当前的再现时刻所属的Title的BD-J Object中是否存在播放列表管理表(步骤S46)。如果有播放列表的描述,则将播放列表管理表中描述的播放列表作为可再现的播放列表通知给发出请求的应用(步骤S47)。
如果没有播放列表的描述,则将不能再现播放列表的意思通知给发出请求的应用(步骤S48)。以上是第3实施方式的应用管理器37的处理过程。
接着说明在被请求再现播放列表的情况下的应用管理器37的处理。第3实施方式的应用管理器37根据图43的流程图来进行处理。
在图43中,应用管理器37判断是否存在请求了再现播放列表的应用(步骤S51)。如果某个应用请求再现播放列表,则使权限控制器认证发出请求的应用是否有再现播放列表的权利(步骤S52)。如果有再现的权利,则指示Playback Control Engine 32开始再现(步骤S53),等待来自PlaybackControl Engine 32的访问响应(步骤S54)。
如果有这种再现请求,则Playback Control Engine 32检查播放列表信息的正当性。在这种正当性检查中,有检查在播放列表信息、Clip信息、AVClip所在的BD-ROM及局部储存器20中是否构成了正当的播放列表,或用播放列表信息中的clip_Information_file_name指定的Clip信息及AVClip是否现存于BD-ROM及局部储存器20中。在正确的文件未由clip_Information_file_name参照的情况下,或者在由BD-ROM及局部储存器20构成的虚拟封装有矛盾、不能构成正确的播放列表的情况下,PlaybackControl Engine 32返回表示false(假)的响应。此外,在具有比发出请求的应用更高的运行优先级的应用正在再现该播放列表、在实现播放列表再现的资源中发生了竞争的情况下,Playback Control Engine 32也返回表示false的响应。
经过以上的过程,如果有访问响应,则将表示播放列表再现成功的事件输出到发出请求的应用(步骤S55)。
如果没有访问响应,则将表示播放列表再现失败的事件输出到发出请求的应用(步骤S56)。另一方面,在步骤S52中如果发出请求的应用没有再现的权利,则将表示不能再现播放列表的事件输出到发出请求的应用(步骤S57)。
如上所述,根据本实施方式,即使可否再现播放列表因各Title而异,即使有具有再现播放列表的权限的应用和没有再现播放列表的权限的应用等各种应用,也能够按照来自应用的请求来执行适当的播放列表再现。因此,能够表现组合了应用执行和播放列表再现的多彩的内容。
(第4实施方式)
在第1实施方式中,在开始Title时,向想开始再现的播放列表赋予表示AutoPlay的再现属性,并命令再现装置再现AutoPlayPL。而在本实施方式中,涉及下述改进:将无边界应用记录到BD-ROM上,在开始Title时,使无边界应用选择应自动开始再现的Title。
无边界应用是Playback Control Engine 32那样的、处于与再现装置中的驻留应用对等的地位的应用,按照来自Playback Control Engine 32的请求来执行从播放列表管理表中描述的多个播放列表信息中选择与再现装置侧的PSR设定值一致者、并进行通知的处理。
在使无边界应用选择播放列表的情况下,在需要这种选择的Title时,将播放列表管理表中的再现属性都设定为未指定。这是因为,以“都未指定”为触发,使标题无边界应用请求Playback Control Engine 32选择播放列表。
该无边界应用进行的选择基于创作时规定的选择算法。图44(a)~(c)是将无边界应用中包含的选择算法的内容做成表形式的图。该表相对应地示出了PSR的值可取的值的范围、和在PSR值为这些值时应再现的播放列表。其中,图44(a)示出基于父母锁级别的选择算法的内容。这里,父母锁级别在再现装置中由PSR(14)来表示。具体地说,在PSR(14)中,设定了表示用户的年龄的整数值,再现装置将其解释为父母锁级别。在图44(a)中,PSR(14)可取的值被分为14岁不到、14岁以上18岁不到、18岁以上这3个范围。应再现的播放列表与这些范围中的每一个相对应。如果无边界应用根据这种选择算法来进行选择,则如果PSR的设定值为14岁不到就选择PlayList#1,如果为14以上18岁不到就选择PlayList#2,如果为18岁以上就选择PlayList#3。
图44(b)示出基于Language for Audio的选择算法的内容。这里,Language for Audio在再现装置中由PSR(16)来表示。具体地说,在PSR(16)中,设定了整数值,再现装置将其解释为声音再现用的语言设定。在图44(b)中,PSR(16)可取的值被分为表示英语的值、表示日语的值、其他值这3个范围。应再现的播放列表与这些范围中的每一个相对应。如果无边界应用根据这种选择算法来进行选择,则如果PSR(16)的设定值表示英语就选择PlayList#1,如果表示日语就选择PlayList#2,如果为英语、日语以外的值就选择PlayList#3。
图44(c)示出基于Player Configuration for Video的选择算法的内容。这里,Player Configuration for Video在再现装置中由PSR(14)来表示。具体地说,在PSR(14)中,设定了整数值,再现装置将其解释为影像再现用的环境设定。在图44(c)中,PSR(14)可取的值被分为分辨率525×600TVsystem(电视制式)LetterBox(信箱)、分辨率525×600TVsystem、1920×1080TVsystem这3个范围。应再现的播放列表与这些范围中的每一个相对应。如果无边界应用根据这种选择算法来进行选择,则如果PSR(14)的设定值表示分辨率525×600TVsystem LetterBox就选择PlayList#1,如果表示分辨率525×600就选择PlayList#2,如果表示1920×1080TVsystem就选择PlayList#3。图44(a)~(c)所示的选择算法可以通过用计算机描述语言描述这些图所示的条件转移来创建。
以上是本实施方式的记录介质的改进。接着说明本实施方式的再现装置的改进。本实施方式中的改进点主要在于应用管理器37、Playback ControlEngine 32。
应用管理器37在发生了Title的转移、参考了播放列表管理表时,判断在该播放列表管理表中是否存在AutoPlayPL。如果没有AutoPlayPL,则将播放列表管理表转交给Playback Control Engine 32,并请求PlaybackControl Engine 32自动再现该播放列表管理表中记载着的播放列表中的某个。
Playback Control Engine 32如果接受播放列表管理表的转交,则请求无边界应用选择播放列表。如果按照该请求从无边界应用通知了可再现的播放列表的列表,则判断该PL列表中记载着的播放列表中的、存在于从PlayItem转交的播放列表管理表中的播放列表。如果在由无边界应用选择出的播放列表中有播放列表管理表中记载着的,则自动开始再现它。
图45是使标题无边界应用进行PL选择的过程的示意图。本图的左侧示出再现装置中的软件的层结构,本图的右侧示出BD-ROM的记录内容。图中的◎1、2、3、4示意性地描绘了发现了没有AutoPlay的播放列表管理表的情况下的来自应用管理器37的通知(◎1)、Playback Control Engine 32查询可再现的播放列表(◎2)、标题无边界应用取得PSR设定值(◎3)、从标题无边界应用向Playback Control Engine 32通知可再现的播放列表(◎4)。
其中,在图45中,标题无边界应用在BD-ROM上有描述,但是这不过是照顾到要将标题无边界应用描述得易懂。由于标题无边界应用是Java(注册商标)应用,所以在Java(注册商标)虚拟机36内的工作存储器54中作为实例由线程55来执行,这是现实性的描述。
如上所述,根据本实施方式,使在Title的边界上生存着的应用进行上述那样的判断,所以再现装置侧的Playback Control Engine 32能够在开始Title时的较早的阶段知道BD-ROM上的多个播放列表中的、与再现装置侧的状态设定相应的是哪个。即使未决定再现属性=AutoPlay的应用,也能够在开始Title时决定应开始再现的播放列表,所以在BD-J模式下也能够实现语言字幕(ラングエ一ジクレジツト)或父母锁(パレンタルロツク)这样的再现控制。
其中,本实施方式中的选择算法是将PSR可取的值与播放列表相对应,但是也可以预先规定在再现装置中的PSR的设定值是设想外的值的情况下,使再现装置再现的播放列表。
(第5实施方式)
本实施方式涉及在切换标题时预先使混音无效的改进。在切换标题时,会发生文件sound.bdmv的读出,所以在这种切换时,作为缺省,预先使混音无效。通过这样做,能够防止由于文件sound.bdmv不存在于预加载缓冲器7b内而造成的点击声再现的中断。
(第6实施方式)
本实施方式是xlet程序通过利用JMF(Java(注册商标)MediaFrameWork:Java媒体框架)方式的接口,生成对于mpls文件的实例(JMF播放器实例),来命令再现装置再现播放列表的情况下的实施方式。
所谓mpls文件,是规定播放列表信息的实体方面的文件,所以如第2实施方式所示,在该播放列表信息中设有Mixing_On标志。在将Mixing_On标志设在播放列表中的情况下,Java(注册商标)应用通过请求PlaybackControl Engine 32再现播放列表信息,能够按照指定的播放列表信息内的Mixing_On标志,使混音有效或无效。
(第7实施方式)
在第1实施方式中,使应用管理器37具有用于指示声音控制器9使混音有效或无效等的功能,而本实施方式是使Java(注册商标)应用具有这种功能的实施方式。
因此,在本实施方式中,使Java(注册商标)平台35具有用于从Java(注册商标)应用接受这种功能的调用的API(Application Interface)。这样,在Java(注册商标)应用执行了请求使混音有效或无效的功能调用的情况下,指示声音控制器9使混音有效或无效等。
其中,也可以使模块管理器34具有这种指示有效、无效的功能。
(第8实施方式)
在再现装置中存在可以以PCM来传输环绕声的输出形态、该输出形态由用户选择了的情况下,无需对混合声音进行重新编码,所以有时可以原样地输出。在这种输出形态中,有HDMI的输出形态、模拟的输出形态。
为了使再现装置判断在再现装置中是否存在可以以PCM来传输环绕声的输出形态、并且该输出形态是否已被选择,在本实施方式中,在PSR组23中描述了:用户希望何种声音输出形态,或者根据再现装置的I/F的连接形态能够进行何种声音输出。
以下,说明本实施方式的PSR的内容。在本实施方式中,对PSR组23中的第21个PSR(PSR21)、第22个PSR(PSR22)加以以下的改进。
PSR21示出表示能否混音(例如混合2ch的添加声音)的“Audio MixingCapability(混音能力)”、表示可混合的声道数(或可混合的各个声道名)的“Audio Mixing Channel Number(混音声道数)”、表示当前用户选择了的音频输出形态的最大的输出ch数的“Audio Output Channel Number(音频输出声道数)”。
例如,在选择了S/PDIF作为声音输出形态的情况下,环绕声由于频带上的问题,如果不压缩编码,就不能输出。因此,需要在混合后进行重新编码;而在选择了与高比特率对应的数字I/F——HDMI等的情况下,以非压缩(LPCM)的形式也能够原样地传送环绕声。因此,在S/PDIF连接时,Audio Output Channel Number的值因在混合后是否进行编码而异。
在PSR22中,作为再现装置的一个属性,有表示是不进行视频输出的再现装置的Audio Only Player(只播放音频的播放器)、表示是符合规定的规范(profile)的再现装置的Profile1 Player(规范1播放器)、Profile2 Player(规范2播放器)。例如,支持Profile1、却不支持Profile2的再现装置将Profile1Player设定为有效,将Profile2 Player设定为无效。这些值可以从日语L参考,所以能够进行与再现装置的规范相应的动态选择再现路径选择,或选择有无菜单等。特别是在Audio Only Player有效的情况下,能够创建标题来再现播放列表,以便用日语L来提供与CD再现装置同等的用户操作性,在此情况下,用户能够与音乐CD毫无两样地操作BD-ROM。当然,虽是同一盘,但是对Audio Only Player无效的再现装置,可以像以前那样假定影像输出来显示基于GUI的菜单等,进行交互式再现。这种设想在采用了BD的汽车音响系统等中很有效。
由于添加了以上那样的PSR,所以本实施方式的Playback ControlEngine 32在与PlayItem信息或播放列表信息对应的Mixing_On标志表示“混音=有效”的情况下,根据PSR21来判断能否混音。在PSR21为能够混音的情况下,从PSR21中取得可混合的ch数,将具有该ch数以下的ch数的音频流或声音数据选择性地输出到混音器8、声音控制器9,使其进行混音。
如上所述,根据本实施方式,在PSR中描述了用户希望何种声音输出形态、或者根据再现装置的I/F的连接形态能够进行何种声音输出,所以能够更详细地规定可否混音输出。
(备考)
以上的说明并未示出本发明的所有实施行为。通过实施了下述(A)(B)(C)(D)……的变更的实施行为的方式,也能够实施本发明。本申请的权利要求的各发明是以上记载的多个实施方式及它们的变形方式的扩展了的记载、以及一般化了的记载。扩展以及一般化的程度基于本发明的技术领域的申请当时的技术水平的特性。
(A)各实施方式的BD-ROM可以通过依次执行以下的工序来制作。
首先,规划决定按何种计划来再现BD-ROM(规划工序),进行动态图像收录、音频收录等素材创建(素材创建工序),根据规划工序中创建的计划,来创建卷结构信息(脚本创建工序)。
所谓卷结构信息,是用抽象的描述来表示光盘的应用层的格式的信息。
其后,通过对视频素材、音频素材、字幕素材、菜单素材分别进行编码,来得到基本流(素材编码工序)。其后,复用多个基本流(复用工序)。
如果这样进行了复用,则进行使复用了的流及卷结构信息适合BD-ROM的应用层格式的作业,得到应记录到BD-ROM的卷区域上的数据的总体表示(一般称为卷数据)(格式化工序)。
这里,本发明的记录介质的应用层格式是用编程语言描述的类结构的实例,通过根据BD-ROM标准、BD-J标准中规定的语法,描述类结构的实例,由此能够创建BD-J object、Clip信息、PlayList信息等。在此情况下,表形式的数据可以用编程语言的for语句来定义,其他只在特定的条件下需要的数据可以用if语句来定义。
这种适应处理之后,如果得到了卷数据,则试着再现卷数据来确认脚本创建工序的结果是否正确(仿真工序)。在该仿真工序中,最好进行BD-ROM播放器模型的缓冲状态的模拟。
最后进行模压工序。
在该模压工序中,将卷图像(ボリユ一ムイメ一ジ)变换为物理数据串,并用该物理数据串来刻制母盘,创建光盘母盘。进而根据模压装置制成的母盘来制造BD-ROM。该制造主要由基板成形、反射膜成膜、保护膜涂布、粘合、标签的印刷等诸工序组成。
经过以上的工序,能够制作各实施方式所示的记录介质(BD-ROM)。
(B)各实施方式所示的流程图、或功能性构成要素进行的信息处理是用硬件资源来具体实现的,所以可称为利用了自然法则的技术思想,满足作为“程序的发明”的成立必要条件。
·本发明的程序的生产方式
本发明的程序可以如下来制作。首先,软件开发者用编程语言来描述实现各流程图、或功能性构成要素的源程序。在该描述时,软件开发者根据编程语言的语法,用类结构或变量、数组变量、外部函数的调用,来描述实现各流程图或功能性构成要素的源程序。
具体地说,流程图中的循环处理用上述语法中规定的for语句等来描述。判断处理用上述语法中规定的if语句、switch语句等来描述。对解码器的再现控制、或驱动器的访问控制等对硬件的控制通过调用硬件的制造商提供的外部函数来描述。
描述的源程序作为文件被提供给编译器。编译器编译这些源程序来生成目标程序。
编译器进行的编译由语法分析、优化、资源分配、代码生成等过程组成。在语法分析中,进行源程序的词法分析、语法分析及语义分析,将源程序变换为中间程序。在优化中,对中间程序进行基本块化、控制流分析、数据流分析这些作业。在资源分配中,为了适合目标处理器的指令集,将中间程序中的变量分配给目标处理器具有的寄存器或存储器。在代码生成中,将中间程序内的各中间指令变换为程序代码,得到目标程序。
这里生成的目标程序由使计算机执行各实施方式所示的流程图的各步骤、或功能性构成要素的各个过程的1个以上的程序代码构成。这里,程序代码有许多种类,像处理器的本机代码、JAVA(注册商标)字节码等。用程序代码来实现各步骤有各种各样的形态。在能够利用外部函数来实现各步骤的情况下,调用该外部函数的调用语句就成为程序代码。此外,也有时实现1个步骤的程序代码归属于不同的目标程序。在限制指令种类的RISC处理器中,也可以通过组合算术运算指令或逻辑运算指令、转移指令等,来实现流程图的各步骤。
生成了目标程序后,程序员对它们运行连接程序。连接程序将这些目标程序、或关联的库程序分配给存储空间,将它们连接为1个,生成加载模块。这样生成的加载模块是将计算机进行的读取作为前提的,使计算机执行各流程图所示的处理过程或功能性构成要素的处理过程。经过以上的处理,能够制作本发明的程序。
(C)本发明的程序可以如下使用。
(i)用作嵌入程序
在将本发明的程序用作嵌入程序的情况下,将与程序相当的加载模块与基本输入输出程序(BIOS)或各种各样的中间件(操作系统)一起写入到指令ROM中。通过将这种指令ROM包含到控制部中,使CPU来执行,能够将本发明的程序用作再现装置的控制程序。
(ii)用作应用
在再现装置是内置硬盘模型的情况下,基本输入输出程序(BIOS)被包含在指令ROM中,各种各样的中间件(操作系统)被预装在硬盘上。此外,用于从硬盘起动系统的引导ROM被设在再现装置中。
在此情况下,只将加载模块通过移动型的记录介质或网络,提供给再现装置,作为1个应用安装到硬盘中。这样,再现装置进行基于引导ROM的引导(bootstrapping)、并起动操作系统后,使CPU执行该应用作为1个应用,使用本发明的程序。
在内置硬盘模型的再现装置中,可将本发明的程序用作1个应用,所以可以以单体来转让、出租、或者通过网络来提供本发明的程序。
(D)本发明的系统LSI的生产·使用行为
所谓系统LSI,是指将裸片安装、封装到高密度衬底上而成的集成电路。通过将多个裸片安装、封装到高密度衬底上,使多个裸片好像具有1个LSI那样的外形构造,这也被包含在系统LSI中(这种系统LSI被称为多芯片模块。)。
这里,如果着眼于封装的种类,则在系统LSI中,有QFP(方型扁平式封装)、PGA(插针网格阵列)这些种类。QFP是在封装的四个侧面上安装了管脚的系统LSI。PGA是在整个底面上安装了许多管脚的系统LSI。
这些管脚担负与驱动器装置的输入输出接口、与遥控器的输入接口、与电视的接口等IEEE1394接口或与PCI总线的接口的作用。系统LSI中的管脚有这种接口的作用,所以通过在系统LSI的这些管脚上连接驱动器等或再现装置的各种电路,使系统LSI起再现装置的核心的作用。
所谓系统LSI中封装的裸片,是实现各实施方式中作为内部结构图示出的各构成要素的功能的指令ROM或CPU、解码器LSI等。
如前面“用作嵌入程序”中所述,在指令ROM中,写入了与程序相当的加载模块、或基本输入输出程序(BIOS)、各种各样的中间件(操作系统)。在本实施方式中,特别创作的是与该程序相当的加载模块的部分,所以通过将保存着与程序相当的加载模块的指令ROM作为裸片来封装,能够生产本发明的系统LSI。
作为具体的实现,最好是SoC实现或SiP实现。所谓SoC(System onchip,系统芯片)封装,是在1个芯片上刻制多个电路的技术。而所谓SiP(System in Package,系统级封装)封装,是将多个芯片用树脂等做成1个封装的技术。经过以上的过程,本发明的系统LSI能够根据各实施方式所示的再现装置的内部结构图来制作。
其中,如上所述生成的集成电路由于集成度的差异,有时也称为IC、LSI、Super LSI(超LSI)、Ultra LSI(甚LSI)。
再者,也可以用1个芯片来构成各再现装置的构成要素的一部分或全部。集成电路化并不限于上述SoC实现、SiP实现,也可以用专用电路或通用工艺来实现。可以利用在制造LSI后可编程的FPGA(FieldProgrammable Gate Array:现场可编程门阵列)、或可重构LSI内部的电路单元的连接或设定的可重构处理器。再者,如果由于半导体技术的进步或派生的技术而出现了代替LSI的集成电路化的技术,则当然也可以用该技术来进行功能块的集成电路化。例如,有可能采用生物技术等。
(E)在所有实施方式中,用BD-ROM实施了本发明的光盘,但是也可以是任何记录介质。例如,也可以是DVD-ROM、DVD-RAM、DVD-RW、DVD-R、DVD+RW、DVD+R、CD-R、CD-RW等光盘、PD、MO等磁光盘。
(F)各实施方式中的视频流是BD-ROM标准的AVClip,但是也可以是DVD-Video标准、DVD-Video Recording标准的VOB(VideoObject)。VOB是通过复用视频流、音频流而得到的符合ISO/IEC13818-1标准的程序流。此外,AVClip中的视频流也可以是MPEG4或WMV方式的。再者,音频流也可以是Linear-PCM方式、Dolby(杜比)-AC3方式、MP3方式、MPEG-AAC方式、dts方式。
(G)在各实施方式中,根据MPEG4-AVC(也称为H.264或JVT)进行了说明,但是也可以是MPEG2视频流;此外,在其他形式(VC-1等)的图像的情况下,如果是能够单独解码的图像,则也可以容易地应用。
本发明的记录介质及再现装置在上述实施方式中公开了内部结构,可以根据该内部结构来量产,所以在实质上可以在工业上利用。由此,本发明的记录介质及再现装置具有产业上的可利用性。

Claims (2)

1.一种再现装置,用于执行应用,并且再现数字流,其特征在于,
包括:
读出单元,从记录介质中读出管理信息、以及与上述管理信息对应的表示使混音有效或者无效的标志;
平台部,执行上述记录介质上记录的应用;
再现控制引擎部,通过执行由上述管理信息所表示的、应该与上述应用的执行同时开始的数字流的再现控制,由此进行影像输出及声音输出;
混合部,在与上述管理信息对应的标志表示使混音有效的情况下,执行使用了与用户对上述执行中的应用的操作相对应的声音数据的点击声的输出、和上述数字流的声音输出之间的混合,而在与上述管理信息对应的标志表示使混音无效的情况下,不执行该混合;以及
D/A转换部,对执行了所述混合的声音输出进行D/A转换并输出。
2.一种再现方法,用于执行应用,并且再现数字流,其特征在于,
包括:
读出步骤,从记录介质中读出管理信息、以及与上述管理信息对应的表示使混音有效或者无效的标志;
执行步骤,执行上述记录介质上记录的应用;
再现控制步骤,通过执行由上述管理信息所表示的、应该与上述应用的执行同时开始的数字流的再现控制,由此进行影像输出及声音输出;
混合步骤,在与上述管理信息对应的标志表示使混音有效的情况下,执行使用了与用户对上述执行中的应用的操作相对应的声音数据的点击声的输出、和上述数字流的声音输出之间的混合,而在与上述管理信息对应的标志表示使混音无效的情况下,不执行该混合;以及
D/A转换步骤,对执行了所述混合的声音输出进行D/A转换并输出。
CN201010129142XA 2004-12-01 2005-11-30 再现装置和再现方法 Expired - Fee Related CN101853680B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2004-349144 2004-12-01
JP2004349144 2004-12-01

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN2005800158739A Division CN1954387B (zh) 2004-12-01 2005-11-30 再现装置和再现方法

Publications (2)

Publication Number Publication Date
CN101853680A CN101853680A (zh) 2010-10-06
CN101853680B true CN101853680B (zh) 2013-02-27

Family

ID=36565087

Family Applications (8)

Application Number Title Priority Date Filing Date
CN2010101291754A Active CN101833966B (zh) 2004-12-01 2005-11-30 再现装置和再现方法
CN2010101299489A Active CN101777372B (zh) 2004-12-01 2005-11-30 再现装置和再现方法
CN2005800158739A Active CN1954387B (zh) 2004-12-01 2005-11-30 再现装置和再现方法
CN201010129531A Pending CN101872632A (zh) 2004-12-01 2005-11-30 集成电路
CN201010129142XA Expired - Fee Related CN101853680B (zh) 2004-12-01 2005-11-30 再现装置和再现方法
CN2010101291646A Active CN101833965B (zh) 2004-12-01 2005-11-30 再现装置和再现方法
CN2010101295219A Active CN101872637B (zh) 2004-12-01 2005-11-30 再现装置和再现方法
CN2010101291468A Active CN101833975B (zh) 2004-12-01 2005-11-30 再现装置和再现方法

Family Applications Before (4)

Application Number Title Priority Date Filing Date
CN2010101291754A Active CN101833966B (zh) 2004-12-01 2005-11-30 再现装置和再现方法
CN2010101299489A Active CN101777372B (zh) 2004-12-01 2005-11-30 再现装置和再现方法
CN2005800158739A Active CN1954387B (zh) 2004-12-01 2005-11-30 再现装置和再现方法
CN201010129531A Pending CN101872632A (zh) 2004-12-01 2005-11-30 集成电路

Family Applications After (3)

Application Number Title Priority Date Filing Date
CN2010101291646A Active CN101833965B (zh) 2004-12-01 2005-11-30 再现装置和再现方法
CN2010101295219A Active CN101872637B (zh) 2004-12-01 2005-11-30 再现装置和再现方法
CN2010101291468A Active CN101833975B (zh) 2004-12-01 2005-11-30 再现装置和再现方法

Country Status (10)

Country Link
US (4) US7835625B2 (zh)
EP (1) EP1770705B1 (zh)
JP (6) JP4012559B2 (zh)
KR (4) KR101226487B1 (zh)
CN (8) CN101833966B (zh)
BR (1) BRPI0510404A (zh)
CA (1) CA2564045C (zh)
ES (1) ES2498793T3 (zh)
MX (1) MXPA06013139A (zh)
WO (1) WO2006059654A1 (zh)

Families Citing this family (47)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101714387B (zh) * 2004-05-11 2012-06-20 松下电器产业株式会社 再现装置、再现方法
EP1769501B1 (en) * 2004-07-22 2018-02-21 Panasonic Intellectual Property Management Co., Ltd. Playback apparatus and playback method
US7835625B2 (en) * 2004-12-01 2010-11-16 Panasonic Corporation Recording medium, playback apparatus, management program and playback method
JP4354988B2 (ja) * 2005-01-28 2009-10-28 パナソニック株式会社 記録媒体、再生装置、プログラム、再生方法、記録方法
JP4968506B2 (ja) * 2005-03-04 2012-07-04 ソニー株式会社 再生装置、再生方法、およびプログラム
JP4968564B2 (ja) * 2005-03-04 2012-07-04 ソニー株式会社 再生装置、再生方法、および記録方法
JP4251298B2 (ja) * 2005-07-15 2009-04-08 ソニー株式会社 再生装置および再生方法、プログラム、プログラム格納媒体、データ、記録媒体、記録装置、および、記録媒体の製造方法
CN101026725B (zh) * 2005-07-15 2010-09-29 索尼株式会社 再现设备及再现方法
KR100808257B1 (ko) * 2005-12-05 2008-02-29 한국전자통신연구원 임베디드 시스템 프로토타입 개발 지원 장치 및 방법
US20070255433A1 (en) * 2006-04-25 2007-11-01 Choo Eugene K Method and system for automatically selecting digital audio format based on sink device
CN101123677B (zh) * 2006-08-11 2011-03-02 松下电器产业株式会社 改善图像锐度的方法、装置及集成电路
JP4846502B2 (ja) * 2006-09-29 2011-12-28 株式会社東芝 音声出力装置及び音声出力方法
US20080182670A1 (en) * 2007-01-26 2008-07-31 Alan Amron Game and video cartridge for a host device
US20080182669A1 (en) * 2007-01-26 2008-07-31 Alan Amron Game and video cartridge for portable electronic device
US8010711B2 (en) * 2007-01-26 2011-08-30 Digital Video Chip, Llc Universal multimedia
US8559789B2 (en) * 2007-06-06 2013-10-15 Panasonic Corporation Reproducing apparatus that uses continuous memory area
US9047235B1 (en) * 2007-12-28 2015-06-02 Nokia Corporation Content management for packet-communicating devices
RU2489757C2 (ru) * 2008-04-16 2013-08-10 Панасоник Корпорэйшн Носитель записи, устройство записи, способ записи и устройство воспроизведения
JP5406178B2 (ja) * 2008-04-16 2014-02-05 パナソニック株式会社 再生装置、再生方法、プログラム
JP4737228B2 (ja) * 2008-05-07 2011-07-27 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
WO2009145750A1 (en) * 2008-05-30 2009-12-03 Digital Video Chip, Llc Universal multimedia
CN102057682A (zh) * 2008-06-24 2011-05-11 松下电器产业株式会社 记录介质、再现装置、集成电路、再现方法及程序
JPWO2009157163A1 (ja) * 2008-06-24 2011-12-08 パナソニック株式会社 再生装置、再生装置の制御方法
MX2010013448A (es) * 2008-06-26 2010-12-22 Panasonic Corp Medio de grabacion, dispositivo de reproduccion, dispositivo de grabacion, metodo de reproduccion, metodo de grabacion y programa.
CN102027544B (zh) * 2008-07-16 2013-11-06 松下电器产业株式会社 再生装置、再生方法及程序
US8444485B2 (en) * 2008-08-05 2013-05-21 Warner Bros. Entertainment Inc. Seamless user navigation between high-definition movie and video game in digital medium
EP2378522A4 (en) * 2008-12-04 2013-06-12 Mitsubishi Electric Corp METHOD FOR REPRODUCING VIDEO INFORMATION, VIDEO INFORMATION REPRODUCING DEVICE, RECORDING MEDIUM, AND VIDEO CONTENT
JP4984183B2 (ja) * 2009-04-07 2012-07-25 ソニー株式会社 再生装置、再生方法、および記録方法
KR20110001618A (ko) * 2009-06-30 2011-01-06 애니포인트 미디어 그룹 장치-특화 및 애플리케이션-특화된 컴퓨팅 장치, 재생 장치 및 컴퓨팅 장치를 이용한 재생 장치의 제어 방법
US9092436B2 (en) * 2009-09-08 2015-07-28 Apple Inc. Programming interface for use by media bundles to provide media presentations
JP5032668B2 (ja) * 2009-10-30 2012-09-26 パイオニア株式会社 プレイリスト生成装置、プレイリスト生成方法、プレイリスト生成プログラムおよび記録媒体
WO2011155099A1 (ja) * 2010-06-11 2011-12-15 三菱電機株式会社 映像表示装置
KR101077778B1 (ko) 2010-09-29 2011-10-28 주식회사 이노와이어리스 Lte-tdd 신호에서의 ul/dl 컨피규레이션 자동 검출 장치 및 방법
CN103491332B (zh) * 2012-06-11 2016-12-14 珠海扬智电子科技有限公司 显示处理装置、媒体播放器、显示处理方法以及电视信号抓取方法
CN103809953B (zh) * 2012-11-14 2018-09-07 腾讯科技(深圳)有限公司 多媒体播放监测方法及系统
KR102170827B1 (ko) * 2013-11-22 2020-10-28 삼성전자주식회사 영상표시장치 및 영상표시장치의 구동방법, 음향출력장치 및 음향출력장치의 구동방법
US20150269836A1 (en) * 2014-03-20 2015-09-24 Lucida Technology Co., Ltd. Configurable bi-directional remote control based on signal input device
US20150287433A1 (en) * 2014-04-04 2015-10-08 Rocky Williform System and method of generating static contiguous media formats from dynamic playlists
US10009413B2 (en) * 2014-06-26 2018-06-26 At&T Intellectual Property I, L.P. Collaborative media playback
CN104269185B (zh) * 2014-09-09 2017-04-12 烽火通信科技股份有限公司 在Java虚拟机中实现混音播放的方法及系统
CN104793917B (zh) * 2015-02-10 2017-09-12 西南民族大学 一种实时获取Cocos2d‑x游戏播放声音的方法
US11669296B2 (en) 2015-10-27 2023-06-06 Super Hi Fi, Llc Computerized systems and methods for hosting and dynamically generating and providing customized media and media experiences
CA3018476C (en) 2016-03-25 2021-08-31 Sharp Kabushiki Kaisha Systems and methods for signaling of information associated with audio content
CN106507187A (zh) * 2016-09-22 2017-03-15 深圳市金立通信设备有限公司 一种视频播放方法及终端
JP6855348B2 (ja) * 2017-07-31 2021-04-07 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置およびダウンロード処理方法
US10930284B2 (en) 2019-04-11 2021-02-23 Advanced New Technologies Co., Ltd. Information processing system, method, device and equipment
WO2021195112A1 (en) * 2020-03-23 2021-09-30 Super Hi Fi, Llc Computerized systems and methods for hosting and dynamically generating and providing customized media and media experiences

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1463546A (zh) * 2001-06-22 2003-12-24 松下电器产业株式会社 图像记录装置及记录方法

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US120695A (en) * 1871-11-07 Improvement in roasting and treating ores
US194618A (en) * 1877-08-28 Improvement in substitutes for coffee
US161615A (en) * 1875-04-06 Improvement in revolving fire-arms
JP3443938B2 (ja) 1994-03-31 2003-09-08 ソニー株式会社 ディジタル信号処理装置
US20050089310A1 (en) * 1994-09-22 2005-04-28 Fischer Addison M. Announcing device for entertainment systems
JP3665390B2 (ja) 1995-06-30 2005-06-29 株式会社東芝 再生装置と光ディスクと記録装置
JP4130965B2 (ja) * 1995-10-30 2008-08-13 パイオニア株式会社 光ディスク再生装置
JP3421899B2 (ja) * 1996-04-11 2003-06-30 ソニー株式会社 データ記録及び/又は再生装置並びに方法
JP3595151B2 (ja) * 1998-02-20 2004-12-02 株式会社東芝 使用可能キー表示システムで用いる光ディスク、この光ディスクを用いる方法および装置
JP2001275089A (ja) * 2000-03-27 2001-10-05 Toshiba Corp ディジタルビデオ記録媒体並びにディジタルビデオディスク再生装置
EP1381232A4 (en) * 2001-04-02 2005-09-28 Matsushita Electric Ind Co Ltd VIDEO PLAYBACK DEVICE FOR DIGITAL VIDEO CONTENT, VIDEO PLAY PROCESS, VIDEO PLAY PROGRAM AND PACKAGING MEDIUM
JP2002369154A (ja) * 2001-04-02 2002-12-20 Matsushita Electric Ind Co Ltd ディジタル映像コンテンツの映像再生装置、映像再生方法、映像再生プログラム、パッケージメディア
JP4011329B2 (ja) 2001-11-13 2007-11-21 三菱電機株式会社 音量調整装置
JP2003249057A (ja) 2002-02-26 2003-09-05 Toshiba Corp デジタル情報媒体を用いるエンハンスド・ナビゲーション・システム
US7664372B2 (en) * 2002-11-20 2010-02-16 Lg Electronics Inc. Recording medium having data structure for managing reproduction of multiple component data recorded thereon and recording and reproducing methods and apparatuses
WO2004049710A1 (ja) 2002-11-28 2004-06-10 Sony Corporation 再生装置、再生方法、再生プログラムおよび記録媒体
JP3908724B2 (ja) 2002-12-09 2007-04-25 株式会社東芝 情報再生装置及び情報再生方法
US7580614B2 (en) 2002-12-09 2009-08-25 Kabushiki Kaisha Toshiba Information playback apparatus having expansion information storage unit and information playback method
JP4715094B2 (ja) 2003-01-30 2011-07-06 ソニー株式会社 再生装置、再生方法、再生プログラムおよび記録媒体
KR101019346B1 (ko) * 2003-01-31 2011-03-07 파나소닉 주식회사 재생장치, 기록방법, 재생방법
EP2133880A3 (en) * 2003-02-21 2010-12-08 Panasonic Corporation Recording medium, playback device, recording method, playback method, and computer program
EP1463052A1 (en) * 2003-03-25 2004-09-29 Deutsche Thomson-Brandt Gmbh Method for representing animated menu buttons
KR20050072256A (ko) * 2004-01-06 2005-07-11 엘지전자 주식회사 고밀도 광디스크의 메뉴 사운드 구성방법 및 재생방법과기록재생장치
US7765158B2 (en) * 2004-01-27 2010-07-27 Panasonic Corporation Playback apparatus and server apparatus
US7835625B2 (en) * 2004-12-01 2010-11-16 Panasonic Corporation Recording medium, playback apparatus, management program and playback method
US20070041712A1 (en) * 2005-08-22 2007-02-22 Lg Electronics Method and apparatus for reproducing data, recording medium, and method and apparatus for recording data
JP2007180746A (ja) 2005-12-27 2007-07-12 Funai Electric Co Ltd ディスク再生装置及びその映像データ出力方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1463546A (zh) * 2001-06-22 2003-12-24 松下电器产业株式会社 图像记录装置及记录方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JP特开2002-369154A 2002.12.20

Also Published As

Publication number Publication date
JP2009158087A (ja) 2009-07-16
JP4664439B2 (ja) 2011-04-06
JP2009224018A (ja) 2009-10-01
KR20080065005A (ko) 2008-07-10
CN101833975A (zh) 2010-09-15
JP2012142079A (ja) 2012-07-26
KR20070122241A (ko) 2007-12-28
KR100868145B1 (ko) 2008-11-10
JP4971492B2 (ja) 2012-07-11
CN1954387A (zh) 2007-04-25
KR101226487B1 (ko) 2013-01-28
US20100046926A1 (en) 2010-02-25
KR101249218B1 (ko) 2013-04-03
JP2011096361A (ja) 2011-05-12
KR20070093320A (ko) 2007-09-18
JP5319804B2 (ja) 2013-10-16
CN101777372A (zh) 2010-07-14
CN101833965B (zh) 2012-05-09
US7865069B2 (en) 2011-01-04
US20110008014A1 (en) 2011-01-13
US8842978B2 (en) 2014-09-23
JP4664420B2 (ja) 2011-04-06
CN101833966A (zh) 2010-09-15
US20120177342A1 (en) 2012-07-12
EP1770705A4 (en) 2012-08-01
JP2010211908A (ja) 2010-09-24
JP4012559B2 (ja) 2007-11-21
JP4664419B2 (ja) 2011-04-06
BRPI0510404A (pt) 2007-10-23
CN1954387B (zh) 2010-05-05
CA2564045C (en) 2013-02-26
KR20120090096A (ko) 2012-08-16
CN101853680A (zh) 2010-10-06
CN101872632A (zh) 2010-10-27
WO2006059654A1 (ja) 2006-06-08
US20070223876A1 (en) 2007-09-27
EP1770705B1 (en) 2014-08-20
JPWO2006059654A1 (ja) 2008-06-05
CN101833966B (zh) 2013-05-08
US7835625B2 (en) 2010-11-16
MXPA06013139A (es) 2007-02-28
CN101833975B (zh) 2012-04-25
ES2498793T3 (es) 2014-09-25
CN101833965A (zh) 2010-09-15
CN101777372B (zh) 2012-09-19
EP1770705A1 (en) 2007-04-04
CA2564045A1 (en) 2006-06-08
KR100822558B1 (ko) 2008-04-16
US8165452B2 (en) 2012-04-24
CN101872637A (zh) 2010-10-27
CN101872637B (zh) 2013-02-27

Similar Documents

Publication Publication Date Title
CN101853680B (zh) 再现装置和再现方法
CN1993760B (zh) 读取装置、记录方法、读取方法
JP4664346B2 (ja) 記録媒体、再生装置、プログラム、再生方法
JP4084833B2 (ja) 記録媒体、再生装置、プログラム、再生方法、集積回路

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20130227

Termination date: 20191130