WO2005002220A1 - 記録媒体、再生装置、記録方法、プログラム、再生方法 - Google Patents

記録媒体、再生装置、記録方法、プログラム、再生方法 Download PDF

Info

Publication number
WO2005002220A1
WO2005002220A1 PCT/JP2004/009517 JP2004009517W WO2005002220A1 WO 2005002220 A1 WO2005002220 A1 WO 2005002220A1 JP 2004009517 W JP2004009517 W JP 2004009517W WO 2005002220 A1 WO2005002220 A1 WO 2005002220A1
Authority
WO
WIPO (PCT)
Prior art keywords
graphics
stream
display
data
window
Prior art date
Application number
PCT/JP2004/009517
Other languages
English (en)
French (fr)
Other versions
WO2005002220A8 (ja
Inventor
Hiroshi Yahata
Joseph Mccrossan
Tomoyuki Okada
Wataru Ikeda
Original Assignee
Matsushita Electric Industrial Co., Ltd.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co., Ltd. filed Critical Matsushita Electric Industrial Co., Ltd.
Priority to US10/561,087 priority Critical patent/US7664370B2/en
Priority to JP2005511149A priority patent/JP4160978B2/ja
Priority to KR1020057024954A priority patent/KR101102758B1/ko
Priority to CA2528504A priority patent/CA2528504C/en
Priority to EP04746986A priority patent/EP1641260A4/en
Publication of WO2005002220A1 publication Critical patent/WO2005002220A1/ja
Publication of WO2005002220A8 publication Critical patent/WO2005002220A8/ja
Priority to US11/508,443 priority patent/US7620297B2/en
Priority to US11/508,479 priority patent/US7680394B2/en
Priority to US11/508,636 priority patent/US7668440B2/en

Links

Classifications

    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G11B27/30Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on the same track as the main recording
    • G11B27/3027Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on the same track as the main recording used signal is digitally coded
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10Digital recording or reproducing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06GANALOGUE COMPUTERS
    • G06G5/00Devices in which the computing operation is performed by means of fluid-pressure elements
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B19/00Driving, starting, stopping record carriers not specifically of filamentary or web form, or of supports therefor; Control thereof; Control of operating function ; Driving both disc and head
    • G11B19/02Control of operating function, e.g. switching from recording to reproducing
    • G11B19/022Control panels
    • G11B19/025'Virtual' control panels, e.g. Graphical User Interface [GUI]
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B19/00Driving, starting, stopping record carriers not specifically of filamentary or web form, or of supports therefor; Control thereof; Control of operating function ; Driving both disc and head
    • G11B19/02Control of operating function, e.g. switching from recording to reproducing
    • G11B19/027Remotely controlled
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G11B27/034Electronic editing of digitised analogue information signals, e.g. audio or video signals on discs
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/102Programmed access in sequence to addressed parts of tracks of operating record carriers
    • G11B27/105Programmed access in sequence to addressed parts of tracks of operating record carriers of operating discs
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G11B27/32Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on separate auxiliary tracks of the same or an auxiliary record carrier
    • G11B27/322Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on separate auxiliary tracks of the same or an auxiliary record carrier used signal is digitally coded
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G11B27/32Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on separate auxiliary tracks of the same or an auxiliary record carrier
    • G11B27/327Table of contents
    • G11B27/329Table of contents on a disc [VTOC]
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/34Indicating arrangements 
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/91Television signal processing therefor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • H04N9/8227Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal the additional signal being at least another television signal
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B2220/00Record carriers by type
    • G11B2220/20Disc-shaped record carriers
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B2220/00Record carriers by type
    • G11B2220/20Disc-shaped record carriers
    • G11B2220/21Disc-shaped record carriers characterised in that the disc is of read-only, rewritable, or recordable type
    • G11B2220/213Read-only discs
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B2220/00Record carriers by type
    • G11B2220/20Disc-shaped record carriers
    • G11B2220/25Disc-shaped record carriers characterised in that the disc is based on a specific recording technology
    • G11B2220/2537Optical discs
    • G11B2220/2541Blu-ray discs; Blue laser DVR discs
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/91Television signal processing therefor
    • H04N5/913Television signal processing therefor for scrambling ; for copy protection
    • H04N2005/91307Television signal processing therefor for scrambling ; for copy protection by adding a copy protection signal to the video signal
    • H04N2005/91321Television signal processing therefor for scrambling ; for copy protection by adding a copy protection signal to the video signal the copy protection signal being a copy protection control signal, e.g. a record inhibit signal
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/91Television signal processing therefor
    • H04N5/913Television signal processing therefor for scrambling ; for copy protection
    • H04N2005/91357Television signal processing therefor for scrambling ; for copy protection by modifying the video signal
    • H04N2005/91364Television signal processing therefor for scrambling ; for copy protection by modifying the video signal the video signal being scrambled
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/765Interface circuits between an apparatus for recording and another apparatus
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/765Interface circuits between an apparatus for recording and another apparatus
    • H04N5/775Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television receiver
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/78Television signal recording using magnetic recording
    • H04N5/781Television signal recording using magnetic recording on disks or drums
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/78Television signal recording using magnetic recording
    • H04N5/782Television signal recording using magnetic recording on tape
    • H04N5/783Adaptations for reproducing at a rate different from the recording rate
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/84Television signal recording using optical recording
    • H04N5/85Television signal recording using optical recording on discs or drums
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/907Television signal recording using static stores, e.g. storage tubes or semiconductor memories
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/806Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components with processing of the sound signal
    • H04N9/8063Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components with processing of the sound signal using time division multiplex of the PCM audio and PCM video signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal

Definitions

  • Recording medium reproducing apparatus, recording method, program, reproducing method
  • the present invention relates to a recording medium on which a digital stream in which an animal stream and a graphics stream are multiplexed is recorded, and a reproducing apparatus for reproducing the digital stream.
  • the present invention relates to a technique for obtaining a reproduced video by separately decoding a moving picture stream and a graphics stream by a reproducing apparatus and synthesizing the video-graphics obtained by the decoding.
  • a graphics stream is an array of PES packets.There are two types of PES packets: those that store control information and those that store graphics data, which is the graphics itself. .
  • the control information is arranged before the graphics data, and a single graphic display is realized by a pair of the control information and the graphics data.
  • the playback device sequentially reads the control information and the graphics data, decodes the control information, decodes the graphics data, and outputs the uncompressed graphics obtained by the decoding. Display at the desired display timing according to the result of decoding the control information.
  • Graphics have a time interval of 2-3 seconds, like subtitles in a movie If it is updated by, there is no problem even if the graphics resolution is slightly higher and the decoding period is longer. However, when using graphics for amusement applications, there is a demand for a shorter display interval for graphics.
  • the purpose of the amusement is to add a unique movement to the graphics showing the dialogue of the characters, to draw the viewer's attention, or to change the color flashy, thereby giving the viewer's intention. Is to poke.
  • the demand for realizing such graphics displays is particularly strong from the production sites of video content with a wide variety of colors.
  • the process of decoding and displaying the graphics is performed in a short period of one display period (1 / 29.97 sec for NTSC). Each time elapses, it must be done. Repeating the decode display of the graphics every time one display period elapses is a huge burden, and the playback device hardware that is supposed to spread at low cost is as follows: It is difficult to achieve in a fast pack.
  • the above-mentioned dynamic motion and color change can be realized by composing graphics in advance for each frame of a moving image and treating the graphics as a part of the picture of each frame.
  • the method of combining graphics into frames one by one in advance lacks the flexibility of selectively displaying graphics according to the language setting and display setting of the playback device. Therefore, as long as this method is adopted, the prospects for the future cannot be seen.
  • An object of the present invention is to provide a recording medium capable of moving graphics with smoothness like a moving image.
  • the purpose of the above is to record a digital stream obtained by multiplexing a video stream and a graphics stream, and the graphics stream is an array of packets. ,.
  • the control information indicates that the graphics data existing in front of itself in the bucket string is combined with the moving image stream at a predetermined timing and displayed. Achieved.
  • the control information indicates that display is to be performed using graphics data existing ahead of itself. Therefore, the playback device can be controlled to change the display position of the graphics or change the color of the graphics only by sending only the control information indicating the new coordinates to the playback device.
  • the essence of the present invention is a technique suitable for processing for displaying the same graphics while changing its position at high speed.
  • FIG. 1 is a diagram showing a form of use of the recording medium according to the present invention.
  • FIG. 2 is a diagram showing a configuration of the BD-R0M.
  • FIG. 3 is a diagram schematically showing how the AVC Lip is configured.
  • FIG. 4 (a) is a diagram showing a configuration of a presentation graphics stream.
  • FIG. 4 (b) is a diagram showing a PES packet obtained by converting a functional segment.
  • FIG. 5 is a diagram showing a logical structure composed of various types of functional segments.
  • FIG. 6 is a diagram showing a relationship between a subtitle display position and Epoch.
  • FIG. 7 (a) is a diagram showing a definition of a graphics object by 0DS.
  • FIG. 7B shows the data structure of the PDS.
  • FIG. 8A shows the data structure of the WDS.
  • Fig. 8 (b) consists of the PCS data structure.
  • FIG. 9 is a description example of a Display Set for realizing subtitle display.
  • FIG. 10 is a diagram illustrating a description example of TOS and PCS in DS1.
  • FIG. 11 is a diagram illustrating a description example of a PCS in DS2.
  • FIG. 12 is a diagram illustrating a description example of a PCS in DS3.
  • FIG. 13 is a diagram showing a memory space in the object buffer when realizing the graphics update as shown in FIGS. 10 to 12.
  • FIG. 14 is a diagram illustrating an example of a calculation algorithm for decode_duration.
  • FIG. 15 is a flowchart illustrating the algorithm of the program in FIG. 14.
  • FIGS. 16 (a) and 16 (b) are flowcharts illustrating the algorithm of the program in FIG. 14 schematically.
  • Fig. 17 (a) is a diagram assuming a case where one 0DS exists in one window.
  • Figures 17 (b) and (c) are timing charts showing the temporal relationship between the numerical values quoted in Fig. 14.
  • Figure 18 (a) is a diagram assuming a case where two 0DSs exist in one window.
  • FIGS. 18 (b) and (c) are timing charts showing the temporal relationship between the numerical values quoted in FIG.
  • Figure 19 (a) is a timing chart assuming a case where one 0DS exists in each of two windows.
  • FIG. 19 (b) is a timing chart showing a case where the decoding period (2) is longer than the clear period (1) + the writing period (31).
  • Figure 19 (c) is a timing chart showing the case where the clear period (1) + the write period (31) is longer than the decode period (2).
  • FIG. 20 is a diagram illustrating a PCS that performs forward reference.
  • Fig. 21 (a) is a diagram showing an Epoch that achieves the display effect of graphics moving around the screen.
  • FIG. 21 (b) is a diagram showing the contents of the PCS included in DS1 to DS8 and the PTS value.
  • FIG. 22 (a) is a diagram showing 0DS in DS0.
  • Figure 22 (b) shows where the coordinates 1, 1) 2, 2) ⁇ 3, 3) '' '8, 8) exist in the window coordinate system.
  • FIG. 23 is a diagram showing a setting for a time stamp of each functional segment belonging to each Display Set.
  • FIG. 24 is a diagram showing a specific example of a temporal change of the update.
  • FIG. 25 is a diagram showing a series of Display Sets that implement Pallet Only Update.
  • FIG. 26 (a) is a diagram showing the contents of the PDS in DS0 and the PCS of each Display Set.
  • FIG. 26 (b) is a diagram showing the PCS in DS0 to DS3.
  • FIG. 27 is a diagram showing a display effect realized by reading four Display Sets.
  • FIG. 28 is a diagram showing the internal configuration of the playback device according to the present invention.
  • FIG. 29 is a diagram showing the sizes of the write rates Rx, Rc, Rd, the graphics plane 8, the Coded Data Buffer 1, the Object Buffer 15, and the Composion Buffer 16.
  • FIG. 30 is a timing chart showing the pipeline processing by the playback device.
  • FIG. 31 is a timing chart showing the pipeline processing assuming that decoding of 0DS ends earlier than the clearing of the graphics plane.
  • FIG. 32 is a timing chart showing a temporal transition of the accumulation amount in the composition buffer 16, the object buffer 15, the coded data buffer 13, and the graphics plane 8.
  • Figure 33 is a flowchart showing the processing procedure for loading the functional segment. It is a art.
  • FIG. 34 is a diagram illustrating an example of multiplexing. '
  • FIG. 35 shows how DS10 is loaded into Coded Data Buffer 13 of the playback device.
  • FIG. 36 is a diagram showing a case where normal reproduction is performed.
  • FIG. 37 is a diagram showing the modes of DS1, 10, and 20 when normal reproduction is performed as shown in FIG.
  • FIG. 38 is a flowchart showing the processing procedure of the Graphical Controller 17.
  • Figure 39 is a flowchart showing the processing procedure of Graphical Controller 17
  • FIG. 40 is a flowchart illustrating the processing procedure of the Graphical Controller 17.
  • FIG. 41 is a diagram illustrating a manufacturing process for manufacturing the BD-ROM in which the PCS described in the first embodiment is recorded.
  • FIG. 1 is a diagram showing a mode of use of a recording medium according to the present invention.
  • the recording medium according to the present invention is BD-R0M100.
  • This BD-ROM 100 is used for supplying a movie work to a home theater system formed by a playback device 200, a television 300, and a remote controller 400.
  • FIG. 2 is a diagram showing a configuration of the BD-R0M.
  • the fourth row of the figure shows the BD-R0M, and the third row shows the tracks on the BD-ROM.
  • the track in this figure is drawn by extending a spiral track from the inner circumference to the outer circumference of the BD-R0M in the horizontal direction. This track is composed of a lead-in area, a volume area, and a lead-out area.
  • the volume domain in this figure has a layer model of a physical layer, a file system layer, and an application layer.
  • the application layer format (application format) of the BD-ROM is represented using the directory structure, it is as shown in the first row in the figure.
  • the BD-R0M has a BDMV directory under the ROOT directory, and a file (XXX.M2TS) containing AVClip, AVClip under the BDMV directory.
  • XXX.CLPD a file (YYY.MPLS) that defines the logical playback path (PL) in AVClip) that stores the management information of the application.
  • the recording medium according to the present invention is produced under the BMV directory.
  • a STREAM directory, a CLIPINF directory, and a PLAYLIST directory contains files of the same type as XXX. M2TS, and a CLIPINF directory.
  • AVClip (XXLM2TS) is a digital stream in MPEG-TS (Transport Stream) format, which can be used for video streams, one or more audio streams, and presentation graphics streams. It is obtained by multiplexing.
  • the video stream shows the movie part of the movie
  • the audio stream shows the audio part of the movie
  • the presentation graphics stream shows the subtitles of the movie.
  • FIG. 3 is a diagram schematically showing how the AVClip is configured.
  • AVClip (middle) consists of multiple video frames (pictures pjl, 2, 3).
  • Video stream an audio stream consisting of multiple audio streams (top 1st row), converted to a PES packet sequence (top 2nd row), and further converted to TS packets (top 3 row) Eye), also converts the presentation graphics stream (lower first tier) to a PES packet sequence (lower second tier), and further converts it to a TS packet (lower third tier), It is configured by multiplexing these.
  • the presentation graphics stream for each language is stored in AVClip. Multiplexed.
  • the AVClip generated through such a process is divided into a plurality of extents and recorded in an area on the BD-R0M as in a normal computer file.
  • FIG. 4 (a) is a diagram showing a configuration of a presentation graphics stream.
  • the first level shows a sequence of TS buckets constituting the AVClip.
  • the second row shows the PES packet sequence that makes up the graphics stream.
  • the PES packet sequence in the second stage is formed by extracting payloads from TS packets having a predetermined PID out of the TS packets in the first stage and concatenating them.
  • the third row shows the configuration of the graphics stream.
  • the graphics stream consists of PCS (Presentation Composition Segment), WDS (Window Define Segmenu), PDS (Palette Dif inition Segment;,
  • 0DS (0bject—Definition—Segment)
  • END END of Display Set Segment
  • PCS is called a screen composition segment
  • WDS, PDS, 0DS, and END are called definition segments.
  • the correspondence between PES packets and functional segments is one-to-one and one-to-many. That is, the functional segment is converted into one PES packet and recorded on the BD-R0M, or is fragmented, converted into a plurality of PES packets, and recorded on the BD-ROM.
  • FIG. 4 (b) shows the PES packet obtained by converting the functional segments.
  • the PES packet is composed of a packet header and a payload, and this payload corresponds to a functional segment entity.
  • the packet header there are DTS and PTS corresponding to this functional segment.
  • DTS and PTS existing in the header of the PES packet in which the functional segment is stored are treated as the DTS and PTS of the functional segment.
  • FIG. 5 is a diagram showing a logical structure composed of various types of functional segments.
  • the function segment is shown in the third row
  • the Display Set is shown in the second row
  • the Epoch is shown in the first row.
  • the second stage Dsp alay Set (abbreviated as DS) is a set of multiple functional segments that make up a graphics stream and that make up the graphics for one screen. Say.
  • the broken line in the figure indicates the DS to which the functional segment in the third row belongs.
  • the playback device can compose graphics for one screen by reading the multiple function segments constituting the DS from the BD-ROM.
  • the first stage Epoch refers to one period that has continuity of memory management on the playback time axis of the AVC lip, and a data group assigned to this period.
  • the memory assumed here is a graphics plane for storing one screen worth of graphics, and an object buffer for storing decompressed graphics data. is there. Continuity in memory management for these means that flushing of these graphics planes and object knockers does not occur during the period of this Epoch, and there is a certain The erasing and redrawing of graphics is performed only within the rectangular area. (* Flush here means clearing all the stored contents of planes and knockers.) .
  • the vertical and horizontal size and position of this rectangular area are determined during the Epoch period. It is fixed initially.
  • Epoch is a unit on the playback time axis that can guarantee the synchronization of one video and one graph. If you want to change the area where graphics are to be erased and redrawn on the graphics plane, you must define the change time point on the playback time axis and assign a new Epoch after that change time point. No. In this case, synchronization of video-graphics is not guaranteed at the boundary between the two Epochs.
  • FIG. 6 is a diagram showing the relationship between the subtitle display position and Epoch.
  • consideration is given to changing the position of subtitles according to the design of each picture of the moving image. In other words, out of the five subtitles “Really,” “I was sorry,” “I'm sorry,” “After that,” and “Three years passed,” three of the subtitles, “Really,” “I was spoken,” and “Sorry,” At the bottom, "from that” and "three years old” are located at the top of the screen.
  • Epoch 2 the period in which the caption appears in the lower margin is one Epoch, and the period in which the subtitle appears in the upper margin is another Become Epoch2.
  • Epoch l the lower margin of the screen is the subtitle drawing area (window l).
  • the upper margin of the screen is the subtitle drawing area (window w2).
  • Epoch It can be seen that the Start, Acquisition Point, Normal Case and ⁇ ⁇ ⁇ series of DS constitute the first stage Epoch. "Epoch Start”, “Acquisition Point”, and “Normal CaseJ” are DS types. The order of Acquisition Point and Normal Case in this figure is merely an example, and either order may be used.
  • Epoch Start is a DS that has a display effect of “new display” and indicates the start of a new Epoch. Therefore, Epoch Start includes all the functional segments required for the next screen composition. The Epoch Start is placed at a location where cueing is known to occur, such as a chapter in a movie.
  • “Acquisition Point” is a Display Set that provides a display effect called “display refresh” and is exactly the same as the preceding Epoch Start.
  • the Acquisition Point DS is not at the start of Epoch, but includes all the functional segments required for the next screen composition. It can be realized reliably. In other words, the DS, the Acquisition Point, has the role of enabling screen composition from the middle of the Epoch.
  • the Acquisition Poiht Display Set is installed at a location where you can find the beginning. Such locations include those that can be specified by a time search.
  • Time search is an operation that accepts a time input of minutes and seconds from the user and searches for the beginning from the playback time point corresponding to the time input. Such a time input is made in a rough unit such as a unit of 10 minutes and a unit of 10 seconds. Therefore, a reproduction position at an interval of 10 minutes and a reproduction position at an interval of 10 seconds are positions that can be designated by time search.
  • Normal CaseJ is a DS that has the display effect of“ display update ”and includes only the differences from the previous screen composition.
  • the subtitle of a certain DSv has the same contents as the preceding DSu, but the screen configuration is If it is different from the DSu to be used, a PCS and a DSv with only END are provided, and this DSv is used as a DS in the normal case. This eliminates the need to provide overlapping 0DSs, which can contribute to a reduction in the capacity of the BD-R0M.
  • the DS of the Normal Case is only a difference, the screen cannot be composed by the Normal Case alone.
  • “Object_Definition_Segment” is a functional segment that defines a graphics object. This graphics object will be described below. Since the AVClip recorded on the BD-R0M has a sales point of high image quality equivalent to high vision, the resolution of the graphics task object is also set to a high resolution of 1920 x 1080 pixels. Have been. With a resolution of 1920 x 1080, BD-R0M can vividly reproduce subtitles for theatrical screenings, that is, handwritten and tasteful fonts.
  • a graphics object consists of multiple run-length data. The run-length data is data representing a pixel sequence by a pixel code indicating a pixel value and a continuous length of the pixel value.
  • Pixel Code is an 8-bit value and takes a value from 1 to 255. In the run-length data, this Pixel Code allows the user to select any 256 colors from the full power 16,777,216 colors and set them as pixel colors. When displayed as subtitles, graphic graphics objects must be rendered by placing character strings on a transparent background.
  • a graphics object is defined by 0DS with a data structure as shown in Fig. 7 (a).
  • the 0DS has a “segment_type” that indicates that it is itself a 0DS, a “segment length” that indicates the data length of the 0DS, and a graph object corresponding to this 0DS in Epoch.
  • “Object—id” that uniquely identifies the ID
  • “object—version_number” that indicates the version of 0DS in Epoch
  • the “obj ect_id” indicates that if the ODS is decoded and the corresponding graphics object is read out on the object buffer, this graphics object and this graphics object in the object This is an identifier that uniquely identifies the occupied area. When one or more graphics objects are stored, each area in the memory space of the object buffer will be identified by this object_id. If an obj ec t—id is added to two or more Display sets, the graphics object corresponding to the preceding 0DS is stored in the object buffer.
  • the size of the following graphics object When overwriting a graphics object, the size of the following graphics object must be the same size as the preceding one. Must not be too small or too large due to the preceding graphics object. It is the responsibility of the authoring staff to create the graphics objects so that they are the same size when updating. become.
  • the restriction on making the graphics objects with the same ID the same height and width is only a restriction within one Epoch. The size of the graphic object belonging to a certain Epoch and the size of the graphic object belonging to the next Epoch may be different.
  • PDS Picture Definition Segment
  • the pallet is data indicating a combination of a pixel code of 1 to 255 and a pixel value.
  • the pixel value is composed of a red color difference component (Cr value), a blue color difference component (direct CM), a luminance component (Y value), and a transparency (T value).
  • Cr value red color difference component
  • CM blue color difference component
  • Y value luminance component
  • T value transparency
  • the PDS has a “segment_type” indicating that it is itself a PDS, a “segment_length” indicating the data length of the PDS, a “pallet_id” that uniquely identifies a pallet included in the PDS, The pal let—version—numberj, which indicates the purge ion of the Epoch PDS in Epoch, information about each entry
  • Consists of “pal let—entry”. “Pal 1 et—entry” is provided for each entry. It shows the red difference component (Cr value), blue difference component (direct CM), luminance component Y value, and transparency (T value).
  • Window—def ini on—segment is a functional segment for defining a rectangular area of the graphics plane. Epoch has already mentioned that continuity of memory management occurs only when clearing and redrawing are performed within a certain rectangular area in the graphics plane. The rectangular area in this graphics plane is called “window” and is defined in this WDS.
  • FIG. 8A shows the data structure of WDS. As shown in this figure, WDS indicates the “window-id” that uniquely identifies a window in the graphics plane and the horizontal position of the upper left pixel in the graphics plane.
  • Horizontal video—It has a two-dimensional size called width.
  • window_horizontal_position is the horizontal address of the upper left pixel in the graphics plane, and therefore takes the value of l ⁇ video_width. Take the value of video_height.
  • window—width is the width of the window in the graphics plane, so it takes a value from 1 to video—width-window—horizontal—position, and window—height is the height in the graphics plane. Therefore, take the value of 1- video- weight- window-vertical-position.
  • the TOS window—horizontal—position, window—vertical—position, window_width, and window—height determine where to place the window in the graphics plane and how large the window is.
  • the END of Display Set Segment is an index indicating the end of the transmission of the Display Set, and is placed immediately after the last 0DS among the functional segments in the Display Set.
  • the internal structure of this END of Display SetSegment consists of “segment_type” indicating that it is the END of Display SetSegment, and “segment_length” indicating the data length of the function segment. There are no components. Therefore, illustration is omitted. This concludes the description of 0DS, PDS, WDS, and END. Next, the PCS will be described.
  • PCS is a functional segment that composes interactive screens.
  • the PCS has the data structure shown in Fig. 8 (b).
  • PCS consists of u segment—type, rsegment—lengthj, composi ti on—n dragon ber, u composition—s tat e, and “pal let—update—flag”. It is composed of “pal let—id” and “composition—object (l) ⁇ (! N)”.
  • Composition-iiumber uses a number from 0 to 15 to identify graphics updates in a Display Set. If there is a graphics update from the beginning of the Epoch to this PCS, it will be identified each time it goes through these graphics updates. The composition_number is set by the difference that it is incremented.
  • Composition—state indicates whether the Display Set that this PCS has is a Normal Case, an Acquisition Point, or an Epoch Start.
  • PalletOnly Displey Update is an update made by switching only the previous palette to a new one. If this update is made in this PCS, this field will be set to "1".
  • composition_object (l) ⁇ ' ⁇ (n) is control information for realizing the screen configuration in the Display Set to which this PCS belongs.
  • the broken line wdl in Fig. 8 (b) shows a close-up of the internal composition of an arbitrary composition-object (i).
  • composition—object (i) is “object—id—ref”, “window_id—ref”, u object—cropped_flag, “object—horizontal—positioiU,“ object—vertical—position ” ,
  • Object_id_ref is a reference value of the graphics object identifier (object_id). This reference value means the identifier of the graphics object to be used in realizing the screen composition corresponding to composition_object (i).
  • Window_id-ref is a reference value of the window identifier (window-id). This reference value indicates in which window the graphics object should be displayed in order to realize the screen configuration corresponding to composition-object (i).
  • the “object—cropped—flag” is a flag that switches between displaying the cropped object in the object knob and hiding the graphics object. " ⁇ If set, the graphics object cropped in the object buffer is displayed, and if set to "0", the graphics object is hidden.
  • Object horizontal_position indicates the horizontal position of the upper left pixel of the graphics object in the graphics plane.
  • Object_verticaI—position indicates the vertical position of the upper left pixel in the graphics plane.
  • the dashed line wd2 shows a close-up of the internal structure of any cropping_rectangle information (i). As shown by this broken line
  • Object-cropping-horizontal-positionj indicates the horizontal position of the upper left pixel of the crop rectangle in the graphics plane.
  • the crop rectangle is a frame for cutting out a part of the graphic object. It corresponds to the "Region" in the ETSI EN 300 743 standard.
  • “Object—cropping—vertical—addressj indicates the vertical position of the upper left pixel of the crop rectangle in the graphic plane.
  • “Object—cropping—width” indicates the width of the crop rectangle in the graphics plane.
  • “Object—cropping—height” indicates the height of the crop rectangle in the graphics plane.
  • Fig. 9 is a description example for realizing such subtitle display.
  • the Epoch in this figure has DSl (Epoch Start), DS2 (Normal Case), and DS3 (Norraal Case).
  • DSl has TOS, which defines the window used as the subtitle display frame, 0DS, which stands for the line "Sorry I was distracted," and the first PCS.
  • DS2 Normal Case has a second PCS.
  • FIG. 10 is a diagram illustrating a description example of a PCS in DS1.
  • window—vertical—position indicates the upper left coordinate LP1 of the window on the graphics plane
  • window—width and window—height indicate the width and height of the display frame of window ⁇ ⁇ .
  • FIG. 10 shows the crop information
  • object—cropping—vertical—position indicates the reference ST1 of the cropping range in the coordinate system whose origin is the upper left coordinate of the graphics object in the object knob.
  • the range indicated by object_cropping_lieight (the thick frame in the figure) is the cropping range.
  • the cropped graphics object is represented in the coordinate system of the graphics plane.
  • object—horizontal—position, object—vertical—position is located in the range cpl of the broken line with the reference point (upper left) as the reference point. In this way, “true” is written in the window on the graphics plane. As a result, the subtitle “Sure” is combined with the moving image and displayed.
  • FIG. 11A is a diagram showing an example of a PCSC description in DS2.
  • the description of the WDS in this figure is the same as that in Fig. 10, so the description is omitted.
  • the description of the crop information is different from that in FIG. Figure 11 (a) shows the crop information
  • object—cropping—vertical—position is the subtitle on the object buffer.
  • I the coordinates of the upper left corner of “I was sorry” are shown, and “object—cropping—height” and “object—cropping—width” are the width and height of “I am sorry”.
  • “was a lie” is written in the window on the graphics plane.
  • the caption “I was sorry” is displayed in combination with the video.
  • FIG. 11B is a diagram illustrating a description example of a PCS in DS3.
  • the description of the WDS in this figure is the same as that in Fig. 10, so the description is omitted.
  • the description of the crop information is different from that in FIG. Figure 11 (b) shows the crop information
  • object—cropping—vertical—position are subtitles on the object buffer.
  • the upper left coordinates of the sorry shows the upper left coordinates of the sorry
  • FIG. 13 is a diagram showing a memory space in an object buffer for realizing the graphics update as shown in FIGS. 10 to 12. As shown in this figure, there are four storage areas A, B, C, and D whose height, width, and position are fixed, and the storage area A is shown in Fig. 11 Subtitles are stored. Each of these four storage areas A, B, C, and D is identified by an object_id corresponding to the stored graph exo object.
  • the height and width of these storage areas are fixed throughout. If a new graphics object with the same object-id is obtained by decoding, its storage area is overwritten by the newly obtained graphics object. For example, if you want to display subtitles at the same position and at the same size as the subtitles shown in FIG. 10, in a subsequent Display Set, A 0DS with the same obj ec t_id may be provided. By simply adding the same obj ec t_id in this way, the graphics object existing on the object buffer is overwritten with a new graphics object, and the new graphics object is Will be displayed in the same size and in the same position as the previous graphics object.
  • window clearing and window redrawing are required. If window clearing and window redrawing are to be implemented in video frame time intervals, how much transfer rate is required between the object buffer and the graphics plane?
  • window clearing and window redrawing must be performed at this transfer rate Rc. Then, window clearing and window redrawing must be realized at half the transfer rate of Rc (Rc / 2).
  • the size of the entire graphics plane must be at least 25% to 33%.
  • Rc can be calculated as 256 Mbps (500K bytes x 2 x 29.97).
  • the transfer rate is 256Mbps. As long as subtitles are displayed, synchronization with the video can be maintained regardless of the display effect.
  • the window clearing and redrawing rates are only 1/2 and 1/4 of the frame rate of the video frame, the window size is doubled and 4 times even if Rc is the same. Can be doubled. This concludes the description of the size of window.
  • the position and range of the window will be described. As mentioned above, the window position and range are consistent in Epoch.
  • the reason for keeping the window position and range consistent in Epoch is as follows. If the window position 'range is changed, the write destination address for the graphics plane must be changed, and an over-head occurs, and such an over-head causes the object buffer to move to the graphics plane. This is because the transfer rate of the data is reduced.
  • the window has a limited number of graphics objects. This number limit is provided for the purpose of reducing the overhead in transferring the decoded graphics object.
  • the overhead here occurs when the address of the edge part of the graphics object is set. Then, as the number of edges increases, the number of occurrences of overhead increases.
  • the transfer rate may be set in anticipation of a worst case of four overheads, so the minimum standard transfer It is easy to quantify the rate.
  • Epoch is a period in which memory management is continuous on the playback time axis, and since Epoch is composed of one or more Display sets, how to assign Display Set to the playback time axis of AVC lip This Is a problem.
  • the playback time axis of the AVClip refers to a time axis assumed to specify the decoding timing and playback timing of each picture data constituting the video stream multiplexed on the AVClip. In this playback time axis, the decoding timing and playback timing are expressed with a time accuracy of 90 KHz.
  • the DTS and PTS added to the PCS and ODS in the Display Set indicate the timing at which synchronous control should be realized on this playback time axis.
  • Performing synchronization control using the DTS and PTS added to the PCS and ODS is the assignment of Display Sets to the playback time axis.
  • DTS indicates the time to start decoding of 0DS with a time accuracy of 90 KHz
  • PTS indicates the decoding end time
  • the decoding of 0DS is not completed instantaneously but has a long time.
  • the DTS and PTS for 0DS indicate the decoding start time and decoding end time.
  • the decoding start time of any ODSj belonging to DSn is indicated in DTS (DSn [0DSj]) with a time accuracy of 90 KHz, and the time obtained by adding the maximum time required for decoding to this is the decoding time of ODSj in the Display Set. It becomes the end time of the network.
  • the decoding end time (90KHZ) to be indicated by the PTS is expressed by the formula:
  • the OTSj PTS belonging to the calculated c DSn Then, the following expression is obtained.
  • PTS (DS [0DSj]) DTS (DSn [ODSj]) + 90,000 ⁇ (SIZE (DSn [0DSj]) // Rd) And between two adjacent 0DS (0DSj, 0DSj + l) The following relationship must be satisfied.
  • the decoding end time of the last ODS (ODSlast) belonging to DSn may be indicated. Since the decoding end time is indicated in the PTS of 0DS2 (0DSlast) (PTS (DSn [ODSlast])), the PTS of END is set to the value shown in the following equation.
  • the DTS value of the PCS indicates the start of decoding of the first ODS (ODSl) in DSn or earlier. Because the PCS starts decoding the first ODS (ODSl) in DSn (DTS (DSn [0DSl])) and the time when the first PDS (PDSl) in DSn becomes valid (PTS (DSn [PDSl]). At the same time as or before)), it must be loaded into a buffer on the playback device. Therefore, it must be set to a value that satisfies the relationship of the following equation.
  • the PTS of PCS in DSn is calculated from the following equation.
  • the decodeduration is the time required for decoding and displaying all the graphics X-blocks used in the PCS update. This decoding time is not a fixed value. However, it does not fluctuate depending on the state of each playback device or the mounting of the playback device. If the object used for screen composition of this DSn.PCSn is DSn.PCSn.0BJ [j],
  • the decodeduration (DSn) is the time required for window clearing (i),
  • the value is affected by the decoding period of DSn.PCSn.0BJ (ii) and the time required to write DSn.PCSn.0BJ (iii). As long as Rd and Rc are determined in advance, the values will be the same regardless of the playback device mounted. Therefore, when authoring, calculate the length of these periods and PTS is calculated from the value of.
  • FIG. 15 The calculation of decode_duration is performed based on the program in Figure 14.
  • Figures 15 and 16 (a) and (b) are flow charts that illustrate the algorithm of this program. Hereinafter, the calculation of decode-duration will be described with reference to these figures.
  • the PLANEINITIALIZATINTIME function is called, and the return value is added to decode_duration (step S 1 in FIG. 15).
  • the PLANEINITIALIZATINTIME function (Fig. 16 (a)) is a function to call a function that calculates the time required for initializing the graphics plane when displaying the Display Set.
  • step S1 in Fig. 15, DSn, DSn.PCS.OBJ [0], decode_durtation are set as arguments, and this function is called.
  • initialize_duration is a variable that indicates the return value of the PLANEINITIALIZATINTIME function.
  • Step S2 in FIG. 16 is an if statement that switches processing depending on whether the component_state in the DSS PCS is Epoch Start. If the composition_state power is SEpoch Start (Fig. 14
  • step S4 The process of adding to the initial_duration_duration is repeated for all windows. If the transfer rate Rc between the object buffer graphic planes is 256,000,000 as described above, and the window belonging to the WDS The time required for clearing (seconds) is ⁇ SIZE (WDS. WIN [i]) // 256,000,000,000 J. If this is multiplied by 90,000 Hz and expressed by the time accuracy of PTS, the time required to clear all windows belonging to WDS is “90000 x ⁇
  • the waiting time is added to decode_duration (step S6).
  • the argument for calling this function is
  • FIG. 16 (b) is a flowchart showing the processing procedure of the WAIT function.
  • current—duration is
  • decode dueration is set.
  • object defined—ready—time is
  • the current-time is a variable that sets the value obtained by adding the current-duration to the DTS of the DSS PCS. From this current—time
  • step S6 for the decode—duration, the sum of the return value of this wait function and the time required to draw OBJ [0] on the window (90, 000 * (SIZE (DSn. WDS. WIN [0])) // 256, 000, 000) is set (step S 9).
  • step S 10 Call the wait function with DSn, DSn.PCS.OBJ [0] and decode_duration as arguments, and add its return value to decode-duration (step S10).
  • step S 1 Time required for redrawing w i ndo w to which OBJ [0] belongs
  • step S11 If the window to which it belongs is different ("different" in step S11), the time required to redraw the window to which OBJ [0] belongs
  • a wait function is called with DSn, DSn.PCS.0BJ [l] and decode_duration as arguments, and the return value wait—duration is added to decode_duration (step S16). Then, when necessary to redraw the window to which 0BJ [1] belongs The interval (90,000 * (SIZE (DSn. WDS. OBJ [1] ⁇ window—id) ⁇ 256, 000, 000) is calculated as decode—duration (step S 17).
  • Fig. 17 (a) is a diagram assuming a case where one 0DS exists in one window.
  • Figures 17 (b) and (c) are timing charts showing the temporal context of the values quoted in Figure 14. This chart has three stages. Of these stages, the “Graphics Plane Access” stage and the “0DS Decode” stage are two stages that are performed in parallel during playback. Indicates processing. The above algorithm assumes the parallel execution of these two processes.
  • the graphics plane access consists of a clear period (1) and a write period (3).
  • This clear period (1) is the time required to clear the entire graphics plane (90,000x (size of the graphics plane // 256, 000,000)), and the time required to clear all windows in the graphics plane. ( ⁇ (90, 000 X (size of window [i] ⁇ 256, 000, 000)))).
  • the writing period (3) means a period required for drawing the entire window (90,000 ⁇ (window size ⁇ 256,000,000)).
  • the decoding period (2) means the period shown from DTS to PTS of 0DS.
  • the clear period (1) to the write period (3) can vary depending on the range to be cleared, the size of the 0DS to be decoded, and the size of the graphics object to be written on the graphics plane. In this figure, for the sake of simplicity, it is assumed that the starting point of the 0DS decoding period (2) is the same as the starting point of the clear period (1).
  • Fig. 17 (b) shows the case where the decoding period (2) becomes longer.
  • Decode_Duration is the decoding period (2) + the writing period (3).
  • Fig. 17 (c) shows the case where the clear period (1) becomes longer.
  • Decode_Duration consists of a clear period (1) + a write period (3).
  • FIGs 18 (a) to 18 (c) assume a case where two ODSs exist in one window.
  • the decoding period (2) in these figures (b) and (c) means the sum of the periods required for decoding two graphics.
  • the graphics writing period (3) also refers to the sum of the periods for writing two graphics to the graphics plane.
  • Decode-Duration can be calculated by considering it in the same way as in Figure 17. If the decoding period (2) for decoding two 0DSs is long, Decode—Duration is calculated as the decoding period (2) + the writing period (3) as shown in Fig. 18 (b). Will be done.
  • Decode—Duration is the clear period (1) + write period (3).
  • Figure 19 (a) assumes a case where there is one 0DS in each of the two windows. Even in this case, if the clear period (1) is longer than the total decode period (2) for decoding two 0DS,
  • Decode_Duration is the clear period (1) + the write period (3). Problem 'is the case where the clear period (1) is shorter than the decode period (2). In this case, writing to the first window becomes possible without waiting for the decoding period (2) to elapse. Therefore, it is not the length of the clear period (1) + write period (3) and the decode period (2) + write period (3).
  • the period required for the decoding of the first 0DS is referred to as a writing period (31), and the period required for the decoding of the second 0DS is referred to as a writing period (32).
  • Fig. 19 (b) shows the case where the decoding period (2) is longer than the clear period (1) + the writing period (31). In this case, Decode_Duration is the decoding period (2) + the writing period (32).
  • Figure 19 (c) shows the case where the clear period (1) + the write period (31) is longer than the decode period (2).
  • Decode_Duration is the clear period (1) + write period (31) + write period (32).
  • the size of the graphics plane is known in advance from the player model, and the size of the window, the size of the 0DS, and the number of them are also known at the authoring stage.
  • PTS of the PCS is set based on such Decode-Duration calculation, synchronous display with picture data can be realized with high time accuracy.
  • Such high-precision synchronous control is realized by defining a window and limiting the clearing / redrawing range to this window, so the concept of this window is introduced into the authoring environment. This is significant. '
  • the DTS of WDS should be set so as to satisfy the following formula.
  • the PTS of WDS in DSn indicates the dead line at which writing to the graphics plane should be started.
  • Writing to the graphics plane requires only a window, so writing to the graphics plane should be started by subtracting the time required for writing the WDS from the time indicated in the PTS of the PCS. The time is fixed. If the total size of the WDS is DSSIZECWDS.WINti]), the time required for clearing and redrawing is ⁇ ⁇ SIZE (TOS.WIN [i]) ⁇ 256,000,000. Then, if this is expressed with the time accuracy of 90. OOOKHz, “90000 X ⁇
  • the PTS of the WDS may be calculated from the following equation.
  • PTS (DSn [WDS]) PTS (DSn [PCS]) -90000 x ⁇
  • FIG. 20 is a diagram illustrating a PCS that performs forward reference.
  • three Display sets, DSn and DSn + K DSn + 2 are depicted.
  • the PCS belonging to DSn + l and DSn + 2 is the “PCS that performs forward reference”.
  • Arrows yyl and yy2 in this figure symbolically indicate forward references in the PCS.
  • the graphics object that is referred to in the forward reference is a graphics object defined by 0DS # l to #v in DSn.
  • DSn includes a plurality of graphic objects of 0DS # l to #u and 0DS # u + l to #v. Of these, 0DS # l to #u are referenced by the PCS in DSn, and 0DS # u + l to #v are not referenced. In other words, the non-reference Dallax object in DSn is forward-referenced.
  • the playback device can execute display control based on the PCS. Since display control can be performed in response to PCS reading, graphics that are already displayed can be updated using new graphics at short time intervals. By repeating the graphics update at short time intervals, it becomes possible to control the display to smoothly move the graphics as the playback of the moving image progresses. Two examples of description in forward reference PCS are explained.
  • FIG. 21 (a) is a diagram showing an Epoch realizing such a display effect.
  • This Epoch is composed of nine Dislay Set (DS0 to DS8), and the first DS0 includes PCS, PDS, and 0DS.
  • 0DS in DS0 shows subtitles “shaking heart” as shown in Fig. 22 (a).
  • Object_id l.
  • Subsequent DS1 and DS8 contain only the PCS.
  • Fig. 2 1 Go to (13)? 8?
  • the 18 value commands the display for the coordinates 1, 1) ⁇ 2, 2) 3, 3)-(x8 y8) at the timing of the time tl, t2 t3 ' is there. '
  • the graphics have a display effect as shown in FIG.
  • DS1 is read into the playback device, and the graphics are displayed at the coordinates (xl yl) in the window.
  • a graphic is displayed at the coordinates (x4, y4).
  • the graphics are displayed at coordinates (x6, y6) since DS6 is read, and at time t8, the graphics are displayed at coordinates (x8, y8) since DS8 is read.
  • the graphics position is determined by the PCS whose display position is positioned at such coordinates. Will draw a waveform trajectory as shown in FIG. As above
  • the playback device follows the PCS in DS1, DS2, and DS3 read from the BD-ROM. Graphics objects that are already stored in the object buffer can be displayed. Since the position of the graphics can be changed only by sending the control information, it is suitable for controlling the graphics to move quickly.
  • FIG. 25 is a diagram showing a series of Display Sets for realizing Pallet Only Update.
  • the first row of the figure shows a series of Display Sets (DS0, DS1, DS2, DS3) that implement Pallet Only Update.
  • DS0 includes PCS, three PDS0, 1, 2, 3 and 0DS.
  • Subsequent DS2, DS3, and DS4 consist only of PCS.
  • 0DS in DS0 defines the character string "don't forget" as shown by the leader line hvl.
  • Each of these characters “forget,” “re,” “na,” and “i” is composed of multiple Run Lengths (open squares in the figure). Among these, the Run Length that constitutes the character “forget” has PixelCodeO.
  • the Run Length that composes the characters "re", "na”, and "i" is
  • FIG. 26 (a) is a diagram showing the contents of the PDS in DS0 and the PCS of each Display Set.
  • pallet_id 2 is added, and red is assigned to Pixel Codes 1, 2, and 3, and white is assigned to Pixel Code 4.
  • FIG. 26 (b) is a diagram showing the PCS in DS0 to DS3.
  • Pallet—only—update is set to 0 and Pallet—id is set to 0.
  • FIG. 27 is a diagram showing a display effect realized by reading these four Display Sets. When the graphics object belonging to DS0 is loaded into the playback device, the subtitle “I don't forget” is displayed, and among the characters that compose it, the character “forget” turns red.
  • FIG. 28 is a diagram showing the internal configuration of the playback device according to the present invention.
  • the reproducing apparatus according to the present invention is industrially produced based on the interior shown in the drawing.
  • the playback device mainly comprises three parts, a system LSI, a drive device, and a microcomputer system, and these parts can be industrially produced by mounting them on a cabinet and a substrate of the device. it can.
  • a system LSI is an integrated circuit that integrates various processing units that perform the functions of a playback device.
  • the playback devices produced in this way include BD drive 1, Read Buffer 2, PID filter 3, Transport Buffers 4a, b, c, peripheral circuit 4d, video decoder 5, video plane 6, and audio decoder 7. , Graphics plane 8, CLUT section 9, Adder 10, Graphics decoder 12, Coded Data Buffer 13, Peripheral circuit 13a, Stream Graphics Processor 14, Object Buffer 15, Composition Buffer 16 and Graphical Controller 17
  • the BD-ROM drive 1 reads, reads, and / or ejects the BD-R0M, and accesses the BD-R0M.
  • Read Buffer 2 is a FIFO memory in which TS packets read from the BD-ROM are stored on a first-in first-out basis.
  • PID filter 3 filters a plurality of TS packets output from Read Buffer 2. Filtering by the PID filter 3 is performed by transporting only TS packets having the desired PID from the Transport Buffer.
  • Transport Buffers 4a, b, and c are memories that store TS packets output from PID filter 3 on a first-in first-out basis.
  • the speed at which TS packets are extracted from the Transport Buffer 4a is defined as speed Rx.
  • Peripheral circuit 4d is, Transport Buffer 4 a, b, the TS packets read from c, functional capabilities obtained by the t convert a wired logic for converting the segmenting DOO segment is Coded Data Stored in Buffer 13
  • the video decoder 5 decodes a plurality of TS buckets output from the PID filter 3 to obtain a picture in an uncompressed format and writes the picture in the video plane 6.
  • Video plane 6 is a plane memory for moving images.
  • the audio decoder 7 decodes the TS packet output from the PID filter 3 and outputs uncompressed audio and audio data.
  • the graphics plane 8 is a plane memory having an area for one screen, and can store an uncompressed graphics for one screen.
  • the CLUT unit 9 converts the index colors in the uncompressed graphics stored in the graphics plane 8 based on the Y, Cr, and Cb values indicated in the PDS.
  • the adder 10 multiplies the uncompressed graphics color-converted by the CLUT unit 9 by the T value shown in the PDS. (Transmittance), and stores the uncompressed picture data and pixels stored in the video plane 6 Each time, the combined image is obtained and output. ⁇
  • the graphics decoder 12 decodes the graphics stream, obtains uncompressed graphics, and writes the uncompressed graphics to the graphics plane 8 as a graphics object. Subtitles and menus will appear on the screen due to the decoding of the graphics stream.
  • the pipeline by the graphics decoder 12 writes the graphics object 1 belonging to DSn to the Object Buffer 15 and the process reads the graphics object belonging to DSn + 1 from the Object Buffer 15.
  • the pipeline is executed by executing them at the same time.
  • This graphics decoder 12 is composed of Coded Data Buffer 13, peripheral circuit l '3 a, Stream Graph ics Processor 14, Object Buffer 15, Compos iUon Buffer 16, and Graphicontroller 1. It consists of 7 pieces.
  • Coded Data Buffer 13 is a buffer in which functional segments are stored together with DTS and PTS. Such a functional segment is to remove the TS bucket header and the PES bucket header from each TS bucket of the transport stream stored in the Transport Buffer 4a, b, and c, and to sequentially transfer the payload. It was obtained by arranging. Of the removed TS packet header and PES packet header, PTS / DTS is stored in association with the PES packet.
  • the peripheral circuit 13a is wire logic that realizes the transmission of the Coded Data Buffer 13-Stream Graphics Processor 14 [say] and the transfer between the Coded Data Buffer 13 and the Composion Buffer 16. In this transfer processing, if the current time point is the time indicated in the DTS of 0DS, the 0DS is transferred from the Coded Data Buffer 13 to the Stream Graph Process 14. If the current time is the time indicated in the DTS of the PCS and PDS, the PCS and PDS are
  • Composion Buffer 16 The process of transferring to Composion Buffer 16 is performed.
  • Stream Graph ics Processor 14 decodes 0DS and decodes Write the uncompressed uncompressed graphics consisting of the index color obtained by the above to the Object Buffer 15 as a graphics object.
  • the decoding by the Stream Graphics processor 14 is instantaneous, and the graphics graphics object is temporarily held by the Stream Graphics processor 14 by decoding.
  • Decoding by the Stream Graphics Processor 14 is instantaneous, but writing from the Stream Graphics Processor 14 to the Object Buffer 15 does not end instantly. This is because in the BD-ROM player model, writing to Object Buffer 15 is performed at a transfer rate of 128 Mbps.
  • the Stream Graphics Processor 14 uses the graphics data on the DSn side and the DSn + 1 Write the graphics data on the other side to separate areas in Object Buffer 15. As a result, the Darafix object referenced by the PCS of DSn is displayed on the pipeline without being overwritten by the Graphics object belonging to DSn + 1. If the object-id assigned to both graphics objects is the same, the Stream Graphics processor 14 determines the area where the graphics data of the preceding DS side is stored in the Object Buffer 15. Overwrite graphics data on the subsequent DS in the same area. In such cases, no pipeline will be established.
  • the Stream Graphics Processor 14 is responsible for not only the graphics objects referenced by the PCS, but also the Decode graphics objects sequentially, and store the graphics obtained by decoding in Object Buffer 15.
  • the Object Buffer 15 is a knocker corresponding to a pixel buffer in the ETSI EN 300 743 standard, in which a graphics object obtained by decoding of the Stream Graphics Processor 14 is arranged.
  • Object Buffer 15 must be set to be twice as large as graphics plane 8 and four times as large as Z4. This is because, when Scrolling is to be realized, it is necessary to store graphics objects twice or four times as large as the graphics plane 8.
  • Composition Buffer 16 is a memory in which PCS and PDS are arranged. If there are two Display Sets to be processed and these valid sections overlap, a plurality of PCSs to be processed are stored in the Composition Buffer 16.
  • the Graphical Controller 17 decodes the PCS, and the Graphical Controller 17 writes the graphics object to the Object Buffer 15 according to the decoding result of the PCS, and reads the Object Buffer 15 from the Object Buffer 15. Read the graphics object and display the graphics object.
  • the display by the Graphical Controller 17 is executed at the time indicated in the PTS of the PES packet storing the PCS.
  • the Graphics Controller 17 In executing the screen composition by the object C, the Graphics Controller 17 performs the following processing.
  • the graphics controller 17 reads the reference value (object_id_ref) of the graphics object identifier described in the object C, and reads out the object_id-re of the graphics object designated by the object_id-re.
  • composition state of the Display Set belonging to the object C is s Normal Case
  • the decoding of 0DS is performed. Without waiting for ', the above-described writing to the graphics plane can be performed.
  • Pallette_update Determines whether flag is "1". If it is 1, the CLUT unit 9 is instructed to perform pixel value conversion using palette data described in the pallet id of PCS, and then reads the graphics object from Object Buffer 15 Then, it is stored in the graphics plane 8. By only setting the palette data for the CLUT section 9, the graphics are updated.
  • FIG. 29 is a diagram showing the sizes of the write rates Rx, Rc, Rd, the graphics plane 8, the Coded Data Buffer 13, the Object Buffer 15, and the Composion Buffer 16.
  • Object Buffer 1 5 The transfer rate Rc between the graphics planes 8 is the highest transfer rate in this equipment, and is from window size, frame rate to 256Mbps O500K byte x 29.97 x 2) Is calculated.
  • the transfer rate Rd (Pixel Decoding Rate) between the Stream Graphics Processor 14 and the Object Buffer 15 is different from Rc, and the update by the video frame cycle is not required and is 1/2, 1/4 of Rc. Good. Therefore
  • each component can perform decoding processing in a pipeline manner.
  • FIG. 30 is a timing chart showing pipeline processing by the playback device.
  • the fifth row shows the Display Set in the BD-R0M, and the fourth row shows the reading period of PCS, WDS, PDS, and ODS from Coded Data Buffer 13.
  • the third row shows the decoding period of each 0DS by the Stream Graphics Processor 14, the second row shows the contents stored in the Composition Buffer 16, and the first row shows the processing details of the Graphical Controller 17. Show.
  • the DTS (Decode start time) assigned to 0DS1 and 2 indicates the times t31 and t32 in the figure. Since the decoding start time is specified in the DTS, each 0DS must be read into the Coded Data Buffer 13 by the time indicated in its own DTS. Therefore, the reading of 0DS1 is completed just before the decoding period dpi of 0DS1 to Coded Data Buffer 13. Reading of 0DS2 to Coded Data Buffer 13 has been completed just before the decoding period dp2 of 0DS2.
  • the PTS (decoding end time) assigned to 0DS1.2 indicates the times t32 and t33 in the figure.
  • the decoding of 0DS1 by Stream Graphics Processor 14 is completed by t32, and the decoding of 0DS2 is completed by the time indicated by t33.
  • the Stream Graphics Processor 14 reads the 0DS into the Coded Data Buffer 13 by the time indicated in the DTS of each 0DS, and converts the ODS read into the Coded Data Buffer 13 into the PTS of each ODS. Decode and write to Object Buffer 15 by the time shown in.
  • the period cdl in the first row of the figure is a period required for the Graphics Controller 17 to clear the graphics plane 8.
  • the period tdl is a period required for writing the graphics object obtained on the Object Buffer 15 to the graphics plane 8.
  • the WDS PTS indicates the deadline at the start of this write
  • the PCS PTS indicates the end time and display timing of this write.
  • uncompressed graphics that constitute the interactive screen will be obtained on the graphics plane 8.
  • the decoding of the Stream Graphics Processor 14 is continuously performed even while the Graphics Controller 17 is executing the clearing of the graphics plane 8.
  • graphics can be promptly displayed.
  • Fig. 30 assumes that the clearing of the graphics plane ends earlier than the decoding of the 0DS, but Fig. 31 shows that the decoding of the 0DS ends earlier than the clearing of the graphics plane.
  • This is a timing chart showing pipeline processing assuming the following. In this case, when the decoding of 0DS is completed, writing to the graphics plane cannot be executed, and when the clearing of the graphics plane is completed, the graphics obtained by the decoding are graphed. You can write on the x-plane.
  • FIG. 32 is a timing chart showing the temporal transition of the composition buffer 16, the object buffer 15, the coded data buffer 13, and the graphics plane 8 in FIG.
  • the graphics plane 8, Object Buffer 15, Coded Data buffer 13, and Composition buffer 16 are shown in the first to fourth rows.
  • 5 shows a temporal transition of the occupation amount in the system.
  • the temporal transition of the occupancy is represented by a line graph in which the horizontal axis is the time axis and the vertical axis is the occupancy.
  • the fourth row in FIG. 32 shows the temporal transition of the occupancy in the composition buffer 16.
  • the temporal transition of the composition buffer 16 includes a monotonically increasing vfO due to the PCS output from the coded data buffer 13 being stored.
  • the third row shows the temporal transition of the occupation amount in the Coded Data buffer 13.
  • the temporal transition of the Coded Data buffer 13 is caused by the monotonic increase Vfl and Vf2 due to the storage of 0DS, and the simple transition by the fact that the stored 0DS is sequentially extracted by the Stream Graphics Processor 14. Incl. Vgl, Vg2.
  • the monotonically increasing slopes of Vn and Vf2 are based on the output rate Rx from the Transport buffers 4a, b, c to the Coded Data buffer 13, and the monotonically decreasing slopes of Vgl and Vg2 are the data obtained by the Stream Graphics processor 14. It is code and is executed instantly.
  • decoding for 0DS is performed instantaneously, and the Stream Graphics processor 14 holds the uncompressed graphics obtained by the decoding. Since the write rate of the transmission path from the Stream Graphics Processor 14 to the Object Buffer 15 is 128 Mbps, the write rate increases the occupancy of the Object Buffer 15.
  • the second row shows the temporal transition of the occupancy in the Object Buffer 15.
  • the temporal transition of the Object Buffer 15 includes a monotonic increase Vhl, Vh2 due to the storage of the 0DS output from the Stream Graphics Processor 14.
  • the slope of Vhl, Vh2 is based on the transfer rate Rd from the Stream Graphics Processor 14 to the Object Buffer 15.
  • the period in which the monotonic decrease in the third stage occurs and the period in which the monotonic increase in the second stage occurs is the decoding period.
  • the beginning of the decoding period is indicated in the 0DS DTS, and the end of the decoding period is indicated in the 0DS PTS.
  • uncompressed graphics are stored in object buffer 15 by the time indicated in the 0DS PTS, decoding for 0DS is completed. It will be. It is an essential requirement that uncompressed graphics be stored in obj ec t buf fer 15 by the period indicated in the ODS PTS. Anything may be used.
  • the first row shows the temporal transition of the occupancy in the graphics plane 8.
  • the temporal transition of the graphics plane 8 includes a monotonic increase Vf3 due to the storage of the decoded 0DS output from the Object Buffer 15.
  • the slope of the monotonically increasing Vf 3 is based on the transfer rate Rc from the Object Buffer 15 to the graphics plane 8. The end of this monotonic increase is indicated in the PCS PTS.
  • the transition of the buffer state can be adjusted by rewriting the values shown in DTS and PTS, so that the decoding load that exceeds the specifications of the decoder on the playback device side can be avoided, and playback can be performed. It is possible to avoid any buffer overflow. This simplifies the implementation of hardware and software when developing playback devices.
  • the above is the internal configuration of the playback device.
  • the graphics decoder 12 can be implemented by creating a program for performing the processing procedure of FIG. 33 and causing the CPU to execute the program.
  • the processing procedure of the control unit 20 will be described with reference to FIG.
  • FIG. 33 is a flowchart showing a processing procedure for loading a functional segment.
  • SegmentK is a variable that means each of the read Segments (PCS, WDS, PDS, 0DS) at the time of playback of the AVC lip, and the ignore flag indicates whether this SegmentK should be ignored. This is a flag to switch whether to load.
  • This flow chart is Has a loop structure in which the processing of steps S 21 to S 24 and steps S 27 to S 31 is repeated for all Segment Ks after initializing the processing to steps S 21 to S 24 (steps S 25 and S 2 6).
  • Step S21 is a determination as to whether or not SegmentK is a PCS. If SegmentK is a PCS, the determination in steps S27 and S28 is performed.
  • Step S22 is to determine whether or not the ignore flag is 1. If the ignore flag is 0, the process proceeds to step S23, and if it is 1, the process proceeds to step S24. If the ignore flag is 1 (No in step S22), the segment K is loaded into the coded data buffer 13 in step S23.
  • Step S24 If the ignore flag is set to 0 (No in Step S22), SegmentK is ignored in Step S24. As a result, all the function segments belonging to the DS are ignored in step S22, resulting in No (step S24).
  • Steps S27 to S31, S34, and S35 are processes for setting the ignore flag.
  • Step 27 is a judgment as to whether or not the composition point is the Acquisition Point in the PCS. If SegmentK is the Acquisition Point, the process proceeds to step S28. If SegmentK is Epoch Start or Normal Case, the process proceeds to step S31.
  • step S28 if the preceding DS is any one of the graphics decoders 12, the software (Coded Data Buffer 13, Stream Graphics Processor 14, Object Buffer 15, Composition Buffer 16) This is a determination as to whether or not it exists in step S.27, and is executed if step S.27 is Yes.
  • the case where no DS exists in the graphics decoder 12 refers to the case where the cue has been performed. In this case, the display must be started from the DS, which is the acquisition point, so that the process proceeds to step S30 (No in step S28).
  • step S30 the ignore flag is set to 0, and the flow advances to step S22.
  • step S29 the ignore flag is set to 1, and the flow shifts to step S22.
  • step S31 it is determined whether or not the composition is one state SNormal Case in the PCS. If it is a normal case, the process proceeds to step S34. If SegmentK is Epoch Start, set the ignore flag to 0 in step S30. Step S34 is the same as step S28, and determines whether or not the preceding DS exists in the graphics decoder 12. If it exists, the ignore flag is set to 0 (step S30). If not, the ignore flag is set to 1 (step S35) because a sufficient functional segment for composing the interactive screen cannot be obtained. With such a flag setting, when the preceding DS does not exist in the graphics decoder 12, the functional segments constituting the Normal Case are ignored.
  • the first DS1 is the composition-state power SEpoch one Start
  • DS10 is the Acquisition Point
  • DS20 is the Normal Case.
  • the cue from the picture data ptlO is performed as indicated by the arrow ami.
  • the DS10 closest to the cue position is the subject of the flowchart in Figure 33.
  • the composition_state is determined to be Acquisition Point, but since the preceding DS does not exist in Coded Data Buffer 13, the ignore flag is set to 0, and this DS10 is set as shown by the arrow mdl in Fig. 35. Is loaded into the Coded Data Buffer 13 of the playback device.
  • DS20 is a normal case display set, and the preceding DS20 does not exist in Coded Data Buffer 13 so this display set will be ignored (arrow in Fig. 35).
  • the ignore flag is set to 1 (step S29), so the function segments that make up this are not loaded into Coded Data Buffer 13 and are ignored ( Figure 3). Arrow 7 rd2, step S24).
  • the composition state of the PCS is Normal Case, so it is loaded into Coded Data Buffer 13 (arrow rd3 in Fig. 37).
  • FIGS. 38 to 40 are flowcharts showing the processing procedure of the Graphical Controller 17.
  • Steps S41 to S44 are the main routine of the present flowchart, and wait for the establishment of any of the events specified in steps S41 to S44.
  • Step S41 is a judgment as to whether or not the current reproduction point is at the DTS time of the PCS. If not, the processing of steps S45 to S53 is performed.
  • Step S45 is a judgment as to whether or not the composition-state power of the PCS is Epoch-Start. If it is Epoch Start, all the graphics planes 8 are cleared in Step S46. Otherwise, in step S47, the window indicated by window_horizontal—position, window—vertival—position, window—width, and window—height of the WDS is cleared.
  • Step S48 is a step executed after the clearing in step S46 or step S47, and the PTS time of any ODSx has already passed. It is a judgment of whether or not it is performed. In other words, since clearing the entire graphics plane 8 takes a long time in the clearing time, decoding of a certain ODS (ODSx) may have already been completed. Step S48 verifies that possibility. If not, return to Mainle-Chin. If the decoding time of any of the 0DS has passed, steps S49 to S51 are executed. Step S49 is a judgment as to whether or not the object_cropped-flag indicates 0. If the flag indicates 0, the graphics object is hidden (step S50).
  • the graphics object cropped according to cropping_height is displayed in the graphics plane 8 window.
  • step S51 Write at the position indicated by object—horizontal—position, object—vertival—position (step S51). With the above processing, one or more graphic objects are drawn in the window.
  • Step S52 is to determine whether or not the PTS time of another ODSy has elapsed. If the decoding of another 0DS has already been completed while writing ODSx on the graphics plane 8, this ODSy is changed to ODSx (step S53), and the process proceeds to step S49. Thus, the processing of steps S49 to S51 is repeatedly performed for another 0DS.
  • Step S42, Step S54 to Step S59 will be described with reference to FIG.
  • Step S42 is to determine whether or not the current playback point is the PTS of the TOS. If the current playback point is the PTS of the WDS, it is determined whether or not there is one window ⁇ in step S54. If there are two, it returns to the main routine. If there is only one window, the loop processing from step S55 to step S59 is performed. In this loop processing, steps S57 to S59 are executed for each of the two graphics objects displayed in the window. Step S57 is a determination as to whether or not the object one croppecLflag indicates 0, and if so, the graphics object is hidden (step S58).
  • cropping— width Unless indicated, object— cropping— horizontal— posiUon, object— cropping— vert ival—position, cropping— width,
  • the graphics object, cropped based on height, is placed in the graphics plane 8 window.
  • Step S44 is for judging whether or not the current reproduction time point is the time point indicated in the PTS of the PCS, and if so, it is judged whether or not Pallet_update_flag indicates 1 in Step S60. If it indicates 1, the PDS indicated by pallet_id is set in the CLUT section (step S61). If it indicates 0, skip step S61.
  • Step S43 is a determination as to whether or not the current playback point is a 0DS PTS. If the current playback point is a 0DS PTS, whether or not there are two windows ⁇ ⁇ ⁇ ⁇ in step S63 Is determined. If there is one, return to the main routine.
  • step S43 and step S63 have the following meanings. In other words, if there are two windows, one graphics object will be displayed in each window. Then, every time the decoding of each 0DS is completed, it is necessary to write the graphics object obtained by the decoding into the graphics plane (for example, the case of Fig. 19 (b)). If the current time is the time indicated in the PTS of 0DS and there are two windows, Step to write the object to the graphics plane
  • Step S64 is
  • object_cropping horizontal—position
  • object—cropping verival—postion
  • cropping width
  • step S66 Write to the position indicated by object-horizontal-position, object-vertival-position (step S66). By repeating the above processing, a graphics ex- ject will be drawn in each window.
  • FIG. 41 is a diagram showing a manufacturing process for producing the PCS shown in the first embodiment.
  • the BD-ROM production process is a material production process S201, which creates materials such as video recordings and audio recordings, and a sourcing process S that generates application formats using a discouraging device. 202. Includes a press step S203 to create a BD-ROM master, press and bond to complete BD-R0M.
  • the targeting process for the BD-R0M includes the following steps S204 to S210.
  • step S204 control information, window definition information, palette definition information, and graphics are described.
  • step S205 control information, window definition information, and palette definition information are described.
  • step S206 the PTS of the PCS is set based on the timing at which the picture to be synchronized appears.
  • step S207 DTS [0DS] and PTS [are set based on the value of PTS [PCS]. 0DS].
  • step S208 based on the value of DTS [0DS],.
  • DTS [PCS], PTS [PDS], DTS [WDS], and PTS [WDS] are set, and in step S209, the temporal transition of the occupancy of each buffer in the player model is graphed.
  • step S210 it is determined whether or not the graphed temporal transition satisfies the constraints of the player model, and if not, in step S211 the DTS of each functional segment is determined. It generates a graphic Kususu streams in step S 2 1 2 if satisfying if c rewritten PTS, step S 2 1 3 Bideosu bets are separately generate graphics Kususu streams in streams, the AVClip by multiplexing the audio male streams obtain. Thereafter, the application format is completed by adapting the AVClip to the BD-R0M format.
  • the recording medium according to the present invention is implemented as a BD-ROM, but the recording medium of the present invention is characterized by a recorded graphics stream. It does not depend on the physical properties of the BD-ROM. Any recording medium that can record a graphics stream may be used. For example,
  • Optical discs such as DVD-ROM, DVD-RAM, DVD-RW, DVD-R, DVD + RW, DVD + R, CD-R, and CD-RW, and magneto-optical discs such as PD and MO. Is also good.
  • a semiconductor memory card such as a compact flash card, smart media, memory stick, multimedia card, PCM-CIA card, or the like may be used.
  • the playback device according to all the embodiments has the playback device recorded on the BD-ROM.
  • the playback device may be a BD-ROM drive only, and the TV may have other components.
  • the playback device and the TV Can be incorporated into a home network connected by IEEE 1394.
  • the playback device in the embodiment is a type used by connecting to a television, but may be a playback device integrated with a display.
  • the playback device of each embodiment only the system LSI (integrated circuit) that forms an essential part of the processing may be implemented. Since these playback devices and integrated circuits are all inventions described in the specification of the present application, regardless of any of these aspects, playback is performed based on the internal configuration of the playback device shown in the first embodiment.
  • the act of manufacturing the device is an act of practicing the invention described in the specification of the present application.
  • the act of transferring the playback device shown in the first embodiment for free (paid for free, sold for free, gifted for free), lent, or imported is also an implementation of the present invention.
  • Offering the transfer or lending to general users through store display, solicitation for brochures, and distribution of pamphlets is also an act of implementing the playback device.
  • extension header When recording on the BD-ROM, it is desirable to add an extension header to each TS bucket that constitutes the AVClip.
  • the extension header is called TP—extra—header, “Arribval—Time—Stamp”,
  • TP extra—TS buckets with headers (hereinafter abbreviated as TS buckets with EX) are grouped into groups of 32 and written to three sectors.
  • the 32 TS packets with EX stored in 3 sectors are called "Aligned Unit".
  • the playback device When using a home network connected via IEEE1394, the playback device transmits Aligned Un in the following transmission processing.
  • the device on the sender side removes TP_extra_header from each of the 32 EX-attached TS buckets included in the Aligned Unit, and encrypts and outputs the TS bucket body based on the DTCP standard.
  • isochronous packets are inserted everywhere between TS packets. This entry is based on the time indicated in the Arribval-Time-Stamp of the TP-extra-header.
  • the playback device outputs a DTCP_Descriptor with the output of the TS bucket.
  • DTCP_Descriptor indicates the copy permission / prohibition setting in TP-extra-header.
  • the DTCP-Descriptor is described to indicate "copy prohibited"
  • the TS packet will be recorded on other devices when used on a home network connected via IEEE1394. None.
  • VOB Video Object
  • VOB is a program stream compliant with the IS0 / IEC 13818-1 standard, obtained by multiplexing a video stream and an audio stream.
  • the video stream in the AVC lip may be MPEG4 or WV.
  • the audio stream may be a Li near-PCM system, a Do-by-AC3 system, an MP3 system, an MPEG-AAC system, or a dts system.
  • the movie work in each embodiment may be obtained by encoding an analog video signal broadcasted by analog broadcasting. It may be stream data composed of a transport stream broadcast by digital broadcasting.
  • the content may be obtained by encoding the video signal of ana-guchi gno digital recorded on a video tape. Furthermore, the content may be obtained by encoding an analog Z digital video signal directly taken from a video camera. In addition, digital works distributed by a distribution server may be used.
  • the graphics objects shown in the first and second embodiments are run-length encoded raster data.
  • the run-length coding method was adopted as the compression and coding method for graphics objects because run-length coding is most suitable for subtitle compression * decompression.
  • Subtitles have the property that the continuous length of the same pixel value in the horizontal direction is relatively long, and a high compression rate can be obtained by performing compression using run-length encoding.
  • the load for decompression is light, and it is suitable for software for decryption processing.
  • the adoption of the run-length coding method for the graphics object is not essential to the present invention, and the graphics object may be a PNG image.
  • the data may be vector data instead of raster data, and may be a transparent picture.
  • the display effect of the PCS may be a subtitle graphic selected according to the language setting on the device side. This makes it possible to provide a display effect that uses characters that were expressed in the main body of moving images in the current DVD. It can be realized with subtitle graphics displayed according to the language setting on the side, and is of great practical value.
  • the target of the display effect by the PCS may be a caption graphic selected according to the display setting on the device side.
  • graphics for various display modes such as wide vision, pan scan, and remote box, are recorded on the BD-ROM, and the device responds to the settings of the TV connected to itself. To select and display any of these.
  • a display effect based on the PCS is applied to the subtitles displayed in this manner, so that the appearance is improved.
  • a display effect using characters as expressed in the main body of the moving image can be realized with captions displayed according to the display settings on the device side, and thus has a great practical value.
  • the write rate Rc to the graphics plane is set to 25% of the size of the window so that the graphics plane can be cleared and redrawn within one video frame.
  • Rc may be determined so that the clear / redraw is completed during the vertical blanking period. Assuming a vertical retrace interval of 25% of 1 / 29.93 seconds, Ec will be I Gbps. By setting Rc in this way, the graphics display will be smooth, and the practical effect will be great.
  • the playback device is provided with a graphics plane, but instead of the graphics plane, a line buffer for storing one line of uncompressed pixels may be provided. Good. This is because conversion to a video signal is performed for each horizontal line (line), so conversion to this video signal can be performed as long as this line buffer is provided.
  • the subtitles as graphics have been described as character strings representing dialogue in a movie, but any subtitles can be used as long as they are displayed in close synchronization with the video.
  • illustrations, pictures, characters, sympolma May be drawn.
  • Combinations of figures, letters, and colors that make up a trademark, national emblems, flags, insignia, public symbols and seals adopted by the state for supervision / certification, and emblems, flags, and insignia of international governmental organizations May include indication of the place of origin of a particular product.
  • the window is defined on the upper and lower sides of the graphics plane assuming that the subtitles are displayed horizontally on the upper and lower sides of the screen, but the subtitles are displayed on the right and left sides of the screen.
  • Windows may be defined on the right and left sides of the graphics plane. In this way, Japanese subtitles can be displayed vertically.
  • the graphics decoder 12 performs the processing for DSn and DSn + 1 in a pipeline manner when DSn and DSn + 1 belong to the same Epoch in the graphics stream, When the DSn and the DSn + 1 belong to different Epochs, the process for the DSn + 1 is started after the graphic display of the DSn is started.
  • graphics streams there are two types of graphics streams: presentation-type ones whose main purpose is to synchronize with moving images, and interactive-type ones whose main purpose is an interactive display.
  • the graphics decoder performs pipeline processing for two DSs when the Dallax Stream is a presentation system, and performs pipeline processing for two DSs when the Graphics Stream is an interactive system. Do not perform the expression.
  • Fig. 20 shows that the graphics data referenced by the PCS in the same Dsplay Set is replaced with the unreferenced graphics data.
  • a plurality of reference graphics data and a plurality of non-reference graphics data may be arranged in the order of the identification numbers indicated by object-id.
  • a plurality of reference graphics data may be arranged in scan line order. The scan line indicates the scanning order when displaying on the display. Since scanning in the normal display is performed from the upper left to the lower right, the graphics data with the display coordinates at the upper left are placed before the graphics data with the display coordinates at the lower right are placed after. Place it. This makes it possible to speed up the display of graphics data.
  • the recording medium and the reproducing apparatus according to the present invention have the internal configuration disclosed in the above embodiment, and can be mass-produced industrially based on the internal configuration, so that the recording medium and the reproducing apparatus can be industrially used in terms of quality. From this, the recording medium and the reproducing apparatus according to the present invention have industrial applicability.

Abstract

BD-ROMには、動画ストリームとグラフィクスストリームとを多重化することにより得られたAVClipが記録されている。 グラフィクスストリームは、PESパケットの配列であり、PESパケットには、グラフィクスデータを格納したODS(Object Define Segment)と、制御情報を格納したPCS(Presentation ControlSegment)とがある。PCSは、PESパケット列において自身より前方に存在するODS内のグラフィクスデータを、所定のタイミングで動画ストリームと合成して表示する旨を示す。PCS、ODSは、それぞれ別々のDisplay Setに属しており、このODSは同じDisplaySet内のPCSからは参照されていない、非参照グラフィクスデータであってもよい。

Description

記録媒体、 再生装置、 記録方法、 プログラム、 再生方法; 技術分野
本発明は、 動圃ス ト リーム及ぴグラフ ィ クスス ト リ一ムが多重化さ れたデジタルス ト リームが記録されている記録媒体と、 そのデジタル ス ト リームを再生する再生装置とに関し、 特に動画ス ト リーム及びグ ラフィ クスス ト リームを再生装置が別個にデコー ドし、 そのデコー ド により得られた映像一グラフ ィ クスを合成することで、 再生映像を得 る技術に関する。
背景技術
上述した合成技術は、 再生装置における言語設定やディ スプレイ設 定に応じて、 グラフィ クスを選択して表示することもできる。 また必 要に応じてグラフ ィ クスを表示したり、 消したり という選択も可能で ある。 これらの選択が可能なので、 かかる技術は、 DVD-V i deo規格や ETS I EN 300 743標準規格のプレーヤモデルに採用されている。 上記 規格技術においてグラフ ィ クスス ト リームは、 PESパケッ トの配列で あり、 PESパケッ トには、 制御情報を格納したもの、 グラフ ィ クス本 体たるグラフ ィ クスデータを格納したものの 2種類がある。 制御情報 は、 グラフ ィ クスデータより前に配置されており、 制御情報及ぴグラ フ ィ ク スデータの一対で一個のグラフイ クス表示を実現する。 具体的 にいう と、 再生装置は制御情報及びグラフ ィ クスデータが順次読み込 み、 制御情報を解読すると共に、 グラフ ィ クスデータをデコー ドし、 デコー ドにより得られた非圧縮グラフイ クスを、 制御情報の解読結果 に従い、 所望の表示タイ ミ ングで表示する。
以上のようなグラフ ィ クス表示にあたっては、 グラフ ィ クス表示の 度に、 グラフ ィ クスデータのデコー ドを行う必要があるので、 1つの グラフ ィ クス表示から、 次のグラフ ィ クス表示までの間隔は、 グラフ ィ クスデ一夕のデコー ド期間に依存したものとなる。 ここでグラフィ タスの解像度が高く、 デコー ド期間が長ければ長いほど、 グラフ イ ク スの更新間隔も長くなつてしまう。
映画における字幕のように、 グラフ ィ クスが 2〜3秒という時間間隔 で更新されるのであれば、 多少、 グラフ ィ クスの解像度が高く、 デコ ー ド期間が長く なつたとしても問題はない。 しかし、 アミ ュ一ズメン トの用途にグラフ ィ クスを使用しょうとする場合、 グラフ ィ クスの表 示間隔をもっと短く したいという要望がでてく る。
ここでアミ ューズメン トの用途とは、 登場人物の台詞を示すグラフ イ クスに、 独特の動きを与えて、 視聴者の注意をひいたり、 色彩を派 手に変化させることで、 視聴者の意表を突く という ものである。 かか るグラフイ クス表示の実現は、 バラエティ色が濃い映像コンテンッの 制作現場からの要望が特に強い。
しかしグラフ ィ クスの滑らかな動きを実現するには、 グラフ ィ クス をデコー ドし、 表示するという処理を、 ディ スプレイ の一表示期間 (NTSC方式の場合は 1 /29. 97sec)という僅かな期間が経過する毎に、 行 う必要がある。 ディ スプレイ の一表示期間が経過する度に、 グラフ ィ タスのデコー ドー表示を繰り返すというのは、 多大な負荷であり、 低 コス ト での普及を想定しているような再生装置のハー ドウ: ァスぺ ックでは実現が困難である。
無論、 上述したようなダラフイ クス動きや色彩変化は、 動画像の一 コマ一コマにグラフ ィ クスを予め合成しておき、 各コマの絵柄の一部 としてグラフィ クスを取り扱うことで実現可能である。 しかし一コマ 一コマに、 グラフ ィ クスを予め合成しておく といく方法は、 再生装置 における言語設定やディ スプレイ設定に応じて、 グラフ ィ クスを選択 的に表示するという、 融通性を欠く。 そのため、 かかる方法を採用し ている限り、 将来への展望は見えてこない。
発明の開示
本発明の目的は、 グラフ ィ クスを、 動画のような滑らかさで動かす ことができる記録媒体を提供することである。
上記目的は、 動画ス ト リームとグラフ ィ クスス ト.リームとを多重化 することにより得られたデジタルス ト リームが記録されており、 グラ フィ クスス ト リームは、 パケッ トの配列であり、 ノ、。ケツ トには、 グラ フ ィ クスデータを格納したものと、 制御情報を格納したものとがあり 制御情報は、 バケツ ト列において自身より前方に存在するグラフ イ ク スデータを、 所定のタィ ミ ングで動画ス ト リ一ムと合成して表示する 旨を示す、 ことを特徴とする記録媒体により達成される。
制御情報は、 自身より前方に存在するグラフ イ クスデータを用いた 表示を行う旨を示している。 そのため、 新たな座標を示す制御情報の みを再生装置に送り込むだけでグラフ ィ クスの表示位置を変えたり、 グラフ ィ クスの色彩を変化させるという制御を再生装置に行わせる ことができる。
制御情報を送り込むだけで、 グラフ ィ クス表示を更新することがで きるので、グラフィ タスの頭出し位置と、動画との同期が容易になる。 こ こでグラフ イ クスの表示位置を変化させる場合、 グラフ ィ クスそ のものの絵柄の変化は必要でないことが多い。 人間の目は、 動く対象 をそれ程鮮明に捉えることができないからである。 同じグラフ ィ クス を、 高速に位置を変えながら表示するという処理に適した技術が、 本 発明の本質である。
図面の簡単な説明
図 1 は、 本発明に係る記録媒体の、 使用行為についての形態を示す 図である。
図 2は、 BD-R0Mの構成を示す図である。
図 3は、 AVC l i pがどのように構成されているかを模式的に示す図で ある。
図 4 ( a ) は、 プレゼンテーシ ョ ングラフ ィ クスス ト リ ームの構成 を示す図である。
図 4 ( b ) は、 機能セグメ ン トを変換することで得られる PESパケ ッ トを示す図である。
図 5は、 様々な種別の機能セグメ ン トにて構成される論理構造を示 す図である。
図 6は、 字幕の表示位置と、 Epochとの関係を示す図である。
図 7 ( a ) は、 0DSによるグラフィ クスオブジェ ク トの定義を示す 図である。 図 7 (b) は、 PDSのデータ構造を示す図である。
図 8 ( a ) は、 WDSのデータ構造を示す図である。
図 8 (b) は、 PCSのデータ構造で構成される。
図 9は、 字幕表示を実現するための Display Setの記述例である。 図 1 0は、 DS1における TOS、 PCSの記述例を示す図である。
図 1 1 は、 DS2における PCSの記述例を示す図である。
図 1 2は、 DS3における PCSの記述例を示す図である。
図 1 3は、 図 1 0〜図 1 2に示すようなグラフィ クスアップデー ト を実現するにあたっての、 オブジェク トバッフ ァにおけるメモリ空間 を示す図である。
図 1 4は、 decode_durationの計算アルゴリズムの一例を示す図で ある。
図 1 5は、 図 1 4のプログラムのアルゴリズムを図式化したフロー チヤ トである。
図 1 6 (a) ( b ) は、 図 1 4のプログラムのアルゴリズムを図式 ィ匕したフローチヤ一 トである。
図 1 7 (a) は、 1つの windowに 1つの 0DSが存在するケースを想定 した図である。
図 1 7 (b) ( c) は、 図 1 4で引用した各数値の時間的な前後関 係を示すタイ ミ ングチャー トである。
図 1 8 (a) は、 1つの windowに 2つの 0DSが存在するケースを想定 した図である。
図 1 8 (b) ( c ) は、 図 1 4で引用した各数値の時間的な前後関 係を示すタイ ミ ングチヤ一 トである。
図 1 9 (a) は、 2つの windowのそれぞれに、 0DSが 1つずつ存在す るケースを想定したタイ ミ ングチャー トである。
図 1 9 (b) は、 デコー ド期間(2)がク リ ァ期間(1) +書込期間(31) より長く なるケースを示すタイ ミ ングチヤ一トである。
図 1 9 (c) は、 ク リ ア期間(1)+書込期間(31)がデコー ド期間(2) より長く なるケースを示すタイ ミ ングチャー トである。 図 20は、 前方参照を行う PCSを描いた図である。
図 2 1 (a) は、 グラフィ クスが画面内を動き回るという表示効果 を実現する Epochを示す図である。
図 2 1 ( b ) は、 DS1〜DS8に含まれる PCSの内容と、 PTS値とを示す 図である。 図 2 2 (a) は、 DS0内の 0DSを示す図である。
図 2 2 (b) は、 座標 1, 1) 2, 2)^3, 3)''' 8, 8)が、 ウイ ン ドゥの座標系のどこに存在するかを示す図である。
図 23は、 各 Display Setに属する各機能セグメン 卜のタイムスタ ンプに対する設定を示す図である。
図 24は、 アップデー トの、 時間的変遷の具体例を示す図である。 図 2 5は、 Pallet Only Updateを実現する一連の Display Setを示 す図である。
図 2 6 (a) は、 DS0内の PDS及び各 Display Setの PCSがどのような 内容であるかを示す図である。
図 2 6 ( b ) は、 DS0〜DS3内の PCSを示す図である。
図 2 7は、 4つの Display Setが読み込ませることで実現される、 表 示効果を現した図である。
図 2 8は、 本発明に係る再生装置の内部構成を示す図である。
図 2 9は、 書込レー ト Rx,Rc,Rd、 グラフ ィ クスプレーン 8、 Coded Data Buffer 1 3. Object Buffer 1 5 , Composi ti on Buf f er 1 6のサ ィズを示す図である。
図 3 0は、 再生装置によるパイプライ ン処理を示すタイ ミ ングチヤ 一トである。
図 3 1は、 0DSのデコー ドが、 グラフ ィ ックスプレーンのク リ アよ り早く終わる場合を想定したパイプライ ン処理を示すタイ ミ ングチ ャ 一 トである。
図 32は、 Compositionパッファ 1 6、 Object Buffer 1 5、 Coded Dataバッフ ァ 1 3、 グラフィ クスプレーン 8における蓄積量の時間的 遷移を示すタィ ミ ングチヤ一 トである。
図 3 3は、 機能セグメ ン ト のロード処理の処理手順を示すフローチ ヤー トである。
図 34は、 多重化の一例を示す図である。 '
図 3 5は、 DS10が再生装置の Coded Data Buffer 1 3にロー ドされ る様子を示す図である。
図 3 6は、 通常再生が行われる場合を示す図である。
図 3 7は、 図 3 6のように通常再生が行われた場合の DS1, 10, 20の 口一ドを示す図である。
図 3 8は、 Graphical Controller 1 7の処理手順を示すフローチヤ ー ト である。
図 3 9は、 Graphical Controller 1 7の処理手順を示すフローチヤ
— トである。 '
図 40は、 Graphical Controller 1 7の処理手順を示すフ口一チヤ
― トである。
図 4 1は、 第 1実施形態に示した PCSが記録された BD- ROMを製造す るための製造工程を示す図である。 発明を実施するための最良の形態
(第 1実施形態)
以降、 本発明に係る記録媒体の実施形態について説明する。 先ず始 めに、 本発明に係る記録媒体の実施行為のうち、 使用行為についての 形態を説明する。 図 1は、 本発明に係る記録媒体の、 使用行為につい ての形態を示す図である。 図 1 において、 本発明に係る記録媒体は、 BD-R0M 1 0 0である。 この BD - ROM 1 0 0は、 再生装置 2 0 0、 テレビ 30 0、 リ モコ ン 4 0 0によ り形成されるホームシアターシステムに. 映画作品を供給するという用途に供される。
以上が本発明に係る記録媒体の使用形態についての説明である。 続いて本発明に係る記録媒体の実施行為のうち、 生産行為について の形態について説明する。 本発明に係る記録媒体は、 BD-R0Mの応用層 に対する改良により実施することができる。 図 2は、 BD-R0Mの構成を 示す図である。 本図の第 4段目に BD-R0Mを示し、 第 3段目に BD- ROM上の トラックを 示す。 本図の トラックは、 BD-R0Mの内周から外周にかけて螺旋状に形 成されている トラックを、 横方向に引き伸ばして描画している。 この トラックは、 リー ドイ ン領域と、 ボリ ューム領域と、 リー ドアウ ト領 域とからなる。 本図のボリ ユーム領域は、 物理層、 フ ァ イ ルシステム 層、 応用層という レイヤモデルをもつ。 ディ レク ト リ構造を用いて BD- ROMの応用層フォ一マツ ト (アプリケーシ ョ ンフ ォーマツ ト)を表 現すると、 図中の第 1段目のようになる。 本図に示すように BD-R0Mに は、 ROOTディ レク ト リの下に BDMVディ レク ト リがあり、 BDMVディ レク ト リの配下には、 AVClipを格納したファィル(XXX.M2TS)、 AVClipの管 理情報を格納したフアイル(XXX.CLPD, AVClipにおける論理的な再生 経路(PL)を定義したフ ァィル(YYY. MPLS)が存在する。 本図に示すよう なアプリケーショ ンフ ォーマツ トを作成することにより、 本発明に係 る記録媒体は生産される。 尚、 XXX.M2TS、 XXX. CLPI, YYY. MPLSといつ たフアイルが、 それぞれ複数存在する場合は、 BMVディ レク ト リの配 下に、 STREAMディ レク ト リ、 CLIPINFディ レク ト リ、 PLAYLISTディ レ ク ト リ という 3つのディ レク ト リを設け、 STREAMディ レク ト リ に XXX. M2TSと同じ種別のフアイルを、 CLIPINFディ レク ト リ に XXX. CLPI と同じ種別のフ アイルを、 PLAYLISTディ レク ト リ に YYY.MPLSと同じ種 別のフ ァイルを格納することが望ま しい。
このアプリケーシ ョ ンフ ォーマ ツ トにおける AVClip(XXX.M2TS)に ついて説明する。
AVClip(XXLM2TS)は、 MPEG- TS (Transport Stream)形式のデジタル ス ト リ ームであり、 ビデオス ト リ ーム、 1つ以上のオーディオス ト リ ーム、 プレゼンテーシ ョ ングラフ ィ クスス ト リームを多重化すること で得られる。 ビデオス ト リームは映画の動画部分を、 オーディ オス ト リームは映画の音声部分を、 プレゼンテーショ ングラフ ィ クスス ト リ ームは、 映画の字幕をそれぞれ示している。 図 3は、 AVClipがどのよ うに構成されているかを模式的に示す図である。
AVClipは(中段)、 複数のビデオフ レーム(ピクチャ pjl, 2,3)からな るビデオス ト リーム、 複数のオーディ オフ レームからなるオーディ オ ス ト リームを(上 1段目)、 PESパケッ ト列に変換し(上 2段目)、 更に TSパケッ ト に変換し(上 3段目)、 同じく プレせンテ一シヨ ングラフィ クスス ト リーム(下 1段目)を、 PESパケッ ト列に変換し(下 2段目)、 更に TSパケッ トに変換して(下 3段目)、 これらを多重化することで構 成される。
本図において多重されるプレゼンテーショ ングラフ ィ クスス ト リ —ムは 1つであるが、 BD-R0Mが多言語対応型である場合、 その言語毎 のプレゼンテーシ ョ ングラフ ィ クスス ト リ 一ムが AVClipに多重され る。 かかる過程を経て生成された AVClipは、 通常のコンピュータファ ィル同様、 複数のェクステン トに分割され、 BD-R0M上の領域に記録さ れる。
続いてプレゼンテーシ ョ ングラフ ィ クスス ト リームについて説明 する。 図 4 ( a) は、 プレゼンテーシ ョ ングラフ ィ クスス ト リームの 構成を示す図である。 第 1段目は、 AVClipを構成する TSバケツ ト列を 示す。 第 2段目は、 グラフ ィ クスス ト リームを構成する PESパケッ ト 列を示す。 第 2段目における PESパケッ ト列は、 第 1段目における TS バケツ トのうち、 所定の PIDをもつ TSパケッ トからペイ ロー ドを取り 出して、 連結することにより構成される。
第 3段目は、 グラフ ィ クスス ト リ ームの構成を示す。 グラフ ィ クス ス ト リ ームは、 PCS(Presentation Composition Segment)、 WDS(Window Define Segmenu、 PDS(Palette Dif inition Segment; ,
0DS(0bject— Definition— Segment)、 END (END of Display Set Segment) と呼ばれる機能セグメン トからなる。 これらの機能セグメン トのうち, PCSは、 画面構成セグメ ン ト と呼ばれ、 WDS, PDS, 0DS, ENDは定義セグメ ン ト と呼ばれる。 PESパケッ ト と機能セグメ ン ト との対応関係は、 1対 1の関係、 1対多の関係である。 つまり機能セグメ ン トは、 1つの PESパ ケッ トに変換されて BD-R0Mに記録されるか、 又は、 フラグメン ト化さ れ、 複数 PESバケツ トに変換されて BD- ROMに記録される。
図 4 (b) は、 機能セグメ ン トを変換するこ とで得られる PESパケ ッ トを示す図である。 図 4 ( b ) に示すように PESパケッ トは、 パケ ッ トヘッダと、 ペイロー ドとからなり、 このペイロー ドが機能セグメ ン ト実体にあたる。 またパケッ トヘッダには、 この機能セグメ ン トに 対応する DTS、 PTSが存在する。 尚以降の説明では、 機能セグメ ン トが 格納される PESパケッ トのヘッダ内に存在する DTS及び PTSを、 機能セ グメ ン トの DTS及ぴ PTSとして扱う。
これら様々な種別の機能セグメ ン トは、 図 5のような論理構造を構 築する。 図 5は、 様々な種別の機能セグメ ン ト にて構成される論理構 造を示す図である。 本図は第 3段目に機能セグメン トを、 第 2段目に D i sp l ay Setを、 第 1段目に Epochをそれぞれ示す。
第 2段目の D i sp l ay Set (DSと略す)とは、 グラフ ィ クスス ト リ ーム を構成する複数機能セグメン トのうち、 一画面分のグラフ イ ク スを構 成するものの集合をいう。 図中の破線は、 第 3段目の機能セグメン ト が、 どの DSに帰属しているかという帰属関係を示す。
PCS- WDS-PDS-ODS- ENDという一連の機能セグメ ン トが、 1つの DSを構成 していることがわかる。 再生装置は、 この DSを構成する複数機能セグ メ ン トを BD- ROMから読み出せば、 一画面分のグラフィ クスを構成する ことができる。
第 1段目の Epochとは、 AVC l i pの再生時間軸上においてメモリ管理 の連続性をもっている一つの期間、 及び、 この期間に割り当てられた データ群をいう。 こ こで想定しているメモリ とは、 一画面分のダラフ イ ク スを格納しておくためのグラフ ィ クスプレーン、 伸長された状態 のグラフィ クスデータを格納しておく ためのオブジェク トバッフ ァ である。 これらについてのメモリ管理に、 連続性があるというのは、 この Epochにあたる期間を通じてこれらグラフ ィ タスプレーン及ぴォ ブジェク トノ ッフ ァのフラッシュは発生せず、 グラフ ィ ックスプレー ン内のある決められた矩形領域内でのみ、 グラフイ クスの消去及ぴ再 描画が行われることをいう(※ここでフラッシュとは、 プレーン及び ノ ッフ ァの格納内容を全部ク リ アしてしまう ことである。 )。 この矩 形領域の縦横の大きさ及び位置は、 Epochにあたる期間において、 終 始固定されている。 グラフィ ックスプレーンにおいて、 この固定化さ れた領域内で、 グラフ イ クスの消去及び再描画を行つている限り、 映 像とグラフ ィ クスとの同期が保障される。 つまり Epochは、 映像一グ ラフィ タスの同期の保障が可能な再生時間軸上の一単位ということ ができる。 グラフ ィ ッ クスプレーンにおいて、 グラフ ィ クスの消去- 再描画を行うべき領域を変更したい場合は、 再生時間軸上においてそ の変更時点を定義し、 その変更時点以降を、 新たな Epochにせねばな らない。 この場合、 2つの Epochの境界では、 映像一グラフィ クスの同 期は保証されない。
Epochにおける字幕の位置関係にたとえれば、 再生時間軸上におい て、 画面上のある決まつた矩形領域内に字幕が出現している期間が、 Epochということができる。 図 6は、 字幕の表示位置と、 Epochとの関 係を示す図である。 本図では、 動画の各ピクチャの絵柄に応じて字幕 の位置を変更するという配慮がなされている。 つまり 5つの字幕「本当 は」「ゥソだった」「ごめん」「あれから」「3年がたつた」のうち、 3つの字 幕「本当は」「ゥソだった」「ごめん」は画面の下側に、 「あれから」「3年が たった」は画面の上側に配置されている。 これは画面の見易さを考え、 画面中の余白にあたる位置に字幕を配置することを意図している。 か かる時間的な変動がある場合、 AVC l i pの再生時間軸において、 下側の 余白に字幕が出現している期間が 1つの Epoch l、 上側の余白に字幕が 出現している期間が別の Epoch2になる。 これら 2つの Epochは、 それぞ れ独自の字幕の描画領域をもつことになる。 Epoch lでは、 画面の下側 の余白が字幕の描画領域(w i ndow l )になる。 一方 Epoch2では、 画面の 上側の余白が字幕の描画領域(w i ndo w2)になる。 これらの Epoch 1, 2に おいて、 バッファ ·プレーンにおけるメモリ管理の連続性は保証され ているので、 上述した余白での字幕表示はシーム レスに行われる。 以 上が Epochについての説明である。 続いて D i sp l ay Setについて説明す る。
図 5における破線 hk l , 2は、 第 2段目の機能セグメ ン トが、 どの Epochに帰属しているかという帰属関係を示す。 Epoch Start, Acquisition Point, Normal Caseと^ヽぅ一連の DSは、 第 1段目 の Epochを構成していることがわかる。 『Epoch Start』、 『Acquisition Point』、『Normal CaseJは、 DSの.類型である。本図における Acquisition Point, Normal Caseの順序は、 一例にすぎず、 どちらが先であっても よい。
『Epoch Start』 は、 " 新表示" という表示効果をもたらす DSであ り、 新たな Epochの開始を示す。 そのため Epoch Startは、 次の画面合 成に必要な全ての機能セグメ ン トを含んでいる。 Epoch Startは、 映 画作品におけるチャプター等、 頭出しがなされることが判明している 位置に配置される。
『Acquisition Point』 は、 " 表示リ フ レッ シュ" という表示効果 をもたらす Display Setであり、 先行する Epoch Startと全く同じ Display Setをいう。 Acquisition Pointたる DSは、 Epochの開始時点 ではないが、 次の画面合成に必要な全ての機能セグメ ン トを含んでい るので、 Acquisition Pointたる DSから頭出しを行えば、 グラフイ ツ クス表示を確実に実現することができる。 つまり Acquisition Point たる DSは、 Epochの途中からの画面構成を可能するという役割をもつ。
Acquisition Poihtたる Di splay Setは、 頭出し先になり得る位置に 組み込まれる。 そのような位置には、 タイムサーチにより指定され得 る位置がある。 タイムサーチとは、 何分何秒という時間入力をユーザ から受け付けて、 その時間入力に相当する再生時点から頭出しを行う 操作である。 かかる時間入力は、 10分単位、 10秒単位というように、 大まかな単位でなされるので、 10分間隔の再生位置、 10秒間隔の再生 位置がタイムサーチにより指定され得る位置になる。 このようにタイ ムサーチによ り指定され得る位置に Acquisition Pointを設けておく ことにより、 タイムサーチ時のグラフ ィ クスス ト リーム再生を好適に 行うことができる。
『Normal CaseJ は、 " 表示アップデー ト " という表示効果をもた らす DSであり、 前の画面合成からの差分のみを含む。 例えば、 ある DSv の字幕は、 先行する DSuと同じ内容であるが、 画面構成が、 この先行 する DSuとは異なる場合、 PCSと、 ENDのみの DSvを設けてこの DSvを Normal Caseの DSにする。 こうすれば、 重複する 0DSを設ける必要はな く なるので、 BD-R0Mにおける容量削減に寄与することができる。一方、 Normal Caseの DSは、 差分にすぎないので、 Normal Case単独では画面 構成は行えない。
続いて Definition Segment (ODS, WDS, PDS)について説明する。
『Object_Def inition_Segment』 は、 グラフ ィ クスォブジヱク トを 定義する機能セグメ ン トである。 このグラフィ クスオブジェク トにつ いて以下説明する。 BD-R0Mに記録されている AVClipは、 ハイ ビジョ ン 並みの高画質をセールスボイ ン トにしているため、 グラフ ィ タスォブ ジェク 卜の解像度も、 1920 X 1080画素という高精細な大きさに設定さ れている。 1920 X 1080という解像度があるので、 BD-R0Mでは、 劇場上 映用の字幕の字体、 つま り、 手書きの味わい深い字体の字幕表示を鮮 やかに再現できる。 グラフ ィ クスオブジェク トは複数のランレングス データからなる。 ラン レングスデータとは、 画素値を示す Pixel Code と、 画素値の連続長とにより、 画素列を表現したデータである。 Pixel Codeは、 8ビッ トの値であり、 1〜 255の値をとる。 ラン レングスデー タでは、 この Pixel Codeによりフル力ラーの 16, 777, 216色から任意の 256色を選んで画素の色として設定することができる。 尚、 字幕と し て表示される場合、 グラフ ィ クスォブジヱク トは、 透明色の背景に、 文字列を配置することで描画せねばならない。
0DSによるグラフ ィ クスオブジェク トの定義は、 図 7 ( a ) に示す ようなデータ構造をもってなされる。 0DSは、 図 7 ( a ) に示すよう に自身が 0DSであることを示す 『segment_type』 と、 0DSのデータ長を 示す 『segmenし length』 と、 Epochにおいてこの 0DSに対応するグラフ イ クスオブジェク トを一意に識別する 『object— id』 と、 Epochにおけ る 0DSのバージョ ンを示す 『object— version_number』 と、
『last_in_sequence_f lag』 と、 グラフ ィ クスオブジェク トの一部又 は全部である連続バイ ト長データ 『object— data— fragjnent』 とからな る。 『obj ect_ i d』 は、 ODSはデコー ドされて対応するグラフィ クスォブ ジェク トがォブジヱク トバッフ ァ上に読み出された場合、 このグラフ イ クスオブジェク ト と、 オブジェク トノ ッフ ァにおいてこのグラフィ クスォブジェク トが占有している領域とを一意に識別する識別子で ある。 1つ以上のグラフィ クスオブジェク トが格納された状態におい て、 オブジェク トバッファのメモリ空間における個々の領域は、 この obj ect_i dにより識別されることになる。 仮にある obj ec t— i dが 2っ以 上の D i sp l ay Setに付加されている場合、 先行する 0DSに対応するグラ フ ィ ク スオブジェク トは、 ォブジヱク ト ノ ッファに格納された後、 同 じ obj ect_ i dを有する後続のグラフ ィ クスォブジェク トにより上書き されることになる。'かようなアップデー トは、 空き領域の虫食い状の 発生や、 グラフ ィ クスオブジェク トの離散配置を避けるとの配慮であ る。 その理由は以下の通りである。 グラフィ クス表示を行うため、 ォ ブジェク トバッフ ァ上のグラフ ィ クスォブジェク トは絶えずグラフ ィ ックスプレーンに転送されることになる。 オブジェク トバッフ ァ内 に空き領域が虫食い状に発生したり、 また同じ obj ect— i dをもったグ ラフ ィ クスォブジェク トがバラバラにされて離散的に配置されると、 グラフ ィ クスオブジェク ト を読み出すためのオーバへッ ドが発生し、 オブジェク トノ ッファ→グラフ ィ ックスプレーンの転送時にあたつ ての転送効率が落ちる。 この効率低下は、 グラフ ィ クス一動画の同期 表示に悪影響を及ぼしかねない。 かかる事情から、 オブジェク トバッ フ ァ上においてある obj ect— i dで識別されるグラフ ィ クスオブジェク トが共有している領域は、 同じ大きさと同じ obj ect_i dとをもつたグ ラフ ィ クスォブジェク トでのみ上書きできるとしている。
グラフィ クスォブジヱク ト上書きにあたって、 後続するグラフ イ ク スォブジェク 卜のサイズは、 先行するものと同じサイズでなければな らない。 先行するグラフィ クスォブジェク トにより小さすぎてもいけ ないし、 大き過ぎてもいけない。 アップデー トにあたってグラフ イ ク スオブジェク トのサイズが同じになるようにグラフ ィ クスオブジェ ク トを作成しておく というのは、 ォ一サリ ング担当者にとつての責務 になる。 同じ IDをもつグラフィ クスォブジェク トの縦横サイズを同じ にするとの制限は、 1つの Epoch内の制限に過ぎない。 ある Epochに属 するグラフ ィ クスオブジェク ト と、 次の Epochに属するグラフ ィ クス オブジェク ト とでは縦横のサイズが変わっても良い。
『 last— in— sequence— flag』 、 object— data— f ragment』 について 説明する。 PESパケッ トのペイロー ドの制限から、 字幕を構成する非 圧縮グラフ ィ クスが 1つの 0DSでは格納できない場合がある。 そのよう な場合、 グラフイ クスを分割することにより得られた 1部分(フラグメ ン ト)が object— data— fragmentに設定される。 1つのグラフ ィ クスォブ ジェク トを複数 0DSで格納する場合、 最後のフラグメ ン トを除く全て のフラグメ ン トは同じサイズになる。 つま り最後のフラグメ ン トは、 それ以前のフラグメ ン トサイズ以下となる。 これらフラグメン トを格 納した 0DSは、 DSにおいて同じ順序で出現する。 グラフ ィ クスォブジ ェク トの最後は、 last— in_sequence— flagをもつ 0DSにより指示される ( 上述した 0DSのデータ構造は、 前の PESパケッ トからフラグメン トを詰 めてゆく格納法を前提にしているが、 各 PESパケッ トに空きが生じる ように、 詰めてゆく という格納法であつても良い。 以上が 0DSの説明 である。
『Palette Dif inition Segment (PDS)』 は、 色変換用のパレッ トを 定義する情報である。 パレッ ト とは、 1〜255の Pixel Codeと、 画素値 との組合せを示すデータである。 ここで画素値は、赤色差成分(Cr値), 青色差成分(CM直),輝度成分(Y値),透明度(T値)から構成される。 各ラ ンレンダスデータが有する Pixel Codeを、 パレツ ト に示される画素値 に置き換えることで、 ラン レングスデータは発色されることになる。 PDSめデータ構造を図 7 (b) に示す。 図 7 (b) に示すように PDSは、 自身が PDSであることを示す 『segment_type』 、 PDSのデータ長を示す 『segment_length』 、 この PDSに含まれるパレツ トを一意に識別する 『pallet_id』 、 Epochにおける Epochの PDSのパージヨ ンを示す 『pal let— version— numberj 、 各エン ト リーについての情報
『pal let— entry』 からなる。 『pal 1 et— entry』 は、 各エン ト リ一にお ける赤色差成分(Cr値),青色差成分(CM直),輝度成分 Y値,透明度(T値) を示す。
続いて WDSについて説明する。
『 window— def ini U on— segment』 は、 グラフィ ックスプレーンの矩 形領域を定義するための機能セグメン トである。 Epochでは、 ク リア 及び再描画が、 グラフ ィ ックスプレーンにおけるある矩形領域内で行 われている場合のみ、 メモリ管理に連続性が生ずることは既に述べて いる。 このグラフ ィ ックスプレーンにおける矩形領域は" window" と 呼ばれ、 この WDSで定義される。 図 8 (a) は、 WDSのデータ構造を示 す図である。 本図に示すように WDSは、 グラフ ィ ックスプレーンにお いてウィ ン ドウを一意に識別する 『window— id』 と、 グラフ ィ ックス プレーンにおける左上画素の水平位置を示す
『window— horizontal— positionj と、 グラフ ィ ックスプレーンにおけ る左上画素の垂直位置を示す 『window— vertical— positionj と、 グラ フィ ックスプレーンにおけるウイ ン ド ウ の横幅を示す
『window_width』 と、 グラフ ィ ックスプレーンにおける縦幅を示す 『window_height』 とを用いて表現される。
window— ho ri zontal—posi ti on、 window— vertical— posi t i on、 window— width、 window— heightがとりうる値について説明する。 これ らが想定している座標系は、 グラフ ィ ックスプレーンの内部領域であ り、 このグラフ ィ ックスプレーンは、 縦: video_height、
横: video— widthという二次元状の大きさをもつ。
window— hori zontal_posi t ionは、 グラフ ィ ックスプレーンにおける 左上画素の水平ァ ドレスであるので、 l〜video_widthの値をと り、 window_vertical—position¾、 グラフ ィ ックスプレーンにおける左上 画素の垂直ア ドレスであるので l〜video_heightの値をとる。
window— widthは、 グラフ ィ ックスプレーンにおけるウイ ン ド ウの横 幅であるので、 1〜 video— width-window— horizontal— posi ti onの値を とり、 window— heightは、 グラフィ ックスプレーンにおける縦幅であ るので 1〜 video— heigh t- window— vert ical—posi t ionの値をとる。 TOSの window— horizontal— posit ion、 window— vertical— posit ion、 window_width、 window— heightにより、 グラフ ィ ックスプレーンの何 処にウィ ン ドウを配置するか、 ウィ ン ドウの大きさをどれだけにする かを Epoch毎に規定することができる。 そのため、 ある Epochに属する ピクチャが表示されている期間において、 ピクチャ内の絵柄の邪魔に ならないように、 ピクチャ上の余白にあたる位置に、 ウィ ン ドウが現 れるようォーサリ ング時に調整しておく ことができる。 これによりグ ラフイ クスによる字幕表示を見易くすることができる。 TOSは Epoch毎 に定義可能なので、 ピクチャの絵柄に時間的な変動があっても、 その 変動に応じて、 グラフ ィ クスを見易く表示することができる。 そのた め、 結果として、 字幕を映像本体に組み込むのと同じレベルにまで映 画作品の品質を高めることができる。
続いて 『END of Display Set SegmentJ について説明する。 END of Display Set Segmentは、 Display Setの伝送の終わりを示す指標であ り、 Display Setにおける機能セグメ ン トのうち、 最後の 0DSの直後に 配置される。 この END of Display SetSegmentの内部構成は、 自身が END of Display SetSegmentであることを示す 『 segment_type』 と、 当該機能セグメン トのデータ長を示す『segment_length』とからなり、 これといって説明が必要な構成要素はない。 故に図示は省略する。 以上が 0DS、 PDS、 WDS、 ENDについての説明である。 続いて PCSにつ いて説明する。
PCSは、 対話的な画面を構成する機能セグメ ン トである。 PCSは、 図 8 ( b ) に示すデータ構造で構成される。 本図に示すように PCSは、 u segment— type』 と、 rsegment— lengthj と、 composi ti on— n龍 ber』 と、 u composition— s tat e』と、 『pal let— update— flag』と、 『pal let— id』 と、 『composition— object(l)〜(! n)』 と力、ら構成される。
『composition—iiumber』は、 0から 15までの数値を用いて Display Set におけるグラフィ クスアップデー ト を識別する。 どのように識別する かというと、 Epochの先頭から本 PCSまでにグラフィ クスアツプデー ト が存在すれば、 それらグラフィ クスアップデー トを経由する度に、 イ ンク リ メ ン ト されるというノレ一ノレで composition_numberは設定され る。
『composi tion— state』 は、 本 PCS力、ら 台まる Di splay Setが、 Normal Caseであるか、 Acquisition Pointであるか、 Epoch Startであるかを 示す。
『pal let— update— flagj は、 本 PCSにおいて Pal letOnly Displey Updateがなされているかどう力、を示す。 PalletOnly Displey Update とは、 直前のパレツ トのみを新たなものに切り換えることでなされる アップデー トをいう。 本 PCSでかかるアップデー トがなされれば、 本 フ ィールドは " 1 " に設定される。
『pallet_id』 は、 Pal letOnly Displey Updateに用いられるべきパ レツ トを示す。
『composition_object(l) · ' · (n)』 は、 この PCSが属する Di splay Set における画面構成を実現するための制御情報である。 図 8 (b) の破 線 wdlは、 任意の composition— object(i)の内部構成をクローズアップ している。 この破線 wdlに示すように、 composition— object(i)は、 『object— id— ref』 、 『window_id— ref』 、 u object— cropped_flag』 、 『object— horizontal— positioiU 、 『object— vertical— position』 、
『cropping— rectangle情報 (1) (2) (n)』 からなる。
『object_id_ref』は、グラフィ クスオブジェク ト識別子(object_id) の参照値である。 この参照値は、 composition_object(i)に対応する 画面構成を実現するにあたって、 用いるべきグラフィ クスォブジェク トの識別子を意味する。
『window_id—ref』 は、 ウ ィ ン ド ウ識別子(window— id)の参照値であ る。 この参照値は、 composition— object(i)に対応する画面構成を実 現するにあたって、 どのウィ ン ドウに、 グラフ ィ クスオブジェク トを 表示させるべきかを示す。
『object— cropped— flag』 は.、 オブジェク トノ ッフ ァにおいてクロ ップされたグラフ ィ クスォブジェク トを表示するか、 グラフ ィ クスォ ブジェク トを非表示とするかを切り換えるフラグである。 " Γ と設 定された場合、 ォブジヱク トバッファにおいてクロップされたグラフ イ クスオブジェク トが表示され、 " 0" と設定された場合、 グラフィ クスォブジェク トは非表示となる。
『object— horizontal_posi tion』 は、 グラフ ィ ックスプレーンにお けるグラフ ィ クスオブジェク トの左上画素の水平位置を示す。
『object_verticaI— position』 は、 グラフ ィ ックスプレーンにおけ る左上画素の垂直位置を示す。
『 cropping— rectangle情報 (1) (2) (n)』 は、
『object— cropped_f lag』が 1に設定されている場合に有効となる情報 要素である。 破線 wd2は、 任意の cropping_rectangle情報(i)の内部構 成をクローズアップしている。 この破線に示すように
cropping— rectangle情報 (i)は、
Γ obj ect_crop i ng_hor i zontal_posi t i on』 、
『 object— cropping— vertical— add res s』、『 object— cropping jidth』、 『object— cropping— heightj からなる。
『object— cropping—horizontal— positionj は、 グラフ ィ ックスプ レーンにおけるクロップ矩形の左上画素の水平位置を示す。 クロップ 矩形は、 グラフ ィ クスォブジェク トの一部を切り出すための枠であり . ETSI EN 300 743標準規格における" Region" に相当する。
『object— cropping— vertical— addressj は、 グラフ ィ ックスプレー ンにおけるクロップ矩形の左上画素の垂直位置を示す。
『object— cropping— width』 は、 グラフ ィ ックスプレーンにおける クロップ矩形の横幅を示す。
『object— cropping— height』 は、 グラフ ィ ックスプレーンにおける クロップ矩形の縦幅を示す。
以上が PCSのデータ構造である。 続いて PCSの具体的な記述について 説明する。 この具体例は、 図 6に示した字幕の表示、 つまり動画の再 生進行に伴い、 三回のグラフ ィ ックスプレーンへの書き込みで 『ほん とは』 『ゥソだった』 『ごめん』 というように徐々に表示させるとい う ものである。 図 9は、 かかる字幕表示を実現するための記述例であ る。 本図における Epochは、 DSl (Epoch Start)、 DS2 (Normal Case), DS3(Norraal Case)を有する。 DSlは、 字幕の表示枠となる windowを定 義する TOS、 台詞 『ほんとは ゥソだった ごめん』 を表す 0DS、 1つ 目の PCSを備える。 DS2(Normal Case)は、 2つ目の PCSを有する。
DS3(Normal Case)は 3つ目の PCSを有する。
次に個々の PCSをどのように記述するかについて説明する。 Display Setに属する WDS、 PCSの記述例を図 1 0〜図 1 2に示す。 図 1 0は、 DS1における PCSの記述例を示す図である。
図 1 0において、 WDSの window— horizontal— position
window— vertical— positionは、 グラフ ィ ックスプレーンにおけるウイ ン ド ウの左上座標 LP1を、 window— width, window— heightは、 ウィ ン ド ゥの表示枠の横幅、 縦幅を示す。
図 1 0におけるクロップ情報の
object— cropping— horizon tal_posi U on, object— cropping— vertical— posi tionは、 オブジェク トノ ッフ ァにおけるグラフィ クスォブジェク トの左上座標を原点と した座標系においてクロップ範囲の基準 ST1を 示している。 そして基準点力、ら object— cropping— width、
object_cropping_lieightに示される範囲(図中の太枠部分)がク口ッ プ範囲になる。 クロップされたグラフ ィ クスオブジェク トは、 グラフ イ ツクスプレーンの座標系において
object— ho ri zontal— posi tion, object— vert ical— posi ti onを基準点 (左上)と した破線の範囲 cplに配置される。 こうすることにより、 『本 当は』 がグラフ ィ ックスプレーンにおけるウイ ン ド ウ内に書き込まれ る。 これにより字幕 『本当は』 は動画像と合成され表示される。
図 1 1 (a) は、 DS2における PCSC 記述例を示す図である。 本図に おける WDSの記述は、 図 1 0と同じなので説明を省略する。 クロップ 情報の記述は、 図 1 0と異なる。 図 1 1 ( a ) におけるクロップ情報 の
object— cropping— horizon tal_posi tion, object— cropping— vertical— position,は、 オブジェク トバッファ上の字幕 『本当はゥソだった。 ごめん』 のうち、 『ゥソだった』 の左上座標を示し、 object— cropping— height, object— cropping— widthは、 『ゥソだつた』 の横幅、 縦幅を示す。 こうすることにより、 『ゥソだった』 がグラフ ィ ックスプレーンにおけるウイ ン ドウ内に書き込まれる。 これにより 字幕 『ゥソだった』 は動画像と合成され表示される。
図 1 1 (b) は、 DS3における PCSの記述例を示す図である。 本図に おける WDSの記述は、 図 1 0と同じなので説明を省略する。 クロップ 情報の記述は、 図 1 0と異なる。 図 1 1 ( b ) におけるクロップ情報 の
object_cropping— horizontal— position, object— cropping— vertical— position,は、 ォブジヱク トバッファ上の字幕 『本当はゥソだつた。 ごめん』 のうち、 『ごめん』 の左上座標を示し、
object— cropping— height, object— cropping— widthは、 『ごめん』 の横 幅、 縦幅を示す。 こうすることにより、 『ごめん』 がグラフィ ックス プレーンにおけるウイ ン ドウ内に書き込まれる。 これにより字幕 『ご めん』 は動画像と合成され表示される。 図 1 3は、 図 1 0〜図 1 2 に示すようなグラフ ィ クスアツプデー トを実現するにあたっての、 ォ ブジェク トバッフ ァにおけるメモリ空間を示す図である。 本図に示す ようにォブジ: Lク トバッフ ァは、 縦幅、 横幅、 位置が固定された格納 領域 A,B,C,Dが 4つあり、 このうち格納領域 Aに、 図 1 1 に示した字幕 が格納される。 これら 4つの格納領域 A,B,C,Dのそれぞれには、 格納さ れているグラフ イ クスォブジェク トに対応する object_idにより識別 される。 つま り object— id=lにより格納領域 Aが、 obj ecし i d=2により 格納領域 Bが、 object— id=3により格納領域 Cがそれぞれ識別されるの である。 グラフ ィ ックスプレーンへの転送効率を維持するため、 これ ら格納領域の縦幅、 横幅は終始固定されている。 同じ object— idをも つたグラフ ィ クスオブジェク トがデコー ドにより新たに得られれば、 それらの格納領域はその新たに得られたグラフ イ クスォブジヱク ト により上書きされる。 例えば、 図 1 0に示した字幕と同じ位置に、 同 じ大きさで字幕を表示させたい場合、後続する Display Setにおいて、 同じ obj ec t_ i dを付加した 0DSを設ければよい。 このように同じ obj ec t_ i dを付加するだけで、 オブジェク トバッフ ァ上に存在するグ ラフ イ クスオブジェク トは、 新たなグラフィ クスオブジェク トで上書 きされ、 その新たなグラフ ィ クスオブジェク トは、 先のグラフ ィ クス オブジェク ト と同じ大きさ ·同じ位置で表示されることになる。
表示効果実現にあたつての制約について説明する。 なめらかな表示 効果の実現には、 ウィ ン ドウク リ アと、 ウィ ン ドゥ再描画とが必要に なる。 ウ ィ ン ド ウク リアと、 ウ ィ ン ド ウ再描画とをビデオフ レームの 時間間隔で実現する場合、 ォブジヱク トバッファと、 グラフィ ックス プレーンとの間の転送レー トはどれだけ必要であろうか。
ここでウ ィ ン ド ウをどれだけの大きさとするかの制限について検 討する。 オブジェク トノ ッフ ァーグラフ ィ ックスプレーン間の転送レ ー トを Rcとすると、 ワース トケースでは、 この転送レー ト Rcでウィ ン ドウク リ アと、 ウィ ン ドゥ再描画とを行わねばならない。 そうすると ウィ ン ドウク リ ア、 ウィ ン ドウ再描画のそれぞれを Rcの半分の転送レ 一ト (Rc/2)で実現せねばならない。
これらウイ ン ドウク リ ア一ウイ ン ドウ再描画をビデオフ レームと 同期させるには、
ウィ ン ドウサイズ Xフ レームレー ト = Rc/2
を満たす必要がある。 このフ レームレー トが 29. 97であるなら、 Rcは、 ウィ ン ドウサイズ X 2 X 29. 97になる。
字幕の表示にあたっては、 グラフィ ックスプレーン全体に対し、 最 低でも 25%〜 33%程度の大きさが必要となる。 ここでグラフ ィ ックスプ レーンの総画素数は 1 920 X 1 080であり、 一画素当たりのィ ンデックス のビッ ト長を 8ビッ ト とすると、 グラフ ィ ックスプレーンの総容量は 2Mパイ ト (= 1 920 X 1 080 x 8)になる。
この総容量の 1 /4をウ ィ ン ド ウサイズとすると、 500kバイ ト (= 2Mバ ィ ト /4)になる。 これを上述した式に代入して Rcを導けば、 Rcは 256Mbps (500Kパィ ト x 2 x 29. 97)と算出することができる。
この 25%〜 33%という大きさであれば、 256Mbpsという転送レー トで 字幕の表示を行っている限り、 如何なる表示効果を実現する場合であ つても、 動画との同期を維持することができる。
仮に、 ウイ ン ド ウク リ ァ及び再描画のレー トがビデオフ レームのフ レームレー トの 1 /2, 1 /4でよいなら、 Rcがたとえ同じであってもウイ ン ド ウサイズを 2倍, 4倍にすることができる。 以上が w i ndowの大きさ についての説明である。 続いて、 w i ndowの位置、 範囲について説明す る。 上述したように、 Epochにおいてウィ ン ドウの位置、 範囲は一貫 している。
Epochにおいてゥィ ン ド ウの位置、 範囲を一貫させておく のは以下 の理由による。 ウィ ン ドウの位置'範囲を変えれば、 グラフィ ックス プレーンに対する書込先ァ ド レスを変えねばならず、 オーバ一へッ ド が発生するので、 かかるオーバーへッ ドによりオブジェク トバッファ からグラフ ィ ックスプレーンへの転送レー トが低下するからである。
ウイ ン ド ウ には、 グラフィ クスオブジェク トの個数が制限されてい る。 この個数制限は、 デコ一 ドされたグラフ ィ クスォブジェク トの転 送にあたってのオーバーへッ ドを低減する目的で設けられている。 こ こでのオーバーへッ ドは、 グラフ ィ クスオブジェク トのエッジ部分の ア ド レスを設定する際に発生する。 そうすれば、 エッジの部分が多く 存在する程、 オーバ一ヘッ ドの発生回数が多く なる。
ウィ ン ドウにおけるグラフィ クスオブジェク トの数に制限がない と、 グラフ ィ クス転送にあたって発生するオーバーへッ ド数が未知数 になり、 転送負荷の増減が激しく なる。 一方、 ウ ィ ン ド ウにおけるグ ラフィ クスの個数が 2つまでであると、 最悪 4つのオーバーへッ ドが発 生すると見込んで転送レー トを設定すればよいので、 ミニマムスタン ダー ドたる転送レー トを数値化し易く なる。
以上がウィ ン ドウについての説明である。 続いてこれら PCS、 0DSを 有した Di sp l ay Setが、 AVC l i pの再生時間軸上にどのように割り当て られるかについて説明する。 Epochは、 再生時間軸上においてメモリ 管理が連続する期間であり、 Epochは 1つ以上の Di sp l ay Setから構成 されるので、 D i sp l ay Setをどうやって AVC l i pの再生時間軸に割り当 てるかが問題になる。 ここで AVClipの再生時間軸とは、 AVClipに多重 されたビデオス ト リームを構成する個々のピクチャデータのデコ一 ドタイ ミ ング、 再生タィ ミ ングを規定するために想定される時間軸を いう。 この再生時間軸においてデコー ドタイ ミ ング、 再生タイ ミ ング は、 90KHzの時間精度で表現される。 Display Set内の PCS、 ODSに付加 された DTS、 PTSは、 この再生時間軸において同期制御を実現すべきタ イ ミ ングを示す。 この PCS、 ODSに付加された DTS、 PTSを用いて同期制 御を行うことが、 再生時間軸への Display Setの割り当てである。
先ず、 0DSに付加された DTS、 PTSにより、 どのような同期制御がな されるかについて説明する。
DTSは、 0DSのデコー ドを開始すべき時間を 90KHzの時間精度で示し ており、 PTSはデコー ド終了時刻を示す。
0DSのデコ一 ドは、瞬時には完了せず、時間的な長さをもつている。 このデコー ド期間の開始点 ·終了点を明らかにしたいとの要望から、 0DSについての DTS、 PTSはデコー ド開始時刻、 デコー ド終了時刻を示 している。
PTSの値はデッ ドライ ンであるので、 PTSに示される時刻までに 0DS のデコー ドがなされて、 非圧縮状態のグラフ ィ ックオブジヱク トが、 再生装置上のォブジ工ク トバッフ ァに得られなければならない。
DSnに属する任意の ODSjのデコー ド開始時刻は、 90KHzの時間精度で DTS(DSn[0DSj])に示されるので、 これにデコー ドを要する最長時間を 加えた時刻が、 Display Setの ODSjのデコー ド終了時刻になる。
ODSjのサイズを" SIZE (DSn [ODSj])" 、 0DSのデコ一 ドレートを" Rd" とすると、デコー ドに要する最長時間(秒)は、" S I ZE (DSn [ODSj] ) //Rd" になる。 ここで" //" は、 小数点以下切り上げの割り算を示す演算子 である。
この最長時間を 90KHzの時間精度に変換し、 ODSjの DTSに加算するこ とにより、 PTSで示されるべきデコー ド終了時刻(90KHZ)は算出される c DSnに属する ODSjの PTSを、 数式で表すと、 以下の式のようになる。 PTS(DS[0DSj])=DTS(DSn[ODSj])+90, 000 x (SIZE(DSn [0DSj])//Rd) そして互いに隣接する 2つの 0DS(0DSj,0DSj + l)との間では、 以下の 関係を満たす必要がある。
PTS(DSn[0DSj])≤DTS(DSn [ODSj + 1])
また DSnに属する ENDは、 DSnの終わりを示すものだから、 DSnに属す る最後の ODS(ODSlast)のデコー ド終了時刻を示せばよい。 このデコ一 ド終了時刻は、 0DS2(0DSlast)の PTS(PTS(DSn[ODSlast]))に示されて いるので、 ENDの PTSは、 以下の式に示される値に設定される。
PTS(DSn[END]) = PTS (DSn [ODSlast] )
続いて PCSの DTS、 PTSの設定について説明する。
PCSの DTS値は、 DSnにおける最初の ODS(ODSl)のデコー ド開始時点か- それ以前の時点を示す。何故なら PCSは、 DSnにおける最初の ODS(ODSl) のデコー ド開始時点(DTS(DSn[0DSl]))、 及び、 DSnにおける最初の PDS(PDSl)が有効になる時点(PTS(DSn[PDSl]))と同時か、 又はそれ以 前に、 再生装置上のバッ フ ァ にロー ドされねばならないからである。 よって以下の式の関係を満たす値に、 設定されねばならない。
]DTS(DSn[PCS])≤DTS(DSn [0DS1])
DTS(DSn[PCS])≤PTS(DSn[PDSU)
そして DSnにおける PCSの PTSは、 以下の数式から算出される。
PTS(DSn[PCS])≥DTS(DSn[PCS])+decodeduration(DSn)
ここで decodeduration(DSn)は、 PCSのァップデー 卜に用いられる全 グラフ ィ クスォブジ Xク トのデコー ド及ぴ表示に要する時間である。 このデコー ド時間は、 固定値ではない。 しかし各再生装置の状態や再 生装置の実装により変動するものでもない。 本 DSn.PCSnの画面合成に 用いられるォブジヱク トを DSn.PCSn.0BJ[j]と した場合、
decodeduration(DSn)は、 ウ イ ン ド ウ ク リ アに要する時間(i)、
DSn.PCSn.0BJのデコー ド期間(ii)、 DSn. PCSn.0BJの書き込みに要する 時間(iii)によ り変動を受ける値になる。 Rd,Rcさえ予め定められてい れば、 どのような実装の再生装置であっても、 同じ値になる。 そのた めォーサリ ング時にあたっては、 これらの期間の長さを算出して、 こ の値から PTSを計算している。
decode_durationの計算は、 図 1 4のプログラムに基づき行われる。 また図 1 5、 図 1 6 ( a ) ( b ) は、 このプログラムのアルゴリズム を図式化したフローチャー トである。 以降、 これらの図を参照しなが ら decode— durationの算出について説明する。 図 1 5のフローチヤ一 卜において、 先ず初めに、 PLANEINITIALIZATINTIME関数を呼び出し、 戻り値を decode_durationに加算する(図 1 5のステップ S 1 )。
PLANEINITIALIZATINTIME関数(図 1 6 (a) )は、 Display Setを表示 するにあたってグラフ ィ ッ クスプレーンの初期化に要する時間を求 める関数を呼出すための関数であり、 図 1 5のステップ S 1では、 DSn,DSn.PCS.OBJ[0] , decode_durtat i onを引数に設定して、 この関数 を呼び出す。
続いて図 1 6 ( a ) を参照しながら PLANEINITIALIZATINTIME関数に ついて説明する。 図 1 6 (a) において initialize_durationとは、 PLANEINITIALIZATINTIME関数の戻り値を示す変数である。
図 1 6のステップ S 2は、 DSnの PCSにおける compos ion_stateが Epoch Startかどうかにより、 処理を切り換える i f文である。 も し composition_state力 SEpoch Startであるなら (図 1 4の
DSn. PCS. composition— state==EP0CH_START、 ステップ S 2 =Yes)、 グ ラフィ ックスプレーンのク リ アに要する時間を initialize_duration に設定する(ステップ S 3 )。
オブジェク トノ ッファーグラフィ ッ クスプレーン間の転送レー ト Rcを上述したように 256, 000, 000とし、 グラフィ ックスプレーンの総 サィズを video— width*video— heightとすると、 ク リアに要する時間 (秒)は、 「video—width*video_heiglit//256, 000, 000」 になる。 これ に、 90, 000Hzを乗じ PTSの時間精度で表現すれば、 グラフ ィ ッ ク スプ レーンのク リ アに要する時間は 「 90000 X
video_width*video_height//256, 000, 000J になる。 この時間を、 in出 alize— durationに加;^て、 initial ize_durationを庚り値と して リ ターンする。 も し composition_stateが Epoch Startでないなら(ステップ S 2 = No)、 WDSにて定義される window [i]のク リ ァに要する時間を
ini t iali ze_durat ionに加えるという処理を全ての windowについて繰 り返す(ステップ S 4 )。 オブジェク トバッフ ァーグラフ ィ ックスプレ —ン間の転送レー ト Rcを上述したように 256, 000, 000とし、 WDSに属す るウィ ン ドウ [Πの総サイズを∑ SIZE(WDS. WIN[i])とすると、 ク リ ア に要する時間(秒)は、 Γ∑ SIZE (WDS. WIN [i])//256, 000, 000J になる。 これに、 90, 000Hzを乗じ PTSの時間精度で表現すれば、 WDSに属する全 ウ ィ ン ド ウのク リ アに要する時間は 「90000 x∑
SIZEC DS. WIN[i]))//256, 000, 000J になる。 この時間を、
initial i ze_durat i onに加えて、 i ni t ial i ze— durat ι onを民り値として リ ターンする。 以上が PLANEINITIALIZATINTIME関数である。
図 1 5のステップ S 5は、 DSnに属するグラフ ィ クスオブジェク ト の数が 2であるか、 1であるかで処理を切り換えるものであり(図 1 4 の if (DSn. PCS. num_of _obj ect==2) , if (DSn. PCS. num— o obj ect==l) )、 も し" 1" であるなら(ステップ S 5 == 1)、 グラフ ィ クスオブジェク ト のデコー ドを行うための待ち時間を decode_durationに加える(ステ ップ S 6 )。 この待ち時間の算出は、 WAIT関数の呼出(図 1 4の decode— duration +=WAIT(DSn, DSn. PCS. OBJ [0], decode— durati on) )で 実現される。 この関数呼出にあたっての引数は
DSn,DSn.PCS.OBJ[0],decode_durationであり、 待ち時間を示す wait— durati onが戻り値として返される。
図 1 6 (b)は、 WAIT関数の処理手順を示すフローチャー トである。 この WAIT関数において current— durationとは、 呼出元の
decode— durationが設疋される。 object— def ine— ready— timeは、
Display Setのグラフィ クスォブジェク ト [i]の PTSが設定される変数 である。
current— timeとは、 DSnの PCSの DTSに、 current— durationを足した 値が設定される変数である。 この current— timeより
objec1:—define_ready— timeが大きい場合(ステツプ S 7が Yes、 if (current— time く object— define— ready— time))、 戻り値たる wai t— durati onは、 object— define— ready— timeと current— timeとの差 分が設定されることになる(ステップ S 8、 wait_duration += object— def ine— ready— t i me - current— time) 0 以上カ Wa it関数である。 ステップ S 6において decode— durationには、 この wait関数の戻り値 と、 OBJ[0]を windowに描画するのに必要な時間を足し合わせた時間 (90, 000* (SIZE(DSn. WDS. WIN [0] )) //256, 000, 000)が設定されること になる(ステップ S 9 )。
以上は DSnのダラフ イ クスォブジェク トが 1つである場合の処理で ある。 図 1 5のステップ S 5は、 グラフ ィ クスオブジェク トの数が 2 であるかどうかを判定している。 DSnのグラフ ィ クスォブジェク トが 2 以上であれば(図 1 4の if (DSn. PCS. num— of— obj ect==2) )、
DSn,DSn.PCS.OBJ[0],decode_durationを引数として、 wait関数を呼び 出し、' その戻り値を decode— durationに加算する(ステップ S 1 0 )。 続く ステップ S 1 1 は、 DSnの 0BJ[0]が属する windowが、 グラフ ィ クスォブジェク ト [1]が属する windowと同一かどうかの判定であり (if (DSn. PCS. OBJ[0]. window— id == DSn. PCS. OBJ [1] . window— id)、 も し同一であるなら、 DSn, DSn. PCS.0BJ ], decode— durationを引数にし て wait関数を呼び出し、 その戻り値 wait_durationを、
decode_durationに加算する(ステップ S 1 2 )。 OBJ[0]が属する w i ndo wの再描画に必要な時間
(90, 000* (SIZE (DSn. WDS. OBJ [0] . window_id)//256, 000, 000)を decode— durationにカロえる(ステップ S 1 3)。
も し属する windowが異なるなら(ステップ S 1 1で" 異なる" )、 OBJ[0]が属する windowの再描画に必要な時間
(90, 000* (SIZE (DSn. WDS. OBJ [0] . window— id)〃256, 000, 000)を decode— durationにカロえる(ステップ S 1 5)。
DSn,DSn.PCS.0BJ[l], decode_durati onを引数にして wait関数を呼び 出し、 その戻り値 wait— durationを、 decode_durationに加算する(ス テツプ S 1 6)。 その後、 0BJ[1]が属する windowの再描画に必要な時 間 (90, 000* (SIZE (DSn. WDS. OBJ [1] · window— id)〃256, 000, 000)を decode— durationにカロえる(ステップ S 1 7 )。
以上のアルゴリ ズムにより、 Decode—Durationは算出される。 この PCSの PTSが、 具体的にどのように設定されるかについて説明する。 図 1 7 ( a ) は、 1つの windowに 1つの 0DSが存在するケースを想定 した図である。 図 1 7 (b) · ( c ) は、 図 1 4で引用した各数値の時 間的な前後関係を示すタイ ミングチャー トである。 本チヤ一トには 3 つの段があり、 これらの段のうち、 " グラフ ィ ックスプレーンァクセ ス" の段、 " 0DSデコー ド" の段は、 再生時にパラ レルになされる 2つ の処理を示す。 上述したアルゴリズムは、 これらの 2つの処理のパラ レル実行を想定している。
グラフ ィ ッ クスプレーンアクセスは、 ク リ ア期間(1)、 書き込み期 間(3)からなる。 このク リ ア期間(1)は、 グラフィ ックスプレーン全体 のク リアに要する期間(90, 000x (グラフィ ックスプレーンのサイズ //256, 000, 000))、 グラフィ ックスプレーンにおける全 windowのク リ ァに要する時間(∑ (90, 000 X (window [i]のサイズ〃 256, 000, 000) ) ) のどちらかを意味する。
書き込み期間(3)は、 window全体描画に要する期間(90, 000 x (windowサィズ〃 256, 000, 000))を意味する。
一方、 デコー ド期間(2)は、 0DSの DTSから PTSまでに示される期間を 意味する。 これらク リア期間(1)〜書き込み期間(3)は、 ク リアすベ き範囲、 デコー ドすべき 0DSのサイズ、 グラフ ィ ックスプレーンに書 き込むべきグラフ ィ クスォブジヱク 卜のサイズにより変化し得る。 本 図では、 説明の簡略化のため、 0DSのデコー ド期間(2)の始点は、 ク リ ァ期間(1)の始点と同一であると仮定している。
図 1 7 (b) はデコー ド期間(2)が長く なるケースであり、
Decode_Durationはデコ― ド期間(2) +書き込み期間(3)になる。
図 1 7 ( c ) は、 ク リ ア期間(1)が長く なるケースであり、
Decode_Durationはク リア期間(1) +書き込み期間(3)の期間が
Decode— Durati onになる。 図 1 8 ( a) 〜 ( c ) は、 1つの windowに 2つの ODSが存在するケー スを想定した図である。 本図 (b ) ( c ) におけるデコー ド期間(2) は、 2つのグラフィ タスのデコー ドに要する期間の総和を意味する。 グラフ ィ クス書込期間(3)も、 2つのグラフィ クスをグラフ ィ ックスプ レーンに書き込む期間の総和を意味する。 0DSが 2つになっているもの の、 図 1 7 と同様に考えれば Decode— Durationを算出することができ る。 2つの 0DSをデコー ドするためのデコ一 ド期間(2)が長い場合は、 図 1 8 ( b ) に示すように Decode— Durationはデコー ド期間(2) +書き 込み期間(3)に算出されることになる。
ク リ ア期間(1)が長い場合は、 図 1 8 ( c ) に示すように、
Decode— Durationはク リ ァ期間(1) +書き込み期間(3)となる。
図 1 9 ( a ) は、 2つの windowのそれぞれに、 0DSが 1つずつ存在す るケースを想定している。 この場合でもク リア期間(1)が、 2つの 0DS をデコー ドするための総デコー ド期間(2)より長い場合、
Decode_Durationはク リ ァ期間(1) +書き込み期間(3)になる。 問題'は、 ク リ ア期間(1)がデコー ド期間(2)より短くなるケースである。 この場 合デコー ド期間(2)の経過を待たずに、 1つ目の windowへの書き込みは 可能になる。 そのためク リ ァ期間(1) +書き込み期間(3)、 デコー ド期 間(2) +書き込み期間(3)の長さにはならない。 ここで 1つ目の 0DSのデ コ一 ドに要する期間を書込期間(31)、 2つ目の 0DSのデコー ドに要する 期間を書込期間(32)とする。 図 1 9 (b) は、 デコー ド期間(2)がク リァ期間(1) +書込期間(31)より長く なるケースを示す。 この場合 Decode_Durationは、 デコ一 ド期間(2) +書込期間(32)になる。
図 1 9 ( c ) は、 ク リ ァ期間(1)+書込期間(31)がデコー ド期間(2) より長く なるケースを示す。 この場合 Decode_Durationはク リ ア期間 (1) +書込期間(31) +書込期間(32)になる。
グラフ ィ ックスプレーンのサイズは、 プレーヤモデルから予め判明 しており、 また windowのサイズ、 0DSのサイズ、 個数もォーサリ ング の段階で判明しているので、 これらから Decode— Durationがク リア期 間(1)+書き込み期間(3)、 デコー ド期間(2) +書き込み期間(3)、 デコ 一ド期間(2)+書込期間(32)、 クリァ期間(1) +書込期間(31) +書込期 間(32)のどれかになる。 こう した Decode— Duration算出を基に PCSの PTSを設定すれば、 ピクチャデータとの同期表示を高い時間精度で実 現することができる。 このような高精度な同期制御は、 windowを定義 し、 ク リ ア ·再描画する範囲を、 この windowに限定することで成り立 つているので、 ォーサリ ングの環境に、 この windowの概念を導入した こ との意義は大きい。 '
続いて DSnにおける WDSの DTS、 PTSの設定について説明する。 WDSの DTSは、 以下の数式を満たすように設定すればよい。
DTS (DSn [WDS] )≥ DTS (DSn [PCS] )
一方、 DSnにおける WDSの PTSは、 グラフィ ックスプレーンに対する 書き込みを開始すべきデッ ドライ ンを示す。 グラフ ィ ックスプレーン への書き込みは、 ウ ィ ン ド ウだけで足りるので、 PCSの PTSに示される 時刻から、 WDSの書き込みに要する期間を差し引けば、 グラフィ ック スプレーンへの書き込みを開始すべき時刻は定まる。 WDSの総サイズ を∑ SIZECWDS. WINti])とすれば、 これのク リァ及び再描画に要する時 間は、 『∑SIZE(TOS.WIN[i])〃256,000,000』 になる。 そして、 これ を 90. OOOKHzの時間精度で表現すると 『90000 X ∑
SIZE(WDS. WIN[i])//256, 000, 000』 になる。
故に以下の数式から、 WDSの PTSを算出すればよい。
PTS (DSn [WDS] ) =PTS (DSn [PCS] ) -90000 x∑
SIZECWDS. WIN[i])//256, 000, 000
この WDSに示される PTSはデッ ドライ ンなので、 これより早い時点 からグラフ ィ ッ ク スプレーンの書き込みを開始してもよい。 つまり図 1 9に示すよう に、 2つのウ ィ ン ド ウ のうち、 1つのウ ィ ン ド ウ に表示 させるべき 0DSのデコー ドが完了したなら、 その時点からデコー ドに より得られたグラフィ クスォブジヱク トの書き込みを開始してもよ い。
このように WDSに付加された DTS、 PTSを用いて AVClipの再生時間軸 の任意の時点に、 ウ ィ ン ド ウを割り当てることができる。 以上が PCS、 WDSの DTS、 PTSの説明である。
続いて PCSによる前方参照について説明する。 前方参照とは、 前も つて再生装置のメモリ に読み込まれたグラフ イ クスォブジヱク トを 参照した再生制御をいう。 図 2 0は、 前方参照を行う PCSを描いた図 である。 本図では、 DSn、 DSn+ K DSn+2という 3つの D i sp l ay Setが描 かれている。 この中で DSn+ l、 DSn+2に属する PCSが 「前方参照を行う PCS」 である。 本図の矢印 yy l,yy2は、 PCSにおける前方参照を象徴的 に示す。 かかる前方参照において参照先になっているグラフィ クスォ ブジヱク トは、 DSn内の 0DS# l〜#vにより定義されるグラフ イ クスォブ ジヱク トである。 ここで DSnは、 0DS# l〜#u、 0DS#u+ l〜 #vという複数 のグラフ ィ クスォブジェク トを含む。 このうち DSn内の PCSにより参照 されているのは、 0DS# l〜#uであり、 0DS#u + l〜#vは参照されていない。 つまり DSn内の非参照ダラフ ィ クスオブジェク トが前方参照されてい るのである。
以上のような前方参照では、 PCSにより参照されているグラフイ ク スォブジヱク トが前もって再生装置に読み込まれているので、 同じ D i sp l ay SeUこ属する 0DSのデコー ドを待つ必要が無い。 PCSを新たに 送り込むだけで、 その PCSに基づく表示制御を再生装置に実行させる ことができる。 PCSの読み込みに即応した表示制御が可能であるため、 既に表示されているグラフィ クスを、 新たなグラフ ィ クスを用いて更 新するというグラフイ クス更新を短い時間間隔で実行することがで きる。 そして短い時間間隔でのグラフ イ クス更新を繰り返せば、 動画 像の再生進行と共にグラフイ クスを滑らかに動かすという表示制御 が可能になる。 前方参照型の PCSにおける 2つの記述例について説明す る。
先ず初めに、 .画面上でグラフ イ クスが動きまわるような表示効果を 実現するにあたつての PCSの記述について説明する。 図 2 1 ( a ) は、 かかる表示効果を実現する Epochを示す図である。 本 Epochは、 9つの D i sp l ay Set (DS0〜DS8)からなり、 先頭の DS0は、 PCS、 PDS、 0DSを含 む。 DS0内の 0DSは、 図 2 2 ( a ) に示すような字幕 「心が揺れる」 を 定義するものであり、 object_id=lが付されている。後続する DS1 DS8 は、 PCSのみを含む。
図 2 1 ( b ) は、 DS1 DS8に含まれる PCSの内容と、 PTS値とを示す 図である。 本図に示すように DS1 DS8に属する PCS内の内容は、 object— id— ref=lのグラフ ィ クスオブジェク トを座標
(xl.yl) (x2, y2) (x3, y3) · · · (x8 y8)に表示するよう、
object— horizontal— position, object— vertivcal— posi tionの位置決 めがなされている。 これら座標 (xl, yl) (x2, y2) (x3, y3) · · · (x8, y8)が、 ウ ィ ン ド ウの座標系のどこに存在するかを、 具体的に示したのが図 2 2 (b) である。 図 2 2 (b) において座標(xl.yl x .yS xS.yS^'- xS.yS)は、 波形を表す曲線上に存在していることがわかる。 これら (xl, yl) (x2 y2) (x3 y3) · · · (x8, y8)という座標値は、 WDSにて定義され るウイ ン ド ウ内に、 グラフィ クスが収まるように規定されている。 ゥ イ ン ド ウ内に、 グラフ ィ クスが収まらないと、 ビデオス ト リ ームにお ける動画表示との同期を確立することができないからである。
図 2 1 (13)にぉける? 8の?18値は、座標 1, 1) ^2, 2) 3, 3)- (x8 y8)に対する表示を、 再生時間軸上の時点 tl, t2 t3' · · 't8のタィ ミ ングで命じるものである。 '
以上のように、 PCSの内容が規定された DS0 DS8を順次再生装置に 読み込んでゆく ことにより、 グラフ ィ クスは、 図 23のような表示効 果をなす。 動画ス ト リームの再生時間軸における時点 tlにおいて、 再 生装置には DS1が読み込まれるので、 ウィ ン ドウ内の座標(xl yl)にグ ラフ イ ク スが表示される。 時点 t4において再生装置には DS4が読み込 まれるので座標(x4, y4)にグラフ ィ クスが表示されることになる。 一 方時点 t6では、 DS6が読み込まれるので座標(x6, y6)に、時点 t8では DS8 が読み込まれるので座標(x8,y8)にグラフィ クスが表示されることに なる。 これらの座標(xl yl),(x4 y4),(x6,y6), (x8,y8)は、 波形の曲 線上に存在するので、 かかる座標に表示位置の位置決めがなされた PCSにより、 グラフィ クスは、 図 24に示すように波形の軌道を描く ことになる。 以上のように
object— horizontal— position, objectjertivcal— position力 規定さ れた PCSを含む Display Setを順次再生装置に読み込ませれば、 再生装 置は BD- ROMから読み出されてく る DS1、 DS2、 DS3内の PCSに従い、 既に オブジェク トノ ッファに格納されているグラフ ィ クスオブジェク ト を、 表示させることができる。 制御情報の送り込みのみで、 グラフィ タスの位置を変化させることができるので、 グラフィ タスを目まぐる しく動かすという制御に適している。
個々の Display Setの読み出し時において、 それまで参照していた PCSを、 新たな PCSで上書きするとの動作を行えば、 たとえ読み出すベ き PCSが何十個、 何百個あったと しても、 そのうち最も新しいものの み、 再生装置に格納しておけばよい。 滑らかな動きを実現するため、 表示座標を示す PCSが、 何十個、 何百個必要であっても、 そのうち最 新のもののみ、 再生装置に常駐させておけばよいので、 再生装置にお けるメモリ 占有量を必要最低限にすることができる。
続いて PCSの第 2の記述例と して Pal let Only Updateについて説明 する。 図 2 5は、 Pallet Only Updateを実現する一連の Display Set を示す図である。 本図の第 1段目は、 Pallet Only Updateを実現する 一連の Display Set(DS0、 DS1、 DS2、 DS3)を示す。 このうち DS0は、 PCS と、 3つの PDS0, 1,2,3と、 0DSとを含む。 以降の DS2、 DS3、 DS4は、 PCS のみからなる。
DS0内の 0DSは、 引き出し線 hvlに示すように、 文字列 「忘れない」 を定義するものである。 これら文字 「忘」 「れ」 「な」 「い」 は、 そ れぞれ複数の Run Length (図中の白抜きの四角形)から構成される。 こ のうち文字「忘」を構成する Run Lengthは、 PixelCodeOをもっているも のとする。 文字「れ」,「な」,「い」を構成する Run Lengthは、
PixelCodel, PixelCode2, PixelCode3をもっているものとする。
図 2 6 (a) は、 DS0内の PDS及び各 Display Setの PCSがどのような 内容であるかを示す図である。
4つの PDSのうち、 1つ目の PDS0は(第 1段目)、 pal let_id=0が付加さ れており、 PixelCodelに赤色を、 PixelCode2以降に白色を割り当てる ものである。
2つ目の PDS1は(第 2段目)、 pallet_id=lが付加されており、 1,2の PixelCodeに赤色を、 3以降の Pixel Codeに白色を割り当てるものであ る。
3つ目の PDS2は(第 3段目)、 pallet_id=2が付加されており、 1,2, 3の Pixel Codeに赤色を、 4の Pixel Codeに白色を割り当てるものである。
4つ目の PDS3は(第 4段目)、 pallet— id=3が付加されており、 1〜4の Pixel Codeに赤色を割り当てるものである。
図 2 6 ( b ) は、 DS0〜DS3内の PCSを示す図である。
本図において DS0内の PCSは(第 1段目)、 object— id=lのグラフイ クス ォブジェク トを参照した表示制御を行う旨を示す。 そして
Pallet— only— updateが 0に設定され、 Pal let— idが 0に設定されている。 これにより DS0内の 0DSは、 Pallet_id=0で指示される PDSを用いて、 表 示されることになる。
DS1内の PCSは(第 2段目)、 object— id=lのグラフ ィ ク スオブジェク ト を参照した表示制御を行う旨を示す。 そして Pal let— only— updateが 1 に設定され、 Pallet_idが 1に設定されている。 これは、 DS1の読み込 み時において、 Pallet— id=lで指示される PDSを用いて、 グラフ ィ クス 表示の更新を行う旨を示す。
DS2内の PCSは(第 3段目)、 object— id=lのグラフ イ クスオブジェク ト を参照した表示制御を行う旨を示す。 そして?&116し0111 _11 (1&七6が1 に設定され、 Pallet— idが 2に設定されている。 これは、 DS2の読み込 み時において、 Pallet_id=2で指示される PDSを用いて、 グラフ ィ クス 表示の更新を行う旨を示す。 ]
DS3内の PCSは(第 4段目)、 object_id=lのグラフ イ クスオブジェク ト を参照した表示制御を行う旨を示す。 そして Pal let— only— updateが 1 に設定され、 Pallet_idが 3に設定されている。 これは、 DS3の読み込 み時において、 Pallet_id=3で指示される PDSを用いて、 グラフ ィ クス 表示の更新を行う旨を示す。 DS2〜DS3に属する PCSは、 以上のように 設定されているので、 DS0に属するグラフ ィ クスオブジェク トは、 そ れぞれ別々のパレツ トデータを用いて、 更新されてゆく ことになる。 図 2 7は、 これら 4つの Display Setが読み込ませることで実現され る、 表示効果を現した図である。 DS0に属するグラフ ィ クスオブジェ ク 卜が再生装置に投入された段階で、 字幕「忘れない」が表示され、 そ れを構成する文字のうち、 文字「忘」が赤色になる。 次に DS1を投入し た段階において、 字幕「忘れない」を構成する文字のうち、 文字「忘」, 「れ」が赤色に、 DS2を投入した段階で、 文字「忘」,「れ」,「な」が赤色に なる。そして DS3を投入した段階で、全ての文字が赤色になる。 Display Setが投入される毎に、 字幕を構成する文字は、 左に位置するものか ら順に、 白色から赤色に変わってゆく ので、 音声の進行と共に、 文字 の色彩を代えてゆく表示効果を実現することができる。
これまでに説明した Display Set (PCS, TOS, PDS, 0DS)のデータ構造は、 プログラミ ング言語で記述されたクラス構造体のィ ンスタ ンスであ り、 ォーサリ ングを行う制作者は、 Blu-ray Disc Read Only Format に規定された構文に従い、 クラス構造体を記述することで、 BD- ROM上 のこれらのデータ構造を得ることができる。 以上が本発明に係る記 録媒体の実施形態である。 続いて本発明に係る再生装置の実施形態に ついて説明する。 図 2 8は、 本発明に係る再生装置の内部構成を示す 図である。 本発明に係る再生装置は、 本図に示す内部に基づき、 工業 的に生産される。本発明に係る再生装置は、主としてシステム LSIと、 ドライブ装置、 マイ コンシステムという 3つのパーツからなり、 これ らのパーツを装置のキヤ ビネッ ト及び基板に実装することで工業的 に生産することができる。 システム LSIは、 再生装置の機能を果たす 様々な処理部を集積した集積回路で、ある。 こう して生産される再生装 置は、 BDドライブ 1、Read Buffer 2、PIDフ ィ ルタ 3、 Transport Buffer 4a,b,c、 周辺回路 4d、 ビデオデコーダ 5、 ビデオプレーン 6、 ォー ディ ォデコーダ 7、 グラフ ィ ク スプレーン 8、 CLUT部 9、加算器 1 0、 グラフ ィ クスデコーダ 1 2、 Coded Data Buffer 1 3、周辺回路 1 3 a、 Stream Graphics Processor 1 4、 Object Buffer 1 5、 Composition Buffer 1 6、 Graphical Controller 1 7から構成される。
BD-ROMドライブ 1 は、 BD-R0Mの口一ディ ング /リー ド/イジ ク ト を行い、 BD-R0Mに対するアクセスを実行する。
Read Buffer 2は、 FIFOメモリであり、 BD- ROMから読み出された TS パケッ トが先入れ先出し式に格納される。
PIDフィルタ 3は、 Read Buffer 2から出力される複数 TSパケッ トに 対してフ ィルタ リ ングを施す。 PIDフ ィルタ 3によるフィルタ リ ング は、 TSパケッ トのうち、 所望の PIDをもつもののみを Transport Buffer
4a,b,cに書き込むことでなされる。 PIDフ ィル夕 3によるフィ ルタ リ ングでは、 ノ ッフ ァ リ ングは必要ではない。 従って、 PIDフィルタ 3 に入力された TSパケッ トは、 時間遅延なく、 Transport Buffer4 a, b, c に書き込まれる。
Transport Buffer 4 a, b, cは、 PIDフ ィルタ 3から出力された TSパケ ッ トを先入れ先出し式に格納しておく メモリである。 この Transport Buffer 4 aから TSパケッ トが取り出される速度を速度 Rxとする
周辺回路 4dは、 Transport Buffer 4 a, b, cから読み出された TSパケ ッ ト を、 機能セグメ ン トに変換する処理を行うワイアロジックである t 変換により得られた機能セグメン トは Coded Data Buffer 1 3に格納 される。
ビデオデコーダ 5は、 PIDフ ィルタ 3から出力された複数 TSバケツ トを復号して非圧縮形式のピクチャを得てビデオプレーン 6に書き 込む。
ビデオプレーン 6は、 .動画用のプレーンメモリである。
オーディ ォデコーダ 7は、 PIDフ ィ ルタ 3から出力された TSパケッ トを復号して、 非圧縮形式のオーデ、ィ ォデータを出力する。
グラフ ィ クスプレーン 8は、 一画面分の領域をもったプレーンメモ リであり、 一画面分の非圧縮ダラフ イ クスを格納することができる。
CLUT部 9は、 グラフ ィ クスプレーン 8に格納された非圧縮グラフ ィ クスにおけるィ ンデックスカラーを、 PDSに示される Y, Cr, Cb値に基づ き変換する。 加算器 1 0は、 CLUT部 9により色変換された非圧縮グラフイ クスに、 PDSに示される T値. (透過率)を乗じて、 ビデオプレーン 6に格納された 非圧縮状態のピクチャデータと画素毎に加算し、 合成画像を得て出力 する。 ·
グラフィ クスデコーダ 1 2は、 グラフ ィ クスス ト リームをデコー ド して、 非圧縮グラフ ィ クスを得て、 これをグラフ ィ クスオブジェク ト としてグラフィ クスプレーン 8に書き込む。 グラフィ クスス ト リーム のデコー ドにより、 字幕やメニューが画面上に現れることになる。 グラフィ クスデコーダ 1 2によるパイプライ ンは、 DSnに属するグ ラフィ クスォブジ 1ク トを Obj ect Buffer 1 5に書き込む処理、 DSn+1 に属するグラフ ィ クスォブジェク トを Obj ect Buffer 1 5から読み出 す処理を同時に実行することでパイプライ ンは実行される。
このグラフィ クスデコーダ 1 2は、 Coded Data Buffer 1 3、 周辺 回路 l' 3 a、 Stream Graph i cs Processor 1 4、 Obj ect Buffer 1 5、 Compos i U on Buffer 1 6、 Graphi ca l Contro l l er 1 7カゝら構成される。
Coded Data Buffer 1 3は、 機能セグメン トが DTS、 PTSと共に格納 されるバッフ ァである。 かかる機能セグメ ン トは、 Transport Buffer 4 a, b, cに格納された ト ランスポー ト ス ト リームの各 TSバケツ トから、 TSバケツ トヘッダ、 PESバケツ トヘッダを取り除き、 ペイ ロー ドをシ 一ケンシャルに配列することにより得られたものである。 取り除かれ た TSパケッ トへッダ、 PESパケッ トへッダのうち、 PTS/DTSは、 PESパ ケッ ト と対応付けて格納される。
周辺回路 1 3 aは、 Coded Data Buffer 1 3 - Stream Graphi cs Processor 1 4 『曰]の 送、 Coded Data Buffer 1 3― Compos i t i on Buffer 1 6間の転送を実現するワイヤロジックである。 この転送処理におい て現在時点が 0DSの DTSに示される時刻になれば、 0DSを、 Coded Data Buffer 1 3から Stream Graph i cs Processo r 1 4に転送する。 また現 在時刻が PCS、 PDSの DTSに示される時刻になれば、 PCS、 PDSを
Compos i t i on Buffer 1 6に転送するという処理を行う。
Stream Graph i cs Processor 1 4は、 0DSをデコー ドして、 デコー ド により得られたイ ンデックスカラ一からなる非圧縮状態の非圧縮グ ラフ イ クスをグラフ ィ クスォブジェク ト と して Object Buffer 1 5に 書き込む。 Stream Graphicsプロセッサ 1 4によるデコー ドは瞬時に 行われ、デコ一 ドによりグラフ ィ クスォブジェク トを Stream Graphics プロセッサ 1 4は一時的に保持する。 Stream Graphicsプロセッサ 1 4によるデコー ドは瞬時になされるが、 Stream Graphicsプロセッサ 1 4から Object Buffer 1 5への書き込みは、 瞬時には終わらない。 BD - ROM規格のプレーヤモデルでは、 Object Buffer 1 5への書き込み は、 128Mbpsという転送レー トでなされるからである。 Object Buffer 1 5への書き込み完了時点は、 ENDセグメ ン トの PTSに示されているの で、 この ENDセグメ ン トの PTSに示される時点が経過するまで、 次の DS に対する処理を待つことになる。 各 0DSをデコー ドすることにより得 られたグラフ ィ クスオブジェク トの書き込みは、 その 0DSに関連付け られた DTSの時刻に開始し、 0DSに関連付けられた PTSに示されるデコ — ド終了時刻までに終了する。
書き込み時にあたって DSn側のグラフィ ックスデータと、 DSn+1側の グラフ ィ ックスデータとに割り当てられている object— idが別々の場 合、 Stream Graphicsプロセッサ 1 4は DSn側のグラフ ィ ックスデータ と、 DSn+1側のグラフ ィ ックスデータとを、 Object Buffer 1 5におけ る別々の領域に書き込む。 これにより DSnの PCSにより参照されるダラ フ ィ クスオブジェク トは、 DSn+1に属するグラフ ィ クスォブジェク ト により上書きされることなく、 パイプライ ンで表示に供される。 両グ ラフ ィ クスォブジェク トに割り当てられている object— idが同じであ る場合、 前記 Stream Graphicsプロセッサ 1 4は、 Object Buf f er 1 5 において先行 DS側のグラフイ ツクスデータが格納されている領域と 同じ領域に、 後続 DS側のグラフ ィ ックスデータを上書きする。 かかる 場合、 パイプライ ンは行わない。 また DSに属するグラフ ィ クスォプジ ェク トには、 同一 DSの PCSにより参照されているものと、 参照されて いないものとがある。 Stream Graphicsプロセッサ 1 4は、 PCSにより 参照されているグラフ ィ クスオブジェク トだけでなく、 参照されてな いグラフィ クスォブジェク トを逐次デコードして、 デコー ドにより得 られたグラフ ィ ク スを Object Buffer 1 5に格納する。
Object Buffer 1 5は、 ETSI EN 300 743標準規格におけるピクセル パッ フ ァに相当するノ ッフ ァであり、 Stream Graphics Processor 1 4のデコー ドにより得られたグラフィ クスォブジェク トが配置され る。 Object Buffer 1 5は、 グラフィ クスプレーン 8の 2倍 Z4倍の大 きさに設定せねばならない。 何故なら Scroll ingを ,実現する場合を考 えると、 グラフィ クスプレーン 8の 2倍、 4倍のグラフ ィ クスオブジェ ク トを格納しておかねばならないからである。
Composition Buffer 1 6は、 PCS、 PDSが配置されるメモリである。 一一処理すべき Display Setが 2つあり、 これらの有効区間が重複して いる場合、 Compositionバッフ ァ 1 6には処理すべき PCSが複数格納さ れる。
Graphical Controller 1 7は、 Graphicalコ ン ト ローラ 1 7は PCSの 解読を行い、 PCSの解読結果に従って、 グラフ ィ クスオブジェク トの Object Buffer 1 5への書き込み、 及び、 Obj ect Buf f er 1 5からのグ ラフ ィ クスォブジェク トの読み出し、 グラフィ クスォブジヱク トの表 示を実行する。 Graphicalコ ン ト ローラ 1 7による表示は、 PCSを格納 した PESパケッ トの PTSに示される時点において実行される。
オブジェク ト Cによる画面構成を実行するにあたって、 Graphicsコ ン ト ローラ 1 7は以下の処理を行う。 Graphicsコン ト ローラ 1 7は、 オブジェク ト Cに記述されたグラフィ クスォブジヱク ト識別子の参照 値(object_id_ref)を読み取り、 その object_id— re こより指示される グラフィ クスォブジェク トのうち、
object— cropping— horizontal— position, object— cropping— vertical— positionから、 object— cropping— width、 object— cropping— heightに 示されるクロップ範囲を切り出して、 グラフィ ックスプレーンの object— horizontal— position, object— vertical— posi t ionにより示 s れる位置に書き込む。この参照値が、ォブジヱク ト Cと同じ Display Set に属するグラフィ クスオブジェク トを表している場合、 同じ Display Setに属する ODSがデコー ドされた後でないと、 上述したグラフ ィ ック スプレーンへの書き込みは行えない。
一方、 オブジェク ト C力 s属する Display Setの Composition— stateが Normal Caseである場合、 デコー ドにより得られたグラフ ィ クスォブ ジェク 卜が、 前もってオブジェク トバッフ ァ内に格納されているので、 0DSのデコー ドを待つことなく、'上述したグラフィ ックスプレーンへ の書き込みを行うことができる。
PalletOnly Displey Update時における Graphicsコン ト ローラ 1 7 の読み出し処理は以下の通りである。 Display Setが、 BD-R0Mから読 み出された場合、 Graphicsコン ト ローラ 1 7は、 PCSの
Pallette_update— f lagが、 " 1" であるか否かを判定する。 も し 1であ るなら、 PCSの pal let一 idに記述されているパレツ トデータを用いた画 素値変換を、 CLUT部 9に命じた上で、 Object Buffer 1 5からグラフ ィ クスォブジェク トを読み出し、 グラフィ クスプレーン 8に格納させ てゆく。 CLUT部 9に対するパレツ トデータの設定のみを行う ことで、 グラフィ タスの更新を行うのである。
続いて、 PIDフ ィルタ 3、 Transport Buffer4 a, b, c, グラフィ クス プレーン 8、CLUT部 9.Coded Data Buffer 1 3〜Graphical Controller 1 7を構成するための、 転送レー ト、 バッファサイズの推奨値につい て説明する。 図 2 9は、 書込レー ト Rx,Rc,Rd、 グラフ ィ クスプレーン 8、 Coded Data Buffer 1 3、 Object Buffer 1 5、 Composi ti on Buffer 1 6のサイズを示す図である。
Object Buffer 1 5—グラフ ィ クスプレーン 8間の転送レー ト Rcは、 本装置において最も高い転送レー トであり、 ウ ィ ン ド ウサイズ、 フ レ 一ムレー トから 256Mbps O500Kバィ ト x 29.97 x 2)と算出される。
Stream Graphics Processor 1 4― Object Buffer 1 5間の転送レー ト Rd(Pixel Decoding Rate)は、 Rcとは異なり、 ビデオフ レームの周 期によるァップデー トは要求されず Rcの 1/2, 1/4でよい。 故に
128Mbps, 64Mbpsになる。
Transport Buffer 4 a, b, c- Coded Data Buffer 1 3間の Transport Buffer Leakレー ト Rxは、 圧縮状態たる ODSの転送レー トである。 従つ て Transport Buffer Leakレー トは、 Rdに圧縮率を乗じた転送レー ト でよい。 0DSの圧縮率を 25%と仮定すれば、 16Mbps(=64Mbpsx25%)で足 りる。
この図に示す転送レー ト、 パッファ規模はあく までもミニマムスタ ンダー ドであり、 これより大きい値での実装を否定している訳ではな い。
以上のように搆成された再生装置において、 各構成要素はパイブラ ィ ン式にデコー ド処理を行う ことができる。
図 3 0は、 再生装置によるパイプライ ン処理を示すタィ ミ ングチヤ ー トである。 第 5段目は、 BD-R0Mにおける Display Setを示し、 第 4 段目は、 Coded Data Buffer 1 3への PCS、 WDS、 PDS、 ODSの読出期間 を示す。 第 3段目は、 Stream Graphics Processor 1 4による各 0DSの デコ一 ド期間を、 第 2段目は Composition Buffer 1 6の格納内容を、 第 1段目は Graphical Contro 1 ler 1 7の処理内容を示す。
0DS1, 2に付与された DTS (デコ一ド開始時刻)は、 図中の t31, t32の時 点を示している。 デコー ド開始時刻が DTSに規定されているので、 各 0DSは、 自身の DTSに示される時刻までに Coded Data Buffer 1 3に読 み出されなければならない。 そのため 0DS1の読み出しは、 Coded Data Buffer 1 3への 0DS1のデコー ド期間 dpiの直前までに完了している。 Coded Data Buffer 1 3への 0DS2の読み出しは、 0DS2のデコー ド期間 dp2の直前までに完了している。
一方、 0DS1.2に付与された PTS (デコー ド終了時刻)は、 図中の t32, t33の時点を示している。 Stream Graphics Processor 1 4による 0DS1のデコー ドは t32までに完了し、 0DS2のデコー ドは、 t33に示され る時刻までに完了する。 以上のように、 Stream Graphics Processor 1 4は、 各 0DSの DTSに示される時刻までに、 0DSを Coded Data Buffer 1 3に読み出し、 Coded Data Buffer 1 3に読み出された ODSを、 各 ODS の PTSに示される時刻までに、 デコー ドして Object Buffer 1 5に書き 込む。 本図の第 1段目における期間 cdlは、 Graphics Controller 1 7がグ ラフ ィ クスプレーン 8をク リ アするのに要する期間である。 また期間 tdlは、 Object Buffer 1 5上にえられたグラフィ クスォブジェク トを、 グラフ ィ クスプレーン 8に書き込むのに要する期間である。 WDSの PTS は、 この書き込みの開始にあたってのデッ ドライ ンを示し、 PCSの PTS はこの書き込みの終了時点及び表示タイ ミ ングを示す。 この PCSの PTS に示される時点になれば、 対話画面を構成する非圧縮グラフイ クスが グラフ ィ クスプレーン 8上に得られることになる。 この非圧縮グラフ ィ タスの色変換を CLUT部 9に行わせ、 ビデオプレーン 6に格納されて いる非圧縮ピクチャ との合成を加算器 1 0に行わせれば、 合成画像が 得られることになる。
グラフィ クスデコーダ 1 2において、 Graphics Controller 1 7が グラフ ィ クスプレーン 8のク リァを実行している間においても、 Stream Graphics Processor 1 4のデコー ドは継続して行われる。 以 上のようなパイプライ ン処理により、 グラフ ィ クスの表示を迅速に実 施することができる。
図 3 0では、 グラフィ ックスプレーンのク リ アが、 0DSのデコー ド より早く終わる場合を想定したが、 図 3 1 は、 0DSのデコー ドが、 グ ラフィ ッ クスプレーンのク リ アより早く終わる場合を想定したパイ プライ ン処理を示すタイ ミ ングチャー トである。 この場合、 0DSのデ コー ドが完了した段階では、 グラフィ ックスプレーンへの書き込みを 実行することができず、 グラフィ ックスプレーンのク リ アが完了した 時点で、 デコ一 ドにより得られたグラフィ クスをグラフ ィ ックスプレ ーンに書き込むことができる。
再生装置におけるバッファ占有量の時間的遷移について図 3 2を 参照しながら説明する。 図 3 2は、 図 2 8における Compositionバッ ファ 1 6、 Object Buffer 1 5、 Coded Dataバッファ 1 3、 グラフ ィ クスプレーン 8の時間的遷移を示すタイ ミ ングチヤ一トである。 本図 は、 第 1段目から第 4段目までに、 グラフ ィ クスプレーン 8、 Object Buffer 1 5、 Coded Dataバッ フ ァ 1 3、 Compositionバッ フ ァ 1 6に おける占有量の時間的遷移を示している。 この占有量の時間的遷移は、 横軸を時間軸と し、 縦軸を占有量と した折れ線グラフの表記で表現し ている。
図 32の第 4段目は、 Compositionバッフ ァ 1 6における占有量の 時間的遷移を示す。 本図に示すように Compositionバッファ 1 6の時 間的遷移は、 Coded Dataバッファ 1 3から出力され PCSが格納される ことによる単調増加 vfOを含む。
第 3段目は、 Coded Dataバッファ 1 3における占有量の時間的遷移 を示す。 本図に示すように Coded Dataバッフ ァ 1 3の時間的遷移は、 0DSが格納されることによる単調増加 Vfl,Vf2と、 格納された 0DSが順 次 Stream Graphicsプロセッサ 1 4により取り出されることによる単 調減少 Vgl, Vg2とを含む。 単調増加 Vn, Vf2の傾きは、 Transportパッ ファ 4 a, b, cから Coded Dataノ ッファ 1 3への出力レー ト Rxに基づき、 単調減少 Vgl, Vg2の傾きは、 Stream Graphicsプロセッサ 1 4によるデ コー ドであり、 瞬時に実行される。 つまり 0DSに対するデコー ドは瞬 時に行われ、 Stream Graphi csプロセッサ 1 4は、 デコー ドにより得 られた非圧縮グラフィ クスを保持する。 Stream Graphicsプロセッサ 1 4から Object Buffer 1 5への伝送路の書込レー トは 128Mbpsである ため、 この書込レー トにより、 Object Buffer 1 5の占有量は増加す る。
第 2段目は、 Object Buffer 1 5における占有量の時間的遷移を示 す。 本図に示すように Object Buffer 1 5の時間的遷移は、 Stream Graphicsプロセッサ 1 4から出力された 0DSが格納されることによる 単調増加 Vhl, Vh2を含む。 単調増加 Vhl, Vh2の傾きは、 Stream Graphics プロセッサ 1 4から Object Buffer 1 5への転送レー ト Rdに基づく。 第 3段目の単調減少が生じる期間及びの第 2段目の単調増加が生ず る期間が、 デコー ド期間である。 このデコー ド期間の始期は、 0DSの DTSに示されており、 デコー ド期間の終期は、 0DSの PTSに示されてい る。 この 0DSの PTSに示される期間までに、 非圧縮のグラフ ィ クスが object buffer 1 5に格納されれば、 0DSに対するデコー ドは完了した ことになる。 ODSの PTSに示される期間までに、 非圧縮のグラフ イ クス が obj ec t buf f er 1 5に格納されることが、 必須の要件であり、 この デコ一 ド期間における単調増加、 単調減少はどのようなものであって もよい。
第 1段目は、 グラフィ クスプレーン 8における占有量の時間的遷移 を示す。 本図に示すようにグラフ ィ クスプレーン 8の時間的遷移は、 Obj ec t Buf f er 1 5から出力されたデコー ド済み 0DSが格納されること による単調増加 Vf3を含む。 単調増加 Vf 3の傾きは、 Obj ec t Buf f er 1 5からグラフィ クスプレーン 8への転送レー ト Rcに基づく。 この単調 増加の終期は、 PCSの PTSに示されている。
0DSに付与された DTS、 PTS、 I CSに付与された DTS、 PTS, そして図 2 9に示した各パッフ ァのサイズ、 転送レー トを用いれば、 本図のよう なグラフを作図することにより、 BD- ROMにて供給すべき AVC l i pの再生 時において、 各バッフ ァの状態がどのように変化するかが、 ォーサリ ングの段階で明らかになる。
このバッファ状態の遷移は、 DTS、 PTSに示される値を書き換えるこ とで、 調整することが可能なので、 再生装置側のデコーダのスペッ ク を越えるような復号負荷の発生を回避したり、 再生にあたつてのバッ フ ァオーバ一フローの回避することができる。 そのため再生装置の開 発にあたってのハー ドウェア、 ソ フ ト ウ ェアの実装が簡易になる。 以上が再生装置の内部構成である。 続いてグラフ ィ クスデコーダ 1 2を、 どのようにして実装するかについて説明する。 グラフ ィ クスデ コーダ 1 2は、 図 3 3の処理手順を行うプログラムを作成し、 CPUに 実行させることにより実装可能である。以降、図 3 3を参照しながら、 制御部 2 0の処理手順について説明する。
図 3 3は、 機能セグメ ン トのロー ド処理の処理手順を示すフローチ ヤー トである。 本フローチャー ト において SegmentKとは、 AVC l i pの再 生時において、 読み出された Segment (PCS , WDS,PDS, 0DS)のそれぞれを 意味する変数であり、 無視フラグは、 この SegmentKを無視するかロー ドするかを切り換えるフラグである。 本フローチャー トは、 無視フラ グを 0に初期化した上で、 ステップ S 2 1〜S 24、 ステップ S 2 7 - S 3 1の処理を全ての SegmentKについて繰り返すループ構造を有 している(ステップ S 2 5、 ステップ S 2 6)。
ステップ S 2 1 は、 SegmentKが PCSであるか否かの判定であり、 も し SegmentKが PCSであれば、 ステップ S 27、 ステップ S 28の判定 を行う。
ステップ S 22は、 無視フラグが 1かどうかの判定である。 無視フ ラグが 0であるならステップ S 2 3に移行し、 1であるならステップ S 24に移行する。 無視フラグが 1であれば(ステップ S 2 2で No)、 ス テツプ S 23において SegmentKを Coded Data Buffer 1 3にロー ドす る。
無視フラグが 0に設定されていれば(ステップ S 22が No)、 ステツ プ S 24において SegmentKが無視される。 これにより DSに属する機能 セグメン トは全て、 ステップ S 22が Noになって、 無視されることに 'なる(ステップ S 24 )。
このように、 SegmentKが無視されるか、 ロー ドされるかは、 無視フ ラグの設定により決まる。 ステップ S 27〜 S 3 1、 S 34、 S 35 は、 この無視フラグを設定する処理である。
ステップ 27は、 PCSにおける composition_s tat e力 Acquisition Pointであるか否かの判定である。 SegmentKが Acquisition Pointであ るなら、 ステップ S 2 8に移行し、 SegmentKがも し Epoch Startか Normal Caseであるなら、 ステップ S 3 1 に移行する。
ステップ S 28は、 先行する DSがグラフ ィ クスデコーダ 1 2内のど れかのノ、ヽソ フ ァ (Coded Data Buffer 1 3、 Stream Graphi csプロセッ サ 1 4、 Object Buffer 1 5、 Composition Buffer 1 6)に存在するか どうかの判定であり、 ステップ S.2 7が Yesである場合に実行される。 グラフ ィ クスデコーダ 1 2内に DSが存在しないケースとは、 頭出しが なされたケースをいう。 この場合、 Acquisition Pointたる DSから、 表示を開始せねばならないので、 ステップ S 3 0に移行する(ステツ プ S 2 8で No)。 ステップ S 3 0は、 無視フラグを 0に設定し、 ステップ S 2 2に移 行する。
グラフィ クスデコーダ 1 2内に DSが存在するケースとは、 通常再生 がなされたケースをいう。 この場合、 ステップ S 2 9に移行する(ス テツプ S 2 8で Yes)。 ステップ S 2 9は、 無視フラグを 1に設定し、 ステップ S 22に移行する。
ステップ S 3 1 は、 PCSに ける composition一 state力 SNormal Case であるか否かの判定である。 も し Normal Caseであるなら、 ステップ S 34に移行する。 SegmentKが Epoch Startであるなら、 ステップ S 3 0において無視フラグを 0に設定する。 ステップ S 34は、 ステ ップ S 28と同じであり、 先行する DSがグラフィ クスデコーダ 1 2内 に存在するかどうかの判定を行う。 も し存在するなら、 無視フラグを 0に設定する(ステップ S 3 0 )。 存在しないなら、 元々、 対話画面を 構成する充分な機能セグメ ン トが得られないため、 無視フラグを 1に 設定する(ステップ S 3 5)。 かかるフラグ設定により、 先行する DSが グラフ ィ クスデコーダ 1 2に存在しない場合、 Normal Caseを構成す る機能セグメン トは無視されることになる。
DSが、 図 34のように多重化されている場合を想定して、 DSの読み 出しがどのように行われるかを説明する。 図 34の一例では、 3つの DSが動画と多重化されている。 この 3つの DSのうち、 初めの DS1は、 composition— state力 SEpoch一 Start、 DS10は Acquisition Point、 DS20 は、 Normal Caseである。
かかる 3つの DSが、 動画と多重化されている AVClipにおいて、 ピク チヤデータ ptlOからの頭出しが矢印 amiに示すように行われたものと する。 この場合、 頭出し位置に最も近い DS10が、 図 3 3のフローチヤ 一トの対象となる。 ステップ S 27において composition_stateは Acquisition Poi ntと判定されるが、 先行する DSは Coded Data Buffer 1 3上に存在しないため、 無視フラグは 0に設定され、 この DS10が図 3 5の矢印 mdlに示すように再生装置の Coded Data Buffer 1 3にロー ドされる。 一方、 頭出し位置が DS10の存在位置より後である場合(図 3 4の矢印&1112)、 DS20は、 Normal Caseの Display Setであり、 先行す る DS20は Coded Data Buffer 1 3に存在しないので、 この Display Set は、 無視されることになる(図 3 5の矢印 md2)。
図 3 6のように通常再生が行われた場合の DS1, 10, 20のロー ドは、 図 3 6に示すものとなる。 3つの DSのうち、 PCSの composition_state が Epoch Startである DSlは、 そのまま Coded Data Buffer 1 3にロー ドされるが(ステップ S 23 )、 PCSの composition— stateが
Acquisition Po intである DSl 0については、 無視フラグが 1に設定され るため(ステップ S 2 9 )、 これを構成する機能セグメン トは Coded Data Buffer 1 3にロー ドされず無視される(図 3 7の矢印 rd2,ステツ プ S 24)。 また DS20については、 PCSの composition— stateは Normal Caseなので、 Coded Data Buffer 1 3にロー ドされる(図 37の矢印 rd3)。
続いて Graphical Controller 1 7の処理手順について説明する。 図 3 8〜図 40は、 Graphical Controller 1 7の処理手順を示すフロー チヤ一 トである。
ステップ S 4 1〜ステップ S 44は、 本フローチャー トのメイ ンル 一チンであり、 ステップ S 4 1〜ステップ S 44に規定した何れかの 事象の成立を待つ。
ステップ S 4 1 は、 現在の再生時点が PCSの DTS時刻になつているか 否かの判定であり、 も しなつていれば、 ステップ S 4 5〜ステップ S 53の処理を行う。
ステップ S 45は、 PCSの composition— state力 、 Epoch— Startであ るか否かの判定であり、 も し Epoch Startであるなら、 ステップ S 4 6においてグラフ ィ クスプレーン 8き全ク リアする。 それ以外である なら、 ステップ S 47において WDSの window_horizontal— position、 window— vert ival— posit ion、 window— width、 window— heightに示される windowをク リ アする。
ステップ S 48は、 ステップ S 46又はステップ S 47でのク リア 後の実行されるステップであり、 任意の ODSxの PTS時刻が既に経過し ているか否かの判定である。 つまり、 グラフ ィ クスプレーン 8全体の ク リアにあたっては、 そのク リア時間に長時間を費するので、 ある ODS(ODSx)のデコー ドが既に完了していることもある。 ステップ S 4 8はその可能性を検証している。 も し経過していないなら、 メイ ンル —チンにリ ターンする。 どれかの 0DSのデコー ド時刻を経過している なら、 ステップ S 4 9〜ステップ S 5 1 を実行する。 ステップ S 49 は、 object_cropped— flagが 0を示しているか否かの判定であり、 も し 0を示しているなら、 グラフ ィ クスオブジェク トを非表示とする(ステ ップ S 5 0 )。
も し 0を示していないなら、 object_crop ing_horizontal_posi tion> object— cropping— vert ival—posi tion、 cropping— width、
cropping_heightに基づきクロップされたグラフ ィ クスォブジェク ト を、 グラフ ィ クスプレーン 8の windowにおいて
object— horizontal— position, object— vert ival— posit ionに示 れる 位置に書き込む(ステップ S 5 1 )。 以上の処理により、 ウ ィ ン ド ウ に 1つ以上のグラフ ィ クスォブジェク トが描かれることになる。
ステップ S 5 2は、 別の ODSyの PTS時刻が経過しているか否かの判 定である。 ODSxをグラフ ィ クスプレーン 8に書き込んでいる際、 別の 0DSのデコー ドが既に完了していれば、 この ODSyを ODSxにして(ステツ プ S 53)、 ステップ S 49に移行する。 これにより、 別の 0DSに対し ても、 ステップ S 4 9〜 S 5 1の処理が繰り返し行われる。
次に図 3 9を参照して、 ステップ S 42、 ステップ S 54〜ステツ プ S 5 9について説明する。
ステップ S 42は、 現在の再生時点が TOSの PTSであるか否かの判定 であり、 も し WDSの PTSであるなら、 テップ S 54においてウィ ン ド ゥが 1つであるか否かを判定し、 も し 2つであれば、 メ イ ンルーチンに リ ターンする。 ウィ ン ドウが 1つであるなら、 ステップ S 5 5〜ステ ップ S 59のループ処理を行う。 このループ処理は、 ウ ィ ン ド ウ に表 示される 2つのグラフィ クスオブジェク トのそれぞれについて、 ステ ップ S 57〜ステップ S 5 9を実行するという ものである。 ステップ S 5 7は、 object一 croppecLflagが 0を示しているか否かの判定であり、 もし 0を示しているなら、 グラフ ィ クスオブジェク トを非表示とする (ステップ S 5 8 )。
t>し 0¾:示していないなら、 object— cropping— horizontal— posiUon、 object— cropping— vert ival—posi tion、 cropping— width、
cropping— heightに基づきクロップされたグラフ ィ クスオブジェク ト を、 グラフィ クスプレーン 8の windowにおいて
object— horizontal— position, object_vertival_posi tionC¾^される 位置に書き込む(ステップ S 5 9)。 以上の処理を繰り返せば、 ウィ ン ド ウ に 1つ以上のグラフ ィ クスォブジェク トが描かれることになる。 ステップ S 44は、 現在の再生時点が PCSの PTSに示される時点であ るかの判定であり、 もしそうであるなら、 ステップ S 6 0において Pallet_update_flagが 1を示しているか否かを判定する。 も し 1を示し ているなら、 pallet_idに示される PDSを CLUT部に設定する(ステップ S 6 1 )。 0を示しているなら、 ステップ S 6 1 をスキップする。
その後、 グラフ ィ クスプレーン 8におけるグラフ ィ クスォブジェク トの色変換を CLUT部に行わせて、動画像と合成する(ステップ S 6 2 )c 次に図 40を参照して、 ステップ S 43、 ステップ S 64〜ステツ プ S 6 6について説明する。
ステップ S 4 3は、 現在の再生時点が 0DSの PTSであるか否かの判定 であり、 も し 0DSの PTSであるなら、 ステップ S 6 3においてウィ ン ド ゥが 2つであるか否かを判定する。 も し 1つであれば、 メイ ンルーチン にリ ターンする。
ステップ S 43及びステップ S 6 3の判定は以下の意味をもつ。 つ まりウ ィ ン ド ウが 2つある場合、 それ.ぞれのゥイ ン ド ウ には、 1つずつ グラフィ クスォブジェク トが表示される。そうすると、それぞれの 0DS のデコー ドが完了する度に、 デコー ドにより得られたグラフィ クスォ ブジヱク トを、 グラフィ ックスプレーンに書き込んでゆく処理が必要 になる(例:図 1 9 ( b ) のケース)。 そこで現在時点が 0DSの PTSに示 される時点であり、 ウィ ン ドウが 2つであるなら、 個々のグラフ イ ク スォブジェク トをグラフィ ックスプレーンに書き込むべく、 ステップ
S 64〜ステップ S 6 6を実行する。 ステップ S 64は、
objec croppecLflagが 0を示しているか否かの判定であり、 も し示し ているなら、 グラフ ィ クスオブジェク トを非表示とする(ステップ S 6 5 )o
も し 0を示していないなら、 object_cropping—horizontal— position、 object—cropping— vertival—posi ti on、 cropping— widtli、
cropping— heightに基づきクロップされたグラフ ィ クスオブジェク ト を、 グラフ ィ クスプレーン 8の windowにおいて
object— horizontal— posi t ion, object— vertival— posi tionに示される 位置に書き込む(ステップ S 6 6)。 以上の処理を繰り返せば、 各ウイ ン ド ウ にグラフ ィ クスォブジヱク トが描かれることになる。
(第 2実施形態)
本実施形態は、 BD-R0Mの製造工程に関する実施形態である。 図 4 1 は、 第 1実施形態に示した PCSを作成するための製造工程を示す図で ある。
BD - ROMの制作工程は、 動画収録、 音声収録等の素材作成を行う素材 制作工程 S 2 0 1、 ォ一サリ ング装置を用いて、 アプリケーシ ョ ンフ ォーマツ ト を生成するォ一サリ ング工程 S 2 0 2、 BD- ROMの原盤を作 成し、 プレス ·貼り合わせを行って、 BD-R0Mを完成させるプレス工程 S 2 03を含む。
これらの工程のうち、 BD-R0Mを対象としたォ一サリ ング工程は、 以 下のステップ S 2 04〜ステップ S 2 1 0を含む。
ステップ S 2 04において制御情報、ウイ ン ド ウ定義情報、パレツ ト定義情報、グラフィ クスを記述し、 .ステップ S 2 0 5では、 制御情 報、ウ ィ ン ド ウ定義情報、パレッ ト定義情報、グラフ ィ クスを機能セグ メ ン トに変換する。 そしてステップ S 2 0 6において同期したいピク チャが出現するタイ ミ ングに基づき、 PCSの PTSを設定し、 ステップ S 2 0 7では、 PTS[PCS]の値に基づき、 DTS[0DS],PTS[0DS]を設定する。 ステップ S 20 8において、 DTS[0DS]の値に基づき、 . DTS[PCS],PTS[PDS],DTS[WDS],PTS[WDS]を設定し、 ステップ S 2 0 9 では、 プレーヤモデルにおける各バッファの占有量の時間的遷移をグ ラフ化する。 ステップ S 2 1 0では、 グラフ化された時間的遷移がプ レ一ャモデルの制約を満たすか否かを判定し、 も し満たさないなら、 ステップ S 2 1 1 において各機能セグメ ン トの DTS、PTSを書き換える c もし満たすならステップ S 2 1 2においてグラフィ クスス ト リーム を生成し、 ステップ S 2 1 3においてグラフィ クスス ト リームを別途 生成されたビデオス ト リーム、 オーディ オス ト リームと多重して AVClipを得る。 以降、 AVClipを BD-R0Mのフ ォーマツ ト に適合させるこ とにより、 アプリ ケーシ ョ ンフ ォーマッ トが完成する。
(備考)
以上の説明は、 本発明の全ての実施行為の形態を示している訳では ない。 下記(A) (B) (0 (D) の変更を施した実施行為の形態によつ ても、 本発明の実施は可能となる。 本願の請求項に係る各発明は、 以 上に記載した複数の実施形態及びそれらの変形形態を拡張した記載、 ないし、 一般化した記載と している。 拡張ないし一般化の程度は、 本 発明の技術分野の、 出願当時の技術水準の特性に基づく。
(A)全ての実施形態では、 本発明に係る記録媒体を BD- ROMと して実 施したが、 本発明の記録媒体は、 記録されるグラフ ィ クスス ト リーム に特徴があり、 この特徴は、 BD- ROMの物理的性質に依存するものでは ない。 グラフ ィ クスス ト リームを記録しうる記録媒体なら、 どのよう な記録媒体であってもよい。 例えば、
DVD-ROM, DVD-RAM, DVD-RW, DVD-R, DVD+RW, DVD+R, CD-R, CD - RW等の光デ イ スク、 PD, MO等の光磁気ディ スクであってもよい。 また、 コンパク ト フラ ッ シュ カー ド、 スマー ト メディ ア、 メモ リ ステ ィ ッ ク、 マルチ メディ アカー ド、 PCM-CIA力一ド等の半導体メモリ カー ドであっても よい。 フ レシキブルディ スク、 SuperDisk, Zip, Clik!等の磁気記録デ ィ スク (i)、 ORB, Jaz, SparQ, SyJet, EZF1 ey,マイ クロ ドライ ブ等の リ ム 一バルハ一 ドディ スク ドライブ(ii)であつてもよい。 更に、 機器内蔵 型のハー ドディ スクであってもよい。 (B)全ての実施形態における再生装置は、 BD- ROMに記録された
AVC l i pをデコー ドした上で TVに出力していたが、 再生装置を BD- ROMド ライプのみと し、 これ以外の構成要素を TVに具備させてもい、 この場 合、 再生装置と、 TVとを I EEE 1394で接続されたホ一ムネッ ト ワークに 組み入れることができる。 また、 実施形態における再生装置は、 テレ ビと接続して利用されるタィプであつたが、 ディ スプレイ と一体型と なった再生装置であってもよい。 更に、 各実施形態の再生装置におい て、 処理の本質的部分をなすシステム LSI (集積回路)のみを、 実施と してもよい。 これらの再生装置及び集積回路は、 何れも本願明細書に 記載された発明であるから、 これらの何れの態様であろうとも、 第 1 実施形態に示した再生装置の内部構成を元に、 再生装置を製造する行 為は、 本願の明細書に記載された発明の実施行為になる。 第 1実施形 態に示した再生装置の有償'無償による譲渡(有償の場合は販売、 無償 の場合は贈与になる)、 貸与、 輸入する行為も、 本発明の実施行為で ある。 店頭展示、 カタ口グ勧誘、 パンフ レツ ト配布により、 これらの 譲渡や貸渡を、 一般ユーザに申し出る行為も本再生装置の実施行為で ¾ o
(C)各フローチャー トに示したプログラムによる情報処理は、 ハー ドウヱァ資源を用いて具体的に実現されていることから、 上記フ口一 チャー トに処理手順を示したプログラムは、 単体で発明として成立す る。 全ての実施形態は、 再生装置に組み込まれた態様で、 本発明に係 るプログラムの実施行為についての実施形態を示したが、 再生装置か ら分離して、 第 1実施形態に示したプログラム単体を実施してもよい, プログラム単体の実施行為には、 これらのプログラムを生産する行為 ( 1 )や、 有償'無償によりプログラム 譲渡する行為(2)、 貸与する行 為(3)、 輸入する行為(4)、 双方向の電子通信回線を介して公衆に提供 する行為(5)、 店頭、 カタ口グ勧誘、 パンフ レツ ト配布により、 プロ グラムの譲渡や貸渡を、 一般ユーザに申し出る行為(6)がある。
(D)各フローチャー トにおいて時系列に実行される各ステップの 「時」の要素を、 発明を特定するための必須の事項と考える。 そうする と、 これらのフローチャー ト による処理手順は、 再生方法の使用形態 を開示していることがわかる。 各ステップの処理を、 時系列に行うこ とで、 本発明の本来の目的を達成し、 作用及び効果を奏するよう、 こ れらのフローチャー トの処理を行うのであれば、 本発明に係る記録方 法の実施行為に該当することはいうまでもない。
(E) BD- ROMに記録するにあたって、 AVClipを構成する各 TSバケツ ト には、 拡張ヘッダを付与しておく ことが望ましい。 拡張ヘッダは、 TP— extra— headerと呼ばれ、 『 Arribval— Time— Stamp』 と、
『copy— permission— indi cat or』 とを含み 4ノ、、ィ トのデ一夕長を有する。 TP— extra— header付き TSバケツ ト (以下 EX付き TSバケツ ト と略す)は、 32個毎にグループ化されて、 3つのセクタに書き込まれる。 32個の EX 付き TSパケッ 卜からなるグループは、 6144バイ ト (=32 x 192)であり、 これは 3個のセクタサイズ 6144バイ ト (=2048 x 3)と一致する。 3個のセ クタに収められた 32個の EX付き TSパケッ ト を" Aligned Unit"という。
IEEE1394を介して接続されたホームネッ ト ワークでの利用時にお いて、 再生装置は、 以下のような送信処理にて Aligned Unはの送信を 行う。 つま り送り手側の機器は、 Aligned Unitに含まれる 32個の EX付 き TSバケツ 卜のそれぞれから TP_extra_headerを取り外し、 TSバケツ ト本体を DTCP規格に基づき暗号化して出力する。 TSパケッ トの出力に あたっては、 TSパケッ ト間の随所に、 isochronousパケッ トを挿入す る。 この揷入箇所は、 TP— extra— headerの Arribval— Time— Stampに示さ れる時刻に基づいた位置である。 TSバケツ トの出力に伴い、 再生装置 は DTCP_Descriptorを出力する。 DTCP_Descriptorは、 TP— extra—header におけるコピー許否設定を示す。 ここで 「コピー禁止」 を示すよう DTCP— Descriptorを記述しておけば、, IEEE1394を介して接続されたホ —ムネ ヅ ト ワークでの利用時において TSパケッ トは、 他の機器に記録 されることはない。
(F)各実施形態におけるデジタルス ト リームは、 BD-R0M規格の
AVClipであったが、 DVD-Video規格、 DVD- Video Recording規格の V0B (V i deo Obj ect)であってもよい。 VOBは、 ビデオス ト リーム、 ォー ディォス ト リ一ムを多重化することにより得られた I S0/ I EC 13818 - 1 規格準拠のプログラムス ト リームである。 また AVC l i pにおけるビデオ ス ト リームは、 MPEG4や WV方式であつてもよい。 更にオーディオス ト リ一ムは、 L i near- PCM方式、 Do l by-AC3方式、 MP3方式、 MPEG- AAC方式、 dts方式であつてもよい。
(G)各実施形態における映画作品は、 アナ口グ放送で放送されたァ ナ口グ映像信号をェンコ一 ドすることにより得られたものでもよい。 デジ夕ル放送で放送された ト ランスポー ト ス ト リームから構成され るス ト リームデータであってもよい。
またビデオテープに記録されているアナ口グノデジタルの映像信 号をェンコ一ドしてコ ンテンツを得ても良い。 更にビデオカメラから 直接取り込んだアナログ Zデジタルの映像信号をエンコー ドしてコ ンテンッを得ても良い。 他にも、 配信サーバにより配信されるデジ夕 ル著作物でもよい。
(H)第 1実施形態〜第 2実施形態に示したグラフィ ッ クスオブジェ ク トは、 ランレングス符号化されたラスタデータである。 グラフイ ツ クスォブジェク トの圧縮 ·符号化方式にランレングス符号方式を採用 したのは、 ラン レングス符号化は字幕の圧縮 *伸長に最も適している ためである。 字幕には、 同じ画素値の水平方向の連続長が比較的長く なるという特性があり、 ラン レングス符号化による圧縮を行えば、 高 い圧縮率を得ることができる。 また伸長のための負荷も軽く、 復号処 理のソフ ト ウェア化に向いているからである。 しかし、 グラフ ィ ック スォブジヱ ク ト にランレングス符号化方式を採用したというのは、 本 発明の必須事項ではなく、 グラフ ィ ックスォプジェク トは PNGデ一夕 であってもよい。 またラスタデータではなく ベクタデータであっても よい、 更に透明な絵柄であってもよい。
( I ) PCSによる表示効果の対象は、 装置側の言語設定に応じて選ばれ た字幕のグラフ ィ クスであってもよい。 これにより、 現状の DVDにお いて動画像本体で表現していたような文字を用いた表示効果を、 装置 側の言語設定に応じて表示された字幕グラフイ クスで実現するこ と ができるので、 実用上の価値は大きい。
また PCSによる表示効果の対象は、 装置側のデイ スプレイ設定に応 じて選ばれた字幕グラフ イ クスであつてもよい。 つま り、 ワイ ドビジ ヨ ン、 パンスキャン、 レ夕一ボックス用といった様々な表示モー ド用 のグラフ ィ タスが BD- ROMに記録されており、 装置側は自身に接続され たテレビの設定に応じてこれらの何れかを選んで表示する。 この場合、 そう して表示された字幕ダラフ ィ クスに対し、 PCSに基づく表示効果 をほどこすので、 見栄えがよくなる。 これにより、 動画像本体で表現 していたような文字を用いた表示効果を、 装置側のデイ スプレイ設定 に応じて表示された字幕で実現することができるので、 実用上の価値 は大きい。
(J)第 1実施形態ではダラフ ィ ックスプレーンへの書込レー ト Rcは, 1ビデォフ レーム内にグラフィ ックスプレーンク リ ア及び再描画が可 能になるよう、 w i ndowのサイ ズを全体の 25%に定めたが、 これらク リ ァ ·再描画が垂直帰線期間に完遂するよう、 Rcを定めても良い。 垂直 帰線期間は 1 /29. 93秒の 25%と仮定すると、 Ecは I Gbpsになる。 Rcをこ のように設定することでグラフ ィ クス表示はスムーズになされるの で、 実用上の効果は大きい。
また垂直帰線期間での書き込みに加え、 ライ ンスキャ ンに同期した 書き込みを併用してもよい。 これにより、 Rc=256Mbpsの書込レー トで あっても、 スムーズな表示の実現が可能になる。
(K)各実施形態において再生装置には、 グラフ ィ ッ クスプレーンを 実装したが、 このグラフ ィ ックスプレーンに代えて、 一ライ ン分の非 圧縮画素を格納するライ ンパッフ ァ.を具備してもよい。 映像信号への 変換は水平行(ライ ン)毎に行われるので、 このライ ンバッ フ ァさえ具 備していれば、 この映像信号への変換は行なえるからである。
(L)グラフ ィ クスたる字幕は、 映画の台詞を表す文字列であると し て説明を進めたが、 動画と緻密に同期して表示されるものであればな んであつてもよい。 例えばィラス トや絵柄、 キャラクタ、 シンポルマ ークを描いたものであってもよい。 商標を構成するような図形,文字, 色彩の組合せや、 国の紋章,旗章,記章,国家が採用する監督/証明用の 公の記号,印章、 政府間国際機関の紋章,旗章,記章,特定商品の原産地 表示を含んでいてもよい。
(M)第 1実施形態では、 字幕を画面の上側、 下側に横書きで表示す るものとして、 ウ ィ ン ドウをグラフィ ックスプレーンの上側、 下側に 定義したが、 字幕を画面の右側、 左側に表示するものとして、 ウィ ン ドウをグラフ ィ ッ クスプレーンの右側、 左側に定義してもよい。 こう することにより、 日本語字幕を縦書きで表示することができる。
(0)グラフ ィ クスデコーダ 1 2が、 DSn及び DSn+ 1に対する処理をパ ィプライ ン式に行うのは、 DSn及び DSn+ 1が、 グラフ ィ クスス ト リーム における同じ Epochに帰属している場合であり、 前記 DSn及び DSn+ 1が、 互いに異なる Epochに属している場合、 DSnにおけるグラフ イ クス表示 を開始した後に、 DSn+ 1に対する処理を開始する。
またグラフ ィ クスス ト リ—ムには、 動画との同期を主たる目的とし たプレゼンテーシ ョ ン系のものと、 対話的な表示を主目的と したイ ン タラクティ ブ系のものとがあり、 前記グラフィ クスデコーダは、 ダラ フ ィ クスス ト リームがプレゼンテーショ ン系である場合に、 2つの DS に対するパイプライ ン式を行い、 グラフィ クスス ト リームがイ ンタラ タティ ブ系である場合、 2つの DSに対するパイプライ ン式を行わない。
(P) D i sp l ay Se t内にグラフ ィ クスデータを配列させるにあたって、 図 2 0では、 同じ D i sp l ay Set内の PCSにより参照されるグラフ ィ クス データを、 参照されないグラフィ クスデータの前に配列したが、 複数 の参照グラフィ クスデータ、 及ぴ、 複数の非参照グラフ ィ クスデータ を、 それぞれ、 obj ect— i dにより指示される識別番号順に配列しても よい。 また複数の参照グラフ ィ クスデータは、 スキャ ンライ ン順に配 列してもよい。 スキャ ンライ ンとは、 ディ スプレイでの表示時におい て、 走査される順番を表す。 通常ディ スプレイにおける走査は、 左上 →右下方向に向けてなされるから、 表示座標が左上にあるグラフィ ク スデータを前に、 表示座標が右下にあるグラフ イ クスデータを後に配 置するのである。 こうすることで、 グラフィ クスデータ表示の迅速化 を図ることができる。
上述した変更実施は可能であるものの、 請求項に係る各発明は、 従 来技術の技術的課題を解決するための手段を反映したものであるか ら、 請求項に係る各発明の技術範囲は、 従来技術の技術的課題解決が 当業者により認識される技術範囲を超えることはない。 故に、 本願の 請求項に係る各発明は、 詳細説明の記載と、 実質的な対応関係を有す る。
産業上の利用可能性
本発明に係る記録媒体及び再生装置は、 上記実施形態に内部構成が 開示されており、 この内部構成に基づき工業的に量産することが可能 なので、 資質において工業上用することができる。 このことから本発 明に係る記録媒体及び再生装置は、 産業上利用可能性を有する。

Claims

請求の範囲
1 . 動画ス ト リ ームとグラフ ィ クスス ト リ ームとを多重化する こ と により得られたデジ夕ルス ト リ一ムが記録されている記録媒体であ つて、
グラフィ クスス ト リームは、 パケッ トの配列であり、
パケッ トには、 グラフイ クスデータを格納したものと、 制御情報を 格納したものとがあり、
制御情報は、 バケツ ト列において自身より前方に存在するグラフ ィ クスデ一夕を、 所定のタイ ミ ングで動画ス ト リームと合成して表示す る旨を示す、 ことを特徴とする記録媒体。
2 . グラフ ィ クスス ト リームにおけるバケツ トは、 複数のディ スプ レイセッ トの何れかに分類されており、 個々のディ スプレイ セッ トは、 グラフ イ クス表示を実現する一個のデータの集合であり、
前記グラフ イ クスデータ及び制御情報は、
別々のディ スプレイ セッ トに属しており、
前記グラフ ィ クスデータは、 同じディ スプレイ セッ ト に属する制御 情報からは参照されていない、 非参照グラフ ィ クスデータである
ことを特徴とする請求項 1記載の記録媒体。
3 . 制御情報は、 完結した状態でパケッ トに格納されており、 前記所望のタイ ミ ングは、 前記バケツ トのタイ ムスタ ンプに示され ている、 ことを特徴とする請求項 1記載の記録媒体。
4 . 前記制御情報は、 パレツ トデータと組みになって記録媒体に記 録されており、
前記制御情報による表示は、 パレツ トデータを用いたグラフ ィ ク ス データの色変換を、 再生装置に命じる旨を示す、 ことを特徴とする請 求項 1記載の記録媒体。
5 . 制御情報により示される表示は、 グラフ ィ クスデータの 2回目 以降の表示であり、
制御情報は、 更新フラグを有し、
更新フラグは、 色変換に用いるパレツ トデータのみを用いて表示更 新を行う旨を示す、 ことを特徴とする請求項 4記載の記録媒体。
6 . 前記グラフ ィ ク スス ト リームはウイ ン ド ウ情報を含み、 ウィ ン ドウ情報は、 グラフイ クス表示のための描画領域を特定する 情報であり、 動画ス ト リ一ムと合成する際の画面上でのゥイ ン ド ウの 5 位置、 縦幅、 横幅を示し、
前記制御情報による表示位置は、
前記グラフ ィ クス表示がウイ ン ドウに収まるように規定されてい る
ことを特徴とする請求項 1記載の記録媒体。
1 0 7 . ビデオス ト リ ーム、 グラフ ィ クスス ト リ ームが多重化されたデ ジタルス ト リームを再生する再生装置であって、
ビデオス ト リームをデコー ドして動画像を得るビデオデコーダと、 グラフ ィ クスス ト リームをデコー ドしてグラフ ィ クスを得て、 動画 像に合成するグラフ ィ クスデコーダとを備え、
1 5 グラフ ィ クスデコーダは、
記録媒体から新たな制御情報が記録媒体から読み込まれれば、 その 制御情報に基づき、 前もつて送り込まれたグラフィ クスデータを表示 する
ことを特徴とする再生装置。
20 8 . グラフ ィ クスス ト リ ームはグラフ イ クス表示を実現するデータ の集合であるディ スプレイ セッ トを複数含み、
コ ン ト ローラは、
1つのディ スプレイセッ トが記録媒体から読み出されれば、 そのデ イ スプレイ セッ トに属するグラフ ィ クスデータであって、 同じディ ス 25 プレイセッ トに属する制御情報からは参照されていない、 非参照グラ ' フィ クスデータをオブジェク トバッファに格納しておき、
前記前もって送り込まれたグラフィ クスデータは、 ォブジヱク トパ -. ッ フ ァに格納されている非参照グラフ ィ クスデータである
ことを特徴とする請求項 7記載の再生装置。
30 9 . 記録媒体から新たに読み出される制御情報は、 完結した状態で パケッ トに格納されており、
前記グラフ ィ クスデコーダによる表示は、
ビデオス ト リームの再生が、 パケッ トのタイムスタンプに示されて いる時点に到達した際に行われる
ことを特徴とする請求項 7記載の再生装置。
1 0 . 前記デコー ドにより得られた非圧縮グラフ ィ クスは、 コー ド 値を用いて表現され、
前記再生装置は、
グラフィ クスを表すコー ド値を、 画素値に変換するルックアップテ 一ブル部を備え、
制御情報は、 パレツ トデータと組みになって、 記録媒体から読み出 され、
前記グラフ ィ クスデコーダによる表示とは、
記録媒体から読み出されたパレツ トデータを、 ルックアップテープ ル部に設定し、 そのパレッ トデータを用いた画素値変換を、 ルックァ ップテーブル部に命じることである
ことを特徴とする請求項 7記載の再生装置。
1 1 . グラフ ィ クスデコーダによる表示は、 既に表示されているグ ラフ ィ ク スの更新であり、
制御情報は、 更新フラグを有し、
更新フラグが所定の値であるなら、 ルックアップテーブル部に対す るパレツ トデータの設定のみを行うことで、 グラフ ィ クスの更新を行 う、 ことを特徴とする請求項 1 0記載の再生装置。
1 2 . 前記グラフ ィ クスス ト リ ームはウ ィ ン ド ウ情報を有し、 ウ ィ ン ド ウ情報は、 各ピクチャを表示するための画面の一部を、 グ ラフ ィ クス表示用のゥイ ン ド ウ として指定する情報であり、
グラフ ィ クスデコーダによるグラフ ィ クス描画は、
画面においてウイ ン ド ウ情報に示されるウイ ン ド ウをク リ アする 処理、 及び、 画面におけるウ ィ ン ド ウ に対しグラフィ クスを書き込む 処理を含むことでなされる、 請求項 7記載の再生装置。
1 3 . 記録媒体の記録方法であって、
アプリケーショ ンデータを作成するステップと、
作成したデータを記録媒体に記録するステツプとを有し、 前記アプリケーショ ンデ一夕は、
5 動画ス ト リームとグラフ ィ クスス ト リームとを多重化することに より得られたデジタルス ト リームを含み、
グラフ ィ クスス ト リームは、 バケツ トの配列であり、
パケッ トには、 グラフ イ クスデータを格納したものと、 制御情報を 格納したものとがあり、
1 0 制御情報は、 パケッ ト列において自身より前方に存在するダラフィ クスデータを、 所定の夕ィ ミ ングで動画ス ト リームと合成して表示す る旨を示す、
ことを特徴とする記録方法。
1 4 . ビデオス ト リーム、 グラフ ィ クスス ト リームが多重化された 1 5 デジタルス ト リームの再生をコンピュータに行わせるプログラムで あってゝ
ビデオス ト リームをデコー ドして動画像を得るステップと、 グラフィ クスス ト リームをデコ一 ドしてグラフ ィ クスを得て、 動画 像に合成するステップとを備え、
20 グラフィ クスを得るステップは、
記録媒体から新たな制御情報が記録媒体から読み込まれれば、 その 制御情報に基づき、 前もって送り込まれたグラフ ィ クスデータを表示 する
処理をコンピュータに行わせることを特徴とするプログラム。 25 1 5 . ビデオス ト リーム、 グラフ ィ クスス ト リームが多重化された ' デジタルス ト リームの再生をコンピュータに行わせる再生方法であ つて、
.、. ビデオス ト リームをデコー ドして動画像を得るステップと、
グラフ ィ クスス ト リームをデコー ドしてグラフ ィ クスを得て、 動画 30 像に合成するステップとを備え、 グラフ ィ クスを得るステップは、
記録媒体から新たな制御情報が記録媒体から読み込まれれば、 その 制御情報に基づき、 前もって送り込まれたグラフィ クスデータを表示 する
ことを特徴とする再生方法。
PCT/JP2004/009517 2003-06-30 2004-06-29 記録媒体、再生装置、記録方法、プログラム、再生方法 WO2005002220A1 (ja)

Priority Applications (8)

Application Number Priority Date Filing Date Title
US10/561,087 US7664370B2 (en) 2003-06-30 2004-06-29 Recording medium, reproduction device, recording method, program, and reproduction method
JP2005511149A JP4160978B2 (ja) 2003-06-30 2004-06-29 記録媒体再生システム、再生装置、記録方法、プログラム、再生方法
KR1020057024954A KR101102758B1 (ko) 2003-06-30 2004-06-29 기록매체, 재생장치, 기록방법, 프로그램, 재생방법
CA2528504A CA2528504C (en) 2003-06-30 2004-06-29 Recording medium, recording method, reproduction apparatus and method, and computer-readable program
EP04746986A EP1641260A4 (en) 2003-06-30 2004-06-29 RECORDING MEDIA, PLAYING DEVICE, RECORDING METHOD, PROGRAM AND PLAYBACK METHOD
US11/508,443 US7620297B2 (en) 2003-06-30 2006-08-23 Recording medium, recording method, reproduction apparatus and method, and computer-readable program
US11/508,479 US7680394B2 (en) 2003-06-30 2006-08-23 Recording medium, recording method, reproduction apparatus and method, and computer-readable program
US11/508,636 US7668440B2 (en) 2003-06-30 2006-08-23 Recording medium, recording method, reproduction apparatus and method, and computer-readable program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US48322803P 2003-06-30 2003-06-30
US60/483,228 2003-06-30

Related Child Applications (4)

Application Number Title Priority Date Filing Date
US10561087 A-371-Of-International 2004-06-29
US11/508,479 Division US7680394B2 (en) 2003-06-30 2006-08-23 Recording medium, recording method, reproduction apparatus and method, and computer-readable program
US11/508,636 Division US7668440B2 (en) 2003-06-30 2006-08-23 Recording medium, recording method, reproduction apparatus and method, and computer-readable program
US11/508,443 Division US7620297B2 (en) 2003-06-30 2006-08-23 Recording medium, recording method, reproduction apparatus and method, and computer-readable program

Publications (2)

Publication Number Publication Date
WO2005002220A1 true WO2005002220A1 (ja) 2005-01-06
WO2005002220A8 WO2005002220A8 (ja) 2005-02-24

Family

ID=33552045

Family Applications (2)

Application Number Title Priority Date Filing Date
PCT/JP2004/009517 WO2005002220A1 (ja) 2003-06-30 2004-06-29 記録媒体、再生装置、記録方法、プログラム、再生方法
PCT/JP2004/009515 WO2005002219A1 (ja) 2003-06-30 2004-06-29 記録媒体、再生装置、記録方法、プログラム、再生方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
PCT/JP2004/009515 WO2005002219A1 (ja) 2003-06-30 2004-06-29 記録媒体、再生装置、記録方法、プログラム、再生方法

Country Status (10)

Country Link
US (9) US7716584B2 (ja)
EP (4) EP2068564B1 (ja)
JP (12) JP4208880B2 (ja)
KR (6) KR100967737B1 (ja)
CN (8) CN100576898C (ja)
CA (3) CA2659714C (ja)
DE (5) DE602004022945D1 (ja)
ES (4) ES2354139T3 (ja)
TW (6) TW200514442A (ja)
WO (2) WO2005002220A1 (ja)

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007502036A (ja) * 2003-07-31 2007-02-01 サムスン エレクトロニクス カンパニー リミテッド グラフィックデータを含む情報記録媒体、その処理装置及び処理方法
JP2007531192A (ja) * 2004-03-26 2007-11-01 エルジー エレクトロニクス インコーポレーテッド 記録媒体及び記録媒体に記録されたテキストサブタイトルストリームの再生方法及びその装置
JP2007328840A (ja) * 2006-06-06 2007-12-20 Sony Corp データ構造および記録媒体、オーサリング装置、オーサリング方法オーサリングプログラム、記録装置、記録方法および記録プログラム、検証装置、検証方法および検証プログラム、ならびに、記録媒体の製造装置および製造方法
US7599611B2 (en) 2004-09-13 2009-10-06 Lg Electronics Co. Recording medium, and method and apparatus of reproducing data recorded on the same
US7609939B2 (en) 2004-08-17 2009-10-27 Lg Electronics Inc. Method and apparatus of reproducing data recorded on recording medium and local storage
US7609945B2 (en) 2004-08-17 2009-10-27 Lg Electronics Inc. Recording medium, and method and apparatus for reproducing data from the recording medium
US7613384B2 (en) 2004-08-17 2009-11-03 Lg Electronics Inc. Method for configuring composite file structure for data reproduction, and method and apparatus for reproducing data using the composite file structure
JP2010515375A (ja) * 2006-12-29 2010-05-06 インテル・コーポレーション マルチレイヤ・ビデオ合成におけるバウンディング・ボックスの補助的情報の使用
US7725010B2 (en) 2004-08-17 2010-05-25 Lg Electronics, Inc. Method and apparatus of reproducing data recorded on recording medium and local storage
US7751685B2 (en) 2003-07-02 2010-07-06 Lg Electronics, Inc. Recording medium having data structure including graphic data and recording and reproducing methods and apparatuses
US7761422B2 (en) 2005-01-07 2010-07-20 Lg Electronics, Inc. Method and apparatus for reproducing data from recording medium using local storage
US7760989B2 (en) 2003-07-01 2010-07-20 Lg Electronics Inc. Recording medium having data structure including graphic data and recording and reproducing methods and apparatuses
US7764866B2 (en) 2004-12-10 2010-07-27 Lg Electronics, Inc. Recording medium, method for searching for content data from the recording medium, and method and apparatus for reproducing data from the recording medium
US7792418B2 (en) 2004-10-12 2010-09-07 Lg Electronics, Inc. Method and apparatus for reproducing data from recording medium using local storage
US7873242B2 (en) 2003-07-31 2011-01-18 Samsung Electronics Co., Ltd. Information storage medium storing graphic data and apparatus and method of processing the graphic data
US8346050B2 (en) 2004-03-26 2013-01-01 Lg Electronics, Inc. Recording medium, method, and apparatus for reproducing text subtitle streams
US9905268B2 (en) 2016-03-24 2018-02-27 Fujitsu Limited Drawing processing device and method

Families Citing this family (55)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100448452B1 (ko) * 2000-06-09 2004-09-13 엘지전자 주식회사 고밀도 광 기록매체의 메뉴 지원방법
AU2003260974B8 (en) * 2002-09-07 2010-06-03 Lg Electronics Inc. Recording medium having data structure for managing reproduction of still images from a clip file recorded thereon and recording and reproducing methods and apparatuses
CN101106729B (zh) 2002-10-02 2012-12-19 Lg电子株式会社 用于控制图形数据再现的数据结构的记录和再现方法及装置
EP1547080B1 (en) 2002-10-04 2012-01-25 LG Electronics, Inc. Recording medium having a data structure for managing reproduction of graphic data and recording and reproducing methods and apparatuses
JP4558498B2 (ja) * 2002-11-20 2010-10-06 エルジー エレクトロニクス インコーポレイティド 記録されたスチールイメージの再生を管理するためのデータ構造を有する記録媒体、それによる記録及び再生方法及び装置
JP4165895B2 (ja) * 2003-01-20 2008-10-15 エルジー エレクトロニクス インコーポレーテッド 記録された静止映像の再生を管理するためのデータ構造を有する記録媒体、それによる記録と再生の方法及び装置
US8145033B2 (en) * 2003-02-05 2012-03-27 Lg Electronics Inc. Recording medium having data structure for managing reproducton duration of still pictures recorded thereon and recording and reproducing methods and apparatuses
US7734154B2 (en) * 2003-02-14 2010-06-08 Lg Electronics Inc. Recording medium having data structure for managing reproduction duration of still pictures recorded thereon and recording and reproducing methods and apparatuses
RU2388073C2 (ru) * 2003-04-29 2010-04-27 Эл Джи Электроникс Инк. Носитель записи со структурой данных для управления воспроизведением графических данных и способы и устройства записи и воспроизведения
US7616865B2 (en) 2003-04-30 2009-11-10 Lg Electronics Inc. Recording medium having a data structure for managing reproduction of subtitle data and methods and apparatuses of recording and reproducing
KR100967737B1 (ko) * 2003-06-30 2010-07-05 파나소닉 주식회사 기록매체, 재생장치, 기록방법, 재생방법
KR100882077B1 (ko) * 2003-07-11 2009-02-10 파나소닉 주식회사 디스플레이 세트의 병렬처리를 수행할 수 있는 재생장치, 기록매체, 기록방법, 재생방법, 및 컴퓨터 판독가능한 기록매체
US7366405B2 (en) * 2003-07-11 2008-04-29 Matsushita Electric Industrial Co., Ltd. Recording medium, recording method, reproduction apparatus and method, and computer-readable program
BRPI0412839A (pt) 2003-07-24 2006-09-26 Lg Electronics Inc mìdia de gravação que tem uma estrutura de dados para gerenciar reprodução de dados de subtìtulo de texto gravado nela e métodos e aparelhos de gravação e reprodução
KR20050012328A (ko) * 2003-07-25 2005-02-02 엘지전자 주식회사 고밀도 광디스크의 프레젠테이션 그래픽 데이터 관리 및재생방법과 그에 따른 고밀도 광디스크
KR100611970B1 (ko) 2003-08-16 2006-08-11 삼성전자주식회사 인터렉티브 그래픽 스트림을 기록한 정보저장매체 및 그 재생장치
KR20050035678A (ko) * 2003-10-14 2005-04-19 엘지전자 주식회사 광디스크 장치의 부가 데이터 재생방법 및 장치와, 이를위한 광디스크
KR20050036277A (ko) * 2003-10-15 2005-04-20 엘지전자 주식회사 고밀도 광디스크의 네비게이션 정보 관리방법
KR20050064150A (ko) 2003-12-23 2005-06-29 엘지전자 주식회사 고밀도 광디스크의 메뉴 구성방법 및 실행방법과기록재생장치
US8190003B2 (en) * 2004-01-14 2012-05-29 Samsung Electronics Co., Ltd. Storage medium storing interactive graphics stream activated in response to user's command, and reproducing apparatus for reproducing from the same
KR100561417B1 (ko) 2004-02-09 2006-03-16 삼성전자주식회사 Av 데이터의 재생상태를 전환할 수 있는 인터랙티브그래픽 스트림을 기록한 정보저장매체, 그 재생방법 및 장치
WO2005074393A2 (en) * 2004-02-10 2005-08-18 Lg Electronics Inc. Recording medium having a data structure for managing various data streams and recording and reoroducing methods and apparatuses
KR20050089353A (ko) * 2004-03-04 2005-09-08 엘지전자 주식회사 고밀도 광디스크와 그에 따른 데이터 파일 구성 방법 및재생 방법과 장치
KR20060043284A (ko) * 2004-03-08 2006-05-15 엘지전자 주식회사 기록매체의 텍스트 서브타이틀 스트림 재생방법과 재생장치
DE602005018462D1 (de) * 2004-03-18 2010-02-04 Lg Electronics Inc Aufzeichungsmedium und verfahren und vorrichtung zur wiedergabe eines auf dem aufzeichnungsmedium aufgezeichneten textuntertitelstroms
CN101114505B (zh) * 2004-06-18 2010-06-02 松下电器产业株式会社 再现装置、再现方法
US8233779B2 (en) 2004-07-09 2012-07-31 Panasonic Corporation Recording medium, recording method, reproduction apparatus and method, and computer-readable program
US20060056804A1 (en) * 2004-09-13 2006-03-16 Seo Kang S Recording medium, and method and apparatus for reproducing data from the recording medium
US20090290710A1 (en) * 2004-12-20 2009-11-26 Koninklijke Philips Electronics, N.V. Unlocking a protected portable storage medium
JP5160407B2 (ja) * 2005-03-10 2013-03-13 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 仮想オブジェクトを表示する方法および装置
TWI393124B (zh) * 2005-04-07 2013-04-11 Panasonic Corp A recording medium, a reproducing apparatus, a recording method, and a reproducing method
KR20070052642A (ko) * 2005-11-17 2007-05-22 엘지전자 주식회사 데이터 재생방법 및 재생장치와 데이터 전송방법
US20070006062A1 (en) * 2005-07-01 2007-01-04 Microsoft Corporation Synchronization aspects of interactive multimedia presentation management
US8020084B2 (en) * 2005-07-01 2011-09-13 Microsoft Corporation Synchronization aspects of interactive multimedia presentation management
US8799757B2 (en) 2005-07-01 2014-08-05 Microsoft Corporation Synchronization aspects of interactive multimedia presentation management
US8656268B2 (en) 2005-07-01 2014-02-18 Microsoft Corporation Queueing events in an interactive media environment
US7721308B2 (en) 2005-07-01 2010-05-18 Microsoft Corproation Synchronization aspects of interactive multimedia presentation management
US8305398B2 (en) 2005-07-01 2012-11-06 Microsoft Corporation Rendering and compositing multiple applications in an interactive media environment
US7500175B2 (en) * 2005-07-01 2009-03-03 Microsoft Corporation Aspects of media content rendering
US20070258696A1 (en) * 2006-04-04 2007-11-08 Branson Michael J Digital video recorder (DVR) filtering of on-screen graphics
JP4591405B2 (ja) * 2006-05-10 2010-12-01 ソニー株式会社 情報処理装置及び情報処理方法、並びにコンピュータ・プログラム
TWM304101U (en) * 2006-06-14 2007-01-01 Wei-Jing Yang DVD player capable of showing multi-national captions
JP5034424B2 (ja) * 2006-10-11 2012-09-26 ソニー株式会社 再生装置および再生方法
US20090086095A1 (en) * 2007-09-28 2009-04-02 Gateway Inc. Method and apparatus for overlaying encoded streams
JP5697989B2 (ja) * 2007-12-26 2015-04-08 コーニンクレッカ フィリップス エヌ ヴェ グラフィックスオブジェクトを重ね合わせるための画像プロセッサ
JP4952627B2 (ja) * 2008-03-21 2012-06-13 富士通株式会社 画像処理装置、画像処理方法および画像処理プログラム
RU2496157C2 (ru) 2008-09-30 2013-10-20 Панасоник Корпорэйшн Носитель записи, на котором записано 3d видео, устройство воспроизведения для воспроизведения 3d видео и большая интегральная схема системы
JP4985807B2 (ja) * 2009-04-15 2012-07-25 ソニー株式会社 再生装置および再生方法
CN101877136A (zh) * 2009-04-30 2010-11-03 国际商业机器公司 处理图形对象的方法、设备及系统
RU2605435C2 (ru) 2011-06-14 2016-12-20 Конинклейке Филипс Н.В. Графическая обработка для видео с расширенным динамическим диапазоном
EP2798843A4 (en) * 2011-12-28 2015-07-29 Intel Corp SYSTEMS AND METHOD FOR INTEGRATED METADATA INSERT IN A VIDEO CODING SYSTEM
KR20140031758A (ko) * 2012-09-05 2014-03-13 삼성전자주식회사 포인팅 디바이스를 이용하여 aⅴ 데이터의 메뉴를 제어하기 위한 인터랙티브 그래픽 데이터를 기록한 정보저장매체, 그 재생방법 및 장치
KR102059842B1 (ko) 2014-11-14 2020-02-11 엘지전자 주식회사 일반화된 그래프 파라미터를 이용하여 그래프 기반 변환을 수행하는 방법 및 장치
CN109478412B (zh) * 2016-07-20 2021-07-16 索尼公司 信息处理设备、信息处理方法和程序
CN109218510B (zh) * 2017-07-04 2021-01-01 北京小米移动软件有限公司 息屏显示方法、装置及计算机可读存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0847195A1 (en) 1995-09-29 1998-06-10 Matsushita Electric Industrial Co., Ltd. Encoding method and device for giving searching/reproducing route information to a bit stream
JP2002101386A (ja) * 1995-09-29 2002-04-05 Matsushita Electric Ind Co Ltd 複数のサーチ再生経路情報をビットストリームに付与するエンコード方法及びその装置

Family Cites Families (73)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4302775A (en) * 1978-12-15 1981-11-24 Compression Labs, Inc. Digital video compression system and methods utilizing scene adaptive coding with rate buffer feedback
CA2000421A1 (en) 1989-10-11 1991-04-11 Jobst Ulrich Gellert Injection molding insulated valve member
US5880729A (en) * 1994-05-16 1999-03-09 Apple Computer, Inc. Graphical user interfaces having animated control elements
KR970005939B1 (ko) * 1994-09-28 1997-04-22 대우전자 주식회사 모니터의 온스크린 디스플레이 장치
JP3092478B2 (ja) 1995-06-16 2000-09-25 日本電気株式会社 半導体装置の製造方法
KR100224815B1 (ko) * 1995-06-23 1999-10-15 윤종용 데이타 압축 및 신장방법
WO1997007504A1 (fr) 1995-08-21 1997-02-27 Matsushita Electric Industrial Co., Ltd. Disque optique multimedia capable de creer des situations tout a fait inattendues sur la base de l'interactivite, appareil et procede de reproduction de ce disque
JPH0981118A (ja) * 1995-09-11 1997-03-28 Casio Comput Co Ltd 画像制御装置
JPH0988118A (ja) 1995-09-20 1997-03-31 Toho Gas Co Ltd 複数ミキサ式流動化処理装置
KR100352253B1 (ko) 1995-09-29 2003-01-08 마쯔시다덴기산교 가부시키가이샤 비트스트림을인터리브하여매체에기록재생하는방법및그장치
US5838316A (en) * 1996-01-26 1998-11-17 International Business Machines Corporation Method and system for presenting a plurality of animated display objects to a user for selection on a graphical user interface in a data processing system
JP4059355B2 (ja) * 1996-04-04 2008-03-12 パイオニア株式会社 情報記録装置及び情報記録方法並びに情報再生装置及び情報再生方法
KR100616258B1 (ko) * 1996-05-06 2007-04-25 코닌클리케 필립스 일렉트로닉스 엔.브이. 그래픽이미지와비디오이미지동시표시방법및장치
US5864340A (en) 1996-08-22 1999-01-26 International Business Machines Corporation Mobile client computer programmed to predict input
DE69708042T2 (de) * 1996-08-28 2002-03-14 Matsushita Electric Ind Co Ltd Rundkfunkempfänger, der wahlweise auf navigationsinformationen zugreift, die sich zeitversetzt auf einem datenstrom befinden, und aufzeichnungsmedium, auf dem das dazugehörige verfahren gespeichert ist
US5990972A (en) * 1996-10-22 1999-11-23 Lucent Technologies, Inc. System and method for displaying a video menu
WO1998021722A1 (fr) 1996-11-13 1998-05-22 Matsushita Electric Industrial Co., Ltd. Appareil et procede de generation de train de bits pour memoire a disque d'enregistrement de donnees permettant une reproduction continue de plusieurs pieces de donnees-images et support d'enregistrement sur lequel est enregistre un programme applique a l'appareil de generation
US5892767A (en) * 1997-03-11 1999-04-06 Selsius Systems Inc. Systems and method for multicasting a video stream and communications network employing the same
KR100217179B1 (ko) 1997-03-25 1999-09-01 윤종용 디지털비디오디스크 재생장치에서의 메뉴재생방법
JP4416846B2 (ja) * 1997-08-22 2010-02-17 ソニー株式会社 メニュー制御用データを記録したコンピュータ読み取り可能な記録媒体ならびにメニュー制御方法および装置
US5929857A (en) * 1997-09-10 1999-07-27 Oak Technology, Inc. Method and apparatus for dynamically constructing a graphic user interface from a DVD data stream
US6166735A (en) * 1997-12-03 2000-12-26 International Business Machines Corporation Video story board user interface for selective downloading and displaying of desired portions of remote-stored video data objects
JP3597690B2 (ja) * 1998-01-21 2004-12-08 株式会社東芝 デジタル情報記録再生システム
US6526214B2 (en) 1998-04-13 2003-02-25 Oak Technology, Inc. DVD sub-picture decoder with minimal buffering
EP0982952A3 (en) * 1998-08-28 2000-05-17 Hitachi, Ltd. Moving picture recording/regenerating system
JP2000100073A (ja) * 1998-09-28 2000-04-07 Sony Corp 記録装置および方法、再生装置および方法、記録媒体、並びに提供媒体
TW530267B (en) 1998-12-10 2003-05-01 Ibm Multimedia player for an electronic content delivery system
US6580756B1 (en) 1998-12-11 2003-06-17 Matsushita Electric Industrial Co., Ltd. Data transmission method, data transmission system, data receiving method, and data receiving apparatus
ES2273523T3 (es) * 1998-12-14 2007-05-01 Koninklijke Philips Electronics N.V. Soporte de grabacion y aparato y metodo para reproducir un soporte de grabacion, y metodo de fabricacion de un soporte de grabacion.
EP1035546B1 (en) * 1999-03-09 2001-11-21 Matsushita Electric Industrial Co., Ltd. Apparatus and method for recording the recording medium
US6470140B1 (en) 1999-03-10 2002-10-22 Matsushita Electric Industrial Co., Ltd. Optical disc optical disc recording and reproducing apparatus, and optical disc recording and reproducing method
JP3128220B1 (ja) 1999-03-10 2001-01-29 松下電器産業株式会社 光ディスク、光ディスク記録再生装置および光ディスク記録再生方法
EP1229545B1 (en) * 1999-03-12 2011-08-17 Panasonic Corporation Optical disk, reproduction apparatus, reproduction method, and recording medium
JP2000276834A (ja) 1999-03-19 2000-10-06 Sony Corp 記録装置、再生装置、記録再生システム、及びダビング動作管理方法
EP1228453A4 (en) 1999-10-22 2007-12-19 Activesky Inc AN OBJECT-ORIENTED VIDEO SYSTEM
KR100364755B1 (ko) * 1999-12-20 2002-12-16 엘지전자 주식회사 칩 테스트 장치
KR100383843B1 (ko) * 1999-12-27 2003-05-14 엘지전자 주식회사 외부 연결기기에 대한 영상기기의 메뉴 원격제어방법
US7206344B1 (en) * 2000-01-05 2007-04-17 Genesis Microchip Inc. Method and apparatus for displaying video
US7093005B2 (en) 2000-02-11 2006-08-15 Terraspring, Inc. Graphical editor for defining and creating a computer system
JP2001332006A (ja) 2000-05-17 2001-11-30 Toshiba Corp 背景画像取り込みシステム
EP1287687B1 (en) * 2000-05-22 2005-11-09 Sony Computer Entertainment Inc. Information processing apparatus, graphic processing unit, graphic processing method, storage medium, and computer program
EP1160759A3 (en) * 2000-05-31 2008-11-26 Panasonic Corporation Image output device and image output control method
DE10033110B4 (de) * 2000-07-07 2005-06-16 Siemens Ag Verfahren, und System zur Übertragung digitalisierter Bewegtbilder von einem Sender zu einem Empfänger und zugehöriger Decoder
JP2002044590A (ja) 2000-07-21 2002-02-08 Alpine Electronics Inc Dvdビデオ再生装置
US20060064716A1 (en) 2000-07-24 2006-03-23 Vivcom, Inc. Techniques for navigating multiple video streams
JP5039911B2 (ja) * 2000-10-11 2012-10-03 インターナショナル・ビジネス・マシーンズ・コーポレーション データ処理装置、入出力装置、タッチパネルの制御方法、記憶媒体及びプログラム伝送装置
JP2002278996A (ja) * 2001-03-22 2002-09-27 Sony Corp 記録装置および記録方法、並びに記録媒体
US7177412B2 (en) * 2001-09-24 2007-02-13 Berlyoung Danny L Multi-media communication management system with multicast messaging capabilities
US7054423B2 (en) * 2001-09-24 2006-05-30 Nebiker Robert M Multi-media communication downloading
US7233655B2 (en) * 2001-10-03 2007-06-19 Accenture Global Services Gmbh Multi-modal callback
US7187852B1 (en) * 2001-10-24 2007-03-06 Apple Computer, Inc. Method and apparatus for on-the-fly DVD encoding
CN1381838A (zh) * 2002-03-08 2002-11-27 北京阜国数字技术有限公司 Evd盘、evd盘记录机和方法、以及evd盘播放机和方法
JP2004098193A (ja) * 2002-09-06 2004-04-02 Nachi Fujikoshi Corp フィルムラップ加工方法及び装置。
EP1547080B1 (en) * 2002-10-04 2012-01-25 LG Electronics, Inc. Recording medium having a data structure for managing reproduction of graphic data and recording and reproducing methods and apparatuses
CN100466713C (zh) * 2002-11-28 2009-03-04 索尼株式会社 再现装置和再现方法
ES2343065T3 (es) * 2003-01-31 2010-07-22 Panasonic Corporation Medio de registro, dispositivo de reproduccion, procedimiento de registro, programa y procedimiento de reproduccion para un flujo de datos graficos especificando botones interactivos.
EP1463052A1 (en) * 2003-03-25 2004-09-29 Deutsche Thomson-Brandt Gmbh Method for representing animated menu buttons
CA2523597C (en) * 2003-04-28 2011-09-27 Matsushita Electric Industrial Co., Ltd. Recording medium, reproduction apparatus, recording method, reproducing method, program, and integrated circuit
JP4177705B2 (ja) * 2003-05-13 2008-11-05 株式会社東芝 情報記憶媒体、情報再生装置、情報再生方法
KR100967737B1 (ko) * 2003-06-30 2010-07-05 파나소닉 주식회사 기록매체, 재생장치, 기록방법, 재생방법
ES2356582T3 (es) * 2003-07-03 2011-04-11 Panasonic Corporation Medio de grabación, aparato de reproducción, método de grabación, circuito integrado, programa y método de reproducción.
KR101129121B1 (ko) * 2003-11-12 2012-03-27 파나소닉 주식회사 기록매체, 재생장치 및 방법, 기록방법
CN103956176B (zh) 2003-11-28 2017-07-07 索尼株式会社 再现设备和再现方法
KR20050072256A (ko) * 2004-01-06 2005-07-11 엘지전자 주식회사 고밀도 광디스크의 메뉴 사운드 구성방법 및 재생방법과기록재생장치
KR100782808B1 (ko) * 2004-01-13 2007-12-06 삼성전자주식회사 인터렉티브 그래픽 스트림을 기록한 저장 매체 및 그 재생장치
US8190003B2 (en) * 2004-01-14 2012-05-29 Samsung Electronics Co., Ltd. Storage medium storing interactive graphics stream activated in response to user's command, and reproducing apparatus for reproducing from the same
EP1768404A4 (en) * 2004-07-06 2010-04-21 Panasonic Corp OPTICAL DEVICE, PLAYING DEVICE, PROGRAM AND PLAYING PROCESS
WO2006036781A2 (en) * 2004-09-22 2006-04-06 Perfect Market Technologies, Inc. Search engine using user intent
US20060129463A1 (en) * 2004-12-15 2006-06-15 Zicherman Amir S Method and system for automatic product searching, and use thereof
US20080137729A1 (en) * 2005-03-08 2008-06-12 Jung Kil-Soo Storage Medium Including Data Structure For Reproducing Interactive Graphic Streams Supporting Multiple Languages Seamlessly; Apparatus And Method Therefore
JP4337849B2 (ja) * 2006-07-26 2009-09-30 ソニー株式会社 記録装置、記録方法および記録プログラム、ならびに、撮像装置、撮像方法および撮像プログラム
JP4321628B2 (ja) * 2007-05-31 2009-08-26 ソニー株式会社 記憶装置、記憶方法および記憶プログラム、ならびに、データ処理装置、データ処理方法およびデータ処理プログラム
JP2009049726A (ja) * 2007-08-21 2009-03-05 Sony Corp 情報変換装置、情報変換方法およびプログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0847195A1 (en) 1995-09-29 1998-06-10 Matsushita Electric Industrial Co., Ltd. Encoding method and device for giving searching/reproducing route information to a bit stream
JP2002101386A (ja) * 1995-09-29 2002-04-05 Matsushita Electric Ind Co Ltd 複数のサーチ再生経路情報をビットストリームに付与するエンコード方法及びその装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
"Digital Video Broadcasting (DVB); Submitting systems European Broadcasting Union Union Europeenne de Radio-Television EBU-UER; ETSI EN 300 743", ETSI STANDARDS, vol. BC, no. V1.2.1, 1 October 2002 (2002-10-01)
See also references of EP1641260A4

Cited By (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7760989B2 (en) 2003-07-01 2010-07-20 Lg Electronics Inc. Recording medium having data structure including graphic data and recording and reproducing methods and apparatuses
US7751685B2 (en) 2003-07-02 2010-07-06 Lg Electronics, Inc. Recording medium having data structure including graphic data and recording and reproducing methods and apparatuses
JP2007502036A (ja) * 2003-07-31 2007-02-01 サムスン エレクトロニクス カンパニー リミテッド グラフィックデータを含む情報記録媒体、その処理装置及び処理方法
US8699802B2 (en) 2003-07-31 2014-04-15 Samsung Electronics Co., Ltd. Information storage medium storing graphic data and apparatus and method of processing the graphic data
JP2008278511A (ja) * 2003-07-31 2008-11-13 Samsung Electronics Co Ltd グラフィックデータ処理装置
USRE44287E1 (en) 2003-07-31 2013-06-11 Samsung Electronics Co., Ltd. Information storage medium storing graphic data and apparatus and method of processing the graphic data
US8452033B2 (en) 2003-07-31 2013-05-28 Samsung Electronics Co., Ltd. Information storage medium storing graphic data and apparatus and method of processing the graphic data
US8452130B2 (en) 2003-07-31 2013-05-28 Samsung Electronics Co., Ltd. Information storage medium storing graphic data and apparatus and method of processing the graphic data
US8452129B2 (en) 2003-07-31 2013-05-28 Samsung Electronics Co., Ltd. Information storage medium storing graphic data and apparatus and method of processing the graphic data
USRE44183E1 (en) 2003-07-31 2013-04-30 Samsung Electronics Co., Ltd. Information storage medium storing graphic data and apparatus and method of processing the graphic data
US8160359B2 (en) 2003-07-31 2012-04-17 Samsung Electronics Co., Ltd. Information storage medium storing graphic data and apparatus and method of processing the graphic data
JP2008228343A (ja) * 2003-07-31 2008-09-25 Samsung Electronics Co Ltd グラフィックデータ処理方法
US8300940B2 (en) 2003-07-31 2012-10-30 Samsung Electronics Co., Ltd. Information storage medium storing graphic data and apparatus and method of processing the graphic data
US8787704B2 (en) 2003-07-31 2014-07-22 Samsung Electronics Co., Ltd. Information storage medium storing graphic data and apparatus and method of processing the graphic data
US8208727B2 (en) 2003-07-31 2012-06-26 Samsung Electronics Co., Ltd. Information storage medium storing graphic data and apparatus and method of processing the graphic data
US8189918B2 (en) 2003-07-31 2012-05-29 Samsung Electronics Co., Ltd. Information storage medium storing graphic data and apparatus and method of processing the graphic data
US7873242B2 (en) 2003-07-31 2011-01-18 Samsung Electronics Co., Ltd. Information storage medium storing graphic data and apparatus and method of processing the graphic data
US7945124B2 (en) 2003-07-31 2011-05-17 Samsung Electronics Co., Ltd. Information storage medium storing graphic data and apparatus and method of processing the graphic data
US7945123B2 (en) 2003-07-31 2011-05-17 Samsung Electronics Co., Ltd. Information storage medium storing graphic data and apparatus and method of processing the graphic data
US8014605B2 (en) 2003-07-31 2011-09-06 Samsung Electronics Co., Ltd. Information storage medium storing graphic data and apparatus and method of processing the graphic data
US8160401B2 (en) 2003-07-31 2012-04-17 Samsung Electronics Co., Ltd. Information storage medium storing graphic data and apparatus and method of processing the graphic data
US8380044B2 (en) 2004-03-26 2013-02-19 Lg Electronics Inc. Recording medium storing a text subtitle stream, method and apparatus for reproducing a text subtitle stream to display a text subtitle
US8346050B2 (en) 2004-03-26 2013-01-01 Lg Electronics, Inc. Recording medium, method, and apparatus for reproducing text subtitle streams
JP2007531192A (ja) * 2004-03-26 2007-11-01 エルジー エレクトロニクス インコーポレーテッド 記録媒体及び記録媒体に記録されたテキストサブタイトルストリームの再生方法及びその装置
US8374486B2 (en) 2004-03-26 2013-02-12 Lg Electronics Inc. Recording medium storing a text subtitle stream, method and apparatus for a text subtitle stream to display a text subtitle
US7609939B2 (en) 2004-08-17 2009-10-27 Lg Electronics Inc. Method and apparatus of reproducing data recorded on recording medium and local storage
US7725010B2 (en) 2004-08-17 2010-05-25 Lg Electronics, Inc. Method and apparatus of reproducing data recorded on recording medium and local storage
US7613384B2 (en) 2004-08-17 2009-11-03 Lg Electronics Inc. Method for configuring composite file structure for data reproduction, and method and apparatus for reproducing data using the composite file structure
US7609945B2 (en) 2004-08-17 2009-10-27 Lg Electronics Inc. Recording medium, and method and apparatus for reproducing data from the recording medium
US7599611B2 (en) 2004-09-13 2009-10-06 Lg Electronics Co. Recording medium, and method and apparatus of reproducing data recorded on the same
US7792418B2 (en) 2004-10-12 2010-09-07 Lg Electronics, Inc. Method and apparatus for reproducing data from recording medium using local storage
US7764866B2 (en) 2004-12-10 2010-07-27 Lg Electronics, Inc. Recording medium, method for searching for content data from the recording medium, and method and apparatus for reproducing data from the recording medium
US7761422B2 (en) 2005-01-07 2010-07-20 Lg Electronics, Inc. Method and apparatus for reproducing data from recording medium using local storage
JP2007328840A (ja) * 2006-06-06 2007-12-20 Sony Corp データ構造および記録媒体、オーサリング装置、オーサリング方法オーサリングプログラム、記録装置、記録方法および記録プログラム、検証装置、検証方法および検証プログラム、ならびに、記録媒体の製造装置および製造方法
US8849094B2 (en) 2006-06-06 2014-09-30 Sony Corporation Data structure, recording medium, authoring apparatus, method, and program, recording apparatus, method, and program, verification apparatus, method, and program, and manufacturing, apparatus and method for recording medium
JP2010515375A (ja) * 2006-12-29 2010-05-06 インテル・コーポレーション マルチレイヤ・ビデオ合成におけるバウンディング・ボックスの補助的情報の使用
US9905268B2 (en) 2016-03-24 2018-02-27 Fujitsu Limited Drawing processing device and method

Also Published As

Publication number Publication date
KR100897465B1 (ko) 2009-05-14
JP2007087381A (ja) 2007-04-05
EP1641259A4 (en) 2008-02-13
KR20070100931A (ko) 2007-10-12
US20060288290A1 (en) 2006-12-21
CN101005630A (zh) 2007-07-25
TW200739525A (en) 2007-10-16
KR20070107758A (ko) 2007-11-07
CN101527863B (zh) 2011-09-07
JP2007068191A (ja) 2007-03-15
ES2347701T3 (es) 2010-11-03
CA2528504A1 (en) 2005-01-06
JP4208880B2 (ja) 2009-01-14
CN101026774A (zh) 2007-08-29
EP1641259A1 (en) 2006-03-29
US7680394B2 (en) 2010-03-16
JPWO2005002220A1 (ja) 2006-08-10
JP2007259504A (ja) 2007-10-04
ES2354012T3 (es) 2011-03-09
EP2068564A1 (en) 2009-06-10
CN101005630B (zh) 2012-07-04
JP2007080486A (ja) 2007-03-29
TWI341690B (ja) 2011-05-01
CN101026775B (zh) 2012-08-22
TW200809592A (en) 2008-02-16
DE602004030059D1 (de) 2010-12-23
TW200514442A (en) 2005-04-16
US20060294542A1 (en) 2006-12-28
CN101026775A (zh) 2007-08-29
CA2659714A1 (en) 2005-01-06
JP4388970B2 (ja) 2009-12-24
JP2007080485A (ja) 2007-03-29
US7913169B2 (en) 2011-03-22
JP4160978B2 (ja) 2008-10-08
DE602004030060D1 (de) 2010-12-23
CN101026774B (zh) 2011-01-05
JP4332187B2 (ja) 2009-09-16
EP2068563A1 (en) 2009-06-10
JP2007080487A (ja) 2007-03-29
CA2528509A1 (en) 2005-01-06
EP2068564B1 (en) 2010-11-10
US20060236218A1 (en) 2006-10-19
US8020117B2 (en) 2011-09-13
KR100967737B1 (ko) 2010-07-05
US20080126922A1 (en) 2008-05-29
US8010908B2 (en) 2011-08-30
CN100576898C (zh) 2009-12-30
CN1817032A (zh) 2006-08-09
CA2528504C (en) 2013-04-16
JP4027401B2 (ja) 2007-12-26
CN101527864A (zh) 2009-09-09
TWI348689B (ja) 2011-09-11
TWI352977B (ja) 2011-11-21
KR20090130145A (ko) 2009-12-17
JP4388972B2 (ja) 2009-12-24
JP2007053777A (ja) 2007-03-01
JP2007335074A (ja) 2007-12-27
CA2659714C (en) 2012-07-17
TW200509081A (en) 2005-03-01
KR20060029239A (ko) 2006-04-05
JP2008011546A (ja) 2008-01-17
US20060294543A1 (en) 2006-12-28
JP4077856B2 (ja) 2008-04-23
JP4199791B2 (ja) 2008-12-17
EP1641260A4 (en) 2009-12-16
TW200746822A (en) 2007-12-16
KR101102758B1 (ko) 2012-01-05
JP4027402B2 (ja) 2007-12-26
US20060245723A1 (en) 2006-11-02
CN1817031A (zh) 2006-08-09
US7668440B2 (en) 2010-02-23
WO2005002219A1 (ja) 2005-01-06
TWI340596B (ja) 2011-04-11
KR20090038036A (ko) 2009-04-17
JPWO2005002219A1 (ja) 2006-08-10
EP1641259B1 (en) 2009-09-02
US20060288302A1 (en) 2006-12-21
US7664370B2 (en) 2010-02-16
KR20060027365A (ko) 2006-03-27
ES2347702T3 (es) 2010-11-03
EP1641260A1 (en) 2006-03-29
CN101005629A (zh) 2007-07-25
CN100583973C (zh) 2010-01-20
KR100897466B1 (ko) 2009-05-14
DE602004028674D1 (de) 2010-09-23
KR100984412B1 (ko) 2010-09-29
TWI362655B (ja) 2012-04-21
JP4332186B2 (ja) 2009-09-16
US20060291814A1 (en) 2006-12-28
DE602004028673D1 (de) 2010-09-23
DE602004022945D1 (de) 2009-10-15
ES2354139T3 (es) 2011-03-10
EP2068563B1 (en) 2010-11-10
US20060282775A1 (en) 2006-12-14
CN101527863A (zh) 2009-09-09
JP4199792B2 (ja) 2008-12-17
TWI341691B (ja) 2011-05-01
WO2005002220A8 (ja) 2005-02-24
US8006173B2 (en) 2011-08-23
KR100871528B1 (ko) 2008-12-05
CA2528509C (en) 2015-11-24
JP4027400B2 (ja) 2007-12-26
US7620297B2 (en) 2009-11-17
CN101527864B (zh) 2011-01-05
TW200746823A (en) 2007-12-16
US7716584B2 (en) 2010-05-11
JP2008017499A (ja) 2008-01-24

Similar Documents

Publication Publication Date Title
JP4332187B2 (ja) 再生装置、再生方法、再生システム、再生プログラム
JP4245652B2 (ja) 再生装置、記録方法、再生方法
JP4022567B2 (ja) 再生装置,集積回路,プログラム,再生方法

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A1

Designated state(s): AE AG AL AM AT AU AZ BA BB BG BR BW BY BZ CA CH CN CO CR CU CZ DE DK DM DZ EC EE EG ES FI GB GD GE GH GM HR HU ID IL IN IS JP KE KG KP KR KZ LC LK LR LS LT LU LV MA MD MG MK MN MW MX MZ NA NI NO NZ OM PG PH PL PT RO RU SC SD SE SG SK SL SY TJ TM TN TR TT TZ UA UG US UZ VC VN YU ZA ZM ZW

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): BW GH GM KE LS MW MZ NA SD SL SZ TZ UG ZM ZW AM AZ BY KG KZ MD RU TJ TM AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IT LU MC NL PL PT RO SE SI SK TR BF BJ CF CG CI CM GA GN GQ GW ML MR NE SN TD TG

WWE Wipo information: entry into national phase

Ref document number: 2005511149

Country of ref document: JP

WR Later publication of a revised version of an international search report
121 Ep: the epo has been informed by wipo that ep was designated in this application
WWE Wipo information: entry into national phase

Ref document number: 2460/KOLNP/2005

Country of ref document: IN

WWE Wipo information: entry into national phase

Ref document number: 2528504

Country of ref document: CA

WWE Wipo information: entry into national phase

Ref document number: 2006245723

Country of ref document: US

Ref document number: 10561087

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 1020057024954

Country of ref document: KR

WWE Wipo information: entry into national phase

Ref document number: 20048187046

Country of ref document: CN

WWE Wipo information: entry into national phase

Ref document number: 2004746986

Country of ref document: EP

WWP Wipo information: published in national office

Ref document number: 2004746986

Country of ref document: EP

WWP Wipo information: published in national office

Ref document number: 1020057024954

Country of ref document: KR

WWP Wipo information: published in national office

Ref document number: 10561087

Country of ref document: US