WO2005057431A1 - 制御信号を利用したインデックス付与システム - Google Patents

制御信号を利用したインデックス付与システム Download PDF

Info

Publication number
WO2005057431A1
WO2005057431A1 PCT/JP2004/018568 JP2004018568W WO2005057431A1 WO 2005057431 A1 WO2005057431 A1 WO 2005057431A1 JP 2004018568 W JP2004018568 W JP 2004018568W WO 2005057431 A1 WO2005057431 A1 WO 2005057431A1
Authority
WO
WIPO (PCT)
Prior art keywords
control signal
attribute information
unit
identifier
metadata
Prior art date
Application number
PCT/JP2004/018568
Other languages
English (en)
French (fr)
Inventor
Norihiko Kobayashi
Toru Nakada
Masaaki Yoshikawa
Original Assignee
Matsushita Electric Industrial Co., Ltd.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co., Ltd. filed Critical Matsushita Electric Industrial Co., Ltd.
Priority to EP04806929A priority Critical patent/EP1698983A1/en
Priority to US10/583,045 priority patent/US7873637B2/en
Publication of WO2005057431A1 publication Critical patent/WO2005057431A1/ja

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00Digital computing or data processing equipment or methods, specially adapted for specific functions
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/41Indexing; Data structures therefor; Storage structures
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G11B27/034Electronic editing of digitised analogue information signals, e.g. audio or video signals on discs

Definitions

  • the present invention relates to an index assigning technique for automatically assigning an index using various control signals used in a program production site of a broadcast station system.
  • Patent Document 1 JP-A-11-167583
  • the recognition rate varies when the screen position, the background image, and a plurality of subjects are simultaneously displayed, and it has been difficult to achieve high accuracy and metadata.
  • telop character recognition the appearance position of telop characters, background video, character fonts, and the like are limited, and it is difficult to perform highly accurate recognition that is not affected by the environment.
  • speech recognition and speaker recognition technology erroneous recognition often occurs in programs where multiple speakers are mixed or when an unspecified number of speakers appear frequently. I was
  • the present invention has been made in view of the advantages of the present invention, and has an indexing system capable of eliminating correction work, automatically generating accurate metadata, and automatically providing information on a program.
  • the purpose is to provide a stem.
  • the automatic indexing system of the present invention is an indexing system that automatically assigns metadata using control signals of various devices used in a broadcasting station.
  • the control signal detector that determines the type of the control signal and the identifier that uniquely identifies the control signal and obtains the time of detection is linked to the control signal identifier and the attribute information related to the control signal.
  • the control signal attribute information management unit determines attribute information based on the identifier acquired by the control unit, and the metadata is generated as the type, identifier, and time determined by the control signal detection unit are acquired.
  • An index generation unit that adds attribute information requested and obtained to the information management unit to the metadata.
  • the automatic indexing system of the present invention generates log data in which the time is arranged for each identifier as the identifier and the time are obtained from the control signal detector, and outputs the log data to the index generator. It is characterized by having a log analysis unit.
  • the log analysis unit generates log data in which the time is arranged for each identifier using the identifier of the control signal and the detection time, and outputs the log data to a network or a removable medium; and a network output unit or a removable medium.
  • a log input unit for inputting log data via the interface and transmitting the log data to the index generation unit.
  • the control signal attribute information management unit includes a database search unit that connects to a database storing the detailed information of the attribute information, and stores the detailed information acquired from the database.
  • the feature is that it is automatically added to the metadata generated by the index generator.
  • the database that stores the detailed information of the attribute information is characterized in that it is a database that stores at least one of detailed information of a person, news, and a script.
  • the control signal detection unit detects various control signals used during the broadcast of a program, determines the type, identifier, and time of the control signal. , And automatically generate metadata.
  • the index generation unit Requests and acquires the attribute information associated with the determined identifier from the control signal attribute information management unit that manages the signal identifier and its attribute information in association with each other, and automatically attaches it to the metadata. I am trying to do it.
  • it is possible to automatically generate metadata indicating various information constituting a program broadcast in synchronization with the broadcast of the program, thereby greatly reducing the conventional manual metadata generation work. If accurate and accurate information can be given, the effect can be obtained.
  • the log analysis unit is used to generate log data in which the time is arranged for each identifier, and output the log data to the index generation unit.
  • This makes it possible to generate metadata collectively.
  • by generating log data it is possible to automatically generate metadata indicating various information that constitutes a program broadcast at any time without synchronizing it during program broadcasting. If the metadata generation work can be greatly reduced and accurate information can be given, the effect can be obtained.
  • FIG. 1 is a block diagram showing an overall configuration of an indexing system according to an embodiment of the present invention.
  • FIG. 3 is a block diagram showing an internal configuration of a control signal detection unit.
  • FIG. 4 is a block diagram showing an internal configuration of a control signal detection unit for detecting a sound pressure level
  • FIG. 5 is a diagram showing the structure of a digitized control signal
  • FIG. 6 is a diagram showing a data configuration managed by a control signal type management unit.
  • FIG. 7 is a block diagram showing an internal configuration of a control signal attribute information management unit.
  • Garden 10 A flow diagram showing a process of detecting a voice control signal and making a metadata generation request.
  • Garden 11 A diagram schematically showing various pin microphones and their use start time and use end time.
  • FIG. 24 A block diagram showing an operation form of an indexing system used in a broadcasting station (second embodiment)
  • a control signal detection unit detects control signals of various devices used in a station system that broadcasts a program, obtains the type, identifier, and time, and generates metadata. Also, by acquiring attribute information associated with the control signal detected by the control signal detection unit from the control signal attribute information management unit and attaching it to the metadata, the metadata of the program can be automatically and accurately generated. Information is automatically added to metadata.
  • the type identifies the type of the device, and the identifier is assigned to uniquely identify the same type of device.
  • FIG. 1 shows a configuration of a main block of an index providing system according to an embodiment of the present invention.
  • the indexing system 10 shown in FIG. 1 detects a program broadcast studio system 11 for producing, recording, and transmitting a program broadcast, and a control signal output from the program broadcast studio system 11 when performing a program broadcast.
  • the control signal detector 12 that determines the type of the control signal, its identifier, the time, etc., and manages the identifier of the control signal and the attribute information related thereto in association with each other, and obtains the information by the control signal detector 12.
  • the control signal attribute information management unit 14 that determines attribute information based on the obtained identifier, and the metadata is generated according to the acquisition of the type, identifier, detection time, and the like from the control signal detection unit 12, while the control signal An index generation unit 13 for requesting the attribute information management unit 14 and adding the obtained attribute information to the metadata is provided.
  • FIG. 2 is a block diagram showing a schematic configuration of a broadcasting system that can be considered when the indexing system 10 is actually applied to a broadcasting station or the like.
  • This broadcasting system is broadly divided into a studio 1 and an adjustment booth 2 that issues instructions to the studio 1 and captures video and audio signals from the studio 1 to produce, record, and transmit programs. Is
  • a pin microphone (including Pml, Pm2, Pm3) 20 as a microphone worn by an announcer or a performer, a studio camera (including StCl, StC2) 30, and the like are arranged.
  • VTR controller 40 for controlling VTR recording / playback operation
  • editing PC for editing program broadcast material (Personal computer) 41
  • a cart machine 42 for actually executing a VTR reproduction process
  • a relay controller 60 for performing control for relay broadcasting.
  • the edit switch 19 is connected to the control signal detection unit 12, and the control signal detection unit 12 detects various control signals from the edit switch 19. That is, a pin microphone audio signal output by the pin microphone 20, a studio camera switching signal output by the studio camera 30, a VTR switching signal output by the VTR controller 40, a telop switching signal output by the telop generator 50, and the like. Performs input detection of control signals output from various devices.
  • the pin microphone 20, studio camera 30, VTR controller 40, editing PC 41, cart machine 42, telop generator 50, telop generator 51, relay controller 60, etc. are connected as shown in Fig. 2. .
  • control signal detector 12 Next, the internal configuration of the control signal detection unit 12 will be described with reference to FIG. Control signal detector
  • Numeral 12 detects an input control signal, determines its type and its identifier, obtains a time, and requests the index generation unit 13 to generate metadata.
  • the control signal detection unit 12 detects a control signal and determines the type and identifier of the control signal.
  • the control signal type determination unit 121 associates the control signal with the type and identifier to enable the control signal to be determined.
  • the control signal type management unit 122 to manage, the time acquisition unit 125 to acquire the time at which the control signal is detected, the identified type and its identifier, and the acquired time are sent to the index generation unit 13 to request metadata generation. It comprises an index generation request unit 124.
  • the control signal is registered in the control signal type management unit 122 before the system is operated, and its type and identifier are also registered.
  • the identifier may be registered automatically according to the registration of the control signal.
  • Control signal type determination section 121 determines the type and the identifier of the input control signal by analyzing the header portion of the input control signal.
  • the control signal can be divided into a header section 200 containing information such as the type and its identifier and a body section 201 of the control signal itself.
  • a bit string representing the signal type of the header section 200 is analyzed, and the control signal type management section is analyzed.
  • the type of the input control signal and its identifier are determined.
  • FIG. 4 shows the internal configuration of the control signal detection unit 12 for determining the sound pressure level of the audio signal as the control signal.
  • the voice input from the microphone 30 given to the program performer is input to the microphone signal sound pressure level determination unit 123 via the voice switching switch 18.
  • the microphone signal sound pressure level determination unit 123 detects the sound pressure level of the input voice.
  • FIG. 5 is a diagram showing an example of the structure of a digitized control signal.
  • Information indicating the signal type is assigned to the upper 8 bits of the header section 200 of the control signal, and information indicating an identifier for uniquely identifying the signal type is assigned to the lower 8 bits.
  • FIG. 6 is a diagram showing a configuration example of management data in the control signal type management unit 122.
  • the control signal type management unit 122 controls the control signal
  • the information 211 indicating the type of the signal, the identifier information 212 for uniquely identifying the signal type, the type 213 corresponding to the signal type information 211, and the signal ID (identifier) 210 corresponding to the identifier information 212 are linked and managed in a table format. I do.
  • the control signal type determination unit 121 extracts the header part of the control signal and outputs the control signal type.
  • the management unit 122 is inquired about the type and its identifier. In the control signal type management unit 122, since the upper 8 bits of the header unit 200 indicating the signal type information are “00000010”, the control signal type management unit 122 is linked to the matching item of the signal type information 211. It is determined that the type is 213 of “pin microphone”, and since the lower 8 bits are “0000 0001”, the identifier 210 of “PM_1” linked to the matching item of the identifier information 212 is determined. to decide. Accordingly, the control signal type management unit 122 determines that the type of the input control signal is “pin microphone” and the identifier is “PM-1”, and sends the control signal type determination unit 121 “ Notify "Pin microphone” or "PM-1".
  • the type and the identifier are notified to the control signal type determination unit 121.
  • the type can be determined only by the identifier, only the identifier (PM-1) is notified. Also good ,.
  • the length and position of the bit sequence for determining the type of the signal and the identifier thereof are not limited to the above-described example.
  • the analog signal power type and its identifier are determined directly, and the control signal determination unit 121 is provided with separate input systems for the number of control signals to be detected.
  • the input signal input from the input system may be determined.
  • a GUI Graphic User Interface
  • control signal attribute information management unit 14 is registered in advance so that various control signals and attribute information can be associated with each other. For example, an identifier that uniquely specifies a control signal and attribute information are linked and managed, and attribute information can be determined based on the identifier acquired by the control signal detection unit 12.
  • the control signal attribute information management unit 14 registers identifiers and attribute information of various control signals.
  • the attribute information registration unit 141 receives the registration from the attribute information registration unit 141, registers the attribute information in the attribute information database 143, receives the attribute information request from the index generation unit 13, and receives the attribute information from the attribute information database 143.
  • An attribute information management unit 142 manages reading of attribute information based on the identifier, and the like, and an attribute information database 143 that stores the types of control signals and their identifiers and the corresponding attribute information in association with each other.
  • the registration of the attribute information can be performed manually by a person involved in the production or editing of a program, or by online registration from various devices used in a broadcasting station. For example, information such as a character string created by the telop creator 51 and a video of a VTR edited by the editing PC 41 can be diverted, and linked online with identifiers of various devices. Thereby, the registration work of the attribute information indicating the character string, the video information, and the like is reduced. In addition, it is also possible to store the created or edited character string, video information, and the like in a removable medium, and register it using the removable medium.
  • the index generation unit 13 generates metadata according to the type of the control signal, its identifier, and the detection time, and, on the other hand, attribute information associated with the obtained identifier to the control signal attribute information management unit 14 The attribute information obtained from the control signal attribute information management unit 14 is added to the generated metadata.
  • control signals, types, and identifiers of various devices are registered in the control signal type management unit 122 of the control signal detection unit 12 before broadcast / recording of a program.
  • the input signal is a pin microphone signal
  • the control signal, type, and identifier of the pin microphone are determined in advance so that the input of the pin microphone can be determined.
  • the control signal is converted into a type or an identifier.
  • who wears the pin microphone (the power of which identifier corresponds to whom) is registered in the control signal attribute information management unit 14.
  • FIG. 8 shows the relationship between the pin microphone identifiers registered in the attribute information database 143 of the control signal attribute information management unit 14 and the performers who wear the pin microphones. Assuming that the corresponding identifier and the pin microphone wearer are managed and registered as a set. Figure 8 shows that the pin microphone identifiers PM-1, PM-2, and PM-3 are linked to Performer A, Performer B, and Performer C respectively in the default state.
  • the attribute information registration unit 141 updates the attribute information, so that the wearers of the respective pin microphones, Taro Yamada, Jiro Tanaka, and Hanako Suzuki, are linked. Indicates that it is being updated and managed. Also, once set attribute information is recorded in the attribute information database 143, the attribute information can be easily associated with the identifier from the attribute information database 143 by a method such as a selection formula.
  • FIG. 9 is a flowchart showing a process of detecting the sound pressure level of the sound control signal input to the pin microphone and notifying the control signal type determination unit 121 of the sound control signal that has reached the sound pressure level.
  • FIG. 5 is a flowchart from when a type control unit 121 is notified of a voice control signal to when a metadata generation request is made. The flow of the metadata generation process will be described with reference to the flowcharts of FIGS.
  • a voice control signal is input from the pin microphone to the microphone signal sound pressure level determination unit 123 of the control signal detection unit 12 via the voice switching switch 18 each time an utterance occurs (S20, S21). ).
  • the microphone signal sound pressure level discriminating unit 123 does not consider noise or the like as speech, and considers that only a speech control signal that has reached a sound pressure level equal to or higher than a certain level is considered to be speech and performs control.
  • the voice control signal is input to the signal type determination unit 121.
  • a sound control signal that does not reach a sound pressure level equal to or higher than a certain level is regarded as having no speech or being finished, and no speech control signal is input to the control signal type discriminating unit 121 or the speech is not spoken. Notify that it has finished.
  • control signal type discriminating unit 121 in order to detect the start and end of the utterance, it is necessary to notify the control signal type discriminating unit 121 only when the sound pressure level reaches or exceeds a certain level or lower than the sound pressure level. However, it may be determined that the utterance has been made only when the sound pressure level has reached the sound pressure level continuously for a certain period of time, and the control signal type determination unit 121 may be notified of the voice control signal. Also, the control signal type determination unit 121 may be notified only when the sound pressure level has been continuously lower than the sound pressure level for a certain period of time.
  • control signal type identification unit 121 When an audio control signal is input to the control signal type identification unit 121, the control signal type identification unit 121 extracts the header part and sends it to the control signal type management unit 122 to handle the audio control signal. Inquire about the type and identifier that are used.
  • the control signal type management unit 122 determines the type and identifier of the audio control signal based on the signal type information and the signal identifier indicated in the header unit 200, and sends the type and identifier to the control signal type determination unit 121. Notify. Here, if the type can be determined only by the identifier (see FIG. 6), only the identifier may be notified (S12).
  • control signal type determining unit 121 acquires the type and the identifier, it sends them to the index generation requesting unit 124, and the index generation request 124 sends the current time to the time obtaining unit 125. To obtain the time (S13). Index generation required The requesting unit 124 sends these to the index generation unit 13 as it acquires the type, identifier, and time of the voice control signal, and requests index (metadata) generation (S14).
  • the index generation unit 13 generates metadata according to the acquisition of the type, the identifier, and the time from the control signal detection unit 12 (index generation request unit 124), and controls the type and the identifier. Sent to the signal attribute information management unit 14 to inquire attribute information. The control signal attribute information management unit 14 acquires attribute information that is associated with and managed based on the transmitted type and identifier, and notifies the index generation unit 13 of this. The index generator 13 adds attribute information to the generated metadata in response to the notification of the attribute information. By performing the above-described processing each time the control signal detection unit 12 detects the voice control signal, the start and end times of the utterance of the performer wearing the pin microphone are arranged for each performer. Can be generated.
  • FIG. 11 schematically illustrates the relationship between the type and identifier of the control signal generated by the index generation unit 13 and the attribute information thereof.
  • FIG. 12 is an example of expressing the result of the above processing in XML (extensible Markup Language), and it is possible to see at a glance at which time the speaker starts and ends the utterance.
  • control signal detection unit detects the voice control signal for controlling the voice simultaneously with the utterance of the program performer, thereby automatically and accurately generating information on at what timing and who spoke.
  • the cost can be significantly reduced compared to the conventional manual metadata generation.
  • control signals, types, and identifiers of various devices are registered before system operation. That is, when the VTR is switched to the VTR using the VTR controller 40 during the broadcast of the program, the control signal detection unit 12 detects the VTR control signal output from the VTR switch 16 and further the input of any VTR. Register the control signal, type, and identifier of the VTR in advance so that it can be determined. The VTR is also considered to record “title”, “content”, “location”, “time”, etc. at the time of editing. These pieces of attribute information are also registered in the control signal attribute information management unit 14, and are associated with attribute information (here, title) and an identifier in order to identify which VTR is used.
  • control signal attribute information management unit 14 can register the attribute information and the identifier to be registered by online connection of the editing PC 41.
  • the attribute information and identifier created at the same time as the VTR editing are automatically registered as they are in the control signal attribute information management unit 14.
  • attribute information and an identifier can be recorded on a removable medium such as a CD-ROM, a flexible disk, and a DVD SD memory card which are not registered online, and the control signal attribute information management unit 14 can be registered using the removable medium.
  • FIG. 13 shows the relationship between the VTR identifier registered in the attribute information database 143 of the control signal attribute information management unit 14 and the title of the VTR.
  • the identifier of the VTR and the title are managed as a set. It is assumed that it will be registered.
  • VTR-1 VTR-2 and VTR-3 which are VTR identifiers, are associated with the titles of the captured images, "Future Report of Burned Body Incident,” “Nagata-cho the Night Before Dissolution,” and “Sports Corner Video.” It is attached and managed.
  • the attribute information registered in the attribute information database 143 may be managed by linking information such as VTR contents, time, location, performers, and recording time, in addition to the VTR title.
  • the designated VTR is broadcast by the VTR controller 40, and at the same time, the VTR control signal is transmitted to the control signal detector 12 by the control signal type. It is input to the determination unit 121.
  • the control signal type determination unit 121 extracts the header part and sends it to the control signal management unit 122 according to the processing flow shown in FIG. Compatible with Inquire about the type and identifier.
  • the control signal type management unit 122 determines the type and identifier of the VTR control signal based on the signal type information and signal identifier indicated in the header unit 200, and notifies the control signal type determination unit 121 of the type and identifier. I do.
  • the type can be determined only by the identifier (see FIG. 6), only the identifier may be notified.
  • control signal type determining unit 121 obtains the type and identifier, it sends them to the index generation requesting unit 124, and the index generation request 124 responds to the request and the time obtaining unit 125. To get the time.
  • the index generation request unit 124 sends these to the index generation unit 13 in response to acquiring the type, identifier, and time of the voice control signal, and requests index (metadata) generation.
  • the index generation unit 13 generates metadata according to the acquisition of the type, identifier, and time from the control signal detection unit 12 (index generation request unit 124), and controls the type and identifier. Sent to the signal attribute information management unit 14 to inquire attribute information. The control signal attribute information management unit 14 acquires attribute information that is associated with and managed based on the transmitted type and identifier, and notifies the index generation unit 13 of this. As the attribute information is notified, the index generation unit 13 adds the attribute information to the generated metadata.
  • FIG. 14 is an example of the result of the above processing expressed in XML, and it can be seen at a glance at what time the VTR is broadcast and what the title is.
  • the VTR control signal is detected by the control signal detection unit at the same time that the VTR is used, so that information about when the VTR was used is automatically and accurately converted to metadata, and the attribute information is also obtained.
  • the telop is created and output by a telop creator 51 that performs electronic processing such as a telop document creation tool.
  • control signals, types, and identifiers of various devices are registered before system operation.
  • the control signal detection unit 12 detects the telop control signal output from the telop switch 17 and further determines which telop was input.
  • the control signal, type, and identifier of the telop are registered in advance so that the telop can be determined. It is also considered that information such as “character string”, “character string type”, “font”, “font”, and “color” is recorded when the telop is created.
  • Pieces of attribute information are also registered in the control signal attribute information management unit 14, and are managed by linking attribute information (here, a character string) and an identifier in order to identify which telop is.
  • attribute information here, a character string
  • the attribute information and the identifier registered in the control signal attribute information management unit 14 can be registered by online connection from the telop creator 51.
  • the attribute information and the identifier created at the same time as the telop creation are automatically registered in the control signal attribute information management unit 14 as they are.
  • FIG. 15 shows the relationship between a telop identifier and a telop character string registered in the attribute information database 143 of the control signal attribute information management unit 14.
  • the telop identifier and the character string are managed as a set. It is assumed that it will be registered.
  • the telop identifiers TP_1, ⁇ _2, ⁇ _3, and ⁇ -4 respectively, create the character strings of the telops and their types “Taro Yamada, personal name”, “Niro Sato, personal name”, and “ , Topic name ", and” dissolution Nagata-cho of the previous night, topic name ".
  • the attribute information registered in the attribute information database 143 may be managed by linking information such as the font, font, and color of the telop in addition to the telop character string and its type.
  • the designated telop is broadcast by the telop generator 50, and at the same time, the telop control signal is controlled by the control signal detector 12.
  • the signal is input to the signal type determination unit 121.
  • Control signal type discrimination When the telop control signal is input to the section 121, the control signal type discriminating section 121 extracts the header section and sends it to the control signal management section 122 according to the processing flow shown in FIG. Inquire about the type and identifier that are used.
  • the control signal type management unit 122 determines the type and identifier of the telop control signal based on the signal type information and signal identifier indicated in the header unit 200, and sends the type and identifier to the control signal type determination unit 121. Notify. Here, if the type can be determined only by the identifier (see FIG. 6), only the identifier may be notified.
  • control signal type determining unit 121 obtains the type and identifier, it sends them to the index generation requesting unit 124, and the index generation request 124 responds to the request and the time obtaining unit 125. To get the time.
  • the index generation request unit 124 sends these to the index generation unit 13 in response to acquiring the type, identifier, and time of the voice control signal, and requests index (metadata) generation.
  • the index generation unit 13 generates metadata as the type, identifier, and time are obtained from the control signal detection unit 12 (index generation request unit 124). Sent to management unit 14 to inquire about attribute information.
  • the control signal attribute information management unit 14 acquires attribute information that is associated with and managed based on the transmitted type and identifier, and notifies the index generation unit 13 of this. As the attribute information is notified, the index generation unit 13 adds the attribute information to the generated metadata.
  • Fig. 16 is an example of the result of the above processing expressed in XML. At a glance, it is possible to see at what time this XML telop is broadcast and what the telop is.
  • the information about when the telop was used is automatically and accurately converted to metadata, and the attribute information is further obtained.
  • the number of man-hours can be significantly reduced compared to the conventional manual metadata.
  • Metadata generation technology using conventional telops is erroneous because information is obtained by recognizing the character string itself of the telop. Although recognized and given incorrect metadata, the present invention does not provide incorrect metadata.
  • control signals, types, and identifiers of various devices are registered before system operation.
  • a camera control signal for switching cameras it is determined that the camera has been switched, and the camera control signal, type, and identifier are registered in advance so that it is possible to determine which camera has been switched. Keep it.
  • the camera control signal By detecting the camera control signal by the control signal detection unit 12 at the same time as the camera is switched, the camera work information indicating which camera was used and when can be automatically and accurately converted to metadata.
  • detecting a camera control signal that has switched from a relay video to a studio video it is possible to meta-data the insertion information of the relay video.
  • RF tag Radio Frequency tag
  • This information can be converted to metadata.
  • the signal, type, and identifier of the RF tag are registered in the control signal type management unit 122 of the control signal detection unit 12 before the system operation, and the attribute information database 143 of the control signal attribute information management unit 14 stores the RF tag.
  • the nomination and date of birth of the leading actor, which are attribute information on the tag identifier and the actor to which the RF tag is attached, are registered and linked.
  • control signal detection unit 12 detects two or more control signals at the same time, rather than using these various control signals alone, to determine when various devices have been used. Automatically and accurately, and by adding attribute information, various information constituting the program broadcast can be converted into metadata in synchronization with the program broadcast. This makes it possible to significantly reduce the conventional manual metadata generation work and to provide accurate information.
  • the control signal attribute information management unit 14 includes a database search unit 144 for connecting to a database storing the detailed information of the attribute information, and stores the detailed information acquired from the database 70. It is acceptable to automatically add the metadata generated by the index generator 13.
  • the database 70 includes a personal information database 71, a news database 72, and a script database 73, which are connected online.
  • the person information database 71 manages a person's name, gender, date of birth, place of birth, and the like in association with each other.
  • the news database 72 video information, contents, location locations, and the like are linked and managed.
  • the script database 73 character string information, video information, performers, and the like are linked and managed.
  • the attribute information management unit 142 acquires the identifiers of various devices sent from the index generation unit 13, the attribute information management unit 142 An inquiry is made as to whether there is attribute information associated with the identifier (S201).
  • the attribute information database 143 searches for the attribute information associated with the identifier (S202), and notifies the attribute information management unit 142 of the attribute information.
  • the attribute information management unit 142 links the notified attribute information with the identifier (S203), and sends the attribute information to the database search unit 144.
  • the database search unit 144 inquires of the personal information database 71, the news database 72, and the script database 73 whether there is detailed information of the attribute information (S204). Here, it is OK to make inquiries to various databases selectively.
  • the various databases 71 to 73 search for detailed information linked to the attribute information, and notify the attribute information management unit 142 of the detailed information via the database search unit 144.
  • the attribute information management unit 142 links the attribute information obtained from the attribute information database 143 and the detailed information obtained from the various databases 71 to 73 to the index generation unit 13 in a linked manner (S206).
  • the above processing is to search for detailed information on attribute information linked based on one identifier. However, if there is more than one attribute information, the new attribute information is used as a search key for detailed information.
  • FIGS. 21 and 22 show examples of metadata to which attribute information and detailed information are added.
  • control signal attribute information management unit includes the database search unit 144 that searches for detailed information of the attribute information managed by the control signal attribute information management unit.
  • the detailed information can be obtained from 71 to 73 and can be added to the metadata. Since the detailed information can be acquired based on the attribute information linked to the identifier, the attribute information managed by the control signal attribute information management unit 14 is the minimum necessary information.
  • the control signal detection unit detects the control signals to determine their types and identifiers, and obtains the time. As these are acquired by the index generator, metadata is automatically generated. Further, the index generation unit requests and obtains the attribute information associated with the determined identifier from the control signal attribute information management unit which manages the identifiers of various control signals in association with their attribute information. And it is automatically added to the metadata. That is, in the present embodiment, it is possible to automatically generate metadata indicating various information constituting the program broadcast in synchronization with the broadcast of the program, thereby greatly reducing the conventional manual metadata generation work. In addition, it is possible to obtain accurate information.
  • the detailed information can be obtained from another database and added to the metadata, so even if the attribute information is small, it can be searched.
  • accurate and detailed information-rich metadata can be automatically generated.
  • FIG. 23 is a configuration of a main block of the indexing system according to one embodiment of the present invention.
  • the same components as those of the indexing system shown in FIG. 1 are denoted by the same reference numerals, and redundant description will be omitted.
  • the configuration different from the system shown in FIG. 1 is that a log analysis unit 230 is provided.
  • the log analyzer 230 generates and outputs log data according to the acquisition of the type, identifier, and time of the control signal from the control signal detector 12. As shown in FIG.
  • the log data is data in which the times are arranged for each identifier.
  • the log analysis unit generates log data and outputs the log data to the network or the removable medium 233, and the log output unit 241 inputs the log data and sends the log data to the index generation unit 13.
  • a log input unit 242 for sending log data is provided.
  • the network here may be connected online, and the removable medium 243 may be a recording medium such as a CD-ROM / flexible disk, DVD, or SD memory card.
  • the log analysis unit 230 generates log data in which the time is simply arranged for each identifier without having to go through a network or a recording medium, and a block for outputting the log data is also physically integrated. It can be something.
  • the log output unit 241 of the log analysis unit 230 generates log data by organizing the time for each identifier as the control signal identifier and the detection time are obtained from the control signal detection unit 12 (see FIG. 25). ).
  • the log data shown in the figure is obtained by logging the control signal of the pin microphone for each identifier. Since the pin microphone observes the start and end times of the utterance, the time indicated here indicates a state in which the start and end of the utterance of the performer are repeated.
  • the generated log data is input from the log output unit 241 to the log input unit 242 via the network or the removable media 243, and the log input unit 242 sends the log data to the index generation unit 13.
  • the index generation unit 13 obtains log data whose time is arranged for each identifier
  • the index generation unit 13 generates metadata as shown in FIG. Since the log data is organized in time for each identifier, it is possible to collectively manage the metadata.
  • the index generation unit 13 uses the identifier indicated in the log data to inquire the control signal attribute information management unit 14 of attribute information managed in association with the control signal attribute information management unit 14.
  • the control signal attribute information management unit 14 obtains the identifier from the index generation unit 13
  • the control signal attribute information management unit 14 obtains the associated attribute information and notifies the index generation unit 13 of the obtained attribute information.
  • the attribute information is added to the generated metadata.
  • the power that describes the log data generated when a pin microphone control signal is detected.
  • the control signal of the VTR, telop, or camera or RF tag described in the first embodiment is detected.
  • log data can be generated in the same manner, and metadata as shown in FIGS. 14 and 16 can be generated as in the first embodiment.
  • the control signal attribute information management unit 14 uses the attribute information acquired from the identifier indicated in the log data as a search key, and further obtains a person information database 71, a news database 72, and a script database 73 from the database search unit 144. You may access to and obtain detailed information.
  • metadata as shown in FIGS. 21 and 22 is generated.
  • the index generation unit acquires the generated log data, the index generation unit automatically generates metadata. Also, the index generation unit requests the attribute information associated with the determined identifier from the control signal attribute information management unit that manages the identifiers of the various control signals in association with their attribute information, They are acquired and automatically added to metadata.
  • the present embodiment by using the determined control signal type, identifier, and time to generate log data in which the time is arranged for each identifier, it is possible to convert various information constituting the program broadcast into metadata. For example, various methods that automatically configure program broadcasting at an arbitrary timing without synchronization when shooting a program, such as converting log data into metadata after the editing work of recorded video is completed in a recording and recording program. Metadata generation of important information becomes possible, and the conventional manual metadata The effect is obtained that the generation work can be greatly reduced and accurate information can be given.
  • detection of a control signal is triggered by presetting various control signals used at the time of broadcasting and information accompanying the signals as attribute information. As metadata.
  • accurate indexing can be performed, and the effect of eliminating the need for manual correction work can be obtained.
  • manual setting of attribute information can be simplified.

Abstract

 修正作業を排し、正確なメタデータを自動生成し、番組に関する情報を自動付与することができるインデックス付与システムを提供することを目的とする。  各種制御信号を検知するに従い、制御信号の種別や制御信号を一意に特定する識別子を判断し、検知した時刻を取得する制御信号検知部12と、制御信号の識別子とそれに関する属性情報とを紐付けて管理しておき、制御信号検知部12で取得した識別子を元に属性情報を判断する制御信号属性情報管理部14と、制御信号検知部12で判別した種別や識別子、及び時刻を取得するに従いメタデータを生成し、一方、制御信号属性情報管理部へ要求して取得した属性情報をメタデータに付与するインデックス生成部13とを備える。

Description

明 細 書
制御信号を利用したインデックス付与システム
技術分野
[0001] 本発明は、放送局システムの番組製作現場において利用される各種制御信号を使 用してインデックスを自動付与するインデックス付与技術に関する。
背景技術
[0002] 放送番組における自動的なインデックス付与手法として、顔画像認識技術、テロッ プ文字認識技術、音声認識、話者認識技術を用いることにより、番組出演者の特定 やあるシーンでの話者特定を行レ、、その結果をメタデータ化しインデックス付与する 手法が一般的である。例えば、特許文献 1のように、テロップの文字列を文字認識す ることによって、映像にメタデータとして付与する手法がある。ここで、「メタデータ」と は放送番組などのコンテンツの識別子、名前、出演者、内容などを記述したデータを いう。
特許文献 1 :特開平 11 - 167583号公報
発明の開示
発明が解決しょうとする課題
[0003] 顔画像認識技術は、画面位置や背景映像、複数の被写体が同時に映る場合など 、認識率にバラツキが生じ、精度の高レ、メタデータ化は難しかった。テロップ文字認 識に関しても、テロップ文字の出現位置、背景映像、文字のフォントなどに制限があり 、環境に左右されない確度の高い認識は困難であった。また、音声認識や話者認識 技術に関しても、複数話者が混在する番組や、不特定多数の話者が頻出する場合 には誤認識が多く発生し、やはり人手による修正作業という負荷力 Sかかっていた。
[0004] このように、各種認識技術を用いる場合、正確なメタデータを付与するためには人 手の介在 (修正作業)が必要であり、極力人手による修正作業を排したいメタデータ の自動付与には程遠いのが現実であった。
[0005] 本発明は、力かる点に鑑みてなされたものであり、修正作業を排し、正確なメタデー タを自動生成し、番組に関する情報を自動付与することができるインデックス付与シ ステムを提供することを目的とする。
課題を解決するための手段
[0006] 本発明の自動インデックス付与システムは、放送局において利用される各種機器の 制御信号を用いてメタデータを自動付与するインデックス付与システムであって、各 種制御信号を検知するに従い、制御信号の種別や制御信号を一意に特定する識別 子を判断し、検知した時刻を取得する制御信号検知部と、制御信号の識別子とそれ に関する属性情報とを紐付けて管理しておき、制御信号検知部で取得した識別子を 元に属性情報を判断する制御信号属性情報管理部と、制御信号検知部で判別した 種別や識別子、及び時刻を取得するに従いメタデータを生成し、一方、制御信号属 性情報管理部へ要求して取得した属性情報をメタデータに付与するインデックス生 成部とを備えることを特徴としている。
[0007] また、本発明の自動インデックス付与システムは、制御信号検知部から識別子と時 刻を取得するに従い、識別子毎に時刻を整理したログデータを生成し、これをインデ ックス生成部へ出力するログ解析部を備えることを特徴としている。ログ解析部は、制 御信号の識別子と検知時刻を用いて識別子毎に時刻を整理したログデータを生成し 、ネットワークあるいはリムーバブルメディアへログデータを出力するログ出力部と、ネ ットワークあるいはリムーバブルメディアを介してログデータを入力し、インデックス生 成部へログデータを送るログ入力部とを備えることを特徴としている。
[0008] また、本発明の自動インデックス付与システムは、制御信号属性情報管理部が、属 性情報の詳細情報を格納しているデータベースへ接続するデータベース検索部を 備え、データベースから取得した詳細情報をインデックス生成部で生成するメタデー タに自動付与することを特徴としている。ここで、属性情報の詳細情報を格納してい るデータベースとは、人物、ニュース、及び台本の少なくとも何れかの詳細情報を格 納したデータベースであることを特徴としてレ、る。
発明の効果
[0009] 本発明によれば、制御信号検知部が番組放送中に利用される各種制御信号を検 知してその種別や識別子と時刻を判断し、これをインデックス生成部が取得するに従 レ、、メタデータを自動生成するようにしている。また、インデックス生成部は、各種制御 信号の識別子とその属性情報とを紐付けて管理させた制御信号属性情報管理部に 対して、判別された識別子に紐付けられている属性情報を要求、取得し、それをメタ データに自動付与するようにしている。すなわち、本発明は、番組放送を構成する様 々な情報を示すメタデータの生成を番組放送中に同期して自動生成することが可能 になり、従来の人手によるメタデータ生成作業を大幅に削減し、かつ正確な情報を付 与することができるとレ、う効果が得られる。
[0010] また、本発明によれば、ログ解析部を用いることにより、識別子毎に時刻を整理した ログデータを生成し、これをインデックス生成部へ出力するようにしているので、ログ データを用いることによりメタデータをまとめて生成することができる。また、ログデータ を生成することにより、番組放送を構成する様々な情報を示すメタデータの生成を番 組放送中に同期しなくても、いつでも自動生成することが可能になり、従来の人手に よるメタデータ生成作業を大幅に削減し、かつ正確な情報を付与することができると レ、う効果が得られる。
[0011] さらに本発明によれば、識別子を元に取得した属性情報をさらに検索キーとして人 物、ニュース、及び台本等に関する詳細情報を別のデータベースから取得し、これを メタデータに付与することができる。これにより、取得した属性情報が少ない場合でも 、正確で情報豊富なメタデータを自動的に生成することができる。
図面の簡単な説明
[0012] [図 1]本発明の一実施の形態に係るインデックス付与システムの全体構成を示したブ ロック図
[図 2]放送局で使用するインデックス付与システムの運用形態を示したブロック図(実 施例 1)
[図 3]制御信号検知部の内部構成を示したブロック図
[図 4]音圧レベルを検知する制御信号検知部の内部構成を示したブロック図
[図 5]デジタル化された制御信号の構造を示した図
[図 6]制御信号種別管理部で管理されているデータ構成を示した図
[図 7]制御信号属性情報管理部の内部構成を示したブロック図
[図 8]属性情報データベースに登録される識別子と属性情報との対応関係を示した 図(ピンマイク)
園 9]音声制御信号の音圧レベルを判定する処理を示したフロー図
園 10]音声制御信号を検知し、メタデータ生成要求を行う処理を示したフロー図 園 11]各種ピンマイクとそれらの使用開始時刻及び使用終了時刻を模式的に示した 図
園 12]音声制御信号を検知することにより生成されるインデックス情報を XML表現し た例
園 13]属性情報データベースに登録される識別子と属性情報との対応関係を示した 図 (VTR)
園 14]VTR制御信号を検知することにより生成されるインデックス情報を XML表現し た例
園 15]属性情報データベースに登録される識別子と属性情報との対応関係を示した 図(テロップ)
園 16]テロップ制御信号を検知することにより生成されるインデックス情報を XML表 現した例
園 17]外部データベースを用いる場合のインデックス付与システムを示したブロック 図
園 18]外部データベースを用いる場合の制御信号属性情報管理部の内部構成を示 したブロック図
園 19]各種外部データベースに登録される情報を示した図
園 20]属性情報に紐付けられた情報を各種外部データベースから取得する処理を 示したフロー図
園 21]外部データベースから取得する情報をインデックス情報に付与して XML表現 した例(ピンマイク)
園 22]外部データベースから取得する情報をインデックス情報に付与して XML表現 した例(テロップ)
園 23]本発明の一実施の形態に係るインデックス付与システムの全体構成を示した ブロック図(実施例 2) [図 24]放送局で使用するインデックス付与システムの運用形態を示したブロック図( 実施例 2)
[図 25]各種制御信号の種別や識別子と時刻を取得するに従い、生成したログデータ を示した図(ピンマイク)
符号の説明
1 スタジ才
2 調整ブース
10 インデックス付与システム
11 番組放送スタジオシステム
12 制御信号検知部
121 制御信号種別判別部
122 制御信号種別管理部
123 マイク信号音圧レベル判別部
124 インデックス生成要求部
125 時刻取得部
13 インデックス生成部
14 制御信号属性情報管理部
141 属性情報登録部
142 属性情報管理部
143 属性情報データベース
144 データベース検索部
15 カメラ切替スィッチ
16 VTR切替スィッチ
17 テロップ切替スィッチ
18 音声切替スィッチ
19 編集スィッチ
20 ピンマイク
30 スタジオカメラ 40 VTR制御機
41 編集 PC
42 カートマシン
50 テロップ発生機
51 テロップ作成機
60 中継制御機
70 外部データベース
71 人物情報データベース
72 ニュースデータベース
73 台本データベース
230 ログ解析部
241 ログ出力部
242 ログ入力部
243 リムーバブルメディア
発明を実施するための最良の形態
[0014] 以下、本発明の実施の形態について、図面を参照して詳細に説明する。本発明の 骨子は、番組を放送する局システムにおレ、て利用される各種機器の制御信号を制御 信号検知部で検知して、その種別や識別子、時刻を取得してメタデータを生成し、ま た、制御信号検知部で検知した制御信号に紐付けられる属性情報を制御信号属性 情報管理部から取得し、それをメタデータに付与することによって、番組のメタデータ を正確に自動生成し、メタデータに情報を自動付与してレ、くものである。ここで、種別 は機器の種類を判別するものであり、識別子は同種類の機器を一意に特定するため に付与されるものである。
実施例 1
[0015] 以下、本発明の第 1実施例を説明する。図 1は、本発明の一実施の形態に係るイン デッタス付与システムのメインブロックの構成である。図 1に示すインデックス付与シス テム 10は、番組放送の制作 ·収録 ·送出を行なう番組放送スタジオシステム 11と、番 組放送を行なうに際して番組放送スタジオシステム 11から出力される制御信号を検 知し、制御信号の種別やその識別子、時刻などを判断する制御信号検知部 12と、制 御信号の識別子とそれに関する属性情報とを紐付けて管理しておき、制御信号検知 部 12が取得した識別子を元に属性情報を判断する制御信号属性情報管理部 14と、 制御信号検知部 12から種別、識別子、検知時刻などを取得するに従レ、メタデータを 生成し、その一方、制御信号属性情報管理部 14に対して要求、取得した属性情報 をメタデータに付与するインデックス生成部 13とから構成される。
[0016] 図 2は、実際に放送局などでインデックス付与システム 10を適用する場合に考えら れる放送システムの概略構成を示すブロック図である。この放送システムは大きく分 けてスタジオ 1と、このスタジオ 1へ指示を出したり、スタジオ 1から映像信号や音声信 号などを取り込んで番組制作 ·収録 ·送出作業を行なう調整ブース 2とから成っている
[0017] スタジオ 1にはアナウンサーや出演者が装着するマイクロフォンとしてのピンマイク( Pml, Pm2, Pm3がある) 20とスタジオカメラ(StCl, StC2がある) 30等が配置され ている。また、調整ブース 2には、図 1に示した制御信号検知部 12、インデックス生成 部 13、及び制御信号属性情報管理部 14以外に、スタジオ 1のどのスタジオカメラ(St C1か StC2か)がオンエア映像として放送するかを切替えるカメラ切替スィッチ 15、 V TRに記録された映像を切替える VTR切替スィッチ 16、カメラ映像に挿入するテロッ プ映像を切替えるテロップ切替スィッチ 17、出演者が装着するマイクで拾った音声を 集音するかを切替える音声切替えスィッチ 18などを組み込んで一元管理する編集ス イッチ 19と、テロップ映像を生成するテロップ発生機 50と、テロップ発生機 50におけ るテロップ生成動作をコントロールするためのテロップ作成機 51と、 VTRの記録再生 動作を制御する VTR制御機 40と、番組放送素材の編集処理を行なうための編集 P C (パーソナルコンピュータ) 41と、実際に VTRの再生処理を実行するカートマシン 4 2と、中継放送のための制御を行なう中継制御機 60とが配置されている。
[0018] 編集スィッチ 19は制御信号検知部 12に接続されており、制御信号検知部 12は編 集スィッチ 19からの各種制御信号を検知する。つまり、ピンマイク 20が出力するピン マイク音声信号、スタジオカメラ 30が出力するスタジオカメラ切替信号、 VTR制御機 40が出力する VTR切替信号、テロップ発生機 50が出力するテロップ切替信号など 各種機器が出力する制御信号の入力検知を行う。なお、ピンマイク 20、スタジオカメ ラ 30、 VTR制御機 40、編集 PC41、カートマシン 42、テロップ発生機 50、テロップ作 成機 51、中継制御機 60などは図 2のように接続されてレ、る。
[0019] 次いで図 3を用いて制御信号検知部 12の内部構成を説明する。制御信号検知部
12は、入力される制御信号を検知してその種別やその識別子を判別し、時刻を取得 した上でインデックス生成部 13に対してメタデータ生成の要求を行うものである。制 御信号検知部 12は、制御信号を検知してその種別や識別子を判別する制御信号種 別判別部 121、制御信号の判別を可能にするため、制御信号とその種別や識別子 を紐付けて管理する制御信号種別管理部 122、制御信号が検知された時刻を取得 する時刻取得部 125、判別された種別やその識別子、取得した時刻をインデックス 生成部 13に送り、メタデータ生成の要求を行うインデックス生成要求部 124から成る 。ここで、制御信号種別管理部 122には、システム運用前に制御信号を登録し、その 種別や識別子についても登録しておく。識別子の登録については、制御信号の登録 に従い、自動的に付与させるようにしてもよい。
[0020] 制御信号種別判別部 121は、入力される制御信号のヘッダ部分を解析することに よって、その種別やその識別子を判別する。制御信号は種別やその識別子などの情 報を含むヘッダ部 200と制御信号そのもののボディ部 201とに分けることができ、この ヘッダ部 200の信号種別を表すビット列を解析し、制御信号種別管理部 122に登録 されている信号種別 211や信号 ID210 (識別子)と比較することにより、入力される制 御信号の種別やその識別子を判別する。また、図 4は、制御信号である音声信号の 音圧レベルを判定する場合の制御信号検知部 12の内部構成である。番組出演者に 付与されるマイク 30から入力される音声は、音声切替スィッチ 18を経てマイク信号音 圧レベル判別部 123に入力される。マイク信号音圧レベル判別部 123は、入力され る音声の音圧レベルを検知する。
[0021] 図 5は、デジタル化された制御信号の構造例を示した図である。制御信号のヘッダ 部 200の上位 8ビットに信号種別を示す情報、下位 8ビットに信号種別を一意に特定 する識別子を示す情報が割り当てられている。図 6は制御信号種別管理部 122にお ける管理データの構成例を示す図である。制御信号種別管理部 122は、制御信号 の種別を示す情報 211、信号種別を一意に特定する識別子情報 212、信号種別情 報 211に対応する種別 213、及び識別子情報 212に対応する信号 ID (識別子) 210 を紐付けてテーブル形式で管理する。
[0022] 制御信号検知部 12の制御信号種別判別部 121に対して、図 5に示す制御信号が 入力された場合、制御信号種別判別部 121は制御信号のヘッダ部を抽出し、制御 信号種別管理部 122に対して種別やその識別子を問い合わせる。制御信号種別管 理部 122では、信号種別情報を示すヘッダ部 200の上位 8ビットは「00000010」で あるので、制御信号種別管理部 122は信号種別情報 211の一致する項目に紐付け られている「ピンマイク」の種別 213であることを判断し、さらに、下位 8ビットは「0000 0001」であるので、識別子情報 212の一致する項目に紐付けられている「PM_1」の 識別子 210であることを判断する。これにより、制御信号種別管理部 122は、入力さ れた制御信号は種別が「ピンマイク」であり識別子が「PM-1」であることを判断し、制 御信号種別判別部 121に対して「ピンマイク」や「PM— 1」を通知する。
[0023] なお、ここでは、種別と識別子を制御信号種別判別部 121に対して通知しているが 、識別子だけで種別を判断できるのであれば、識別子ひ PM— 1」)だけを通知しても 良レ、。また、信号の種別やその識別子を判定するためのビット列の長さや位置などは 既述の例に限定されるものではない。さらに、入力信号から識別子への変換プロセス についても、アナログ信号力 直接種別やその識別子を判断したり、検知したい制御 信号の数だけ制御信号判別部 121に別々に入力系統を用意し、それぞれ別の入力 系統から入力される入力信号を判断しても良い。また、編集スィッチ 19に GUI (Graphical User Interface)機能を設け、この GUI上で入力信号と識別子との関連付 け設定を事前に行い、入力信号を識別子に変換しても良い。
[0024] 次に図 7を用いて制御信号属性情報管理部 14の内部構成を説明する。制御信号 属性情報管理部 14は、事前に各種制御信号と属性情報とを紐付けられるよう登録が されてレ、る。例えば、制御信号を一意に特定する識別子と属性情報とを紐付けて管 理しておき、制御信号検知部 12が取得した識別子を元に属性情報を判別できるよう にする。
[0025] 制御信号属性情報管理部 14は、各種制御信号の識別子や属性情報を登録する 属性情報登録部 141、属性情報登録部 141からの登録を受けて属性情報データべ ース 143に属性情報を登録し、また、インデックス生成部 13からの属性情報要求を 受け付け、属性情報データベース 143から識別子を元に属性情報を読出す等の管 理をする属性情報管理部 142、及び制御信号の種別やその識別子、ならびにそれ に対応する属性情報を紐付けて格納する属性情報データベース 143から成る。
[0026] 属性情報の登録は、番組の制作や編集に関わる者が手作業で登録を行なう他に、 放送局において利用される各種機器からオンラインで登録することもできる。例えば、 テロップ作成機 51で作成する文字列や編集 PC41で編集した VTRの映像等の情報 を流用し、各種機器の識別子と紐付けてオンライン登録することができる。これにより 、文字列や映像情報等を示した属性情報の登録作業が軽減される。この他、作成ま たは編集した文字列や映像情報等をリムーバブルメディアに記憶し、リムーバブルメ ディアを用いて登録するようにしても良レ、。
[0027] つづいてインデックス生成部 13を説明する。インデックス生成部 13は、制御信号の 種別やその識別子と検知時刻を取得するに従いメタデータを生成し、その一方、制 御信号属性情報管理部 14に対して取得した識別子に紐付けられた属性情報を要求 し、制御信号属性情報管理部 14から取得した属性情報を生成しているメタデータに 付与するものである。
[0028] 以上のように構成されたインデックス付与システムにおいて、各種機器の制御信号 を検知した場合にメタデータを生成するまでの処理の流れにっレ、て、以下説明する。
[0029] <ピンマイクの制御信号を検知した場合 >
はじめに、ピンマイクを使用する場合のメタデータ生成について説明する。各々の 番組出演者がピンマイクを着けることによって、 自分の発声は自分のピンマイクで集 音するというスタイルが番組収録では一般的である。特にニュース番組など、明瞭な 発声を必要とする番組では、話者の口からの距離を一定に保つことが可能なピンマ イクの利用が好まれている。このピンマイク利用の利点は、上に述べた話者の口から 一定距離を保持しやすいことによる音声の明瞭化の他にも、他者の発話音声を拾い にくい、という点が挙げられる。つまり、それぞれのピンマイクには特定の人物の発話 音声のみ集音されると言えるので、ピンマイクに入力される音声と特定の人物を関連 付けることが可能になると考えられる。
[0030] 既に説明したように、制御信号検知部 12の制御信号種別管理部 122には、各種機 器の制御信号、種別、識別子が番組の放送 ·収録より前に登録されている。つまり、 音声に切り替える音声制御信号が検知された場合にピンマイクの信号であることを判 別し、さらにどのピンマイクの入力があつたのかを判別できるようピンマイクの制御信 号、種別、識別子を事前に登録し、制御信号検知後は種別や識別子に変換させる。 一方、ピンマイクを誰が着けるのか(どの識別子が誰に対応するの力 については、 制御信号属性情報管理部 14に登録しておく。
[0031] 図 8は制御信号属性情報管理部 14の属性情報データベース 143に登録されたピ ンマイク識別子とそのピンマイクを着用する出演者との関係を表したものであり、ピン マイクが出力する信号に対応する識別子と、ピンマイク着用者を組にして管理登録さ れることを想定してレ、る。図 8ではピンマイクの識別子である、 PM— 1、 PM— 2、 PM- 3が、デフォルトの状態ではそれぞれ出演者 A、出演者 B、出演者 Cと紐付けられて レ、ることを示しており、実際に出演者を登録する段階で属性情報登録部 141に対し て属性情報の更新処理をすることでそれぞれのピンマイクの着用者である、山田太 郎、田中二郎、鈴木花子が紐付けられて更新管理されていることを示している。また 属性情報データベース 143には、一度設定された属性情報が記録されており、以降 は属性情報データベース 143から選択式などの手法で簡単に属性情報を識別子と 関係付けることができる。
[0032] 図 9はピンマイクに入力された音声制御信号の音圧レベルを検知し、音圧レベルに 達した音声制御信号を制御信号種別判別部 121に通知するまでのフローチャート、 図 10は制御信号種別判別部 121に音声制御信号が通知されてからメタデータ生成 要求を行うまでのフローチャートである。図 9及び図 10のフローチャートにしたがって メタデータ生成処理の流れを説明する。番組の収録が開始されると、発話が起こる度 にピンマイクから音声制御信号が音声切替えスィッチ 18を経由して制御信号検知部 12のマイク信号音圧レベル判別部 123へ入力される(S20、 S21)。
[0033] マイク信号音圧レベル判別部 123では、雑音などを発話とみなさず、ある一定以上 の音圧レベルに達した音声制御信号のみ、発話が行われているものとみなし、制御 信号種別判別部 121に音声制御信号が入力される。一方、一定以上の音圧レベル に達していない音声制御信号は、発話が行われていないもの、終了したものとみなさ れ、制御信号種別判別部 121には音声制御信号が入力されない、あるいは発話が 終了したことを通知する。
[0034] 具体的には、入力された音声制御信号の音圧レベルが一定値を超えているかを判 定(S22)し、超えてレ、る場合には発話フラグ(当該話者の発話が既に開始されてレ、 るのかを判断するための内部フラグ)を確認(S23)し、発話フラグが OFFなら当該信 号 IDの発話フラグを ONにして(S25)制御信号種別判別部 121へ音声制御信号を 入力し、発話が開始されていることを通知する(S27)。同様に発話フラグが〇Nの時 に入力された音声制御信号の音圧レベルが一定値を下回った場合には発話フラグ を OFFにして(S24)、制御信号種別判別部 121へ音声制御信号を入力し、発話が 終了していることを通知する(S27)。なお、ここでは、発声の開始や終了を検知する ために、一定以上の音圧レベルに達した場合や音圧レベルを下回った場合にのみ 制御信号種別判別部 121へその旨の通知を行うことを説明したが、一定期間継続し て音圧レベルを達していた場合に限って発話されたものと判断して、制御信号種別 判別部 121に音声制御信号を通知するようにしても良い。また、一定期間継続して音 圧レベルを下回っていた場合に限っても制御信号種別判別部 121に通知するように しても良い。
[0035] 制御信号種別判別部 121に音声制御信号が入力されると、制御信号種別判別部 1 21は、そのヘッダ部を抽出して制御信号種別管理部 122へ送り、音声制御信号に 対応している種別や識別子を問い合わせる。制御信号種別管理部 122ではヘッダ 部 200に示されている信号種別情報や信号識別子を元に音声制御信号の種別ゃ識 別子を判別し、制御信号種別判別部 121に対して、種別や識別子を通知する。なお 、ここで、識別子だけで種別も判断できるのであれば(図 6参照)、識別子だけを通知 しても良い(S12)。
[0036] 制御信号種別判別部 121は、種別や識別子を取得するに従い、それらをインデッ タス生成要求部 124へ送り、インデックス生成要求 124は、それに従レ、、時刻取得部 125に対して現在時刻を問い合わせ、時刻を取得する(S13)。インデックス生成要 求部 124は、音声制御信号の種別や識別子、時刻を取得するに従い、これらをイン デッタス生成部 13へ送り、インデックス (メタデータ)生成を要求する(S14)。
[0037] インデックス生成部 13は、制御信号検知部 12 (インデックス生成要求部 124)から 種別や識別子、時刻を取得するに従レ、メタデータを生成していき、その一方、種別や 識別子を制御信号属性情報管理部 14へ送り、属性情報を問い合わせる。制御信号 属性情報管理部 14は、送られてくる種別や識別子を元に紐付けられて管理している 属性情報を取得し、これをインデックス生成部 13に通知する。インデックス生成部 13 は属性情報が通知されるに従レ、、生成しているメタデータに属性情報を付与する。制 御信号検知部 12が音声制御信号を検知する度に上記の処理を行っていくことにより 、ピンマイクを着用している出演者の発話の開始及び終了時刻を出演者毎に整理し たメタデータを生成することができる。
[0038] 図 11は、インデックス生成部 13で生成される制御信号の種別や識別子とその属性 情報の関係を模式化したものである。例えば制御信号の信号 ID = PM_1からの音 声信号は、時刻 tlから t2の間、 t3から t4の間、 t5から t6の間に検知されたことを示し ており、ある区間での話者の特定を行うことができる。図 12は、上記処理の結果を X ML (extensible Markup Language)表現した一例であり、話者がどの時間に発話を 開始し、終了したかが一目でわかる。
[0039] 以上、番組出演者の発声と同時にその制御を行う音声制御信号を制御信号検知 部が検知することにより、どのタイミングで、誰が発話したのかという情報を自動的か つ正確にメタデータ生成でき、さらにその属性情報も付与することにより、従来の人手 によるメタデータ生成に比して大幅なコスト削減が達せられる。
[0040] また、話者の特定や発話時刻だけでなぐピンマイクからの音声信号に音声認識技 術を適用することにより、発話内容の特定を行うことも考えられる。この場合、図 12に 示した話者特定情報 XMLに音声認識結果を付加することによって、「何を」話したの かとレ、う情報を付与することも可能である。
[0041] <VTRの制御信号を検知した場合 >
次に、 VTRを使用する場合のメタデータ生成について説明する。ニュース番組に 代表される生放送番組において、編集済みの VTR映像を 1つのコーナーやトピック として放送することは多 VTRは編集 PC41で編集、出力される。
[0042] また、制御信号検知部 12の制御信号種別管理部 122には、各種機器の制御信号 、種別、識別子がシステム運用前に登録されている。つまり、番組放送中に VTR制 御機 40を用いて VTRに切り替えられる際、 VTR切替スィッチ 16から出力される VT R制御信号を制御信号検知部 12が検知し、さらにどの VTRの入力であったのかを 判別できるよう VTRの制御信号、種別、識別子を事前に登録しておく。また、 VTRは 、その編集時に「タイトル」、「内容」、「ロケ地」、「時間」等も記録されると考えられる。 これらの属性情報は、制御信号属性情報管理部 14にも登録され、どの VTRである のかを識別するために、属性情報 (ここではタイトル)と識別子を紐付けて管理する。 ここで、制御信号属性情報管理部 14 登録される属性情報と識別子は、編集 PC41 力 のオンライン接続により登録することもできる。これにより、 VTR編集と同時期に 作成した属性情報と識別子がそのまま制御信号属性情報管理部 14 自動登録され る。また、オンライン登録ではなぐ CD-ROMやフレキシブルディスク、 DVD SDメ モリカードなどのリムーバブルメディアに属性情報と識別子を記録し、そのリムーパブ メディアを用いて制御信号属性情報管理部 14 登録することもできる。
[0043] 図 13は制御信号属性情報管理部 14の属性情報データベース 143に登録された V TR識別子と VTRのタイトノレとの関係を表したものであり、 VTRの識別子と、タイトノレ を組にして管理登録されることを想定している。図 13では、 VTRの識別子である、 V TR— 1 VTR-2, VTR— 3が、それぞれ撮影した映像のタイトル「焼死体事件続報」、 「解散前夜の永田町」、「スポーツコーナー映像」と紐付けられて管理されている。な お、属性情報データベース 143に登録される属性情報は、 VTRのタイトル以外に、 V TRの内容、時間、ロケ地、出演者、収録時期などの情報を紐付けて管理しても良い
[0044] 番組放送中、編集室の VTR切替スィッチ 16を操作することにより、指定した VTR は VTR制御機 40によって放送され、一方、これと同時に VTR制御信号は制御信号 検知部 12の制御信号種別判別部 121に入力される。制御信号種別判別部 121に V TR制御信号が入力されると、図 10に示す処理フローに従い、制御信号種別判別部 121は、そのヘッダ部を抽出して制御信号管理部 122 送り、 VTR制御信号に対応 してレ、る種別や識別子を問レ、合わせる。制御信号種別管理部 122ではヘッダ部 200 に示されている信号種別情報や信号識別子を元に VTR制御信号の種別や識別子 を判別し、制御信号種別判別部 121に対して、種別や識別子を通知する。なお、ここ で、識別子だけで種別も判断できるのであれば(図 6参照)、識別子だけを通知しても 良い。
[0045] 制御信号種別判別部 121は、種別や識別子を取得するに従い、それらをインデッ タス生成要求部 124へ送り、インデックス生成要求 124は、それに従レ、、時刻取得部 125に対して現在時刻を問い合わせ、時刻を取得する。インデックス生成要求部 12 4は、音声制御信号の種別や識別子、時刻を取得するに従レ、、これらをインデックス 生成部 13へ送り、インデックス (メタデータ)生成を要求する。
[0046] インデックス生成部 13は、制御信号検知部 12 (インデックス生成要求部 124)から 種別や識別子、時刻を取得するに従レ、メタデータを生成していき、その一方、種別や 識別子を制御信号属性情報管理部 14へ送り、属性情報を問い合わせる。制御信号 属性情報管理部 14は、送られてくる種別や識別子を元に紐付けられて管理している 属性情報を取得し、これをインデックス生成部 13に通知する。インデックス生成部 13 は属性情報が通知されるに従い、生成しているメタデータに属性情報を付与する。
[0047] VTRの制御と同時に編集スィッチ 19から出力される VTR制御信号を制御信号検 知部 12が検知する度に上記の処理を行っていくことにより、 VTRが使用された時刻 を VTR毎に整理したメタデータを生成し、属性情報を付与することができる。図 14は 、上記処理の結果を XML表現した一例であり、 VTRがどの時刻に放送され、またそ のタイトノレがどのようなものであるかが一目でわかる。
[0048] 以上、 VTRが使用されると同時に VTR制御信号を制御信号検知部で検知すること により、 VTRがいつ使用されたのかという情報を自動的かつ正確にメタデータ化し、 さらにその属性情報も付与することにより、従来の人手によるメタデータ生成に比して 大幅な工数削減が達せられる。
[0049] <テロップの制御信号を検知した場合 >
次に、テロップを使用する場合のメタデータ生成について説明する。番組放送にお いて人物の氏名や日付時刻、場所、内容説明など、画面説明補助の用途でテロップ を利用することは多レ、。テロップはテロップ文書作成ツール等の電子的な処理を行う テロップ作成機 51で作成、出力される。
[0050] また、制御信号検知部 12の制御信号種別管理部 122には、各種機器の制御信号 、種別、識別子がシステム運用前に登録されている。つまり、番組放送中にテロップ 発生機 50を用いてテロップが使用される際、テロップ切替スィッチ 17から出力される テロップ制御信号を制御信号検知部 12が検知し、さらにどのテロップの入力であつ たのかを判別できるようテロップの制御信号、種別、識別子を事前に登録しておく。ま た、テロップは、その作成時に「文字列」、「文字列の種別」、「フォント」、「字体」、「色 」等の情報も記録されると考えられる。これらの属性情報は、制御信号属性情報管理 部 14にも登録され、どのテロップであるのかを識別するために、属性情報 (ここでは 文字列)と識別子を紐付けて管理する。ここで、制御信号属性情報管理部 14へ登録 される属性情報と識別子は、テロップ作成機 51からのオンライン接続により登録する こともできる。これにより、テロップ作成と同時期に作成した属性情報と識別子がその まま制御信号属性情報管理部 14へ自動登録される。また、オンライン接続ではなぐ CD— ROMやフレキシブルディスク、 DVD、 SDメモリカードなどのリムーバブルメディ ァに属性情報と識別子を記録し、そのリムーバブルメディアを用いて制御信号属性 情報管理部 14へ登録することもできる。
[0051] 図 15は制御信号属性情報管理部 14の属性情報データベース 143に登録された テロップ識別子とテロップ文字列との関係を表したものであり、テロップの識別子と、 文字列を組にして管理登録されることを想定している。図 15では、テロップの識別子 である、 TP_1、 ΤΡ_2、 ΤΡ_3、 ΤΡ—4がそれぞれ作成したテロップの文字列やその 種別「山田太郎、人名」、「佐藤ニ郎、人名」、「焼死体事件続報、トピック名」、「解散 前夜の永田町、トピック名」と紐付けられて管理されている。なお、属性情報データべ ース 143に登録される属性情報は、テロップの文字列やその種別以外に、テロップの フォント、字体、色などの情報を紐付けて管理しても良い。
[0052] 番組放送中、編集室のテロップ切替スィッチ 17を操作することにより、指定したテロ ップはテロップ発生機 50によって放送され、一方、これと同時にテロップ制御信号は 制御信号検知部 12の制御信号種別判別部 121に入力される。制御信号種別判別 部 121にテロップ制御信号が入力されると、図 10に処理フローに従い、制御信号種 別判別部 121は、そのヘッダ部を抽出して制御信号管理部 122へ送り、テロップ制 御信号に対応している種別や識別子を問い合わせる。制御信号種別管理部 122で はヘッダ部 200に示されている信号種別情報や信号識別子を元にテロップ制御信 号の種別や識別子を判別し、制御信号種別判別部 121に対して、種別や識別子を 通知する。なお、ここで、識別子だけで種別も判断できるのであれば(図 6参照)、識 別子だけを通知しても良い。
[0053] 制御信号種別判別部 121は、種別や識別子を取得するに従い、それらをインデッ タス生成要求部 124へ送り、インデックス生成要求 124は、それに従レ、、時刻取得部 125に対して現在時刻を問い合わせ、時刻を取得する。インデックス生成要求部 12 4は、音声制御信号の種別や識別子、時刻を取得するに従レ、、これらをインデックス 生成部 13へ送り、インデックス (メタデータ)生成を要求する。
[0054] インデックス生成部 13は、制御信号検知部 12 (インデックス生成要求部 124)から 種別や識別子、時刻を取得するに従いメタデータを生成していき、その一方、種別や 識別子を制御信号属性情報管理部 14へ送り、属性情報を問い合わせる。制御信号 属性情報管理部 14は、送られてくる種別や識別子を元に紐付けられて管理している 属性情報を取得し、これをインデックス生成部 13に通知する。インデックス生成部 13 は属性情報が通知されるに従い、生成しているメタデータに属性情報を付与する。
[0055] テロップの制御と同時に編集スィッチ 19から出力されるテロップ制御信号を制御信 号検知部 12が検知する度に上記の処理を行っていくことにより、テロップが使用され た時刻をテロップ毎に整理したメタデータを生成し、属性情報を付与することができる 。図 16は、上記処理の結果を XML表現した一例であり、この XML力 テロップがど の時刻に放送され、またそのテロップがどのようなものであるかが一目でわかる。
[0056] 以上、テロップが使用されると同時にテロップ制御信号を制御信号検知部で検知 することにより、テロップがいつ使用されたのかという情報を自動的かつ正確にメタデ ータ化し、さらにその属性情報も付与することにより、従来の人手によるメタデータに 比して大幅な工数削減が達せられる。従来のテロップを利用したメタデータ生成技術 は、テロップの文字列そのものを認識することによって情報を取得していたために誤 認識があり、誤ったメタデータが付与されたが、本発明は、誤ったメタデータが付与さ れるようなことはない。
[0057] <カメラの制御信号を検知した場合 >
次に、スタジオカメラを使用する場合のメタデータ生成について説明する。番組放 送は、スタジオにある多数のカメラを用レ、、それらを切り替えて撮影することにより、放 送を行っている。スタジオカメラ 30の切り替えは、カメラ切替えスィッチ 15により切り替 えられ、これと同時にカメラ切替えスィッチ 15は、制御信号検知部 12へカメラ制御信 号を送る。
[0058] また、制御信号検知部 12の制御信号種別管理部 122には、各種機器の制御信号 、種別、識別子がシステム運用前に登録されている。つまり、カメラを切り替えるカメラ 制御信号が送られてきた場合にカメラが切り替えられたことを判別し、さらにどのカメ ラが切り替えられたのかを判別できるようカメラの制御信号、種別、識別子を事前に 登録しておく。カメラが切り替えられると同時にカメラ制御信号を制御信号検知部 12 で検知することにより、どのカメラがいつ使用されたのかというカメラワーク情報を自動 的かつ正確にメタデータ化することができる。また、中継映像からスタジオ映像への 切替を行ったカメラ制御信号を検知することにより、中継映像の挿入情報をメタデー タイ匕することちでさる。
[0059] この他にも、 RFタグ(Radio Frequency タグ)を番組出演者に取り付け、カメラ 3 0に RFタグからの信号を読み出すリーダーを設置することにより、どの出演者が現在 映像に映っているのかを判断することができ、この情報をメタデータ化することもでき る。この場合、制御信号検知部 12の制御信号種別管理部 122には、 RFタグの信号 、種別、識別子がシステム運用前に登録され、制御信号属性情報管理部 14の属性 情報データベース 143には、 RFタグの識別子と RFタグが取り付けられている出演者 に関する属性情報となる主演者の指名や生年月日等が紐付けられて登録される。
[0060] また、これらの各種制御信号を単独で利用するのではなぐ 2つ以上の制御信号を 制御信号検知部 12が同時に検知することにより、各種機器がいつ使用されたのかと レ、う情報を自動的かつ正確にメタデータ化し、さらにそれらの属性情報も付与するこ とにより、番組放送を構成する様々な情報を番組放送中に同期してメタデータ化する ことが可能になり、従来の人手によるメタデータ生成作業を大幅に削減し、かつ正確 な情報を付与することができるという効果が得られる。
[0061] <外部データベースを使用する場合 >
さらに、図 17及び図 18に示すように、制御信号属性情報管理部 14において、属性 情報の詳細情報を格納しているデータベースへ接続するデータベース検索部 144を 備え、データベース 70から取得した詳細情報をインデックス生成部 13で生成するメ タデータに自動付与するようにしても良レ、。本実施例においてデータベース 70は人 物情報データベース 71、ニュースデータベース 72、及び台本データベース 73を備 えており、これらはオンライン接続されている。図 19に示すように、人物情報データべ ース 71には、人物名、性別、生年月日、出身地等が紐付けられて管理されている。 また、ニュースデータベース 72には、映像情報、内容、ロケ地等が紐付けられて管理 されている。また、台本データベース 73には、文字列情報、映像情報、出演者等が 紐付けられて管理されてレ、る。
[0062] 次に、図 20を用いてメタデータ生成までの処理手順を説明する。制御信号属性情 報管理部 14において、インデックス生成部 13から送られてくる各種機器の識別子を 属性情報管理部 142が取得するに従い、属性情報管理部 142は、属性情報データ ベース 143に対して、識別子に紐付けられている属性情報があるか否かを問い合わ せる(S201)。属性情報データベース 143は、識別子に紐付けられている属性情報 について検索し(S202)、属性情報管理部 142へ属性情報を通知する。属性情報 管理部 142は通知された属性情報を識別子と紐付ける一方 (S203)、属性情報をデ ータベース検索部 144に送る。データベース検索部 144は、人物情報データベース 71、ニュースデータベース 72、及び台本データベース 73に対して属性情報の詳細 情報があるか否かを問い合わせる(S204)。ここで、各種データベースへの問い合わ せは選択的に行うようにしても良レ、。各種データベース 71乃至 73は、属性情報に紐 付けられている詳細情報について検索し、データベース検索部 144を介して属性情 報管理部 142へ詳細情報を通知する。属性情報管理部 142は、属性情報データべ ース 143から取得した属性情報、ならびに各種データベース 71乃至 73から取得した 詳細情報を紐付けてインデックス生成部 13へ通知する(S206)。 [0063] 以上の処理は、ひとつの識別子を元に紐付けられた属性情報について詳細情報を 検索するものであるが、属性情報が複数ある場合は、新たな属性情報を検索キーと して詳細情報を検索する。そして、制御信号属性情報管理部 14が属性情報を元に 検索した詳細情報を属性情報とともにインデックス生成部 13へ送ると、インデックス生 成部 13は、生成しているメタデータに通知された属性情報及び詳細情報を付与する 。図 21及び図 22に示すのは属性情報及び詳細情報を付与したメタデータの例であ る。
[0064] 以上、制御信号属性情報管理部は、 自身が管理している属性情報の詳細情報を 検索するデータベース検索部 144を備えることにより、識別子を元に取得した属性情 報について、外部のデータベース 71乃至 73からその詳細情報を取得することができ 、これをメタデータに付与することができる。識別子に紐付けられている属性情報を元 に詳細情報を取得することができるので、制御信号属性情報管理部 14で管理する 属性情報は必要最低限な情報でょレ、。
[0065] 以上、本実施例によれば、番組放送中の各種機器の使用状態について、それら制 御信号を制御信号検知部が検知してそれらの種別、識別子を判別するとともに時刻 を取得し、これらをインデックス生成部が取得するに従い、メタデータを自動生成する ようにしている。また、インデックス生成部は、各種制御信号の識別子とその属性情報 とを紐付けて管理させた制御信号属性情報管理部に対して、判別された識別子に紐 付けられている属性情報を要求、取得し、それをメタデータに自動付与するようにし ている。すなわち、本実施例は、番組放送を構成する様々な情報を示すメタデータ の生成を番組放送中に同期して自動生成することが可能になり、従来の人手によるメ タデータ生成作業を大幅に削減し、かつ正確な情報を付与することができるという効 果が得られる。また、識別子に紐付けられている属性情報を元に、さらに他のデータ ベースからその詳細情報を取得して、メタデータに付与することもできるので、属性情 報が少ない場合でも、それを検索キーとして詳細情報を取得することにより、詳細情 報が正確で情報豊富なメタデータを自動的に生成することができる。
実施例 2
[0066] 以下、本発明の第 2実施例を説明する。実施例 1では、番組放送を構成する様々な 情報について、番組放送中に同期して自動的にメタデータ化している力 本実施例 では、中間データとしてログデータを出力することにして、番組放送中とは非同期に ログデータを入力することでメタデータ化することを特徴としている。図 23は、本発明 の一実施の形態に係るインデックス付与システムのメインブロックの構成である。図 1 に示したインデックス付与システムと同様の構成には同一の符号を付し、重複した説 明は省略する。図 1に示したシステムと異なる構成は、ログ解析部 230を備えたことに ある。ログ解析部 230は、制御信号検知部 12から制御信号の種別や識別子と時刻を 取得するに従い、ログデータを生成し、出力するものである。図 25に示すように、ログ データは識別子毎に時刻を整理したデータである。また、図 24に示すように、ログ解 析部は、ログデータを生成し、ネットワークあるいはリムーバブルメディア 233へログデ ータを出力するログ出力部 241と、ログデータを入力してインデックス生成部 13へ口 グデータを送るログ入力部 242とを備えている。なお、ここでいうネットワークはオンラ イン接続されたものが考えられ、また、リムーバブルメディア 243は CD— ROMゃフレ キシブルディスク、 DVD、 SDメモリカードなど記録媒体が考えられる。また、ログ解析 部 230は、ネットワークや記録媒体を介さなくてもよぐ単に識別子毎に時刻を整理し たログデータを生成して、これを出力するブロックでも良ぐ物理的に一体になつてい るものでもよレ、。
[0067] ログ解析部 230のログ出力部 241は、制御信号検知部 12から制御信号の識別子と 検知時刻を取得するに従い、識別子毎に時刻を整理していきログデータを生成する (図 25参照)。図に示すログデータはピンマイクの制御信号を識別子毎にログ化した ものである。ピンマイクは発話の開始及び終了時刻をみているので、ここに示されて いる時刻は、出演者の発話開始及び終了を繰り返した状態が示される。
[0068] 生成されたログデータはログ出力部 241からネットワークあるいはリムーバブルメデ ィァ 243を介してログ入力部 242に入力され、ログ入力部 242は、インデックス生成部 13へログデータを送る。識別子毎に時刻が整理されたログデータをインデックス生成 部 13が取得するに従レ、、インデックス生成部 13は図 12に示すようなメタデータを生 成する。ログデータは識別子毎に時刻が整理されているので、まとめてメタデータィ匕 すること力 Sできる。 [0069] また、その一方、インデックス生成部 13は、ログデータに示されている識別子を用 いて、制御信号属性情報管理部 14に対して、紐付けて管理されている属性情報を 問い合わせる。制御信号属性情報管理部 14はインデックス生成部 13から識別子を 取得すると、紐付けられている属性情報を取得し、それをインデックス生成部 13に対 して通知し、これに従い、インデックス生成部 13は生成しているメタデータにその属 性情報を付与する。
[0070] なお、本実施例では、一例としてピンマイク制御信号を検知した場合に生成する口 グデータを説明した力 上記実施例 1で説明した、 VTR、テロップ、あるいはカメラや RFタグの制御信号を検知した場合でも、同様にログデータは生成でき、実施例 1と 同様、図 14及び図 16に示すようなメタデータを生成できる。また、制御信号属性情 報管理部 14は、ログデータに示されている識別子から取得した属性情報を検索キー として、さらにデータベース検索部 144から人物情報データベース 71、ニュースデー タベース 72、及び台本データベース 73へアクセスし、詳細情報を取得するようにして も良い。この場合、実施例 1と同様、図 21及び図 22に示すようなメタデータが生成さ れる。
[0071] 以上、本実施例によれば、番組放送中の各種機器の使用状態について、それら制 御信号を検知してそれらの種別、識別子を判別するとともに時刻を取得し、これらを ログ解析部が取得すると、識別子毎に時刻を整理したログデータを生成している。そ して生成されたログデータをインデックス生成部が取得するに従い、インデックス生成 部はメタデータを自動生成するようにしている。また、インデックス生成部は、各種制 御信号の識別子とその属性情報とを紐付けて管理させた制御信号属性情報管理部 に対して、判別された識別子に紐付けられている属性情報を要求、取得し、それをメ タデータに自動付与するようにしている。すなわち、本実施例は、判別した制御信号 の種別、識別子及び時刻を用いて、識別子毎に時刻を整理したログデータを生成す ることにより、番組放送を構成する様々な情報のメタデータ化を、例えば録画収録番 組において収録映像の編集作業が完了した後にログデータをメタデータ化するとい つたように、番組撮影時に同期しなくても任意のタイミングで自動的に番組放送を構 成する様々な情報のメタデータ生成が実現可能になり、従来の人手によるメタデータ 生成作業を大幅に削減し、かつ正確な情報を付与することができるという効果が得ら れる。
産業上の利用可能性
以上で詳細に説明したように、放送局の番組放送において、放送時に利用される 各種制御信号とその信号に付随する情報を属性情報として予め設定しておくことに より、制御信号の検知をトリガとして自動的にメタデータ化することが可能になる。また 、正確なインデキシングが実行でき、人手による修正作業の手間を省くという効果を 得ること力 Sできる。さらに、 VTR編集装置やテロップ作成装置などとオンライン接続す ることによって、人手による属性情報の事前設定をも簡略化することが可能になる。

Claims

請求の範囲
[1] 放送局において利用される各種機器の制御信号を用いてメタデータを生成するシ ステムであって、
各種制御信号を検知するに従い、制御信号の種別や制御信号を一意に特定する 識別子を判別し、検知した時刻を取得する制御信号検知部と、
前記制御信号の識別子とそれに関する属性情報を紐付けて管理しておき、前記制 御信号検知部で取得した識別子を元に属性情報を判別する制御信号属性情報管 理部と、
前記制御信号検知部で判別した種別や識別子、及び時刻を取得するに従いメタ データを生成し、その一方、前記制御信号属性情報管理部へ要求して取得した属 性情報を前記メタデータに付与するインデックス生成部とを備えることを特徴とするィ ンデッタス付与システム。
[2] 出演者自身の発声を入力するマイクの音声制御信号を検知してマイクの識別子を 判別し、検知した時刻を取得する制御信号検知部と、
前記マイクの識別子とマイクを着用している人物に関する属性情報とを紐付けて管 理しておき、前記制御信号検知部で取得した識別子を元に人物に関する属性情報 を判別する制御信号属性情報管理部と、
前記制御信号検知部判別した識別子と時刻を取得するに従いメタデータを生成し 、その一方、前記制御信号属性情報管理部へ要求して取得した人物に関する属性 情報を前記メタデータに付与するインデックス生成部とを備えることを特徴とするイン デッタス付与システム。
[3] VTRを切替える VTRの制御信号を検知してその識別子を判別し、検知した時刻を 取得する制御信号検知部と、
前記 VTRの識別子と VTRに関する属性情報とを紐付けて管理しておき、前記制 御信号検知部で取得した識別子を元に VTRに関する属性情報を判別する制御信 号属性情報管理部と、
前記制御信号検知部で判別した識別子と時刻を取得するに従いメタデータを生成 し、その一方、前記制御信号属性情報管理部へ要求して取得した VTRに関する属 性情報を前記メタデータに付与するインデックス生成部とを備えることを特徴とするィ ンデッタス付与システム。
[4] テロップを切替えるテロップの制御信号を検知してその識別子を判別し、検知した 時刻を取得する制御信号検知部と、
前記テロップの識別子とテロップに関する属性情報とを紐付けて管理しておき、前 記制御信号検知部で取得した識別子を元にテロップに関する属性情報を判別する 制御信号属性情報管理部と、
前記制御信号検知部で判別した識別子と時刻を取得するに従いメタデータを生成 し、その一方、前記制御信号属性情報管理部へ要求して取得したテロップに関する 属性情報を前記メタデータに付与するインデックス生成部とを備えることを特徴とする インデックス付与システム。
[5] 前記制御信号検知部から識別子と時刻を取得するに従い、識別子毎に時刻を整 理したログデータを生成し、これを前記インデックス生成部へ出力するログ解析部を 備えることを特徴とする請求項 1に記載のインデックス付与システム。
[6] 前記ログ解析部は、制御信号の識別子と検知時刻を用いて識別子毎に時刻を整 理したログデータを生成し、これをネットワークあるいはリムーバブルメディアへ出力 するログ出力部と、ネットワークあるいはリムーバブルメディアを介してログデータを入 力し、前記インデックス生成部へログデータを出力するログ入力部とを備えることを特 徴とする請求項 5に記載のインデックス付与システム。
[7] 前記インデックス付与システムは、マイク、 VTR、及びテロップの何れかの制御信号 を検知して、その種別や識別子、及び時刻を取得するに従いメタデータを生成し、そ の一方、前記制御信号に関する属性情報を前記メタデータに付与することを特徴と する請求項 1に記載のインデックス付与システム。
[8] 前記制御信号検知部は、入力される制御信号を検知してその種別や識別子を判 別する制御信号種別判別部と、制御信号の判別を可能にするため前記制御信号と その種別や識別子を紐付けて管理する制御信号種別管理部と、制御信号を検知し た時刻を取得する時刻取得部と、判別された種別や識別子、及び取得した時刻を前 記インデックス生成部に送り、メタデータ生成を要求するインデックス生成要求部とを 備えることを特徴とする請求項 1に記載のインデックス付与システム。
[9] 前記制御信号検知部は、入力された音声信号の音圧レベルを測定し、発声の有無 を判断するマイク信号音圧レベル判定部を備えることを特徴とする請求項 8に記載の インデックス付与システム。
[10] 前記マイク信号音圧レベル判定部は、測定した音圧レベルが一定値以上の場合に だけ、発話されたものと判断し、前記制御信号種別判別部へ音声制御信号を通知す ることを特徴とする請求項 9に記載のインデックス付与システム。
[11] 前記マイク信号音圧レベル判定部は、測定した音圧レベルを判定し、この音圧レべ ルが一定期間継続して達していた場合にだけ、発話されたものと判断し、前記制御 信号種別判別部へ音声制御信号を通知することを特徴とする請求項 9に記載のイン デッタス付与システム。
[12] 前記制御信号属性情報管理部は、各種機器の制御信号を一意に特定する識別子 と各種機器を利用する者あるいは各種機器に関する情報である属性情報とを紐付け て格納する属性情報データベースと、前記インデックス生成部から属性情報の要求 を受け付けて前記属性情報データベースから属性情報を取得する属性情報管理部 と、前記属性情報データベースに格納する前記識別子や属性情報の登録を受け付 ける属性情報登録部とを備えることを特徴とする請求項 1に記載のインデックス付与 システム。
[13] 制御信号属性情報管理部は、属性情報の詳細情報を格納してレ、るデータベース へ接続するデータベース検索部を備え、前記データベースから取得した詳細情報を インデックス生成部で生成するメタデータに自動付与することを特徴とする請求項 12 に記載のインデックス付与システム。
[14] 前記データベースは、人物、ニュース、及び台本の少なくとも何れかの詳細情報を 格納したデータベースであることを特徴とする請求項 13に記載のインデックス付与シ ステム。
[15] 前記属性情報登録部は VTRやテロップを編集する装置とオンライン接続され、前 記属性情報登録部へ登録される属性情報は、前記編集装置を使用することにより取 得あるいは入力した情報をオンラインで登録することを特徴とする請求項 12に記載 前記属性情報登録部へ登録される属性情報は、前記 VTRやテロップを編集する 装置を使用することにより取得あるいは入力した情報を前記属性情報としてリムーバ ブルメディアに記憶し、前記リムーバブルメディアを用いて登録することを特徴とする 請求項 12に記載のインデックス付与システム。
PCT/JP2004/018568 2003-12-15 2004-12-13 制御信号を利用したインデックス付与システム WO2005057431A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP04806929A EP1698983A1 (en) 2003-12-15 2004-12-13 Index imparting system using control signal
US10/583,045 US7873637B2 (en) 2003-12-15 2004-12-13 Automatically imparting an index by using various kinds of control signals

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2003416929 2003-12-15
JP2003-416929 2003-12-15
JP2004359053A JP4531546B2 (ja) 2003-12-15 2004-12-10 制御信号を利用したインデックス付与システム
JP2004-359053 2004-12-10

Publications (1)

Publication Number Publication Date
WO2005057431A1 true WO2005057431A1 (ja) 2005-06-23

Family

ID=34680653

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2004/018568 WO2005057431A1 (ja) 2003-12-15 2004-12-13 制御信号を利用したインデックス付与システム

Country Status (5)

Country Link
US (1) US7873637B2 (ja)
EP (1) EP1698983A1 (ja)
JP (1) JP4531546B2 (ja)
KR (1) KR20060123316A (ja)
WO (1) WO2005057431A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4432877B2 (ja) * 2005-11-08 2010-03-17 ソニー株式会社 情報処理システム、および、情報処理方法、情報処理装置、プログラム、並びに、記録媒体
KR101087134B1 (ko) * 2007-12-10 2011-11-25 한국전자통신연구원 체감 정보를 이용한 디지털 데이터 태깅 장치, 태깅 및검색서비스 제공 시스템 및 방법
US8620946B2 (en) * 2010-12-16 2013-12-31 Sap Ag Storage and searching of temporal entity information
JP7255918B2 (ja) * 2020-09-16 2023-04-11 日本紙工株式会社 映像評価システム、映像評価プログラム、映像評価方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08339379A (ja) * 1995-06-12 1996-12-24 Nippon Telegr & Teleph Corp <Ntt> 映像解析方法および装置
JPH11155122A (ja) * 1997-11-20 1999-06-08 Matsushita Electric Ind Co Ltd 映像録画システム
JPH11167583A (ja) * 1997-12-04 1999-06-22 Nippon Telegr & Teleph Corp <Ntt> テロップ文字認識方法および映像蓄積表示装置、テロップ文字認識・検索端末、映像検索端末
JPH11338876A (ja) * 1998-05-27 1999-12-10 Hitachi Ltd 映像検索方法及び装置ならびに記録媒体
JP2001069436A (ja) * 1999-08-30 2001-03-16 Nippon Hoso Kyokai <Nhk> 話者情報記録装置および検索装置

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5418621A (en) * 1987-09-29 1995-05-23 Goldstar Co., Ltd. Circuit for detecting TV/radio broadcasting program, auto-tuning to channel selection and controlling VCR tape in recording operation
US5805545A (en) * 1991-08-14 1998-09-08 Pioneer Electronic Corporation Midi standards recorded information reproducing device with repetitive reproduction capacity
EP0583196B1 (en) * 1992-08-06 2002-05-02 Fujitsu Limited Transaction processing system utilizing teletext broadcasting system
US5706352A (en) * 1993-04-07 1998-01-06 K/S Himpp Adaptive gain and filtering circuit for a sound reproduction system
US5491838A (en) * 1993-04-08 1996-02-13 Digital D.J. Inc. Broadcast system with associated data capabilities
US5579537A (en) * 1993-04-08 1996-11-26 Digital D.J. Inc. Broadcast system with associated data capabilities
KR0171930B1 (ko) * 1993-12-15 1999-03-30 모리시다 요이치 반도체 메모리, 동화기억 메모리, 동화기억장치, 동화표시장치, 정지화기억 메모리 및 전자노트
US7055166B1 (en) * 1996-10-03 2006-05-30 Gotuit Media Corp. Apparatus and methods for broadcast monitoring
US6366699B1 (en) * 1997-12-04 2002-04-02 Nippon Telegraph And Telephone Corporation Scheme for extractions and recognitions of telop characters from video data
US6542611B1 (en) * 1998-07-31 2003-04-01 Circuit Research Labs, Inc. Multi-state echo suppressor
US6637028B1 (en) * 1999-02-18 2003-10-21 Cliq Distribution, Inc. Integrated television and internet information system
US7228305B1 (en) * 2000-01-24 2007-06-05 Friskit, Inc. Rating system for streaming media playback system
US7293279B1 (en) * 2000-03-09 2007-11-06 Sedna Patent Services, Llc Advanced set top terminal having a program pause feature with voice-to-text conversion
US7712123B2 (en) * 2000-04-14 2010-05-04 Nippon Telegraph And Telephone Corporation Method, system, and apparatus for acquiring information concerning broadcast information
JP2002027374A (ja) * 2000-06-30 2002-01-25 Sony Corp 情報記録装置及び方法、情報処理装置及び方法、情報処理システム
JP2002101393A (ja) * 2000-09-22 2002-04-05 Sony Corp 映像表示装置
KR100434545B1 (ko) * 2002-03-15 2004-06-05 삼성전자주식회사 홈네트워크로 연결된 가전기기들을 제어하는 방법 및 장치
AU2003237388A1 (en) * 2002-06-07 2003-12-22 Thomson Licensing S.A. Method and apparatus for controlling the distribution of digitally encoded data in a network
US7509321B2 (en) * 2003-01-21 2009-03-24 Microsoft Corporation Selection bins for browsing, annotating, sorting, clustering, and filtering media objects
US7487072B2 (en) * 2004-08-04 2009-02-03 International Business Machines Corporation Method and system for querying multimedia data where adjusting the conversion of the current portion of the multimedia data signal based on the comparing at least one set of confidence values to the threshold

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08339379A (ja) * 1995-06-12 1996-12-24 Nippon Telegr & Teleph Corp <Ntt> 映像解析方法および装置
JPH11155122A (ja) * 1997-11-20 1999-06-08 Matsushita Electric Ind Co Ltd 映像録画システム
JPH11167583A (ja) * 1997-12-04 1999-06-22 Nippon Telegr & Teleph Corp <Ntt> テロップ文字認識方法および映像蓄積表示装置、テロップ文字認識・検索端末、映像検索端末
JPH11338876A (ja) * 1998-05-27 1999-12-10 Hitachi Ltd 映像検索方法及び装置ならびに記録媒体
JP2001069436A (ja) * 1999-08-30 2001-03-16 Nippon Hoso Kyokai <Nhk> 話者情報記録装置および検索装置

Also Published As

Publication number Publication date
JP2005204291A (ja) 2005-07-28
US7873637B2 (en) 2011-01-18
JP4531546B2 (ja) 2010-08-25
EP1698983A1 (en) 2006-09-06
US20080154932A1 (en) 2008-06-26
KR20060123316A (ko) 2006-12-01

Similar Documents

Publication Publication Date Title
US20050228665A1 (en) Metadata preparing device, preparing method therefor and retrieving device
US7924325B2 (en) Imaging device and imaging system
US6687671B2 (en) Method and apparatus for automatic collection and summarization of meeting information
JP4794740B2 (ja) オーディオ/ビデオ信号生成装置、及びオーディオ/ビデオ信号生成方法
US8249434B2 (en) Contents playing method and apparatus with play starting position control
JP4591982B2 (ja) オーディオ信号及び/又はビデオ信号生成装置、及びオーディオ信号及び/又はビデオ信号生成方法
JP3895892B2 (ja) マルチメディア情報収集管理装置およびプログラムを格納した記憶媒体
JP4491700B2 (ja) 音響検索処理方法、音響情報検索装置、音響情報蓄積方法、音響情報蓄積装置および音響映像検索処理方法、音響映像情報検索装置、音響映像情報蓄積方法、音響映像情報蓄積装置
WO2001016935A1 (fr) Procede et dispositif d&#39;extraction/traitement d&#39;informations, et procede et dispositif de stockage
JP4405418B2 (ja) 情報処理装置及びその方法
JP3781715B2 (ja) メタデータ制作装置及び検索装置
JP4018678B2 (ja) データ管理方法および装置
JP4531546B2 (ja) 制御信号を利用したインデックス付与システム
JP2015084504A (ja) 信号記録装置、カメラレコーダおよび信号処理装置
US7444068B2 (en) System and method of manual indexing of image data
JP2008102538A (ja) 記憶再生装置及び記憶再生装置の制御方法
JP2002288178A (ja) マルチメディア情報収集管理装置およびプログラム
JP2002032397A (ja) 検索装置
WO2020057467A1 (zh) 信息处理装置、信息处理系统以及影像装置
CN115699723A (zh) 影像编辑装置、影像编辑方法以及计算机程序
JP4686904B2 (ja) 知識情報管理システムおよび知識情報管理方法
JP2005204159A (ja) 番組スケジュールを用いたインデックス付与システム
JP2010212821A (ja) 記録再生装置

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 200480040280.3

Country of ref document: CN

AK Designated states

Kind code of ref document: A1

Designated state(s): AE AG AL AM AT AU AZ BA BB BG BR BW BY BZ CA CH CN CO CR CU CZ DE DK DM DZ EC EE EG ES FI GB GD GE GH GM HR HU ID IL IN IS KE KG KP KR KZ LC LK LR LS LT LU LV MA MD MG MK MN MW MX MZ NA NI NO NZ OM PG PH PL PT RO RU SC SD SE SG SK SL SY TJ TM TN TR TT TZ UA UG US UZ VC VN YU ZA ZM ZW

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): GM KE LS MW MZ NA SD SL SZ TZ UG ZM ZW AM AZ BY KG KZ MD RU TJ TM AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IS IT LT LU MC NL PL PT RO SE SI SK TR BF BJ CF CG CI CM GA GN GQ GW ML MR NE SN TD TG

121 Ep: the epo has been informed by wipo that ep was designated in this application
WWE Wipo information: entry into national phase

Ref document number: 1020067011595

Country of ref document: KR

WWE Wipo information: entry into national phase

Ref document number: 10583045

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2004806929

Country of ref document: EP

WWW Wipo information: withdrawn in national office

Ref document number: DE

WWP Wipo information: published in national office

Ref document number: 2004806929

Country of ref document: EP

WWP Wipo information: published in national office

Ref document number: 1020067011595

Country of ref document: KR

WWW Wipo information: withdrawn in national office

Ref document number: 2004806929

Country of ref document: EP