WO2006049141A1 - 情報管理方法、情報管理プログラムおよび情報管理装置 - Google Patents

情報管理方法、情報管理プログラムおよび情報管理装置 Download PDF

Info

Publication number
WO2006049141A1
WO2006049141A1 PCT/JP2005/020054 JP2005020054W WO2006049141A1 WO 2006049141 A1 WO2006049141 A1 WO 2006049141A1 JP 2005020054 W JP2005020054 W JP 2005020054W WO 2006049141 A1 WO2006049141 A1 WO 2006049141A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
data
registered
performance
information management
Prior art date
Application number
PCT/JP2005/020054
Other languages
English (en)
French (fr)
Inventor
Toshiro Terauchi
Yoichiro Sako
Masayoshi Miura
Makoto Inoue
Kosei Yamashita
Yasushi Miyajima
Motoyuki Takai
Shigeharu Kondo
Takayuki Miyama
Norihiro Nagai
Kosuke Suzuki
Kentaro Hatanaka
Yumiko Homma
Ryo Takaoka
Original Assignee
Sony Corporation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corporation filed Critical Sony Corporation
Priority to EP05799894A priority Critical patent/EP1818762A4/en
Priority to CN2005800374329A priority patent/CN101061456B/zh
Priority to US11/718,338 priority patent/US7820901B2/en
Publication of WO2006049141A1 publication Critical patent/WO2006049141A1/ja

Links

Classifications

    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/34—Indicating arrangements 
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/43—Querying
    • G06F16/432—Query formulation
    • G06F16/433—Query formulation using audio data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/102—Programmed access in sequence to addressed parts of tracks of operating record carriers
    • G11B27/105—Programmed access in sequence to addressed parts of tracks of operating record carriers of operating discs

Definitions

  • the present invention relates to an information management method, an information management program, and an information management apparatus that can easily register and search for desired information.
  • a method of displaying a list of files and rearranging the list display according to file name, file creation date, file size, file type, and the like to search for a desired file has been used.
  • a GUI (Graphic User Interface) display is used to display a file as an icon, or if the file is an image file, the image of the file can be used as an icon. Yes.
  • Patent Document 1 Japanese Patent Laid-Open No. 2 0 0 2-2 8 8 0 15 describes that a file search is performed based on conceptual storage based on attribute information specified in a user at the time of file creation.
  • the information stored in the recording medium varies widely, such as text data, image data, video data, audio data, and program data.
  • the file name is the title attached to the data content and the accompanying information for the data. It was classified and registered according to information. Therefore, when searching the stored information, it is necessary to input the file name and title from an input means such as a keypad, which is very troublesome.
  • the file name does not represent the file contents, the search itself is difficult.
  • the search target is image data or audio data
  • an object of the present invention is to provide an information management method, an information management program, and an information management apparatus that can easily retrieve necessary information from a wide variety of information.
  • the present invention is an information management method characterized by associating information with time information of content data that changes in time series in order to solve the above-described problems.
  • the present invention is also an information management program that causes a computer device to execute an information management method for associating information with time information of content data that changes in time series.
  • the present invention also provides time information of content data that changes in time series.
  • This is an information management device characterized in that information is associated with.
  • the present invention associates information with time information of content data that changes in time series, information registration and search can be performed intuitively based on reproduction of content data. This eliminates the need for troublesome text input, and enables information retrieval without using a key word. Furthermore, there is no need to stare at the screen when registering and retrieving information.
  • the present invention associates information with the time information of content data that changes in time series, it is possible to easily and intuitively register information and search for registered information.
  • the search is performed based on information that has a very high image power, such as the melody of a song. There is an effect that can.
  • the content data is music data
  • even users with visual impairments can easily search for information.
  • it is possible to quickly search for desired information by playing the music used for information search at a fast forward speed, and by scrolling through the list of information displayed on the conventional monitor screen, the information can be displayed. Compared to the search method, there is an effect of not burdening the user.
  • FIG. 1A and FIG. 1B are schematic diagrams for conceptually explaining the information management method according to the first embodiment of the present invention.
  • FIG. 2 is a first diagram of the first embodiment of the present invention.
  • FIG. 3 is a block diagram schematically showing a configuration of an example of a computer device applicable to the form;
  • FIG. 3 is a schematic diagram showing an example user interface for performing information registration according to the first embodiment of the present invention;
  • FIG. 4 is a flowchart for explaining an example information registration procedure on the registration screen, and
  • FIG. 5 searches for information registered in the information registration music data according to the first embodiment of the present invention.
  • Fig. 6 is a flow chart for explaining an example information search procedure using the search screen, and
  • Fig. 7 is a performance position when the selection button is clicked.
  • FIG. 8 is a schematic diagram for explaining that information registered in the performance positions before and after the performance position is displayed as a search result.
  • Fig. 8 shows the information registered music data and the performance position of the information registered music data.
  • FIG. 9 is a schematic diagram for explaining an example in which the present invention is applied to a mailer.
  • FIG. 10A is a schematic diagram showing an example of a registration table for associating information with each other.
  • FIG. 10B is a schematic diagram for conceptually explaining the information management method according to the second embodiment of the present invention, and FIG. 11 is according to the second embodiment of the present invention.
  • FIG. 12 is a schematic diagram showing an example user interface for performing information search according to the second embodiment of the present invention.
  • FIG. 12 is a schematic diagram showing an example user interface for registering information. It is. BEST MODE FOR CARRYING OUT THE INVENTION
  • information is managed in association with time information of content data that changes in time series.
  • searching for information for example, the content list is played back, and a predetermined instruction is given when the playback position reaches a position associated with the information.
  • a predetermined instruction is given when the playback position reaches a position associated with the information.
  • information related to the location is accessed.
  • the content is assumed to be created or produced so that a person intentionally arranges information and presents it to others.
  • the content data is music data
  • the information is managed in association with the music performance position.
  • the music is played, and when the performance reaches the position where the information is associated, a predetermined instruction is given. This allows access to information associated with the location.
  • music Since music generally has a repetitive structure and a predetermined development, it is easy to specify and predict the performance position. In addition, music is created to appeal to people's emotions, so it has a strong image-evoking power, and users can remember important points without intention. Therefore, by associating information with the music playing position, information can be registered and searched intuitively without any troublesome input operations. Also, when searching for information, there is no need to remember the key words associated with the information.
  • music includes sounds obtained when people intentionally place sounds, and is not limited to general music.
  • the performance is recorded in a state where the music can be reproduced, and the sound is reproduced by reproducing the recording. In this first embodiment, music is The digital data is recorded overnight (referred to as music data), and the digital data is reproduced and output as sound by a computer device.
  • FIG. 1A shows, by score, an example of music played on a computer device, for example.
  • the user for example, causes the computer apparatus to play music (sound piece 100 0) as shown in FIG. 1A.
  • information to be registered is selected, and while listening to the played music using an audio device such as a speaker or a headphone, the input means such as a keypad is predeterminedly operated at a performance position where the information is to be registered.
  • the information selected in advance by the above-mentioned user is associated with the performance position of the song 10 0 at the time of the operation, and the information is sent to the song 100 0. be registered.
  • the performance position is expressed, for example, by the performance time (m minutes s seconds n) from the beginning of the song 100.
  • audio data A is associated with performance position P of music 100 and video data B is associated with performance position Q.
  • television program C is associated with performance position R.
  • Television program C consists of information such as the broadcast channel and broadcast time, for example.
  • the file D and the URL Uniform Resource Locat or
  • various types of information can be managed in association with music, not limited to files and folders.
  • An example of the information retrieval method according to the present invention will be described conceptually.
  • searching for video data B will be described.
  • the user registers the image data B during the information registration while playing the music 100 on the computer device and listening to the played music using an audio device such as a speaker or a headphone.
  • the keyboard is used to operate predetermined input means.
  • the melody is played at the performance position Q, and the user who listens to this performance operates the input means in a predetermined manner.
  • video data B associated with the performance position Q is accessed.
  • the search is based on information that has a very high image-creating power, such as the melody of a song. Therefore, even if there is no specific information such as text keystrokes, information can be searched intuitively. In addition, because information is retrieved by sound, there is no need to stare at the monitor screen and eyes are not tired. Even users with visual impairments can easily search for information. In addition, it is possible to quickly search for the desired information by playing the music used for information search in fast-forward, and it is a method of searching information by scrolling the list of information displayed on the conventional monitor screen. Compared to not burdening users.
  • information can be registered using music suitable for each user without being affected visually by the performance, quality, and size of the monitor device. It can be done appropriately based on the subjectivity of the individual.
  • the point for searching for information is only the performance position specified at the time of registration of the information, but this is not limited to this example. In other words, it is not always possible to correctly specify the performance position where the user has registered the information. For this reason, the performance position where the information is registered The information can be searched within a predetermined range. For example,
  • the searchable range of the information of 1 is from the registered performance position of the first information to the registered performance position of the second information registered on the same music as the first information next to the first information. It is possible to do.
  • the searchable range of the audio data A is from the performance position P to immediately before the performance position Q.
  • the music data A is retrieved.
  • the searchable range setting is not limited to this example.
  • the searchable range can be from a performance position where information is registered to a certain time. In this case, registration of other information within this fixed time period should be prohibited. If the tempo of the music is known, the searchable range can be set from the beat including the registered performance position to the number of beats. In the above description, the searchable range is behind the registered performance position. However, a predetermined range before and after the registered performance position may be set as the searchable range.
  • FIG. 2 schematically shows a configuration of an example of the computer apparatus 1 applicable to the first embodiment of the present invention.
  • a CPU Central Processing Unit
  • ROM Read Only Memory
  • RAM Random Access Memory
  • the CPU 11 uses the RAM 13 as a work memory according to programs and data stored in the ROM 12 and the hard disk drive 20 described later, and communicates with each unit via the bus 10 while communicating with each unit. The operation of each part in the computer apparatus is controlled.
  • a monitor 15 is connected to the graphic I / F 14, and the display control signal supplied from the CPU 11 is converted into a video signal and supplied to the monitor 15, and a predetermined image is displayed on the monitor 15.
  • the communication IZF 16 is connected to a network such as the Internet, for example, and controls communication between the computer 1 and the outside via the network based on a command from the CPU 11.
  • an input interface (IZF) 17 an audio interface (IZF) 18, a hard disk drive 20, and a drive device 21 are connected to the bus 10.
  • Input devices such as a keyboard 30, a mouse 31, and a control pad 32 are connected to the input I ZF 17 to accept user input.
  • the key board 30 outputs a control signal corresponding to the key pressed by the user.
  • the mouse 31 is a pointing device that outputs position information including X and Y coordinates and a control signal in response to pressing of the button.
  • the mouse 31 may be further provided with other controls such as a rotary encoder.
  • a pointing device for example, a tablet can be considered.
  • the control pad 32 is provided with operators such as a cross key for outputting control signals corresponding to up, down, left and right, a joystick for outputting the X coordinate and the Y coordinate, and a switch in response to a user press.
  • the input IZF 17 converts the control signals and coordinates input from these input devices into predetermined data and passes them to the CPU 11 via the bus 10.
  • the control pad 32 can have a vibration function. Accordingly, a command from the CPU 11 can be supplied to the control pad 32 via the input IZF 17, and vibration can be generated in the control pad 32 based on this command.
  • Input devices that can be connected to the input I / F 7 are not limited to these. For example, a jog dial (rotary encoder) that can continuously change the output value can be connected to the input I / F 17.
  • the audio I / F 18 converts the digital audio data supplied via the bus 10 to DZA and outputs it as an analog audio signal.
  • the analog audio signal output from the audio I / F 18 is amplified by an amplifier (not shown) and is reproduced as audio by, for example, the speaker 19 or a headphone (not shown).
  • the hard disk drive 20 stores programs and data such as an OS (Operating Sysiem) and application software, as well as various user data accumulated by the user.
  • User data can include all types of data that can be managed by ⁇ S, such as music data, video data, and text data.
  • music data used for registering information by this invention can be stored in the hard disk drive 20.
  • the drive device 21 can play a CD (Compact Disc) or a DVD (Digital Versa Ule Disc). In addition, data may be written to a disc corresponding to a writable standard on a CD or DVD.
  • the drive device 21 is not limited to this, and may correspond to an FD (flexible disc) or MO (Magneto-Optical) disc, or may correspond to a non-volatile memory such as a flash memory.
  • FIG. 3 shows an example user interface for performing information registration according to the first embodiment of the present invention.
  • the following various user interfaces, processing procedures, registration tables, etc. The present invention is not limited to these examples.
  • the registration screen 50 is configured using GUI (Graphic User Interface).
  • GUI Graphic User Interface
  • the registration screen 50 is displayed on the monitor 15 based on the display control signal generated by the CPU 11 based on the program stored in the hard disk drive 20, for example.
  • a predetermined position represented by a button image or a predetermined item image is designated by using a pointing device such as a mouse 31.
  • the function assigned to the position can be executed by the CPU 11.
  • a music selection section 51, performance position display section 52, performance control section 53, data display section 54, and determination button 55 are provided for the registration screen 50.
  • the music selection section 51 is a section for selecting music data used for information registration. As an example, for example, click the reference button 5 1 A provided in the music selector 51 to display a list of music data stored in the hard disk drive 20 and select the music data you want to use for information registration. Select. The file name of the selected music data is displayed on the display section 5 1 B of the music selection section 51. When the music data has, for example, song name information as attribute information, this song name information may be displayed on the display unit 51B. Information is registered for the performance position of the music data displayed on the display 5 1 B.
  • the music data used for registration of this information is referred to as information registration music data.
  • the format of the information registration music data is not particularly limited as long as it can be played by the computer device 1 and the performance position can be specified.
  • uncompressed audio data generated by PCM Pulse Code Modulation
  • the information registration music data is compressed and encoded by a predetermined method such as MP3 (Moving Pictures Experts Grou 1 Audio Layer 3), AAC (Advanced Audio Coding), ATRAC (Adaptive Transform Acoustic Coding). It may be.
  • MP3 Motion Pictures Experts Grou 1 Audio Layer 3
  • AAC Advanced Audio Coding
  • ATRAC Adaptive Transform Acoustic Coding
  • MID I Musical Instrument Digital Interface
  • the performance position display section 52 indicates the total length of the music data displayed on the display section 51B of the music selection section 51 with respect to the display section 52A.
  • the position line 52B indicates the current performance position. Indicated. You can also change the playing position by dragging position line 52B.
  • the performance control unit 53 is provided with buttons 53A to 53G for controlling the performance of the music data displayed on the display unit 51B.
  • Button 53 A is a fast-forward button that fast-forwards the performance.
  • Button 5 3 B is a playback button that lets you play forward at the original speed.
  • Button 54 C is a stop button that stops playing and returns the playing position to the beginning.
  • Potan 5 4 D is a pause button that pauses the performance without moving the performance position.
  • Button 5 4 E is a reverse playback button that lets you play in the reverse direction at the original speed.
  • Button 5 4 F is a reverse fast forward button that fast forwards the performance in the reverse direction.
  • buttons provided in the performance control section 53 are not limited to this example. It is possible to change the performance speed of the music data and provide a control to play the music data at any speed. If you want to change the performance speed of the music device, you can easily change the performance speed by connecting a jog dial to the input IZF 1 7 and instructing the performance speed with the rotation angle of the jog dial. it can.
  • the information displayed on the data display part 54 is in a state where it can be registered in the information registration music data displayed on the display part 51B of the music selection part 51.
  • file and folder icons can be displayed by dragging and dropping them in the data display area 54.
  • the data display unit 54 may be a reference screen for browsing files and folders accessible by the computer apparatus 1. In this case, for example, files and folders in the hard disk drive 20 or files and folders permitted to be viewed by the computer 1 in another computer connected via the communication I 16.
  • the drive device 21 can display the files and folders on the recording medium currently loaded in the device.
  • the decision button 5 5 is a button for associating information with the performance position of the information registration music data and registering the information with respect to the music data. For example, click the OK button 5 5 while playing the registered music data.
  • the information registration music data, the performance position information when the OK button 55 is clicked, and the selected information are associated with each other by a registration table (details will be described later).
  • the music selection section 51 selects information recording music data (step S10).
  • information is displayed on the data display section 54 (step S 1 1).
  • files and folders or folders are displayed as icons on the display unit 54.
  • an icon corresponding to the information to be registered is selected in the data display unit 54 (step S 12).
  • the file “UWX.txt” icon is highlighted, indicating that this file is selected.
  • the button 5 3 B is clicked to play the information registered music data selected by the music selection section 51 (step S 1 3). The performance is reproduced as sound by the speaker 19, for example.
  • the user listens to the performance of the information registration music data from the speaker 19 and clicks the decision button 5 5 at the performance position where the selected information is desired to be registered (step S 1 4) (step S 1 5).
  • the selected information is associated with the performance position when the information registration music data is clicked, for example, according to the registration table described later, and the information registration music data is Information is registered.
  • the performance of the information registration music data may be continued, or the performance may be stopped along with the information registration.
  • step S 16 If there is next information to be registered (step S 16), the process returns to step S 12. Here, the performance is stopped as the information is registered. It is supposed to be.
  • step S 10 After selecting the information-registered music data in step S 10, start playing the information-registered music data in advance (step S 1 3), and then display the information on the data display section 54 ( In step S 1 1), information to be registered may be selected (step S 1 2). It is also possible to start playing information-registered music data after displaying information on the data display section 54, and then select the information to be registered.
  • the information registered music data in step S 10 does not necessarily need to be selected at the beginning of the procedure, but may be selected before the performance is started.
  • the process of registering a plurality of pieces of information continuously is not limited to the above.
  • the process of step S13 is omitted.
  • the return destination from step S 16 can be set to step S 11 and the information displayed on the data display section 54 can be changed. Further, the return destination of step S 16 can be set as step S 10, and the processing can be continued with another music data as information registration music data. Even in these cases, the order of steps 3 10 to 3 1 3 is not limited to the order of FIG. 4 as described above.
  • the information selected in the data display unit 54 has been described as being registered with respect to the information registration music data, but this is not limited to this example.
  • new information can be created and registered at the performance position of the information registered music data.
  • click the OK button 5 5 with no information selected in the display section 5 4. It is conceivable to create a new file and register the file with the information registration music data.
  • a dialog box for entering text will be displayed.
  • the text data input in this dialog box is saved in a predetermined file, and the information registration music data decision point 5 5 is associated with the performance position clicked and registered.
  • the application software While playing the registered music data, set the application software to be started when clicking the OK button 5 5 when information is not selected in the data display 5 4 You may do it.
  • the pointing device such as the mouse 31 is used to register information to the information registration music device by clicking, but this is not limited to this example.
  • a predetermined key of the keypad 30 can be set as a short cut key for information registration. In this case, if you put your finger on the key set as the shortcut key in advance, you can register information by simply listening to the performance of the music data without looking at the monitor 15.
  • the information displayed on the data display section 54 can be automatically selected sequentially in accordance with the information registration. In this way, a plurality of information can be registered more easily.
  • FIG. 5 shows an example of a user interface for searching information registered with respect to information registration music data according to the first embodiment of the present invention.
  • parts common to those in FIG. 3 described above are denoted by the same reference numerals, and detailed description thereof is omitted.
  • the search screen 70 is displayed on the registration screen described above. Consists of a GUI that shares a part with surface 50. That is, the search screen 70 includes a music selection unit 51 for designating information registration music data, a performance position display unit 52 indicating the performance position of the information registration music data, and a performance control for controlling the performance of the information registration music data. Part 5 3 is provided.
  • the meanings of the button images and item images arranged for the music selection unit 51, performance position display unit 52, and performance control unit 53 are substantially the same as the corresponding parts in the registration screen 50 described above. Detailed explanation is omitted.
  • Search button 7 1 is used to search the registered information for the performance position when clicked by clicking while playing the registered music data.
  • the search result is displayed in the search result display area 72.
  • step S20 information registration music data used for search is selected (step S20).
  • step S 2 the button 5 3 B is clicked to play the information registered music data selected by the music selection unit 5 1.
  • the performance is reproduced as sound by the speaker 19 for example.
  • step S 2 3 While listening to this performance, when the user reaches the performance position where desired information is registered (step S 2 2), the user clicks the search button 71 (step S 2 3).
  • the search button 71 When the search button 71 is clicked, for example, information registered in the performance position where the click of the selected information registration music data is made is searched from the registration table. If there is relevant information as a result of the search, the information is displayed in the search result display section 72. In the example of Fig. 5, the file “ACEG.tx t” is obtained as a search result. Moreover, in this example, even if the search result is obtained, the performance of the information registration music data is continued.
  • step S 2 2 The file “ACEG.tx t” obtained as a search result can be viewed by double-clicking in the search result display area 7 2. I can do it.
  • the application software associated with the file 73 is started with the file 73 read. Not limited to this, the file 73 can be copied or moved to an appropriate folder by drag and drop.
  • one search result is obtained for one performance position, but this is not limited to this example.
  • information 80 registered in the performance position when the search button 71 is clicked is displayed on the search result display section 72 and the performance is displayed.
  • Information 8 1 and 8 2 registered in the performance position before and after the position can be displayed respectively. This makes it possible to search for desired information even when the timing of clicking the search button 71 is shifted.
  • a slow performance button is provided in the performance control section 53 to slow down the performance speed compared to the original performance speed so that information can be registered while performing slow performance. You can also search. By slowing down the playing speed, more information can be registered on the information registration music device on the registration screen 50, and more precise on the search screen 70. Can be searched. It is also possible to connect a jog dial as an input device to the input IZF 17 and use this jog dial to vary the performance speed and retrieve information.
  • control pad 3 2 with vibration function is connected to input I / F 17 and control pad 3 2 is used at the performance position where information is registered for the information registered music data. It is also possible to vibrate. When registering or searching for information, it can be vibrated according to the performance of the information registered music data.
  • the pointing device such as the mouse 31 is used to search for information registered in the information registration music data by clicking, but this is not limited to this example.
  • a predetermined key of the keypad 30 can be set as a short cut for searching information. In this case, if the user puts his / her finger on the key set as the shortcut key in advance, information can be retrieved by simply listening to the performance of the registered music data without looking at the monitor 15.
  • FIG. 8 shows an example of the registration table for associating the information registration music data, the performance position of the information registration music data, and the information with each other.
  • the registration table 60 shown in FIG. 8 as an example, information is associated with the performance position (time) from the beginning of the information registration music data indicated by the music file name.
  • the registration table 60 is stored in a predetermined manner in the hard disk drive 20 of the computer device 1, for example.
  • the first to fourth lines are associated with the information registered music data (uncompressed audio data) with the file name "ABCD. WAV".
  • the information “C: ⁇ DATA ⁇ F ILE. TXT” associated with the text file is associated with the performance position “1 minute 2 1 second 0 0” of the recorded music data.
  • Registered The second line shows an example in which the program file “ ⁇ Program Files ⁇ PR0G01.EX EJ is associated and registered for the performance position“ 1 minute 26 seconds 2 1 ”of this registered music data.
  • the third line shows the URL (Uniform Res ource Locator) r ttp: // www. Jpo. Go.
  • Jp / j for the performance position “2 min 0 1 sec 5” It is an example of being associated and registered.
  • the fourth line is an example when the decision button 55 is clicked without selecting any information in the data display section 54 while playing the information registration music data.
  • a text file “C: ⁇ memo ⁇ 0001.TXT” is newly created and associated and registered for the performance position “3 minutes 5 seconds 30” of the information registration music data.
  • the 5th to 7th lines show examples in which different types of music data from the 1st to 4th lines were used as information registration music data.
  • the fifth line is an example of the case where the information registration music data is compressed and encoded audio data.
  • the television broadcast information (broadcast channel, broadcast time, etc.) is associated with the performance position “0 min 20 sec 20” of the audio data “1234. MP3” compressed and encoded in the MP3 format.
  • a registered example is shown.
  • the sixth line is an example in which the information registration music data is on another computer device that can communicate via the network with communication I / F 16. In the item indicating the file name of the information registration music data, the position of the information registration music data on the network (URL in the example of FIG. 7) is described.
  • the 7th line is an example when the information registration music data is M I D I data.
  • the video data “C: ⁇ MOVIE ⁇ 001.MOV” is associated with the performance position “00 minutes 30 seconds 0 1” at the original performance speed of the MIDI data with the file name “EFG.MID” and registered. An example is shown.
  • Information registered music data position (address) and performance as time information There are various ways of associating positions with each other depending on the type of music data registered. For example, if the registered music data is non-compressed PCM audio data, it can be associated based on the sampling frequency of the audio data and the sample number at the performance position. Also, for example, in the case of audio data compression-coded in block units using the MP3 method, etc., it is supported based on the block number at the performance position, the sample number in the block, and the sampling frequency of the audio data. Can be attached. Furthermore, for example, in the case of data consisting of performance instruction information such as MIDI data, it is possible to make a correspondence using time information possessed by the data itself. Such a technique for associating a music location (address) with a performance position (time information) is very well known, and thus detailed description thereof is omitted.
  • the information registration music data, the performance position of the information registration music data, and the information are associated using the registration table 60, and the information is registered to the information recording music data.
  • the information registration music data itself or the attribute information of the information registration music data can describe a performance position and information associated with the performance position.
  • the registration table 60 can be used as information inside the OS.
  • the music selection part 51 of the search screen 70 when the music data name displayed in a list by clicking the reference button 51 A is displayed based on the information registered music data registered in the registration table 60. This is preferable because it saves the trouble of searching for information registration music data used for information registration.
  • information registration music data information other than information given in advance in the information registration music data such as file name and music name. It is preferable that attribute information such as a name can be set separately so that the user can easily know what information is registered in the information registration music data.
  • the music selection section 51 on the search screen 70 is further provided with a display section for displaying attribute information such as an attached name, and the music displayed in a list by clicking the reference button 51 A. The name can be displayed together with the name, and the information registered music data in which the desired information is registered can be searched quickly.
  • the information registration music data is described as being directly registered, but this is not limited to this example.
  • a plurality of second information registration music data different from each other are registered with respect to the first information registration music data, and further information is appropriately registered in each of the plurality of second information registration music recording events.
  • the information search is performed only based on the performance position of the information registration music data.
  • the conventional monitor 15 is used.
  • a search based on the displayed video or text can be used in combination with a search according to the present invention.
  • a large category search is performed by selective input using the keyboard 30 or mouse 31 based on the display on the monitor 15, and the information in the searched category is used as the performance position of the information registration music data evening. Can be done based on.
  • searching based on the information registered music data while using the jog dial, fast forward button, 53 A, etc. It is also possible to check the location of the information and confirm it with the video shown in Monitor 15 when determining the detailed location of the information.
  • performance position information of predetermined music data and information on the music data may be added as tag information to the predetermined information. It is also possible to add the music data itself to the information.
  • the performance position information when the information is registered in the information registration music data before the change can be applied to the music data after the change. In this way, confidentiality can be improved by appropriately changing the information registration music data.
  • the information registration and retrieval method according to the present invention can be applied to a mailer 90 that receives, transmits and manages electronic mail.
  • the music selection section 51, performance position display section 52, and performance control section section 53 described above are provided for the mailer 90.
  • the user registers the e-mail 9 1 A selected in the mail list display section 91 in the performance position of the information registration music data displayed in the display section 51 B as described above. be able to.
  • the present invention is applied to the mailer 90, it is conceivable that the information registration music data used for registration is different for each e-mail sender, for example.
  • e-mail sender information is registered for the first information registration music data, and second information different from each other for each e-mail sender.
  • the registered music data can be set, and the e-mail from the sender can be registered for the second information registration music data that is different for each sender.
  • a plurality of pieces of performance position are randomly registered for information registration music data, and what information is registered at which performance position of the information registration music data. You can think about how to use it like a game.
  • paired information is registered with respect to two randomly specified performance positions in the information-registered music data, and when searching, the performance position where the information is registered is searched first, then It is possible to play like playing card nerve weakness, such as searching for a performance position where information paired with the information registered at the performance position is registered.
  • the registration screen 50 for registering information with respect to the information registration music data and the search screen 70 for searching for information registered in the information registration music data are configured using the GUI. This is not limited to this example, and it is also possible to configure these user interfaces with, for example, CUI (Character-based User Interface).
  • the first embodiment of the present invention has been described as applied to the computer apparatus 1 such as a personal computer, but this is not limited to this example.
  • the present invention can be applied to other information devices as long as it can store a large amount of information, can perform music overnight, and has an input means that can be operated by a user.
  • the present invention can be applied to a home game machine.
  • the present invention can be applied to a mobile phone terminal device having a performance function for music data and a function for storing user data.
  • music data is used to register information.
  • video data is used as content data and information is registered at the playback position of the video data.
  • Audio data or music data may accompany the video data.
  • video data is used for registration of information, the information is registered for the frame position of the video data. It is also possible to register further information for the two-dimensional position in the frame.
  • the video data used for registration of information changes in display content over time, and any type of video can be used as long as the change can be reproduced.
  • video data such as movies and dramas recorded on a recording medium can be used for information registration.
  • Video data from live-action recordings such as sports may be used for information registration.
  • video data that is played back according to a program such as video expressed in C G (Computer Graphics)
  • C G Computer Graphics
  • video clips with music clip videos that have the same ratio of music and video for information registration will take into account the effect of registration using the music data mentioned above. Can do.
  • video data such as a slide show in which still images are sequentially exchanged at predetermined time intervals and displayed can be used for information registration. When using a slideshow, the information registration position corresponds to the display timing of the still image.
  • FIG. 10A shows an example in which the video data 20 0 reproduced by a computer device is shown as a frame.
  • the user causes the computer device to reproduce the video data 200.
  • the registered information is selected, and the input means such as a keypad is operated in a predetermined manner at the scene where the information is to be registered while viewing the reproduced video data 200 on the monitor.
  • the computer device responds to the video frame at the time of the operation.
  • the information selected in advance by the above-mentioned user is associated, and the information is registered for the video data 200.
  • the registration position of the information is represented by a time code (h hour m minute s second f frame) generally used for time management of video data 200, for example.
  • the frame number may be represented by a frame number counted from the first frame of the video data 200.
  • the audio data A is associated with the frame S of the video data 20 0 and the video data B is associated with the frame T. Also, television program C is associated with frame U. Although details are omitted, the point that various kinds of information can be associated with the video data 200 is the same as in the first embodiment.
  • the video data is accompanied by music data, it is possible to register information based on music, as in the first embodiment described above.
  • the information registration position is the frame position corresponding to the performance position of the music data. It is also possible to associate it with the performance position of the music data.
  • the information search method according to the second embodiment is the same as the first embodiment described above, except that the music data is replaced with video data. That is, for example, when searching for video data B, the user plays the video data 200 on a computer device, and registers the video data B at the time of information registration while viewing the played video on the monitor. For example, when a scene that was projected at the time is displayed, a predetermined input means such as a keyboard is operated. In response to this operation, the video device B associated with the frame T is accessed.
  • the searchable range of the first information is changed from the registered frame position of the first information to the second information registered on the same video as the first information next to the first information. It may be possible to reach the registered performance position.
  • the searchable range can be from the information registration frame position to a certain number of frames. A predetermined range of frames before and after the information registration frame position may be used as a searchable range.
  • FIG. 11 is an example user interface for registering information according to the second embodiment of the present invention. Since the computer apparatus 1 described with reference to FIG. 2 can be applied to the second embodiment of the present invention, a detailed description of the hardware configuration is omitted. Further, in FIG. 11, the same reference numerals are given to the same parts as those in FIG. 3 described above, and detailed description will be omitted.
  • the video display unit 2 displays the registration screen 50 shown in FIG. Registration screen 2 1 0 with a configuration with 1 1 added can be used.
  • a video selection unit 5 1 ′, a video playback position display unit 5 2 ′, a playback control unit 5 3 ′, a data display unit 54 and a decision button 55 are provided.
  • the video selection unit 5 1 ′ is a unit that selects video data used for information registration. Click the reference button 5 1 A 'to select the video data you want to register from the video data displayed in the list, and the file name of the selected salted data will be displayed on the display 5 1 B. Is done. The attribute information of the selected video image can be further displayed on the display unit 5 1 ′. Less than Below, the video data used to register this information is called information registration video data.
  • the format of the information registration video data is not particularly limited as long as it can be reproduced by the computer device 1 and the reproduction position can be specified.
  • video data compressed and encoded by MPE G 2 (Moving Pictures Experts Group 2) or MPE G 1 can be used as information registration video data.
  • MPE G 2 Motion Pictures Experts Group 2
  • MPE G 1 Motion Picture Experts Group 2
  • video data mainly used in personal computers such as QuickTime (registered trademark) and AV-I (Audio-Video Interleaved) files can also be used.
  • the playback position display section 52 displays the total length of the displayed video data displayed on the display section 5 1 of the video selection section 5 1 'with respect to the display section 52 ⁇ '.
  • the current playback position is indicated. You can also change the playback position by dragging position line 52 ⁇ .
  • the reproduction control unit 53 ′ is provided with buttons 53 A ′ to 53 G ′ for controlling the reproduction of the video data displayed on the display unit 5 1 ′.
  • Button 53A ' is a fast forward button that fast forwards playback.
  • the button 5 3 B ' is a playback button that plays forward at the original speed.
  • Button 54 C ' is a stop button that stops playback and returns the playback position to the beginning.
  • Button 54D ' is a pause button that pauses playback without moving the playback position. Click the pause button 54 D 'and then click the pause button 54 D' again or click the play button 53 B 'to resume playback from the paused playback position.
  • Button 54E ' is a reverse playback button that plays back in the reverse direction at the original speed.
  • Button 54 F ' is a reverse fast-forward button that fast-forwards playback in the reverse direction.
  • slow playback buttons in the forward and reverse directions It is more preferable to provide a frame feed button.
  • the playback speed can be easily changed by connecting a jog dial to the input I / F 17 and specifying the playback speed using the rotation angle of the jog dial.
  • the information displayed on the data display section 5 4 ′ can be registered in the information registration video data displayed on the display section 5 1 B ′ of the video selection section 5 1 ′. Since the display of information on the display area 5 4 ′ is the same as the example in FIG. 3 described above, detailed description is omitted.
  • the decision button 55 is a button for associating information with the performance position of the information registration video data and registering the information with respect to the video data. For example, by clicking the OK button 5 5 while playing the information registration video data, the information registration video data, the playback position information when the OK button 55 is clicked, and the selected information are stored in the registration table. Are related.
  • the registration table is a table for associating information registration video data, a reproduction position (frame) of the information registration video data, and information with each other.
  • the information registration procedure on the registration screen 210 is substantially the same as the method according to the first embodiment described with reference to FIG.
  • the user selects the information registration video data at the video selection unit 5 1 ′.
  • information is displayed on the display unit 54 by dragging and dropping files and folders. Then select the information you want to register.
  • the file “ILNP. Tx t” is selected.
  • the video of the reproduced video data is, for example, the video display unit 2 1 Projected in 1.
  • the selected information is associated with the reproduction position (frame) at the time when the information registration video data is clicked by the registration table, and the information registration video data is clicked. Information is registered for the evening. Note that the registration of information is not limited to the decision button 5 5, and may be performed by clicking, for example, the video display unit 2 11.
  • FIG. 12 shows an example of a user interface for retrieving information registered with respect to the information registration video data according to the second embodiment of the present invention.
  • FIG. 12 parts common to those in FIG. 5 and FIG. 11 described above are denoted by the same reference numerals, and detailed description thereof is omitted.
  • the search screen 2 20 is composed of GUIs that share a part with the above-described recording screen 2 10. That is, the search screen 2 20 includes a video selection unit 5 1 ′ for designating the information registration video data, a playback position display unit 52 indicating the playback position of the information registration video data, and the information registration video data display. A playback control unit 5 3, for controlling playback is provided.
  • the meaning of each of the image images and item images arranged for the video selection unit 51, the reproduction position display unit 5 2 ′ and the reproduction control unit 5 3 ′ is the corresponding part in the registration screen 2 10 described above. The detailed description is omitted.
  • Search button 7 1 Clicks during playback of information registration video data to search the registered information for the playback position (frame) when clicked.
  • the search result is displayed in the search result display area 72.
  • the information search procedure on the search screen 220 is substantially the same as the method according to the first embodiment described with reference to FIG. That is, the user selects the information registration video data used for the search in the video selection unit 5 1 ′, and clicks the pointer 5 3 B ′ to reproduce the selected information registration video data.
  • the reproduced information registration video data is displayed on the video display unit 2 1 1.
  • search button 71 When the search button 71 is clicked, information registered at the reproduction position (frame) where the information registration video data is clicked is searched by the registration table. If there is relevant information as a result of the search, the information is displayed in the search result display section 72. In the example of Fig. 12, the search result is obtained for the file "UXYB.txt". Note that the search for information is not limited to the search button 71, but may be performed by, for example, clicking on the video display unit 211.
  • a slow playback button and a frame advance button that slow down the playback speed than the original playback speed are provided in the playback control unit 5 3 'so that slow playback is possible. You can also register and search for information while doing so. By slowing down the playback speed, more information can be registered in the information registration video data on the registration screen 2 1 0, and more precise search can be performed on the search screen 2 2 0. .
  • connect a jog dial as an input device to input IZF 1 7 It is also possible to search for information by freely changing the playback speed using a dial.
  • control pad 3 2 with vibration function is connected to input I / F 17 and control pad 3 is used at the playback position where information is registered for information registration video data using vibration function. It is also possible to vibrate 2. When registering or searching for information, it can be played back using information-registered video data, or it can be vibrated according to the music data played along with the information-registered video data.
  • the pointing device such as the mouse 31 is used to search for information registered in the information registration video data by clicking, but this is not limited to this example.
  • a predetermined key of the keypad 30 can be set as a shortcut key for information retrieval. In this case, if you hold your finger on the key set as a shortcut key in advance, you can easily search without missing the target scene.
  • the various expansion examples described in the first embodiment for example, the information registration video data itself, and the reproduction position and the attribute information of the information registration video data are displayed.
  • the second embodiment of the present invention has been described as being applied to a computer apparatus 1 such as a personal computer.
  • the present invention can store a large amount of information, can reproduce video data, and can be operated by a user. If it has a simple input means, it can be applied to other information devices.
  • the present invention can be applied to a home game machine.
  • the present invention can be applied to a mobile phone terminal device having a video data playback function and a user data storage function.

Abstract

多種多様の情報から必要な情報を容易に検索することができるようにする。音楽データの演奏位置に対して情報を登録する。オーディオデータやＭＩＤＩデータなどによる音楽データを演奏させ、演奏中にキーボードなどで登録指示を行う。登録指示を行ったタイミングに対応する演奏位置に対して、情報が登録される。情報を検索する際には、情報が登録されている音楽データを演奏させ、所望の情報が登録された演奏位置に到達したら、キーボードなどで検索指示を行う。この指示に基づき当該演奏位置に登録された情報が検索され、当該情報にアクセス可能とされる。音楽データの演奏位置に対して情報を登録するため、情報の登録および検索を、容易且つ直感的に行える。また、音により情報を検索するため、画面を凝視する必要が無い。

Description

明 細 書
情報管理方法、 情報管理プログラムおよび情報管理装置 技術分^
この発明は、 所望の情報の登録および検索を容易に行えるようにし た情報管理方法、 情報管理プログラムおよび情報管理装置に関する。 背景技術
近年では、 ハ一ドディスクなど記録媒体が大容量化するのに伴い、 パーソナルコンピュータといったコンピュータ装置も、 大量のフアイ ルの管理に対応するようになっている。
管理可能なファイル数が多くなるにつれ、 これら多くのファイルの 中から所望のファイルを迅速に検索することが重要になってくる。 従 来から、 例えばファイルをリスト表示し、 ファイル名やファイル作成 日時、 ファイルサイズ、 ファイル種類などによりリスト表示を並べ替 えて所望のファイルを検索する方法が用いられている。 また、 G U I (Graph i cal User Inter f ace)表示を用い、 ファイルをアイコン化して 表示したり、 当該ファイルが画像ファイルであれば、 そのファイルの 画像をアイコン化して用いたりすることも行われている。
特許文献 1 「特開 2 0 0 2 - 2 8 8 0 1 5号公報」 には、 ファイル 作成時にュ一ザに指定された属性情報に基づき、 概念的な記憶を元に ファイル検索を行うことができるようにした技術が開示されている。 ところで、 記録媒体に蓄積される情報は、 テキストデータ、 画像デ 一夕、 動画データ、 音声データ、 プログラムデ一夕など、 多種多様に わたる。 従来では、 これらの情報を記録媒体に蓄積する際に、 フアイ ル名ゃデータ内容に対して付されたタイトル、 データに対する付随情 報などによって分類および登録していた。 そのため、 蓄積された情報 を検索する際には、 ファイル名やタイトルをキーポ一ドなどの入力手 段から入力する必要があり、 非常に煩わしいという問題点があつた。 また、 ファイル名などがファイル内容を表していないような場合に は、 検索自体が困難であるという問題点があった。
さらに、 検索対象が画.像データや音声データである場合には、 直接 的に画像データや音声データを閲覧する必要があり、 特に、 大量のデ 一夕が蓄積されている場合には、 所望のデータを検索するのが極めて 煩わしいという問題点があつた。
さらにまた、 従来では、 一覧表示に基づき所望の情報を探すような 形式のものが多く、 視覚に頼る検索がなされていた。 視覚に頼る検索 では、 特に情報が大量になると、 情報が 1画面に表示しきれなくなり 画面をスクロールさせたりする必要が生じ煩わしいと共に、 目も疲れ るという問題点があった。 発明の開示
したがって、 この発明の目的は、 多種多様の情報から必要な情報を 容易に検索することができるようにした情報管理方法、 情報管理プロ グラムおよび情報管理装置を提供することにある。
この発明は、 上述した課題を解決するために、 時系列で変化するコ ンテンッデータの時間情報に対して情報を関連付けるようにしたこと を特徴とする情報管理方法である。
また、 この発明は、 時系列で変化するコンテンツデータの時間情報 に対して情報を関連付ける情報管理方法をコンピュータ装置に実行さ せることを特徴とする情報管理プログラムである。
また、 この発明は、 時系列で変化するコンテンツデータの時間情報 に対して情報を関連付けるようにしたことを特徴とする情報管理装置 である。
上述したように、 この発明は、 時系列で変化するコンテンツデータ の時間情報に対して情報を関連付けるようにしているため、 情報の登 録および検索をコンテンツデータの再生に基づき直感的に行うことが でき、 煩わしいテキスト入力などを行う必要が無いと共に、 キ一ヮ一 ドなどを用いなくても情報の検索が可能であり、 さらに、 情報の登録 および検索の際に画面を凝視する必要が無い。
この発明は、 時系列で変化するコンテンツデ一夕の時間情報に対し て情報を関連付けるようにしているため、 情報の登録および登録され た情報の検索を、 容易且つ直感的に行うことができる効果がある。 例えばコンテンツデータが音楽データである場合、 楽曲のメロディ 一など、 極めてイメージ喚起力の高い情報に基づき検索を行うため、 テキストによるキーワードなど具体的な情報が無くとも、 直感的に情 報を検索することができる効果がある。
また、 コンテンツデータが音楽デ一夕である場合、 音により情報を 検索するため、 モニタ画面を凝視する必要が無く、 目が疲れないとい う効果がある。 さらに、 視力に障害があるユーザでも、 情報の検索を 容易に行うことができるという効果がある。 さらにまた、 情報検索に 用いる音楽を早送りで演奏させることで、 所望の情報を迅速に検索す ることが可能で、 従来のモニタ画面に表示された情報の一覧をスク口 ールして情報を探す方法に比べユーザに負担をかけないという効果が ある。
また、 コンテンツデータが音楽データである場合、 モニタ装置の性 能、 品質や画面の大小などによる視覚的影響を受けずに、 ユーザ毎に 自分に適した音楽を用いて情報を登録することができるため、 情報管 理および検索を、 ユーザ個人の主観に基づき適切に行うことができる 効果がある。 図面の簡単な説明
第 1図 Aおよび第 1図 Bは、 この発明の実施の第 1の形態による情 報管理方法について概念的に説明するための略線図、 第 2図は、 この 発明の実施の第 1の形態に適用可能なコンピュータ装置の一例の構成 を概略的に示すブロック図、 第 3図は、 この発明の実施の第 1の形態 による情報登録を行うための一例のユーザインターフェイスを示す略 線図、 第 4図は、 登録画面による一例の情報登録手順を説明するため のフローチャート、 第 5図は、 この発明の実施の第 1の形態により情 報登録音楽データに対して登録された情報を検索するための一例のュ 一ザインターフェイスを示す略線図、 第 6図は、 検索画面による一例 の情報検索手順を説明するためのフローチャート、 第 7図は、 選択ポ タンをクリックしたときの演奏位置と、 その演奏位置の前後の演奏位 置とに登録されている情報を検索結果として表示することを説明する ための略線図、 第 8図は、 情報登録音楽データと、 当該情報登録音楽 データの演奏位置と、 情報とを互いに関連付けるための登録テーブル の一例を示す略線図、 第 9図は、 この発明をメ一ラに適用した例につ いて説明するための略線図、 第 1 0図 Aおよび第 1 0図 Bは、 この発 明の実施の第 2の形態による情報管理方法について概念的に説明する ための略線図、 第 1 1図は、 この発明の実施の第 2の形態による情報 登録を行うための一例のユーザィンターフェイスを示す略線図、 第 1 2図は、 この発明の実施の第 2の形態による情報検索を行うための一 例のユーザインターフェイスを示す略線図である。 発明を実施するための最良の形態
以下、 この発明の実施の形態について説明する。 この発明では、 情 報を、 時系列で変化するコンテンツデータの時間情報に関連付けて管 理する。 情報を検索する際には、 コンテンツデ一夕を例えば再生させ て、 再生位置が情報を関連付けた位置に達したら所定の指示を行う。 これにより、 当該位置に関連付けられた情報にアクセスするようにし た。 なお、 ここで、 コンテンツとは、 人が意図的に情報を配置して他 者に表出するように創作または制作されたものであるとし、 その種類 を問わない。
先ず、 この発明の実施の第 1の形態について説明する。 この発明の 実施の第 1の形態では、 コンテンツデータを音楽データとし、 情報を 、 音楽の演奏位置に関連付けて管理する。 情報を検索する際には、 音 楽を演奏させ、 演奏が情報が関連付けられた位置に達したら所定の指 示を行う。 これにより、 当該位置に関連付けられた情報にアクセスす るようにした。
音楽は、 一般的に、 反復構造や所定の展開を有しているため、 演奏 位置の特定および予測が容易である。 また、 音楽は、 人の感情に訴え かけるように創造されるためイメージ喚起力が強く、 ュ一ザは、 意図 せずとも要所を記憶することができる。 そのため、 音楽の演奏位置に 情報を関連付けるようにすることで、 情報の登録および検索を、 煩わ しい入力操作無しに直感的に行うことができる。 また、 情報を検索す る際に、 当該情報に関連したキ一ヮ一ドを思い出す必要が無い。 なお、 以下では、 音楽は、 人が意図的に音を配置した際に得られる 音声を含むものとし、 一般的な楽曲に限られない。 また、 演奏は、 音 楽が再現可能な状態で記録されており、 当該記録を再現して音声を出 力することをいうものとする。 この実施の第 1の形態では、 音楽がデ イジタルデ一夕で記録されており （音楽データと呼ぶ） 、 このディジ タルデータがコンピュータ装置により音声として再現され出力される ことで、 演奏されるものとする。
第 1図 Aおよび第 1図 Bを用いて、 この発明の実施の第 1の形態に よる情報管理方法について、 概念的に説明する。 第 1図 Aは、 例えば コンピュータ装置で演奏される一例の音楽を楽譜で以て示す。 ユーザ は、 例えばコンピュータ装置に第 1図 Aのように音楽 （楽曲 1 0 0と する） を演奏させる。 そして、 登録したい情報を選択し、 演奏された 音楽をスピーカやへッドフォンなど音響装置を用いて聴きながら、 情 報を登録したい演奏位置でキ一ポードなど入力手段を所定に操作する 。 この操作に応じて、 コンピュータ装置において、 その操作時におけ る楽曲 1 0 0の演奏位置に対して、 上述のュ一ザにより予め選択され た情報が関連付けられ、 楽曲 1 0 0に対して情報が登録される。 演奏 位置は、 例えば楽曲 1 0 0の先頭からの演奏時間 （m分 s秒 n ) で表 される。
第 1図 Aおよび第 1図 Bの例では、 音声データ Aが楽曲 1 0 0の演 奏位置 Pに関連付けられ、 映像データ Bが演奏位置 Qに関連付けられ る。 また、 テレビジョン番組 Cが演奏位置 Rに関連付けられる。 テレ ビジョン番組 Cは、 例えば、 放映チャンネルや放映時間などの情報か らなる。 また、 第 1図 Aおよび第 1図 Bでは省略されているが、 デ一 夕ファイル Dやインターネット上の情報の所在を示す U R L (Uni form Resource Locat or)も、 楽曲 1 0 0の他の演奏位置にそれぞれ関連付 けられている。 このように、 この実施の第 1の形態では、 ファイルや フォルダなどに限らず、 様々な情報を音楽に関連付けて管理可能とし ている。
この発明による情報の一例の検索方法について、 概念的に説明する 。 ここでは、 映像データ Bを検索する例について説明する。 ユーザは 、 楽曲 1 0 0をコンピュータ装置上で演奏させ、 演奏された音楽をス ピ一力やへッドフォンなど音響装置を用いて聴きながら、 情報登録の 際に映像デ一夕 Bを登録した際に演奏されていた例えばメロディ一が 演奏されたら、 キーボードなど所定の入力手段を操作する。 第 1図 A および第 1図 Bの例では、 演奏位置 Qで当該メロディーが演奏され、 この演奏を聴いたユーザが入力手段を所定に操作する。 この操作に応 じて、 当該演奏位置 Qに関連付けられた映像データ Bにアクセスされ る。
楽曲のメロディ一など、 極めてイメージ喚起力の高い情報に基づき 検索を行うため、 テキストによるキーヮ一ドなど具体的な情報が無く とも、 直感的に情報を検索することができる。 また、 音により情報を 検索するため、 モニタ画面を凝視する必要が無く、 目が疲れない。 視 力に障害があるユーザでも、 情報の検索を容易に行うことができる。 また、 情報検索に用いる音楽を早送りで演奏させることで、 所望の情 報を迅速に検索することが可能で、 従来のモニタ画面に表示された情 報の一覧をスクロールして情報を探す方法に比べユーザに負担をかけ ない。
さらに、 モニタ装置の性能、 品質や画面の大小などによる視覚的影 響を受けずに、 ユーザ毎に自分に適した音楽を用いて情報を登録する ことができるため、 情報管理および検索を、 ュ一ザ個人の主観に基づ き適切に行うことができる。
なお、 上述では、 情報を検索するポイントが当該情報の登録時に指 定した演奏位置のみであるように説明したが、 これはこの例に限定さ れない。 すなわち、 ュ一ザが必ずしも情報を登録した演奏位置を正確 に指定できるとは限らない。 そのため、 情報を登録した演奏位置に対 して所定の範囲内で、 当該情報を検索可能とするとよい。 例えば、 第
1の情報の検索可能範囲を、 第 1の情報の登録演奏位置から、 当該第 1の情報の次に当該第 1の情報と同一音楽上に登録された第 2の情報 の登録演奏位置までとすることが考えられる。
第 1図 Aおよび第 1図 Bの例では、' 音声データ Aの検索可能範囲は 、 演奏位置 Pから演奏位置 Qの直前までとなる。 この演奏位置 Pから 演奏位置 Qまでの間に入力手段に対する所定の操作がなされた場合に 、 音楽データ Aが検索される。
検索可能範囲の設定は、 この例に限定されない。 例えば、 情報を登 録した演奏位置から一定時間までを、 検索可能範囲とすることができ る。 この場合、 この一定時間内における他の情報の登録を禁止すると よい。 音楽のテンポなどが分かっている場合には、 検索可能範囲を、 登録された演奏位置を含む柏から何拍目まで、 などと設定することも 可能である。 また、 上述では、 登録演奏位置から後ろが検索可能範囲 であるように説明したが、 登録演奏位置の前後の所定範囲を検索可能 範囲としてもよい。
第 2図は、. この発明の実施の第 1の形態に適用可能なコンピュータ 装置 1の一例の構成を概略的に示す。 コンピュータ装置 1において、 バス 1 0に対して C PU(Central Processing Unit) 1 1、 R O M (Re ad Only Memory) 1 2および R AM (Random Access Memory) 1 3が接 続される。 CPU 1 1は、 ROM 1 2や後述するハ一ドディスクドラ イブ 20に格納されたプログラムやデータに従い、 RAM 1 3をヮー クメモリとして用い、 バス 1 0を介して各部と通信を行いながら、 こ のコンピュータ装置における各部の動作を制御する。
バス 1 0には、 また、 グラフィックインターフェイス （ I /F) 1 4および通信インタ一フェイス （ I /F) 1 6がそれぞれ接続される 。 グラフィック I /F 14には、 モニタ 15が接続され、 CPU 1 1 から供給された表示制御信号を映像信号に変換してモニタ 15に供給 し、 モニタ 15に対して所定の画像を映出させることができる。 また 、 通信 IZF 16は、 例えばインターネットなどのネットワークと接 続され、 C PU 11の命令に基づき、 ネットワークを介してこのコン ピュー夕装置 1と外部との通信を制御する。
バス 10に対して、 さらに、 入力イン夕一フェイス （IZF) 17 、 オーディオインタ一フェイス （IZF) 18、 ハードディスクドラ イブ 20およびドライブ装置 21が接続される。
入力 I ZF 17には、 例えばキーポード 30、 マウス 31、 コント ロールパッド 32といった、 ユーザによる入力を受け付ける入力装置 が接続される。 キ一ボード 30は、 ユーザの押下したキ一に応じた制 御信号を出力する。 マウス 31は、 X座標および Y座標からなる位置 情報と、 ポタンの押下に応じた制御信号とを出力するボインティング デバイスである。 マウス 31にロータリエンコーダなど、 他の操作子 がさらに設けられている場合もある。 ポインティングデパイスとして は、 マウス 31以外にも、 例えばタブレットなどが考えられる。
コントロールパッド 32は、 上下左右に対応した制御信号を出力す る十字キ一または X座標および Y座標を出力するジョイスティック、 ユーザの押下に応じたスィッチなどの操作子を備える。 入力 IZF 1 7は、 これら入力装置から入力された制御信号や座標を所定のデ一夕 に変換し、 バス 10を介して C PU 1 1に渡す。 また、 例えばコント ロールパッド 32にバイブレーション機能を持たせることができる。 これにより、 コントロールパッド 32に対して入力 IZF 17を介し て C PU 1 1からの命令を供給して、 この命令に基づきコント口一ル パッド 32において振動を発生させることができる。 入力 I/F l 7に接続可能な入力装置は、 これらに限定されない。 例えば、 出力値を連続的に変化させることのできる、 ジョグダイアル (ロータリエンコーダ） を入力 I /F 17に接続することも可能であ る。
オーディオ I/F 1 8は、 バス 10を介して供給されたディジタル オーディオデ一夕を DZA変換して、 アナログ音声信号として出力す る。 オーディオ I /F 18から出力されたアナログ音声信号は、 図示 されないアンプで増幅され、 例えばスピーカ 1 9や図示されないへッ ドフォンにより音声として再生される。
ハ一ドディスクドライブ 20は、 OS (Operating Sysiem)やアプリ ケーシヨンソフトウェアなどのプログラムやデータが格納されると共 に、 ユーザにより蓄積される各種ユーザデータが格納される。 ユーザ データは、 音楽データ、 映像データ、 テキストデータなど、 〇Sによ り管理可能な全ての種類のデータを含むことができる。 また、 この発 明による情報の登録を行うために用いられる音楽データを、 ハードデ イスクドライブ 20に格納することができる。
ドライブ装置 21は、 CD(Compact Disc)や DVD (Digital Versa Ule Disc)を再生可能とされる。 また、 CDや DVDにおける書き込 み可能な規格に対応したディスクに対するデータの書き込みを行うよ うにしてもよい。 ドライブ装置 2 1は、 これに限られず、 FD (フレ キシブルディスク） や M〇（Magneto- Optical)ディスクに対応するも のでもよいし、 フラッシュメモリなどの不揮発性メモリに対応するも のでもよい。
第 3図は、 この発明の実施の第 1の形態による情報登録を行うため の一例のユーザインターフェイスを示す。 なお、 以下に示す種々のュ —ザインターフェイスや処理手順、 登録テーブルなどは、 この発明を 実施可能とする一例の形態であって、 この発明は、 これらの例に限定. されるものではない。
第 3図の例では、 登録画面 5 0を G U I (Graph i cal User Inter f ac e)を用いて構成している。 登録画面 5 0は、 例えばハードディスクド ライブ 2 0に格納されたプログラムデ一夕に基づき C P U 1 1により 生成された表示制御信号に基づき、 モニタ 1 5に対して表示される。 登録画面 5 0上で、 例えばポタン画像や所定のアイテム画像で表現さ れた所定の位置をマウス 3 1などのポインティングデバイスを用いて 指定し、 ポインティングデバイスに対して例えばポタンの押下といつ た所定の操作を行うことで、 当該位置に割り当てられた機能を C P U 1 1に実行させることができる。
なお、 以下の説明において、 ポインティングデバイスによるクリツ ク操作や、 G U I上に表示されたアイコンなどの選択操作、 ドラッグ &ドロップ操作などは、 極めて周知であるため、 繁雑さを避けるため に詳細な説明を省略する。 例えば、 G U I上により表示されたボタン 画像やアイテム画像上にボインティングデバイスを用いてカーソル表 示を移動させ、 ボインティングデバイスのポタンなどをクリックする 一連の操作を、 単に 「ポタン画像をクリックする」 などのように記述 する。
第 3図において、 登録画面 5 0に対して、 音楽選択部 5 1、 演奏位 置表示部 5 2、 演奏コントロール部 5 3、 データ表示部 5 4および決 定ポタン 5 5が設けられる。
音楽選択部 5 1は、 情報の登録に用いる音楽データを選択する部分 である。 一例として、 例えば音楽選択部 5 1に設けられた参照ポタン 5 1 Aをクリックして例えばハードディスクドライブ 2 0に格納され た音楽データを一覧表示させ、 情報の登録に用いたい音楽デ一夕を選 択する。 選択された音楽データのファイル名は、 音楽選択部 5 1の表 示部 5 1 Bに表示される。 音楽データが例えば属性情報として曲名情 報などを持つときは、 表示部 5 1 Bにこの曲名情報を表示するように してもよい。 表示部 5 1 Bに表示された音楽データの演奏位置に対し て、 情報が登録される。 以下、 この情報の登録に用いる音楽データを 、 情報登録音楽データと呼ぶ。
なお、 情報登録音楽データの形式は、 コンピュータ装置 1で演奏可 能で、 且つ、 演奏位置が特定できるものであれば、 特に限定されない 。 例えば、 P CM (Pulse Code Modulation)により生成された、 非圧 縮のオーディオデータを用いることができる。 また、 情報登録音楽デ 一夕は、 MP 3 (Moving Pictures Experts Grou 1 Audio Layer 3) や A A C (Advanced Audio Coding) , ATRAC (Adaptive Transform Acoustic Coding)など所定の方式で圧縮符号化されたオーディォデ 一夕であってもよい。 さらに、 オーディオデータのみならず、 例えば M I D I (Musical Instrument Digital Interface)デ一夕のように、 演奏を指示する演奏指示データを情報登録音楽デ一夕として用いるこ ともできる。
演奏位置表示部 52は、 表示部 52 Aに対して音楽選択部 5 1の表 示部 5 1 Bに表示された音楽データの全長が示され、 ポジションライ ン 52 Bにより、 現在の演奏位置が示される。 ポジションライン 52 Bをドラッグすることで、 演奏位置を変更させることも可能である。 演奏コントロール部 5 3は、 表示部 5 1 Bに表示された音楽データ の演奏を制御するためのポタン 53 A〜53 Gが設けられる。 ポタン 53 Aは、 演奏を早送りする早送りポタンである。 ポタン 5 3 Bは、 本来の速度で順方向に演奏させる再生ポタンである。 ポタン 54 Cは 、 演奏を停止させ演奏位置を先頭に戻す停止ポタンである。 ポタン 5 4 Dは、 演奏位置は移動させずに演奏を一時停止する一時停止ポタン である。 一時停止ポタン 5 4 Dをクリックした後、 再び一時停止ボタ ン 5 4 Dをクリックするか、 再生ボタン 5 3 Bをクリックすれば、 一 時停止した演奏位置から演奏が再開される。 ボタン 5 4 Eは、 本来の 速度で逆方向に演奏させる逆方向再生ポタンである。 ボタン 5 4 Fは 、 演奏を逆方向に早送りする逆転早送りポタンである。
演奏コントロール部 5 3に設けられるポタンは、 この例に限られな い。 音楽データの演奏速度を可変し、 音楽デ一夕を任意の速度で演奏 させるためのコントロールを設けることも可能である。 なお、 音楽デ 一夕の演奏速度を可変とする場合、 入力 I Z F 1 7に対してジョグダ ィアルを接続し、 演奏速度をジョグダイアルの回転角により指示する と、 演奏速度の変更を容易に行うことができる。
データ表示部 5 4に表示された情報が、 音楽選択部 5 1の表示部 5 1 Bに表示された情報登録音楽データに登録可能な状態とされる。 例 えば、 ファイルやフォルダのアイコンをこのデータ表示部内 5 4にド ラッグ &ドロップして表示させることができる。 これに限らず、 デ一 夕表示部 5 4を、 このコンピュータ装置 1がアクセス可能なファイル やフォルダを参照する参照画面とすることもできる。 この場合、 例え ば、 ハードディスクドライブ 2 0内のファイルおよびフォルダや、 通 信 I 1 6を介して接続された他のコンピュータ内の、 当該コンビ ュ一タ装置 1に閲覧が許可されたファイルおよびフォルダ、 ドライブ 装置 2 1に現在装填されている記録媒体上のファイルおよびフォルダ などを表示させるようにできる。
決定ポタン 5 5は、 情報を情報登録音楽デ一夕の演奏位置に対して 関連付け、 音楽データに対して情報を登録するためのポタンである。 例えば、 情報登録音楽データを演奏中に決定ポタン 5 5をクリックす ることで、 情報登録音楽データと、 決定ボタン 5 5がクリックされた ときの演奏位置情報と、 選択された情報とが登録テーブル （詳細は後 述する） により関連付けられる。
次に、 登録画面 5 0による一例の情報登録手順について、 第 4図の フローチャートを用いて説明する。 先ず、 音楽選択部 5 1で、 情報登 録音楽データを選択する （ステップ S 1 0 ) 。 また、 データ表示部 5 4に対して情報を表示させる （ステップ S 1 1 ) 。 ここでは、 表示部 5 4には、 情報として、 ファイルおよびノまたはフォルダがアイコン 表示されるものとする。 例えばマウス 3 1などのポインティングデバ イスを用いて、 データ表示部 5 4において、 登録したい情報に対応し たアイコンを選択する （ステップ S 1 2 ) 。 第 3図の例では、 フアイ ル 「UWX. txt」 のアイコンが強調表示され、 このファイルが選択され ていることが示されている。 登録したい情報を選択したら、 ポタン 5 3 Bをクリックして、 音楽選択部 5 1で選択された情報登録音楽デ一 夕を演奏させる （ステップ S 1 3 ) 。 演奏は、 例えばスピーカ 1 9に より音声として再生される。
ユーザは、 情報登録音楽データの演奏をスピーカ 1 9から聴き、 選 択した情報を登録したいと思った演奏位置で （ステップ S 1 4 ) 、 決 定ポタン 5 5をクリックする （ステップ S 1 5 ) 。 決定ポタン 5 5の クリックに応じて、 例えば後述する登録テーブルにより、 情報登録音 楽データのクリックがなされた時点での演奏位置に対して、 選択され た情報が関連付けられ、 情報登録音楽データに対して情報が登録され る。 このとき、 情報登録音楽データの演奏を継続してもよいし、 情報 の登録に伴い演奏を停止させてもよい。
次に登録したい情報がある場合 （ステップ S 1 6 ) 、 処理はステツ プ S 1 2に戻される。 ここでは、 情報の登録に伴い、 演奏が停止され ているものとしている。
なお、 上述の手順は、 一例であって、 この例に限定されるものでは ない。 例えば、 ステップ S 1 0〜S 1 3の順序は、 この順に限られな い。 例えば、 ステップ S 1 0で情報登録音楽データを選択した後、 予 め情報登録音楽データの演奏を開始 （ステップ S 1 3 ) しておいてか ら、 データ表示部 5 4に情報を表示させ （ステップ S 1 1 ) 、 登録し たい情報を選択 （ステップ S 1 2 ) してもよい。 データ表示部 5 4に 情報を表示させてから情報登録音楽データの演奏を開始させ、 その後 に登録したい情報を選択することもできる。 また、 ステップ S 1 0の 情報登録音楽データは、 必ずしも手順の先頭で選択する必要はなく、 演奏開始までに選択されていればよい。
さらに、 複数の情報を連続的に登録する塲合の処理も、 上述に限定 されない。 例えば、 第 4図のフローチャートにおいて、 情報の登録後 に情報登録音楽データの演奏を継続させて、 次の情報を登録する場合 、 ステップ S 1 3の処理が省略される。 ステップ S 1 6からの戻り先 をステップ S 1 1とし、 デ一タ表示部 5 4に表示される情報を変更す ることもできる。 また、 ステップ S 1 6の戻り先をステップ S 1 0と し、 別の音楽データを情報登録音楽データとして、 処理を継続するこ とも可能である。 これらの場合においても、 ステップ3 1 0〜3 1 3 の順序は、 上述と同様に、 第 4図の順序に限られない。
さらにまた、 上述では、 デ一タ表示部 5 4において選択された情報 を、 情報登録音楽データに対して登録するように説明したが、 これは この例に限定されない。 例えば、 情報の登録時に新規に情報を作成し て、 情報登録音楽データの演奏位置に登録することができる。 この場 合、 情報登録音楽データを演奏中に、 デ一夕表示部 5 4において情報 が何も選択されていない状態で決定ポタン 5 5をクリックすることで 、 新規に.ファイルを作成し、 当該ファイルを情報登録音楽データに対 して登録することが考えられる。
一例として、 情報登録音楽デ一夕を演奏中に、 データ表示部 5 4に おいて情報が選択されていない状態で決定ポタン 5 5をクリックする と、 テキスト入力用のダイアログボックスが表示されるようにし、 こ のダイァログポックスに入力されたテキストデー夕を所定のフアイル に保存して情報登録音楽データの決定ポ夕ン 5 5がクリックされた演 奏位置に関連付け、 登録する。 情報登録音楽データを演奏中に、 デー 夕表示部 5 4において情報が選択されていない状態で決定ポタン 5 5 をクリックした際に起動されるアプリケーションソフトウェアを、 予. め、 あるいは、 クリック時に設定するようにしてもよい。
また、 上述では、 マウス 3 1などのポインティングデバイスを用い 、 クリックにより、 情報登録音楽デ一夕に対して情報を登録するよう に説明したが、 これはこの例に限定されない。 例えば、 キーポ一ド 3 0の所定のキーを情報登録のためのショートカツトキ一に設定するこ とができる。 この場合には、 ショートカットキーに設定されたキーに 予め手指を待機させておけば、 モニタ 1 5を見ることなく、 情報登録 音楽データの演奏を聴くだけで情報の登録を行うことができる。
さらに、 データ表示部 5 4に表示された情報を、 情報の登録に応じ て順次、 自動的に選択するようにできる。 このようにすると、 複数の 情報をより容易に登録することができる。
第 5図は、 この発明の実施の第 1の形態により情報登録音楽データ に対して登録された情報を検索するための一例のユーザィンターフェ イスを示す。 なお、 第 5図において、 上述した第 3図と共通する部分 には同一の符号を付し、 詳細な説明を省略する。
第 5図に一例が示されるように、 検索画面 7 0は、 上述した登録画 面 5 0と一部を共通とする G U Iにより構成される。 すなわち、 検索 画面 7 0は、 情報登録音楽データを指定するための音楽選択部 5 1、 情報登録音楽データの演奏位置を示す演奏位置表示部 5 2および情報 登録音楽データの演奏を制御する演奏コントロール部 5 3を備える。 これら音楽選択部 5 1、 演奏位置表示部 5 2および演奏コントロール 部 5 3に対して配置される各ポタン画像やアイテム画像の意味は、 上 述の登録画面 5 0における対応する部分と略同一であるので、 詳細な 説明は省略する。
検索ポタン 7 1は、 情報登録音楽データの演奏中にクリックするこ とで、 クリックしたときの演奏位置に対して登録された情報を検索す る。 検索結果は、 検索結果表示部 7 2に表示される。
検索画面 7 0による一例の情報検索手順について、 第 6図のフロー チャートを用いて説明する。 先ず、 音楽選択部 5 1で、 検索に用いる 情報登録音楽データを選択する (ステップ S 2 0 ) 。 そして、 ステツ プ S 2 1で、 ポタン 5 3 Bをクリックして、 音楽選択部 5 1で選択さ れた情報登録音楽データを演奏させる。 演奏は、 例えばスピーカ 1 9 により音声として再生される。
ユーザは、 この演奏を聴きながら、 演奏が所望の情報が登録されて いる演奏位置に到達したら （ステップ S 2 2 ) 、 検索ポタン 7 1をク リックする （ステップ S 2 3 ) 。 検索ポタン 7 1のクリックに応じて 、 例えば登録テーブルから、 選択された情報登録音楽データの当該ク リックがなされた演奏位置に登録された情報が検索される。 検索の結 果、 該当する情報があれば、 当該情報が検索結果表示部 7 2に表示さ れる。 第 5図の例では、 ファイル 「ACEG. tx t」 が検索結果として得ら れている。 また、 この例では、 検索結果が得られても、 情報登録音楽 データの演奏が継続されている。 当該情報登録音楽データに登録され た情報をさらに検索する場合には、 処理はステップ S 2 2に戻される 検索結果で得られたファイル 「ACEG. tx t」 は、 検索結果表示部 7 2 内でダブルクリックなどを行うことで閲覧できるようにできる。 この 場合、 当該ファイル 7 3に所定に関連付けられたアプリケーションソ フトウェアを、 当該ファイル 7 3を読み込ませた状態で起動させるよ うにすると、 好ましい。 これに限らず、 当該ファイル 7 3を、 ドラッ グ&ドロップにより適当なフォルダにコピーまたは移動するようにも できる。
なお、 第 5図の例では、 1つの演奏位置に対して、 1つの検索結果 が得られるようにしているが、 これはこの例に限定されない。 例えば 、 第 7図に一例が示されるように、 検索結果表示部 7 2に対して、 検 索ポタン 7 1をクリックしたときの演奏位置に登録されている情報 8 0を表示すると共に、 当該演奏位置の前後の演奏位置に登録されてい る情報 8 1および 8 2をそれぞれ表示するようにできる。 こうするこ とで、 検索ポタン 7 1をクリックするタイミングがずれても、 所望の 情報を検索することができる。
情報登録音楽データの演奏速度を可変させて情報を検索することも 可能である。 例えば、 演奏コントロール部 5 3に設けられた早送りポ タン 5 3 Aをクリックして演奏速度を速くして検索を行うことで、 目 的の情報をより迅速に探し出すことができる。 また、 第 3図および第 5図には示されていないが、 本来の演奏速度よりも演奏速度を遅くす るスロー演奏ポタンを演奏コントロール部 5 3に設け、 スロー演奏さ せながら情報の登録や検索を行うようにもできる。 演奏速度を遅める ことで、 登録画面 5 0においてはより多くの情報を情報登録音楽デ一 夕に対して登録することができ、 検索画面 7 0においても、 より精密 に検索することができる。 さらに、 入力 I Z F 1 7に入力装置として ジョグダイアルを接続し、 このジョグダイアルを用いて演奏速度を自 在に可変させて情報を検索することも可能である。
さらにまた、 入力 I / F 1 7に、 バイブレーション機能付きのコン トロールパッド 3 2を接続し、 情報登録音楽データに対して情報が登 録された演奏位置でバイブレーション機能を用いてコントロールパッ ド 3 2を振動させることも可能である。 情報の登録時や検索時に、 情 報登録音楽データによる演奏に応じて振動させることもできる。 また、 上述では、 マウス 3 1などのポインティングデバイスを用い 、 クリックにより、 情報登録音楽データに登録された情報を検索する ように説明したが、 これはこの例に限定されない。 例えば、 キーポー ド 3 0の所定のキーを情報検索のためのショートカツトキ一に設定す ることができる。 この場合には、 ショートカットキーに設定されたキ 一に予め手指を待機させておけば、 モニタ 1 5を見ることなく、 情報 登録音楽データの演奏を聴くだけで情報の検索を行うことができる。 第 8図は、 上述した、 情報登録音楽デ一夕と、 当該情報登録音楽デ 一夕の演奏位置と、 情報とを互いに関連付けるための登録テーブルの 一例を示す。 第 8図の一例の登録テ一ブル 6 0では、 音楽ファイル名 で示される情報登録音楽データの先頭からの演奏位置 （時間） に対し て、 情報が関連付けられる。 登録テーブル 6 0は、 例えばコンピュー 夕装置 1のハードディスクドライブ 2 0に所定に格納される。
第 8図の例では、 第 1行目〜第 4行目が、 ファイル名 「ABCD. WAV」 という情報登録音楽データ （非圧縮のオーディオデータとする） に対 して各情報が関連付けられている。 例えば、 第 1行目は、 この情報登 録音楽データの演奏位置 「1分 2 1秒 0 0」 に対して、 テキストファ ィルからなる情報 「C :¥DATA¥F ILE. TXT」 が関連付けられ登録されてい る例、 第 2行目は、 この情報登録音楽データの演奏位置 「1分26秒 2 1」 に対して、 プログラムファイル 「 ¥Program Files¥PR0G01.EX EJ が関連付けられ登録されている例、 第 3行目は、 この情報登録音 楽デ一夕の演奏位置 「2分 0 1秒 5」 に対して、 URL (Uniform Res ource Locator) r ttp://www. jpo. go. jp/j が関連付けられ登録され ている例である。 また、 第 4行目は、 情報登録音楽データを演奏中に データ表示部 54おいて情報を何も選択しないで決定ポタン 5 5をク リックした際の例である。 この例では、 テキストファイル 「C:¥memo¥ 0001.TXT」 が新規に作成され、 当該情報登録音楽データの演奏位置 「 3分 5秒 30」 に対して関連付けられ、 登録されている。
第 5行目〜第 7行目は、 第 1行目〜第 4行目とはそれぞれ異なる種 類の音楽データが情報登録音楽データとして用いられた例を示す。 第 5行目は、 情報登録音楽データが圧縮符号化されたオーディオデータ である場合の例である。 ここでは、 MP 3方式で圧縮符号化されたォ —ディォデータ 「1234. MP3」 の演奏位置 「0分 20秒 20」 に、 テレ ビジョン放送の情報 （放送チャンネル、 放送時間など） が関連付けら れ、 登録されている例が示される。 第 6行目は、 情報登録音楽データ が通信 I /F 1 6でネットワークを介して通信可能な他のコンピュー 夕装置上にある場合の例である。 情報登録音楽データのファイル名を 示す項目には、 当該情報登録音楽データのネットワーク上での位置 （ この第 7図の例では URL) が記述される。 また、 第 7行目は、 情報 登録音楽データが M I D Iデータである場合の例である。 ファイル名 「EFG.MID」 である M I D Iデータの本来の演奏速度での演奏位置 「 00分 30秒 0 1」 に、 動画データ 「C:¥MOVIE¥001.MOV」 が関連付け られ、 登録されている例が示される。
情報登録音楽データ上の位置 （アドレス） と時間情報としての演奏 位置とを対応付ける方法は、 情報登録音楽データの種類に応じて様々 に考えられる。 例えば、 情報登録音楽データが非圧縮の P C Mオーデ ィォデータであれば、 当該オーディオデータのサンプリング周波数と 、 演奏位置におけるサンプル番号とに基づき対応付けが可能である。 また例えば、 M P 3方式などによりブロック単位で圧縮符号化された オーディオデータの場合には、 演奏位置におけるブロック番号と、 当 該ブロック内のサンプル番号と、 当該オーディオデータのサンプリン グ周波数とに基づき対応付けが可能である。 さらに例えば、 M I D I デー夕などの演奏指示情報からなるデータの場合、 データそのものが 持つ時間情報を用いて対応付けが可能である。 このような、 音楽デ一 夕上の位置 （アドレス） と、 演奏位置 （時間情報） とを対応付ける技 術は、 極めて周知であるので、 詳細な説明を省略する。
なお、 上述では、 情報登録音楽データと、 当該情報登録音楽データ の演奏位置と、 情報とを登録テーブル 6 0を用いて関連付け、 情報登 録音楽データに対して情報を登録したが、 これはこの例に限定されな レ^ 例えば、 情報登録音楽デ一タそのもの、 あるいは、 情報登録音楽 データの属性情報として、 演奏位置および当該演奏位置に関連付けら れる情報とを記述するようにできる。 また、 登録テーブル 6 0を用い る場合、 当該登録テーブル 6 0を O S内部の情報とすることもできる 。
さらに、 検索画面 7 0の音楽選択部 5 1において、 参照ポタン 5 1 Aをクリックすることで一覧表示される音楽データ名を、 登録テープ ル 6 0に登録された情報登録音楽データに基づき表示すると、 情報の 登録に用いた情報登録音楽データを探す手間が省け、 好ましい。 また 、 登録画面 5 0において、 情報登録音楽デ一夕に対して、 ファイル名 や楽曲名などの情報登録音楽データに予め与えられている情報以外に 、 別途、 名前など属性情報を設定できるようにすると、 当該情報登録 音楽データにどんな情報を登録したかをユーザが容易に知ることがで き、 好ましい。 この場合、 検索画面 7 0の音楽選択部 5 1に対し、 別 途付された名前など属性情報を表示する表示部をさらに設け、 参照ポ タン 5 1 Aをクリックすることで一覧表示される音楽デ一夕名と共に 表示することができ、 所望の情報が登録された情報登録音楽データを 迅速に探すことができる。
なお、 上述では、 情報登録音楽データに対して、 直接的に情報を登 録するように説明したが、 これはこの例に限定されない。 例えば、 情 報の登録を階層的に行うことも可能である。 この場合、 第 1の情報登 録音楽データの演奏位置に対して第 2の情報登録音楽データを登録し 、 この第 2の情報登録音楽データの演奏位置に対して、 情報を登録す ることが考えられる。 第 1の情報登録音楽データに対して、 互いに異 なる複数の第 2の情報登録音楽データを登録し、 複数の第 2の情報登 録音楽デ一夕のそれぞれにさらに情報を適宜、 登録することで、 例え ば情報をカテゴリ分類して登録したり、 粗検索および詳細検索が可能 なように情報の登録を行うことが可能となる。
また、 上述では、 情報の検索を情報登録音楽デ一夕の演奏位置に基 づいてのみ、 行うように説明したが、 これはこの例に限定されず、 従 来のような、 モニタ 1 5に表示された映像やテキストによる検索と、 この発明による検索とを併用することもできる。 例えば、 大きなカテ ゴリ検索は、 モニタ 1 5の表示に基づきキ一ポード 3 0やマウス 3 1 などを用いた選択入力により行い、 検索されたカテゴリ内の情報を、 情報登録音楽デー夕の演奏位置に基づき行うようにできる。 このとき 、 情報登録音楽データに基づく検索の際に、 さらにジョグダイヤルや 早送りポタン, 5 3 Aなどを用いて音楽を早聴きしながら所望の情報の 凡その場所を探し、 最終的に情報の詳細な場所を決定する場合にモニ 夕 1 5に映出された映像で確認することも可能である。
さらに、 所定の情報に対して、 所定の音楽データの演奏位置情報と 、 当該音楽デ一夕の情報とをタグ情報として付加しておいてもよい。 当該音楽データそのものをさらに当該情報に付加することも考えられ る。
さらにまた、 情報が登録された情報登録音楽データを、 他の音楽デ —夕に変更することもできる。 このとき、 例えば変更前の情報登録音 楽データに当該情報が登録された際の演奏位置情報は、 変更後の音楽 データに対して適用することができる。 このように、 情報登録音楽デ 一夕を適宜変更することで、 秘匿性を高めることができる。
また、 この発明の応用例として、 第 9図に一例が示されるように、 この発明による情報登録および検索方法を、 電子メールの受信、 送信 および管理を行うメーラ 9 0に適用することもできる。 この場合、 メ ーラ 9 0に対して、 上述した、 音楽選択部 5 1、 演奏位置表示部 5 2 および演奏コント口一ル部 5 3が設けられる。 ユーザは、 メール一覧 表示部 9 1において選択されている電子メール 9 1 Aを、 上述と同様 にして、 表示部 5 1 Bに表示されている情報登録音楽データの演奏位 置に対して登録することができる。 メ一ラ 9 0にこの発明を適用する 場合、 登録に用いる情報登録音楽データを、 例えば電子メールの送信 者毎に異なるものとすることが考えられる。
この場合、 上述した階層構造を適用し、 第 1の情報登録音楽データ に対して電子メールの送信者情報を登録し、 電子メールの送信者のそ れぞれに対して互いに異なる第 2の情報登録音楽デ一夕を設定し、 各 送信者毎に異なる第 2の情報登録音楽データに対して、 当該送信者か らの電子メールを登録することができる。 さらに、 この発明の他の応用例として、 情報登録音楽データに対し て演奏位置をランダム的に複数の情報を登録し、 当該情報登録音楽デ 一夕のどの演奏位置に何の情報が登録されているかを当てる、 といつ たような、 ゲーム的な使用方法が考えられる。 一例として、 対になる 情報を、 情報登録音楽データのランダム的に指定された 2箇所の演奏 位置に対してそれぞれ登録し、 検索時には、 情報が登録されている演 奏位置を先ず探し、 次に、 当該演奏位置に登録されている情報と対に なる情報が登録されている演奏位置を探す、 といった、 トランプゲー ムの神経衰弱のような遊び方が可能である。
上述では、 情報登録音楽データに対して情報を登録するための登録 画面 5 0や、 情報登録音楽データに登録された情報を検索するための 検索画面 7 0などを、 G U Iを用いて構成したが、 これはこの例に限 定されず、 これらのュ一ザィンターフェイスを例えば C U I (Charac t er-based User Int er f ace)で構成することも可能である。
また、 上述では、 この発明の実施の第 1の形態をパーソナルコンビ ュ一夕のようなコンピュータ装置 1に適用したものとして説明したが 、 これはこの例に限定されない。 すなわち、 この発明は、 多数の情報 を蓄積でき、 音楽デ一夕の演奏が可能で、 ユーザにより操作可能な入 力手段を備えていれば、 他の情報機器にも適用することができる。 例 えば、 家庭用ゲーム機にこの発明を適用することができる。 また、 音 楽データの演奏機能とユーザデータの保存機能を備えた携帯電話端末 装置に対して、 この発明を適用することができる。
次に、 この発明の実施の第 2の形態について説明する。 上述した実 施の第 1の形態では、 情報を登録するために音楽データを用いた。 こ れに対し、 この発明の実施の第 2の形態では、 コンテンツデ一夕とし て映像データを用い、 映像データの再生位置に対して情報を登録する 。 映像データに音声デ一タや音楽データが伴ってもよい。 映像データ を情報の登録に用いる場合、 情報は、 映像データのフレーム位置に対 して登録される。 フレーム内の 2次元的な位置に対してさらに情報を 登録することも可能である。
なお、 情報の登録に用いる映像データは、 時間に伴い表示内容が変 化するものであって、 その変化が再現可能であれば、 どんな種類の映 像でも用いることができる。
例えば、 記録媒体に記録された映画やドラマなどの映像デ一夕を、 情報登録に用いることができる。 スポーツなどの実況録画による映像 データを情報登録に用いいてもよい。 また、 C G (Compu t er Gr aph i cs )で表現される映像などのように、 プログラムに従い再生される映像 デ一夕も、 情報登録に用いることができる。 さらに、 音楽と映像が同 等の比率を持つような、 音楽クリップ映像による映像デ一夕を情報登 録に用いると、 上述した音楽デ一タを用いて登録する場合の効果を加 味することができる。 さらにまた、 静止画像を所定の時間間隔で次々 に交換して映出する、 スライドショーのような映像データを、 情報登 録に用いることができる。 スライドショ一を用いる場合、 情報の登録 位置は、 静止画の表示タイミングに対応する。
第 1 0図 Aおよび第 1 0図 Bを用いて、 この発明の実施の第 2の形 態による情報管理方法について、 概念的に説明する。 第 1 0図 Aは、 例えばコンピュータ装置で再生される映像データ 2 0 0をフレームで 示した例である。 ュ一ザは、 例えばコンピュータ装置に映像データ 2 0 0を再生させる。 そして、 登録した情報を選択し、 再生された映像 データ 2 0 0をモニタで見ながら、 情報を登録したい場面でキーポー ドなど入力手段を所定に操作する。 この操作に応じて、 コンピュータ 装置において、 その操作時における映像デ一夕 2 0 0のフレームに対 して、 上述のユーザにより予め選択された情報が関連付けられ、 映像 データ 2 0 0に対して情報が登録される。 情報の登録位置は、 例えば 映像データ 2 0 0の時間管理に一般的に用いられる、 タイムコード （ h時間 m分 s秒 f フレーム） で表される。 これに限らず、 例えば、 映 像データ 2 0 0の先頭フレームから数えたフレーム番号で表してもよ い。
第 1 0図 Aおよび第 1 0図 Bの例では、 音声データ Aが映像データ 2 0 0のフレーム Sに関連付けられ、 映像データ Bがフレーム Tに関 連付けられる。 また、 テレビジョン番組 Cがフレーム Uに関連付けら れる。 詳細は省略するが、 様々な情報を映像データ 2 0 0に対応付け ることが可能な点は、 上述の実施の第 1の形態と同様である。
なお、 映像データが音楽データを伴う場合、 上述の実施の第 1の形 態と同様に、 音楽に基づき情報を登録することも考えられる。 この実 施の第 2の形態では、 この場合でも、 情報の登録位置は、 音楽データ の演奏位置に対応するフレーム位置とされる。 音楽データの演奏位置 に関連付けることも可能である。
この実施の第 2の形態による情報の検索方法についても、 音楽デー 夕が映像データに置き換わるだけで、 上述の実施の第 1の形態と考え 方は同じである。 すなわち、 例えば映像データ Bを検索する場合、 ュ 一ザは、 映像データ 2 0 0をコンピュータ装置で再生させ、 再生され た映像をモニタで見ながら、 情報登録の際に映像デー夕 Bを登録した 際に映出されたいた例えば場面が表示されたら、 キーボードなど所定 の入力手段を操作する。 この操作に応じて、 当該フレーム Tに関連付 けられた映像デ一夕 Bにアクセスされる。
映像に基づき検索を行う場合でも、 上述の実施の第 1の形態と同様 に、 直感的に情報を検索することができる。 なお、 映像データを用いて検索する場合でも、 ユーザが必ずしも情 報を登録したフレームを正確に指定できるとは限らないため、 情報を 登録したフレーム位置に対して所定の範囲内で、 当該情報を検索可能 とするとよい。 例えば、 上述と同様に、 第 1の情報の検索可能範囲を 、 第 1の情報の登録フレーム位置から、 当該第 1の情報の次に当該第 1の情報と同一映像上に登録された第 2の登録演奏位置までとするこ とが考えられる。 これに限らず、 情報登録フレーム位置から一定フレ ーム数までを、 検索可能範囲とすることができる。 情報登録フレーム 位置から前後の所定範囲のフレームを検索可能範囲としてもよい。 第 1 1図は、 この発明の実施の第 2の形態による情報登録を行うた めの一例のュ一ザイン夕一フェイスである。 なお、 この発明の実施の 第 2の形態には、 第 2図を用いて説明したコンピュータ装置 1を適用 可能であるため、 ハードウェア構成に関しては、 詳細な説明を省略す る。 また、 第 1 1図において、 上述した第 3図と共通する部分には同 一の符号を付し、 詳細な説明を省略する。
この実施の第 2の形態では、 情報の登録を行うためのユーザィンタ 一フェイスとして、 第 1 1図に例示されるように、 上述した第 3図に 示す登録画面 5 0に対して映像表示部 2 1 1を追加した構成の登録画 面 2 1 0を用いることができる。 登録画面 2 1 0に対して、 映像選択 部 5 1 ' 、 映像再生位置表示部 5 2 ' 、 再生コントロール部 5 3 ' 、 データ表示部 5 4および決定ポタン 5 5が設けられる。
映像選択部 5 1 ' は、 情報の登録に用いる映像データを選択する部 分である。 参照ポタン 5 1 A ' をクリックして一覧表示された映像デ 一夕から、 登録に用いたい映像デ一夕を選択すると、 選択された塩蔵 デ一夕のファイル名が表示部 5 1 Bに表示される。 選択された映像デ 一夕の属性情報を表示部 5 1 ' にさらに表示させることもできる。 以 下、 この情報の登録に用いる映像データを、 情報登録映像データと呼 ぶ。
なお、 情報登録映像データの形式は、 コンピュータ装置 1で再生可 能で、 且つ、 再生位置が特定できるものであれば、 特に限定されない 。 例えば、 MP E G 2 (Moving Pictures Experts Group 2)や MPE G 1で圧縮符号化された映像データを情報登録映像データとして用い ることができる。 また、 Qu i c kT i me (登録商標） や、 AV I (Audio-Video Interleaved)ファイルといった、 主にパーソナルコン ピュー夕で用いられる映像データも、 勿論、 利用可能である。
再生位置表示部 52， は、 表示部 52 Α' に対して映像選択部 5 1 ' の表示部 5 1 Βに表示された表示された映像データの全長が表示さ れ、 ポジションライン 52 Βにより、 現在の再生位置が示される。 ポ ジションライン 52 Βをドラッグすることで、 再生位置を変更させる ことも可能である。
再生コントロール部 53 ' は、 表示部 5 1 ' に表示された映像デ一 夕の再生を制御するためのポタン 53 A' 〜53 G' が設けられる。 ポタン 53A' は、 再生を早送りする早送りポタンである。 ポタン 5 3 B ' は、 本来の速度で順方向に再生させる再生ポタンである。 ボタ ン 54 C' は、 再生を停止させ再生位置を先頭に戻す停止ポタンであ る。 ポタン 54D' は、 再生位置は移動させずに再生を一時停止する 一時停止ポタンである。 一時停止ポタン 54 D' をクリックした後、 再び一時停止ポタン 54 D' をクリックするか、 再生ポタン 53 B' をクリックすれば、 一時停止した再生位置から再生が再開される。 ポ タン 54E' は、 本来の速度で逆方向に再生させる逆方向再生ポタン である。 ポタン 54 F' は、 再生を逆方向に早送りする逆転早送りポ タンである。 図示しないが、 正方向および逆方向のスロー再生ポタン や、 コマ送りポタンを設けると、 より好ましい。
さらに、 映像データを任意の速度で再生させるためのコントロ一ル を設けることもできる。 映像データの再生速度を可変とする場合、 入 力 I / F 1 7に対してジョグダイアルを接続し、 再生速度をジョグダ ィアルの回転角により指示すると、 再生速度の変更を容易に行うこと ができる。
データ表示部 5 4 ' に表示された情報が、 映像選択部 5 1 ' の表示 部 5 1 B ' に表示された情報登録映像データに登録可能な状態とされ る。 デ一夕表示部 5 4 ' に対する情報の表示は、 上述した第 3図の例 と同様なので、 詳細な説明を省略する。
決定ポタン 5 5は、 情報を情報登録映像データの演奏位置に対して 関連付け、 映像デ一夕に対して情報を登録するためのポタンである。 例えば、 情報登録映像データを演奏中に決定ポタン 5 5をクリックす ることで、 情報登録映像データと、 決定ポタン 5 5がクリックされた ときの再生位置情報と、 選択された情報とが登録テーブルにより関連 付けられる。 登録テーブルは、 情報登録映像データと、 当該情報登録 映像データの再生位置 （フレーム） と、 情報とを互いに関連付けるた めのテーブルである。
登録画面 2 1 0による情報登録手順は、 第 4図を用いて説明した実 施の第 1の形態による方法と、 略同一である。 例えば、 ユーザは、 映 像選択部 5 1 ' で情報登録映像データを選択する。 また、 表示部 5 4 に対して、 ファイルやフォルダのドラッグ &ドロップ操作などにより 、 情報を表示させる。 そして、 登録したい情報を選択する。 第 1 1図 の例では、 ファイル 「ILNP. tx t」 が選択されている。 ポタン 5 3 B ' をクリックして、 映像選択部 5 1 ' で選択された情報登録映像データ が再生される。 再生された映像データの映像は、 例えば映像表示部 2 1 1に映出される。
ユーザは、 映像表示部 2 1 1に映出された映像を見ながら、 選択し た情報を登録したいと思った再生位置で、 決定ポタン 5 5をクリック する。 この決定ポタン 5 5のクリックに応じて、 登録テーブルにより 、 情報登録映像データのクリックがなされた時点での再生位置 （フレ ーム） に対して、 選択された情報が関連付けられ、 情報登録映像デ一 夕に対して情報が登録される。 なお、 情報の登録は、 決定ポタン 5 5 に限らず、 例えば映像表示部 2 1 1をクリックして行うようにしても よい。
第 1 2図は、 この発明の実施の第 2の形態により情報登録映像デー 夕に対して登録された情報を検索するための一例のユーザィン夕ーフ エイスを示す。 なお、 第 1 2図において、 上述した第 5図や第 1 1図 と共通する部分にはそれぞれ同一の符号を付し、 詳細な説明を省略す る。
第 1 2図に一例が示されるように、 検索画面 2 2 0は、 上述した登 録画面 2 1 0と一部を共通とする G U Iにより構成される。 すなわち 、 検索画面 2 2 0は、 情報登録映像デ一夕を指定するための映像選択 部 5 1 ' 、 情報登録映像データの再生位置を示す再生位置表示部 5 2 および情報登録映像デ一夕の再生を制御する再生コントロール部 5 3 ， を備える。 これら映像選択部 5 1， 、 再生位置表示部 5 2 ' および 再生コントロール部 5 3 ' に対して配置される各ポタン画像やアイテ ム画像の意味は、 上述の登録画面 2 1 0における対応する部分と略同 一であるので、 詳細な説明は省略する。
検索ポタン 7 1は、 情報登録映像データの再生中にクリックするこ とで、 クリックしたときに再生位置 （フレーム） に対して登録された 情報を検索する。 検索結果は、 検索結果表示部 7 2に表示される。 検索画面 2 2 0による情報検索手順は、 第 6図を用いて説明した実 施の第 1の形態による方法と、 略同一である。 すなわち、 ユーザは、 映像選択部 5 1 ' で検索に用いる情報登録映像データを選択し、 ポ夕 ン 5 3 B ' をクリックして選択された情報登録映像データを再生させ る。 再生された情報登録映像データは、 映像表示部 2 1 1に映出され る。
ユーザは、 映像表示部 2 1 1に映出された映像を見ながら、 再生が 所望の上邦画と迂路屈されている再生位置 （フレーム） に到達したら 、 検索ポタン 7 1をクリックする。 この検索ポタン 7 1のクリックに 応じて、 登録テーブルにより、 情報登録映像データのクリックがなさ れた再生位置 （フレーム） に登録された情報が検索される。 検索の結 果、 該当する情報があれば、 当該情報が検索結果表示部 7 2に表示さ れる。 この第 1 2図の例では、 ファイル 「UXYB. txt」 が検索結果が得 られている。 なお、 情報の検索は、 検索ポタン 7 1に限らず、 例えば 映像表示部 2 1 1をクリックして行うようにしてもよい。
' 情報登録映像データの再生速度を可変させて情報を検索することも 可能である。 例えば、 再生コント口一ル部 5 3 ' に設けられた早送り ポタン 5 3 A ' をクリックして再生速度を速くして検索を行うことで 、 目的の情報をより迅速に探し出すことができる。 また、 第 1 1図お よび第 1 2図には示されていないが、 本来の再生速度よりも再生速度 を遅くするスロー再生ポタンやコマ送りポタンを再生コントロール部 5 3 ' に設け、 スロー再生させながら情報の登録や検索を行うように もできる。 再生速度を遅めることで、 登録画面 2 1 0においてはより 多くの情報を情報登録映像データに対して登録することができ、 検索 画面 2 2 0においても、 より精密に検索することができる。 さらに、 入力 I Z F 1 7に入力装置としてジョグダイアルを接続し、 このジョ グダイアルを用いて再生速度を自在に可変させて情報を検索すること も可能である。
さらにまた、 入力 I / F 1 7に、 バイブレーション機能付きのコン トロ一ルパッド 3 2を接続し、 情報登録映像データに対して情報が登 録された再生位置でバイブレーション機能を用いてコントロールパッ ド 3 2を振動させることも可能である。 情報の登録時や検索時に、 情 報登録映像データによる再生や、 情報登録映像データに伴い演奏され る音楽データなどに応じて振動させることもできる。
また、 上述では、 マウス 3 1などのポインティングデバイスを用い 、 クリックにより、 情報登録映像データに登録された情報を検索する ように説明したが、 これはこの例に限定されない。 例えば、 キ一ポー ド 3 0の所定のキーを情報検索のためのショートカツトキ一に設定す ることができる。 この場合には、 ショートカットキーに設定されたキ —に予め手指を待機させておけば、 目的の場面を見逃すことが無く、 より容易に検索を行うことができる。
なお、 この実施の第 2の形態においても、 上述の実施の第 1の形態 で説明した様々な拡張例、 例えば情報登録映像データそのものや、 情 報登録映像デ一夕の属性情報として再生位置および当該再生位置に関 連付けられる情報の記述、 情報登録映像データによる階層的な情報の 登録、 従来のテキストによる検索との併用、 情報側に所定の情報登録 映像データの再生位置情報と当該情報登録映像データの情報とを付加 する点などを適用することができる。
また、 上述では、 この発明の実施の第 2の形態を、 をパーソナルコ ンピュー夕のようなコンピュータ装置 1に適用したものとして説明し たが、 これはこの例に限定されない。 すなわち、 この発明は、 多数の 情報を蓄積でき、 映像データの再生が可能で、 ュ一ザにより操作可能 な入力手段を備えていれば、 他の情報機器にも適用することができる 。 例えば、 家庭用ゲ一ム機にこの発明を適用することができる。 また 、 映像データの再生機能とユーザデータの保存機能を備えた携帯電話 端末装置に対して、 この発明を適用することができる。

Claims

請 求 の 範 囲
1 . 時系列で変化するコンテンツデータの時間情報に対して情報を関 連付けるようにしたことを特徴とする情報管理方法。
2 . 請求の範囲 1に記載の情報管理方法において、
上記コンテンツデ一夕は音楽データであって、 上記時間情報は該音 楽データの演奏位置であることを特徴とする情報管理方法。
3 . 請求の範囲 2に記載の情報管理方法において、
上記音楽データは、 ォ一ディォデ一夕であることを特徴とする情報 管理方法。
4 . 請求の範囲 2に記載の情報管理方法において、
上記音楽デ一夕は、 演奏指示データであることを特徴とする情報管 理方法。
5 . 請求の範囲 2に記載の情報管理方法において、
上記関連付けは、 上記音楽デ一夕の演奏中になされる登録指示によ り行うようにされ、 上記演奏位置は、 上記音楽データの演奏中になさ れた上記登録指示のタイミングに基づくことを特徴とする情報管理方 法。
6 . 請求の範囲 2に記載の情報管理方法において、
上記音楽データの演奏位置に基づき情報を検索するようにしたこと を特徴とする情報管理方法。
7 . 請求の範囲 6に記載の情報管理方法において、
上記検索は、 上記音楽データの演奏中になされる検索指示により行 うようにされ、 上記演奏位置は、 上記音楽データの演奏中になされた 上記検索指示の夕イミングに基づくことを特徴とする情報管理方法。
8 . 請求の範囲 7に記載の情報管理方法において、
上記検索指示のタイミングに対して所定範囲内の上記演奏位置に基 づき上記情報を検索するようにしたことを特徴とする情報管理方法。
9 . 請求の範囲 1に記載の情報管理方法において、
上記コンテンツデータは、 映像データであって、 上記時間情報は、 該映像データのフレーム位置であることを特徴とする情報管理方法。
1 0 . 請求の範囲 9に記載の情報管理方法において、
上記関連付けは、 上記映像デ一夕の再生中になされる登録指示によ り行うようにされ、 上記フレーム位置は、 上記映像データの再生中に なされた上記登録指示のタイミングに基づくことを特徴とする情報管 理方法。
1 1 . 請求の範囲 1 0に記載の情報管理方法において、
上記映像データのフレーム位置に基づき情報を検索するようにした ことを特徴とする情報管理方法。
1 2 . 請求の範囲 1 1に記載の情報管理方法において、
上記検索は、 上記映像データの再生中になされる検索指示により行 うようにされ、 上記フレーム位置は、 上記映像データの再生中になさ れた上記検索指示のタイミングに基づくことを特徴とする情報管理方 法。
1 3 . 請求の範囲 1 2に記載の情報管理方法において、
上記検索指示のタイミングに対して所定範囲内の上記フレーム位置 に基づき上記情報を検索するようにしたことを特徴とする情報管理方 法。
1 4 . 請求の範囲 9に記載の情報管理方法において、
上記映像データは、 音声データおよび または音楽デ一夕を伴うこ とを特徴とする情報管理方法。
1 5 . 時系列で変化するコンテンツデータの時間情報に対して情報を 関連付ける情報管理方法をコンピュータ装置に実行させることを特徴 とする情報管理プログラム。
1 6 . 時系列で変化するコンテンツデータの時間情報に対して情報を 関連付けるようにしたことを特徴とする情報管理装置。
PCT/JP2005/020054 2004-11-01 2005-10-26 情報管理方法、情報管理プログラムおよび情報管理装置 WO2006049141A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP05799894A EP1818762A4 (en) 2004-11-01 2005-10-26 INFORMATION MANAGEMENT PROCEDURE, INFORMATION MANAGEMENT PROGRAM AND INFORMATION MANAGEMENT APPROACH
CN2005800374329A CN101061456B (zh) 2004-11-01 2005-10-26 信息管理方法和信息管理设备
US11/718,338 US7820901B2 (en) 2004-11-01 2005-10-26 Information management method, information management program, and information management device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2004-317843 2004-11-01
JP2004317843A JP2006127367A (ja) 2004-11-01 2004-11-01 情報管理方法、情報管理プログラムおよび情報管理装置

Publications (1)

Publication Number Publication Date
WO2006049141A1 true WO2006049141A1 (ja) 2006-05-11

Family

ID=36319148

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2005/020054 WO2006049141A1 (ja) 2004-11-01 2005-10-26 情報管理方法、情報管理プログラムおよび情報管理装置

Country Status (6)

Country Link
US (1) US7820901B2 (ja)
EP (1) EP1818762A4 (ja)
JP (1) JP2006127367A (ja)
KR (1) KR20070067179A (ja)
CN (1) CN101061456B (ja)
WO (1) WO2006049141A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220293136A1 (en) * 2019-11-04 2022-09-15 Beijing Bytedance Network Technology Co., Ltd. Method and apparatus for displaying music points, and electronic device and medium

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
USD618248S1 (en) 2008-09-23 2010-06-22 Apple Inc. Graphical user interface for a display screen or portion thereof
WO2010044220A1 (ja) * 2008-10-19 2010-04-22 Yoshino Takashi フェバリットソング選択型音楽付きメールシステム
JPWO2011105112A1 (ja) * 2010-02-27 2013-06-20 吉野　孝 音楽との同期表示ファイル作成システム
USD672366S1 (en) * 2011-06-10 2012-12-11 Apple Inc. Display screen or portion thereof with icon
USD733180S1 (en) * 2011-12-21 2015-06-30 Htc Corporation Display screen with an animated graphical user interface
CN103577060B (zh) * 2012-08-07 2017-11-28 联想(北京)有限公司 一种数据处理方法及电子设备
USD742906S1 (en) * 2013-01-23 2015-11-10 Htc Corporation Display screen with a graphical user interface
USD757737S1 (en) 2013-06-09 2016-05-31 Apple Inc. Display screen or portion thereof with icon
USD727960S1 (en) 2013-06-09 2015-04-28 Apple Inc. Display screen or portion thereof with graphical user interface
USD741874S1 (en) 2013-06-09 2015-10-27 Apple Inc. Display screen or portion thereof with animated graphical user interface
USD753678S1 (en) 2014-06-01 2016-04-12 Apple Inc. Display screen or portion thereof with animated graphical user interface
USD753711S1 (en) 2014-09-01 2016-04-12 Apple Inc. Display screen or portion thereof with graphical user interface
USD818037S1 (en) 2017-01-11 2018-05-15 Apple Inc. Type font
USD898755S1 (en) 2018-09-11 2020-10-13 Apple Inc. Electronic device with graphical user interface
USD902221S1 (en) 2019-02-01 2020-11-17 Apple Inc. Electronic device with animated graphical user interface
USD900925S1 (en) 2019-02-01 2020-11-03 Apple Inc. Type font and electronic device with graphical user interface
USD900871S1 (en) 2019-02-04 2020-11-03 Apple Inc. Electronic device with animated graphical user interface

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09101928A (ja) * 1995-07-28 1997-04-15 Matsushita Electric Ind Co Ltd 情報提供装置
JP2003116095A (ja) * 2001-10-04 2003-04-18 Fuji Xerox Co Ltd 映像処理装置
WO2004012105A2 (en) * 2002-07-29 2004-02-05 Hewlett-Packard Development Company, L.P. Presenting a collection of media objects
JP2004134983A (ja) * 2002-10-09 2004-04-30 Olympus Corp 情報処理装置及び情報処理プログラム

Family Cites Families (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02121058A (ja) * 1988-10-31 1990-05-08 Matsushita Electric Ind Co Ltd データファイル装置とデータ連想記憶検索方法及び検索装置
JPH06231179A (ja) * 1993-01-29 1994-08-19 Hitachi Ltd 情報検索方式
EP0626689B1 (en) * 1993-05-26 2002-07-31 Pioneer Electronic Corporation Karaoke reproducing apparatus
JP3340532B2 (ja) * 1993-10-20 2002-11-05 株式会社日立製作所 ビデオの検索方法および装置
JPH09130721A (ja) * 1995-10-26 1997-05-16 Sharp Corp 情報処理装置
JP4096132B2 (ja) * 1997-07-24 2008-06-04 富士ゼロックス株式会社 時系列情報の特定区間決定装置、情報蓄積装置および情報蓄積再生装置
JP3544829B2 (ja) * 1997-08-18 2004-07-21 株式会社東芝 情報記憶検索装置及び情報記憶検索方法
US6269238B1 (en) * 1997-08-20 2001-07-31 Ithaca Media Corporation Printed book augmented with associated electronic data
JP3211772B2 (ja) * 1998-06-02 2001-09-25 日本ビクター株式会社 円盤状の記録媒体
US6778760B1 (en) * 1999-04-26 2004-08-17 Microsoft Corporation Method and apparatus for synchronizing audio recordings with digital still frame images
JP2001086468A (ja) * 1999-09-14 2001-03-30 Pioneer Electronic Corp 情報信号記録再生装置及び情報信号の記録再生方法
JP4127750B2 (ja) * 2000-05-30 2008-07-30 富士フイルム株式会社 音楽再生機能付デジタルカメラ
US6819715B2 (en) * 2000-07-25 2004-11-16 Matsushita Electric Industrial Co., Ltd. Image decoding method, image decoding apparatus, and data storage medium
JP2002066128A (ja) * 2000-08-31 2002-03-05 Konami Co Ltd ゲーム装置、ゲーム処理方法及び情報記憶媒体
TW535073B (en) * 2000-10-23 2003-06-01 Ntt Comm Corp Music recognition method, system and computer readable medium storing music recognition program, and, commercial recognition method, system and computer readable medium storing commercial recognition program
JP3879402B2 (ja) * 2000-12-28 2007-02-14 ヤマハ株式会社 歌唱合成方法と装置及び記録媒体
JP2002288015A (ja) 2001-03-28 2002-10-04 Just Syst Corp ファイル検索方法および装置
JP2002311986A (ja) * 2001-04-17 2002-10-25 Alpine Electronics Inc ナビゲーション装置
US7020663B2 (en) * 2001-05-30 2006-03-28 George M. Hay System and method for the delivery of electronic books
US7408106B2 (en) * 2001-06-28 2008-08-05 Comverse Ltd. Tele-karaoke
JP3615195B2 (ja) * 2002-03-19 2005-01-26 株式会社東芝 コンテンツ記録再生装置およびコンテンツ編集方法
US7260257B2 (en) * 2002-06-19 2007-08-21 Microsoft Corp. System and method for whiteboard and audio capture
US7020710B2 (en) * 2002-06-21 2006-03-28 Thomson Licensing Streaming media delivery on multicast networks for network and server bandwidth minimization and enhanced personalization
JP2004127019A (ja) * 2002-10-03 2004-04-22 Sony Corp 情報処理装置および画像表示制御方法と画像表示制御プログラム
JP3915720B2 (ja) * 2002-11-20 2007-05-16 ソニー株式会社 映像制作システム、映像制作装置、映像制作方法
CA2474229C (en) * 2002-11-20 2014-11-04 Lg Electronics Inc. Recording medium having data structure for managing reproduction of still images recorded thereon and recording and reproducing methods and apparatuses
WO2004049710A1 (ja) * 2002-11-28 2004-06-10 Sony Corporation 再生装置、再生方法、再生プログラムおよび記録媒体
EP2819123A1 (en) * 2003-01-02 2014-12-31 Samsung Electronics Co., Ltd Multimedia apparatus with "slide-show" accompanied audio output
JP2004355767A (ja) * 2003-05-30 2004-12-16 Canon Inc 再生装置
JP3800207B2 (ja) * 2003-07-18 2006-07-26 ソニー株式会社 撮像装置
US8065616B2 (en) * 2003-10-27 2011-11-22 Nokia Corporation Multimedia presentation editor for a small-display communication terminal or computing device
EP1733392A2 (en) * 2004-02-10 2006-12-20 LG Electronics, Inc. Recording medium having a data structure for managing various data and recording and reproducing methods and apparatuses
KR20060047266A (ko) * 2004-04-26 2006-05-18 엘지전자 주식회사 기록매체, 기록매체의 재생방법과 재생장치
JP4687032B2 (ja) * 2004-08-10 2011-05-25 ヤマハ株式会社 音楽情報表示装置及びプログラム
JP4463071B2 (ja) * 2004-10-18 2010-05-12 船井電機株式会社 再生装置および再生方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09101928A (ja) * 1995-07-28 1997-04-15 Matsushita Electric Ind Co Ltd 情報提供装置
JP2003116095A (ja) * 2001-10-04 2003-04-18 Fuji Xerox Co Ltd 映像処理装置
WO2004012105A2 (en) * 2002-07-29 2004-02-05 Hewlett-Packard Development Company, L.P. Presenting a collection of media objects
JP2004134983A (ja) * 2002-10-09 2004-04-30 Olympus Corp 情報処理装置及び情報処理プログラム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220293136A1 (en) * 2019-11-04 2022-09-15 Beijing Bytedance Network Technology Co., Ltd. Method and apparatus for displaying music points, and electronic device and medium
US11587593B2 (en) * 2019-11-04 2023-02-21 Beijing Bytedance Network Technology Co., Ltd. Method and apparatus for displaying music points, and electronic device and medium

Also Published As

Publication number Publication date
CN101061456A (zh) 2007-10-24
US7820901B2 (en) 2010-10-26
KR20070067179A (ko) 2007-06-27
EP1818762A1 (en) 2007-08-15
JP2006127367A (ja) 2006-05-18
US20070294301A1 (en) 2007-12-20
CN101061456B (zh) 2010-06-09
EP1818762A4 (en) 2009-06-03

Similar Documents

Publication Publication Date Title
WO2006049141A1 (ja) 情報管理方法、情報管理プログラムおよび情報管理装置
US7735012B2 (en) Audio user interface for computing devices
JP4349313B2 (ja) 再生装置，再生制御方法およびプログラム
JP4412269B2 (ja) 電子機器、表示処理方法及びプログラム
US20020129036A1 (en) System and method for storing and manipulating multi-media
US20140230631A1 (en) Using Recognition-Segments to Find and Act-Upon a Composition
JP2010506307A (ja) 視聴覚閲覧のためのグラフィカルユーザインタフェース
TW200807297A (en) Improved mobile communication terminal and method
EP2191472A1 (en) Method for editing playlist and multimedia reproducing apparatus employing the same
KR20080056013A (ko) 미디어 선택 방법 및 시스템
JP2007528572A (ja) マルチメディアファイル再生機器用ユーザインターフェース
JP2009252054A (ja) 表示装置
JP2007528572A5 (ja)
JP5036716B2 (ja) 個人用通信デバイスにおけるファイルの管理
JP2008204560A (ja) 再生装置、再生方法、プログラム及び記録媒体
KR100829115B1 (ko) 이동통신 단말기의 콘텐츠 재생 방법 및 장치
KR100732665B1 (ko) 음악파일 관리 기능을 갖는 사용자 단말장치 및 그의 관리방법
JP5061634B2 (ja) 携帯型表示装置、表示方法およびプログラム
WO2021176564A1 (ja) 音響機器、プログラム、及び楽曲管理方法
JP4168566B2 (ja) 情報記録制御装置
JP5570794B2 (ja) オーディオ再生装置
CA2621128C (en) Management of files in a personal communication device
JP2005148983A (ja) メニュー作成装置
JP2010287274A (ja) 情報再生装置および情報再生方法
JP2008269780A (ja) 情報処理装置、情報処理方法及び情報処理プログラム

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A1

Designated state(s): AE AG AL AM AT AU AZ BA BB BG BR BW BY BZ CA CH CN CO CR CU CZ DE DK DM DZ EC EE EG ES FI GB GD GE GH GM HR HU ID IL IN IS KE KG KM KP KR KZ LC LK LR LS LT LU LV LY MA MD MG MK MN MW MX MZ NA NG NI NO NZ OM PG PH PL PT RO RU SC SD SE SG SK SL SM SY TJ TM TN TR TT TZ UA UG US UZ VC VN YU ZA ZM ZW

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): GM KE LS MW MZ NA SD SL SZ TZ UG ZM ZW AM AZ BY KG KZ MD RU TJ TM AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IS IT LT LU LV MC NL PL PT RO SE SI SK TR BF BJ CF CG CI CM GA GN GQ GW ML MR NE SN TD TG

121 Ep: the epo has been informed by wipo that ep was designated in this application
WWE Wipo information: entry into national phase

Ref document number: 2005799894

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 3174/DELNP/2007

Country of ref document: IN

WWE Wipo information: entry into national phase

Ref document number: 200580037432.9

Country of ref document: CN

WWE Wipo information: entry into national phase

Ref document number: 1020077009878

Country of ref document: KR

WWE Wipo information: entry into national phase

Ref document number: 11718338

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

WWP Wipo information: published in national office

Ref document number: 2005799894

Country of ref document: EP

WWP Wipo information: published in national office

Ref document number: 11718338

Country of ref document: US