WO2002076687A1 - Robot device and control method therefor, and storage medium - Google Patents

Robot device and control method therefor, and storage medium Download PDF

Info

Publication number
WO2002076687A1
WO2002076687A1 PCT/JP2002/002889 JP0202889W WO02076687A1 WO 2002076687 A1 WO2002076687 A1 WO 2002076687A1 JP 0202889 W JP0202889 W JP 0202889W WO 02076687 A1 WO02076687 A1 WO 02076687A1
Authority
WO
WIPO (PCT)
Prior art keywords
state
internal state
external
dialogue
external state
Prior art date
Application number
PCT/JP2002/002889
Other languages
English (en)
French (fr)
Inventor
Rika Horinaka
Masahiro Fujita
Atsushi Okubo
Kenta Kawamoto
Gabriel Costa
Masaki Fukuchi
Osamu Hanagata
Kotaro Sabe
Original Assignee
Sony Corporation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corporation filed Critical Sony Corporation
Priority to EP02705497A priority Critical patent/EP1407859A1/en
Priority to US10/296,403 priority patent/US7251606B2/en
Publication of WO2002076687A1 publication Critical patent/WO2002076687A1/ja

Links

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00Controls for manipulators
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/004Artificial life, i.e. computing arrangements simulating life
    • G06N3/008Artificial life, i.e. computing arrangements simulating life based on physical entities controlled by simulated intelligence so as to replicate intelligent life forms, e.g. based on robots replicating pets or humans in their appearance or behaviour
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00Controls for manipulators
    • B25J13/003Controls for manipulators by means of an audio-responsive input
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00Speaker identification or verification
    • G10L17/26Recognition of special voice characteristics, e.g. for use in lie detectors; Recognition of animal voices

Definitions

  • the present invention relates to a walking robot device, an articulated robot, or a computer graphics device that operates according to a command from a user or a surrounding environment.
  • the present invention relates to a dialogue device and method applied to animations (robot devices, etc.) using characters operating in CG) and storage media, and in particular, to communicate with a user on a conversation basis by generating sentences and speaking.
  • TECHNICAL FIELD The present invention relates to a robot device for performing the control, a control method thereof, and a storage medium.
  • the present invention relates to a robot device that generates and utters a sentence based on emotion of a robot device and the like, a control method thereof, and a storage medium, and in particular, generates a sentence according to an internal state of the robot device and the like.
  • the present invention relates to a mouthboard device that expresses an internal state by uttering and speaking, a control method thereof, and a storage medium.
  • robot devices Conventionally, walking-type robot devices, articulated robots that operate in response to commands from the user or the surrounding environment, or animations that use character graphics that operate on the combination graphics (CG), etc. Numerous proposals have been made and are being developed. Such robot devices or animations (hereinafter collectively referred to as “robot devices, etc.”) perform a series of operations in response to commands from the user.
  • a robot device with a shape and structure resembling a quadruped animal such as a dog that is, a “pet robot” responds to a command “down” from the user (for example, voice input). It takes a prone position, or performs a “hand” motion when the user puts his hand in front of his / her mouth.
  • a robot device or the like that imitates a real animal such as a dog or human be as close as possible to the motion and emotional expression of a real animal.
  • Recent intelligent robot devices are equipped with functions such as voice input / output, voice recognition, and voice synthesis, and can perform conversations with users on a voice basis. In such conversations and occurrences, it is desired not only to perform actions determined based on commands from the user and external environments, but also to operate autonomously like real animals.
  • As the utterance system for example, Japanese Patent Application Laid-Open Nos. H10-24771-94, H08-3393946, and H09-1600 are mentioned. it can.
  • Japanese Unexamined Patent Publication No. Hei 10—2 4 7 1 94 discloses that speech synthesis is performed by searching for an appropriate example for a difference in an already-translated error utterance intention and maintaining the consistency of the entire sentence. An automatic interpreter that can be used is disclosed. Also, Japanese Patent Application Laid-Open No. H08-3393946 discloses a friendly dialogue device by detecting various emotions of a user and outputting information from the convenience side according to the emotions. Is disclosed. Further, Japanese Patent Application Laid-Open No. Hei 9-1680 describes a practical voice dialogue system with a face image capable of easily responding to a change in the utterance theme and enabling a natural dialogue with a user. It is shown.
  • the voice dialogue system with a face image described in Japanese Patent Application Laid-Open No. 9-1600 is a system in which response contents corresponding to an utterance are defined in advance as a table. But this is the answer and then It is nothing but the pre-determined emotions.
  • An intelligent robot device or the like has an internal state composed of emotions and the like, and by communicating this internal state to the outside, communication with a user at a deeper level can be realized.
  • An object of the present invention is to use a walking-type mouth bot device, an articulated robot, or a character operating with a combination graphics (CG) that operates according to a command from a user or the surrounding environment.
  • An object of the present invention is to provide an excellent robot device, a control method thereof, and a storage medium that can be applied to a robot device for an animation or the like.
  • a further object of the present invention is to provide an excellent robot device, a control method thereof, and a storage medium that can generate and speak a sentence based on emotions of a robot device or the like.
  • a further object of the present invention is to provide an excellent robot apparatus, a control method thereof, and a storage medium, which can express a internal state by generating and speaking a sentence according to the internal state of the robot apparatus or the like. It is in.
  • the present invention has been made in consideration of the above problems, and a first aspect thereof is a robot apparatus having a function of interacting with a user or a control method thereof,
  • a dialogue control means or step for reflecting a change in the internal state in a dialogue with the user is a dialogue control means or step for reflecting a change in the internal state in a dialogue with the user.
  • a robot The device can recognize the external state, change the internal state such as emotion, and reflect the change in the internal state in the dialogue.
  • the internal state does not accompany the text, but exists independently of the system and constantly fluctuates from various external inputs and internal changes of the system.
  • the robot device and the like can express the internal state using words.
  • robotic devices and the like can express the emotions that change with the in-place interaction with the real world in words, it is possible to design and manufacture robotic devices and the like that are easy for anyone to understand and approach. The recreational and entertaining properties of the device and the like can be enhanced.
  • a robot device or the like can make a sentence based on not only an external stimulus of a question from a user but also various internal stimuli or an internal state by uttering a sentence according to the internal state.
  • a second aspect of the present invention is a robot apparatus having a function of interacting with a user or a control method thereof,
  • External state recognizing means or step for recognizing the input external state external state recognizing means or step for understanding the meaning of the recognized external state in sentence form;
  • the robot apparatus and the like recognize the external state, change the internal state such as emotion, and reflect the change in the internal state in the dialogue. be able to.
  • the internal state is not attached to the text, exists independently of the system, and constantly fluctuates from various external inputs and internal changes in the system.
  • the robot device and the like can express the internal state using words.
  • the internal state is composed of, for example, emotions of the robot device. Then, the internal state management means or step changes the internal state in response to the change of the external state.
  • the robot device or the like may include a database that stores the result of classifying the external state together with the internal state.
  • the dialogue generating means or step can generate a dialogue using a database.
  • the robot device or the like can express the change in the internal state using not only the dialog but also the body motion.
  • a third aspect of the present invention is a dialog device or a dialog control method for performing a dialog with a user
  • Dialog control means or steps for reflecting a change in the internal state in a dialog with the user A dialog device or a dialog control method characterized by comprising:
  • the dialog device or the dialog control method it is possible to recognize an external state, change an internal state such as an emotion, and reflect the change in the internal state in the dialog.
  • the internal state is not attached to the text, but exists independently of the system and constantly fluctuates from various external inputs and internal changes in the system.Therefore, even if the user is given the same question, The contents to be responded to in the internal state are various, and the answer method differs depending on the internal state, and the used internal state can be expressed.
  • a fourth aspect of the present invention is a dialog device or a dialog control method for performing a dialog with a user
  • the dialog device or the dialog control method it is possible to recognize an external state, change an internal state such as an emotion, and reflect the change in the internal state in the dialog.
  • the internal state is not attached to the text, exists independently of the system, and constantly fluctuates from various external inputs and internal changes in the system.
  • the internal state management means or step responds to a change in the external state.
  • the state of the unit may be changed.
  • the interactive apparatus may further include a database that stores a result of classifying the external state together with the internal state.
  • the dialogue sentence generation means or step can generate a dialogue sentence using the information stored on a database basis.
  • a fifth aspect of the present invention is a method for controlling a robot apparatus having a function of interacting with a user by executing computer software written in a computer readable format to execute the control on a convenience system.
  • the computer-readable storage medium stored in the computer.
  • An external state comprehension step for comprehending the semantic content of the recognized external state in sentence form
  • a sixth aspect of the present invention is a storage medium that physically stores, in a format that can be read by a viewer, software for viewing a viewer, which is described to execute interactive processing with a user on the viewer system.
  • An external state input step of inputting an external state is described.
  • An external state comprehension step for comprehending the semantic content of the recognized external state in sentence form
  • An output step of externally outputting the generated dialogue sentence A storage medium characterized by comprising:
  • the storage medium according to each of the fifth and sixth aspects of the present invention is, for example, a medium that provides computer software in a computer-readable format to a general-purpose computer that can execute various programs. It is.
  • a medium is, for example, a removable and portable storage medium such as a CD (Compact Disc), an FD (Flexible Disk), and an MO (Magneto-Optical disc).
  • CD Compact Disc
  • FD Compact Disc
  • MO Magnetto-Optical disc
  • Such a storage medium defines a structural or functional cooperative relationship between the computer software and the storage medium in order to realize predetermined computer software functions on a computer system. is there.
  • a cooperative operation is performed on the computer system.
  • FIG. 1 is a diagram showing an external configuration of a mobile robot 1 that performs legged walking with limbs according to an embodiment of the present invention.
  • FIG. 2 is a diagram schematically illustrating a hardware configuration of a control unit that controls the operation of the mobile robot 1.
  • FIG. 3 is a diagram schematically showing a functional configuration of the controller 32. As shown in FIG. 3
  • FIG. 4 is a diagram schematically showing a functional configuration of the signal recognition unit 41.
  • FIG. 5 is a diagram schematically showing a functional configuration of the emotion and instinct model unit 42. As shown in FIG. 4
  • FIG. 6 is a diagram schematically illustrating the interaction mechanism 70 of the mobile robot 1 according to the present embodiment.
  • FIG. 7 is a diagram showing an operation example of the interaction mechanism 70 when the mobile robot 1 is asked and answered by the user.
  • FIG. 8 is a diagram showing an operation example of the interaction mechanism 70 when the mobile robot 1 recognizes and speaks an object.
  • FIG. 1 shows an external configuration of a mobile robot 1 that performs legged walking with limbs and is used for carrying out the present invention.
  • the robot 1 is a multi-joint type mobile robot configured based on the shape and structure of an animal having limbs.
  • the mobile robot 1 according to the present embodiment has an aspect of a pet-type robot designed to imitate the shape and structure of a dog, which is a typical example of a pet animal. Can coexist with and express behavior in response to user operations o
  • the mobile robot 1 includes a torso unit 2, a head unit 3, a tail 4, and limbs or leg units 6A to 6D.
  • the fuselage unit 2 includes a control unit (to be described later, not shown in FIG. 1) for controlling the operation of the fuselage and a battery 21 (not shown in FIG. 1), which is a main power supply of the fuselage. Is housed.
  • the head unit 3 is disposed at a substantially upper front end of the body unit 2 via a neck joint 7 having degrees of freedom in the axial directions (illustration) of a roll, a pitch, and a hand.
  • the head unit 3 also includes an image recognition unit 15 such as a CCD (Charge Coupled Device) camera corresponding to the dog's “eye” and a microphone 16 corresponding to the “ear”. "One loudspeaker corresponding to mouth I, and a touch sensor 18 corresponding to tactile sensation, It is equipped with a number of LED indicators 19 and a remote controller receiving unit 20 for receiving commands transmitted from a user via a remote controller (not shown).
  • sensors that constitute the five senses of a living body may be included.
  • the tail 4 is attached to a substantially rear upper end of the body unit 2 via a tail joint 8 having a degree of freedom in roll and pitch axes so as to bend or swing freely.
  • Each leg unit 6A and 6B make up the forefoot, and the leg units 6C and 6D make up the hindfoot.
  • Each leg unit 6A to 6D is composed of a combination of a thigh unit 9A to 9D and a shin unit 10A to 10D, and the front, rear, left and right of the bottom of the body unit 2. It is attached to each corner.
  • the thigh units 9A to 9D are connected to respective predetermined portions of the body unit 2 by hip joints 11A to 1ID having degrees of freedom in respective axes of roll, pitch and unit.
  • the thigh units 9A to 9D and the shin unit 10A to 10D are connected by knee joints 12A to 12D having a degree of freedom of roll and pitch axes. .
  • the legged mobile robot 1 configured as shown in the figure drives each joint actuating unit in accordance with a command from a control unit, which will be described later.
  • the foot units 6A to 6D can be driven synchronously and cooperatively to realize operations such as walking and running.
  • the degrees of freedom of the joints of the mobile robot 1 are actually provided for each axis by the rotational drive of a joint actuator (not shown). Further, the number of degrees of freedom of the joints of the legged mobile robot 1 is arbitrary, and does not limit the gist of the present invention.
  • FIG. 2 schematically shows a hardware configuration of a control unit for controlling the operation of the mobile robot 1.
  • the head 3 is composed of a microphone 16 and a command receiving unit 30 including a remote controller receiving unit 20; an external sensor 31 including an image recognizing unit 15 and a sunset sensor 18; a speaker 17; It has an LED indicator 19.
  • the body 2 houses a battery 21 as a main power supply, and a controller 32 that controls the entire operation of the moving port boat 1 as a whole.
  • 21 includes a battery sensor 33 for detecting the remaining capacity of the battery and an internal sensor 35 composed of a heat sensor 34 for detecting heat generated inside the body.
  • a plurality of actuators 23A to 23N are provided in each part (for example, a driving joint part) of the mobile robot 1.
  • the command receiving unit 30 is composed of a remote controller receiving unit 20 and a microphone 16 for giving commands to the mobile robot 1 such as “walk”, “down”, “chase a ball”, etc. Command can be received.
  • the remote 'controller receiving unit 20 receives a command input to a remote' controller (not shown) by a user operation, generates a received signal S1A, and sends it to the controller 32.
  • commands from the remote controller are transferred using techniques such as infrared data communication (IrDA), short-range wireless data communication such as Bluetooth, and IEEE802.11b.
  • the microphone 16 collects the voice, generates a voice signal S 1 B, and sends it to the controller 32.
  • the evening sensor 18 of the external sensor 31 detects a user's action on the mobile robot 1, for example, an action such as “stroke” or “hit”. For example, when the user touches the evening sensor 18 to perform a desired action, a contact detection signal S 2 A corresponding to the action is generated and transmitted to the controller 32.
  • the image recognition unit 15 of the external sensor 31 detects, for example, surrounding environment information such as "dark” or "a favorite favorite", or " Another robot is moving, such as "A different robot is running.”
  • the image recognition unit 15 sends an image signal S 2 B obtained as a result of capturing a surrounding image to the controller 32.
  • the internal sensor 35 detects the internal state of the mobile robot 1 itself, for example, an internal state such as "hungry” or “heated”, which means that the remaining capacity of the battery has decreased. Yes, including battery 3 sensor 3 and thermal sensor 3 4.
  • the battery sensor 33 detects the remaining capacity of the battery 21 that is the main power supply of the airframe, and sends a battery capacity detection signal S 3 A as a result to the controller 32.
  • the heat sensor 34 detects the heat inside the fuselage, and the resulting heat detection signal S Send 3 B to controller 32.
  • the controller 32 includes a command signal S 1 supplied from the command receiving section 30, an external information signal S 2 supplied from the external sensor 31, and an internal information signal S 3 supplied from the internal sensor 35. Based on the control signals S5A to S5N for driving each actuator 23A to 23N based on these, each of them is directed to each actuator 23A to 23N. To control the operation of the aircraft.
  • the controller 32 generates an audio signal S10 and a light emission signal S11 for output to the outside as necessary.
  • the audio signal S10 is output to the outside via the speaker 17 and the light emission signal S11 is sent to the LED indicator 19 to obtain a desired light emission output (for example, blinking or changing color).
  • a desired light emission output for example, blinking or changing color.
  • FIG. 3 schematically illustrates the functional configuration of the controller 32.
  • the controller 32 includes a signal recognition section 41, an emotion / instinct model section 42, an action determination mechanism section 43, a posture transition mechanism section 44, and a control mechanism section 45. It consists of function modules. These functional modules can be actually realized by software processing on a computer for executing a predetermined program code.
  • the signal recognition unit 41 performs a process of recognizing and understanding each input signal indicating the internal state and the external environment.
  • FIG. 4 schematically shows the functional configuration of the signal recognition unit 41.
  • the function of the signal recognition unit 41 will be described with reference to FIG.
  • the evening sensor 18 is composed of, for example, a contact sensor and a pressure-sensitive sensor that are distributed over the whole body of the mobile robot 1. For example, if the user When an external force such as “stroke” or “hit” is applied, the sensor input signal S 2 A is supplied to the meaning conversion unit 52.
  • the semantic conversion processing unit 51 interprets or estimates the semantic contents included in the user operation such as “stroke” and “hit”, and outputs it to the language processing unit 56 as semantic conversion data in text format.
  • the image recognition unit 15 is configured by an imaging device such as a CCD (Charge Coupled Device).
  • the image input signal S 2 B that captures the user's behavior (such as gesture) is supplied to the semantic conversion processing unit 52.
  • the semantic conversion processing unit 56 interprets or estimates the semantic contents included in the user's behavior and behavior, and outputs the semantic conversion data in text format to the language processing unit 56.
  • visibility identification information for example, “cybercode” or landmark
  • the image recognition result and the unambiguous semantic conversion processing are performed. It can be carried out.
  • the audio input signal S 1 B from the microphone 16 is mounted on the head.
  • the voice recognition processing unit 53 recognizes the user's voice input via the voice input unit 53 as text, and outputs the text to the language processing unit 56.
  • the notch sensor 33 detects the remaining capacity of the battery 21 that is the main power supply of the airframe, and the resulting battery capacity detection signal S 3 A is supplied to the semantic conversion processing section 54.
  • the semantic conversion processing unit 54 interprets or estimates the semantic content included in the remaining capacity of the battery 21 such as “hungry” and outputs it to the language processing unit 56 as semantic conversion data in text format. I do.
  • the heat sensor 34 detects the heat inside the airframe, and the resulting heat detection signal S 3 B is supplied to the meaning conversion processing unit 55.
  • the semantic conversion processing unit 55 interprets or estimates the meaning contained in the heat of the aircraft, such as “there is heat,” and outputs it to the language processing unit 56 as semantic conversion data in text format.
  • the language processing unit 56 analyzes the meaning 'content of the input result from the external sensor 31 or the internal sensor 35 while using the language database 57, and understands it in a language, that is, a sentence format. Further, the language processing unit 56 sends the recognition result of the input information from the external sensor 31 or the internal sensor 35 to the emotion's instinct model unit 42 in a sentence form or another form.
  • the language database 57 stores the things that can be recognized or expressed in the mobile robot 1 on a database basis. In the present embodiment, the language database 57 manages the result of classifying the external state together with the emotion as a database, as described later. The content of the language database 57 changes depending on experience and learning.
  • the language processing unit 56 also processes the pleasure and discomfort of the matter in the mobile robot 1 and its meaning by comparing the language database 57.
  • the sentence according to the contents of the sentence is created by comparing those matters with the words disassembled according to the meaning.
  • the created text is displayed, for example, via an output device such as the speaker 17.
  • the emotion's instinct model unit 42 models and handles the emotions and instinct that constitute the internal state of the mobile robot 1, and based on environmental changes inside and outside the aircraft obtained via the signal recognition unit 41, the emotion model And change the instinct model.
  • the action decision mechanism 43 includes, in addition to the command signal S 1, the external information signal S 2, and the internal information signal S 3, the emotions “the emotions obtained by the instinct model unit 42” and the instinct state information S 10. Then, the next operation (action) performed by the mobile robot 1 is determined.
  • the posture transition mechanism unit 44 makes a posture transition plan for transitioning to the next operation (action) determined by the behavior determination mechanism unit 43.
  • the information on the action (behavior) determined by the action determining mechanism 43 is fed back to the emotion's instinct model section 42, and the emotion 'instinct model section 42 determines the determined action (behavior). Reference can be used to determine emotional and instinct status.
  • the control mechanism unit 45 drives each drive unit, such as Actuyue 23A to 23N. After the action is controlled and the posture is actually changed, the next action (action) determined by the action determining mechanism section 43 is executed.
  • FIG. 5 schematically shows the functional configuration of the emotion's instinct model unit 42.
  • the emotion's instinct model section 42 is composed of an emotion group 60 constituting an emotion model (Emotion) and an instinct model prepared as a model having different attributes from the emotion model. (Instinct) are roughly divided into desire groups 6 1.
  • the emotion model is composed of an emotion parameter having a certain value, and is a model for expressing an emotion defined by the mobile robot 1 in accordance with the value of the emotion parameter.
  • the value of the emotion parameter fluctuates mainly based on external input signals (external factors) such as “hitting” and “angry” detected by sensors such as pressure sensors and visual sensors.
  • external input signals external factors
  • the emotional parameters also change based on internal input signals (internal factors) such as the remaining battery capacity and internal temperature.
  • the instinct model is composed of an instinct parameter having a certain value, and is a model for expressing the instinct (desire) specified for the mobile robot 1 through an operation corresponding to the value of the instinct parameter. is there.
  • Instinct paramedic values change mainly based on internal input signals such as “I want to exercise” based on my action history or “I want to charge (I am hungry)” based on the remaining battery capacity.
  • the instinct parameters also change based on external input signals (external factors), like the emotion parameters.
  • emotion models and instinct models are composed of multiple types of models each having the same attribute. That is, the emotion group 60 has emotion units 60 A to 6 OF as independent emotion models having the same attribute, and the desire group 61 has a desire unit 61 as an independent desire model having the same attribute. A to 61D.
  • the emotion group 60 includes an emotion unit 60 A showing the emotion of “joy”, an emotion unit 60 B showing the emotion of “sadness”, an emotion unit 60 C showing the emotion of “anger”, and “surprise”.
  • the emotion unit 60 D showing the feeling of “fear”, the emotion unit 60 E showing the feeling of “disgust”, and the like.
  • the desire group 6 1 includes “a desire unit 6 1 B indicating a desire of movement instinct j”, “a desire unit 6 1 B indicating a desire of love instinct j”, and “recharge instinct”.
  • the desire unit 61 C indicating the desire of j
  • the desire unit 61 D indicating the desire of “Curiosity (Search Instinct) j, and the like.
  • the emotion unit 60 A to 60 F expresses the degree of the emotion by, for example, the intensity (emotion parameter overnight value) up to the 0 to 100 level, and the supplied command signal S l, Based on the external information signal S2 and the internal information signal S3, the intensity of emotion is changed every moment.
  • the emotions and instinct model 42 expresses the emotional state of the mobile robot 1 by combining the intensity of the emotional unit 60 A to 6 OF, which changes every moment, and models the temporal change of the emotion. I have.
  • the desired emotional units interact with each other to change the intensity.
  • emotional units are connected with each other in a mutually repressive or mutually stimulating manner so that they interact with each other and change in intensity.
  • the mobile robot 1 can recognize an external state on a sentence basis, generate an emotion based on the internal state, and reflect a change in the emotion in a conversation with the user.
  • the internal state here does not accompany the text, but exists independently of the system and constantly fluctuates from various external inputs and internal changes in the system. That is, since the mobile robot 1 performs an expression operation such as uttering a sentence according to its own internal state, the mobile robot 1 does not only respond to external stimuli such as questions from the user but also to various internal stimuli and internal states. Can be created and expressed in the form of dialogue with the user. Therefore, even if the same question is given to a robot device or the like, the content to be answered in the internal state at that time varies, and the answering method differs depending on the internal state.
  • FIG. 6 shows a dialogue mechanism provided on the mobile robot 1 according to the present embodiment.
  • the interaction mechanism 70 is composed of a recognition object 71, an understanding object 72, a language database 57, an internal state object 73, a generation object 74, and an execution object. 7 and 5.
  • the recognition object 71 captures input from a hardware such as a microphone 16 or a sunset sensor 18 into the system in a form that can be recognized.
  • the understanding object 72 gives meaning to the shape captured by the recognition object 71. For example, for pressure 80, give "HIT”, or for three corners, give "triangle".
  • the comprehension object 72 searches the thing which can be recognized and expressed from here with reference to the language database 57.
  • Language Data Base 5 7 is recognized for mobile robot 1. Things that can be understood or expressed are accumulated on a daily basis.
  • the language database 57 more preferably manages the results of classifying external states together with emotions in a database. The discomfort and implications of that matter in the mobile robot 1 are also handled by referring to the language database 57.
  • the language base is changed by experience and learning.
  • the language database 57 also has a sentence template, and can compare these matters with words decomposed according to meaning to create a sentence according to the contents of the sentence.
  • the recognition object 71, the understanding object 72, and the linguistic data base 57 are formed in the signal recognition unit 41 (see FIG. 3).
  • the internal state object 73 is composed of, for example, an instinct 'emotion model section 42 (see FIG. 3), and changes the internal state of the mobile robot 1 based on the meaning given by the understanding object.
  • the generated object 74 is composed of an action determining mechanism 43 (see FIG. 3), and based on the output of the understanding object 72 and the internal state object 73, the next motion (action) of the mobile robot 1 is performed. ) Is determined.
  • the generation object 74 generates the following operation in the form of an action expressed in the body operation and a sentence.
  • the execution object 75 executes the object generated by the generation object 74 and outputs the object to the outside. If the generated object is an action, the action is executed by the aircraft operation by driving the actuators 23A to 23N. When the generated object is a sentence, the object is executed by utterance through the speaker 17.
  • the execution object is composed of a posture transition mechanism 44 and a control mechanism 45 (see FIG. 3).
  • the execution result of the external output by the execution object 75 is fed back to the internal state object 73 to change the internal state.
  • FIG. 7 shows an operation example of the interaction mechanism 70 when the mobile robot 1 is asked and answered by the user.
  • the mobile robot 1 has a database of what can be recognized and expressed. A user Asks the mobile robot 1 “Do you like the ball?”, The mobile robot 1 picks up the human words with the microphone 16, and outputs the HMM (Hidden Markov Model) at the recognition object 7 1.
  • Hidden Markov 'model recognizes speech and decomposes sentences according to its meaning (Hidden Markov' model is a statistical model of speech units such as phonemes and words, and has a state transition structure. U).
  • the understanding object 72 indicates that the sentence input by speech is a question sentence, and that the subject (S), predicate (V), and that this sentence is a question of preference for S. Determine.
  • the sentence input by the understanding object 72 based on the sentence divided in the recognition object 71 is a question sentence, and the subject ( S), predicate (V), determine that this sentence is a question of why S is V.
  • FIG. 8 shows an operation example of the interaction mechanism 70 when the mobile robot 1 recognizes an object with a camera.
  • the mobile robot 1 captures an image of the object using the camera 15. Then, it is determined that the image captured by the recognition object 71 is a ball.
  • the comprehension object 72 extracts the “ball” by referring to the database 57, and judges that the “ball” is high in pleasure, that is, “like”.
  • the generated object 74 creates the sentence "S is V", that is, "I like the ball”. Then, in the execution object 75, a pronunciation sequence of the generated sentence is created, its waveform is generated, and the waveform is generated from the speaker 17, whereby the preference expression of the mobile robot 1 itself is realized.
  • the present invention is not necessarily limited to a product called a “robot”.
  • a mechanical device performs a motion similar to that of a human using electric or magnetic action
  • a product belonging to another industrial field such as a toy or the like can also be used in a book.
  • the invention can be applied.
  • the present invention can also be applied to animations using characters operating in combination graphics (CG).
  • a walking-type mouth bot device an articulated robot, or a character operating on a computer graphics (CG) that operates according to a command from a user or the surrounding environment It is possible to provide an excellent robot device, a control method thereof, and a storage medium that can be applied to a robot device such as an animation using a robot.
  • CG computer graphics
  • an excellent robot apparatus a control method therefor, and a storage medium which can express a internal state by generating and speaking a sentence according to the internal state of the robot apparatus or the like. Can be provided.
  • the robot apparatus and the like can express the internal state using words.
  • anyone can easily grasp the internal state of the robot device and the like, and for example, it becomes possible to understand the tastes of the robot and to communicate more deeply.
  • dialogue between humans and robotic devices The breadth becomes wider, the feeling of familiarity rises, emotions can be more easily introduced, and the robotic device can be felt closer to the user, so that coexistence between humans and the robotic device becomes easier.
  • the robot apparatus and the control method thereof since the robot apparatus and the like can express words and emotions that change according to the interaction with the real world, the robot can be easily understood and approached by anyone. It is possible to design and manufacture devices and the like, and the recreational and entertainment properties of the robot device and the like can be further enhanced.
  • the internal state (emotion is regarded as a part of the internal state) does not accompany the text, but exists independently in the system, and various external inputs and the system Is always fluctuating from the internal change of. Therefore, even if the same question is given to a robot device or the like, the contents to be answered in the internal state at that time vary, and the answering method differs depending on the internal state of the robot device or the like. It should be noted that the internal state is not based on the text, but the text is created based on the internal state.
  • a sentence is uttered according to the internal state, so that not only an external stimulus of a question from the user but also various internal stimuli or the internal state is used to create a sentence. It is possible to Variations are also possible, such as reflecting the factors that change the internal state in the text. In addition to the information on nouns, it is also possible to create sentences that reflect internal states and sentences that explain internal states for verbs and adjectives.

Description

明 細 書 ロボット装置及びその制御方法、 並びに記憶媒体 [技術分野] 本発明は、 ユーザからの指令や周囲の環境に応じて動作する歩行型のロボット 装置、 多関節ロボット、 あるいはコンピュータ 'グラフィックス (C G)で動作す るキャラクタを用いたアニメーションなど (ロボヅト装置等) に関して適用され る対話装置及び方法、 並びに記憶媒体に係り、 特に、 文章を生成して発話するこ とによってユーザと会話ベースでコミュニケーションを行うロボット装置及びそ の制御方法、 並びに記憶媒体に関する。
さらに詳しくは、 本発明は、 ロボット装置等の感情に基づく文章を生成して発 話するロボット装置及びその制御方法、 並びに記憶媒体に係り、 特に、 ロボット 装置等の内部状態に応じた文章を生成して発話することで内部状態を表現する口 ボヅト装置及びその制御方法、 並びに記憶媒体に関する。
[背景技術] 従来、ユーザからの指令や周囲の環境に応じて動作する歩行型のロボット装置、 多関節ロボット、 あるいはコンビユー夕'グラフィヅクス (C G )で動作するキヤ ラク夕を用いたアニメーションなどに関して、 数多の提案がなされ、 開発されて いる。 このようなロボット装置あるいはアニメーション (以下では、 これらをま とめて 「ロボット装置等」 とも呼ぶ) は、 ユーザからの指令に応答して一連の動 作を行う。
例えば、ィヌのような 4足歩行動物に類似された形状'構造のロボット装置、す なわち 「ペット ·ロボット」 においては、 ユーザからの「伏せ」 という命令(例え ば音声入力) に応答して伏せの姿勢をとつたり、 自分の口の前にユーザが手を差 し出すと 「お手」 の動作をしたりする。 このようにィヌゃヒトなどの現実の動物を摸したロボット装置等は、 できるだ け本物の動物がする動作や感情表現に近いことが望ましい。 また、 ユーザからの 指令や外部環境に基づいてあらかじめ決められた動作を行うだけでなく、 本物の 動物と同じように自律的に動作することが望ましい。 何故ならば、 ロボット装置 等が現実とはかけ離れた同じ動作を繰り返しているとユーザは飽きてしまい、 ま た、 同じ住環境下での人間との共生という、 ロボット装置等の開発の究極目的を 達成し得ないからである。
最近のインテリジェントなロボット装置等は、 音声入出力、 音声認識、 音声合 成などの機能を搭載し、音声ベースでユーザと会話'対話を行うことができる。こ の会話 ·発生においても、ユーザからの指令や外部環境に基づいて定められた動作 を行うだけでなく、 本物の動物と同じように自律的に動作することが望まれてい ところで、 従来の会話発声システムとしては、 例えば、 特開平 1 0— 2 4 7 1 9 4号公報、 特開平 8— 3 3 9 4 4 6号公報、 特開平 9— 1 6 8 0 0号公報など を挙げることができる。
特開平 1 0— 2 4 7 1 9 4号公報には、 既翻訳の誤り発話意図などの違いに対 して適切な用例を検索して文全体としての整合性を保って翻訳して音声合成する ことができる自動通訳装置について開示されている。 また、 特開平 8— 3 3 9 4 4 6号公報には、 ュ一ザの多様な感情を検出し、 この感情に応じて、 コンビユー 夕側から情報を出力することにより、 親しみの持てる対話装置について開示され ている。 また、 特開平 9— 1 6 8 0 0号公報には、 発話テーマの変更にも容易に 対応し得る、 実用的で且つユーザとの自然な対話が可能な顔画像付き音声対話シ ステムについて閧示されている。
しかしながら、 これら従来の会話発声システムは、 基本的には、 話者すなわち ユーザの音声認識とともに表情からの感情抽出を行い、 あくまで話者の話題に沿 つて、 話者の感情に合わせた文章を生成するものである。
また、 特開平 9— 1 6 8 0 0号公報に記載の顔画像付き音声対話システムは、 あらかじめ発話に対応する応答内容をテーブルとしてあらかじめ定義しておくシ ステムであり、 その応答内容に感情情報を含んでいるが、 これは返事とそのとき の感情があらかじめ決められていることに他ならない。
インテリジェントなロボット装置等は、 感情などからなる内部状態を備えてお り、 この内部状態を外部に出力することによって、 ユーザとより深いレベルでの コミュニケ一シヨンを実現することができる。
しかしながら、 いままでのロボット装置等では、 内部状態を表現する手段は四 肢の動作などに限定されたものしかなく、 誰にでも見て分るというものではなか つた。
[発明の開示] 本発明の目的は、 ユーザからの指令や周囲の環境に応じて動作する歩行型の口 ボット装置、 多関節ロボット、 あるいはコンビユー夕'グラフィックス (C G)で 動作するキャラクタを用いたアニメーションなどのロボット装置等に関して適用 することができる、 優れたロボット装置及びその制御方法、 並びに記憶媒体を提 供することにある。
本発明のさらなる目的は、 ロボット装置等の感情に基づく文章を生成して発話 することができる、 優れたロボット装置及びその制御方法、 並びに記憶媒体を提 供することにある。
本発明のさらなる目的は、 ロボット装置等の内部状態に応じた文章を生成して 発話することで内部状態を表現することができる、 優れたロボット装置及びその 制御方法、 並びに記憶媒体を提供することにある。 本発明は、 上記課題を参酌してなされたものであり、 その第 1の側面は、 ユー ザとの対話機能を備えたロボット装置又はその制御方法であって、
外部状態を入力する外部状態入力手段又はステツプと、
内部状態を管理する内部状態管理手段又はステツプと、
内部状態の変化をユーザとの対話に反映させる対話制御手段又はステップと、 を具備することを特徴とするロボット装置又はその制御方法である。
本発明の第 1の側面に係るロボット装置又はその制御方法によれば、 ロボット 装置等は、 外部状態を認識するとともに、 情動などの内部状態を変化させ、 この 内部状態の変化を対話に反映させることができる。 内部状態は文章に付随して 、 るものではなく、 システムに独立して存在し、 さまざまな外部入力とシステムの 内部変化から常に変動する。
したがって、 ロボット装置等に同じ質問を与えたとしても、 そのときの内部状 態において応える内容は区々で、答え方も内部状態によって相違する。すなわち、 ロボット装置等は言葉を使用した内部状態の表現が可能となる。
この結果、 誰でもロボット装置等の内部状態を容易に把握することができ、 例 えば、 ロボットの嗜好を理解したりより深いコミュニケ一シヨンが可能となる。 また、 人間とロボット装置等との対話の幅が広がったり、 親近感が沸き、 より感 情移入し易く、 ロボット装置等を身近に感じることができるようになるので、 人 間とロボット装置等との共存が容易になる。
また、 ロボット装置等はリアルワールドとのイン夕一ラクシヨンによって変化 する感情を言葉によって表現することができるので、 誰にでも判り易く親しみ易 いロボット装置等を設計'製作することが可能となり、ロボット装置等の娯楽性、 エンターティンメント性をより強くすることができる。
また、 ロボット装置等は、 内部状態によって文章を発声させることによって、 ユーザからの質問という外部刺激だけでなく、 さまざまな内部刺激、 若しくは内 部状態によって文章を作成することが可能となる。
また、 ロボット装置等は、 内部状態の変化要因などを文章に反映させるなど、 バリエーションも可能である。 その他、 名詞についての情報以外にも動詞や形容 詞について、 内部状態を反映させた文章及び内部状態を説明する文章を作成する ことが可能となる。
また、 本発明の第 2の側面は、 ユーザとの対話機能を備えたロボット装置又は その制御方法であって、
外部状態を入力する外部状態入力手段又はステップと、
該入力された外部状態を認識する外部状態認識手段又はステツプと、 該認識された外部状態の意味内容を文章形式で理解する外部状態理解手段又は ステップと、 内部状態を管理する内部状態管理手段又はステツプと、
内部状態に照らし合わせて外部状態の認識結果に沿った対話文を生成する対話 文生成手段又はステップと、
該生成された対話文を外部出力する出力手段又はステツプと、
を具備することを特徴とするロボット装置又はその制御方法である。
本発明の第 2の側面に係るロボット装置又はその制御方法によれば、 ロボット 装置等は、 外部状態を認識するとともに、 情動などの内部状態を変化させ、 この 内部状態の変化を対話に反映させることができる。 内部状態は文章に付随してい るものではなく、 システムに独立して存在し、 さまざまな外部入力とシステムの 内部変化から常に変動する。
したがって、 ロボット装置等に同じ質問を与えたとしても、 そのときの内部状 態において応える内容は区々で、答え方も内部状態によって相違する。すなわち、 ロボット装置等は言葉を使用した内部状態の表現が可能となる。
ここで、 内部状態は例えばロボット装置の情動で構成される。 そして、 前記内 部状態管理手段又はステツプは、 外部状態の変化に応答して内部状態を変化させ る。
また、 ロボット装置等は、 外部状態をクラス化した結果を内部状態とともに記 憶するデータベースを備えていてもよい。 このような場合、 前記対話文生成手段 又はステップは、 データベースを用いて対話文を生成することができる。
また、 内部状態に照らし合わせて外部状態の認識結果に沿つた機体の動作又は 行動を生成する動作'行動生成手段又はステツプと、 該生成された機体動作又は 行動を実現する機体制御手段又はステップとを備えていてもよい。 このような場 合、 ロボット装置等は、 内部状態の変化を、 対話だけではなく機体動作を用いて 発現することができる。
また、 本発明の第 3の側面は、 ユーザとの対話を行う対話装置又は対話制御方 法であって、
外部状態を入力する外部状態入力手段又はステップと、
内部状態を管理する内部状態管理手段又はステップと、
内部状態の変化をユーザとの対話に反映させる対話制御手段又はステップと、 を具備することを特徴とする対話装置又は対話制御方法である。
本発明の第 3の側面に係る対話装置又は対話制御方法によれば、 外部状態を認 識するとともに、 情動などの内部状態を変化させ、 この内部状態の変化を対話に 反映させることができる。 内部状態は文章に付随しているものではなく、 システ ムに独立して存在し、 さまざまな外部入力とシステムの内部変化から常に変動す したがって、 ユーザが同じ質問を与えたとしても、 そのときの内部状態におい て応える内容は区々で、 答え方も内部状態によって相違し、 使用した内部状態の 表現が可能となる。
また、 本発明の第 4の側面は、 ユーザとの対話を行う対話装置又は対話制御方 法であって、
外部状態を入力する外部状態入力手段又はステップと、
該入力された外部状態を認識する外部状態認識手段又はステツプと、 該認識された外部状態の意味内容を文章形式で理解する外部状態理解手段又は ステップと、
内部状態を管理する内部状態管理手段又はステップと、
内部状態に照らし合わせて外部状態の認識結果に沿った対話文を生成する対話 文生成手段又はステップと、
該生成された対話文を外部出力する出力手段又はステツプと、
を具備することを特徴とする対話装置又は対話制御方法である。
本発明の第 4の側面に係る対話装置又は対話制御方法によれば、 外部状態を認 識するとともに、 情動などの内部状態を変化させ、 この内部状態の変化を対話に 反映させることができる。 内部状態は文章に付随しているものではなく、 システ ムに独立して存在し、 さまざまな外部入力とシステムの内部変化から常に変動す る。
したがって、 ユーザが同じ質問を与えたとしても、 そのときの内部状態におい て応える内容は区々で、 答え方も内部状態によって相違し、 使用した内部状態の 表現が可能となる。
ここで、 前記内部状態管理手段又はステップは、 外部状態の変化に応答して内 部状態を変化させるようにしてもよい。
また、 対話装置は、 外部状態をクラス化した結果を内部状態とともに記憶する データベースをさらに備えていてもよい。 このような場合、 前記対話文生成手段 又はステップは、 デ一夕ベースに記憶された情報を用いて対話文を生成すること ができる。
また、 本発明の第 5の側面は、 ユーザとの対話機能を備えたロボット装置の制 御をコンビユー夕'システム上で実行するように記述されたコンピュータ ·ソフト ウェアをコンピュー夕可読形式で物理的に格納した記憶媒体であって、 前記コン ピュー夕.ソフトウエアは、
外部状態を入力する外部状態入力ステップと、
該入力された外部状態を認識する外部状態認識ステップと、
該認識された外部状態の意味内容を文章形式で理解する外部状態理解ステツプ と、
内部状態を管理する内部状態管理ステップと、
内部状態に照らし合わせて外部状態の認識結果に沿った対話文を生成する対話 文生成ステップと、
該生成された対話文を外部出力する出カステツプと、
を具備することを特徴とする記憶媒体である。
また、本発明の第 6の側面は、ユーザとの対話処理をコンビユー夕'システム上 で実行するように記述されたコンビユー夕 'ソフトウエアをコンビュ一夕可読形 式で物理的に格納した記憶媒体であって、 前記コンピュータ 'ソフトウェアは、 外部状態を入力する外部状態入力ステップと、
該入力された外部状態を認識する外部状態認識ステツプと、
該認識された外部状態の意味内容を文章形式で理解する外部状態理解ステツプ と、
内部状態を管理する内部状態管理ステツプと、
内部状態に照らし合わせて外部状態の認識結果に沿った対話文を生成する対話 文生成ステップと、
該生成された対話文を外部出力する出カステツプと、 を具備することを特徴とする記憶媒体である。
本発明の第 5並びに第 6の各側面に係る記憶媒体は、 例えば、 様々なプログラ ム 'コードを実行可能な汎用コンピュータ 'システムに対して、 コンピュータ ·ソ フトウェアをコンピュータ可読な形式で提供する媒体である。このような媒体は、 例えば、 C D (Compact Disc) や F D (Flexible Disk), M O (Magneto-Optical disc) などの着脱自在で可搬性の記憶媒体である。 あるいは、 ネットワーク (ネ ットワークは無線、 有線の区別を問わない) などの伝送媒体などを経由してコン ピュー夕 ·ソフトウエアを特定のコンピュータ ·システムに提供することも技術 的に可能である。
このような記憶媒体は、 コンピュータ ·システム上で所定のコンピュータ ·ソ フトウエアの機能を実現するための、 コンピュータ ·ソフトウエアと記憶媒体と の構造上又は機能上の協働的関係を定義したものである。 換言すれば、 本発明の 第 5並びに第 6の各側面に係る記憶媒体を介して所定のコンピュー夕 'ソフトゥ エアをコンピュータ 'システムにィンストールすることによって、コンビュ一夕 · システム上では協働的作用が発揮され、 本発明の第 2の側面に係るロボット装置 及びその制御方法、 並びに、 本発明の第 4の側面に係る対話装置及び対話制御方 法の各々と同様の作用効果を得ることができる。 本発明のさらに他の目的、 特徴や利点は、 後述する本発明の実施例や添付する 図面に基づくより詳細な説明によって明らかになるであろう。
[図面の簡単な説明] 図 1は、 本発明を実施に供される四肢による脚式歩行を行う移動ロボット 1の 外観構成を示した図である。
図 2は、 移動ロボット 1の動作を制御する制御ュニットのハードウェア構成を 模式的に示した図である。
図 3は、 コントローラ 3 2の機能構成を模式的に示した図である。
図 4は、 信号認識部 4 1の機能構成を模式的に示した図である。 図 5は、 感情,本能モデル部 4 2の機能構成を模式的に示した図である。
図 6は、 本実施形態に係る移動ロボット 1の対話メカニズム 7 0を模式的に示 した図である。
図 7は、 移動ロボット 1がユーザに尋ねられて答える場合の対話メカニズム 7 0の動作例を示した図である。
図 8は、 移動ロボット 1が物を認識して話す場合の対話メカニズム 7 0の動作 例を示した図である。
[発明を実施するための最良の形態] 以下、 図面を参照しながら本発明の実施形態について詳解する。 図 1には、 本発明を実施に供される、 四肢による脚式歩行を行う移動ロボット 1の外観構成を示している。 図示の通り、 該ロボット 1は、 四肢を有する動物の 形状や構造をモデルにして構成された多関節型の移動ロボットである。 とりわけ 本実施例の移動ロボット 1は、 愛玩動物の代表例であるィヌの形状及び構造を模 してデザインされたぺット型ロボットという側面を有し、 例えば人間の住環境に おいて人間と共存するとともに、 ユーザ操作に応答した動作表現することができ る o
移動ロボット 1は、 胴体部ユニット 2と、 頭部ユニット 3と、 尻尾 4と、 四肢 すなわち脚部ュニット 6 A〜 6 Dで構成される。
胴体部ュニット 2には、機体動作を統括的にコントロールする制御ュニット(後 述:図 1には図示せず) や、 機体の主電源であるバッテリ 2 1 (図 1には図示し ない) が収容されている。
頭部ユニット 3は、 ロール、 ピッチ及びョ一の各軸方向 (図示) の自由度を持 つ首関節 7を介して、 胴体部ユニット 2の略前上端に配設されている。 また、 頭 部ユニット 3には、 ィヌの 「目」 に相当する C C D (Charge Coupled Device:電 荷結合素子)カメラなどの画像認識部 1 5と、 「耳」に相当するマイクロフォン 1 6と、 「口 Iに相当するスピーカ 1 Ίと、触感に相当する夕ツチセンサ 1 8と、複 数の L E Dィンジケ一夕 1 9と、ユーザからリモート'コントローラ(図示しない) を介して送信される指令を受信するリモート'コントローラ受信部 2 0が搭載さ れている。 これら以外にも、 生体の五感を構成するセンサを含んでいても構わな い。
尻尾 4は、 ロール及びピッチ軸の自由度を持つ尻尾関節 8を介して、 胴体部ュ ニット 2の略後上端に湾曲若しくは揺動自在に取り付けられている。
脚部ュニット 6 A及び 6 Bは前足を構成し、 脚部ュニット 6 C及び 6 Dは後足 を構成する。 各脚部ユニット 6 A〜6 Dは、 それそれ、 大腿部ユニット 9 A〜9 D及び脛部ュニット 1 0 A〜1 0 Dの組み合わせで構成され、 胴体部ュニット 2 の底面の前後左右の各隅部に取り付けられている。大腿部ュニット 9 A〜9 Dは、 ロール、 ピッチ、 ョ一の各軸の自由度を持つ股関節 1 1 A〜1 I Dによって、 胴 体部ユニット 2の各々の所定部位に連結されている。 また、 大腿部ユニット 9 A 〜9 Dと脛部ュニット 1 0 A〜l 0 Dの間は、 ロール及びピッチ軸の自由度を持 つ膝関節 1 2 A〜l 2 Dによって連結されている。
図示のように構成された脚式移動ロボット 1は、 後述する制御部からの指令に より各関節ァクチユエ一夕を駆動することによって、 例えば、 頭部ユニット 3を 上下左右に振らせたり、 尻尾 4を振らせたり、 各足部ユニット 6 A〜 6 Dを同期 協調的に駆動させて歩行や走行などの動作を実現することができる。
なお、 移動ロボット 1の関節自由度は、 実際には各軸毎に配備され関節ァクチ ユエ一夕 (図示しない) の回転駆動によって提供される。 また、 脚式移動ロボッ ト 1が持つ関節自由度の個数は任意であり、 本発明の要旨を限定するものではな い o
図 2には、 この移動ロボット 1の動作を制御する制御ュニッ卜のハードウェア 構成を模式的に示している。
頭部 3は、マイク 1 6及びリモート 'コントローラ受信部 2 0からなるコマンド 受信部 3 0と、画像認識部 1 5及び夕ツチ'センサ 1 8からなる外部センサ 3 1と、 スピーカ 1 7と、 L E Dインジケ一夕 1 9とを有している。
また、 胴体部 2は、 主電源としてのバヅテリ 2 1を収容するとともに、 移動口 ボヅト 1全体の動作を統括的にコントロールするコントローラ 3 2と、 ノ ッテリ 2 1の残存容量を検出するためのバッテリ'センサ 3 3と、機体内部で発生する熱 を検出するための熱センサ 3 4からなる内部センサ 3 5とを備えている。
さらに、 移動ロボット 1の各部 (例えば駆動関節部分) には、 複数のァクチュ エー夕 2 3 A〜 2 3 Nがそれそれ配設されている。
コマンド受信部 3 0は、リモート 'コントローラ受信部 2 0やマイク 1 6などで 構成され、 ユーザが移動ロボット 1に与える指令、 例えば 「歩け」、 「伏せ」、 「ボ ールを追いかけろ」 などの指令を受信することができる。
リモート 'コントローラ受信部 2 0は、 ユーザ操作によりリモート 'コント口一 ラ (図示しない) に入力された指令を受信して、 受信信号 S 1 Aを生成して、 こ をコントローラ 3 2に送出する。例えば、 リモート'コントローラからの指令は、 赤外線デ一夕通信 (I r D A) や、 B l u e t o o t h、 I E E E 8 0 2 . 1 1 bなどの近距離無線データ通信などの技術を用いて転送される。
マイクロフォン 1 6は、 ユーザが所望の指令に応じた音声を発すると、 これを 集音して音声信号 S 1 Bを生成して、 コントローラ 3 2に送出する。
外部センサ 3 1の夕ツチ ·センサ 1 8は、 ユーザから移動ロボット 1への働き かけ、 例えば 「なでる」、 「たたく」 などの働きかけを検出する。 例えば、 ユーザ により夕ツチ'センサ 1 8が触れられて所望の働きかけがなされると、これに応じ た接触検出信号 S 2 Aを生成して、 コントローラ 3 2に送出する。
外部センサ 3 1の画像認識部 1 5は、 移動ロボット 1の周囲の環境を識別した 結果、 例えば 「暗い」、 「お気に入りのォモチヤがある」 などの周囲の環境情報を 検出したり、あるいは、 「他のロボッ卜が走っている」などの他の移動ロボッ卜の 動きを検出したりする。 この画像認識部 1 5は、 周囲の画像を撮影した結果得ら れる画像信号 S 2 Bをコントローラ 3 2に送出する。
内部センサ 3 5は、 移動ロボット 1自身の内部状態、 例えば、 バッテリの残存 容量が低下したことを意味する 「お腹が空いた」、 「熱がある」 などの内部状態を 検出するためのものであり、バッテリ 'センサ 3 3と熱センサ 3 4を含んでいる。 バッテリ.センサ 3 3は、機体の主電源であるバッテリ 2 1の残存容量を検出し て、その結果であるバッテリ容量検出信号 S 3 Aをコントローラ 3 2に送出する。 また、 熱センサ 3 4は、 機体内部の熱を検出して、 その結果である熱検出信号 S 3 Bをコントローラ 3 2に送出する。
コントローラ 3 2は、 コマンド受信部 3 0から供給される指令信号 S 1と、 外 部センサ 3 1から供給される外部情報信号 S 2と、 内部センサ 3 5から供給され る内部情報信号 S 3に基づいて、 各ァクチユエ一夕 2 3 A〜 2 3 Nを駆動させる ための制御信号 S 5 A〜S 5 Nを生成して、 これらをそれそれのァクチユエ一夕 2 3 A〜2 3 Nに向けて送出することによって、 機体の動作を統括的にコント口 ールする。
その際、 コントローラ 3 2は、 外部に出力するための音声信号 S 1 0や発光信 号 S 1 1を必要に応じて生成する。 このうち音声信号 S 1 0を、 スピーカ 1 7を 介して外部に出力し、 また、 発光信号 S 1 1を L E Dインジケータ 1 9に送出し て、 所望の発光出力 (例えば、 点滅したり色を変化させたりする) を行うことに より、 ユーザに機体の内部状態などの情報をフィードバックすることができる。 例えば、 発光出力により、 ユーザに自己の感情を知らせるようにすることができ る。 なお、 L E Dインジケータ 1 9に替えて、 画像を表示する画像表示部 (図示 しない) を備えるようにしてもよい。 これにより、 所望の画像表示を介して、 ュ —ザに自己の感情などの情報をより正確且つ詳細にユーザに提示することができ 。
次いで、 コントローラ 3 2による機体の制御について説明する。
図 3には、 コントローラ 3 2の機能構成を模式的に図解している。 同図に示す ように、 コントローラ 3 2は、 信号認識部 4 1と、 感情 ·本能モデル部 4 2と、 行 動決定機構部 4 3と、 姿勢遷移機構部 4 4と、 制御機構部 4 5という各機能モジ ユールで構成される。これらの機能モジュールは、実際には、所定のプログラム' コードを実行するという、 コンピュータ上でのソフトウエア処理により実現する ことができる。
信号認識部 4 1では、内部状態並びに外部環境を示す各入力信号を認識'理解す る処理が行われる。図 4には、信号認識部 4 1の機能構成を模式的に示している。 以下、 この図を参照しながら、 信号認識部 4 1の機能について説明する。
夕ツチ ·センサ 1 8は、 例えば移動ロボット 1の全身に分散して配置された接 触センサゃ感圧センサで構成される。 例えば、 ユーザが移動ロボット 1に対して 「なでる」 や 「叩く」 などの外力を印加したときには、 そのセンサ入力信号 S 2 Aが意味変換部 5 2に供給される。意味変換処理部 5 1では、 「なでる」や「叩く」 などのユーザ操作が包含する意味内容を解釈又は推定して、 テキスト形式の意味 変換データとして言語処理部 5 6に出力する。
画像認識部 1 5は、 例えば C C D (Charge Coupled Device) などの撮像装置で 構成されている。 例えば、 ユーザの動作 '挙動 (ジエスチヤなど) を捕捉した画 像入力信号 S 2 Bは、 意味変換処理部 5 2に供給される。 意味変換処理部 5 6で は、 ユーザの動作 '挙動が包含する意味内容を解釈又は推定して、 テキスト形式 の意味変換データとして言語処理部 5 6に出力する。 また、 言語形式の意味があ らかじめ定義されている視認性識別情報 (例えば 「サイバーコ一ド」 やランドマ —クなど) を画像入力する場合には、 画像認識結果と一義の意味変換処理を行う ことができる。
マイクロフォン 1 6からの音声入力信号 S 1 Bは、 頭部に搭載されている。 音 声認識処理部 5 3は、 音声入力部 5 3を介して入力されるユーザの音声をテキス トとして認識されて、 言語処理部 5 6に出力する。
ノ ツテリ ·センサ 3 3は、機体の主電源であるバッテリ 2 1の残存容量を検出し て、 その結果であるバッテリ容量検出信号 S 3 Aは、 意味変換処理部 5 4に供給 される。意味変換処理部 5 4では、 「お腹が空いた」などのバッテリ 2 1の残存容 量が包含する意味内容を解釈又は推定して、 テキスト形式の意味変換データとし て言語処理部 5 6に出力する。
熱センサ 3 4は、 機体内部の熱を検出して、 その結果である熱検出信号 S 3 B は、 意味変換処理部 5 5に供給される。意味変換処理部 5 5では、 「熱がある」な どの機体の熱が包含する意味内容を解釈又は推定して、 テキスト形式の意味変換 データとして言語処理部 5 6に出力する。
言語処理部 5 6は、 言語データベース 5 7を利用しながら、 外部センサ 3 1や 内部センサ 3 5などからの入力結果が持つ意味'内容を解析して、言語すなわち文 章形式で理解する。 また、 言語処理部 5 6は、 外部センサ 3 1や内部センサ 3 5 からの入力情報の認識結果を、文章形式又は他の形式で、感情'本能モデル部 4 2 に送出する。 言語データベース 5 7は、 移動ロボット 1において認識又は発現することので きる事柄をデ一夕ベース化して蓄積している。 本実施形態では、 言語デ一夕べ一 ス 5 7は、 後述するように、 外部状態をクラス化した結果を、 情動とともにデー 夕ベース管理している。 言語データベース 5 7の記憶内容は、 経験や学習により 変更する。
言語処理部 5 6では、 移動ロボット 1の中でのその事柄についての快不快とそ の意味合いも、 言語データベース 5 7を照合することで処理する。 また、 それら の事柄と意味合いによって分解した言葉とを照らし合わせ、 文の内容に沿った文 章を作成する。 作成された文章は、 例えば、 スピーカ 1 7のような出力装置を介 して表出される。
再び図 3に戻って、コントローラ 3 2による制御について説明する。感情'本能 モデル部 4 2は、 移動ロボット 1における内部状態を構成する感情や本能をモデ ル化して取り扱い、 信号認識部 4 1を介して得られる機体内外での環境変化に基 づいて感情モデルや本能モデルに変化を与える。
行動決定機構部 4 3は、 指令信号 S 1、 外部情報信号 S 2、 及び、 内部情報信 号 S 3に加えて、 感情'本能モデル部 4 2により得られた感情'本能状態情報 S 1 0に基づいて、 移動ロボヅト 1が実行する次の動作 (行動) を決定する。
姿勢遷移機構部 4 4は、行動決定機構部 4 3により決定された次の動作(行動) に遷移するための姿勢の遷移計画を立てる。 なお、 行動決定機構部 4 3により決 定された動作(行動)に関する情報は、感情'本能モデル部 4 2にフィードバック されて、 感情'本能モデル部 4 2では、 決定された動作(行動) を参照して感情や 本能の状態を決定することができる。
制御機構部 4 5は、 姿勢遷移機構部 4 4から姿勢遷移計画に基づいて送られて くる姿勢遷移情報 S 1 8に基づいて、 ァクチユエ一夕 2 3 A〜2 3 Nなどの各駆 動部の動作を制御して、 実際に姿勢を遷移させてから、 行動決定機構部 4 3にて 決定された次の動作 (行動) を実行させる。
図 5には、感情'本能モデル部 4 2の機能構成を模式的に示している。同図に示 すように、 感情'本能モデル部 4 2は、 感情モデル (Emotion) を構成する情動群 6 0と、 感情モデルとは属性の異なるモデルとして用意された本能モデル (Instinct) を構成する欲求群 6 1に大別される。
ここで、 感情モデルはある値を有する感情パラメ一夕によって構成され、 移動 ロボット 1に規定された感情を感情パラメ一夕の値に応じた動作を表出させるた めのモデルである。 感情パラメ一夕は、 主に、 圧力センサや視覚センサなどのセ ンサによって検出された 「叩かれた」、 「怒られた」 といった外部入力信号 (外的 要因) に基づいて値が上下変動する。 勿論、 感情パラメ一夕は、 バッテリ残存容 量や体内温度などの内部入力信号 (内的要因) に基づいても変化する。
また、 本能モデルは、 ある値を有する本能パラメ一夕によって構成され、 移動 ロボット 1に規定された本能 (欲求) を本能パラメ一夕の値に応じた動作を介し て表出させるためのモデルである。 本能パラメ一夕は、 主に、 行動履歴に基づい た「運動がしたい」、 あるいは、 バッテリ残存容量に基づく 「充電がしたい (お腹 が空いた)」 といった内部入力信号に基づいて値が上下変動する。勿論、本能パラ メ一夕も、 感情パラメ一夕と同様、 外部入力信号 (外的要因) に基づいても変ィ匕 する。
これら感情モデル及び本能モデルは、 それそれ同一属性とされる複数種類のモ デルによって構成されている。 すなわち、 情動群 6 0が同一属性からなる独立し た感情モデルとしての情動ュニット 6 0 A〜6 O Fを有し、 欲求群 6 1が同一属 性からなる独立した欲求モデルとしての欲求ユニット 6 1 A~ 6 1 Dを有してい る。
情動群 6 0としては、 「うれしさ」の感情を示す情動ユニット 6 0 A、 「悲しさ」 の感情を示す情動ュニット 6 0 B、 「怒り」 の感情を示す情動ュニット 6 0 C、 「驚き」の感情を示す情動ュニット 6 0 D、 「恐れ」の感情を示す情動ュニット 6 0 E、 並びに「嫌悪」の感情を示す情動ュニット 6 0 Fなどが挙げられる。 また、 欲求群 6 1としては、 「運動欲(Movement Instinct)jの欲求を示す欲求ュニット 6 1 As 「愛情欲 (Love Instinct)j の欲求を示す欲求ュニット 6 1 B、 「食欲 (Recharge Instinct )j の欲求を示す欲求ュニッ ト 6 1 C、 「好奇心 (Search Instinct)j の欲求を示す欲求ュニット 6 1 Dなどが挙げられる。
情動ュニット 6 0 A〜6 0 Fは、 情動の度合いを例えば 0〜1 0 0レベルまで の強度 (感情パラメ一夕値) によってそれそれ表し、 供給される指令信号 S l、 外部情報信号 S 2、 及び内部情報信号 S 3に基づいて情動の強度をそれそれ時々 刻々と変化させる。かくして、感情 ·本能モデル 4 2は、時々刻々と変化する情動 ユニット 6 0 A〜 6 O Fの強度を組み合わせることにより、 移動ロボット 1の感 情の状態を表現し、 感情の時間変化をモデル化している。
さらに、 所望の情動ュニットどうしが相互に影響し合って強度が変化するよう にもなされている。 例えば、 情動ユニットどうしを相互抑制的又は相互刺激的に 結合し、 相互に影響し合って強度が変化するようにしている。
本実施形態に係る移動ロボット 1は、 外部状態を文章ベースで認識するととも に、 内部状態を基に情動を発生させて、 情動の変化をユーザとの対話に反映させ ることができる。 ここで言う内部状態は、 文章に付随しているものではなく、 シ ステムに独立して存在し、 さまざまな外部入力とシステムの内部変化から常に変 動する。 すなちわ、 移動ロボット 1は、 自身の内部状態によって文章を発声する などの表出動作を行なうので、 ユーザからの質問という外部刺激だけでなく、 さ まざまな内部刺激や内部状態によって文章を作成し、 ユーザとの対話という形態 で表出することができる。 したがって、 ロボット装置等に同じ質問を与えたとし ても、 その時々における内部状態において応える内容は区々で、 答え方も内部状 態によって相違する。
図 6には、 本実施形態に係る移動ロボット 1上で提供される対話メカニズム 7
0を模式的に示している。 同図に示すように、 この対話メカニズム 7 0は、 認識 オブジェクト 7 1と、 理解オブジェクト 7 2と、 言語デ一夕ペース 5 7と、 内部 状態オブジェクト 7 3と、 生成オブジェクト 7 4と、 実行オブジェクト 7 5とで 構成される。
認識オブジェクト 7 1は、 マイクロフォン 1 6や夕ツチ ·センサ 1 8などのハ —ドウヱァからの入力を認識し得る形でシステム内に取り込む。
理解オブジェクト 7 2は、 認識ォブジェクト 7 1によって取り込まれた形に対 して、意味を与える。例えば、圧力 8 0に対して" H I T"という意味を与えたり、 角が 3つに対して 「三角形」 という意味を与える。
理解オブジェクト 7 2は、言語データベース 5 7を参照して、認識'発現できる 事柄をここから探索する。 言語デ一夕ベース 5 7は、 移動ロボット 1において認 識又は発現することのできる事柄をデ一夕ベース化して蓄積している。 言語デ一 夕ベース 5 7は、 より好ましくは、 外部状態をクラス化した結果を情動とともに データべ—ス管理している。 移動ロボット 1の中でのその事柄についての快不快 とその意味合いも、 言語データベース 5 7を参照することによって処理される。 言語デ一夕ベース 5 7は、経験や学習により変更する。言語データベース 5 7は、 文章テンプレートも備え、 それらの事柄と意味合いによって分解した言葉とを照 らし合わせ、 文の内容に沿った文章を作成することができる。
認識オブジェクト 7 1と、理解オブジェクト 7 2と、言語デ一夕ペース 5 7は、 信号認識部 4 1 (図 3を参照のこと) 内で構成される。
内部状態オブジェクト 7 3は、例えば、本能'感情モデル部 4 2 (図 3を参照の こと) によって構成され、 理解オブジェクトによって付けられた意味合いに基づ いて移動ロボット 1の内部状態を変化させる。
生成オブジェクト 7 4は、 行動決定機構部 4 3 (図 3を参照のこと) によって 構成され、 理解オブジェクト 7 2並びに内部状態オブジェクト 7 3の出力に基づ いて、 移動ロボット 1の次の動作 (行動) を決定する。 本実施形態では、 生成ォ ブジェクト 7 4は、 機体動作で発現する行動、 並びに文章という形式で次の動作 を生成する。
実行オブジェクト 7 5は、 生成オブジェクト 7 4により生成されたォブジェク トを実行して外部出力する。 生成されたオブジェク卜が行動であった場合には、 ァクチユエ一夕 2 3 A〜2 3 Nの駆動による機体動作によって実行される。また、 生成されたオブジェク卜が文章であった場合には、 スピーカ 1 7を介した発声に よって実行される。 実行オブジェクトは、 姿勢遷移機構部 4 4と制御機構部 4 5 (図 3を参照のこと) によって構成される。
また、 実行オブジェクト 7 5による外部出力の実行結果は、 内部状態オブジェ クト 7 3にフィードバックされ、 内部状態を変化させる。
次いで、 移動ロボット 1の対話メカニズム 7 0の動作例について説明する。 図 7には、 移動ロボット 1がユーザに尋ねられて答える場合の対話メカニズム 7 0の動作例を示している。
移動ロボヅト 1は、認識'発現できるもののデータベースを備えている。ユーザ が移動ロボット 1に対して、 「ボールは好きですか?」と尋ねると、移動ロボット 1は、 その人間の言葉をマイクロフォン 1 6で集音して、 認識オブジェクト 7 1 において H MM (Hidden Markov Model:隠れマルコフ 'モデル) などにより音声 認識し、 その意味合いにより文章を分解する (隠れマルコフ 'モデルは、音素や単 語などの音声の単位を統計的にモデル化したもので、状態遷移構造を持う)。さら に、 理解オブジェクト 7 2により、 音声入力された文章が疑問文であること、 並 びに、 主語 (S )、 述語 (V)、 及びこの文章が Sに対しての嗜好の疑問であるこ とを判別する。
ここで、 データベース 5 7から 「ボール」 を引き出して、 「ボール」は快が高い、 すなわち 「好き」な物だと判断する。 よって、 生成オブジェクト 7 4では、 「Sは Vですか?」 という質問に対する答え 「Sは V」、 つまり 「ボールは好き」 という 文章を作成する。 そして、 実行オブジェクト 7 5において、 生成された文章の発 音列を作成してその波形を生成して、 スピーカ 1 7から発生することによって、 嗜好に対する受け答えが実現される。
「なぜボールが好きなのですか?」 という入力があった場合も同様に、 認識ォ ブジェクト 7 1において分割された文章に基づき、 理解オブジェクト 7 2により 入力された文章が疑問文であること、 主語 (S )、 述語 (V)、 この文章が Sが V であることの理由の疑問であることを判別する。
ここで、 データベース 5 7から 「ボール」 を引き出し、 その快不快が決定した 要因「蹴れる」 を取り出す。そして、 「Sは〇〇だから V」 という理由を示す文章 に対して、 生成オブジェクト 7 4は 「ボールは蹴れるから好き」 というような答 えの文章を生成する。 そして、 実行オブジェクト 7 5において生成された文章の 発音列を作成してその波形を生成して、 スピーカ 1 7から発生することによって 嗜好の理由に対する受け答えが実現される。
主語 Sの部分には、名詞だけでなく、動詞を名詞化したもの(「遊ぶこと」など) や形容詞を名詞化したもの(「きれいなもの」、 「たのしいこと」など)などを使用 することによって、 文章表現の幅が拡張される。
また、ユーザがボールを指差しながら、 「これは好きですか?」と質問した場合 には、 認識オブジェクト 7 1によって入力された文章を分割した後、 理解ォブジ ェクト 7 2では、 この文章の Sに当る 「これ」 が指示代名詞であることを理解す る。 そこで、 移動ロボット 1は、 ユーザが指差しているものが何であるかを画像 入力を基に判別して、 「これ」 と「ボール」 を結び付ける。 このように指示代名詞 を特定の物と結び付けた上で、 上述と同じ処理を実行すればよい。
また、 図 8には、 移動ロボット 1がカメラで対象物を認識した場合の対話メカ ニズム 7 0の動作例を示している。
例えば、 ボールのように認識可能な物を移動ロボット 1の視界に置いた場合、 移動ロボット 1は、 カメラ 1 5によってその物体の画像を取り込む。 そして、 認 識ォブジェクト 7 1によって取り込んだ画像がボールであることを判別する。 理解オブジェクト 7 2は、 データベース 5 7を参照して「ボール」を引き出し、 「ボール」 は快が高い、 つまり 「好き」 な物だと判断する。
これに応答して、 生成オブジェクト 7 4では、 「Sは V」、 つまり 「ボールは好 き」 という文章を作成する。 そして、 実行オブジェクト 7 5において、 生成され た文章の発音列を作成してその波形を生成して、 スピーカ 1 7から発生すること によって、 移動ロボット 1自身の嗜好表現が実現される。
最後に、 本実施形態に係る対話メカニズム 7 0を適用して生成される文章例を 以下に示しておく。
( 1 ) 名前の判らない物を見て、 「これは何ですか?」 と質問する
( 2 ) 名前の分かる物を見て、 「これは〇〇です」 と言う。
( 3 ) 自分の本能モデル (Instinct)、 感情モデル (Emotion) のパラメ一夕値を 基に、 「〇〇が X Xだ」 と伝える。
例) 食欲 (Hunger.) が高くなつて、 「お腹が減った」 と言う。
例) うれしさ (Joy) が高くなつて、 「私はうれしい」 と伝える。
( 4 ) 自分の本能、 感情を満足させるものを 「(〇〇を) X Xしたい」 と伝える。 例) 運動欲 (Exercise) を満足させるために 「ボールを蹴りたい」 と伝える。 例) 食欲 (Thirst) を満足させるために 「水を飲みたい」 と伝える。
( 5 ) 「〇〇しなさい」と人間から言われたことに対して、命令文だと理解して、 「〇〇します」 と答える。 追補
以上、 特定の実施例を参照しながら、 本発明について詳解してきた。 しかしな がら、 本発明の要旨を逸脱しない範囲で当業者が該実施例の修正や代用を成し得 ることは自明である。
本明細書では、ぺット'ロボットに対して本発明を適用した実施形態を主として 説明してきたが、 本発明の要旨は、 必ずしも 「ロボット」 と称される製品には限 定されない。 すなわち、 電気的若しくは磁気的な作用を用いて人間の動作に似せ た運動を行う機械装置であるならば、 例えば玩具等のような他の産業分野に属す る製品であっても、 同様に本発明を適用することができる。 また、 勿論、 コンビ ユー夕 ·グラフィヅクス(C G )で動作するキャラクタを用いたアニメ一シヨンな どに対しても本発明を適用することができる。
要するに、 例示という形態で本発明を開示してきたのであり、 限定的に解釈さ れるべきではない。 本発明の要旨を判断するためには、 冒頭に記載した特許請求 の範囲の欄を参酌すべきである。
[産業上の利用可能性] 本発明によれば、 ユーザからの指令や周囲の環境に応じて動作する歩行型の口 ボット装置、 多関節ロボット、 あるいはコンピュータ 'グラフィックス (C G)で 動作するキャラクタを用いたアニメーションなどのロボット装置等に関して適用 することができる、 優れたロボット装置及びその制御方法、 並びに記憶媒体を提 供することができる。
また、 本発明によれば、 ロボット装置等の内部状態に応じた文章を生成して発 話することで内部状態を表現することができる、 優れたロボット装置及びその制 御方法、 並びに記憶媒体を提供することができる。
本発明に係るロボット装置及びその制御方法によれば、 ロボット装置等は言葉 を使用した内部状態の表現が可能となる。 この結果、 誰でもロボット装置等の内 部状態を容易に把握することができ、 例えば、 ロボットの嗜好を理解したりより 深いコミュニケーションが可能となる。 また、 人間とロボット装置等との対話の 幅が広がったり、 親近感が沸き、 より感情移入し易く、 ロボット装置等を身近に 感じることができるようになるので、 人間とロボット装置等との共存が容易にな る。
また、 本発明に係るロボット装置及びその制御方法によれば、 ロボット装置等 はリアルワールドとのィン夕ーラクシヨンによって変化する感情を言葉によって 表現することができるので、誰にでも判り易く親しみ易いロボット装置等を設計' 製作することが可能となり、 ロボット装置等の娯楽性、 エンターテインメント性 をより強くすることができる。
本発明に係るロボット装置及びその制御方法では、 内部状態 (感情は内部状態 の一部とみなす) は文章に付随しているものではなく、 システムに独立して存在 し、 さまざまな外部入力とシステムの内部変化から常に変動するものである。 し たがって、 ロボット装置等に同じ質問を与えたとしても、 そのときの内部状態に おいて応える内容は区々であり、 答え方もロボット装置等の内部状態によって相 違する。内部状態は文章によるものではなく、内部状態によって文章を作成する、 という点に充分留意されたい。
また、 本発明に係るロボット装置及びその制御方法では、 内部状態によって文 章を発声させることによって、 ユーザからの質問という外部刺激だけでなく、 さ まざまな内部刺激、若しくは内部状態によって文章を作成することが可能である。 また、 内部状態の変化要因などを文章に反映させるなど、 バリエーションも可能 である。 その他、 名詞についての情報以外にも動詞や形容詞について、 内部状態 を反映させた文章及び内部状態を説明する文章を作成することが可能である。

Claims

請求の範囲
1 . ユーザとの対話機能を備えたロボット装置であって、
外部状態を入力する外部状態入力手段と、
内部状態を管理する内部状態管理手段と、
内部状態の変化をユーザとの対話に反映させる対話制御手段と、
を具備することを特徴とするロボット装置。
2 . ユーザとの対話機能を備えたロボット装置であって、
外部状態を入力する外部状態入力手段と、
該入力された外部状態を認識する外部状態認識手段と、
該認識された外部状態の意味内容を文章形式で理解する外部状態理解手段と、 内部状態を管理する内部状態管理手段と、
内部状態に照らし合わせて外部状態の認識結果に沿った対話文を生成する対話 文生成手段と、
該生成された対話文を外部出力する出力手段と、
を具備することを特徴とするロボット装置。
3 . 内部状態は前記ロボット装置の情動で構成される、
ことを特徴とする請求項 2に記載のロボット装置。
4 .前記内部状態管理手段は、外部状態の変化に応答して内部状態を変化させる、 ことを特徴とする請求項 2に記載のロボット装置。
5 . 外部状態をクラス化した結果を内部状態とともに記憶する記憶手段をさらに 備え、
前記対話文生成手段は、 前記記憶手段に記憶された情報を用いて対話文を生成 する、
ことを特徴とする請求項 2に記載のロボット装置。
6 . 内部状態に照らし合わせて外部状態の認識結果に沿った機体の動作又は行動 を生成する動作 ·行動生成手段と、
該生成された機体動作又は行動を実現する機体制御手段と、
をさらに備えることを特徴とする請求項 2に記載のロボット装置。
7 . ユーザとの対話機能を備えたロボヅト装置の制御方法であって、
外部状態を入力する外部状態入力ステップと、
内部状態を管理する内部状態管理ステップと、
内部状態の変化をユーザとの対話に反映させる対話制御ステップと、 を具備することを特徴とするロボット装置の制御方法。
8 . ユーザとの対話機能を備えたロボット装置の制御方法であって、
外部状態を入力する外部状態入力ステップと、
該入力された外部状態を認識する外部状態認識ステツプと、
該認識された外部状態の意味内容を文章形式で理解する外部状態理解ステツプ と、
内部状態を管理する内部状態管理ステップと、
内部状態に照らし合わせて外部状態の認識結果に沿った対話文を生成する対話 文生成ステップと、
該生成された対話文を外部出力する出カステツプと、
を具備することを特徴とするロポット装置の制御方法。
9 . 内部状態は前記ロボット装置の情動で構成される、
ことを特徴とする請求項 8に記載のロボット装置の制御方法。
1 0 . 前記内部状態管理ステップでは、 外部状態の変化に応答して内部状態を変 化させる、
ことを特徴とする請求項 8に記載のロボット装置の制御方法。
1 1 . 前記対話文生成ステップでは、 外部状態をクラス化した結果を内部状態と ともに記憶するデータベースを用いて対話文を生成する、
ことを特徴とする請求項 8に記載のロボット装置の制御方法。
1 2 . 内部状態に照らし合わせて外部状態の認識結果に沿った機体の動作又は行 動を生成する動作'行動生成ステップと、
該生成された機体動作又は行動を実現する機体制御ステップと、
をさらに備えることを特徴とする請求項 8に記載のロボット装置の制御方法。
1 3 . ユーザとの対話を行う対話装置であって、
外部状態を入力する外部状態入力手段と、
内部状態を管理する内部状態管理手段と、
内部状態の変化をユーザとの対話に反映させる対話制御手段と、
を具備することを特徴とする対話装置。
1 4 . ユーザとの対話を行う対話装置であって、
外部状態を入力する外部状態入力手段と、
該入力された外部状態を認識する外部状態認識手段と、
該認識された外部状態の意味内容を文章形式で理解する外部状態理解手段と、 内部状態を管理する内部状態管理手段と、
内部状態に照らし合わせて外部状態の認識結果に沿った対話文を生成する対話 文生成手段と、
該生成された対話文を外部出力する出力手段と、
を具備することを特徴とする対話装置。
1 5 . 前記内部状態管理手段は、 外部状態の変化に応答して内部状態を変化させ る、
ことを特徴とする請求項 1 4に記載の対話装置。
1 6 . 外部状態をクラス化した結果を内部状態とともに記憶する記憶手段をさら に備え、
前記対話文生成手段は、 前記記憶手段に記憶された情報を用いて対話文を生成 する、
ことを特徴とする請求項 1 4に記載の対話装置。
1 7 . ユーザとの対話を行う対話制御方法であって、
外部状態を入力する外部状態入カステツプと、
内部状態を管理する内部状態管理ステツプと、
内部状態の変化をユーザとの対話に反映させる対話制御ステップと、 を具備することを特徴とする対話制御方法。
1 8 . ユーザとの対話を行う対話制御方法であって、
外部状態を入力する外部状態入カステツプと、
該入力された外部状態を認識する外部状態認識ステツプと、
該認識された外部状態の意味内容を文章形式で理解する外部状態理解ステップ と、
内部状態を管理する内部状態管理ステツプと、
内部状態に照らし合わせて外部状態の認識結果に沿った対話文を生成する対話 文生成ステップと、
該生成された対話文を外部出力する出カステツプと、
を具備することを特徴とする対話制御方法。
1 9 . 前記内部状態管理ステップでは、 外部状態の変化に応答して内部状態を変 化させる、
ことを特徴とする請求項 1 8に記載の対話制御方法。
2 0 . 前記対話文生成手段は、 外部状態をクラス化した結果を内部状態とともに 記憶するデータベースを用いて対話文を生成する、 ことを特徴とする請求項 1 8に記載の対話制御方法。
2 1 .ユーザとの対話機能を備えたロボット装置の制御をコンピュータ 'システム 上で実行するように記述されたコンピュータ'ソフトウエアをコンピュータ可読 形式で物理的に格納した記憶媒体であって、前記コンピュータ'ソフトウエアは、 外部状態を入力する外部状態入カステツプと、
該入力された外部状態を認識する外部状態認識ステツプと、
該認識された外部状態の意味内容を文章形式で理解する外部状態理解ステツプ と、
内部状態を管理する内部状態管理ステップと、
内部状態に照らし合わせて外部状態の認識結果に沿った対話文を生成する対話 文生成ステップと、
該生成された対話文を外部出力する出力ステップと、
を具備することを特徴とする記憶媒体。
2 2 .ュ一ザとの対話処理をコンビユー夕'システム上で実行するように記述され たコンビユー夕'ソフトウヱァをコンピュータ可読形式で物理的に格納した記憶 媒体であって、 前記コンピュータ 'ソフトウェアは、
外部状態を入力する外部状態入カステツプと、
該入力された外部状態を認識する外部状態認識ステツプと、
該認識された外部状態の意味内容を文章形式で理解する外部状態理解ステツプ と、
内部状態を管理する内部状態管理ステップと、
内部状態に照らし合わせて外部状態の認識結果に沿った対話文を生成する対話 文生成ステップと、
該生成された対話文を外部出力する出力ステップと、
を具備することを特徴とする記憶媒体。
PCT/JP2002/002889 2001-03-27 2002-03-26 Robot device and control method therefor, and storage medium WO2002076687A1 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP02705497A EP1407859A1 (en) 2001-03-27 2002-03-26 Robot device and control method therefor, and storage medium
US10/296,403 US7251606B2 (en) 2001-03-27 2002-03-26 Robot device with changing dialogue and control method therefor and storage medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2001-91029 2001-03-27
JP2001091029A JP2002283261A (ja) 2001-03-27 2001-03-27 ロボット装置及びその制御方法、並びに記憶媒体

Publications (1)

Publication Number Publication Date
WO2002076687A1 true WO2002076687A1 (en) 2002-10-03

Family

ID=18945727

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2002/002889 WO2002076687A1 (en) 2001-03-27 2002-03-26 Robot device and control method therefor, and storage medium

Country Status (6)

Country Link
US (1) US7251606B2 (ja)
EP (1) EP1407859A1 (ja)
JP (1) JP2002283261A (ja)
KR (1) KR20030007685A (ja)
CN (1) CN1460051A (ja)
WO (1) WO2002076687A1 (ja)

Families Citing this family (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002321177A (ja) * 2001-04-23 2002-11-05 Sony Corp 脚式移動ロボット及びその制御方法
JP2004287016A (ja) * 2003-03-20 2004-10-14 Sony Corp 音声対話装置及び方法並びにロボット装置
US8433580B2 (en) 2003-12-12 2013-04-30 Nec Corporation Information processing system, which adds information to translation and converts it to voice signal, and method of processing information for the same
JP2006039120A (ja) * 2004-07-26 2006-02-09 Sony Corp 対話装置および対話方法、並びにプログラムおよび記録媒体
EP1796347A4 (en) * 2004-09-10 2010-06-02 Panasonic Corp INFORMATION PROCESSING TERMINAL
US7912720B1 (en) * 2005-07-20 2011-03-22 At&T Intellectual Property Ii, L.P. System and method for building emotional machines
US7574361B2 (en) * 2005-09-30 2009-08-11 Motorola, Inc. Radio audio indicator
CN101411946B (zh) * 2007-10-19 2012-03-28 鸿富锦精密工业(深圳)有限公司 玩具恐龙
JP5163202B2 (ja) * 2008-03-18 2013-03-13 株式会社国際電気通信基礎技術研究所 物品推定システム
US8948906B2 (en) * 2008-08-14 2015-02-03 Spectra Logic Corporation Robotic storage library with queued move instructions and method of queuing such instructions
US8457778B2 (en) * 2008-08-15 2013-06-04 Spectra Logic Corp. Robotic storage library with queued move instructions and method of queuing such instructions
US8340810B2 (en) * 2008-10-31 2012-12-25 Spectra Logic Corp. Robotic storage library with queued move instructions and method of queuing such instructions
US8666537B2 (en) * 2008-10-31 2014-03-04 Spectra Logic, Corporation Robotic storage library with queued move instructions and method of queing such instructions
EP2299440B1 (en) * 2009-09-11 2012-10-31 Vodafone Holding GmbH Method and Device for automatic recognition of given keywords and/or terms within voice data
US8615322B2 (en) 2010-09-27 2013-12-24 Spectra Logic Corporation Efficient moves via dual pickers
US8682471B2 (en) 2010-09-27 2014-03-25 Spectra Logic Corporation Efficient magazine moves
JP5066242B2 (ja) * 2010-09-29 2012-11-07 株式会社東芝 音声翻訳装置、方法、及びプログラム
SG182033A1 (en) * 2011-01-03 2012-07-30 Katotec Pte Ltd Singapore Robot controllers and content files therefor
JP5892361B2 (ja) * 2011-08-02 2016-03-23 ソニー株式会社 制御装置、制御方法、プログラム、及びロボット制御システム
US10866783B2 (en) * 2011-08-21 2020-12-15 Transenterix Europe S.A.R.L. Vocally activated surgical control system
US11561762B2 (en) * 2011-08-21 2023-01-24 Asensus Surgical Europe S.A.R.L. Vocally actuated surgical control system
US9320074B2 (en) * 2012-04-06 2016-04-19 Suitable Technologies, Inc. Method for wireless connectivity continuity and quality
CN104170318B (zh) 2012-04-09 2018-06-01 英特尔公司 使用交互化身的通信
US20140303982A1 (en) * 2013-04-09 2014-10-09 Yally Inc. Phonetic conversation method and device using wired and wiress communication
JP6145302B2 (ja) * 2013-05-14 2017-06-07 シャープ株式会社 電子機器
WO2016076770A1 (en) * 2014-11-11 2016-05-19 Telefonaktiebolaget L M Ericsson (Publ) Systems and methods for selecting a voice to use during a communication with a user
WO2016101132A1 (en) * 2014-12-23 2016-06-30 Intel Corporation Facial gesture driven animation of non-facial features
CN107209953A (zh) 2014-12-23 2017-09-26 英特尔公司 用于渲染3d模型化身的略图选择
WO2016101131A1 (en) 2014-12-23 2016-06-30 Intel Corporation Augmented facial animation
US20160275546A1 (en) * 2015-03-19 2016-09-22 Yahoo Japan Corporation Information processing apparatus and information processing method
WO2017101094A1 (en) 2015-12-18 2017-06-22 Intel Corporation Avatar animation system
CN105835064B (zh) * 2016-05-03 2018-05-01 北京光年无限科技有限公司 一种智能机器人的多模态输出方法和智能机器人系统
JP6517762B2 (ja) * 2016-08-23 2019-05-22 ファナック株式会社 人とロボットが協働して作業を行うロボットの動作を学習するロボットシステム
JP2018161703A (ja) * 2017-03-24 2018-10-18 株式会社 ゼンショーホールディングス 対話制御装置およびロボット制御システム
CN108472811B (zh) * 2017-07-14 2021-06-04 达闼机器人有限公司 机器人性格设定方法、装置和机器人
CN108608439A (zh) * 2018-06-29 2018-10-02 华南理工大学广州学院 一种儿童情感宣泄机器人及方法
KR20200043902A (ko) * 2018-10-18 2020-04-28 삼성전자주식회사 전자 장치 및 전자 장치의 제어 방법
US11037576B2 (en) 2018-11-15 2021-06-15 International Business Machines Corporation Distributed machine-learned emphatic communication for machine-to-human and machine-to-machine interactions
CN112506197A (zh) * 2020-12-09 2021-03-16 深圳市优必选科技股份有限公司 一种导览机器人的控制方法、装置、电子设备及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2000015396A1 (fr) * 1998-09-10 2000-03-23 Sony Corporation Appareil robotique, procede de commande de l'appareil robotique, procede d'affichage et support
JP2001212783A (ja) * 2000-02-01 2001-08-07 Sony Corp ロボット装置及びその制御方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6560511B1 (en) * 1999-04-30 2003-05-06 Sony Corporation Electronic pet system, network system, robot, and storage medium
JP2001154681A (ja) * 1999-11-30 2001-06-08 Sony Corp 音声処理装置および音声処理方法、並びに記録媒体
JP2001188555A (ja) * 1999-12-28 2001-07-10 Sony Corp 情報処理装置および方法、並びに記録媒体
WO2001058649A1 (fr) * 2000-02-14 2001-08-16 Sony Corporation Systeme robotique, dispositif robotise et procede de controle d'un tel systeme et dispositif et procede de traitement de donnees
US6510417B1 (en) * 2000-03-21 2003-01-21 America Online, Inc. System and method for voice access to internet-based information
US7027975B1 (en) * 2000-08-08 2006-04-11 Object Services And Consulting, Inc. Guided natural language interface system and method
TWI236610B (en) * 2000-12-06 2005-07-21 Sony Corp Robotic creature device
KR100940630B1 (ko) * 2001-05-02 2010-02-05 소니 주식회사 로봇 장치와, 문자 인식 장치 및 문자 인식 방법과, 제어프로그램 및 기록 매체
JP2003205483A (ja) * 2001-11-07 2003-07-22 Sony Corp ロボットシステム及びロボット装置の制御方法
JP2005161469A (ja) * 2003-12-03 2005-06-23 Sony Corp ロボット装置及びロボット装置のための過電流保護装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2000015396A1 (fr) * 1998-09-10 2000-03-23 Sony Corporation Appareil robotique, procede de commande de l'appareil robotique, procede d'affichage et support
JP2001212783A (ja) * 2000-02-01 2001-08-07 Sony Corp ロボット装置及びその制御方法

Also Published As

Publication number Publication date
US7251606B2 (en) 2007-07-31
EP1407859A1 (en) 2004-04-14
JP2002283261A (ja) 2002-10-03
KR20030007685A (ko) 2003-01-23
CN1460051A (zh) 2003-12-03
US20030182122A1 (en) 2003-09-25

Similar Documents

Publication Publication Date Title
WO2002076687A1 (en) Robot device and control method therefor, and storage medium
KR100843822B1 (ko) 로봇 장치, 로봇 장치의 동작 제어 방법 및 로봇 장치의동작 제어 시스템
US7216082B2 (en) Action teaching apparatus and action teaching method for robot system, and storage medium
Breazeal Designing sociable robots
JP4150198B2 (ja) 音声合成方法、音声合成装置、プログラム及び記録媒体、並びにロボット装置
Gorostiza et al. Multimodal human-robot interaction framework for a personal robot
EP1256931A1 (en) Method and apparatus for voice synthesis and robot apparatus
KR100813668B1 (ko) 안드로이드 로봇의 감정표현 방법
KR20020067921A (ko) 각식 로봇 및 각식 로봇의 행동 제어 방법, 및 기억 매체
JP2003271174A (ja) 音声合成方法、音声合成装置、プログラム及び記録媒体、制約情報生成方法及び装置、並びにロボット装置
WO2002091356A1 (fr) Dispositif robot, appareil de reconnaissance de caracteres, procede de lecture de caracteres, programme de commande et support d'enregistrement
KR100879417B1 (ko) 음성 출력 장치
JP2002049385A (ja) 音声合成装置、疑似感情表現装置及び音声合成方法
KR20060079832A (ko) 임베디드 시스템기반의 감정표현 휴먼노이드 로봇
JP4433273B2 (ja) ロボット装置及びロボット装置の制御方法
WO2020116356A1 (ja) ロボット、音声合成プログラム、及び音声出力方法
JP2002219677A (ja) ロボット装置及びロボット装置の行動制御方法
JP2002307349A (ja) ロボット装置、情報学習方法、プログラム及び記録媒体
JP2003271172A (ja) 音声合成方法、音声合成装置、プログラム及び記録媒体、並びにロボット装置
JP2003044080A (ja) ロボット装置、文字認識装置及び文字認識方法、並びに、制御プログラム及び記録媒体
JP2002321177A (ja) 脚式移動ロボット及びその制御方法
Naeem et al. An AI based Voice Controlled Humanoid Robot
JP2002239962A (ja) ロボット装置、ロボット装置の動作制御方法及びロボット装置の動作制御システム
KR200386045Y1 (ko) 임베디드 시스템기반의 감정표현 휴먼노이드 로봇
WO2023037608A1 (ja) 自律移動体、情報処理方法、及び、プログラム

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A1

Designated state(s): CN KR US

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): AT BE CH CY DE DK ES FI FR GB GR IE IT LU MC NL PT SE TR

WWE Wipo information: entry into national phase

Ref document number: 2002705497

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 1020027015875

Country of ref document: KR

121 Ep: the epo has been informed by wipo that ep was designated in this application
WWE Wipo information: entry into national phase

Ref document number: 028009118

Country of ref document: CN

WWP Wipo information: published in national office

Ref document number: 1020027015875

Country of ref document: KR

WWE Wipo information: entry into national phase

Ref document number: 10296403

Country of ref document: US

WWP Wipo information: published in national office

Ref document number: 2002705497

Country of ref document: EP

WWW Wipo information: withdrawn in national office

Ref document number: 2002705497

Country of ref document: EP