CA2107712A1 - Procede et dispositif d'analyse d'un message fourni par des moyens d'interaction a un systeme de dialogue homme-machine - Google Patents
Procede et dispositif d'analyse d'un message fourni par des moyens d'interaction a un systeme de dialogue homme-machineInfo
- Publication number
- CA2107712A1 CA2107712A1 CA002107712A CA2107712A CA2107712A1 CA 2107712 A1 CA2107712 A1 CA 2107712A1 CA 002107712 A CA002107712 A CA 002107712A CA 2107712 A CA2107712 A CA 2107712A CA 2107712 A1 CA2107712 A1 CA 2107712A1
- Authority
- CA
- Canada
- Prior art keywords
- analysis
- interaction
- syntactic
- execution
- machine
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Abandoned
Links
- 230000003993 interaction Effects 0.000 title claims abstract description 30
- 238000000034 method Methods 0.000 title claims abstract description 22
- 238000004458 analytical method Methods 0.000 claims abstract description 100
- 230000009471 action Effects 0.000 claims abstract description 39
- 230000003068 static effect Effects 0.000 claims description 7
- 230000001755 vocal effect Effects 0.000 claims description 6
- 238000004519 manufacturing process Methods 0.000 claims description 2
- 230000008569 process Effects 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 230000015572 biosynthetic process Effects 0.000 description 3
- 230000036544 posture Effects 0.000 description 3
- 238000003786 synthesis reaction Methods 0.000 description 3
- 101100406879 Neurospora crassa (strain ATCC 24698 / 74-OR23-1A / CBS 708.71 / DSM 1257 / FGSC 987) par-2 gene Proteins 0.000 description 2
- 230000000875 corresponding effect Effects 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 101150093826 par1 gene Proteins 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000001144 postural effect Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000010223 real-time analysis Methods 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
- G10L15/18—Speech classification or search using natural language modelling
- G10L15/1822—Parsing for meaning understanding
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
- G10L15/18—Speech classification or search using natural language modelling
- G10L15/1815—Semantic context, e.g. disambiguation of the recognition hypotheses based on word meaning
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
- G10L2015/223—Execution procedure of a spoken command
Abstract
17 PROCEDE ET DISPOSITIF D'ANALYSE D'UN MESSAGE FOURNI PAR DES MOYENS D'INTERACTION A UN SYSTEME DE DIALOGUE HOMME-MACHINE L'invention concerne un procédé et dispositif d'analyse d'un message fourni par des moyens d'interaction à un système de dialogue homme-machine. Le procédé comprend trois étapes consécutives, une première étape d'analyse syntaxique (1, 2, 3), une deuxième étape d'analyse sémantique (5) et une troisième étape d'analyse d'exécution (6). L'analyse syntaxique (1, 2, 3) évalue la conformité d'un message (4) fourni par les moyens d'interaction à une forme de dialogue prédéfinie, l'analyse sémantique (5) évalue le sens de la demande de l'opérateur dialoguant avec la machine et l'analyse d'exécution (6) détermine la réalisation d'une action à entreprendre issue de l'étape d'analyse sémantique. Application : Systèmes de dialogue homme-machine comportant plusieurs moyens d'interaction tels que la parole, le geste ou le regard notamment. Figure 1.
Description
:, - 21 ~7 ~
PROCEDE ET DISPOSITIF D'ANALYSE
D'UN MESSAGE FOURNI PAR DES NlOYENS
D'INTERACTION A UN SYSTEME DE
DIALOGUE HOMME-MACHINE
La présente invention concerne un procédé et un dispositif d'analyse d'un rnessage fourni par des moyens 10 d'interaction ~ un système de dialogue homme-machine. Elle s'applique notamment aux systèmes d'interaction homme-machine comportant plusieurs moyens d'interaction tels que la parole, le geste ou le regard par exemple.
Dans un système d'interaction homme-machine, I'activité
15 d'un opérateur est captée par des moyens d'interaction de l'homme vers la machine, ou moyens d'interaction d'entrée. Différents modules peuvent par exemple être affcctés au traitement des informations fournies par ces moyens d'interaction. Les moyens d'interaction étant généralement de plusieurs types, ces 20 informations fournies sont appelées messages multimédia. Un module peut par exemple traduire sous forme d'évènements I'activité de l'opérateur, ces évènements peuvent ensuite etre analysés par un autre module et enfin un troisième module peut les envoyer vers l'application.
2s Une limitation de tels syst~mes est que toute action de I'utilisateur est traduite sous forme d'évènements datés, c'est-à-dire finis, localisés et fortement espacés dans le temps. Une information de type continu comme, par exemple, le déplacement de la main ou du regard est ainsi perdue, rendant impossible la~ gestion d'actions 30 con~inues, no~amment le déplacement en continu d'un objet virtuel ou l'ajustement d'un réglage virtuel.
En conséquence/ ces systèmes d'interaction homme~
machine sont difficilement utilisables dans des applications ~elles qu'un pilotage d'avion notamment, où le flux d'informations à
""~
.e ~ ~ ~ :
21077~2 .. :
prendre en compte devient de plus en plus important et où les temps de prise de décision deviennent de plus en plus courts. ~ ~ m~
Le but de l'invention est de pallier les inconvénients précit~s, notamment en permettant une ana!yse temps réel d'un s message multimédia, cornposé d'éléments caractéristiques de I'activité de l'opérateur à un instant donné.
A cet effet, I'invention a pour objet un procéd~ d'analyse d'un message contenant des évènements et des données continues provenant d'un opérateur et transmis par des moyens d'interaction 10 à un système de dialogue entre un homme et une machine, caractérisé en ce qu'il comprend trois étapes consécutives, une première étape d'analyse syntaxique, une deuxième étape d'analyse sémantique et une troisième étape d'analyse d'exécution, I'analyse syntaxique évaluant ia conformité d'un message fourni par les 15 moyens d'interaction par rapport à une forme de dialogue prédéfinie, I'analyse sémantique évaluant le sens de la dernande de l'opérateur et l'analyse d'exécution déterminant la réalisation d'une action à entreprendre issue de l'étape d'analyse sémantique.
L'invention a également pour objet un dispositif pour la 20 mise en oeuvre du procédé précité.
L'invention a pour principaux avantages qu'elle améliore l'ergonomie des systèmes de dialogue homme-machine, qu'elle permet à ces systèmes de traiter un plus grand nombre d'informations dans un temps plus court, qu'elle les rend plus 25 efficaces et plus fiables notamment en conservant l'opérateur dans la boucle d'interactivité, qu'elle est économique et aisée à mettre en oeuvre. ~ ~:
D'autres caractéristiques et avantages de l'invention apparaîtront à l'aide de la description qui suit, faite en regard des 30 dessins annexés qui représentent:
- la figure 1, une illustration du procédé selon l'invention;
:'.',, ' ' , ,.:~, ;~' J~
"`"'"'" ""~''' ~
~ : :
PROCEDE ET DISPOSITIF D'ANALYSE
D'UN MESSAGE FOURNI PAR DES NlOYENS
D'INTERACTION A UN SYSTEME DE
DIALOGUE HOMME-MACHINE
La présente invention concerne un procédé et un dispositif d'analyse d'un rnessage fourni par des moyens 10 d'interaction ~ un système de dialogue homme-machine. Elle s'applique notamment aux systèmes d'interaction homme-machine comportant plusieurs moyens d'interaction tels que la parole, le geste ou le regard par exemple.
Dans un système d'interaction homme-machine, I'activité
15 d'un opérateur est captée par des moyens d'interaction de l'homme vers la machine, ou moyens d'interaction d'entrée. Différents modules peuvent par exemple être affcctés au traitement des informations fournies par ces moyens d'interaction. Les moyens d'interaction étant généralement de plusieurs types, ces 20 informations fournies sont appelées messages multimédia. Un module peut par exemple traduire sous forme d'évènements I'activité de l'opérateur, ces évènements peuvent ensuite etre analysés par un autre module et enfin un troisième module peut les envoyer vers l'application.
2s Une limitation de tels syst~mes est que toute action de I'utilisateur est traduite sous forme d'évènements datés, c'est-à-dire finis, localisés et fortement espacés dans le temps. Une information de type continu comme, par exemple, le déplacement de la main ou du regard est ainsi perdue, rendant impossible la~ gestion d'actions 30 con~inues, no~amment le déplacement en continu d'un objet virtuel ou l'ajustement d'un réglage virtuel.
En conséquence/ ces systèmes d'interaction homme~
machine sont difficilement utilisables dans des applications ~elles qu'un pilotage d'avion notamment, où le flux d'informations à
""~
.e ~ ~ ~ :
21077~2 .. :
prendre en compte devient de plus en plus important et où les temps de prise de décision deviennent de plus en plus courts. ~ ~ m~
Le but de l'invention est de pallier les inconvénients précit~s, notamment en permettant une ana!yse temps réel d'un s message multimédia, cornposé d'éléments caractéristiques de I'activité de l'opérateur à un instant donné.
A cet effet, I'invention a pour objet un procéd~ d'analyse d'un message contenant des évènements et des données continues provenant d'un opérateur et transmis par des moyens d'interaction 10 à un système de dialogue entre un homme et une machine, caractérisé en ce qu'il comprend trois étapes consécutives, une première étape d'analyse syntaxique, une deuxième étape d'analyse sémantique et une troisième étape d'analyse d'exécution, I'analyse syntaxique évaluant ia conformité d'un message fourni par les 15 moyens d'interaction par rapport à une forme de dialogue prédéfinie, I'analyse sémantique évaluant le sens de la dernande de l'opérateur et l'analyse d'exécution déterminant la réalisation d'une action à entreprendre issue de l'étape d'analyse sémantique.
L'invention a également pour objet un dispositif pour la 20 mise en oeuvre du procédé précité.
L'invention a pour principaux avantages qu'elle améliore l'ergonomie des systèmes de dialogue homme-machine, qu'elle permet à ces systèmes de traiter un plus grand nombre d'informations dans un temps plus court, qu'elle les rend plus 25 efficaces et plus fiables notamment en conservant l'opérateur dans la boucle d'interactivité, qu'elle est économique et aisée à mettre en oeuvre. ~ ~:
D'autres caractéristiques et avantages de l'invention apparaîtront à l'aide de la description qui suit, faite en regard des 30 dessins annexés qui représentent:
- la figure 1, une illustration du procédé selon l'invention;
:'.',, ' ' , ,.:~, ;~' J~
"`"'"'" ""~''' ~
~ : :
2 ~ 0 ~ 7 ~ 2 - la Figure 2, une illustration d'une ~tape du procédé selon I'invention; -- la figure 3, un mode de r~alisation possible d'un dispositif selon l'invention;
s - la figure 4, une illustration d'un exemple d'application du procédé selon l'invention.
La figure 1 illustre le procédé d'analyse selon l'invention.
Sur cette figure, le sens des fl~ches indique le sens des informations, une flèche indiquant le passage d'informations d'un 0 point à un au~re. Le principe du procédé selon l'invention est de réaliser une analyse progressive de messages multimédia en suivant trois étapes consécutives, une première étape d'analyse syntaxique, une deuxième étape d'analyse sémantique et une troisième étape d'analyse d'exécution. Cette analyse d'un message mul~imédia, ce s message étant le résultat d'une action de l'homme sur la machine, doit permettre d'en dégager l'aspect sémantique et en déduire les actions correspondantes à entreprendre. Un message est composé
d'évènements, aléatoires par nature, des phrases parlées ou des postures rnanuelles par exemple, et est aussi composé de données 20 continues et non aléatoires, notamment des mesures de positions, de la main ou de direction du regard par exemple. Ce message arrive aux rnoyens d'analyse cycliquement, et à la demande de ceux-ci par exemple. La cadence d'arriv~e des messa~es doit notamment être suffisante pour donner une impression de temps 25 réei à l'échelle humaine et pour ne pas perdre d'informations de nature continue. A cet effet, la duree entre deux messages consécutifs peut être inférieure à 100 ms par exemple.
La figure 1 montre les trois étapes d'analyse selon `
I'invention. La première étape 1, 2, 3 réalise des analyses 30 syntaxiques d'un message mul~imédia 4 fourni par des rnoyens d'interaction homme-rnachine connus de l'homme du métier. La figure 1 illustre un cas où le message 4 contient des informations :; ~ . ':
` ~ `.` ~ .'!, ' : ' .
~ ~ 2 t ~ 7 ~ ~ 2 ~ ~ ~
fournies par N média. L'information relative ~ chaque média est analysée séparément, ces analyses peuvent par exemple être effectuées en parallèle et de façons indépendantes. Ainsi, dans la première étape 1, 2, 3 une première analyse syn~axique 1 traite un 5 premier média, une deuxième analyse syntaxique 2 traite un deuxième média et Nième analyse syntaxique traite un Nième média, N étant un nombre entier supérieur ou égal à 1.
Les résultats de la première étape 1, 2, 3 d'analyse syntaxique sont ensuite analysés dans la deuxibme étape 5 0 d'analyse sémantique. Puis les résultats de cette deuxième étape sont analysés dans la troisième étape 6 d'analyse d'execution.
Cette dernière étape détermine notamment comment réaliser une action 10 à entreprendre, notamment si elle est exécutable ou non, les actions étant appliquées à la machine 12 sur laquelle un 5 opérateur interagit ou vers l'opérateur via des interfaces. Les étapes d'analyse 1, 2, 3, 5, 6 utilisent par exempie des informations issues de la machine 12.
Des bases de faits 7, 8 fournissent par exemple des informations aux moyens d'analyse durant les trois étapes 1, 2, 3, 20 5, 6 précitées. Une base de faits statiques 7 peut par exemple fournir des inforrnations prédéfinies concernant notamment le vocabulaire vocal ou gestuel, des données constantes du système ou l'état du système notamment. ~Jne base de faits dynamiques 8 peut par exemple servir à stocker des données transitoires, telles 2s que des résultats intermédiaires ou encore l'état du système notamment. Un historique 9 est utilisé par exemple pour mémoriser ie déroulement du dialogue et des actions. Les données continues du message multimédia 4 sont traduites sous forme de faits et sont stockées dans la base de faits dynamiques 8. Cela a pour avantage 30 notamment de ne pas saturer ou encombrer les étapes d'analyse 1, 2, 3, 5, 6 avec des données qui n'interviqnnent pas au niveau syntaxique car ces données continues ne sont pas en tant que telles , ~ .
i'''""'"''''.''.''''' ~; ~
~`" 2~7~2 ~;
des ~venements à interpréter. Ces donn~es continues interviennent notamment dans l'interprétation des ~vènements, par exemple vocaux ou gestuels, cette interpr~tation faisant appel ~ la base de faits dynamiques.
S La figure 2 illustre un mode d'analyse syntaxique possible pouvant être utilisé par le procédé selon l'invention. Le rôle de I'étape d'analyse syntaxique est d'évaluer si un évènement issu d'un média ou moyen d'interaction donné est conforme a l'une des formes de dialogue définies pour le média en question. n appelant 10 "arbre de syntaxe" ou tout simplement "arbre", chaque ~orme de dialogue possible d'un média donné, en appelant "feuilles", les termes se trouvant aux extrémités de ces arbres et en appelant "phrase" une suite ordonnée d'un ou plusieurs mots du vocabulaire du média analysé, vocabulaire vocal ou gestuel par exen-ple, il 15 s'ensuit que l'analyse syntaxique d'un média se résume à identifier parmi les arbres possibles, celui dont la liste ordonnée des feuilles est identique, élément par élément, b la phrase du message multimédia reçu. Une fois l'arbre identifié, I'étape d'analyse documente chaque mot de la phrase en iui 3ssociant un attribut. Cet 20 attribut définit la participation du mot au sens de ia phrase.
La figure 2 présente deux exemples de phrase à analyser, dans un cas d'application de pilotage d'avion par exemple. L'arbre de syntaxe définit par exemple une phrase possible de dialogue comme possédant un verbe d'action suivi d'un type d'objet suivi 2~ d'un nom d'obje~. Une première phrase à analyser est par exemple "fermer page radar" et une deuxième phrase "éteindre voyant alarme". L'arbre de la figure 2 est analysé dans la premiere étape qui en déduit la validité de la syntaxe. Si celle-ci ~st correcte, la première étape d'analyse syntaxique délivre alors trois mots, un 30 prernier mot indiquant le verbe d'action, un deuxième mot indiquant 18 type d'objet de l'action et un troisieme mot indiquant le nom de I'objet. D'autres types de syntaxe, c'est-~-dire d'arbres syntaxiques, ','' ': '.'~', : , 2~Q77~ 2 peuvent être analysés, pouvant notamment comprendre plus ou rnoins de mots.
Dans le cas d'utilisation de certains média comme par exemple des moyens de reconnaissance gestuelle, ceux-ci peuvent s nécessi~er des modes d'analyse particuliers car la phrase définie précédemment est répartie sur plusieurs messages. L'analyse syntaxique peut alors ~tre réalisée s~iquentiellement et les résultats des étapes d'analyse syntaxique intermédiaires peuvent être par exemple mémorisés dans la base des faits dynamiques 8.
Si une phrase ne correspond pas à une syntaxe correcte, elle est rejetée e~ l'utilisateur peut par exemple être averti par un signal sonore ou visuel, ou un message.
Comme l'illustre la figure 1, la première ét~pe d'analyse syntaxique peut être constituée par exemple de plusieurs analyses 15 syntaxiques 1, 2, 3 indépendantes, le nombre d'analyses syntaxiques étant égal au nombre de médias ou moyens d'interactions, un média ~tant associé à chaque analyse. Dans ce cas, du point de vue de la syntaxe, chaque média est traité
indépendamment des autres. Cela permet notamment d'assurer une 20 bonne souplesse de dialogue entre l'homme et la machine. Chaque moyen d'analyse affecté à une analyse de la première étape reçoit la partie du message multimédia qui conceme cette analyse, c'est-à-dire l'information provenant de son rnédia associé. Chaque moyen d'analyse fournit un message qui est traité par la deuxibme étape 2s d'analyse sémantique. Ce message contient par exemple une partie identifiant le média d'où provient l'information ainsi que des attributs de sens affectés aux mots de la phrase. Un tel message ; `
peut alors avoir la forme suivante par exemple ~
NMédia (Atb)(premier mot), Atb~(deuxième mot), Atb(troisième mot) od NMédia représente une identification d'un média, i Atb représente un attribut de sens de mot, les premier, deuxiame et troisième mots pouvant être par exemple les mots ; . ~
~:
/. ~ ' . ' . . . ' ' ~ . . ' .' . ' '. . . ' ' ' '~ ' ; ! . , ' .
~1~77 ~ :
précités, notamment "fermer", "page", "radar". Les vocabulaires associés aux différen~s médias sont par exemple stockés dans la base des faits statiques 7.
Une fois analysée et acceptée, la phrase documentée est S transmise à des moyens d'analyse sémantique réalisant la deuxième étape du procédé selon l'invention.
Le rôle de l'étape d'analyse sémantique est notamment d'évaluer le sens de la requête de l'opérateur d'après les résultats de l'étape d'analyse syntaxique. Elle permet par exemple d'identifier 10 I'astion à entreprendre, I'objet de l'action, c'est-~-dire sur quoi porte l'action, et les modali~és d'application dé~inies par des paramètres.
Si le contenu des resultats des analyses syntaxiques ne suffit pas pour établir le sens de la requête, I'analyse sémantique tente notamment d'y parvenir en utilisant des informations 15 complémentaires issues par exemple des bases de faits 7, 8 ou de l'historique 9. Ce peut être le cas par exemple pour des requêtes faisant intervenir des désignations d'objets, I'objet de i'action étant alors issu de la base des faits dynamiques 8. C'est aussi le cas par exemple pour des phrases comportant des ellipses, c'est-à-dire des 20 phrases ayant des éléments manquants faisant référence au dialo~ue antérieur, où le sens ne peut être trouvé notamrnent que par une analyse de l'his~orique du dialogue.
Toute requête sémantiquement correcte est ensuite traitée par la troisième étape d'analyse d'exécution. Cette requête ~s comporte par exemple le type d'actions 3 exécuter, I'ob3et sur iequel porte cette action et la liste des paramètres à prendre en compte. Une requête peut alors être transmise à l'étape d'analyse d'actions par une suite ayant la ~orme suivante par exemple (Action, Objet, Par 1, Par 2, ... Par N) Action indiquant le type d'action, Objet indiquant l'objet sur lequel elle porte et Par 1, Par 2, ... Par N une liste de N
paramètres.
:
- 2~7~2 En cas de requ8te incomplète, le système d'interaction homme-machine peut par exemple demander à l'opérateur un complément d'informa~ion, cette demande ~tant réalis~e par voix synthétique, par texte ou par image par exemple. L'his~orique peut s alors servir notamrnent à mémoriser l'~itat interméidiaire de la re~uête. Toute requête n'ayant aucun sens dans le contexte du dialo~ue est par exemple sanctionnée par un message d'erreur.
Le rôle de l'étape d'analyse d'exécution est notamment de déterminer la réalisation d ' une action à entreprendre vers I'opérateur ou vers ia machine 12 sur laquelle l'opérateur interagit issue de l'étape d'analyse sémantique. L'analyse porte notamment sur le contexte dans lequel i'action a ~ se dérouler. Ce contexte concerne par exemple l'état de la machine de l'application ou du système de dialogue. Par exemple, dans le cas de la demande "fermer page radar" précitée, I'étape d'analyse d'exécution v~rifie par exemple que la page radar est ouverte, cette page étant représentée sur un écran de visualisation, que la page n'est pas liée à une autre action en cours et qu'il n'y a pas d'interdiction pour la fermer.
Pour toute action juaée exécutable, I'étape d'analyse d'exécution compose et transmet vers un processeur d'exécution, une séquence d'ordres él~mentaires, les actions étan~ exécutées sur des objets graphiques sur un écran de visualisation ou de façon sonore par exemple. Ces ordres sont par exemple transmis par une 25 séquence ayant la forme suivante:
(Cde, Par 1, Par 2, ... Par N) Cde désignant une commande donnée, et Par 1, Par 2, ...
Par N étant une liste de paramètres.
Toute ac~ion non exécutable est par exemple sanctionnée 30 par l'émission d'un message d'erreur vocal ou visuel.
La figure 3 présente un mode de réalisation possible d'un dispositif pour la mise en oeuvre du procédé selon l'invention. Il ::, ^`^ 21077~2 g :
comprend en entr~e des moyens d'interaction 31. Ceux-ci peuven~
être par exemple des moyens de reconnaissance vocale ou gestuelle, les gestes étan~ notamment ceux de la main de l'op~rateur reconnu au moyen d'un gant numérique ou tout autre s geste corporel de l'opérateur, ces moyens d'interaction peuvent encore permettre par exemple de détecter le regard de l'opérateur, grâce à l'utilisation d'un oculomètre notamment, ou de détecter la position de la main ou de la tête de l'opéra~eur à l'aide de capteurs électromagnétiques. Ces moyens d'interaction 31 sont reliés à des 10 moyens d'analyse syntaxique réalisant la première étape 1, 2, 3 du procéd~ selon l'invention. Ces derniers comportent par exemple autant de moyens de syntaxe indépendants qu'il y a de médias, voix, geste, regard par exemple. Les moyens d'analyse syntaxique 32 sont reliés à des moyens d'analyse sémantique 33 réalisant la 5 deuxième étape 5. Ces moyens sont eux-mêmes reliés à des moyens d'analyse d'exécution 34 réalisant la troisième étape 6. Ils sont couplés à un processeur d'exécution 35, lequel est relié à des moyens d'interaction 36, des moyens de synthèse vocale ou des rnoyens de visualisation, écran de visualisation par exemple. Ils sont ;
20 aussi couplés à la machine 12. Les moyens d'analyses 32, 33, 34 peuvent être implantés sur un même calculateur ou répartis sur plusieurs calculateurs, un calculateur étant affecté à chaque étape d'analyse. Une mémoire 37 contenant les faits statiques est reliée aux moyens d'analyse 32, 33, 34. De même, une mémoire 38 est 2s reliée aux moyens d'analyse 32, 33, 34, à la machine 11 et aux moyens d'interaction 31. Une mémoire 39 contenant notamment ` ~; `
I'historique d'un dialogue homme-machine est reliée aux moyens d'analyse sémantique 33 et d'exécution 34.
La figure 4 illustre un exemple d'application du procédé
30 selon l'invention, dans le cas notamment d'un système de dialogue homme-machine dont un moyen d'interaction es~ constitué par exemple d'un écran et d'un dispositif de synthèse vocale d'une : ;'-~
2~07712 part, et d'autre part de médias d'entrée constitués de la voix et des gestes de la main, les gestes comprenant la posture et la position de la main.
L'utilisation du dispositif est notamment de permettre la s gestion de systèmes complexes en fournissant à l'opérateur des moyens de dialogue riches, tels que la voix, les gestes de la main ou le regard par exemple, et des informations de sortie du type graphique ou sonore, grâce à un écran de visualisation et des moyens de synthèse vocale et sonore. Un exemple d'utilisation est 10 la gestion d'une planche de bord virtuelie d'un avion.
L'illustration de la figure 4 rnontre que la première étape d'analyse syntaxique comporte une analyse syntaxique vocale 1 et une anaiyse syntaxique gestuelle 2, correspondant chacune respectivement à un premier média, la voix, et à un deuxième 15 média, le geste de la main par exemple, tel que défini précédemment, éventuellement, les gestes pourraient concerner d'autres parties du corps. Les autres étapes 5, 6 sont les mêmes que celles définies par la figure 1. De même, les bases de faits statiques 7 et dynamiques 8, ainsi que l'historique 9 s'articulent 20 autour de ces étapes conformément ~ ce qui a été décrit en regard de la figure 1. Les actions définies par l'étape d'analyse d'exécution 6 sont des actions graphiques 11 portant sur des objets visualisés par l'écran. Les actions générées par ia troisième étape 6 d'analvse d'exécution peuvent aussi porter sur les moyens de synthèse vocale 2s ou sonore, et sur la machine 12.
Un systeme expert, encore appelé système à règles de production peut permettre par exemple de réaliser les trois étapes du procédé d'analyse selon l'invention et assurer ainsi la compréhension d'un message multimédia contenant l'activité de 30 I'opérateur, dans une tranche de temps donnée, le temps d'application étant divisé en tranches d'une durée d'environ 100 ms par exemple.
~ .
rrr~ ,t.~ .Ut,~ o,,,~
~ 210~712 Dans le cas d'application de la figure 4, un message multimédia est par exemple transmis au système expert sous la forme d'une liste de données informatiques. Cette liste comprend par exemple une suite ordonnée de mots vocaux, une posture 5 manuelle reconnue, une identification d'objet désigné. Par ailleurs elle contient par exemple la distance de la main de l'opérateur à
I'écran ou la position angulaire de la main autour de l'axe du bras.
La base de faits statiques 7 est par exemple stockée dans une mémoire 37 à lecture seule comme l'illustre la figure 3.
10 Elle contient par exemple un vocabulaire vocal, un vocabulaire postural et des positions, tailles et attributs par defaut d'objets graphiques.
La base de faits dynamiques 8 est contenue dans une -- - `
mémoire 38 à lecture et écriture. Elle contient par exemple les ~ :
15 positions et tailles courantes des objets présentés sur l'écran de visualisation, un identificateur de l'objet désigné, les dernières ~ :~
positions et orientations de la main, I'état courant des moyens d'analyse syntaxique gestuelle et l'état des médias, notamment en ce qui concerne leur disponibilité et leur activation, et des 20 paramètres de la machine 12. ~ ~ :
L'historique 9 est contenu dans une mémoire 39 à
lecture et écriture. E!le contient par exemple les ordres en cours dans le processeur d'exécution 35 et les objets en cours de manipulation, notamment en ce qui concerne leur état initial et leur 2s état courant.
Les moyens d'analyse vocale comportent par exemple un ensemble de règles permettant notamment le codage de la ;
syntaxe et le mécanisme de recherche de l'arbre syntaxique précédemment défini. Ils fournissent aux moyens d'analyse 30 sémantique l'arbre trouvé. 1 Les moyens d'analyse gestuelle comportent par cxemple un automate a etats finis. Au fur et à mesure du ~ ~ ~
.~ . ..
210 7 ~
- 12 ~ -, .. . .
fonctionnement de i'automa~e, les moyens d'analyse gestuelle envoient aux moyens d'analyse sémantique des messages. Les ordres transmis sont notamment des mots associés à un arbre syntaxique tels que par exemple, prendre, déplacer, poser, jeter, 5 diminuer ou augmenter, ces ordres étant appliqués à un objet graphique.
Les moyens d'analyse sémantique comportent un ensemble de règles dont le rôle est no~amment d'interpréter le sens des messages entrants pour synthétiser les actions à entreprendre.
lls fournissent en sortie un message indiquant l'action à
exécuter, I'objet de l'action et divers paramètres associés. Ils identifient l'action en utilisant notamment les mots diattribut associés précédemment définis ou en les reconstituant à partir du contexte du dialogue. Ils identifient i'objet de l'action en utilisant le 5 mot d'attribut associé ou en le reconstituant ~ partir de la base de faits dynamiques contenant notamment l'objet désigné. Ils identifient les paramètres en utilisant notamment les mots d'attribut par 1, par 2, ... par N précités. Ils éliminent par exemple tous les mots n'ayant pas d'attribut.
Les moyens d'analyse d'exécution comportent par exemple un ensemble de règles dont le rôle est notarnment d'analyser la manière d'exécuter une action issue des moyens d'analyse sémantique, et de générer pour le processeur d'exécution 35, les commandes ~lémentaires nécessaires. Dans le cas où
2s l'analyse d'exécution concerne l'exemple de requête suivant (OUVRiR, RADAR, 0) I'analyse nécessite au moins trois règles, OUVRIR étant l'ac~ion, P~ADAR étant l'objet de l'action et 0 un paramètre. Une première règle traite le cas où une fenêtre graphique associée à l'objet RADAR est déjà ouverte, une deuxième 30 règle traite le cas où cette fenêtre n'est pas ouverte. Une troisibme règle traite le cas où le deuxième argument de la requête, RADAR, n'est pas un nom de fenêtre. L'ordre d'écriture des règles peut être ~, .
~ 2 1 ~ 7 7 1 ~ ~ :
important, I'analyseur ~valuant les r~gles précédentes dans l'ordre précité. Il est en effet concevable que la troisi~me règte ne se d~clenche que si la première r~gle et la deuxibme rbgle ont échoué. .
"
. ~ , . . ;. "
~ , . ..
., "~
"~
. . .
. , ., ,, .~, ~.~ . ., , ~
,~ ~ . - ~, ~'
s - la figure 4, une illustration d'un exemple d'application du procédé selon l'invention.
La figure 1 illustre le procédé d'analyse selon l'invention.
Sur cette figure, le sens des fl~ches indique le sens des informations, une flèche indiquant le passage d'informations d'un 0 point à un au~re. Le principe du procédé selon l'invention est de réaliser une analyse progressive de messages multimédia en suivant trois étapes consécutives, une première étape d'analyse syntaxique, une deuxième étape d'analyse sémantique et une troisième étape d'analyse d'exécution. Cette analyse d'un message mul~imédia, ce s message étant le résultat d'une action de l'homme sur la machine, doit permettre d'en dégager l'aspect sémantique et en déduire les actions correspondantes à entreprendre. Un message est composé
d'évènements, aléatoires par nature, des phrases parlées ou des postures rnanuelles par exemple, et est aussi composé de données 20 continues et non aléatoires, notamment des mesures de positions, de la main ou de direction du regard par exemple. Ce message arrive aux rnoyens d'analyse cycliquement, et à la demande de ceux-ci par exemple. La cadence d'arriv~e des messa~es doit notamment être suffisante pour donner une impression de temps 25 réei à l'échelle humaine et pour ne pas perdre d'informations de nature continue. A cet effet, la duree entre deux messages consécutifs peut être inférieure à 100 ms par exemple.
La figure 1 montre les trois étapes d'analyse selon `
I'invention. La première étape 1, 2, 3 réalise des analyses 30 syntaxiques d'un message mul~imédia 4 fourni par des rnoyens d'interaction homme-rnachine connus de l'homme du métier. La figure 1 illustre un cas où le message 4 contient des informations :; ~ . ':
` ~ `.` ~ .'!, ' : ' .
~ ~ 2 t ~ 7 ~ ~ 2 ~ ~ ~
fournies par N média. L'information relative ~ chaque média est analysée séparément, ces analyses peuvent par exemple être effectuées en parallèle et de façons indépendantes. Ainsi, dans la première étape 1, 2, 3 une première analyse syn~axique 1 traite un 5 premier média, une deuxième analyse syntaxique 2 traite un deuxième média et Nième analyse syntaxique traite un Nième média, N étant un nombre entier supérieur ou égal à 1.
Les résultats de la première étape 1, 2, 3 d'analyse syntaxique sont ensuite analysés dans la deuxibme étape 5 0 d'analyse sémantique. Puis les résultats de cette deuxième étape sont analysés dans la troisième étape 6 d'analyse d'execution.
Cette dernière étape détermine notamment comment réaliser une action 10 à entreprendre, notamment si elle est exécutable ou non, les actions étant appliquées à la machine 12 sur laquelle un 5 opérateur interagit ou vers l'opérateur via des interfaces. Les étapes d'analyse 1, 2, 3, 5, 6 utilisent par exempie des informations issues de la machine 12.
Des bases de faits 7, 8 fournissent par exemple des informations aux moyens d'analyse durant les trois étapes 1, 2, 3, 20 5, 6 précitées. Une base de faits statiques 7 peut par exemple fournir des inforrnations prédéfinies concernant notamment le vocabulaire vocal ou gestuel, des données constantes du système ou l'état du système notamment. ~Jne base de faits dynamiques 8 peut par exemple servir à stocker des données transitoires, telles 2s que des résultats intermédiaires ou encore l'état du système notamment. Un historique 9 est utilisé par exemple pour mémoriser ie déroulement du dialogue et des actions. Les données continues du message multimédia 4 sont traduites sous forme de faits et sont stockées dans la base de faits dynamiques 8. Cela a pour avantage 30 notamment de ne pas saturer ou encombrer les étapes d'analyse 1, 2, 3, 5, 6 avec des données qui n'interviqnnent pas au niveau syntaxique car ces données continues ne sont pas en tant que telles , ~ .
i'''""'"''''.''.''''' ~; ~
~`" 2~7~2 ~;
des ~venements à interpréter. Ces donn~es continues interviennent notamment dans l'interprétation des ~vènements, par exemple vocaux ou gestuels, cette interpr~tation faisant appel ~ la base de faits dynamiques.
S La figure 2 illustre un mode d'analyse syntaxique possible pouvant être utilisé par le procédé selon l'invention. Le rôle de I'étape d'analyse syntaxique est d'évaluer si un évènement issu d'un média ou moyen d'interaction donné est conforme a l'une des formes de dialogue définies pour le média en question. n appelant 10 "arbre de syntaxe" ou tout simplement "arbre", chaque ~orme de dialogue possible d'un média donné, en appelant "feuilles", les termes se trouvant aux extrémités de ces arbres et en appelant "phrase" une suite ordonnée d'un ou plusieurs mots du vocabulaire du média analysé, vocabulaire vocal ou gestuel par exen-ple, il 15 s'ensuit que l'analyse syntaxique d'un média se résume à identifier parmi les arbres possibles, celui dont la liste ordonnée des feuilles est identique, élément par élément, b la phrase du message multimédia reçu. Une fois l'arbre identifié, I'étape d'analyse documente chaque mot de la phrase en iui 3ssociant un attribut. Cet 20 attribut définit la participation du mot au sens de ia phrase.
La figure 2 présente deux exemples de phrase à analyser, dans un cas d'application de pilotage d'avion par exemple. L'arbre de syntaxe définit par exemple une phrase possible de dialogue comme possédant un verbe d'action suivi d'un type d'objet suivi 2~ d'un nom d'obje~. Une première phrase à analyser est par exemple "fermer page radar" et une deuxième phrase "éteindre voyant alarme". L'arbre de la figure 2 est analysé dans la premiere étape qui en déduit la validité de la syntaxe. Si celle-ci ~st correcte, la première étape d'analyse syntaxique délivre alors trois mots, un 30 prernier mot indiquant le verbe d'action, un deuxième mot indiquant 18 type d'objet de l'action et un troisieme mot indiquant le nom de I'objet. D'autres types de syntaxe, c'est-~-dire d'arbres syntaxiques, ','' ': '.'~', : , 2~Q77~ 2 peuvent être analysés, pouvant notamment comprendre plus ou rnoins de mots.
Dans le cas d'utilisation de certains média comme par exemple des moyens de reconnaissance gestuelle, ceux-ci peuvent s nécessi~er des modes d'analyse particuliers car la phrase définie précédemment est répartie sur plusieurs messages. L'analyse syntaxique peut alors ~tre réalisée s~iquentiellement et les résultats des étapes d'analyse syntaxique intermédiaires peuvent être par exemple mémorisés dans la base des faits dynamiques 8.
Si une phrase ne correspond pas à une syntaxe correcte, elle est rejetée e~ l'utilisateur peut par exemple être averti par un signal sonore ou visuel, ou un message.
Comme l'illustre la figure 1, la première ét~pe d'analyse syntaxique peut être constituée par exemple de plusieurs analyses 15 syntaxiques 1, 2, 3 indépendantes, le nombre d'analyses syntaxiques étant égal au nombre de médias ou moyens d'interactions, un média ~tant associé à chaque analyse. Dans ce cas, du point de vue de la syntaxe, chaque média est traité
indépendamment des autres. Cela permet notamment d'assurer une 20 bonne souplesse de dialogue entre l'homme et la machine. Chaque moyen d'analyse affecté à une analyse de la première étape reçoit la partie du message multimédia qui conceme cette analyse, c'est-à-dire l'information provenant de son rnédia associé. Chaque moyen d'analyse fournit un message qui est traité par la deuxibme étape 2s d'analyse sémantique. Ce message contient par exemple une partie identifiant le média d'où provient l'information ainsi que des attributs de sens affectés aux mots de la phrase. Un tel message ; `
peut alors avoir la forme suivante par exemple ~
NMédia (Atb)(premier mot), Atb~(deuxième mot), Atb(troisième mot) od NMédia représente une identification d'un média, i Atb représente un attribut de sens de mot, les premier, deuxiame et troisième mots pouvant être par exemple les mots ; . ~
~:
/. ~ ' . ' . . . ' ' ~ . . ' .' . ' '. . . ' ' ' '~ ' ; ! . , ' .
~1~77 ~ :
précités, notamment "fermer", "page", "radar". Les vocabulaires associés aux différen~s médias sont par exemple stockés dans la base des faits statiques 7.
Une fois analysée et acceptée, la phrase documentée est S transmise à des moyens d'analyse sémantique réalisant la deuxième étape du procédé selon l'invention.
Le rôle de l'étape d'analyse sémantique est notamment d'évaluer le sens de la requête de l'opérateur d'après les résultats de l'étape d'analyse syntaxique. Elle permet par exemple d'identifier 10 I'astion à entreprendre, I'objet de l'action, c'est-~-dire sur quoi porte l'action, et les modali~és d'application dé~inies par des paramètres.
Si le contenu des resultats des analyses syntaxiques ne suffit pas pour établir le sens de la requête, I'analyse sémantique tente notamment d'y parvenir en utilisant des informations 15 complémentaires issues par exemple des bases de faits 7, 8 ou de l'historique 9. Ce peut être le cas par exemple pour des requêtes faisant intervenir des désignations d'objets, I'objet de i'action étant alors issu de la base des faits dynamiques 8. C'est aussi le cas par exemple pour des phrases comportant des ellipses, c'est-à-dire des 20 phrases ayant des éléments manquants faisant référence au dialo~ue antérieur, où le sens ne peut être trouvé notamrnent que par une analyse de l'his~orique du dialogue.
Toute requête sémantiquement correcte est ensuite traitée par la troisième étape d'analyse d'exécution. Cette requête ~s comporte par exemple le type d'actions 3 exécuter, I'ob3et sur iequel porte cette action et la liste des paramètres à prendre en compte. Une requête peut alors être transmise à l'étape d'analyse d'actions par une suite ayant la ~orme suivante par exemple (Action, Objet, Par 1, Par 2, ... Par N) Action indiquant le type d'action, Objet indiquant l'objet sur lequel elle porte et Par 1, Par 2, ... Par N une liste de N
paramètres.
:
- 2~7~2 En cas de requ8te incomplète, le système d'interaction homme-machine peut par exemple demander à l'opérateur un complément d'informa~ion, cette demande ~tant réalis~e par voix synthétique, par texte ou par image par exemple. L'his~orique peut s alors servir notamrnent à mémoriser l'~itat interméidiaire de la re~uête. Toute requête n'ayant aucun sens dans le contexte du dialo~ue est par exemple sanctionnée par un message d'erreur.
Le rôle de l'étape d'analyse d'exécution est notamment de déterminer la réalisation d ' une action à entreprendre vers I'opérateur ou vers ia machine 12 sur laquelle l'opérateur interagit issue de l'étape d'analyse sémantique. L'analyse porte notamment sur le contexte dans lequel i'action a ~ se dérouler. Ce contexte concerne par exemple l'état de la machine de l'application ou du système de dialogue. Par exemple, dans le cas de la demande "fermer page radar" précitée, I'étape d'analyse d'exécution v~rifie par exemple que la page radar est ouverte, cette page étant représentée sur un écran de visualisation, que la page n'est pas liée à une autre action en cours et qu'il n'y a pas d'interdiction pour la fermer.
Pour toute action juaée exécutable, I'étape d'analyse d'exécution compose et transmet vers un processeur d'exécution, une séquence d'ordres él~mentaires, les actions étan~ exécutées sur des objets graphiques sur un écran de visualisation ou de façon sonore par exemple. Ces ordres sont par exemple transmis par une 25 séquence ayant la forme suivante:
(Cde, Par 1, Par 2, ... Par N) Cde désignant une commande donnée, et Par 1, Par 2, ...
Par N étant une liste de paramètres.
Toute ac~ion non exécutable est par exemple sanctionnée 30 par l'émission d'un message d'erreur vocal ou visuel.
La figure 3 présente un mode de réalisation possible d'un dispositif pour la mise en oeuvre du procédé selon l'invention. Il ::, ^`^ 21077~2 g :
comprend en entr~e des moyens d'interaction 31. Ceux-ci peuven~
être par exemple des moyens de reconnaissance vocale ou gestuelle, les gestes étan~ notamment ceux de la main de l'op~rateur reconnu au moyen d'un gant numérique ou tout autre s geste corporel de l'opérateur, ces moyens d'interaction peuvent encore permettre par exemple de détecter le regard de l'opérateur, grâce à l'utilisation d'un oculomètre notamment, ou de détecter la position de la main ou de la tête de l'opéra~eur à l'aide de capteurs électromagnétiques. Ces moyens d'interaction 31 sont reliés à des 10 moyens d'analyse syntaxique réalisant la première étape 1, 2, 3 du procéd~ selon l'invention. Ces derniers comportent par exemple autant de moyens de syntaxe indépendants qu'il y a de médias, voix, geste, regard par exemple. Les moyens d'analyse syntaxique 32 sont reliés à des moyens d'analyse sémantique 33 réalisant la 5 deuxième étape 5. Ces moyens sont eux-mêmes reliés à des moyens d'analyse d'exécution 34 réalisant la troisième étape 6. Ils sont couplés à un processeur d'exécution 35, lequel est relié à des moyens d'interaction 36, des moyens de synthèse vocale ou des rnoyens de visualisation, écran de visualisation par exemple. Ils sont ;
20 aussi couplés à la machine 12. Les moyens d'analyses 32, 33, 34 peuvent être implantés sur un même calculateur ou répartis sur plusieurs calculateurs, un calculateur étant affecté à chaque étape d'analyse. Une mémoire 37 contenant les faits statiques est reliée aux moyens d'analyse 32, 33, 34. De même, une mémoire 38 est 2s reliée aux moyens d'analyse 32, 33, 34, à la machine 11 et aux moyens d'interaction 31. Une mémoire 39 contenant notamment ` ~; `
I'historique d'un dialogue homme-machine est reliée aux moyens d'analyse sémantique 33 et d'exécution 34.
La figure 4 illustre un exemple d'application du procédé
30 selon l'invention, dans le cas notamment d'un système de dialogue homme-machine dont un moyen d'interaction es~ constitué par exemple d'un écran et d'un dispositif de synthèse vocale d'une : ;'-~
2~07712 part, et d'autre part de médias d'entrée constitués de la voix et des gestes de la main, les gestes comprenant la posture et la position de la main.
L'utilisation du dispositif est notamment de permettre la s gestion de systèmes complexes en fournissant à l'opérateur des moyens de dialogue riches, tels que la voix, les gestes de la main ou le regard par exemple, et des informations de sortie du type graphique ou sonore, grâce à un écran de visualisation et des moyens de synthèse vocale et sonore. Un exemple d'utilisation est 10 la gestion d'une planche de bord virtuelie d'un avion.
L'illustration de la figure 4 rnontre que la première étape d'analyse syntaxique comporte une analyse syntaxique vocale 1 et une anaiyse syntaxique gestuelle 2, correspondant chacune respectivement à un premier média, la voix, et à un deuxième 15 média, le geste de la main par exemple, tel que défini précédemment, éventuellement, les gestes pourraient concerner d'autres parties du corps. Les autres étapes 5, 6 sont les mêmes que celles définies par la figure 1. De même, les bases de faits statiques 7 et dynamiques 8, ainsi que l'historique 9 s'articulent 20 autour de ces étapes conformément ~ ce qui a été décrit en regard de la figure 1. Les actions définies par l'étape d'analyse d'exécution 6 sont des actions graphiques 11 portant sur des objets visualisés par l'écran. Les actions générées par ia troisième étape 6 d'analvse d'exécution peuvent aussi porter sur les moyens de synthèse vocale 2s ou sonore, et sur la machine 12.
Un systeme expert, encore appelé système à règles de production peut permettre par exemple de réaliser les trois étapes du procédé d'analyse selon l'invention et assurer ainsi la compréhension d'un message multimédia contenant l'activité de 30 I'opérateur, dans une tranche de temps donnée, le temps d'application étant divisé en tranches d'une durée d'environ 100 ms par exemple.
~ .
rrr~ ,t.~ .Ut,~ o,,,~
~ 210~712 Dans le cas d'application de la figure 4, un message multimédia est par exemple transmis au système expert sous la forme d'une liste de données informatiques. Cette liste comprend par exemple une suite ordonnée de mots vocaux, une posture 5 manuelle reconnue, une identification d'objet désigné. Par ailleurs elle contient par exemple la distance de la main de l'opérateur à
I'écran ou la position angulaire de la main autour de l'axe du bras.
La base de faits statiques 7 est par exemple stockée dans une mémoire 37 à lecture seule comme l'illustre la figure 3.
10 Elle contient par exemple un vocabulaire vocal, un vocabulaire postural et des positions, tailles et attributs par defaut d'objets graphiques.
La base de faits dynamiques 8 est contenue dans une -- - `
mémoire 38 à lecture et écriture. Elle contient par exemple les ~ :
15 positions et tailles courantes des objets présentés sur l'écran de visualisation, un identificateur de l'objet désigné, les dernières ~ :~
positions et orientations de la main, I'état courant des moyens d'analyse syntaxique gestuelle et l'état des médias, notamment en ce qui concerne leur disponibilité et leur activation, et des 20 paramètres de la machine 12. ~ ~ :
L'historique 9 est contenu dans une mémoire 39 à
lecture et écriture. E!le contient par exemple les ordres en cours dans le processeur d'exécution 35 et les objets en cours de manipulation, notamment en ce qui concerne leur état initial et leur 2s état courant.
Les moyens d'analyse vocale comportent par exemple un ensemble de règles permettant notamment le codage de la ;
syntaxe et le mécanisme de recherche de l'arbre syntaxique précédemment défini. Ils fournissent aux moyens d'analyse 30 sémantique l'arbre trouvé. 1 Les moyens d'analyse gestuelle comportent par cxemple un automate a etats finis. Au fur et à mesure du ~ ~ ~
.~ . ..
210 7 ~
- 12 ~ -, .. . .
fonctionnement de i'automa~e, les moyens d'analyse gestuelle envoient aux moyens d'analyse sémantique des messages. Les ordres transmis sont notamment des mots associés à un arbre syntaxique tels que par exemple, prendre, déplacer, poser, jeter, 5 diminuer ou augmenter, ces ordres étant appliqués à un objet graphique.
Les moyens d'analyse sémantique comportent un ensemble de règles dont le rôle est no~amment d'interpréter le sens des messages entrants pour synthétiser les actions à entreprendre.
lls fournissent en sortie un message indiquant l'action à
exécuter, I'objet de l'action et divers paramètres associés. Ils identifient l'action en utilisant notamment les mots diattribut associés précédemment définis ou en les reconstituant à partir du contexte du dialogue. Ils identifient i'objet de l'action en utilisant le 5 mot d'attribut associé ou en le reconstituant ~ partir de la base de faits dynamiques contenant notamment l'objet désigné. Ils identifient les paramètres en utilisant notamment les mots d'attribut par 1, par 2, ... par N précités. Ils éliminent par exemple tous les mots n'ayant pas d'attribut.
Les moyens d'analyse d'exécution comportent par exemple un ensemble de règles dont le rôle est notarnment d'analyser la manière d'exécuter une action issue des moyens d'analyse sémantique, et de générer pour le processeur d'exécution 35, les commandes ~lémentaires nécessaires. Dans le cas où
2s l'analyse d'exécution concerne l'exemple de requête suivant (OUVRiR, RADAR, 0) I'analyse nécessite au moins trois règles, OUVRIR étant l'ac~ion, P~ADAR étant l'objet de l'action et 0 un paramètre. Une première règle traite le cas où une fenêtre graphique associée à l'objet RADAR est déjà ouverte, une deuxième 30 règle traite le cas où cette fenêtre n'est pas ouverte. Une troisibme règle traite le cas où le deuxième argument de la requête, RADAR, n'est pas un nom de fenêtre. L'ordre d'écriture des règles peut être ~, .
~ 2 1 ~ 7 7 1 ~ ~ :
important, I'analyseur ~valuant les r~gles précédentes dans l'ordre précité. Il est en effet concevable que la troisi~me règte ne se d~clenche que si la première r~gle et la deuxibme rbgle ont échoué. .
"
. ~ , . . ;. "
~ , . ..
., "~
"~
. . .
. , ., ,, .~, ~.~ . ., , ~
,~ ~ . - ~, ~'
Claims (10)
1. Procédé d'analyse d'un message contenant des évènements et des données continues, provenant d'un opérateur et transmis par des moyens d'interaction à un système de dialogue entre un homme et une machine (12), caractérisé en ce qu'il comprend trois étapes consécutives, une première étape d'analyse syntaxique (1, 2, 3), une deuxième étape d'analyse sémantique (5) et une troisième étape d'analyse d'exécution (6), l'analyse syntaxique (1, 2, 3) évaluant la conformité d'un message (4) fourni par les moyens d'interaction par rapport à une forme de dialogue prédéfinie, l'analyse sémantique (5) évaluant le sens de la demande de l'opérateur et l'analyse d'exécution (6) déterminant la réalisation d'une action à entreprendre issue de l'étape d'analyse sémantique.
2. Dispositif selon la revendication 1, caractérisé en ce que les données continues sont traduites sous forme de faits et sont stockées dans une base de faits dynamiques (8), les étapes d'analyse (1, 2, 3, 5, 6) utilisant les informations issues de la base de faits dynamiques (8).
3. Procédé selon l'une quelconque des revendications précédentes, caractérisé en ce que les étapes (1, 2, 3, 5, 6) utilisent des informations issues d'une base de faits statiques (7) contenant des données prédéfinies.
4. Procédé selon l'une quelconque des revendications précédentes, caractérisé en ce que les étapes ( 1, 2, 3, 5, 6) utilisent des informations issues d'un historique (9) mémorisant le déroulement du dialogue et des actions.
5. Procédé selon l'une quelconque des revendications précédentes, caractérisé en ce que la première étape d'analyse syntaxique comporte une analyse syntaxique vocale et une analyse syntaxique gestuelle.
6. Procédé selon l'une quelconque des revendications précédentes, caractérisé en ce que les étapes utilisent des informations issues de la machine (12).
7. Dispositif pour la mise en oeuvre du procédé selon l'une quelconque des revendications précédentes, caractérisé en ce qu'il comprend au moins:
- en entrée, des moyens d'interaction 131) - des moyens d'analyse syntaxique (32) reliés aux moyens d'interaction (31) d'entrée - des moyens d'analyse sémantique (33) reliés aux moyens d'analyse syntaxique - des moyens d'analyse d'exécution (34) reliés aux moyens d'analyse sémantique - un processeur d'exécution (35) relié aux moyens d'analyse d'exécution et à la machine (12) - en sortie, des moyens d'interaction 136) reliés au processeur d'exécution (35).
- en entrée, des moyens d'interaction 131) - des moyens d'analyse syntaxique (32) reliés aux moyens d'interaction (31) d'entrée - des moyens d'analyse sémantique (33) reliés aux moyens d'analyse syntaxique - des moyens d'analyse d'exécution (34) reliés aux moyens d'analyse sémantique - un processeur d'exécution (35) relié aux moyens d'analyse d'exécution et à la machine (12) - en sortie, des moyens d'interaction 136) reliés au processeur d'exécution (35).
8. Dispositif selon la revendication 7, caractérisé en ce qu'il comprend en outre:
- une mémoire contenant la base de faits statiques (7), reliée aux moyens d'analyse (32, 33, 34) - une mémoire contenant la base de faits dynamiques (8), reliée aux moyens d'analyse (32, 33, 34) - une mémoire contenant l'historique (9), reliée aux moyens d'analyse sémantique (33) et d'exécution (34).
- une mémoire contenant la base de faits statiques (7), reliée aux moyens d'analyse (32, 33, 34) - une mémoire contenant la base de faits dynamiques (8), reliée aux moyens d'analyse (32, 33, 34) - une mémoire contenant l'historique (9), reliée aux moyens d'analyse sémantique (33) et d'exécution (34).
9. Dispositif selon l'une quelconque des revendications 7 ou 8, caractérisé en ce qu'il comprend autant de moyens d'analyse syntaxique que de moyens d'interaction d'entrée.
10. Dispositif selon l'une quelconque des revendications 7 à 9, caractérisé en ce que les moyens d'analyse (32, 33, 34) sont réalisés par un système à règles de production.
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FR9211816A FR2696574B1 (fr) | 1992-10-06 | 1992-10-06 | Procédé et dispositif d'analyse d'un message fourni par des moyens d'interaction à un système de dialogue homme-machine. |
| FR9211816 | 1992-10-06 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CA2107712A1 true CA2107712A1 (fr) | 1994-04-07 |
Family
ID=9434174
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CA002107712A Abandoned CA2107712A1 (fr) | 1992-10-06 | 1993-10-05 | Procede et dispositif d'analyse d'un message fourni par des moyens d'interaction a un systeme de dialogue homme-machine |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US5809269A (fr) |
| EP (1) | EP0592280A1 (fr) |
| JP (1) | JPH06266495A (fr) |
| CA (1) | CA2107712A1 (fr) |
| FR (1) | FR2696574B1 (fr) |
Families Citing this family (34)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| FR2744277B1 (fr) * | 1996-01-26 | 1998-03-06 | Sextant Avionique | Procede de reconnaissance vocale en ambiance bruitee, et dispositif de mise en oeuvre |
| US20050182765A1 (en) * | 1996-02-09 | 2005-08-18 | Technology Innovations, Llc | Techniques for controlling distribution of information from a secure domain |
| US6097927A (en) * | 1998-01-27 | 2000-08-01 | Symbix, Incorporated | Active symbolic self design method and apparatus |
| US6236968B1 (en) * | 1998-05-14 | 2001-05-22 | International Business Machines Corporation | Sleep prevention dialog based car system |
| US7711672B2 (en) * | 1998-05-28 | 2010-05-04 | Lawrence Au | Semantic network methods to disambiguate natural language meaning |
| US8396824B2 (en) * | 1998-05-28 | 2013-03-12 | Qps Tech. Limited Liability Company | Automatic data categorization with optimally spaced semantic seed terms |
| US20070294229A1 (en) * | 1998-05-28 | 2007-12-20 | Q-Phrase Llc | Chat conversation methods traversing a provisional scaffold of meanings |
| US20070094222A1 (en) * | 1998-05-28 | 2007-04-26 | Lawrence Au | Method and system for using voice input for performing network functions |
| US6714909B1 (en) | 1998-08-13 | 2004-03-30 | At&T Corp. | System and method for automated multimedia content indexing and retrieval |
| US7137126B1 (en) * | 1998-10-02 | 2006-11-14 | International Business Machines Corporation | Conversational computing via conversational virtual machine |
| US6311159B1 (en) | 1998-10-05 | 2001-10-30 | Lernout & Hauspie Speech Products N.V. | Speech controlled computer user interface |
| US7082397B2 (en) * | 1998-12-01 | 2006-07-25 | Nuance Communications, Inc. | System for and method of creating and browsing a voice web |
| US7263489B2 (en) | 1998-12-01 | 2007-08-28 | Nuance Communications, Inc. | Detection of characteristics of human-machine interactions for dialog customization and analysis |
| US6807574B1 (en) | 1999-10-22 | 2004-10-19 | Tellme Networks, Inc. | Method and apparatus for content personalization over a telephone interface |
| US7941481B1 (en) | 1999-10-22 | 2011-05-10 | Tellme Networks, Inc. | Updating an electronic phonebook over electronic communication networks |
| US7376586B1 (en) | 1999-10-22 | 2008-05-20 | Microsoft Corporation | Method and apparatus for electronic commerce using a telephone interface |
| US6970915B1 (en) | 1999-11-01 | 2005-11-29 | Tellme Networks, Inc. | Streaming content over a telephone interface |
| US6598018B1 (en) * | 1999-12-15 | 2003-07-22 | Matsushita Electric Industrial Co., Ltd. | Method for natural dialog interface to car devices |
| US7143039B1 (en) | 2000-08-11 | 2006-11-28 | Tellme Networks, Inc. | Providing menu and other services for an information processing system using a telephone or other audio interface |
| US6600475B2 (en) | 2001-01-22 | 2003-07-29 | Koninklijke Philips Electronics N.V. | Single camera system for gesture-based input and target indication |
| US6964023B2 (en) * | 2001-02-05 | 2005-11-08 | International Business Machines Corporation | System and method for multi-modal focus detection, referential ambiguity resolution and mood classification using multi-modal input |
| US7580837B2 (en) | 2004-08-12 | 2009-08-25 | At&T Intellectual Property I, L.P. | System and method for targeted tuning module of a speech recognition system |
| US7242751B2 (en) | 2004-12-06 | 2007-07-10 | Sbc Knowledge Ventures, L.P. | System and method for speech recognition-enabled automatic call routing |
| US7751551B2 (en) | 2005-01-10 | 2010-07-06 | At&T Intellectual Property I, L.P. | System and method for speech-enabled call routing |
| US7412389B2 (en) * | 2005-03-02 | 2008-08-12 | Yang George L | Document animation system |
| US7657020B2 (en) | 2005-06-03 | 2010-02-02 | At&T Intellectual Property I, Lp | Call routing system and method of using the same |
| US7774713B2 (en) | 2005-06-28 | 2010-08-10 | Microsoft Corporation | Dynamic user experience with semantic rich objects |
| US7774202B2 (en) * | 2006-06-12 | 2010-08-10 | Lockheed Martin Corporation | Speech activated control system and related methods |
| FR2902543A1 (fr) | 2006-06-20 | 2007-12-21 | Alcatel Sa | Procede de creation de contenus multimedia pour terminaux mobiles, produit programme d'ordinateur pour la mise en oeuvre d'un tel procede |
| US20080189268A1 (en) * | 2006-10-03 | 2008-08-07 | Lawrence Au | Mechanism for automatic matching of host to guest content via categorization |
| TWI331309B (en) * | 2006-12-01 | 2010-10-01 | Ind Tech Res Inst | Method and system for executing correlative services |
| FR2938396A1 (fr) * | 2008-11-07 | 2010-05-14 | Thales Sa | Procede et systeme de spatialisation du son par mouvement dynamique de la source |
| CN103000052A (zh) * | 2011-09-16 | 2013-03-27 | 上海先先信息科技有限公司 | 人机互动的口语对话系统及其实现方法 |
| US9432278B2 (en) * | 2013-03-07 | 2016-08-30 | Microsoft Technology Licensing, Llc | Simulation of interactions between network endpoints |
Family Cites Families (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4988981B1 (en) * | 1987-03-17 | 1999-05-18 | Vpl Newco Inc | Computer data entry and manipulation apparatus and method |
| DE3732849A1 (de) * | 1987-09-29 | 1989-04-20 | Siemens Ag | System-architektur fuer ein akustisches mensch/maschine-dialogsystem |
| JPH02159674A (ja) * | 1988-12-13 | 1990-06-19 | Matsushita Electric Ind Co Ltd | 意味解析装置と構文解析装置 |
| US5252951A (en) * | 1989-04-28 | 1993-10-12 | International Business Machines Corporation | Graphical user interface with gesture recognition in a multiapplication environment |
| US5157384A (en) * | 1989-04-28 | 1992-10-20 | International Business Machines Corporation | Advanced user interface |
| GB8913048D0 (en) * | 1989-06-07 | 1990-04-25 | Marconi Co Ltd | Processor |
| JPH0375860A (ja) * | 1989-08-18 | 1991-03-29 | Hitachi Ltd | パーソナライズド端末 |
| EP0450196B1 (fr) * | 1990-04-02 | 1998-09-09 | Koninklijke Philips Electronics N.V. | Système de traitement de données utilisant des données basées sur des gestes |
| JP3009215B2 (ja) * | 1990-11-30 | 2000-02-14 | 株式会社日立製作所 | 自然語処理方法および自然語処理システム |
| US5360971A (en) * | 1992-03-31 | 1994-11-01 | The Research Foundation State University Of New York | Apparatus and method for eye tracking interface |
| US5463696A (en) * | 1992-05-27 | 1995-10-31 | Apple Computer, Inc. | Recognition system and method for user inputs to a computer system |
| US5502774A (en) * | 1992-06-09 | 1996-03-26 | International Business Machines Corporation | Automatic recognition of a consistent message using multiple complimentary sources of information |
| US5320538A (en) * | 1992-09-23 | 1994-06-14 | Hughes Training, Inc. | Interactive aircraft training system and method |
-
1992
- 1992-10-06 FR FR9211816A patent/FR2696574B1/fr not_active Expired - Fee Related
-
1993
- 1993-09-28 EP EP93402368A patent/EP0592280A1/fr not_active Withdrawn
- 1993-10-05 CA CA002107712A patent/CA2107712A1/fr not_active Abandoned
- 1993-10-06 JP JP5272983A patent/JPH06266495A/ja not_active Withdrawn
-
1997
- 1997-02-11 US US08/797,207 patent/US5809269A/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| EP0592280A1 (fr) | 1994-04-13 |
| US5809269A (en) | 1998-09-15 |
| FR2696574A1 (fr) | 1994-04-08 |
| JPH06266495A (ja) | 1994-09-22 |
| FR2696574B1 (fr) | 1994-11-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CA2107712A1 (fr) | Procede et dispositif d'analyse d'un message fourni par des moyens d'interaction a un systeme de dialogue homme-machine | |
| EP0589754B1 (fr) | Dispositif de gestion d'un système d'interaction homme-machine | |
| JP7459153B2 (ja) | 音声駆動コンピューティングインフラストラクチャによるグラフィカルユーザインターフェースレンダリング管理 | |
| CN105224278B (zh) | 语音交互服务处理方法及装置 | |
| Pfister et al. | Real-time recognition of affective states from nonverbal features of speech and its application for public speaking skill analysis | |
| EP0818036A1 (fr) | Procede de reconnaissance vocale en ambiance severe, et dispositif de mise en oeuvre | |
| US9633008B1 (en) | Cognitive presentation advisor | |
| EP3593346B1 (fr) | Sélection de données graphiques et présentation de contenu numérique | |
| US11776536B2 (en) | Multi-modal interface in a voice-activated network | |
| CA2592994A1 (fr) | Procede de recherche d'informations dans une base de donnees | |
| CA2942116A1 (fr) | Reconnaissance vocale automatique avec detection d'au moins un element contextuel, et application au pilotage et a la maintenance d'un aeronef | |
| CN103197767B (zh) | 利用手势虚拟键盘输入的方法及装置 | |
| Pascoal et al. | Adapting speech recognition in augmented reality for mobile devices in outdoor environments | |
| EP0591044B1 (fr) | Dispositif d'exécution de commandes virtuelles autoadaptatif | |
| EP1376395A2 (fr) | Procédé et dispositif pour élaborer une forme abrégée d'un terme | |
| US10224026B2 (en) | Electronic device, system, method and computer program | |
| Ribeiro et al. | Assessing user expertise in spoken dialog system interactions | |
| Chu | Feeling is believing: viewing movies through emotional arcs | |
| KR20240023400A (ko) | 얼굴 인식 기술을 기반으로 한 개인화된 예술 작품 추천 서비스 | |
| Shimizu | Dominant metaphor factors in business speech communication: A chronological view | |
| KR20220061476A (ko) | 적응형 기계학습 기반 자율지능 디지털 동반자를 이용하는 시스템 | |
| FR2860898A1 (fr) | Systeme d'interface homme-machine a utilisation de dispositifs par auxiliaires dedies cooperants | |
| Perakakis | Blending Speech and Graphical User Interfaces | |
| FR2946768A1 (fr) | Procede d'entree tactile d'instructions de commande d'un programme d'ordinateur et systeme pour la mise en oeuvre de ce procede | |
| FR2911416A1 (fr) | Procede et dispositif de dialogue entre un utilisateur et un systeme informatique en vue d'etablir, entre ces derniers un dialogue en langage naturel |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| FZDE | Discontinued |