CN1237799C - 面部信息传输系统 - Google Patents

面部信息传输系统 Download PDF

Info

Publication number
CN1237799C
CN1237799C CNB2004100037869A CN200410003786A CN1237799C CN 1237799 C CN1237799 C CN 1237799C CN B2004100037869 A CNB2004100037869 A CN B2004100037869A CN 200410003786 A CN200410003786 A CN 200410003786A CN 1237799 C CN1237799 C CN 1237799C
Authority
CN
China
Prior art keywords
image
image information
phoneme
face
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CNB2004100037869A
Other languages
English (en)
Other versions
CN1527602A (zh
Inventor
宫原沙织
松木彰
户泽有起子
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NTT Docomo Inc
Original Assignee
NTT Docomo Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NTT Docomo Inc filed Critical NTT Docomo Inc
Publication of CN1527602A publication Critical patent/CN1527602A/zh
Application granted granted Critical
Publication of CN1237799C publication Critical patent/CN1237799C/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47K—SANITARY EQUIPMENT NOT OTHERWISE PROVIDED FOR; TOILET ACCESSORIES
    • A47K1/00—Wash-stands; Appurtenances therefor
    • A47K1/04—Basins; Jugs; Holding devices therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41407—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance embedded in a portable device, e.g. video client on a mobile phone, PDA, laptop
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8106—Monomedia components thereof involving special audio data, e.g. different tracks for different languages
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/06—Transformation of speech into a non-audible representation, e.g. speech visualisation or speech processing for tactile aids
    • G10L21/10—Transforming into visible information
    • G10L2021/105—Synthesis of the lips movements from speech, e.g. for talking heads

Abstract

本发明公开了一种面部信息传输系统，包括：获得对象面部图像的图像获取装置；根据获得的图像，产生与对象相关的、并且包括面部的特征点位置的第一图像信息的第一产生装置；根据产生的第一图像信息，产生与对象的面部表情相符的第二图像信息的第二产生装置；将产生的第二图像信息传送给指定通信终端的传输装置；获得对象发出的话语的话语获取装置；判断第一图像信息是否满足指定条件的图像判断装置，在图像判断装置判断第一图像信息满足指定条件时，第二产生装置至少根据第一图像信息，产生与对象的面部表情相符的第二图像信息，在图像判断装置判断第一图像信息没有满足指定条件时，第二产生装置根据话语，产生与对象的面部表情相符的第二图像信息。

Description

面部信息传输系统
技术领域
本发明涉及面部信息传输系统。
背景技术
随着电子邮件的传播，除了简单文本信息之外，还传送各种图像信息的情况越来越多。作为图像信息传输的一种模式，一种技术是获得用户(对象)的面部图像，并按照指定的面部表情，将面部图像转换成另一图像(例如参见日本专利公开No.10-149433)。
但是，虽然犹豫于传送他们自己面部的未变图像，但是一些用户会希望传送反映诸如他们自己的感情和意图之类元素的人物图像。虽然现有技术能够传送对象的和规定的面部表情相符的面部图像，但是存在不能根据用户的面部表情产生图像，并反映诸如感情和意图之类元素的问题。
发明内容
从而本发明的一个目的是提供一种面部信息传输系统，该系统能够产生反映诸如用户的感情和意图之类元素的可能性高的图像。
本发明的一种面部信息传输系统，包括：
获得对象面部图像的图像获取装置；
根据所述获得的图像，产生与所述对象相关的、并且包括所述面部的特征点位置的第一图像信息的第一产生装置；
根据所述产生的第一图像信息，产生与所述对象的面部表情相符的第二图像信息的第二产生装置；
将所述产生的第二图像信息传送给指定通信终端的传输装置；
获得所述对象发出的话语的话语获取装置；以及
判断所述第一图像信息是否满足指定条件的图像判断装置，
其中在所述图像判断装置判断所述第一图像信息满足指定条件时，所述第二产生装置至少根据所述第一图像信息，产生与所述对象的面部表情相符的第二图像信息，在所述图像判断装置判断所述第一图像信息没有满足指定条件时，所述第二产生装置根据所述话语，产生与所述对象的面部表情相符的第二图像信息。
借助本发明的面部信息传输系统，根据基于特征点的位置产生的第一图像信息，产生与对象的面部表情相符的第二图像信息，从而可产生捕捉对象面部表情的图像信息。面部表情通常反映诸如对象的感情和意图之类元素，从而可以第二图像信息的形式产生反映这类元素可能性高的图像，并将该图像传送给指定的通信终端。
另外，本发明的面部信息传输系统最好还包括获得对象发出的话语的话语获取装置，和判断第一图像信息是否满足指定条件的图像判断装置；作为图像判断装置的判断结果，当第一图像信息满足指定条件时，第二产生装置最好至少根据第一图像信息，产生与对象的面部表情相符的第二图像信息，当第一图像信息不满足指定条件时，[第二产生装置]最好根据话语，产生与对象的面部表情相符的第二图像信息。当第一图像信息不满足指定条件时，第二产生装置根据话语，产生与对象的面部表情相符的第二图像信息，从而即使由于某一原因，对象面部特征点的位置测量未完成，也可产生第二图像信息。
另外，本发明的面部信息传输系统最好还包括识别和话语获取装置获得的话语对应的音素的音素识别装置，和判断识别的音素是否满足指定条件的音素判断装置；作为音素判断装置的判断结果，最好当音素满足指定条件时，至少根据音素产生与对象面部表情相符的第二图像信息，当音素不满足指定条件时，根据第一图像信息产生与对象面部表情相符的第二图像信息。当音素不满足指定条件时，根据第一图像信息和/或话语产生与对象面部表情相符的第二图像信息，从而即使由于某一原因不能识别音素时，也可产生第二图像信息。
另外，在本发明的面部信息传输系统中，当第一图像信息和音素都不满足各自的指定条件，并且不能获得话语时，第二产生装置最好将事先确定的图像信息用作第二图像信息。根据条件，可假定其中也不能获得话语的情况；但是即使在这种情况下，如果使用事先确定的图像信息，也可产生第二图像信息。
另外，在本发明的面部信息传输系统中，第一图像信息最好包括识别特征点在对象面部中的分布的信息。如果识别了特征点在面部中的分布，则可掌握特征点之间的相对位置关系，从而可产生更适当的第二图像信息。
另外，在本发明的面部信息传输系统中，图像获取系统最好沿时间系列获得面部图像，第一产生装置根据获得的图像，产生包括特征点的位置沿时间系列的偏移的第一图像信息。通过根据沿时间系列测量的特征点位置的偏移产生第一图像信息，对象面部表情的变化可被理解成特征点位置的变化。从而，可根据面部信息的变化，产生第二图像信息。
另外，在本发明的面部信息传输系统中，第一图像信息最好包括识别特征点相对于对象面部的移动的信息。可沿时间系列识别特征点相对于面部的移动，从而能够更准确地掌握对象面部表情的变化。
附图说明
参考附图，更易于说明本发明，其中：
图1说明本发明一方面的面部信息传输系统；
图2A表示由本发明一方面的面部信息传输系统获得的面部图像的实例；
图2B表示由本发明一方面的面部信息传输系统获得的面部图像的实例；
图3A表示由本发明一方面的面部信息传输系统获得的人物图像的实例；
图3B表示由本发明一方面的面部信息传输系统获得的面部图像的实例；
图4表示保存在图1的人物信息存储部分中的信息的实例；
图5是表示由本发明一方面的面部信息传输系统使用的人物图像的传输方法的流程图；
图6是表示由本发明一方面的面部信息传输系统使用的人物图像的传输方法的流程图；
图7说明本发明一方面的面部信息传输程序。
具体实施方式
通过参考只是用于举例而提供的附图，研究下述详细说明，易于理解本发明的信息。从而参考附图说明本发明的各个方面。相同的组件被赋予相同的符号，并省略多余的说明。
利用图1，给出作为本发明一方面的移动电话机(面部信息传输系统)的说明。图1说明了移动电话机10。移动电话机10被配置成能够通过网络20，与另一移动电话机(通信终端)实现信息的相互传递。
下面说明移动电话机10。移动电话机10被物理配置成能够实现信息传递的移动电话机，包括CPU(中央处理器)、存储器、诸如按键和麦克风之类输入装置、诸如液晶显示器之类显示装置、诸如照相机之类信息获取装置等等。
作为功能组件，移动电话机10包括图像获取部分(图像获取装置)101；第一产生部分(第一产生装置)102；话语获取部分(话语获取装置)103；音素识别部分(音素识别装置)104；图像判断部分(图像判断装置)105；中断输入部分106；第二产生部分(第二产生装置)107；传输部分(传输装置)108；音素判断部分(音素判断装置)109；和字段信息存储部分110。下面详细说明每个组件。
图像获取部分101是获得作为对象的移动电话机10的用户的面部图像的部分。图像获取部分101获得的面部图像可以是瞬时的(静态图像)，或者可以是沿着时间系列的(移动图像或视频)。图像获取部分101将获得的图像输出给第一产生部分102。
第一产生部分102根据图像获取部分101获得并输出的图像，产生识别面部特征点的位置的第一图像信息。更具体地说，如图2A中所示，第一产生部分102识别图像获取部分101输出的图像40中所包含对象的面部图像403中，确定眼睛和眉毛的特征点401，确定嘴和鼻的特征点402，并产生面部图像403和特征点401、402，作为静态图像的第一图像信息。当图像获取部分101输出的图像是移动图像时，接收图2A中所示的图像40和过去规定时间之后的图像40a。如图2B中所示，图像40a包括在过去的规定时间内移动了的面部图像403a，和在面部图像403a中识别的特征点401a和402a。从而就移动图像来说，第一图像信息包括面部图像403和特征点401、402，以及面部图像403a和特征点401a、402a。第一产生部分102将这样产生的第一图像信息输出给图像判断部分105。
图像判断部分105判断第一产生部分102输出的第一图像信息是否满足指定条件。利用诸如使用移动电话机10的用户的环境和要求之类因素，可恰当地规定指定条件，或者可按照移动电话机10的硬件要求，恰当地规定指定条件。作为指定条件，例如获得包含在第一图像信息中的多数特征点的无能为力，或者面部图像中特征点的分布的明显背离可被规定为条件。图像判断部分105将关于第一图像信息是否满足指定条件的判断结果，和第一图像信息一起输出给第二产生部分107。
话语获取部分103获得作为对象的移动电话机10的用户发出的话语。话语获取部分103将获得的话语输出给音素识别部分104。
音素识别部分104识别和话语获取部分103获得并输出的话语对应的音素。音素是可影响[话语的]含义的最小声音单元。例如，如果输出话语是“konnnichiwa”(“hello”)，则音素被识别为“ko(h)”，“n(ε)”，“ni(l)”，“chi(o)”，“wa(u)”。音素识别部分104将话语和识别的音素输出给音素判断部分109。
音素判断部分109判断音素识别部分104输出的音素是否满足指定条件。利用诸如使用移动电话机10的用户的环境和要求之类的因素，可恰当地规定指定条件，或者可按照移动电话机10的硬件要求，恰当地规定指定条件。作为指定条件，例如是否能够识别音素可被规定为一个条件。音素判断部分109将关于音素是否满足指定条件的判断结果，和话语一起输出给第二产生部分107。
中断输入部分106接收移动电话机10的用户输入的中断指令，并将中断指令输出给第二产生部分107。更具体地说，当用户按下被赋予和诸如“笑”、“哭”或“受惊”之类面部表情相关的指令的按键时，对应的指令被输入，并被输出给第二产生部分107。
第二产生部分107根据第一产生部分102产生的第一图像信息，产生与对象面部的面部表情相符的人物图像(第二图像信息)。当图像判断部分105判断第一图像信息满足指定条件时，第二产生部分107至少根据第一图像信息，产生与对象的面部表情相符的人物图像；当第一图像信息不满足指定条件，但是音素识别部分104识别的音素满足指定条件时，[第二产生部分107]根据音素产生与对象的面部表情相符的人物图像。
当第一图像信息和音素都满足各自的指定条件时，第二产生部分107根据第一图像信息和音素，产生人物图像。例如，在第一图像信息中只能获得面部的点头(inclination)的情况下，当识别出音素时，互补使用第一图像信息和音素产生人物图像。当第一图像信息和音素都不满足各自的指定条件时，第二产生部分107根据是否存在话语产生人物图像。例如，当话语超过规定阈值时，假定用户正在讲话，从而产生讲话人的图像。此外，当第一图像信息和音素都不满足各自的指定条件，并且未获得话语时，事先保存的图像信息可被用作人物图像。
当第二产生部分107根据第一图像信息产生人物图像时，例如当[图像产生]以图2A中所示的面部图像403和特征点401、402为基础时，特征点401、402相对于面部图像403的位置被识别为分布状态。根据该分布状态，第二产生部分107确定特征点501、502相对于人物面部图像503的位置，如图3A中所示，并产生静态人物图像50。当第一图像信息对应于移动图像时，即当[图像产生]以图2A中所示的面部图像403和特征点401、402，以及以如图2B中所示过去规定时间之后的面部图像403a和特征点401a、402a为基础时，除了图3A中所示的人物图像50之外，还根据图3B中所示的人物图像503a和特征点501a、502a，产生人物图像50a。
当第二产生部分107根据音素产生人物图像时，使用保存在人物信息存储部分110中的信息。图4表示了保存在人物信息存储部分110中的信息的实例。根据图4中所示的实例，“音素”、“特征点数据”和“人物图像”相联系地保存在人物信息存储部分110中。第二产生部分107抽取与各个“音素”对应的“特征点数据”和“人物图像”，并以静态图像或移动图像的形式产生人物图像。在图4中所示的实例中，显示了嘴部区域中的图像；但是可和整个面部的图像相一致。此外，包含用户的特征的图像可被保存为“人物图像”。包含用户的特征的“人物图像”并不局限于基于“音素”的那些“人物图像”，可应用于其中根据“第一图像信息”或者根据“话语”产生人物图像的情况。
当从中断输入部分106输出中断指令时，第二产生部分107根据中断指令改变人物图像。例如，当输入“笑”中断指令时，产生的人物图像被改变，以便呈现带笑的面部表情。第二产生部分107将产生的或者改变的人物图像输出给传输部分108。
传输部分108将第二产生部分107产生的人物图像传送给移动电话机30。
下面利用图5和6的流程图，说明利用移动电话机10传输人物图像的方法。图5和6的流程图是连续的。用户将产生并传送人物图像的指令输入移动电话机10(步骤S01)。呼应该输入指令，并行执行下面说明的步骤S02、S03和步骤S04、S05的操作。
图像获取部分101获得作为对象的移动电话机10的用户的面部图像(步骤S02)。图像获取部分101将获得的图像输出给第一产生部分102。第一产生部分102根据图像获取部分获得并输出的图像，产生识别特征点的位置的第一图像信息(步骤S03)。第一产生部分102将产生的第一图像信息输出给图像判断部分105。
话语获取部分103获得作为对象的移动电话机10的用户发出的话语(步骤S04)。话语获取部分103将获得的话语输出给音素识别部分104。音素识别部分104识别和话语获取部分103获得并输出的话语对应的音素(步骤S05)。音素识别部分104将话语和识别的音素输出给音素判断部分109。
图像判断部分105判断第一产生部分102输出的第一图像信息是否满足指定条件(步骤S06)。图像判断部分105将关于第一图像信息是否满足指定条件的判断结果和第一图像信息一起输出给第二产生部分107。
音素判断部分109判断音素识别部分104输出的音素是否满足指定条件(步骤S07、S08)。另外，音素判断部分109判断音素识别部分104输出的话语是否超过规定阈值(步骤S09)。音素判断部分109将关于音素是否满足指定条件的判断结果，关于话语是否超过规定阈值的判断结果，话语和音素一起输出给第二产生部分107。
当第一图像信息满足指定条件，并且音素也满足指定条件时(从步骤S06到步骤S07)，第二产生部分107根据第一图像信息和音素，产生与对象的面部表情相符的人物图像(步骤S10)。
当第一图像信息满足指定条件，音素不满足指定条件时(从步骤S06到步骤S07)，第二产生部分107根据第一图像信息，产生与对象的面部表情相符的人物图像(步骤S11)。
当第一图像信息不满足指定条件，但是音素满足指定条件时(从步骤S06到步骤S08)，第二产生部分107根据音素，产生与对象的面部表情相符的人物图像(步骤S12)。
当第一图像信息不满足指定条件，音素也不满足指定条件时(从步骤S08到步骤S09)，第二产生部分107根据话语，产生与对象的面部表情相符的人物图像(步骤S13)。
当第一图像信息不满足指定条件，音素也不满足指定条件，并且话语不超过规定阈值时(步骤S06，以及从步骤S08到步骤S09)，第二产生部分107根据事先保存的默认信息产生人物图像(步骤S14)。
第二产生部分107判断是否已人中断输入部分106输出中断指令(步骤S15)。当已输出中断指令时，第二产生部分107根据中断指令改变人物图像(步骤S16)。第二产生部分107将产生或改变的人物图像输出给传输部分108。传输部分108将第二产生部分107产生的人物图像传送给移动电话机30(步骤S17)。
下面说明面部信息传输程序92，以及记录[该程序]的计算机可读记录介质9，面部信息传输程序92使能够实现信息传递并且包括CPU(中央处理器)，存储器，诸如按键和麦克风之类输入装置，诸如液晶显示器之类显示装置，诸如照相机之类图像获取装置等的计算机起这方面的移动电话机10的作用。图7表示记录面部信息传输程序92的记录介质9的结构。记录介质9可以是，例如磁盘、光盘、CD-ROM或者包含在计算机中的存储器。
如图7中所示，记录介质9包括记录程序的程序区91和记录数据的数据区93。类似于利用图1说明的人物信息存储部分110的人物信息数据库931被保存在数据区93中。
面部信息传输程序92记录在程序区91中。面部信息传输程序92包括监督处理的主模块921；图像获取模块922；第一产生模块923；话语获取模块924；音素识别模块925；图像判断模块926；中断输入模块927；第二产生模块928；传输模块929和音素判断模块930。这里，通过图像获取模块922，第一产生模块923，话语获取模块924，音素识别模块925，图像判断模块926，中断输入模块927，第二产生模块928，传输模块929和音素判断模块930实现的功能与上述移动电话机10的图像获取部分101，第一产生部分102，话语获取部分103，音素识别部分104，图像判断部分105，中断输入部分106，第二产生部分107，传输部分108和音素判断部分109的相应功能相似。
在这方面，根据基于特征点的位置产生的第一图像信息，产生与对象的面部表情相符的人物图像；从而可产生捕捉对象的面部表情的图像信息。面部表情通常反映对象的诸如感情和意图之类元素，可以反映这些元素的图像的形式产生人物图像，并将该人物图像传送给移动电话机30。
在这方面，当第一图像信息不满足指定条件时，根据音素产生与对象的面部表情相符的人物图像，从而即使由于某些原因，未完成对象面部特征点的位置的测量，仍然能够产生人物图像。
在这方面，第一图像信息包括识别对象面部中特征点的分布的信息；从而可掌握特征点的相对位置关系，能够产生更适当的人物图像。
在这方面，根据沿时间系列测量的特征点的位置方面的偏移，产生第一图像信息，从而对象面部表情的变化可理解成特征点位置的改变。从而，可根据面部表情的改变，产生人物图像。
在这方面，第一图像信息包括识别特征点相对于对象面部的移动的信息，从而可沿着时间系列识别特征点相对于面部的移动，能够更准确地掌握对象面部表情的变化。

Claims (6)

1、一种面部信息传输系统，包括：
获得对象面部图像的图像获取装置；
根据所述获得的图像，产生与所述对象相关的、并且包括所述面部的特征点位置的第一图像信息的第一产生装置；
根据所述产生的第一图像信息，产生与所述对象的面部表情相符的第二图像信息的第二产生装置；
将所述产生的第二图像信息传送给指定通信终端的传输装置；
获得所述对象发出的话语的话语获取装置；以及
判断所述第一图像信息是否满足指定条件的图像判断装置，
其中在所述图像判断装置判断所述第一图像信息满足指定条件时，所述第二产生装置至少根据所述第一图像信息，产生与所述对象的面部表情相符的第二图像信息，在所述图像判断装置判断所述第一图像信息没有满足指定条件时，所述第二产生装置根据所述话语，产生与所述对象的面部表情相符的第二图像信息。
2、按照权利要求1所述的面部信息传输系统，还包括：
识别与所述话语获取装置获得的话语相对应的音素的音素识别装置；和
判断所述识别的音素是否满足指定条件的音素判断装置，
其中在所述音素判断装置判断所述音素满足指定条件时，所述第二产生装置至少根据所述音素，产生与所述对象的面部表情相符的第二图像信息，在所述音素判断装置判断所述音素没有满足指定条件，且所述图像判断装置判断所述第一图像信息满足指定条件时，所述第二产生装置根据所述第一图像信息，产生与所述对象的面部表情相符的第二图像信息。
3、按照权利要求2所述的面部信息传输系统，其中当所述第一图像信息和所述音素都没有满足各自的指定条件，并且不能获得所述话语时，所述第二产生装置将事先确定的图像信息用作所述第二图像信息。
4、按照权利要求1所述的面部信息传输系统，其中所述第一图像信息包括用于识别所述特征点在所述对象面部中的分布的信息。
5、按照权利要求1所述的面部信息传输系统，其中所述图像获取装置沿时间系列获得所述面部的图像，所述第一产生装置根据所获得的图像，产生包括所述特征点的位置沿时间系列的偏移的所述第一图像信息。
6、按照权利要求5所述的面部信息传输系统，其中所述第一图像信息包括用于识别所述特征点相对于所述对象面部的移动的信息。
CNB2004100037869A 2003-01-31 2004-01-30 面部信息传输系统 Expired - Fee Related CN1237799C (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP024734/2003 2003-01-31
JP2003024734A JP3950802B2 (ja) 2003-01-31 2003-01-31 顔情報送信システム、顔情報送信方法、顔情報送信プログラム、及びコンピュータ読取可能な記録媒体

Publications (2)

Publication Number Publication Date
CN1527602A CN1527602A (zh) 2004-09-08
CN1237799C true CN1237799C (zh) 2006-01-18

Family

ID=32652930

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB2004100037869A Expired - Fee Related CN1237799C (zh) 2003-01-31 2004-01-30 面部信息传输系统

Country Status (6)

Country Link
US (1) US7224367B2 (zh)
EP (1) EP1443465B1 (zh)
JP (1) JP3950802B2 (zh)
KR (1) KR100629643B1 (zh)
CN (1) CN1237799C (zh)
DE (1) DE602004001887T2 (zh)

Families Citing this family (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100630085B1 (ko) * 2004-02-06 2006-09-27 삼성전자주식회사 무선단말기의 조합형 이모티콘 입력방법
KR100662335B1 (ko) * 2004-06-18 2007-01-02 엘지전자 주식회사 이동단말기 사용자의 감정 전달 및 표출 방법과, 그를위한 통신 시스템
DE102004063553A1 (de) * 2004-12-30 2006-04-13 Siemens Ag Verfahren, Endgerät sowie mobiles Endgerät zur Darstellung von insbesondere multimedialen Kurznachrichten in einem mobilen Kommunikationssystem
KR101141643B1 (ko) * 2005-03-07 2012-05-04 엘지전자 주식회사 캐리커쳐 생성 기능을 갖는 이동통신 단말기 및 이를 이용한 생성 방법
US7693306B2 (en) * 2005-03-08 2010-04-06 Konami Gaming, Inc. System and method for capturing images from mobile devices for use with patron tracking system
KR100686076B1 (ko) * 2005-03-24 2007-02-26 엘지전자 주식회사 피사체의 감정 상태에 대응하는 메시지 출력 기능을 갖는무선 통신 단말기 및 이를 이용한 메시지 출력 방법
KR100713281B1 (ko) * 2005-03-29 2007-05-04 엘지전자 주식회사 감정 상태에 따른 프로그램 추천 기능을 갖는 영상표시기기및 그 제어방법
JP2006330958A (ja) * 2005-05-25 2006-12-07 Oki Electric Ind Co Ltd 画像合成装置、ならびにその装置を用いた通信端末および画像コミュニケーションシステム、ならびにそのシステムにおけるチャットサーバ
JP2006350986A (ja) * 2005-06-17 2006-12-28 Tokyo Institute Of Technology 顔写真付きメールを送受信できる携帯電話機
JP2009521165A (ja) * 2005-12-22 2009-05-28 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ バレンタイン用の枕状物体
JP2007193730A (ja) * 2006-01-23 2007-08-02 Seiko Epson Corp 印刷装置、画像処理装置、印刷方法、および画像処理方法
WO2007130693A2 (en) * 2006-05-07 2007-11-15 Sony Computer Entertainment Inc. Methods and systems for processing an interchange of real time effects during video communication
DE102007010662A1 (de) * 2007-03-02 2008-09-04 Deutsche Telekom Ag Verfahren und Videokommunikationssystem zur Gestik-basierten Echtzeit-Steuerung eines Avatars
US20090201297A1 (en) * 2008-02-07 2009-08-13 Johansson Carolina S M Electronic device with animated character and method
KR101009151B1 (ko) 2008-09-04 2011-01-18 삼성전기주식회사 휴대용 단말기의 환경설정 변경 장치 및 그 방법
KR101541907B1 (ko) 2008-10-14 2015-08-03 삼성전자 주식회사 음성 기반 얼굴 캐릭터 형성 장치 및 방법
CN101727904B (zh) * 2008-10-31 2013-04-24 国际商业机器公司 语音翻译方法和装置
EP2638477A2 (en) 2010-11-09 2013-09-18 Woow Inc. Limited Apparatus and method for physical interaction over a distance using a telecommunication device
US9307190B2 (en) 2010-11-09 2016-04-05 Kanfield Capital Sa Apparatus and method for physical interaction over a distance using a telecommunication device
JP5555193B2 (ja) * 2011-03-01 2014-07-23 株式会社メガチップス データ処理装置、データ処理システム、及びプログラム
CN102156888B (zh) * 2011-04-27 2013-06-12 西安电子科技大学 基于特征点局部颜色及分布特征的图像拣出方法
CN102571631B (zh) * 2011-12-23 2016-08-31 上海量明科技发展有限公司 即时通信中动作图像信息的发送方法、终端和系统
US9262869B2 (en) * 2012-07-12 2016-02-16 UL See Inc. Method of 3D model morphing driven by facial tracking and electronic device using the method the same
KR101988279B1 (ko) 2013-01-07 2019-06-12 삼성전자 주식회사 얼굴 인식 기반 사용자 기능 운용 방법 및 이를 지원하는 단말기
US9609272B2 (en) 2013-05-02 2017-03-28 Avaya Inc. Optimized video snapshot
KR102299764B1 (ko) * 2014-11-28 2021-09-09 삼성전자주식회사 전자장치, 서버 및 음성출력 방법
US10327984B2 (en) 2015-03-27 2019-06-25 Equility Llc Controlling ear stimulation in response to image analysis
US10589105B2 (en) 2015-03-27 2020-03-17 The Invention Science Fund Ii, Llc Method and system for controlling ear stimulation
US10398902B2 (en) 2015-03-27 2019-09-03 Equility Llc Neural stimulation method and system with audio output
US11364380B2 (en) 2015-03-27 2022-06-21 Elwha Llc Nerve stimulation system, subsystem, headset, and earpiece
US10512783B2 (en) 2015-03-27 2019-12-24 Equility Llc User interface method and system for ear stimulation
US10406376B2 (en) 2015-03-27 2019-09-10 Equility Llc Multi-factor control of ear stimulation
US10039928B2 (en) 2015-03-27 2018-08-07 Equility Llc Ear stimulation with neural feedback sensing
US9987489B2 (en) 2015-03-27 2018-06-05 Elwha Llc Controlling ear stimulation in response to electrical contact sensing
CN106445107A (zh) * 2016-08-30 2017-02-22 苏州品诺维新医疗科技有限公司 一种基于面部表情进行信息发送的方法及装置
WO2019164266A1 (en) 2018-02-23 2019-08-29 Samsung Electronics Co., Ltd. Electronic device for generating image including 3d avatar reflecting face motion through 3d avatar corresponding to face and method of operating same
JP7344894B2 (ja) * 2018-03-16 2023-09-14 マジック リープ， インコーポレイテッド 眼追跡カメラからの顔の表情
JP7277145B2 (ja) * 2019-01-10 2023-05-18 株式会社Iriam キャラクタを使ったライブ通信システム
US11218666B1 (en) * 2020-12-11 2022-01-04 Amazon Technologies, Inc. Enhanced audio and video capture and presentation

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5426460A (en) * 1993-12-17 1995-06-20 At&T Corp. Virtual multimedia service for mass market connectivity
JPH10149433A (ja) 1996-11-21 1998-06-02 Matsushita Electric Ind Co Ltd 顔マーク入力装置
US5995119A (en) * 1997-06-06 1999-11-30 At&T Corp. Method for generating photo-realistic animated characters
US6272231B1 (en) * 1998-11-06 2001-08-07 Eyematic Interfaces, Inc. Wavelet-based facial motion capture for avatar animation
AU1876901A (en) 1999-12-15 2001-06-25 Bright Spark Technologies (Proprietary) Limited Phonemes recognition in an audio signal
US6943794B2 (en) * 2000-06-13 2005-09-13 Minolta Co., Ltd. Communication system and communication method using animation and server as well as terminal device used therefor
JP3478255B2 (ja) 2000-08-01 2003-12-15 カシオ計算機株式会社 顔画像作成装置および顔画像作成制御方法
JP2002175538A (ja) * 2000-12-08 2002-06-21 Mitsubishi Electric Corp 似顔絵生成装置及び似顔絵生成方法及び似顔絵生成プログラムを記録した記録媒体及び通信用端末及び通信用端末による通信方法
JP2002199362A (ja) 2000-12-26 2002-07-12 Matsushita Electric Ind Co Ltd 画像通信装置
US6654018B1 (en) * 2001-03-29 2003-11-25 At&T Corp. Audio-visual selection process for the synthesis of photo-realistic talking-head animations
JP3593067B2 (ja) 2001-07-04 2004-11-24 沖電気工業株式会社 画像コミュニケーション機能付き情報端末装置および画像配信システム

Also Published As

Publication number Publication date
US20040207720A1 (en) 2004-10-21
DE602004001887D1 (de) 2006-09-28
KR100629643B1 (ko) 2006-09-29
EP1443465A1 (en) 2004-08-04
EP1443465B1 (en) 2006-08-16
CN1527602A (zh) 2004-09-08
JP2004236186A (ja) 2004-08-19
JP3950802B2 (ja) 2007-08-01
DE602004001887T2 (de) 2007-02-08
KR20040070326A (ko) 2004-08-07
US7224367B2 (en) 2007-05-29

Similar Documents

Publication Publication Date Title
CN1237799C (zh) 面部信息传输系统
JP6926339B2 (ja) 画像のクラスタリング方法及び装置、電子機器並びに記憶媒体
US10789343B2 (en) Identity authentication method and apparatus
CN105706108B (zh) 用于基于虹膜的生物特征识别的装置和方法
US20220310095A1 (en) Speech Detection Method, Prediction Model Training Method, Apparatus, Device, and Medium
KR101629224B1 (ko) 생체 특징에 기반한 인증 방법, 장치 및 시스템
US9424836B2 (en) Privacy-sensitive speech model creation via aggregation of multiple user models
CN110289000B (zh) 一种语音识别方法、装置
US20080170748A1 (en) Controlling a document based on user behavioral signals detected from a 3d captured image stream
CN108259758B (zh) 图像处理方法、装置、存储介质和电子设备
CN103745235A (zh) 人脸识别方法、装置及终端设备
KR20100001928A (ko) 감정인식에 기반한 서비스 장치 및 방법
CN110866234B (zh) 一种基于多生物特征的身份验证系统
WO2021227916A1 (zh) 面部形象生成方法、装置、电子设备及可读存储介质
CN111737670B (zh) 多模态数据协同人机交互的方法、系统及车载多媒体装置
CN108074571A (zh) 增强现实设备的语音控制方法、系统及存储介质
CN110263220A (zh) 一种视频精彩片段识别方法及装置
CN110808041A (zh) 语音识别方法、智能投影仪及相关产品
JP2007272534A (ja) 省略語補完装置、省略語補完方法、及びプログラム
EP3983932A1 (en) A biometric verification framework that utilizes a convolutional neural network for feature matching
JP7091745B2 (ja) 表示端末、プログラム、情報処理システム及び方法
CN108153568B (zh) 一种信息处理方法及电子设备
RU2640732C2 (ru) Способ получения информации для биометрической идентификации личности
CN112214626A (zh) 图像识别方法、装置、可读存储介质及电子设备
CN108986818A (zh) 视频通话挂断方法、装置、设备、服务端及存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20060118