CN100352255C - 用于健康监视和个人安全的成像方法和系统 - Google Patents

用于健康监视和个人安全的成像方法和系统 Download PDF

Info

Publication number
CN100352255C
CN100352255C CNB2003101199315A CN200310119931A CN100352255C CN 100352255 C CN100352255 C CN 100352255C CN B2003101199315 A CNB2003101199315 A CN B2003101199315A CN 200310119931 A CN200310119931 A CN 200310119931A CN 100352255 C CN100352255 C CN 100352255C
Authority
CN
China
Prior art keywords
image
user
emotion
emotion information
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CNB2003101199315A
Other languages
English (en)
Other versions
CN1514399A (zh
Inventor
E·A·菲多罗维斯卡亚
S·恩德里霍维斯基
K·A·帕鲁斯基
C·A·扎克斯
K·M·塔西尔
M·J·特勒克
F·马里诺
D·哈雷尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mau new gate Venture Capital Co., Ltd.
Original Assignee
Eastman Kodak Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Eastman Kodak Co filed Critical Eastman Kodak Co
Publication of CN1514399A publication Critical patent/CN1514399A/zh
Application granted granted Critical
Publication of CN100352255C publication Critical patent/CN100352255C/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S128/00—Surgery
    • Y10S128/92—Computer assisted medical diagnostics
    • Y10S128/922—Computer assisted medical diagnostics including image analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Multimedia (AREA)
  • Epidemiology (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Primary Health Care (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Signal Processing (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Television Signal Processing For Recording (AREA)
  • Studio Devices (AREA)

Abstract

提供一种图像捕获方法。根据所述方法，捕获景物图像(120)并且在捕获时采集情感信息(130)。将所述景物图像和情感信息发送给图像接收者。还提供一种成像系统，所述成像系统具有适合于捕获景物图像的图像捕获系统和用来存储所捕获的图像的存储器。一组传感器适合于采集在捕获时用户的情感信号。处理器适合于根据情感信号来确定情感信息并且将情感信息与所捕获的图像相联系。发射机将景物图像和情感信息发送给接收者。

Description

用于健康监视和个人安全的成像方法和系统
技术领域
本发明涉及捕获数字图像的系统，更具体地说，涉及捕获数字图像并将其与情感信息相联系。
背景技术
日常生活的外部事件会引起或触发人类个体特定的情感、行为、和/或生理上的反应。为了找出问题或功能紊乱的性质，提出处理或个性化的治疗方案，这些反应为医生或治疗医生提供了重要的信息来源。评估和分析这些反应还能帮助个人提高他们对情景反应模式的认知程度，以便他们能够改进其反应方式。事实上，各种心理治疗，例如认知的、行为的治疗等，其目的在于识别和改变可能使个体感到耽忧、压抑或愤怒的习惯性反应和反应的模式。
因此，跟踪外部事件和个体的行为、对这些事件作出情感和/或生理学反应的能力可能成为各种保健措施的非常有用的工具。这种系统还可以用于个人安全的目的，在特定的情感或生理反应发生时，触发并有选择性地发出一种信号通知其朋友、亲戚或特定的代理机构，表示危险和紧急情况发生。
已经知道许多用来提供对个人的远程监视的系统。
这种健康监视系统的典型结构包含用于探测被监视病人的生物统计信号的传感器部分和用于记录传感器所采集数据的电子数据采集系统。还提供数据处理部分。所述处理部分负责分析、或压缩、或处理所记录的数据。通常还提供通信部分，用来通过无线的方式使用通信网络将数据传输到中央服务器、医疗服务提供者或数据库。具有上述性质的可穿戴装置已经在以下文件中公开：Lugo于1999年6月30日提交的题目为“病人监视器”的美国专利No.6,287,252；Shulze等的、2002年2月14日公开的，题目为“无线因特网生物远程监视系统及其接口”的美国专利公开US 2002/0019584；Anderson等的2001年4月12日公开的、题目为“远程病人评估系统”WIPO公开No.WO 01/26021；O’Young的2001年9月27日公开的、题目为
“个人化健康简档系统及方法”的WIPO公开No.WO01/71636；Wittington等人的、2002年4月4日公开的、题目为“将探测到的数据向中央服务器传送的无线通信系统和方法”的WIPO公开No.WO02/27640。这类系统的某些系统中还可获取附加信息，例如病人标识符、访问数据库的授权等。
可以从专利文献中找到的其它个人便携式系统的主要设计用于安全和跟踪的目的。例如，报告个人处于危急状态的报警信号系统、结合警戒跟踪定位系统并指引合适的人员去处理需要帮助的危急病人，并对所述病人的地点进行监视。这些系统在Hoffman等人的1998年4月21日提交的题目为“个人安全和跟踪系统”的美国专利No.5,742,233中已经公开。上述系统包括：便携式报警信号单元；远程报警开关装置；中央调度站；以及无线通信系统，诸如蜂窝式电话或普通电话系统等以及GPS(全球定位系统)或类似系统。便携式报警信号单元和远程报警开关适合于穿戴在人体的不同部位。当穿戴的人在危急状态下触动远程报警开关或手动报警开关，或报警单元或报警开关被强迫卸去，数据就被发送到中央调度站，在那里识别发送信号的用户，存储个人信息，显示出装置穿戴者的位置和报警的性质。
更为复杂精致的能够发出危急信号的系统在Calaman的、2001年9月25日提交的题目为“通过事件检测提供个人安全的系统”的美国专利No.6,294,993中公开。在所述系统中，事件检测是由可穿戴式的负责检测生理信号变化的传感器完成的。所述系统的一个实施例使用传感器来检测皮肤电反应的变化，这种变化是关于皮肤导电性的改变。所述系统还可以用手动的方式操作，即由用户通过手动的方式发出危急信号。当传感器检测到紧急情况发生时，就联系适当的危机处理服务机构。
但是有些上面所讲的仪器只能记录和发送用户的生理信号，或手动输入的紧急信号，没有一种能够用图像或视频的形式附加记录外部事件。因此，这些系统不能建立特定外部事件和病人对事件反应之间的联系，以利于病人的保健和治疗。在安全保障应用中，这些类型的系统不允许对真实危险及其起因进行的独立评估，因为对应急服务机构来说，仍然不知道是什么外部事件引起报警。
本领域已经知道用于根据用户对图像的反应来获取情感的信息。监视生理情况来获取情感信息的系统的一个实例是可穿戴的捕获系统，它能够根据人体生物信号将图像划分为重要和不重要两类。所述系统在1998年Mann所写的电气和电子工程师协会(IEEE)会刊(Proceedings of the Institute of Electronics Engineering)86卷2123-2125页，题目为“人类情感智能：以“可穿戴计算机”作为新的框架及其在智能信号处理中的应用”的文章中作了介绍。在所述文章中，Mann描述了在穿戴者在遭受暴徒袭击、拿着鸟枪勒索钱财时，所述系统可能会如何工作的例子。在这种情况下，系统检测到生理信号，例如穿戴者的心跳速率突然增快但脚步频率却没有增加。然后系统从关于高重要性可视信息的生物信号中作出推理。继而反过来触发穿戴者的摄像机将图像记录下来，并把这些图像发送给朋友或亲戚，由他们来判断危险的程度。
所述系统的另外的例子在一篇在1998年第2届可穿戴计算机国际会议会刊中由Healey等人写的题目为“震惊摄像：由电子计算机控制的可穿戴摄像机”的文章中作了介绍。在所述文章所提出的系统中，使用了带有计算机的和负责监测皮肤导电性能的生理传感器的可穿戴的视频摄像机。系统的基本功能是检测惊恐信号-皮肤导电性的急速改变。这种皮肤导电性的急速改变常常与对突然的刺激、惊恐或压迫相联系。当检测到惊恐反应时，在数字图像缓冲区中存储了最近由数字式摄像机所捕获的图像，进而将这些图像保存下来并有选择性地发送到远程的计算机。通过给惊恐检测器设置高的阈值，所述装置将只会记录最强的刺激或惊恐事件。这种操作模式对于保安应用是非常有用的，这种应用就是将惊恐事件的图像发送到穿戴者的朋友和家庭的“安全网络”的保安网站中。另外一种方式是，将摄像机设置成以一定的频率自动记录图像，当从穿戴者所检测到的反应非常稀少时，表示他们的注意力水平已经降低。这种方式适用于会议或讲座。这样有选择性地记录数字图像创建了穿戴者的“记忆”档案，其目的是模仿穿戴者本身的有选择性的记忆反应。
Mann和Healey等人提出的系统利用生理信号将图像归类为“重要”(紧迫的)(也就是说引起快速的生理反应)和“不重要”(普通)(也就是说不引起快速的生理反应)，并触发可穿戴摄像机时只存储和/或发送“重要的”图像。然而，他们的系统也有几个缺点。
上述系统不会将生理信号(或任何其它“重要的”标识信号)与相应的图像相关联、不会将生理信号(或任何其它“重要的”标识信号)与相应的图像一起存储并且一起发送。结果，“重要的”图像很容易被埋没在数据库中其它图像中，因为在这些图像中没有什么东西指示哪些图像是“重要的”。例如当数字图像档案被几个不同系统使用时，当这些图像被传送到CD-R或其它介质时，当这些图像被上传到在线照片服务提供商时，可能发生这样的事。上述系统也不会将用户的标识符与相应的图像相关联、不会将用户的标识符与相应的图像一起存储并且一起发送。当所述系统被不只一个人使用时，就不能够分辨究竟是哪一个用户对图像的反应是“重要的”或换句话说是“有重要意义的”。
还有，上述系统只提供“重要”-“不重要”或“压力大”-“普通”这种二元化分类。而不允许将所捕获的图像的重要性程度作更加仔细的划分。
而且，上述系统提供的图像的分类只基于“重要性”这一种属性。例如，它们不能分辨这种重要性是由用户正面(高兴)的或负面(不高兴)的反应所引起的。因此，广泛的人类情感反应(例如喜悦、悲伤、愤怒、害怕，感兴趣等)不在系统考虑的范围之内，因此系统不能用来监视和分析这些感情反应。
虽然上述某些系统可以被特定用户对事件反应(皮肤电反应)所产生的生理信号所触发而存储和发送相应的图像，但这些系统不具有被预先规定的图像特征、例如特定的主体(即熟悉的人)、景物类型(即户内-户外)等所触发的能力。
最后，上述系统还不具有对外部事件某些个别反应向用户提供反馈信息的能力，对某些特定的保健和安全用途来说，这种反馈可能是很重要的。
由于上述系统缺乏这些特点，限制了其以保健和安全为目标的应用范围，例如，不能够在其后进一步分析个人对某些情景的反应，因为它们没有将个人识别符和生理信号联系起来。也不支持跟踪对类似情况的反应随着时间的变化(没有触发去捕捉特定的事件)的过程，而这种功能对治疗是很有用的。
因此，有必要进一步改进系统以及记录和解析在捕获情景图像的一刻用户对情景的情感反应的方法，以便接下来将这种情感反应与捕获的图像联系起来。把用户标识符以及所捕获的图像的所述触发传送与所述特征反应联系起来，并且把所捕获的用户反应与所述特征图像联系起来。
发明内容
根据本发明的一方面，提供一种图像捕获方法。根据这种方法，在捕获情景图像的同时收集捕获时的情感反映信息。情景图像和情感反应信息被同时发送到接收者。
根据本发明的另一方面，提供一种图像捕获方法。根据这种方法，在捕获情景的同时采集情感信息。对被捕获的图像和被采集的情景信息进行分析，以决定是否符合将信息发送的标准。在符合发送标准时，将被捕获的图像和被采集的信息发送到图像接收者。
根据本发明的另一方面，提供一种反应式成像方法。根据这种方法，捕获用户面前景物的图像的同时获取用户的识别信息，在捕获的同时采集情感反应信息。将情感反应信息和用户信息与所述图像联系起来。将被捕获的图像、情感信息和用户的标识符发送到接收者。然后获取接收者的反应，并将所述反应转达给用户。
根据本发明的另一方面，提供一种成像系统，所述系统具有适合于捕获景物图像的捕获系统和存储所捕获的图像的图像存储器。一组传感器适合于在捕获图像时采集用户的情感反应信号。处理器适合于根据情感信号确定情感信息并且把情感信息与所捕获的图像相联系。发射机将所捕获的图像和情感信息发送给接收者。
根据本发明的另一方面，提供一种成像系统，所述系统具有用于捕获情景图像的捕获装置和用于采集用户在图像被捕获时的情感反应信息的情感传感器。发送装置将景物图像和情感信息发送给接收者。
根据本发明还有一个方面，提供一种具有至少两个成像装置的反应式成像系统，每个成像装置都具有能够捕获用户面前景物图像的图像捕获系统和用于存储景物图像的存储器。每个成像装置还具有适合于在捕获图像时获取用户的情感信息的一组传感器和适合于根据来自所述一组传感器的信号确定情感信息并且将所述情感信息与所捕获的图像联系起来的处理器。发射机将景物图像和与之相联系的情感信息发送到接收节点。接收节点接收所发送的图像和与之相联系的情感信息。接收接点拥有用于分析所述发送的图像和情感信息并且根据所述发送的图像和情感信息决定采取何种反应的处理器。
附图说明
图1a表示根据本发明的图像捕获系统的手持式实施例；
图1b表示根据本发明的图像捕获系统的可穿戴式实施例；
图1c表示另一个根据本发明的图像捕获系统的可穿戴式实施例；
图2a-2b包括说明本发明的某实施例的流程图，其中根据对面部表情的分析来提供情感信息；
图3a-3b包括说明本发明的某实施例的流程图，其中根据对面部表情的分析来提供情感信息；
图4a-4b包括说明根据对眼睛凝视定像时间的分析来提供情感信息的流程图；
图5a-5b包括说明根据对皮肤导电性的分析来提供情感信息的方法的实施例的流程图；
图6a-6b包括说明根据面部和生理特征的综合分析来提供情感信息的方法的实施例的流程图；
图7a-7b包括说明用于利用通过分布式信息捕捉网络的触发式传送来提供多个图像数据和情感信息源的流程图。
具体实施方式
本发明提供采集特定用户观察景物时的情感信息、将所述信息与对所捕获的指定景物的图像的解析联系起来以便以后将所述情感信息和图像连同从所述图像导出的信息一起使用的方法。本发明还提供以对个人保健和安全有用的方式来采集和关联与图像相关的可获得的非图像数据的方法。
表示用户心理、生理、行为和对特定景物或景物图像的行为反应的信息在这里称作情感信息。情感信息包括未经加工的生理和行为信号(例如皮肤电反应，心率，面部表情等)以及它们的心理学解析(例如，喜欢，不喜欢等)以及与此相联系的情感分类(例如恐惧、愤怒、高兴等)。当用户的心理反映变化时，其情感信息也随之变化。例如，当用户突然看到危险的事故、令人神往的动作、或漂亮的风景等时，这种心理反应就会发生。
对情感信息的解析可以提供用户喜爱程度的若干等级(例如，用户喜欢或不喜欢所述风景的程度)。这还可以提供景物对用户的相对的重要程度的表示。而且，对情感信息的解析可以用某些特定的由情景触发的表情来表达(例如高兴、悲哀、恐惧、愤怒等)。
景物被定义为观察者所看到的东西。它可以指行为或事件发生的地方，观察者看到的物体的集合，一系列动作和事件，风景或风景的一部分，景色等。被图像捕获装置所记录或所显示的景物被称为景物的图像。图像捕获装置的示例包括数字式照相机、手持式摄像机、可穿戴的摄像机、传统的用来将静止的或活动的画面记录在胶片上的照相机、模拟式摄像机等。用户通过摄像机的取景器或通过起到取景器作用的摄像机预览屏可以直接观察到景物。
这里所使用的术语图像包括(但不限于)静止图像、活动图像、多角度透视的图像如立体图像或其它深度的图像，以及其它形式的浸没式静止和活动图像。
从景物的图像所导出的信息与关于所述景物的知识有关，如地点、地点的类型、事件的描述与分类，可以从景物图像提取的有关景物构成，例如颜色、物体、人等的知识。
非图像数据指的是与图像有关的其它类型可利用的信息。与图像有关的非图像数据示例有由摄像机提供的捕获图像的日期和时间。
人们捕获各种景物图像出于不同的目的和应用。捕捉值得留念的事件是普通老百姓、专业摄影师和记者等通常活动的一个例子。这些时间是有意义的或对个人或一群人来说在感情上是重要的。这些事件的图像可以吸引特殊注意、勾起回忆、触动感情，或用普通的术语来说，产生心理反应。通常这些心理反应是伴随着生理的和/或行为的变化。
感情触发被定义为决定情感信息并将所述情感信息连同特定景物的图像存储的过程。当将所述情感信息连同用户的标识符一起存储的时候，本文就称为“个人情感信息”。个人识别符可以是任何类型的能够识别特定用户的信息。用户标识符可以是个人识别码、例如全球唯一的ID(GUID)、用户编号、社会安全号或其他类似的东西。用户标识符还可以是法定全名、外号、计算机用户名或其他类似的名字。换一种方式，所述用户标识符可包括面部图像或其描述，指纹图像或其描述，视网膜扫描图像或类似的东西。用户标识符还可以是因特网网址、手提电话号码或其它识别符。
当将个人情感信息连同所对应的图像存储的时候，就称为“个人情感标签”。所述情感信息和用户标识符是图像“元数据”的类型，“元数据”是用来表示与图像有关的任何非图像信息的术语。其它存储在情感信息标签中可以整合到个人情感信息中的图像元数据类型包括从景物图像导出的信息以及如图像捕获的时间、捕获装置的类型、捕获的地点、捕获的日期、捕获的参数和图像编辑的历史等非图像信息。
通过将个人情感信息存储在图像文件内，例如，在Exif图像文件内使用带标签的图像文档格式IFD，可以将个人情感信息与数字图像联系起来。换一种方式，根据JPEG标准ISO10918-1(ITU-T.81)，情感信息可以存储在包括第一幅图像(或换成第二幅图像)的JPEG(Joint Photographic Expert Group，联合图像专家组)文件中一个或多个应用段内。这样就可以用一个符合产业标准的图像文件既包含按JPEG标准压缩过并用正常JPEG格式存储的第一幅图像，又包括被正常JPEG读者所忽略的用适当格式存储的情感信息。还有另一种变化就是，可以将个人情感信息存储在与图像分离的数据库中。所述信息存储时还可以带安全保密装置和访问权限信息，以防止未经授权对所述信息的访问。
当观察者用图像捕获装置观察某特定的景物或景物的图像时，可以用人工的方法也可以自动地完成对情感标签的制作。对于人工制作情感标签的情形，用户可以使用照相机的按钮、触摸屏显示器或语音识别接口来提供他/她对景物的反应装置。例如，在发生惊讶时，用户可以按压照相机上表示“惊讶”反应的按钮或简单地说出一个关键字：“哇！”。
对于自动制作情感标签的情况，用作个人健康和安全监视的图像捕获系统(以后简称为图像捕获系统)可以使用下列信号之一或它们的组合来采集情感信息供后续解析用。
-眼睛活动的特点(例如眼睛定像持续时间、瞳孔的尺寸、眨眼的速度、凝视的方向，眼球加速度，从眼睛运动模式中提取的特征和参数，它们的复杂度等)；
-生物统计学或生理学反应(例如，皮肤电反应(GSR)，手的温度，心跳速率、电肌动图(EMG)、呼吸模式、脑电图(EEG)，脑成像信号等)；
-面部表情(例如微笑、皱眉等)
-语音特征(例如音量、语速和音调等)；
-身体姿势包括面部的运动(例如捏鼻梁，挠耳朵等)。
根据下面所描述的本发明的一个实施例，情感信息是根据面部表情、眼定像时间的长短和皮肤电反应来确定的。
参阅图1a-图1c，有三个根据本发明作出的图像捕获系统的示范实施例。图1a所描绘的系统包括由特定的直接地或者通过取景器24、摄像机预览屏幕22(这些东西还可以用作通信和信息反馈的目的)观察景物4的用户2所拥有的手持式图像捕获装置6。图像捕获装置6可以包括数字式照相机，手持数字式摄像机或可穿戴摄像机等。实现可穿戴的图像捕获装置6的示例由图1b和图1c表示。这些可穿戴实施例具有用作通信和反馈的显示器21，所述显示器或者安装在承载图1b所示的图像捕获装置6的框架29上面，或者如图1c所示，作为分离的部件通过有线或无线的方式与图像捕获装置6连接。
图像捕获装置6包括用来捕获景物4的捕获模块8。捕获模块8包括取景镜头(没有画出)、图像传感器(没有画出)和A/D变换器(没有画出)。捕获模块8还包括麦克风(没有画出)、声频放大器(没有画出)和声频A/D转换器(没有画出)。捕获模块8提供数字式静止或活动的图像信号和与之相联系的数字式声频信号。图像捕获装置6还包括中央处理机(CPU)14和可以存储包括由捕获模块8提供的数字式静止或数字式活动图像及其关联的元数据的高分辨率图像文件的数字存储装置12。数字存储装置12可以是小型硬盘，闪存EPROM存储器或其它类型的的数字式存储设备。
图中示出的图像捕获装置6拥有诸如无线调制解调器或其它通信接口的通信模块18，通信模块18通过如因特网业务提供商20等通信服务提供商交换包括静止和活动图像等数据。通信模块18可以利用标准射频无线接口，例如众所周知的蓝牙接口或IEEE 802.15接口。另一种方法是，通信模块18可以使用红外、激光或其它光学通信方法与其它设备交换信息。还有另外一种方法，图像捕获装置6可以具有这样的通信模块18，所述通信模块18适合于使用如USB(Uniform Serial Bus，统一串行总线)电缆、IEEE标准1394电缆等数据交换硬件，诸如电缆、电缆组件或波导或光学数据通路的其他电数据通路，以便在图像捕获装置6和其它设备之间交换包括数字图像和情感信息的信息。
参考图1a，通信模块18连接到预览显示器22，以便显示短信和利用通信服务提供商20提供视频通信。在图1b和图1c所示的实施例中，用户所接收到的短信和视频信息被显示在通信显示器21上，后者被安装在图像捕获装置6的可穿戴实施例上。作为一个示例，美国马塞诸塞州Westwood的MicroOptical公司出售一种EG-7型看不见的qVGA监视器，显示器21就可以安装在它的玻璃框架上。图1c表示另一个示例，作为便携式通信模块23的一部分，显示器21可以戴在腕上。
为了获取情感信息，图像捕获装置6包括控制器13和一组用来检测用户2生理信号的传感器15。用户2可以通过控制器13(例如可能包括人工控制按钮、触摸屏、声音识别接口或体姿识别接口等)输入情感信息。
情感信息还可以通过传感器组15采集。在图1a所示的实施例中，传感器组15包括安装在图像捕获装置6的表面的皮肤电反应传感器16。如图1b所示，在可穿戴实施例中，皮肤电反应传感器16可以安装在图像捕获装置6外面的任何地方。在这里，皮肤电反应传感器16被安装在用来支撑玻璃的传统框架28的侧面29。传感器组15还可以包括血管传感器17，使用时整合到侧面29内靠近用户头部太阳穴动脉的地方，以便于测得体温和心率的读数。传感器组15还可以包括振动传感器19，如图1b所示，在耳朵旁边或与耳朵接触。振动传感器19既可以检测从用户发出的声音也可以检测从其它声源发出的声音。传感器组15的任何传感器都可以根据有利于使用的布局来安装。传感器组15的任何传感器都可以实行小型化，使它们的存在不会影响图像捕获装置6可穿戴实施例的外观。例如，在图1c所示的实施例，用来检测皮肤电反应的传感器16是可穿戴图像捕获装置6的一部分，它被安装在传统框架的桥部26。
在其它实施例中，传感器组15可能包含神经传感器和其它适合于监视神经细胞电活动的装置，以便用于与环境互作用。这种设备的例子有美国乔治亚州亚特兰大的Neural Signals公司出售的脑通信机(Brain communicator)或肌肉通信机(Muscle Communicator)。这些设备分别监视神经细胞的电信号和脑神经发出的信号，其目的是检测例如引起正常人体突然产生的激烈动作的信号。这些信号被发送到计算机，在那里由软件解读成可供利用的信息。值得庆幸的是，这种技术既可以用来检测情感信息，又可以检测可以用来确定情感信息的其它信息。例如，可以监视沿着携带来自耳朵的声音信息的神经的神经活动并用来确定在事件发生时观察者真正听到的声音信息。
图像捕获装置6还包括用户视频摄像机10，它用来记录用户2的眼睛运动、瞳孔尺寸、面部表情等视频图像。用户视频摄像机10可以包括传统的电荷耦合器件(CCD)成像器件、互补金属氧化物成像器件或电荷注入器件。其它成像技术也可以使用。被用户视频摄像机10所捕获的图像可以包括用于形成用户图象或用户面部某些特征的视频图像。被用户视频摄像机10所捕获的图像还可以包括从中可以获取情感信息的视频图像的其它形式。例如，表示眼睛位置和瞳孔大小时并不需要构筑用户2眼睛的完整的数字图像。为了降低成本或简化成像结构，可以代之以使用其它形式的具有较低分辨率的或非线性成像模式的成像技术。
由用户视频摄像机10所捕获的视频图像先存储到数字式存储器12上再经CPU141处理。用户视频摄像机10可以包括如对红外线敏感的摄像机。在本实施例中，一组红外发光二极管(红外LED)将红外光指向用户的瞳孔。用户视频摄像机10检测从用户眼睛所发出的红外线信号。然后从用户的面部图像跟踪瞳孔。一种好用的用户视频摄像机的例子是由美国纽约州Armonkde的国际商业机器公司(IBM)销售的Bluse Eyes(蓝眼)摄像机，另外一种好用的用户视频摄像机10的例子是美国佛吉尼亚州Fairfax的LC Technology销售的Eyegazesystem。
在共同转让的的系列号为10/303,978、题目为“用眼睛监视的摄影机系统”的美国专利申请中示出屏详尽地描述了用户视频摄像机10的其它有用的实施例。
用户视频摄像机10可以安装在或位于如图1a所示的手持式图像捕获装置6的内部；如图1b所示可穿戴图像捕获装置6的玻璃框架上；或如图1c所示的可穿戴图像捕获装置6的玻璃框架的远程部分上。对于图1c的情况，用户视频摄像机10特别适用于捕获用户的各种面部特征，包括瞳孔尺寸、眼或额部的运动。对于图1b所示的情况，特别适用于捕获眼睛运动和其它眼睛特征。用户视频摄像机10还可以与图像捕获装置6分离，在本实施例，用户视频摄像机10可以包括能够捕获图像捕获装置6的用户的图像屏将图像传送到图像捕获装置6的任何图像捕获装置。从远程的用户视频摄像机10传送图像可以使用任何已有的无线通信系统用无线的方式完成。
特征跟踪可以；利用各种算法来完成，如在Ko等人写的，IEEETENCON，1999会议论文集72-75页，题目为“用于眼-头控制的人机接口的面部特征跟踪”的文献所描述那样。所述算法可以用于实时的面部特征跟踪，由使用候选方块构成完整的图形，它从经过处理的面部图像中进行识别，然后计算每对方块的相似性量度。当方块具有最大相似度时，就认为找到了眼睛。基于眼睛的位置，口、唇角和鼻孔就找到了。然后对找到的特征进行跟踪。
具有适合于记录眼睛运动的用户视频摄像机10的可穿戴图像捕获装置6的例子可以从例如在Vision Research第41期(2001年)3587-3596页由Pelz等人写的“复杂任务中的眼球运动行为和感官策略”中可以找到。作者描述了一种可穿戴的、重量轻的眼球跟踪系统，作成头戴护目镜形式，包括发射红外光的模块、小型视频眼摄影机，并由分光器调整摄影机与所发射的光束同轴。向后反射，向瞳孔提供照明以产生光亮的瞳孔图像。外部反射镜将光路折向护目镜的前面，这里有一个热反射镜将红外光导向眼睛并将眼睛图像折回眼摄影机，护目镜上安装了第二个小型摄影机，用来捕获用户视野所看到的景物。
在图1b和图1c中，用户视频摄像机10由两块构成，为的是可以同时捕获两只眼的特征。然而，显然，用户视频摄像机10可以用只捕获用户2的一只眼或可以同时捕获两只眼睛特征的一块来表示。
图像捕获装置6配备有与之适当的软件，这些软件被CPU用来创建和使用个人化情感信息。所述软件通常被存储在数字式存储器12中，而且可以利用通信模块18来加载和更新这些软件。而且，软件还能令CPU 14进行图像处理和分析内含的非情感信息，这种信息可以从捕获模块8所提供的景物图像提取，而且也存储在数字式存储设备12中。所述数字式存储器12还可以存储与个人用户简档有关的信息，所述信息可能是包含归纳了用户2反应特征信息(例如，关于对某些景物或情况的典型反应模式的量化信息)的特殊的数据库以及使CPU 14在创建和使用个人化情感信息时能够访问所述特定数据库的软件程序。这些量化信息可能包含例如累积的用户对景物或情况的反应的分布，这些信息表征了例如用户对这些景物或情况喜好的程度。所述个人用户简档可以被CPU 14查询。个人用户简档可以用学习得来的关于用户2反应的新信息更新。
显然，上面所讨论的图像捕获装置6的所有元件和部件可以用图像捕获装置6的整件或者用物理上分离的相互之间用有线或无线连接的散件实现。
接下来介绍图像捕获装置6根据对面部表情的分析确定情感信息(例如，从面部表情提取喜好程度或者从面部表情提取情感的分类及其独特性)的方法的各种实施例。其它实施例表示根据生理信息来确定情感信息的方法，例如从瞳孔尺寸和眼睛运动提取感兴趣程度或从皮肤电反应提取兴奋程度。进一步的实施例表示使用情感分类结合兴奋程度来确定情感信息的方法。可以根据具体的应用来选择实施例。例如，根据喜好的程度来确定情感信息对有效的治疗是非常有用的，因为治疗的目的是有利于和促进利好的体验。同时，对安全保障应用或其它类型治疗来说，检测由引起反面情感的事件是重要的。
参见图2a-图2b，图中示出说明本发明根据特定用户对特定景物的图像的喜好程度提供情感信息的方法的某实施例的流程图。在这个实施例中，根据特定用户的面部表情来决定情感信息。
用户2首先启动图像捕获装置6(步骤110)，在一个实施例中，实现本发明方法的软件应用程序已经安装在图像捕获装置6中，并在步骤112自动开始工作。换一种方式，用户2可以用人工的方式，通过使用图像捕获装置6上适当的控制按钮(没有显示)来启动所述应用程序。
用户2输入个人ID(标识符)和密码(口令)(步骤114)。在一个替换的实施例中，用户视频摄影机与面部识别软件一起，自动确定所述用户的身份并提供合适的用户标识符，如用户的名称、个人识别码或其它识别符。在另一个替换实施例中，用户识别数据可以从外部数据源、例如图像捕获装置6所使用的通信模块18的无线电收发信机来获取。在另外一个替代实施例中，利用特定的用户标识符对图像捕获装置6进行预编程，因而不需要步骤114。
由用户2决定图像捕获装置6用来将图像和情感信息以及非情感信息发送的接收者名单(步骤115)。下面是根据通信出现率排列的可能的接收者分类清单的例子：
1)个人数据库；
2)家庭成员；
3)代理联系人；
4)健康服务提供者；
5)安全保障机构；和/或
6)当地的或地区的应急服务系统。
这份清单还以编号的顺序反映紧急的程度：即数目字越大，紧急程度越高。所述信息被图1a-图1c所描绘的通信模块18使用。
为了确定当用户2观察到某景物(步骤116)时的情感反应，图像捕获装置6任选地提供要记录的信号的选择。用户2选择所需的信号，也就是说，在这种情况下的面部表情(步骤118)。在替代的实施例中，利用一个或多个情感信号对图像捕获装置6进行预编程，因而不需要步骤116和118。
然后用户2指示图像捕获装置6组织待捕获的景物。捕获模块8捕获景物的第一幅图像(步骤120)，并且，同时在步骤130，用户摄像机10捕获用户2的第一幅面部图像。
图像捕获装置6暂时把景物图像存储起来(步骤122)，并从各方面自动分析这些景物图像(步骤123)。这种分析的目的可能是检测景物中特定的事物，例如，已知的能够引起用户习惯性反应，或对用户呈现威胁的事物。这种图像分析是通过使用现成的图像处理或图像理解算法完成的。算法之一已经在共同转让的Norman等人的、1999年12月14日提交的题目为“为增强对弱扩频信号处理的强信号对消”的美国专利No.6,282,317中公开，其中描述了一种自动确定照片图像中主题的方法。通过识别肉体、面部、天空、草地等作为语义的主要特征和与颜色、纹理、亮度等有关的显著“结构”特征，然后将二者结合起来产生可信的图形。另一个已公开的图像处理技术在Luo的、2000年12月14日提交的、题目为“用于检测数字图像中人体形状的图像处理方法”的共同转让的美国专利公开No.US2002/0076100A1中公开，所述专利的公开内容包括在本文中作为参考。使用所述方法可以检测数字彩色图像中的人物形象。所述算法首先进行将图像分割成颜色或纹理均匀的互不重叠的区域的操作，接下来检测具有人类肤色的候选区域和人脸的候选区域；然后对每一个候选脸部区域，通过组合在人脸区域附近的区域，以具有人类肤色的区域为首选，根据事先确定的人形绘图模型来构建人的外形。也可以使用利用面部识别算法建立的景物中人的存在或特定人物，诸如在第5届IEEE面部和姿势自动识别国际会议论文集中Liu等人的题目为“基于核Fisher判决分析的面部识别”(0197-0201页，2002年)中所描述的算法。
关于在步骤130中所描述的捕获的面部图像，图像捕获装置6暂时将步骤132中的面部图像存储起来，并在步骤134中自动分析用户2的面部表情。面部表情分析可以使用已经公开的面部表情识别算法，例如，在ICCV95会议(1995年在马塞诸塞州Cambrige召开)论文集中Essa等人的题目为“使用动态模型和运动能量的面部表情识别”所介绍的算法。所述算法基于与每种表情相联系的面部肌肉激活概率分布的知识以及皮肤肌肉的详细物理模型。这种基于物理的模型通过将从视频信号中检测的肌肉激活与从情感表达视频数据库中获得的典型肌肉激活相比较，来达到识别面部表情的目的。
还可以利用其它公开发表的算法进行面部表情分析。这类算法的一个示例可以从Lien等人发表在“机器人学和自动系统(Roboticsand Automonous)”，31期，131-146页的“面部表情行动单元的检测、跟踪和分类”中找到。另外一个类似的算法可以从Bartlett等人发表在“心理生理学(Psychophysiology)”36期(1999)253-263页的题目为“利用计算机图像分析测量面部表情”的文章中找到。这些算法基于对特定的面部动作-基本肌肉运动的认识，在由“顾问心理学家(Consulting Psychologists)”出版社(美国加理福利亚州PaloAlto)出版的，由Ekman等人著的题目为“面部运动编码系统”中描述了所述特定的面部动作-基本肌肉运动。在面部运动编码系统(FACS)中，将基本的面部运动组合起来可以表达任何面部表情。例如，自然的微笑可以用两个基本的面部运动表示：1)嘴角由称为“主颧肌”的肌肉提起。和2)眼睛由称为“眼轮匝肌”的肌肉起皱纹。因此当在视频信号中检测到嘴角提起和眼起皱纹时，就意味着某人在微笑。当在用户2面部检测到微笑时，面部表情分析的结果就是用户2的面部被识别为微笑。当没有检测到微笑时，就是没有微笑。
图像捕获装置6确定微笑的量度(步骤138)。如果没有检测到微笑，则微笑的量度为零。如果在给定的图像中检测到微笑，则可以把所述图像中的微笑的量度确定为在指定图像中微笑产生头三秒钟内嘴角之间的最大距离除以用户2两眼之间的距离。所述人两眼之间的距离是使用上面所讲的面部识别算法确定的。计算口的尺寸和与人头部有关的量度(例如两眼之间的距离)尺寸之间的比例的必要性在于这样的事实，即用户2口的尺寸是面部图像提取的，它取决于用户与视频摄像机之间的距离、头部的位置等。用户2两眼之间的距离用来考虑这种依赖性。然而，其它量度方法，例如面部的高度和宽度，面部的面积和其它量度方式都可以使用。
图像捕获装置6确定喜好的程度(步骤138)。如果没有检测到微笑，则微笑的量度、继而喜好的程度等于零。如果真正检测到微笑，则绝对的喜好程度等于微笑的量度。而喜好的相对程度等于微笑量度除以用户2的平均微笑量度。平均微笑量度可以不断更新并存储在数字式存储装置中作为用户2的个人用户简档的一部分。个人用户简档可供查询和使用微笑量度数据来更新平均微笑量度(步骤139)。
将所获得的喜好程度与判据进行比较(步骤140)。建立判据以反映在步骤123和138所提取的图像信息和情感信息的重要程度。这种判据，例如可以用逻辑“与”的表达式来定义。就是说，如果从景物图像中检测到相关信息，或者超过情感信息(在图2的例子中就是喜好的程度)的阈值，或者既检测到相关景物图像中的信息又超过了情感阈值，则在步骤140中的判据被满足。显然，可以设置步骤140中的判据以便把优先权给予两个信息来源中的任何一个。
在一个实施例中，所述判据可能只反映情感信息，也就是喜好的重要程度。在所述实施例中，把所获得的喜好程度与用户2所建立的或为用户2建立的阈值相比较。如果所获得的喜好程度超过阈值，则图像捕获装置6为相应的图像创建情感标签，用来表示对所述特别捕获的图像的喜好程度(步骤144)。
在另一个实施例中，也可以从个人用户简档自动创建喜好程度的阈值，例如，在先前积累的所述用户的喜好程度的概率分布的基础上创建。这个概率可能是0.5，这样，喜好程度的阈值，对应于事件至少有50％可能发生。换一种方式，个人情感标签可能包括从一个喜好值范围中选取的一个值，以便区别各种捕获的图像之间相对喜好程度。
如果判据被满足，图像捕获装置6就将相应的图像及其表示喜好程度的情感标签存储在包含景物图像的图像文件中，作为图像元数据(步骤146)的一部分。换一种方式，表示喜好程度的个人情感标签可以存储在与用户标识符和图像标识符相关联的独立文件中。而且，有关用户2对某种图像的观察(就是在捕获的当时)也可以记录下来，单独输入到个人情感标签中。
在另一个实施例中，未经加工的面部图像作为情感信息要么与图像标识符和用户标识符一起存储在图像捕获装置6的单独文件中，要么作为图像元数据的一部分存储在个人情感标签中供以后分析并可选择使用分离的系统。例如，景物图像和未经加工的面部图像可以使用通信模块18(参见图1)和因特网服务提供商20与负责完成先前所说的与步骤134-138有关的分析功能的另外一台式计算机(没有画出)或计算机服务器(没有画出)进行通信。
识别接收者(步骤147)。在一个实施例中，接收者可能是具有因特网服务提供商提供的E-mail地址的个人数据库。在另一个实施例中，可能有多个清单中开列的接收者，包括个人数据库、健康服务提供者、朋友、家庭成员、保安机构等。接收者还可以根据对情感信息、图像数据和非图像数据分析自动选出。在这种情况下，作为步骤147的一部分，这种选择可能包括，例如，为情感信息而将数值，例如在步骤138中的喜好程度，与为接收者清单中各个接收者预先确定的阈值作比较。在再一个实施例，例如，根据先前积累的用户喜好程度的概率分布，从个人用户简档自动建立对应于每一个接收者喜好程度的阈值。在一个实施例中，保健服务提供者的累积概率可以选择为0.9，这样，喜好程度的阈值将对应于只有10％的案例会超过的值。在其它实施例中，个人情感标签可以包括从某范围的喜好值选出的值，使得各种捕获的图像之间的相对喜好程度呈现差别。在再一个实施例中，可以只根据对景物图像或对情景信息和情感信息二者的组合的分析结果来选定接收者，这取决于步骤40中所构建的判据。
使用通信模块18，例如通过因特网提供商20，将对应的图像、个人情感标签和其它图像元数据发送到被指定的接收者，例如某数字图像的个人数据库(步骤148)。所述个人图像数据库可以利用例如单独的台式计算机(没有画出)或计算机服务器(没有画出)存储起来。
在另一个实施例中，相应的图像、个人情感标签、图像元数据包括所导出的图像信息被发送给医生或其它保健服务提供者以便对用户对特定情景的情感反应进行附加分析或评估。相应的图像、个人情感标签、图像元数据包括所导出的图像信息还可以被发送到多个支撑网络，包括家庭成员或本地应急服务中心。
反馈信息被显示在摄影机的预览屏幕22或通信显示屏21(步骤150)上。所述信息由适当的软件程序自动产生，并可能包括景物图像，或所决定的喜好程度，或二者都有。它还可以包括声音信号、预先录制的话音消息或计算机产生的语言或图像或单独由语音信号、预先录制的话音消息或计算机产生的语言或图像组成。在另外的实施例中，反馈信息来自医生或众多的支撑网络，以便于治疗或向用户2提供帮助，关于这方面，可以启动交互式的通信过程。
如果所获得的喜好程度低于阈值，则删除用户的面部图像及景物图像(步骤242)。如果所获得的喜好程度低于阈值以及如果用户2仍然在观看同一景物或所捕获的景物图像，诸如预览屏幕22的例子，图像捕获装置6可以任选地捕获下一幅面部图像或重复步骤132到140来决定随着用户2观看同一景物或所捕获的景物图像，用户2是否已经改变其面部表情。
如果将阈值设置为零，则所有由图像捕获装置6所捕获的景物图像和相应的情感信息(在其它的实施例中的喜好的程度，未经加工的面部图像)将被永久地存储在单独的带有图像标识符和用户标识符的图像文件中，或者在图像元数据的个人情感标签中。
如果用户一直将电源接通，则捕获和分析下一幅景物(步骤120-123)并同时决定和存储个人情感标签(步骤130-146)的过程将反复进行(步骤126)。
只要用户2一直向图像捕获装置6供电(步骤126)，图像捕获装置6就继续使用捕获模块8记录景物4的图像以及使用用户视频摄像机10记录用户2的面部图像。如果断开电源，则图像捕获装置6停止记录景物图像和面部图像，还会结束制作情感标签的过程(步骤128)。
喜好程度还可以用在数字式成像系统中，以便以系统和连续的方式按照特定用户喜爱的图像将图像分等级，如mstraszek等人的、2001年12月26日提交的、序列号10/036,113、题目为“在数字式成像系统中创建和使用情感信息”的共同转让的美国专利申请中所描述的或如matraszeksuo等人的、2001年12月26日提交的、序列号10/036,123、题目为“使用情感信息记录数字图像生成相册页的方法”的共同转让的美国专利申请中所描述的那样。
对景物图像的喜好程度可以用二进制方式决定。当在步骤136检测到微笑时，相应的图像被划分为被喜欢，二进制喜好程度等于1。换句话说，当没有检测到微笑，所述图像被划分为不被喜欢，二进制喜好程度等于零。
然后，将所确定的用二进制喜好程度表示的情感信息以个人情感标签的形式存储，其中包括作为图像元数据的一部分的用户标识符。它还可以和图像标识符和用户标识符一起以独立文件的形式存储在数字存储装置12中。而且，关于用户面部表情的真实图像的情感信息也可以与图像标识符和用户标识符相关联地存储在独立文件中。
在另外一个实施例中，只有当情感信息超过阈值、例如为相对微笑量度设置的阈值时，被捕获的图像才由图像捕获装置6向因特网业务提供商20发送。其结果是，只有超过喜好阈值的图像才会被存储在用户的个人图像数据库中。在这个实施例中，将元数据存储在图像文件中，表示这种文件满足阈值。
参见图3a-3b，图中示出本发明另一实施例的流程图。在所述实施例中，情感信息是根据用户关于所捕获的图像的反应情感分类而决定的。在所述实施例中，还根据对用户的面部表情的分析获取情感信息。
面部表情可以根据范围更广的情感类型来分类，例如，“高兴”、“悲哀”、“厌恶”、“吃惊”等。在Dailey等人发表在Joournal ofCognitive Neuroscience，2002的题目为“EMPATH：用于面部表情分类的神经网络”的文章中描述了一种已经公开的用于面部表情分类的算法。所述算法在开发由三层神经元组成的前向馈送神经网络的基础上，将面部表情划分为6个基本情感类别：“高兴”、“悲哀”、“害怕”、“愤怒”、“厌恶”和“惊讶”等。所述神经网络进行三层处理：感觉分析、目标表示和分类。在第一层模仿一组神经元具有类似于视觉皮层复杂细胞的性质。第二层的单元从数据中提取规律性。第三层按6个基本感情类别输出。结果，每一个面部表情被编码成6个数目字。一个数目字代表一种感情。代表不同感情的数目字都是正数，其和为1，所以感情数值可以被解析为概率。
下面的方法可以根据用户的面部表情进行情感分类，并进一步为这些分类提供值的范围，更具体地说，提出了情感分类的“独特性”程度，并由图3表示。情感分类的“独特性”程度反映了特定情感的唯一性或“纯度”的量度，刚好与情感的模糊度或模糊性相反。用普通语言来说，一种情感通常称为“混合的感受”。这种“唯一性”的特征，可以用类似颜色饱和度来理解。
图3a-3b实施例的步骤210到232一般对应于图2a-2b实施例的步骤110到132。
然而，在本实施例中，图像捕获装置6应用前面已经介绍过(步骤234)的Dailey等人提出的方法自动分析用户2的面部表情。其结果是，用户2的表情与6个数目字相联系，一个数目字代表一个基本情感。
通过选择具有最大数值的类别来确定情感类别(EC)(步骤236)。例如，如果所述数值是0.5，0.01，0.2，0.1，0.19和0分别代表“高兴”、“悲伤”、“害怕”、“愤怒”、“厌恶”、和“惊讶”，则所决定的情感分类是高兴，因为它对应的数值0.5最大。结果激发高兴面部表情的景物被指定为“高兴”情感类别，激发“悲哀”面部表情的景物被指定为“悲哀”情感类别等等。在几个类别具有相同的数值时，其中一个类别被随机选择为与所述面部表情相对应。换句话说，当几个类别具有相同的数值时，可以利用附加的情感的或非情感的信息来帮助选择一个类别。
由图像捕获装置6来决定情感类别的独特性的程度(步骤238)。其独特性的程度(DDEC)是从前面所述的步骤236所建立的6种情感的数目字计算出来的。为方便起见，记为N1、N2、N3、N4、N5、和N6。下面的表达式是本发明用来确定所识别的情感类别EC的独特性程度：
D D EC = ( N 1 2 + N 2 2 + N 3 2 + N 4 2 + N 5 2 + N 6 2 )
DDEC对应于情感类别EC的绝对独特性程度。相对独特性程度被定义为情感类别EC的绝对独特性程度除以针对特定用户的相应情感分类的DDEC的平均值。平均DDEC可以不断地被更新并存储在数字式存储设备12中作为用户2的个人用户简档的一部分。个人用户简档可以被查询和用情感类别的DDEC的平均独特性程度更新(步骤239)。
当使用喜好程度时(步骤240)，把所获得的独特性程度与类似于先前图2所解析的判据作比较。在步骤240中，把所获得的独特性程度与判据作比较，构造这个判据目的是反映从步骤223和238所提取的图像信息和情感信息的重要性。这个判据可以用例如逻辑“与”表达式来定义。这就是说，如果在景物图像中检测到相关信息或者情感信息的阈值、也就是独特性程度的阈值被超过，或者相关景物图像的检测和独特性程度的阈值被超过同时出现，则步骤240中的判据就被满足。显然，可以设置步骤240中的判据、以便将优先权赋予两个信息源中的一个。
在一个实施例中，所述判据可以只反映情感信息的重要性，也就是独特性程度。在这样的实施例中，将所获得的独特性程度与用户2建立的或为用户2所建立的阈值比较。如果所获得的独特性程度在所述阈值以上，则图像捕获装置6为相应的图像创建个人情感标签，所述个人情感标签表示所述特定捕获的图像的情感类别以及独特性程度(步骤244)。
在另一个实施例中，独特性程度的阈值还可以从个人用户简档中自动建立，例如，根据先前积累的用户2相应于特定情感类别的独特性程度的概率分布自动建立。这样的概率可以是0.5，这样，独特性程度的阈值表示至少有50％的事件发生。换一种方式，个人情感标签可以包含从独特性值范围中选出的值、使得可以显出各种捕获的图像之间的相对独特性程度的差异。
图像捕获装置6将对应的图像和表示具有独特性程度的情感类别的个人情感标签存储在包含景物图像的图像文件中，作为图像元数据的一部分(步骤246)。换句话说，表示具有独特性程度的情感分类的个人情感标签可以与用户标识符和图像标识符相关联地存储在单独文件中。而且，有关所述用户观察特定图像的日期(也就是在捕获的一刻)的信息，也可以作为单独的条目输入个人情感标签。
在另一实施例中，未经加工的面部图像作为情感信息或者与图像标识符和用户标识符一起存储在图像捕获装置6的单独文件中、或者存储在个人情感标签作为个人元数据的一部分，供稍后进行分析，并可以任选地使用单独的系统。例如，可以利用无线调制解调器18(见图1)和因特网服务提供商20把景物图像和未经加工的面部图像输送到可以进行先前关于步骤234-238所描述的分析的单独台式计算机(没有画出)或计算机服务器(没有画出)。
利用类似于图2a和2b中提及的步骤147的方式识别接收者。
将所使用的情感类别和独特性程度作为情感信息的来源(步骤247)。
使用通信模块18将相应的图像、个人情感标签和其它图像元数据发送到因特网服务提供商20或其它通信网络接收者，例如个人的数字图像数据库(步骤248)。所述个人图像数据库可以使用单独的台式计算机(没有画出)或计算机服务器(没有画出)存储。
在另外的实施例中，相应的图像、个人情感标签、包括所导出的图像信息的图像元数据被发送到医生或其它医疗服务提供者那里对用户对特定的情景的特定情感反应做附加分析或评估(步骤248)。相应的图像、个人情感标签、连同所导出的图像信息的图像元数据还可以送到多个支撑网络，包括家庭成员或本地应急服务中心。
反馈信息被显示在摄像机的预览屏幕22或其它通信屏幕21上(步骤250)。所述信息由相应的软件程序自动产生，并可能包含景物的图像、已经确定的具有独特性程度的情感类别、或二者都有。它还可以包含或只包括以下列信息：声音信号、预先录制的话音消息或计算机产生的语言。在另外的实施例中，反馈可以由医生或多个支撑网络发出，以便于治疗或对用户2进行针对性的援助，由此启动交互式的通信过程。
如果在步骤240所规定的判据不能被满足，例如，所获得的独特性程度低于阈值，则用户的面部图像和景物图像被删除。
如果所获得的独特性程度低于阈值而用户2仍然在观察同一景物或所捕获的所述景物的图像，例如预览屏幕22的图像、图像捕获装置6能够任选地捕获下一幅面部图像并重复步骤232到240的操作来确定当用户2观察所述景物或所述景物的捕获的图像时，用户2是否已经改变其面部表情。
如果阈值被设定为0，则图像捕获装置6所记录的所有景物图像和相应的情感信息(带有独特性程度的情感类别或在其他实施例中的未经加工的面部图像)将与图像标识和用户标识符一起作为情感信息永久地被存储在图像捕获装置6的独立文件中，或者作为图像元数据的一部分记录在个人情感标签中。
如果用户2一直接通电源，则捕获下一幅景物图像(步骤220-223)并重复(步骤226)确定并存储所述捕获的图像的个人情感标签的过程(步骤230-246)。
只要用户2一直接通图像捕获装置6的电源，图像捕获装置6就继续使用捕获模块8记录景物4的图像，并使用用户视频摄像机10来捕获面部图像。如果电源被断开，则图像捕获装置6停止记录所述景物的图像和面部图像，并且结束情感标签的制作过程(步骤228)。
在先前讨论的实施例中，情感信息是从用户2的面部特征中提取的。图4a和图4b给出了表示本发明的另外的实施例的流程图，图中情感信息是根据生理学因素，也就是眼睛凝视定像时间表示的感兴趣程度提供的。在这个实施例中，感兴趣的程度是根据眼睛凝视定像时间，即用户2的眼睛在转向其它地点之前，停留在景物特定位置的时间来确定的。
根据Psychophysiology(心理学)杂志1993年30期，261-273页上刊登的Lang等人写的题目为“观看图片：情感、面部、内脏和行为反应”所描述的数据，平均说来，凝视时间与感兴趣或引起某观察者注意的程度线性相关。因此，根据这样一种关系，凝视时间可以用来解析用户对景物中某一块区域感兴趣的程度。按被引用的Lang等人发表的内容，观察时间只与对第三方景物的图像感兴趣的程度相比较。在本发明中，定像时间信息直接作为对景物的评估并且作为第一方景物图像被存储入个人情感标签，成为图像元数据的一部分或与用户标识符和图像标识符相关联地存储在单独的文件中。
在图4a和图4b的实施例中，步骤310-328的方法总体上相当于图2a和图2b的步骤110-128的方法，只有一点不同：在步骤318，用户选择的是“定像时间”信号。换句话说，图像捕获装置6可以经过预先编程来捕获“定像时间”信息。
在本实施例中，在时间窗口(例如所述时间窗口为30秒，)内，当在图像构成、捕获、和/或捕获后立即重放(步骤330)时，用户2观察所述景物，图像捕获装置6上用户视频摄像机10捕获用户2一只眼睛的眼睛图像的样本。在某些实施例，时间窗口可以由用户2修改。
同时进行的是，在步骤323对景物图像进行分析，就像在上面图2a和图2b的步骤123已经详细描述的那样。
用户2眼睛凝视方向的坐标连同取样率，例如取样率为60Hz(步骤332)被存储起来。在某些实施例中，用户2可以修改取样率。所述取样率还可以根据其它因素，例如眼睛凝视随时间的变化速率、景物内容的变化速率或可以用来存储情感数据的存储器容量，加以修改。
未经加工的凝视坐标被划分成眼睛定像的组合(步骤334)。某眼睛定像通常被定义为至少50毫秒的时间段，在此时段内，眼睛坐标的改变不会超过1视觉度。对每一次定像，要确定的是开始时间，结束时间和凝视坐标。而且，可以针对每一定像确定平均瞳孔尺寸。眼睛定像的持续时间是根据它们的起始和结束时间量度的(步骤336)。
图像捕获装置6决定了每一只眼睛定像感兴趣的程度(步骤338)。绝对的感兴趣度被定义为相应的定像时间。相对感兴趣度被定义为定像时间除以特定用户的平均定像时间。平均定像时间可以被连续更新和存储在数字存储装置12中作为用户2的个人用户简档的一部分。可以就用户2的平均定像时间而查询和刷新所述个人用户简档(步骤339)。
后继步骤340-350分别对应于先前的图2a、图2b、图3a和图3b所表示的实施例中所述的步骤140-150和240-250，不同的是在步骤344中所记录的个人情感标签所记录的信息类型。这就是，在本实施例中，情感标签记录的是感兴趣的程度。
在一个实施例中，图像捕获装置6将感兴趣程度作为图像元数据的一部分和相应的图像一起存储在个人情感标签中(步骤346)。存储在图像元数据中的数据可以包含表征个人情感信息的数据，或可能包含指示包括个人情感信息的文件位置的数据。还有，有关用户观察某图像日期信息也可以被记录为个人情感标签中单独的项目。
在另一个实施例中，存储景物图像和未经加工的眼睛图像。未经加工的眼睛图像可供CPU 14或供独立装置中的处理器(没有画出)以后分析。
如果所获得的感兴趣程度在阈值以下，则删眼睛以及景物图像(步骤342)。
在另一个实施例中，如果所获得的感兴趣程度在步骤340所设置的阈值以下，而用户2仍然在观察同一幅被捕获的图像、例如预览屏幕22上的被捕获的图像，则图像捕获装置6可以任选地捕获另一段眼睛图像并重复步骤332到340来确定用户2是否已经改变了对所捕获的图像感兴趣的程度。
如果阈值被设定为零，则所有被图像捕获装置6所记录的景物图像和相应的情感信息(感兴趣程度或在另一个实施例中的未经加工的眼睛图像)可以作为情感信息单独地用一个文件连同图像标识和用户标识符存储在图像捕获装置6中，或作为图像元数据的一部分存入个人感情标签中。
在替换的实施例中，用户视频摄像机10和中央处理器14可以用来从用户的至少一只眼睛的图像中获取附加信息。这种信息的示例包括但不限于眼球加速度、泪水信息、眼温度、虹膜网纹模式、血管模式和血管尺寸。这些信息可以用来确定用户2的个人识别、情感状态和/或健康状况。所述信息可以作为情感标签的一部分被存储起来。
另外的情感信息的来源取自用户2产生的生理信号。图5a和图5b表示本发明的一个实施例，其中情感信息是从生理信号决定的。在所述实施例中，生理信号是皮肤导电信号和从皮肤导电信号导出的情感信息，并用兴奋程度来表示。
皮肤导电性的改变是皮肤电反应的量度。皮肤导电性反映了皮肤导电性大小的改变，它作为对某事件(观察景物或景物的图像)反应的量度。诸如Lang等人在Psychophysiology(心理学)杂志1993年30期，261-273页上刊登的题目为“观看图片：情感、面部、内脏、和行为反应”论文中所描述的那样，皮肤导电性的改变取决于图像对观察者的激励：导电性越高，激励或兴奋度越低，反之，导电性越低，激励越高。皮肤导电性反应幅度的量度还可用来确定感兴趣或注意力。
在本实施例中，步骤410-428的方法总体上对应于图2a和图2b中的110至128，唯一不同的是，在步骤148，用户可以用手动的方式指示图像捕获装置6捕捉皮肤电反应信息，至少可以作为情感信息的一部分。换一种方式，图像捕获装置6可以被预先编程以便捕捉皮肤电反应信息。图像捕获装置6在时间窗口持续期间(例如，时间窗口是5秒)，使用生理传感器16测量皮肤电反应信号(步骤430)。在某些实施例中，时间窗口可以被用户修改。皮肤电反应信号传感器16的一个示例是SC-Flex/Pro+，和由位于美国纽约州W.Chazy的Tought Technology公司生产Procomp检测系统。
皮肤电反应导电信号被以某取样率、例如60Hz取样后存储起来(步骤432)。在一个实施例中，取样率可以由用户2修改。取样率还可以根据其它因素，例如景物内容的变化速率、皮肤电反应的时间变化率或可用来存储情感数据的存储器的容量。对皮肤电反应皮肤电导率信号进行滤波以便减少数据中的噪声(步骤434)。然后确定皮肤电反应信号的幅度(步骤436)。
图像捕获装置6确定所述兴奋程度(步骤438)。景物的绝对兴奋程度等于经过滤波的皮肤电反应电导率信号的幅度。相对兴奋程度被定义为皮肤电反应信号的幅度除以特定用户的平均皮肤电反应信号。平均皮肤电导率可以不断被刷新并被存储在数字存储装置12中作为用户心理档案的一部分。为了计算相对兴奋程度，从用户简档中检索出平均电导反应信息。个人用户简档中的皮肤电导反应信息不断被刷新(步骤439)。
把所获得的兴奋程度与判据作比较，所述判据的产生既反映情感信息又反映从步骤423和438(步骤440)所提取的图像信息。这样的判据可以用逻辑“与”的表达式来定义。就是说，如果在景物图像中检测到相关信息，或情感信息的阈值(在此案例中就是兴奋程度)被超过，或检测到相关的图像信息和兴奋程度阈值被超过同时发生，则步骤440的判据被满足。显然，可以设置步骤440的判据以便将优先权赋予两个信息源中的任何一个。
在一个实施例中，判据可能只反映情感信息的重要性，也就是兴奋程度。在本实施例中，把所获得的兴奋程度与由用户2或为用户2建立的阈值相比较(步骤440)。如果所获得的兴奋程度超过所述阈值，则图像捕获装置6为表明对特定的捕获的图像的兴奋程度的相应图像创建个人情感标签(步骤444)。在另一个实施例中，兴奋程度的阈值还可以，例如根据先前累积的所述用户兴奋程度的概率分布、从个人用户简档中自动建立。所述概率可以等于0.5，这样，兴奋程度的阈值将会对应于一个值，这个值表示至少有50％的案例会发生。换一种方式，个人情感标签可以包含从某兴奋值范围选取的一个值，使得各种捕获的图像的相对兴奋程度呈现出差别。
如果步骤440中的判据被满足，图像捕获装置6将相应的图像和表示兴奋程度的个人情感标签作为图像元数据的一部分存储在包含景物图像的图像文件中(步骤444和446)。换句话说，可以把表示兴奋程度的个人情感标签与用户标识符和图像标识符相关联地存入独立文件中。而且，关于用户观察特定的图像(就是捕获当时的图像)的日期也可以作为输入到个人情感标签中的单独的项目记录下来。
在另一个实施例中，未经加工的皮肤电反应信号作为情感信号要么连同图像标识符和用户标识符被存储在图像捕获装置6中的单独的文件中，要么被存入个人情感标签，成为图像元数据的一部分，并供其后进行分析。可以选择使用单独的系统。例如，可以利用无线通信模块18(见图1)和因特网服务提供商20把景物图像和未经加工的皮肤电反应信号输送到能够进行先前在步骤434-438之间所描述的分析的独立的台式计算机(没有画出)或计算机服务器(没有画出)。
以类似于图2a和图2b的步骤147的方式，利用情感类别和作为情感信息来源的独特性程度识别接收者(步骤447)。在一个实施例中，接收者可以是具有由因特网提供商提供的电子邮箱或万维网地址的个人数据库。在另一个实施例中，接收者可能是保健服务提供者或安全部门。在再一个实施例中，可能有从清单中选出的多个接收者，包括个人数据库、健康服务提供者、朋友、家庭成员、安全部门等。还可以根据对情感信息、图像数据和非图像数据的分析自动选出接收者。在这种情况下，作为步骤447的一部分，这种决定可能包括例如将情感信息值、如在步骤438所确定的兴奋程度与预先针对从接收者清单中选出的每一个接收者确定的阈值相比较。
在另一个实施例中，根据个人用户简档、例如先前积累的用户喜好程度的概率分布自动建立针对每一个接收者设定的喜好程度的阈值。在一个实施例中，可能为健康服务提供者选择0.9的积累概率，因而，所述喜好程度的阈值将对应于只有10％的案例会超过的值。
在再一个实施例中，个人情感标签可以包括从一个喜好值范围中选出的值、使得各种捕获的图像之间相对喜好值程度显示出差别。在不同的实施例中，可以只根据对景物图像分析的结果选择接收者，也可以综合景物信息和情感信息选择接收者，这取决于在步骤440中所建立的判据。
可以利用通信模块18和通信网络，诸如由因特网服务提供商20提供的通信网络来发送相应的图像、个人情感标签和其它图像元数据、以便将图像传输给认定的接收者、例如数字图像的个人数据库(步骤448)。例如可以利用单独的台式计算机(没有画出)或计算机服务器(没有画出)存储所述个人图像数据库。
在另一个实施例中，把相应的图像、个人情感标签、图像元数据(包括被导出的图像信息)发送到医生或其它健康服务提供者，由他们对所述用户对特定的情景的特定的情感反映进行附加的分析或评估。还可以把相应的图像、个人情感标签、图像元数据(包括被导出的图像信息)发送到许多支撑网络、包括家庭成员和当地应急服务机构。
反馈信息被显示在摄像机预览屏幕22或通信屏幕21上(步骤450)。所述信息由合适的软件程序产生并包括所述景物的图像、所确定的兴奋程度、或二者都有。所述信息还可以包含或只包括声音信号、预先录制的语音消息或由计算机产生的话音或图像。在另一个实施例中，反馈可以由医生或多个支撑网络发出，以便于治疗。
如果所获得的兴奋程度在阈值以下，用户2的皮肤电反应信号和景物图像即被删除(步骤442)。在另一个实施例中，如果所获得的兴奋程度在阈值以下并且如果用户2仍然在观察(例如在预览屏幕22上观察)相同的景物或所捕获的所述景物的图像，则图像捕获装置6可以有选择性地捕获下一个皮肤电反应段并重复步骤432到440来确定在用户2观察所述捕获的图像时、用户2是否已经改变其皮肤导电反应。
如果阈值被设定为零，则所有被图像捕获装置6所捕获的景物图像和相应的情感信息(兴奋程度或在另一实施例中未经加工的皮肤电反应信号)将被作为情感信息永久地或者与图像标识符和用户标识符一起存储到图像捕获装置6的单独的文件中、或者存入个人情感标签、成为图像元数据的一部分。
显然，不同的用户2对一幅图像有不同的生理和面部反应。有些用户可能会呈现出强烈的生理反应，而只呈现温和的面部反应。其它用户会呈现出温和的生理反应，而呈现强烈的面部反应。还有其他用户会呈现温和的生理反应和面部反应。通过综合不同类型的情感信息，可以获得更可靠的用户2对景物的情感反应。接下来的实施例表示解析情感信息的方法。将生理学的和面部反应信息结合起来更有利于解析情感信息。
参见图6a图6b，图中示出说明本发明的用于根据图3a、3b、5a和5b所描述的情感信号的组合、即所确定的情感类别的独特性程度和兴奋程度(将这些情感信息进一步组合可以获得完整的情感反应的量度)来提供情感信息的实施例的流程图。。
在本实施例中，方法步骤510到528对应于图2a和图2b的方法步骤110到128，唯一不同的是，在步骤518，用户选择“综合的面部表情和皮肤电反应”(在下面的文字中称为“综合”)信号或换言之，图像捕获装置6被预先编程以便使用“综合”信号。
因此，图像捕获装置6捕获用户2的面部图像和皮肤导电信息(分别对应于步骤530和531)。
诸如先前在图3与步骤232到238所描述的那样，由图像捕获装置6根据面部表情决定情感类别(DDEC)的独特性程度(步骤532)。由图像捕获装置6根据皮肤导电性来确定兴奋程度(DE)，其方式与图5中步骤432到438一样(步骤536)。
图像捕获装置6决定情感反应的幅度(步骤538)。这可以用各种方式完成。例如，情感反应的幅度可以表示为两个量的和：
             情感反应＝DDEC+DE
关于用户经历的特定情感的信息可以通过查阅情感类别EC得到。
在另一个实施例中，情感反应的幅度由两个量的平方和的平方根决定。
Figure C20031011993100381
在再一个实施例中，情感反应的幅度可以由两个量的加权和算出。
               情感反应＝wDDDDEC+wDEDE
其中，根据先前针对特定用户获取的每一种归一化(除以最大值)信号的标准偏差来决定权重wDD和wDE。在这种情况下，信号的标准偏差越大，信号对情感反应量度的贡献权重越高。因此，给定信号的标准偏差越低，相应信号对情感反应量度的贡献权重越低。造成这种依赖性的原因基于这样一种假设：特定用户的特定量度的标准偏差反映了不同景物之间个体差异程度。这意味着，具有最大标准偏差的信号具有更大区分能力，对特定用户而言，则具有更多的情感反应。
例如，如果不同的景物引起用户A面部表情的大变化，而皮肤的导电性变化小，则根据面部表情施加于情感类别(DDEC)的独特性量度的权重会大于根据皮肤导电性施加于兴奋程度(DE)的量度权重wDE。另一方面，如果不同景物引起的用户B面部表情变化较小，而引起的皮肤导电性的变化较大，则权重之间的关系会反转过来。关于相应的信号最大值和标准偏差的数据可以从个人用户简档中获取(步骤539)。然后利用此项信息更新个人用户简档。
类似于先前所描述的其它实施例，将所获取的情感反应幅度与在步骤523和538中抽取的既反映情感信息又反映图像信息的重要性的判据进行比较(步骤540)。
如果判据被满足，则图像捕获装置6将相应的图像和反映情感反应幅度的个人情感标签作为图像元数据的一部分存储入包含景物图像的图像文件中(步骤544和546)。或者，可以把表示情感反应幅度的个人情感标签与图像标识符和用户标识符相关联地存入单独的文件中。此外，还可以把关于用户观察某图像(在捕获图像的当时)的数据的信息作为单独一条信息记录在个人情感标签中。
在另一个实施例中，未经加工的皮肤电反应信号和面部图像作为情感信息可以或者连同图像标识符和用户标识符存储在图像捕获装置6上单独的文件中、或者存入个人情感标签中、成为图像元数据的一部分，供稍后些时间选择另外的系统进行分析。例如，可以利用无线调制解调器18(见图1)和因特网服务提供商20把景物图像、面部图像和未经加工的皮肤电反应信号输送到可以执行先前关于步骤532-538所描述的分析的单独的台式计算机(没有画出)或计算机服务器(没有画出)。
利用类似上面图2a和图2b步骤147的方式来识别接收者(步骤547)。在一个实施例中，接收者可以是具有因特网服务提供商20提供的电子邮件地址或万维网网址个人数据库。在另外一个实施例中，接收者可能是健康服务提供者或安全部门。在另外一个实施例中，可能有来自一份清单的多个接收者，包括个人数据库、健康服务提供者、朋友、家庭成员、安全部门等。可以根据对情感信息、图像数据和非图像数据的分析自动选出接收者。在这种情况下，这种决定作为步骤547的一部分可以由如下操作组成：例如，将情感信息值(例如由步骤538的确定的情感幅度)与从接收者清单抽取的每一个接收者的预先规定的相应的阈值作比较。
在另一个实施例中，针对每一个接收者的情感反应幅度规定的阈值是根据个人用户简档(例如，先前累积的用户情感反应的概率分布)自动建立的。在一个实施例中，可以为健康服务提供者选择0.9的累积概率，这样，针对所述情感反应幅度制定的阈值将相当于只有10％的案例会超过的值。
在再一个实施例中，个人情感标签可能包括从一个反应值范围中选出的值、使得各种所捕获的图像之间的情感反应的相对幅度呈现出差异。在不同的实施例中，可以只根据景物图像分析的结果选出接收者或者根据景物信息和情感信息的组合选出接收者，这取决于步骤540中判据形成过程。
使用因特网服务提供商上的通信模块18将相应的图像、个人情感标签和其它图像元数据发送到已被识别的接收者，例如，数字图像的个人数据库(步骤548)。可以利用独立的台式计算机(没有画出)或计算机服务器(没有画出)存储所述图像的个人数据库。
在另一个实施例中，相应的图像、个人情感标签和其它图像元数据及其导出的图像信息被发送到医生或其它健康服务提供者以便对所述用户对特定情况的特定情感反应进行附加的分析。所述相应的图像、个人情感标签和其它图像元数据及其导出的图像信息还可以被发送到许多支撑网络，包括家庭成员。
反馈信息被显示在摄像机的预览屏幕22或通信屏幕21上(步骤550)。所述信息由合适的软件程序自动产生并可能包括所述景物的图像、被确定的情感反应幅度或二者都有。它还可能包含或只包括声音信号、预先录制的话音消息或计算机产生的语言或图像。
在另一个实施例中，反馈可以被发送到医生或多个支撑网络以利于治疗。
如果所获得的情感反应幅度在阈值以下，则面部图像、用户的皮肤电反应和景物图像则被删除(步骤542)。
在另一个实施例中，如果所获得关于所确定的情感的反应幅度在阈值以下，且用户2仍然在、例如在预览屏幕22上、观察同一景物或捕获的所述景物的图像，则图像捕获装置6可以任选地捕获下一幅面部图像，记录皮肤电反应段并重复步骤532到540、以便确定用户2在观察所述景物或捕获的所述景物的图像时、是不是已经改变她的面部表情和皮肤导电反应。
如果所述阈值被设定为零，则被图像捕获装置6记录的所有景物图像和相应的情感信息(情感反应的幅度或在另一个实施例中，未经加工的面部图像和皮肤电反应信号)将永久地被作为情感信息或者与图像标识符和用户标识符一起记录在图像捕获装置6上的单独的文件中、或者作为图像元数据的一部分记录在个人情感标签中。
在另一个实施例中，面部表情、眼睛的特征和生理反应的不同组合可以用来建立个人情感标签，根据广泛的情感类别来对景物进行分类，例如“快乐”、“恐惧”、“愤怒”等。表1给出这样分类的例子。
表1：根据面部表情、眼睛特征和生理反应的情感分类
Figure C20031011993100421
将图2a、2b、3a、3b、4a、5a和5b所描述的信号或其它情感信号(如从语音、EEG，脑扫描、眼睛运动、眼睛图像和其它导出的)作不同的组合可用于建立个人情感标签，以便根据范围更广的情感类别来对景物进行分类。
可以使用这些类别的某范围的值进一步对图像进行分类，例如很高兴、有点高兴、中度和有点悲哀、和很悲哀等。
然后将所确定的用情感分类表示的情感信息作为包含用户标识符的情感标签保存，成为图像元数据的一部分。还可以把所述确定的用情感分类表示的情感信息与图像标识和用户标识符一起存储在计算机上单独的文件中。
可以把用于在图像捕获装置上建立和使用个人情感标签的计算机程序记录在一种或多种存储介质上，例如，磁性存储介质例如磁盘(例如软盘)或磁带；光存储介质例如光盘、光带或机器可读的条形码；固态电子存储装置如随机访问存储器(RAM)，或只读存储器(ROM)；或任何用来存储包括可以实现本发明的方法的指令的计算机程序的其它物理装置或介质。
个人情感标签还可以包括表明情感反应相对幅度的信息。正如先前所讲到的，情感反应的相对幅度可以只根据情感信息来决定。换一种方式，可以把情感和非情感的信息组合起来用于确定情感反应的相对幅度。图像元数据的示例上面已经描述了并包括日期和时间信息、位置信息(例如从全球定位系统GPS或类似的电子定位器所获得的信息)。对图像本身的图像分析还可以用作非情感信息的来源，所述信息可能会影响相对重要性程度。正如先前讲过的那样，景物中特定事物的存在很容易被现行的图像处理和图像理解算法所识别出来。例如，在共同转让的由LUO于1998年12月31日提交的题目为“自动确定照片图像中主题目标的方法”的美国专利No.6,282,317中描述了自动确定照片图像中主要目标的算法。正如先前所讲的LIU等人的文章所描述的那样，使用面部识别算法可以确定景物或特定人群中人的存在，由此可以用来增大情感反应相对幅度。所述算法还可以用来有选择性地处理图像，以便提高图像的质素，强调主题目标，就像LUO等人提交的欧洲专利No.EP1211637所描述的算法那样，以便和选定的人共享所述图像或因为安全保护的原因将所述图像发送到有关的机构。
图7表示本发明的某实施例，其中使用了多个图像捕获装置6，以达到个人安全和健康监护的目的，其工作情况由图1-6表示。从每一台装置获取信息，并通过综合来自多个用户的景物图像情感信息，重组事件的细节和人员的反应。这样，在步骤610和611，用户602和用户603接通他们的图像捕获装置6的电源。
就像先前在图2a和2b中的步骤112-118所描述的那样，用户602和603输入他们的识别数据、配置信号设定值和接收者清单(步骤612和613)。可以使用用户ID和密码作为识别数据。在另一个替换的实施例，使用用户视频摄像机10连同面部识别软件自动确定用户标识符，并提供合适的用户标识符，例如用户的名字、个人识别码或指纹数据等。在另一个供替换的实施例中，利用用户标识符数据将图像捕获装置6预先编程。因此，不需要输入用户标识符数据。
拥有第一个用户602的图像捕获装置6获取事件的图像和所述第一个用户的反应。(步骤614和616)。
在此同时，在步骤625和617，拥有第二个用户603的相似的图像捕获装置6获取所述事件的不同图像和第二个用户的反应。
在步骤618针对第一个用户并且在步骤619针对第二个用户自动进行对所述事件图像的分析。对所述景物的分析是使用类似先前在步骤123所介绍的过程进行的。所述处理过程目的在于识别特定的主题事物，或将景物图像分类，例如分为意外事故、犯罪场景、爆炸等。所述图像可以进一步被分析和使用，以便确定其安全状态或识别涉案人员。景物图像和任何的情感信息还可以不经分析被直接发送到信息处理中心进行此类分析。
用户602和603的反应，例如生理反应(例如，皮肤电反应)、眼睛运动数据(例如定像时间)、或面部表情或他们的组合被用来按照类似图2-图6步骤132-139、232-239、432-439或532-539分析过程进行分析(步骤620和621)。在一个实施例中，所述过程的结果就是综合从用户的面部图像所获得的情感类别的显著性程度和从皮肤电反应信号所确定的兴奋程度来确定情感反映的幅度。在另一个替换的实施例中，用未经加工的信号的形式表现的情感信息被发送到中心站进行分析。
将在为第一用户和第二用户而执行的步骤622和623中的景物分析的结果和对用户反应的分析分别与判据作比较。所述判据可以反映适当的图像数据、与预先规定的阈值相关的情感反应幅度，或这两种类型数据的组合，这类似于先前在图2、3、4、5和6的步骤140、240、340、440或540所分别描述的情形。
如果判据被满足，则个人情感标签、相应的景物图像和非图像数据(例如，数据和GPS信号)被发送到合适的接收者，例如应急处理中心。这件事针对第一用户在步骤624完成，针对第二用户在步骤625完成。所述信息还被发送到个人用户数据库。
从拥有不同用户的图像捕获装置6接收的信息被分析和比较(步骤626)。比较这种信息的方式之一是根据GPS信号来分类。如果来自两个装置的GPS信号表明两个用户处于同一地点，图像数据、情感信息和其它非图像数据被组合起来重构原始事件的“多视图”。所述信息还可以被捆绑在一起供以后调查相关事件时使用。
采取适当的反应(步骤628)。这种反应的例子是派遣警察或救护车到现场。行动的另一个例子是，利用预览屏幕22将反馈信息以可视或话音消息的形式提供给用户。在灾难性事件中，所述反馈信息可能包含引导用户2到达安全地点的信息。
在上面所述的实施例中，已经以数字图像和数字图像捕获系统的形式描述了图像和图像捕获系统。与本发明的原理相一致，景物的图像可以用模拟电子的形式捕获或光学媒质例如照相胶卷或胶片捕获。当图像用这些形式之一捕获时，表示情感信息的数据可以连同相关图像一起被记录，其方式是将情感信息和图像分开记录，用某种识别码标识与所述信息相关的图像。换一种方式，情感信息可以与模拟电子图像相关联地编码和记录。在使用照相胶卷时，情感信息可以用光学或电磁的形式记录在胶卷上。还可以把所述情感信息记录在与胶卷相关联的电子存储器上。
根据本发明，在捕获时采集的、在捕获当时或捕获过程中采集的形式描述情感信息。诸如在这里使用的那样，这些术语涵盖任何图像被组构或被捕获的时间段。这种时间段还可以包括紧接着捕获后的时段，其中所捕获的图像或代表所捕获的图像的图像被用快速审视的方式或预览方式被审视，诸如共同转让的由Fellagara等人在1997年2月20日提交的、题目为“带快速审视最近所捕获的图像功能的电子摄像机”的美国专利No.6,441,854以及共同转让的由Napoli等人在1998年1月20日提交的、题目为“带有快速观察和快速抹除特点的电子摄像机”的美国专利申请No.09/012,144中所描述的那样。

Claims (9)

1.一种图像捕获方法，所述方法包括以下步骤：
捕获可被用户观察的景物图像(120)；
在捕获时采集来自所述用户的情感信息(130)；
基于所述情感信息自动识别所述景物图像的接收者；以及
自动将所述景物图像和所述情感信息发送给选定的图像接收者(148)。
2.如权利要求1所述的方法，其特征在于还包括接收所述图像接收者的反应的步骤。
3.如权利要求1所述的方法，其特征在于：来自所述图像接收者的反应被提供以引出治疗响应，所述治疗响应包括由支撑网络的成员或医生发送的反馈以便于治疗或援助用户。
4.一种图像捕获方法，所述方法包括以下步骤：
捕获景物图像；
在捕获时采集情感信息；
分析所述捕获的图像和所述采集的情感信息以便确定是否满足发送判据；以及
当满足所述判据时将所述景物图像和所述情感信息发送到图像接收者。
5.一种用于获得远程反馈的反应式成像方法，所述方法包括以下步骤：
捕获面对用户的景物的图像；
获得用户标识符；
在捕获时采集情感信息；
使所述情感信息和所述用户标识符与所述图像相关联；
基于所述情感信息自动识别接收者；
将所述捕获的图像、所述情感信息和所述用户标识符发送给接收者；
接收来自所述接收者的包含指导意见的反应；以及
将所述反应提供给所述用户。
6.一种成像系统，它包括：
适合于捕获用户选定的图像的图像捕获系统；
存储所述捕获的图像的存储器；
适合于在捕获时采集来自所述用户的情感信号的一组传感器；
适合于根据所述情感信号确定情感信息并且将所述情感信息与所述捕获的图像相关联的处理器；以及
用以将所述捕获的图像及情感信息发送到识别的接收者的发射机，所述识别的接收者基于所述情感信息被自动选择。
7.一种成像系统，它包括：
用于捕获景物图像的图像捕获装置；
用于在捕获时采集来自用户的情感信息的情感传感器装置；以及
用于将所述景物图像和所述情感信息发送给图像接收者的发送装置，其中所述图像接收者基于所述情感信息被自动选择。
8.一种反应式成像系统，它包括：
至少两个成像装置，每个成像装置包括：
适合于捕获面对用户的景物的图像的图像捕获系统；
存储所述捕获的图像的存储器；
适合于在捕获时获取来自所述用户的情感信号的一组传感器；
处理器，适合于根据来自所述一组传感器的所述信号来确定情感信息以将所述情感信息与所述景物图像相关联，并基于所述情感信息自动识别接收节点；
发射机，用于将所述景物图像和相关联的情感信息发送到识别的接收节点；以及
用于接收所述发送的图像和相关联的情感信息的接收节点，所述接收节点具有用于分析所述发送的图像和情感信息并且根据所述发送的图像和情感信息来确定如何反应的处理器，所述反应包括提供所述发送的图像和情感信息供选定的系统或个人基于所述发送的图像和情感信息进行处理。
9.如权利要求8所述的反应式成像系统，其特征在于：所述一组传感器包括适合于从所述用户的神经所携带的信号采集情感信息的传感器。
CNB2003101199315A 2002-11-25 2003-11-25 用于健康监视和个人安全的成像方法和系统 Expired - Fee Related CN100352255C (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US10/304037 2002-11-25
US10/304,037 US7319780B2 (en) 2002-11-25 2002-11-25 Imaging method and system for health monitoring and personal security

Publications (2)

Publication Number Publication Date
CN1514399A CN1514399A (zh) 2004-07-21
CN100352255C true CN100352255C (zh) 2007-11-28

Family

ID=32325111

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB2003101199315A Expired - Fee Related CN100352255C (zh) 2002-11-25 2003-11-25 用于健康监视和个人安全的成像方法和系统

Country Status (5)

Country Link
US (1) US7319780B2 (zh)
EP (1) EP1445938A1 (zh)
JP (1) JP2004213623A (zh)
CN (1) CN100352255C (zh)
HK (1) HK1066310A1 (zh)

Families Citing this family (189)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7233684B2 (en) * 2002-11-25 2007-06-19 Eastman Kodak Company Imaging method and system using affective information
GB2395853A (en) * 2002-11-29 2004-06-02 Sony Uk Ltd Association of metadata derived from facial images
US7500746B1 (en) 2004-04-15 2009-03-10 Ip Venture, Inc. Eyewear with radiation detection system
US7922321B2 (en) 2003-10-09 2011-04-12 Ipventure, Inc. Eyewear supporting after-market electrical components
US8109629B2 (en) 2003-10-09 2012-02-07 Ipventure, Inc. Eyewear supporting electrical components and apparatus therefor
GB2400667B (en) * 2003-04-15 2006-05-31 Hewlett Packard Development Co Attention detection
US8339462B2 (en) 2008-01-28 2012-12-25 DigitalOptics Corporation Europe Limited Methods and apparatuses for addressing chromatic abberations and purple fringing
US7238156B1 (en) 2003-07-31 2007-07-03 At&T Intellectual Property, Inc. Systems, methods, and devices for health monitoring
US11630331B2 (en) 2003-10-09 2023-04-18 Ingeniospec, Llc Eyewear with touch-sensitive input surface
US11513371B2 (en) 2003-10-09 2022-11-29 Ingeniospec, Llc Eyewear with printed circuit board supporting messages
US7388971B2 (en) * 2003-10-23 2008-06-17 Northrop Grumman Corporation Robust and low cost optical system for sensing stress, emotion and deception in human subjects
US7460737B2 (en) * 2004-02-12 2008-12-02 Hoshiko Llc Method and apparatus for photograph finding
US11829518B1 (en) 2004-07-28 2023-11-28 Ingeniospec, Llc Head-worn device with connection region
US11644693B2 (en) 2004-07-28 2023-05-09 Ingeniospec, Llc Wearable audio system supporting enhanced hearing support
JP2006080644A (ja) * 2004-09-07 2006-03-23 Toshiba Tec Corp カメラ
US11852901B2 (en) 2004-10-12 2023-12-26 Ingeniospec, Llc Wireless headset supporting messages and hearing enhancement
IL165586A0 (en) * 2004-12-06 2006-01-15 Daphna Palti Wasserman Multivariate dynamic biometrics system
US7742079B2 (en) * 2005-02-07 2010-06-22 Sony Corporation Digital camera with automatic functions
JP4588642B2 (ja) * 2005-03-15 2010-12-01 富士フイルム株式会社 アルバム作成装置、アルバム作成方法、及びプログラム
US7826687B2 (en) * 2005-03-18 2010-11-02 The Invention Science Fund I, Llc Including contextual information with a formed expression
US8640959B2 (en) 2005-03-18 2014-02-04 The Invention Science Fund I, Llc Acquisition of a user expression and a context of the expression
US8232979B2 (en) 2005-05-25 2012-07-31 The Invention Science Fund I, Llc Performing an action with respect to hand-formed expression
US8290313B2 (en) 2005-03-18 2012-10-16 The Invention Science Fund I, Llc Electronic acquisition of a hand formed expression and a context of the expression
US8340476B2 (en) 2005-03-18 2012-12-25 The Invention Science Fund I, Llc Electronic acquisition of a hand formed expression and a context of the expression
US7672512B2 (en) 2005-03-18 2010-03-02 Searete Llc Forms for completion with an electronic writing device
US8599174B2 (en) 2005-03-18 2013-12-03 The Invention Science Fund I, Llc Verifying a written expression
US20060212430A1 (en) * 2005-03-18 2006-09-21 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Outputting a saved hand-formed expression
US8229252B2 (en) * 2005-03-18 2012-07-24 The Invention Science Fund I, Llc Electronic association of a user expression and a context of the expression
US7809215B2 (en) 2006-10-11 2010-10-05 The Invention Science Fund I, Llc Contextual information encoded in a formed expression
US7590267B2 (en) * 2005-05-31 2009-09-15 Microsoft Corporation Accelerated face detection based on prior probability of a view
WO2007034442A2 (en) * 2005-09-26 2007-03-29 Koninklijke Philips Electronics N.V. Method and apparatus for analysing an emotional state of a user being provided with content information
US8311294B2 (en) * 2009-09-08 2012-11-13 Facedouble, Inc. Image classification and information retrieval over wireless digital networks and the internet
US11428937B2 (en) * 2005-10-07 2022-08-30 Percept Technologies Enhanced optical and perceptual digital eyewear
US20070081123A1 (en) * 2005-10-07 2007-04-12 Lewis Scott W Digital eyewear
US11733549B2 (en) 2005-10-11 2023-08-22 Ingeniospec, Llc Eyewear having removable temples that support electrical components
EP1793580B1 (en) * 2005-12-05 2016-07-27 Microsoft Technology Licensing, LLC Camera for automatic image capture having plural capture modes with different capture triggers
US8330830B2 (en) * 2006-04-13 2012-12-11 Eastman Kodak Company Camera user input based image value index
ATE543159T1 (de) * 2006-04-28 2012-02-15 Nikon Corp Objektextraktion, objektverfolgung und bildsynthetisierung
US7855743B2 (en) * 2006-09-08 2010-12-21 Sony Corporation Image capturing and displaying apparatus and image capturing and displaying method
JP5023663B2 (ja) * 2006-11-07 2012-09-12 ソニー株式会社 撮像装置、撮像方法
JP4184402B2 (ja) * 2006-11-10 2008-11-19 株式会社 日立コンサルティング 情報処理装置、健康に及ぼす要因を検出する方法、及びプログラム
US20080199079A1 (en) * 2007-02-19 2008-08-21 Seiko Epson Corporation Information Processing Method, Information Processing Apparatus, and Storage Medium Having Program Stored Thereon
JP4367663B2 (ja) * 2007-04-10 2009-11-18 ソニー株式会社 画像処理装置、画像処理方法、プログラム
JP4600435B2 (ja) * 2007-06-13 2010-12-15 ソニー株式会社 画像撮影装置及び画像撮影方法、並びにコンピュータ・プログラム
JP4506795B2 (ja) 2007-08-06 2010-07-21 ソニー株式会社 生体運動情報表示処理装置、生体運動情報処理システム
CN101383900A (zh) * 2007-09-06 2009-03-11 鸿富锦精密工业（深圳）有限公司 摄像方法及摄像装置
US8150807B2 (en) * 2007-10-03 2012-04-03 Eastman Kodak Company Image storage system, device and method
US20090113297A1 (en) * 2007-10-24 2009-04-30 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Requesting a second content based on a user's reaction to a first content
US20090112693A1 (en) * 2007-10-24 2009-04-30 Jung Edward K Y Providing personalized advertising
US20090112694A1 (en) * 2007-10-24 2009-04-30 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Targeted-advertising based on a sensed physiological response by a person to a general advertisement
US9513699B2 (en) * 2007-10-24 2016-12-06 Invention Science Fund I, LL Method of selecting a second content based on a user's reaction to a first content
US20090112696A1 (en) * 2007-10-24 2009-04-30 Jung Edward K Y Method of space-available advertising in a mobile device
US9582805B2 (en) * 2007-10-24 2017-02-28 Invention Science Fund I, Llc Returning a personalized advertisement
JP4919297B2 (ja) * 2008-03-13 2012-04-18 富士フイルム株式会社 画像評価装置および方法並びにプログラム
US8131114B2 (en) * 2008-09-22 2012-03-06 Shutterfly, Inc. Smart photobook creation
KR20100039706A (ko) * 2008-10-08 2010-04-16 삼성전자주식회사 사용자의 반응 분석을 이용한 컨텐츠의 동적 서비스 방법 및 그 장치
US8808195B2 (en) * 2009-01-15 2014-08-19 Po-He Tseng Eye-tracking method and system for screening human diseases
KR101511193B1 (ko) 2009-02-27 2015-04-10 파운데이션 프로덕션, 엘엘씨 헤드셋 기반 원격통신 플랫폼
US10419722B2 (en) 2009-04-28 2019-09-17 Whp Workflow Solutions, Inc. Correlated media source management and response control
US10565065B2 (en) 2009-04-28 2020-02-18 Getac Technology Corporation Data backup and transfer across multiple cloud computing providers
US8311983B2 (en) 2009-04-28 2012-11-13 Whp Workflow Solutions, Llc Correlated media for distributed sources
US9760573B2 (en) 2009-04-28 2017-09-12 Whp Workflow Solutions, Llc Situational awareness
US20110013034A1 (en) * 2009-07-15 2011-01-20 Mediatek Inc. Method for operating digital camera and digital camera using the same
US8326002B2 (en) * 2009-08-13 2012-12-04 Sensory Logic, Inc. Methods of facial coding scoring for optimally identifying consumers' responses to arrive at effective, incisive, actionable conclusions
US8467133B2 (en) 2010-02-28 2013-06-18 Osterhout Group, Inc. See-through display with an optical assembly including a wedge-shaped illumination system
US9366862B2 (en) 2010-02-28 2016-06-14 Microsoft Technology Licensing, Llc System and method for delivering content to a group of see-through near eye display eyepieces
US9097890B2 (en) 2010-02-28 2015-08-04 Microsoft Technology Licensing, Llc Grating in a light transmissive illumination system for see-through near-eye display glasses
US9091851B2 (en) 2010-02-28 2015-07-28 Microsoft Technology Licensing, Llc Light control in head mounted displays
US20150309316A1 (en) 2011-04-06 2015-10-29 Microsoft Technology Licensing, Llc Ar glasses with predictive control of external device based on event input
US20120249797A1 (en) 2010-02-28 2012-10-04 Osterhout Group, Inc. Head-worn adaptive display
US9129295B2 (en) 2010-02-28 2015-09-08 Microsoft Technology Licensing, Llc See-through near-eye display glasses with a fast response photochromic film system for quick transition from dark to clear
US9134534B2 (en) 2010-02-28 2015-09-15 Microsoft Technology Licensing, Llc See-through near-eye display glasses including a modular image source
US9097891B2 (en) 2010-02-28 2015-08-04 Microsoft Technology Licensing, Llc See-through near-eye display glasses including an auto-brightness control for the display brightness based on the brightness in the environment
US9128281B2 (en) 2010-09-14 2015-09-08 Microsoft Technology Licensing, Llc Eyepiece with uniformly illuminated reflective display
US8488246B2 (en) 2010-02-28 2013-07-16 Osterhout Group, Inc. See-through near-eye display glasses including a curved polarizing film in the image source, a partially reflective, partially transmitting optical element and an optically flat film
US8472120B2 (en) 2010-02-28 2013-06-25 Osterhout Group, Inc. See-through near-eye display glasses with a small scale image source
US9759917B2 (en) 2010-02-28 2017-09-12 Microsoft Technology Licensing, Llc AR glasses with event and sensor triggered AR eyepiece interface to external devices
WO2011106797A1 (en) 2010-02-28 2011-09-01 Osterhout Group, Inc. Projection triggering through an external marker in an augmented reality eyepiece
US8477425B2 (en) 2010-02-28 2013-07-02 Osterhout Group, Inc. See-through near-eye display glasses including a partially reflective, partially transmitting optical element
US9229227B2 (en) 2010-02-28 2016-01-05 Microsoft Technology Licensing, Llc See-through near-eye display glasses with a light transmissive wedge shaped illumination system
US9341843B2 (en) 2010-02-28 2016-05-17 Microsoft Technology Licensing, Llc See-through near-eye display glasses with a small scale image source
US9182596B2 (en) 2010-02-28 2015-11-10 Microsoft Technology Licensing, Llc See-through near-eye display glasses with the optical assembly including absorptive polarizers or anti-reflective coatings to reduce stray light
US10180572B2 (en) 2010-02-28 2019-01-15 Microsoft Technology Licensing, Llc AR glasses with event and user action control of external applications
US8482859B2 (en) 2010-02-28 2013-07-09 Osterhout Group, Inc. See-through near-eye display glasses wherein image light is transmitted to and reflected from an optically flat film
US9223134B2 (en) 2010-02-28 2015-12-29 Microsoft Technology Licensing, Llc Optical imperfections in a light transmissive illumination system for see-through near-eye display glasses
US9285589B2 (en) 2010-02-28 2016-03-15 Microsoft Technology Licensing, Llc AR glasses with event and sensor triggered control of AR eyepiece applications
US20130245396A1 (en) * 2010-06-07 2013-09-19 Affectiva, Inc. Mental state analysis using wearable-camera devices
US9247903B2 (en) 2010-06-07 2016-02-02 Affectiva, Inc. Using affect within a gaming context
US8446461B2 (en) * 2010-07-23 2013-05-21 Superd Co. Ltd. Three-dimensional (3D) display method and system
US8184983B1 (en) 2010-11-12 2012-05-22 Google Inc. Wireless directional identification and subsequent communication between wearable electronic devices
CN102479291A (zh) 2010-11-30 2012-05-30 国际商业机器公司 情感描述生成与体验方法和设备以及情感交互系统
JP5617697B2 (ja) * 2011-03-04 2014-11-05 株式会社ニコン 電子機器、画像表示システム及び画像選択方法
US9013264B2 (en) 2011-03-12 2015-04-21 Perceptive Devices, Llc Multipurpose controller for electronic devices, facial expressions management and drowsiness detection
US8430310B1 (en) 2011-05-24 2013-04-30 Google Inc. Wireless directional identification and verification using wearable electronic devices
EP2735137A4 (en) * 2011-07-22 2015-05-13 Hewlett Packard Development Co VISUAL MEDIA ON A RING BUFFER
US20130038756A1 (en) * 2011-08-08 2013-02-14 Samsung Electronics Co., Ltd. Life-logging and memory sharing
US20130331981A1 (en) * 2012-06-12 2013-12-12 Elwha LLC, a limited liability company of the State of Delaware Substrate Structure Deposition Treatment System And Method For Ingestible Product System And Method
US10121218B2 (en) 2012-06-12 2018-11-06 Elwha Llc Substrate structure injection treatment system and method for ingestible product system and method
US20130330451A1 (en) 2012-06-12 2013-12-12 Elwha LLC, a limited liability company of the State of Delaware Substrate Structure Duct Treatment System and Method for Ingestible Product System and Method
US9922576B2 (en) 2011-08-26 2018-03-20 Elwha Llc Ingestion intelligence acquisition system and method for ingestible material preparation system and method
US9785985B2 (en) 2011-08-26 2017-10-10 Elwha Llc Selection information system and method for ingestible product preparation system and method
US9240028B2 (en) 2011-08-26 2016-01-19 Elwha Llc Reporting system and method for ingestible product preparation system and method
US9947167B2 (en) 2011-08-26 2018-04-17 Elwha Llc Treatment system and method for ingestible product dispensing system and method
US10026336B2 (en) 2011-08-26 2018-07-17 Elwha Llc Refuse intelligence acquisition system and method for ingestible product preparation system and method
US10192037B2 (en) 2011-08-26 2019-01-29 Elwah LLC Reporting system and method for ingestible product preparation system and method
US9111256B2 (en) 2011-08-26 2015-08-18 Elwha Llc Selection information system and method for ingestible product preparation system and method
US20130054255A1 (en) 2011-08-26 2013-02-28 Elwha LLC, a limited liability company of the State of Delaware Controlled substance authorization and method for ingestible product preparation system and method
US9997006B2 (en) 2011-08-26 2018-06-12 Elwha Llc Treatment system and method for ingestible product dispensing system and method
US10284776B2 (en) * 2011-11-07 2019-05-07 Sony Interactive Entertainment Inc. Image generation apparatus and image generation method
US8941561B1 (en) * 2012-01-06 2015-01-27 Google Inc. Image capture
US8712126B2 (en) * 2012-03-12 2014-04-29 Xerox Corporation Web-based system and method for video analysis
US20130346920A1 (en) * 2012-06-20 2013-12-26 Margaret E. Morris Multi-sensorial emotional expression
US8396265B1 (en) * 2012-06-26 2013-03-12 Google Inc. Facial recognition
US20140046922A1 (en) * 2012-08-08 2014-02-13 Microsoft Corporation Search user interface using outward physical expressions
US9607025B2 (en) * 2012-09-24 2017-03-28 Andrew L. DiRienzo Multi-component profiling systems and methods
US9317173B2 (en) * 2012-11-02 2016-04-19 Sony Corporation Method and system for providing content based on location data
US9265458B2 (en) 2012-12-04 2016-02-23 Sync-Think, Inc. Application of smooth pursuit cognitive testing paradigms to clinical drug development
US9380976B2 (en) 2013-03-11 2016-07-05 Sync-Think, Inc. Optical neuroinformatics
US10042186B2 (en) 2013-03-15 2018-08-07 Ipventure, Inc. Electronic eyewear and display
JP6132335B2 (ja) * 2013-03-15 2017-05-24 Ｎｅｃソリューションイノベータ株式会社 感情推定装置及び感情推定方法
US10758177B2 (en) 2013-05-31 2020-09-01 Cochlear Limited Clinical fitting assistance using software analysis of stimuli
US20140378859A1 (en) * 2013-06-25 2014-12-25 Alexander Taratorin Method of Multichannel Galvanic Skin Response Detection for Improving Measurement Accuracy and Noise/Artifact Rejection
JP6435595B2 (ja) * 2013-08-05 2018-12-12 カシオ計算機株式会社 トレーニング支援システム、サーバー、端末、カメラ、方法並びにプログラム
US9594807B2 (en) * 2013-08-06 2017-03-14 Intel Corporation Emotion-related query processing
CN103414720A (zh) * 2013-08-19 2013-11-27 苏州跨界软件科技有限公司 交互式3d语音服务方法
TWI615798B (zh) * 2013-12-17 2018-02-21 動聯國際股份有限公司 基於物聯網的健康照護系統
US20150228119A1 (en) 2014-02-11 2015-08-13 Osterhout Group, Inc. Spatial location presentation in head worn computing
US9766463B2 (en) 2014-01-21 2017-09-19 Osterhout Group, Inc. See-through computer display systems
US9753288B2 (en) 2014-01-21 2017-09-05 Osterhout Group, Inc. See-through computer display systems
US9794475B1 (en) * 2014-01-29 2017-10-17 Google Inc. Augmented video capture
US9807291B1 (en) 2014-01-29 2017-10-31 Google Inc. Augmented video processing
WO2015148607A1 (en) * 2014-03-25 2015-10-01 Intelligent Technologies International, Inc. Secure testing system and method
EP3591577A1 (en) * 2014-05-22 2020-01-08 Sony Corporation Information processing apparatus, information processing method, and program
US10074003B2 (en) * 2014-07-11 2018-09-11 Intel Corporation Dynamic control for data capture
US9479672B2 (en) 2014-07-18 2016-10-25 Sony Mobile Communications Inc. Method and system for efficient transfer of digital images captured by a lifelog camera
US10540907B2 (en) 2014-07-31 2020-01-21 Intelligent Technologies International, Inc. Biometric identification headpiece system for test taking
WO2016044996A1 (zh) * 2014-09-23 2016-03-31 王铭 一种家用监控系统
CN104305561B (zh) * 2014-09-30 2015-11-18 肖南 情感可穿戴系统及情感的判断方法
US9792957B2 (en) 2014-10-08 2017-10-17 JBF Interlude 2009 LTD Systems and methods for dynamic video bookmarking
US10438106B2 (en) 2014-11-04 2019-10-08 Intellignet Technologies International, Inc. Smartcard
US9563825B2 (en) 2014-11-20 2017-02-07 Adobe Systems Incorporated Convolutional neural network using a binarized convolution layer
US9418319B2 (en) * 2014-11-21 2016-08-16 Adobe Systems Incorporated Object detection using cascaded convolutional neural networks
US20160239985A1 (en) * 2015-02-17 2016-08-18 Osterhout Group, Inc. See-through computer display systems
US10878775B2 (en) 2015-02-17 2020-12-29 Mentor Acquisition One, Llc See-through computer display systems
JP2016163166A (ja) 2015-03-02 2016-09-05 株式会社リコー 通信端末、面談システム、表示方法及びプログラム
WO2016143800A1 (ja) * 2015-03-09 2016-09-15 株式会社 東芝 サービス提供システム、サービス提供装置及びデータ構築方法
JP2016189556A (ja) * 2015-03-30 2016-11-04 株式会社リコー 面談管理システム、面談システム、面談管理方法及びプログラム
US10438215B2 (en) 2015-04-10 2019-10-08 International Business Machines Corporation System for observing and analyzing customer opinion
CA2986144A1 (en) * 2015-05-20 2016-11-24 Magic Leap, Inc. Tilt shift iris imaging
US10460765B2 (en) 2015-08-26 2019-10-29 JBF Interlude 2009 LTD Systems and methods for adaptive and responsive video
JP6915542B2 (ja) * 2015-09-30 2021-08-04 日本電気株式会社 情報処理装置、通知システム、情報送信方法及びプログラム
WO2017065315A1 (ja) * 2015-10-15 2017-04-20 ダイキン工業株式会社 運転者状態判定装置及び運転者状態判定方法
US10229324B2 (en) 2015-12-24 2019-03-12 Intel Corporation Video summarization using semantic information
US10678958B2 (en) 2015-12-28 2020-06-09 Intelligent Technologies International, Inc. Intrusion-protected memory component
US10591728B2 (en) 2016-03-02 2020-03-17 Mentor Acquisition One, Llc Optical systems for head-worn computers
US10667981B2 (en) 2016-02-29 2020-06-02 Mentor Acquisition One, Llc Reading assistance system for visually impaired
US10127945B2 (en) * 2016-03-15 2018-11-13 Google Llc Visualization of image themes based on image content
US11856271B2 (en) 2016-04-12 2023-12-26 JBF Interlude 2009 LTD Symbiotic interactive video
US10154191B2 (en) * 2016-05-18 2018-12-11 Microsoft Technology Licensing, Llc Emotional/cognitive state-triggered recording
US10762429B2 (en) 2016-05-18 2020-09-01 Microsoft Technology Licensing, Llc Emotional/cognitive state presentation
JP7026056B2 (ja) * 2016-06-28 2022-02-25 インテル・コーポレーション ジェスチャ埋め込みビデオ
US10163314B2 (en) * 2016-07-06 2018-12-25 At&T Intellectual Property I, L.P. Programmable devices to generate alerts based upon detection of physical objects
CN106247199A (zh) * 2016-07-30 2016-12-21 杨超坤 一种具有情感识别功能的灯光系统
US10642893B2 (en) 2016-09-05 2020-05-05 Google Llc Generating theme-based videos
JP6814068B2 (ja) * 2017-02-20 2021-01-13 株式会社東海理化電機製作所 生体状態推定装置
CN106897711A (zh) * 2017-03-13 2017-06-27 歌尔股份有限公司 健康状态监控的方法、设备
CN107016852B (zh) * 2017-04-25 2023-01-24 上海亦源智能科技有限公司 具有防胁迫的智能停车出入控制系统及方法
US20180330152A1 (en) * 2017-05-11 2018-11-15 Kodak Alaris Inc. Method for identifying, ordering, and presenting images according to expressions
CN110998566B (zh) * 2017-06-30 2024-04-12 交互数字Vc控股公司 基于眼睛跟踪和生理测量而生成和显示360度视频的方法和装置
WO2019032706A1 (en) * 2017-08-10 2019-02-14 Riaan Conradie USER VERIFICATION BY COMPARISON OF PHYSIOLOGICAL SENSOR DATA WITH PHYSIOLOGICAL DATA DERIVED FROM FACIAL VIDEO
US20190272466A1 (en) * 2018-03-02 2019-09-05 University Of Southern California Expert-driven, technology-facilitated intervention system for improving interpersonal relationships
CN110301117B (zh) * 2017-11-24 2022-10-21 微软技术许可有限责任公司 用于在会话中提供响应的方法和装置
JP7034808B2 (ja) * 2018-04-03 2022-03-14 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 情報処理方法、情報処理装置及び情報処理システム
US10777048B2 (en) 2018-04-12 2020-09-15 Ipventure, Inc. Methods and apparatus regarding electronic eyewear applicable for seniors
US11601721B2 (en) * 2018-06-04 2023-03-07 JBF Interlude 2009 LTD Interactive video dynamic adaptation and user profiling
CN110796829A (zh) * 2018-08-02 2020-02-14 深圳云天励飞技术有限公司 一种安全防护方法、设备及计算机可读存储介质
CN109508640A (zh) * 2018-10-12 2019-03-22 咪咕文化科技有限公司 一种人群情感分析方法、装置和存储介质
KR20210027396A (ko) * 2019-02-25 2021-03-10 가부시키가이샤 큐빗 로보틱스 정보 처리 시스템 및 정보 처리 방법
JP7405138B2 (ja) * 2019-03-29 2023-12-26 ソニーグループ株式会社 電子機器および撮像システム
CN111797857A (zh) * 2019-04-09 2020-10-20 Oppo广东移动通信有限公司 数据处理方法、装置、存储介质及电子设备
CN110555970A (zh) * 2019-09-03 2019-12-10 亳州职业技术学院 一种基于图像识别的语音导游系统
US11601693B2 (en) 2019-09-30 2023-03-07 Kyndryl, Inc. Automatic adaptation of digital content
CN111144363B (zh) * 2019-12-31 2023-02-28 北京理工大学 一种基于场景和物体信息的第一视角下的行为识别方法
US11792500B2 (en) * 2020-03-18 2023-10-17 Snap Inc. Eyewear determining facial expressions using muscle sensors
US11568680B2 (en) * 2020-04-27 2023-01-31 David K. Pederson Therapeutic smile detection systems
JP7031913B1 (ja) 2021-04-14 2022-03-08 陽介 大岩 管理サーバ
US11882337B2 (en) 2021-05-28 2024-01-23 JBF Interlude 2009 LTD Automated platform for generating interactive videos
WO2023037714A1 (en) * 2021-09-10 2023-03-16 Sony Group Corporation Information processing system, information processing method and computer program product
US11934477B2 (en) 2021-09-24 2024-03-19 JBF Interlude 2009 LTD Video player integration within websites

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0467094A2 (en) * 1990-06-21 1992-01-22 Fujitsu Limited Telemetry monitoring method and device therefor for transmitting information by means of asynchronous transfer mode technique in broadband ISDN
US6003991A (en) * 1996-02-17 1999-12-21 Erik Scott Viirre Eye examination apparatus and method for remote examination of a patient by a health professional
EP1220530A2 (en) * 2000-12-28 2002-07-03 Nokia Corporation Displaying an image
US20020101619A1 (en) * 2001-01-31 2002-08-01 Hisayoshi Tsubaki Image recording method and system, image transmitting method, and image recording apparatus

Family Cites Families (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2912376B2 (ja) * 1989-02-09 1999-06-28 株式会社日立製作所 プラント監視装置
US5164831A (en) * 1990-03-15 1992-11-17 Eastman Kodak Company Electronic still camera providing multi-format storage of full and reduced resolution images
JPH0498979A (ja) * 1990-08-17 1992-03-31 Fuji Photo Film Co Ltd ビデオカメラ
JPH0778239A (ja) * 1993-09-08 1995-03-20 Mitsubishi Heavy Ind Ltd プラントの異常監視装置
JPH07226911A (ja) * 1994-02-15 1995-08-22 Eastman Kodak Japan Kk 電子スチルカメラ
JPH07261279A (ja) * 1994-02-25 1995-10-13 Eastman Kodak Co 写真画像の選択システム及び方法
US5477264A (en) * 1994-03-29 1995-12-19 Eastman Kodak Company Electronic imaging system using a removable software-enhanced storage device
US5791692A (en) * 1995-05-31 1998-08-11 Eastman Kodak Company Dual sided photographic album leaf and method of making
JP3493847B2 (ja) * 1995-11-15 2004-02-03 株式会社日立製作所 広域医療情報システム
US6205716B1 (en) * 1995-12-04 2001-03-27 Diane P. Peltz Modular video conference enclosure
US5760917A (en) * 1996-09-16 1998-06-02 Eastman Kodak Company Image distribution method and system
US5742233A (en) * 1997-01-21 1998-04-21 Hoffman Resources, Llc Personal security and tracking system
US7460911B2 (en) * 1997-02-26 2008-12-02 Alfred E. Mann Foundation For Scientific Research System and method suitable for treatment of a patient with a neurological deficit by sequentially stimulating neural pathways using a system of discrete implantable medical devices
US6282317B1 (en) * 1998-12-31 2001-08-28 Eastman Kodak Company Method for automatic determination of main subjects in photographic images
US6287252B1 (en) * 1999-06-30 2001-09-11 Monitrak Patient monitor
US6294993B1 (en) * 1999-07-06 2001-09-25 Gregory A. Calaman System for providing personal security via event detection
JP3459202B2 (ja) * 1999-07-23 2003-10-20 松下電器産業株式会社 行動判定装置、ケアシステム、ケア住宅およびプログラム記録媒体
AU7780600A (en) 1999-10-01 2001-05-10 Glaxo Group Limited Patient data monitoring system
US6282231B1 (en) * 1999-12-14 2001-08-28 Sirf Technology, Inc. Strong signal cancellation to enhance processing of weak spread spectrum signal
US6893396B2 (en) * 2000-03-01 2005-05-17 I-Medik, Inc. Wireless internet bio-telemetry monitoring system and interface
AU2001244428A1 (en) 2000-03-23 2001-10-03 Mitsubishi Chemical Corporation Personalized health profiling system and method
JP4291963B2 (ja) * 2000-04-13 2009-07-08 富士フイルム株式会社 画像処理方法
US6996256B2 (en) * 2000-06-08 2006-02-07 Honeywell International Inc. Detection system and method using thermal image analysis
US6438323B1 (en) * 2000-06-15 2002-08-20 Eastman Kodak Company Camera film loading with delayed culling of defective cameras
JP2002007568A (ja) * 2000-06-27 2002-01-11 Kaihatsu Komonshitsu:Kk 診断システム、診断データ生成方法、それに用いられる情報処理装置、及び端末装置、並びに記録媒体
EP1323116A4 (en) * 2000-08-23 2009-02-18 Philadelphia Opthalmologic Ima ARRANGEMENTS AND METHODS FOR TELE-OPHTHALMOLOGY
US6608615B1 (en) * 2000-09-19 2003-08-19 Intel Corporation Passive gaze-driven browsing
WO2002025633A1 (fr) * 2000-09-20 2002-03-28 Kaori Tsuruta Procede/systeme de reproduction d'images, procede/systeme de mise en forme d'images, album electronique, et systeme de creation/d'emission/de distribution pour un tel album
FR2814629B1 (fr) * 2000-09-25 2003-01-03 France Telecom Terminal modulaire de service medical a domicile
AU2002211822A1 (en) 2000-09-29 2002-04-08 Lifelink, Inc. System and method for wireless communication of sensed data to a central server
US6697502B2 (en) * 2000-12-14 2004-02-24 Eastman Kodak Company Image processing method for detecting human figures in a digital image
JP3822796B2 (ja) * 2001-02-08 2006-09-20 シャープ株式会社 情報処理装置、情報処理プログラムおよび記録媒体
JP2002330370A (ja) * 2001-05-02 2002-11-15 Tryforce International:Kk 映像配信装置、映像配信方法および映像配信システム
US20030058111A1 (en) * 2001-09-27 2003-03-27 Koninklijke Philips Electronics N.V. Computer vision based elderly care monitoring system
US6585521B1 (en) * 2001-12-21 2003-07-01 Hewlett-Packard Development Company, L.P. Video indexing based on viewers' behavior and emotion feedback
US6926429B2 (en) * 2002-01-30 2005-08-09 Delphi Technologies, Inc. Eye tracking/HUD system
JP2003280785A (ja) * 2002-03-26 2003-10-02 Sony Corp 画像表示処理装置、および画像表示処理方法、並びにコンピュータ・プログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0467094A2 (en) * 1990-06-21 1992-01-22 Fujitsu Limited Telemetry monitoring method and device therefor for transmitting information by means of asynchronous transfer mode technique in broadband ISDN
US6003991A (en) * 1996-02-17 1999-12-21 Erik Scott Viirre Eye examination apparatus and method for remote examination of a patient by a health professional
EP1220530A2 (en) * 2000-12-28 2002-07-03 Nokia Corporation Displaying an image
US20020101619A1 (en) * 2001-01-31 2002-08-01 Hisayoshi Tsubaki Image recording method and system, image transmitting method, and image recording apparatus

Also Published As

Publication number Publication date
US7319780B2 (en) 2008-01-15
US20040101178A1 (en) 2004-05-27
HK1066310A1 (en) 2005-03-18
JP2004213623A (ja) 2004-07-29
CN1514399A (zh) 2004-07-21
EP1445938A1 (en) 2004-08-11

Similar Documents

Publication Publication Date Title
CN100352255C (zh) 用于健康监视和个人安全的成像方法和系统
CN100430934C (zh) 成像方法与系统
US10055771B2 (en) Electronic personal companion
US9122742B2 (en) Generating deportment and comportment cohorts
US7003139B2 (en) Method for using facial expression to determine affective information in an imaging system
US20030156304A1 (en) Method for providing affective information in an imaging system
CN110691550A (zh) 对感知体验进行测量的系统和方法
CN110084089A (zh) 用于分析图像和提供反馈的可佩戴设备和方法
US20220301002A1 (en) Information processing system, communication device, control method, and storage medium
WO2017064891A1 (ja) 情報処理システム、情報処理方法、および記憶媒体
JP6952257B2 (ja) コンテンツ提示のための情報処理装置、情報処理装置の制御方法、及び制御プログラム
KR20180017821A (ko) 실시간 시청자 반응을 전달하는 방송 서비스 장치
JP2020091736A (ja) プログラム、情報処理装置及び情報処理方法
US20190020614A1 (en) Life log utilization system, life log utilization method, and recording medium
JP2005124909A (ja) 感情情報提示方法、感情情報表示装置及び情報コンテンツの検索方法
KR20140032651A (ko) 감성 피드백 서비스 방법 및 이를 적용한 스마트 디바이스
KR102285482B1 (ko) 생체 정보의 기계 학습 분석에 기반하여 컨텐츠를 제공하기 위한 방법 및 장치
JP2020091824A (ja) プログラム、情報処理装置及び情報処理方法
Shanthi et al. An integrated approach for mental health assessment using emotion analysis and scales
CA3050456C (en) Facial modelling and matching systems and methods
Palazzi et al. Spotting prejudice with nonverbal behaviours
JP6758351B2 (ja) 画像管理システムおよび画像管理方法
WO2022181080A1 (ja) 傾向判定装置、反射体付き表示装置、傾向表示システム装置、傾向判定方法、表示処理方法、傾向表示方法、プログラム及び記録媒体
WO2020079820A1 (ja) 働き甲斐指標化システム、働き甲斐指標化方法及びプログラム
CN114268693A (zh) 视频数据处理方法、装置、设备及介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1066310

Country of ref document: HK

C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
REG Reference to a national code

Ref country code: HK

Ref legal event code: GR

Ref document number: 1066310

Country of ref document: HK

ASS Succession or assignment of patent right

Owner name: GAOZHI 83 FOUNDATION LLC

Free format text: FORMER OWNER: EASTMAN KODAK COMPANY (US) 343 STATE STREET, ROCHESTER, NEW YORK

Effective date: 20130409

C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20130409

Address after: Nevada, USA

Patentee after: Gaozhi 83 Foundation Co.,Ltd.

Address before: American New York

Patentee before: Eastman Kodak Co.

TR01 Transfer of patent right

Effective date of registration: 20180521

Address after: Texas, USA

Patentee after: Mau new gate Venture Capital Co., Ltd.

Address before: Nevada, USA

Patentee before: Gaozhi 83 Foundation Co.,Ltd.

TR01 Transfer of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20071128

Termination date: 20191125

CF01 Termination of patent right due to non-payment of annual fee