CN100409234C - 图像检索配送系统和图像检索配送方法 - Google Patents

图像检索配送系统和图像检索配送方法 Download PDF

Info

Publication number
CN100409234C
CN100409234C CNB008193657A CN00819365A CN100409234C CN 100409234 C CN100409234 C CN 100409234C CN B008193657 A CNB008193657 A CN B008193657A CN 00819365 A CN00819365 A CN 00819365A CN 100409234 C CN100409234 C CN 100409234C
Authority
CN
China
Prior art keywords
retrieval
image
mentioned
result
end message
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CNB008193657A
Other languages
English (en)
Other versions
CN1451127A (zh
Inventor
守屋芳美
西川博文
山田悦久
小川文伸
浅井光太郎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Publication of CN1451127A publication Critical patent/CN1451127A/zh
Application granted granted Critical
Publication of CN100409234C publication Critical patent/CN100409234C/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5838—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/48—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/56—Information retrieval; Database structures therefor; File system structures therefor of still image data having vectorial format
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5854—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using shape and object relationship
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5862—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/73—Querying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/73—Querying
    • G06F16/732—Query formulation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/94—Hardware or software architectures specially adapted for image or video understanding
    • G06V10/95—Hardware or software architectures specially adapted for image or video understanding structured as a network, e.g. client-server architectures
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S707/00—Data processing: database and file management or data structures
    • Y10S707/912—Applications of a database
    • Y10S707/913—Multimedia
    • Y10S707/915—Image
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S707/00—Data processing: database and file management or data structures
    • Y10S707/99931—Database or file accessing
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S707/00—Data processing: database and file management or data structures
    • Y10S707/99931—Database or file accessing
    • Y10S707/99937—Sorting

Abstract

一种图像检索配送系统和图像检索配送方法，根据用户输入的检索条件，从将包含动画及静止画面的图像和描述其特征的特征记述符一起登录的数据库中检索特征记述符，得到符合检索条件的检索结果，根据从接收检索结果的用户终端得到的配送条件对检索结果进行编辑处理。

Description

图像检索配送系统和图像检索配送方法
技术领域
本发明涉及从模拟或数字记录的映象、静止画面等图像数据中抽出特征量或格式信息，并利用抽出的特征量进行图像数据的检索，与配送检索结果的图像数据的用户终端的处理能力对应进行格式变换后再配送的图像检索配送系统和图像检索配送方法。
背景技术
作为以往的网上图像检索配送系统，例如有‘以网络型多媒体信息的媒介为目标的公开型图像数据库GIRLS’(信学技报HI7-6 1996年)记载的系统。该系统是从网上信息提供系统WWW(全球网)收集分散在因特网上的图像信息，自动构成数据库并从构成的数据库中检索所要的图像的系统。
首先，说明WWW。在WWW中，利用由HTML(超文本语言)写成的超文本文件(以下称作HTML文件)来表示文本。此外，该HTML与其它HTML文件和图像数据的链接信息由称之为URL(通用资源定位器)的网络地址来描述。若指定该URL，则可以根据称之为HTTP(超文本传送协议)的协议对位于该网络地址上的信息进行非同步传送。
这里，若返回上述先有的的图像检索配送系统的说明，先有的的系统由数据库构成部和数据库检索部构成。首先，数据库构成部从某一URL开始按顺序追踪链接信息来收集信息并自动建立数据库。具体地说，使用HTTP向数据库构成部传送与URL对应的HTML文件的图像数据。因此，数据库构成部分析HTML文件的图像数据，提取图像和与其它HTML文件的链接。其次，数据库构成部对取得的图像进行图像处理，抽出特征量，从图像的URL记载的HTML文件中抽出辅助信息。这里，上述辅助信息例如是指图像的URL等。由数据库构成部将这样抽出的图像的特征、辅助信息和图像数据的缩小图像登录到数据库中。
此外，数据库检索部根据上述登录到数据库的图像的特征，检索与用户要求相近的图像数据。这样检索出来的图像数据变换成HTML文件后，用户就可以使用WWW浏览器进行阅读。
象以上那样构成的先有的图像检索配送系统，因配送检索结果的图像数据的客户侧终端是连接到因特网上的PC机或工作站等，具有大致相同的处理能力，所以，若只用某一定的格式就输不出检索结果的图像数据。因此，存在处理能力低的终端不能使用图像检索配送系统的问题。
本发明是鉴于上述问题而提出的，其目的在于得到一种图像检索配送系统和图像检索配送方法，通过使用与各种无线网络等、进而与各种终端(例如，便携式电话、电视电话、或PC机(个人计算机)等)的处理能力对应的格式，可以配送检索结果的图像数据。
发明的公开
本发明的图像检索配送系统具有：将包含动画及静止画面的至少一者图像和描述其特征的特征记述符一起登录的数据库；根据用户输入的检索条件检索已登录到数据库的一个以上特征记述符并得到符合检索条件的检索结果的图像检索装置；根据从接收检索结果的用户终端侧得到的配送条件对检索结果进行编辑处理的内容附加服务装置。于是，因与用户终端侧的配送条件对应对检索结果的输出形态或输出图像的格式进行编辑处理，故能够利用处理能力不同的各种终端容易地显示检索结果。
本发明的图像检索配送系统的特征在于：内容附加服务装置具有取得作为配送条件的用户终端的终端信息的终端信息取得装置。因与用户终端的处理能力对应对检索结果的输出形态或输出图像的格式进行编辑处理，故能够利用处理能力不同的各种终端容易地显示检索结果。
本发明的图像检索配送系统的特征在于：内容附加服务装置根据用户指定的配送条件生成与用户终端可接收的检索结果有关的数据并在检索结果之前向用户终端发送。能够很容易地从各种检索结果的图像中检索用户所要的图像。
本发明的图像检索配送系统具有：抽出输入图像的特征量和格式信息并生成一个以上特征记述符的内容记述元数据生成装置；将该内容记述元数据生成装置生成的一个以上特征记述符和输入图像登录到数据库的数据存储装置。于是，能够作成具有一个以上特征记述符的数据库，该特征记述符能够很容易地对从处理能力不同的各种终端得到的配送条件进行比较。
本发明的图像检索配送系统，其内容附加服务装置具有变换检索结果的图像的图像格式和输出形式使其符合用户终端的终端信息的变换装置、不发送不符合终端信息的检索结果的过滤装置、和将不符合终端信息的检索结果替换成符合终端信息的其它替代数据的替换装置中的至少1个装置。所以，能够利用处理能力不同的各种终端很容易地显示检索结果。
本发明的图像检索配送系统，其内容附加服务装置在根据用户终端的终端信息对检索结果进行编辑处理时，将编辑处理之前的检索结果发送给用户预先指定的其它终端。所以，能够利用处理能力不同的各种终端很容易地显示检索结果。
本发明的图像检索配送系统，其内容附加服务装置根据检索结果的图像的著作权信息和(或)颁布条件生成与用户终端可接收的检索结果有关的数据，所以，能够很容易地从各种检索结果的图像中检索用户所要的图像。
本发明的图像检索配送系统具有：将包含动画及静止画面的至少一者图像和描述其特征的一个以上特征记述符一起登录的数据库；根据用户输入的检索条件检索已登录到数据库的一个以上特征记述符并得到符合检索条件的检索结果的图像检索装置；向用户终端发送检索结果和与其相关的一个以上特征记述符的输出控制装置；设在用户终端，对从输出控制装置发送的一个以上特征记述符进行分析并决定是否接收检索结果的内容记述元数据分析装置。所以，因用户能对记述检索结果的图像的特征或格式的元数据进行分析判别，故能够利用处理能力不同的各种终端很容易地显示检索结果。
本发明的图像检索配送方法具有：根据用户输入的检索条件检索已登录到数据库的图像的一个以上特征记述符并得到符合检索条件的检索结果的图像检索步骤；根据从接收检索结果的用户终端侧得到的配送条件对检索结果进行编辑处理的内容附加服务步骤。所以，因与用户终端侧的配送条件对应对检索结果的输出形态或输出图像的格式进行编辑处理，故能够利用处理能力不同的各种终端很容易地显示检索结果。
本发明的图像检索配送方法的特征在于：在内容附加服务步骤中，取得作为配送条件的用户终端的终端信息。所以，因与用户终端的处理能力对应对检索结果的输出形态或输出图像的格式进行编辑处理，故能够利用处理能力不同的各种终端容易地显示检索结果。
本发明的图像检索配送方法的特征在于：在内容附加服务步骤中，根据用户指定的配送条件生成与用户终端可接收的检索结果有关的数据并在检索结果之前向用户终端发送。所以，能够很容易地从各种检索结果的图像中检索用户所要的图像。
本发明的图像检索配送方法具有：当输入图像时，抽出该图像的特征量和格式信息并生成一个以上特征记述符的内容记述元数据生成步骤；将在该内容记述元数据生成步骤生成的一个以上特征记述符和输入图像登录到数据库的数据存储步骤。于是，能够作成具有特征记述符的数据库，该特征记述符能够很容易地对从处理能力不同的各种终端得到的配送条件进行比较。
本发明的图像检索配送方法，其内容附加服务步骤具有变换检索结果的图像的图像格式和输出形式使其符合用户终端的终端信息的变换步骤、不发送不符合终端信息的检索结果的过滤步骤、和将不符合终端信息的检索结果替换成符合终端信息的其它替代数据的替换步骤中的至少1个步骤。所以，能够利用处理能力不同的各种终端很容易地显示检索结果。
本发明的图像检索配送方法，其内容附加服务步骤在根据用户终端的终端信息对检索结果进行编辑处理时，将编辑处理之前的检索结果发送给用户预先指定的其它终端。所以，能够利用处理能力不同的各种终端很容易地显示检索结果。
本发明的图像检索配送方法，在内容附加服务步骤中，根据检索结果的图像的著作权信息和(或)颁布条件生成与用户终端可接收的检索结果有关的数据，所以，能够很容易地从各种检索结果的图像中检索用户所要的图像。
本发明的图像检索配送方法具有：根据用户输入的检索条件检索已登录到数据库的一个以上特征记述符并得到符合检索条件的检索结果的图像检索步骤；向用户终端发送检索结果和与其相关的一个以上特征记述符的输出控制步骤；在用户终端侧对在该输出控制步骤发送的一个以上特征记述符进行分析并决定是否接收检索结果的内容记述元数据分析步骤。所以，因用户能对记述检索结果的图像的特征或格式的元数据进行分析判别，故能够利用处理能力不同的各种终端很容易地显示检索结果。
附图的简单说明
图1是表示本发明的图像检索配送系统的整体构成的图。
图2是表示本发明实施形态1的图像检索配送系统的服务器的构成的图。
图3是表示本发明实施形态1的图像检索配送系统的的输入数据登录部的数据库登录动作的流程图。
图4是表示本发明实施形态1的图像检索配送系统的图像检索配送部的处理动作的流程图。
图5是表示本发明实施形态1的图像检索配送系统的客户侧终端的检索结果显示例的图。
图6是表示本发明实施形态1的图像检索配送系统使用的客户侧终端的构成例的图。
图7是表示本发明实施形态6的图像检索配送系统的客户构成的图。
实施发明的最佳形态
下面，为了更详细地说明本发明，根据附图说明实施本发明的最佳形态。
实施形态1.
图1是表示本发明的图像检索配送系统的整体构成的图。如图所示，利用图像检索配送系统配送检索结果的图像数据的客户是PC机、便携式电话、便携式信息终端或数字电视等处理能力不同的各种终端，用户可以通过它们来使用图像检索配送系统。各种客户侧终端分别访问不同的网络。例如，某一PC机直接与IP地址的网络连接，别的PC机通过ISDN等现有的电话线与因特网连接(IMT-2000等)。数字电视与专用电缆、陆地或卫星电视广播网连接。
图2是表示本发明实施形态1的图像检索配送系统的服务器的构成的图。图中，1是接收输入图像并将其登录到数据库的输入数据登录部。由输入控制部2和内容记述元数据生成部3构成。2是接收输入图像的输入控制部，3是对从输入控制部2来的输入图像进行图像处理后抽出特征量并生成描述特征量的元数据的内容记述元数据生成部。4是存储内容记述元数据生成部记述的元数据或输入图像的作为数据库的数据存储部，5是从数据存储部4中检索符合用户要求的图像数据并向用户使用的终端配送检索结果的图像数据的图像检索配送部，6是接收从用户使用的终端输出的检索要求的输入控制部，7是使用记述了特征量等的元数据从数据存储部4中检索符合用户要求的图像数据的图像检索部，8是取得用户使用的接收终端的信息的终端信息取得部，9是进行将图像检索部7的图像数据的检索结果变换成适合于用户使用的终端的处理能力的信息等附加服务的内容附加服务部，10是向用户的接收终端配送从图像检索部7和内容附加服务部9输出的检索结果的图像数据的输出控制部。
其次，详述动作。
首先，详述输入数据登录部的处理动作。
图3是表示本发明实施形态1的图像检索配送系统的输入数据登录部的将新的输入图像登录到数据库的动作的流程图。这里，新的输入图像有经网络从客户侧的终端发送来的情况和直接输入到具有输入数据登录部的服务器的情况。作为经网络从客户侧的终端发送来的情况，例如，可以考虑将带有照相机的便携式电话摄取的图像或通过图像邮件接收的图像登录到服务器等情况。这样，输入控制部2具有经网络接收图像的接口和直接输入的接口。
在步骤ST1中，输入控制部2接收新登录的输入图像，并将其输出给内容记述元数据生成部3。
内容记述元数据生成部3在输入图像时，对该输入图像进行图像处理，抽出特征量(步骤ST2)。这里，作为抽出的特征量，例如有输入图像的颜色、结构、活动或形状等。该特征量的抽出也可以使用能抽出上述那样的输入图像的特征量的先有的图像特征抽出技术。
其后，内容记述元数据生成部3抽出记述有输入图像的特征的关键字或对输入图像附加的信息(步骤ST3)。这里，作为抽出的附加信息，例如有与输入图像的编码形式(MPEG-1、MPEG-2、MPEG-4、JPEG等)、位速率、帧速率、分辨率和文件大小等输入图像的格式有关的信息、与输入图像的著作权有关的信息或与输入图像的内容的颁布条件(有偿或无偿)等有关的信息。
其次，内容记述元数据生成部3按照预先定义的格式记述已抽出的输入图像的特征量和附加信息，再生成内容记述元数据(特征记述符)(步骤ST4)。
最后，内容记述元数据生成部3将输入图像和在步骤ST44生成的内容记述元数据存储在数据存储部4中(步骤ST5)。由此，可以将新的输入图像登录到数据存储部4的数据库中。
其次，详述图像检索配送部5的处理动作。
图4是表示本发明实施形态1的图像检索配送系统的图像检索配送部的处理动作的流程图。
首先，输入控制部6经网络接收用户对图像检索的要求和检索条件(步骤ST10)，并将用户的检索条件输出给图像检索部7。这里，作为用户指定的检索条件，例如，有直截了当地表示应检索的图像的关键字、记述有应检索的图像的特征量的元数据或样品图像。
图像检索部7判定从输入控制部6输入的检索条件是不是样品图像，若不是样品图像则进入步骤ST13，进行与数据存储部4的元数据的匹配处理，若是样品图像则进入步骤ST12，进行样品图像的特征量的抽出动作(步骤ST11)。
在步骤ST11中，若检索条件是样品图像，则图像检索部7抽出样品图像的颜色、结构、活动或形状等特征量，并生成描述这些特征量的元数据(步骤ST12)。
其后，图像检索部7进行检索条件的关键字或特征量与包含在数据存储部4中的内容记述元数据记述的关键字或特征量的匹配处理，得到用户要求的图像数据的检索结果(步骤ST13)。
其次，终端信息取得部8取得接收检索结果的图像数据的用户终端信息(步骤ST14)。该终端信息在用户发送检索条件时同时发送，经输入控制部6由图像检索配送部5取得。此外，若是具有用户登录功能的服务器，也可以在用户登录时，用户预先登录自己的终端信息，检索时，在检索时，图像检索配送部5取得服务器登录的终端信息。
终端信息取得部8在取得终端信息时，将其输出给内容附加服务部9。内容附加服务部9在接收到用户终端信息时，判定用户终端是否能够接收步骤ST13得到的检索结果的图像数据，若能接收，则进入步骤ST17，进行将检索结果的图像数据发送给用户终端的处理，若不能接收，则进入步骤ST16，进行检索结果的图像数据的变换处理(步骤ST16)。这样，用户终端的终端信息作为用来配送检索结果的配送条件来利用。
若在步骤ST15中判定用户终端能接收检索结果的图像数据，则内容附加服务部9控制图像检索部7，经输出控制部10将检索结果的图像数据发送给用户终端(步骤ST17)。
此外，若在步骤ST15中判定用户终端不能接收检索结果的图像数据，则图像检索部7将检索结果的图像数据输出给内容附加服务部9。内容附加服务部9一旦接收检索结果的图像数据，则与用户终端的处理能力或网络形态对应变换其输出形式(步骤ST16)。
这里，举出具体例子来详细说明该实施形态1的图像检索配送部5的动作。例如，当为了按照数字摄像机等拍摄的鱼的图像去查找该鱼的名称和生态而访问具有多媒体图谱的服务器并进行检索时，该检索所用的检索条件就是拍摄的鱼的图像。当使用便携式电话发送该拍摄的鱼的图像并用便携式电话接收该检索结果时，将作为输入图像的鱼的图像变换成可用便携式电话收发的数据格式(MPEG-4等)再发送。作为输入图像的鱼的图像经输入控制部6输入到图像检索部7。图像检索部7从作为输入图像的鱼的图像中抽出鱼的形状、颜色、活动或结构等特征量。对抽出的特征量进行和数据存储部4存储的记述在内容记述元数据中的特征量的符合比较处理，得到具有类似特征的鱼的图像数据。
图5是表示实施形态1的图像检索配送系统使用的客户侧终端的检索结果图像数据的显示例的图，(a)表示客户侧终端是PC机的情况，(b)表示客户侧终端是是便携式电话的情况。如图5(a)所示，当向PC机等具有足够的图像显示处理能力的终端发送图像数据时，只要发送由具有与输入图像类似的特征的多个鱼的图像(检索结果1的图像、检索结果2的图像、检索结果3的图像)和与该鱼有关的数据(例如，与鱼的名称、生态有关的文本信息)构成的图像数据即可。
另一方面，如图5(b)所示，当向便携式电话等显示画面小或下载很多信息时功能上的负荷大的终端发送图像数据时，发送只由与鱼有关的数据(文本信息)和向该鱼的图像链接的信息(保持有鱼的图像的服务器的地址信息)构成的图像数据，只在用户选择了鱼的图像时才能下载进行显示(在图5(b)的例子中，只在按压了‘图像显示按钮’时，才能根据链接信息下载检索结果的图像数据)。
此外，内容附加服务部9对发送的图像进行格式变换等处理，变换成适合于接收终端的处理能力的格式。例如，在上述具有多媒体图谱的服务器中，假定图像的编码方式是MPEG-1，分辨率是352×240个象素。这时，当便携式电话能接收的编码方式是MPEG-4、画面的显示尺寸是176×144个象素时，内容附加服务部9在变换图像的编码方式的同时，进行分辨率的变换，变换成便携式电话能接收的图像格式。
这里，以编码方式和分辨率为例进行了说明，但作为内容附加服务部9变换的格式，除上述之外，还有位速率、帧速率等。
此外，当用户终端下载的内容(图像数据)的文件大小例如比用户设定的上限还大时，进行只发送一部分内容等处理。
这样一来，内容附加服务部9变换的内容经输出控制部10向用户发送。
再有，上述实施形态1叙述的输入数据登录部1和图像检索配送部5也可以在不同的服务器中。此外，如上所述，也可以不用输入数据登录部1作成内容记述元数据，而将由内容制作者个别作成的内容记述元数据和图像一起登录。进而，也可以由内容制作者作成记述图像的特征量的元数据，由配送内容的服务器作成记述颁布条件等的元数据。
其次，说明客户侧终端。
图6是表示本发明实施形态1的图像检索配送系统使用的客户侧终端的构成例的图。图中，11是用户输入检索条件的检索条件输入部，12是从照相机等取入图像的图像输入部，13是以能向网络发送的形式对图像输入部12取入的图像进行编码的内容编码部。14是从图像输入部12取入的图像中抽出特征量并生成记述了已抽出的特征量的元数据的内容记述元数据生成部，15是将记述用户输入的检索条件、输入图像或输入图像的特征量的元数据向服务器发送的输出控制部，16是接收来自服务器的检索结果的输入控制部，17是显示检索结果的检索结果显示部。
其次，说明各部的处理。
以将样品图像作为检索条件给出再检索与样品图像类似的图像的情况为例进行说明。
图像输入部12取入用户用照相机等拍摄的图像作为样品图像。当将取入的图像发送给服务器时，图像输入部12将输入图像输出给内容编码部13。内容编码部13以能向网络发送的形式对输入图像进行编码。例如，当发送端利用便携式电话通过无线发送时，以MPEG-4编码方式对输入图像进行编码。已编码的图像经输出控制部15发送给服务器。
此外，当取入的图像不直接发送给服务器而在客户侧抽出特征量再将记述该特征量的元数据发送给服务器时，图像输入部12向内容记述元数据生成部14输出输入图像。内容记述元数据生成部14抽出输入图像的特征量并生成记述该特征量的元数据。这样一来，记述生成的特征量的元数据经输出控制部15发送给服务器。
当用户将关键字等文本数据库的检索条件输入给检索条件输入部11时，检索条件输入部11经输出控制部15向服务器发送检索条件。
由此，服务器进行检索再向客户发送的检索结果经输入控制部16接收后在检索结果显示部17中进行显示。
再有，当样品图像的特征量由别的终端抽出时，也可以向检索条件输入部11输入记述了特征量的元数据。
此外，当在服务器侧抽出输入图像的特征量再生成记述该特征量的元数据时，也可以省略内容记述元数据生成部14。
进而，图像输入部12、内容编码部13和内容记述元数据生成部14也可以不进行与发送终端(服务器)的处理能力对应的处理。
如上所述，若按照该实施形态1，因对于客户的检索要求服务器侧可以与接收终端的处理能力对应变换检索结果的输出形态和输出图像的格式，故能够很容易地利用处理能力不同的各种终端来显示检索结果。
实施形态2.
在上述实施形态1中，示出了当用户终端不能显示检索结果时，为了使用户终端能够显示，内容附加服务部变换输出图像的格式后再输出的例子，该实施形态2是内容附加服务部将用户终端不能显示的检索结果从输出结果中排除的例子。
该实施形态2中的图像检索配送系统基本上具有和上述实施形态1相同的构成，但图像检索部7和内容附加服务部9的动作不同。因此，需要说明图像检索部7和内容附加服务部9的动作。
例如，考虑向便携式电话发送检索结果的图像数据的情况。这里，假设便携式电话能接收的图像的编码方式是MPEG-4(这里，假使在发送检索要求的同时向服务器侧发送作为配送条件的终端信息)。图像检索部7和上述实施形态1一样，根据用户的检索条件检索数据存储部4的图像数据，作为该结果，将由内容和记述了该内容的附加信息的元数据构成的图像数据输出给内容附加服务部9。当内容附加服务部9收到上述图像数据时，分析记述了附加信息的元数据，只抽出内容的编码方式是MPEG-4的图像数据。已抽出的检索结果的图像数据经输出控制部10发送给客户侧用户终端。
对于排除在检索结果之外的内容，因内容的编码方式与接收终端的处理能力不适应，故当附加信息有说明该内容的文本信息等，也可以代替图像而发送该文本信息。
上面，以编码方式为例进行了说明，但对其它的图像格式也一样。
如上所述，若按照该实施形态2，因在服务器侧排除了接收终端对客户的检索要求不能接收的检索结果，或发送文本信息等的替代内容，故能够利用处理能力不同的各种终端，很容易地显示检索结果。
实施形态3.
在上述实施形态1或上述实施形态2中，示出了当图像检索部7的检索结果的内容是客户的接收终端不能显示的格式时，利用内容附加服务部进行格式变换，或者从发送的检索结果中排除或发送文本信息等替代内容的例子，该实施形态3是内容附加服务部具有向用户指定的别的终端发送检索结果的内容的功能的例子。
该实施形态3中的图像检索配送系统基本上具有和上述实施形态1相同的构成，但内容附加服务部9的动作不同。因此，需要说明该内容附加服务部的动作。
例如，为了使服务器内容附加服务部9向便携式电话发送检索结果的内容，假设将编码形式是MPEG-2的服务器的内容变换成MPEG-4再发送。这时，内容服务部9还同时向能接收原来的MPEG-2的内容的用户指定的终端(例如，PC终端等)发送上述MPEG-2的内容。此外，也可以由用户指定是否向能接收原来的MPEG-2的内容的终端进行发送。
如上所述，若按照该实施形态3，对于接收终端对客户的检索要求不能接收的检索结果，当在服务器侧进行变换、排除或发送替代内容时，因能够向由用户指定的终端发送原来检索结果的内容，故能够利用处理能力不同的各种终端，很容易地显示检索结果。
实施形态4.
在上述实施形态1或上述实施形态2中，示出了当图像检索部7的检索结果的内容是客户的接收终端不能显示的格式时，利用内容附加服务部进行格式变换，或者从发送的检索结果中排除或发送文本信息等替代内容的例子，该实施形态4是当用户不能接收图像检索部7的检索结果的内容时可以选择替代处理、预先对每一个内容决定替代处理或由服务器指定代替处理的例子。
说明其概要。首先，在当用户不能接收图像检索部7的检索结果的内容时可以选择替代处理的情况下，例如，在发送图像检索部7的检索结果之前，由内容附加服务部9生成记述了将替代处理作为选择对象的文本信息，并经输出控制部10向用户终端发送与该文本信息和上述实施形态1示出的检索结果的图像有关的内容记述元数据。由此，用户根据内容记述元数据判断不能接收检索结果的图像数据，并从记述了替代处理的项目的文本信息中选择所要的处理。
其次，在预先对每一个内容决定替代处理的情况下，例如，内容制作者将与内容的编码形式或文件大小等对应对每一个内容记述了替代处理的信息作为内容记述元数据存储在数据存储部4中。由此，上述内容附加服务部9根据与数据存储部4存储的上述内容的替代处理有关的信息进行替代处理。
在由服务器指定替处理的情况下，例如，将替代处理存储在某服务器的数据存储部4中，若用户在对该服务器进行检索要求时不能接收检索结果，内容附加服务部9进行上述替代处理。
再有，对于在用户指定时选择的替代处理，当用户终端或服务器存在用户区时，也可以保存在用户区中，以便反映其后的检索的保存条件。由此，可以进行符合用户爱好的检索。此外，对于用户指定的其它检索条件也一样。
如上所述，若按照该实施形态4，因可以对用户、服务器或每一个内容指定在用户接收终端不能接收检索结果时的替代处理，故可以进行能反映用户、服务器或内容制作者的意图的检索。
实施形态5.
在该实施形态5中，当内容记述元数据记述内容的著作权信息或颁布条件(有偿或无偿)等时，进行使用了这些信息的检索和配送。
该实施形态5的图像检索配送系统的服务器和客户的构成和图、图6一样，因内容附加服务部9的处理动作不同，故详细说明该内容附加服务9的处理。
例如，当用户指定‘只检索没有著作权要求的无偿的内容’的条件时，内容附加服务部9对图像检索部7的检索结果，分析附随在检索结果的内容上的内容记述元数据，只抽出没有著作权要求的无偿的内容。抽出的内容经输出控制部10发送给用户。
此外，在检索有偿内容时，作为检索结果，不是配送内容本身，而是发送相当于内容广告的内容。这里，所谓相当于内容广告的内容是指例如当内容是‘电影’时，象‘电影预告’那样汇集一些典型的镜头的内容。这些内容经输出控制部10发送给用户终端，若用户看到广告的内容而决定购买，则向服务器发出购买指示，就可以接收内容。这时，用户也可以指定接收广告内容的终端和接收购入的内容的终端。例如，用便携式电话接收广告内容，用用户指定的PC终端接收购入的内容。
如上所述，若按照该实施形态5，因可以使用附随在内容上的内容记述元数据记述的著作权信息或颁布条件进行检索，故能够容易地从各种内容中检索用户所要的内容。
实施形态6.
在上述实施形态1到4中，示出了在服务器侧分析附随在内容上内容记述元数据，与用户的检索条件和接收终端的处理能力对应，进行内容的格式变换和检索结果的滤波的例子，该实施形态6是在服务器侧发送内容和内容记述元数据，在客户侧进行内容记述元数据的分析，对超过接收终端的能力或不符合用户检索条件的内容，在客户侧进行不接收等的处理的例子。
图7是表示本发明实施形态6的图像检索配送系统的客户构成的图。图中，18是进行内容记述元数据的分析的内容记述元数据分析部。再有，对和图6相同的构成要素附加同一符号并省略重复说明。
其次说明概要。
客户的用户终端从服务器接收记述了检索结果的内容的特征等的内容记述元数据。接收的内容记述元数据输入到内容记述元数据分析部18，检查检索结果的内容的格式等。当这些格式是用户终端能接收的格式时，客户侧的用户终端向服务器发出内容发送请求，并进行内容的接收，当用户终端不能接收时，不进行内容的接收。
再有，当用户终端不能接收时，也可以和上述实施形态4一样，用户选择替代处理。
如上所述，若按照该实施形态6，因客户通过对内容的特征和记述了格式的元数据进行分析，可以判别能否在客户终端接收内容，故可以使用处理能力不同的各种终端，很容易地显示检索结果。
工业上应用的可能性
如上所述，本发明的图像检索配送系统和图像检索配送方法可以通过无线等各种网络，进而使用与各种终端(例如，便携式电话、电视电话或PC机(个人计算机)等)的处理能力对应的格式，配送检索结果的图像数据。

Claims (12)

1. 一种图像检索配送系统，其特征在于，具有：
内容记述元数据生成装置，将从包含动画及静止画面的图象抽出的特征量、和与输入图像有关的附加信息抽出、并从它们生成特征记述符；
数据库，将上述输入图像和从上述输入图像抽出的特征记述符相对应而登录；
接收包括表示所要检索的图像的关键字、记述图像的特征量的元数据和样本图像之中至少一种的检索条件的装置；
在接收了上述检索条件之中的样本图像时，从样本图像抽出特征量、生成特征记述符的装置；
图像检索装置，根据用户输入的检索条件或样本图像生成的特征记述符、检索已登录到上述数据库的特征记述符，并从登录在上述数据库中的多个图像之中，检索具有符合检索条件的特征的一个以上图像；
终端信息取得装置，取得用户终端的终端信息作为发送检索结果到用户终端时的配送条件；
内容附加服务装置，根据取得的配送条件，对上述检索结果进行编辑处理，生成用户终端能够接收的数据。
2. 权利要求1记载的图像检索配送系统，其特征在于：上述内容附加服务装置具有变换检索结果的图像的图像格式和输出形式使其符合用户终端的终端信息的变换装置、不发送不符合终端信息的检索结果的过滤装置、和将不符合终端信息的检索结果替换成符合终端信息的其它替代数据的替换装置中的至少1个装置。
3. 权利要求1记载的图像检索配送系统，其特征在于：上述内容附加服务装置在根据用户终端的终端信息对检索结果进行编辑处理时，将编辑处理之前的检索结果发送给用户预先指定的其它终端。
4. 权利要求1记载的图像检索配送系统，其特征在于：
上述内容附加服务装置具有多个对不符合用户终端的终端信息的检索结果作编辑处理的编辑装置；
上述多个编辑装置能够从请求图像检索侧、进行图像检索侧、和在上述数据库中登录图像的内容供应侧之中任一个适当选择。
5. 权利要求1记载的图像检索配送系统，其特征在于：
特征量包括输入图像的颜色、组织、移动和形状之中至少一种。
6. 权利要求1记载的图像检索配送系统，其特征在于：
附加信息包括与包含检索结果的图像的编码方式、位速率、帧速率、分辨率和文件大小的输入图像的格式有关的信息、与输入图像的著作权有关的信息、和输入图像的接受条件之中至少一种。
7. 一种图像检索配送方法，其特征在于，具有：
内容记述元数据生成步骤，将从包含动画及静止画面的图象抽出的特征量、和与输入图像有关的附加信息抽出、并从它们生成特征记述符；
登录步骤，使上述输入图像和从上述输入图像抽出的特征记述符对应并登录在数据库；
接收步骤，接收包括表示所要检索的图像的关键字、记述图像的特征量的元数据和样本图像之中至少一种的检索条件；
生成步骤，在接收了上述检索条件之中的样本图像时，从样本图像抽出特征量、生成特征记述符；
图像检索步骤，根据用户输入的检索条件检索已登录到上述数据库的特征记述符，并从登录在上述数据库中的多个图像之中，检索具有符合检索条件的特征的一个以上图像；
终端信息取得步骤，取得用户终端的终端信息作为发送检索结果到用户终端时的配送条件；
内容附加服务步骤，根据取得的配送条件，对上述检索结果进行编辑处理，生成用户终端能够接收的数据。
8. 权利要求7记载的图像检索配送方法，其特征在于：上述内容附加服务步骤具有变换检索结果的图像的图像格式和输出形式使其符合用户终端的终端信息的变换步骤、不发送不符合终端信息的检索结果的过滤步骤、和将不符合终端信息的检索结果替换成符合终端信息的其它替代数据的替换步骤中的至少1个步骤。
9. 权利要求7记载的图像检索配送方法，其特征在于：上述内容附加服务步骤在根据用户终端的终端信息对检索结果进行编辑处理时，将编辑处理之前的检索结果发送给用户预先指定的其它终端。
10. 权利要求7记载的图像检索配送方法，其特征在于：
上述内容附加服务步骤具有多个对不符合用户终端的终端信息的检索结果作编辑处理的编辑步骤；
上述多个编辑步骤能够从请求图像检索侧、进行图像检索侧、和在上述数据库中登录图像的内容供应侧之中任一个适当选择。
11. 一种图像检索配送系统，其特征在于：具有
数据库，将各个包含动画和静止画面的多个图像、与图像的特征记述符一起登录；
接收包括表示所要检索的图像的关键字、记述图像的特征量的元数据和样本图像之中至少一种的检索条件的装置；
在接收了上述检索条件之中的样本图像时，从样本图像抽出特征量、生成特征记述符的装置；
图像检索装置，根据用户输入的上述检索条件、检索在上述数据库中登录的一个特征记述符，取得符合上述检索条件的检索结果；和
内容附加服务装置，根据从接收上述检索结果的用户终端侧得到的检索条件、对上述检索结果作编辑处理；
上述内容附加服务装置具有
终端信息取得装置，取得上述用户终端的终端信息作为配送条件；和
多个编辑装置，对不符合上述用户终端的上述终端信息的上述检索结果分别作编辑处理；上述多个编辑装置能够从请求图像检索侧、进行图像检索侧、和在上述数据库中登录图像的内容供应侧之中任一个适当选择；
并具有
将图像格式和上述检索结果的图像的输出形式变换为符合上述用户终端的上述终端信息的形式的变换装置；
不发送不符合上述终端信息的检索结果的过滤装置，和
将不符合上述终端信息的检索结果与符合上述终端信息的代替数据替换的替换装置之中的至少一个。
12. 一种图像检索配送系统，其特征在于：具有
数据库，将各个包含动画和静止画面的多个图像、与图像的特征记述符一起登录；
接收包括表示所要检索的图像的关键字、记述图像的特征量的元数据和样本图像之中至少一种的检索条件的装置；
在接收了上述检索条件之中的样本图像时，从样本图像抽出特征量、生成特征记述符的装置；
图像检索装置，根据用户输入的上述检索条件、检索在上述数据库中登录的一个特征记述符，取得符合上述检索条件的检索结果；和
内容附加服务装置，根据从接收上述检索结果的用户终端侧得到的配送条件、对上述检索结果作编辑处理；
上述内容附加服务装置具有
终端信息取得装置，取得上述用户终端的终端信息作为配送条件；
并具有
将上述检索结果的图像的图像格式和输出格式变换为符合上述用户终端的上述终端信息的格式的变换装置；
不发送不符合上述检索信息的上述检索结果的过滤装置，和
将不符合上述终端信息的检索结果与符合上述终端信息的代替数据替换的替换装置之中的至少一个；
上述图像格式包括检索结果、位速率、帧速率、分辨率、和文件大小中的至少一个的编码方法。
CNB008193657A 2000-03-23 2000-03-23 图像检索配送系统和图像检索配送方法 Expired - Fee Related CN100409234C (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2000/001789 WO2001071558A1 (fr) 2000-03-23 2000-03-23 Systeme et procede d'extraction/de distribution d'images

Publications (2)

Publication Number Publication Date
CN1451127A CN1451127A (zh) 2003-10-22
CN100409234C true CN100409234C (zh) 2008-08-06

Family

ID=11735821

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB008193657A Expired - Fee Related CN100409234C (zh) 2000-03-23 2000-03-23 图像检索配送系统和图像检索配送方法

Country Status (6)

Country Link
US (1) US7031965B1 (zh)
EP (1) EP1267275A4 (zh)
KR (1) KR100523684B1 (zh)
CN (1) CN100409234C (zh)
AU (1) AU2000233265A1 (zh)
WO (1) WO2001071558A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11132411B2 (en) 2016-08-31 2021-09-28 Advanced New Technologies Co., Ltd. Search information processing method and apparatus

Families Citing this family (93)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001357008A (ja) 2000-06-14 2001-12-26 Mitsubishi Electric Corp コンテンツ検索配信装置およびコンテンツ検索配信方法
EP1172741A3 (en) * 2000-07-13 2004-09-01 Sony Corporation On-demand image delivery server, image resource database, client terminal, and method of displaying retrieval result
JP2002132663A (ja) * 2000-10-20 2002-05-10 Nec Corp 情報通信システムとその通信方法、及び通信プログラムを記録した記録媒体
WO2002042968A1 (fr) * 2000-11-27 2002-05-30 Matsushita Electric Industrial Co., Ltd. Procede et systeme permettant de fournir des informations, appareil d'enregistrement / reproduction et support d'enregistrement
US7253919B2 (en) 2000-11-30 2007-08-07 Ricoh Co., Ltd. Printer with embedded retrieval and publishing interface
JP2002202985A (ja) * 2000-12-28 2002-07-19 Pioneer Electronic Corp Ａｖ情報配信装置及び配信方法、ａｖ情報検索装置及び検索方法、ａｖ情報配信検索システム並びに情報記録媒体
US7093277B2 (en) * 2001-05-30 2006-08-15 Digeo, Inc. System and method for improved multi-stream multimedia transmission and processing
US7269303B2 (en) * 2001-06-04 2007-09-11 Hewlett-Packard Development Company, L.P. Remote digital image enhancement system and method
EP1309181A1 (en) * 2001-11-06 2003-05-07 Thomson Licensing S.A. Device, method and system for multimedia content adaption
US7747655B2 (en) * 2001-11-19 2010-06-29 Ricoh Co. Ltd. Printable representations for time-based media
US7314994B2 (en) * 2001-11-19 2008-01-01 Ricoh Company, Ltd. Music processing printer
US7424129B2 (en) * 2001-11-19 2008-09-09 Ricoh Company, Ltd Printing system with embedded audio/video content recognition and processing
US7415670B2 (en) * 2001-11-19 2008-08-19 Ricoh Co., Ltd. Printer with audio/video localization
US7861169B2 (en) * 2001-11-19 2010-12-28 Ricoh Co. Ltd. Multimedia print driver dialog interfaces
FR2832887B1 (fr) * 2001-11-28 2005-09-16 Medialive Methode pour acceder aux courriers electroniques video et multimedia
JP2003209783A (ja) * 2002-01-15 2003-07-25 Canon Inc ファイル送信装置およびファイル送信方法
JP2003308277A (ja) * 2002-04-17 2003-10-31 Sony Corp 端末装置、データ送信装置、データ送受信システム及びデータ送受信方法
JP2004234613A (ja) * 2002-12-02 2004-08-19 Nec Corp 映像記述システムおよび方法、映像識別システムおよび方法
JP4336813B2 (ja) * 2002-12-06 2009-09-30 日本電気株式会社 画像記述システムおよび方法
JP3941700B2 (ja) * 2003-01-28 2007-07-04 ソニー株式会社 情報処理装置、および情報処理方法、並びにコンピュータ・プログラム
US7536638B2 (en) * 2003-03-31 2009-05-19 Ricoh Co., Ltd. Action stickers for identifying and processing stored documents
US7703002B2 (en) * 2003-03-31 2010-04-20 Ricoh Company, Ltd. Method and apparatus for composing multimedia documents
US7757162B2 (en) * 2003-03-31 2010-07-13 Ricoh Co. Ltd. Document collection manipulation
US7509569B2 (en) * 2003-03-31 2009-03-24 Ricoh Co., Ltd. Action stickers for nested collections
US7739583B2 (en) 2003-03-31 2010-06-15 Ricoh Company, Ltd. Multimedia document sharing method and apparatus
WO2004095794A1 (en) * 2003-04-23 2004-11-04 Telecom Italia S.P.A. A client-server system and method thereof for providing multimedia and interactive services to mobile terminals
US7275159B2 (en) * 2003-08-11 2007-09-25 Ricoh Company, Ltd. Multimedia output device having embedded encryption functionality
US7573593B2 (en) * 2003-09-25 2009-08-11 Ricoh Company, Ltd. Printer with hardware and software interfaces for media devices
US7440126B2 (en) * 2003-09-25 2008-10-21 Ricoh Co., Ltd Printer with document-triggered processing
US7528976B2 (en) * 2003-09-25 2009-05-05 Ricoh Co., Ltd. Stand alone printer with hardware/software interfaces for sharing multimedia processing
US7528977B2 (en) * 2003-09-25 2009-05-05 Ricoh Co., Ltd. Printer with hardware and software interfaces for peripheral devices
US7511846B2 (en) * 2003-09-25 2009-03-31 Ricoh Co., Ltd. Printer having embedded functionality for printing time-based media
US7864352B2 (en) * 2003-09-25 2011-01-04 Ricoh Co. Ltd. Printer with multimedia server
US20050071763A1 (en) * 2003-09-25 2005-03-31 Hart Peter E. Stand alone multimedia printer capable of sharing media processing tasks
US20050068573A1 (en) * 2003-09-25 2005-03-31 Hart Peter E. Networked printing system having embedded functionality for printing time-based media
JP2005108230A (ja) * 2003-09-25 2005-04-21 Ricoh Co Ltd オーディオ／ビデオコンテンツ認識・処理機能内蔵印刷システム
US8077341B2 (en) * 2003-09-25 2011-12-13 Ricoh Co., Ltd. Printer with audio or video receiver, recorder, and real-time content-based processing logic
US7570380B2 (en) * 2003-09-25 2009-08-04 Ricoh Company, Ltd. Printer user interface
US7508535B2 (en) * 2003-09-25 2009-03-24 Ricoh Co., Ltd. Stand alone multimedia printer with user interface for allocating processing
US7505163B2 (en) * 2003-09-25 2009-03-17 Ricoh Co., Ltd. User interface for networked printer
US20050071746A1 (en) * 2003-09-25 2005-03-31 Hart Peter E. Networked printer with hardware and software interfaces for peripheral devices
US7603615B2 (en) * 2004-03-30 2009-10-13 Ricoh Co., Ltd. Multimedia projector-printer
US8274666B2 (en) * 2004-03-30 2012-09-25 Ricoh Co., Ltd. Projector/printer for displaying or printing of documents
KR101200453B1 (ko) * 2004-08-12 2012-11-12 텔레콤 이탈리아 소시에떼 퍼 아찌오니 통신 네트워크를 통한 데이터 세트 업데이트 시스템, 방법및 장치
US7970171B2 (en) 2007-01-18 2011-06-28 Ricoh Co., Ltd. Synthetic image and video generation from ground truth data
US8868555B2 (en) 2006-07-31 2014-10-21 Ricoh Co., Ltd. Computation of a recongnizability score (quality predictor) for image retrieval
US8385589B2 (en) 2008-05-15 2013-02-26 Berna Erol Web-based content detection in images, extraction and recognition
US9373029B2 (en) 2007-07-11 2016-06-21 Ricoh Co., Ltd. Invisible junction feature recognition for document security or annotation
US8510283B2 (en) 2006-07-31 2013-08-13 Ricoh Co., Ltd. Automatic adaption of an image recognition system to image capture devices
US9384619B2 (en) 2006-07-31 2016-07-05 Ricoh Co., Ltd. Searching media content for objects specified using identifiers
US8521737B2 (en) 2004-10-01 2013-08-27 Ricoh Co., Ltd. Method and system for multi-tier image matching in a mixed media environment
US8176054B2 (en) 2007-07-12 2012-05-08 Ricoh Co. Ltd Retrieving electronic documents by converting them to synthetic text
US8369655B2 (en) 2006-07-31 2013-02-05 Ricoh Co., Ltd. Mixed media reality recognition using multiple specialized indexes
US8949287B2 (en) 2005-08-23 2015-02-03 Ricoh Co., Ltd. Embedding hot spots in imaged documents
US9171202B2 (en) 2005-08-23 2015-10-27 Ricoh Co., Ltd. Data organization and access for mixed media document system
US8332401B2 (en) 2004-10-01 2012-12-11 Ricoh Co., Ltd Method and system for position-based image matching in a mixed media environment
US8825682B2 (en) * 2006-07-31 2014-09-02 Ricoh Co., Ltd. Architecture for mixed media reality retrieval of locations and registration of images
US8156115B1 (en) 2007-07-11 2012-04-10 Ricoh Co. Ltd. Document-based networking with mixed media reality
US8086038B2 (en) 2007-07-11 2011-12-27 Ricoh Co., Ltd. Invisible junction features for patch recognition
US8838591B2 (en) 2005-08-23 2014-09-16 Ricoh Co., Ltd. Embedding hot spots in electronic documents
US8276088B2 (en) 2007-07-11 2012-09-25 Ricoh Co., Ltd. User interface for three-dimensional navigation
US8195659B2 (en) 2005-08-23 2012-06-05 Ricoh Co. Ltd. Integration and use of mixed media documents
US8184155B2 (en) 2007-07-11 2012-05-22 Ricoh Co. Ltd. Recognition and tracking using invisible junctions
US8156427B2 (en) 2005-08-23 2012-04-10 Ricoh Co. Ltd. User interface for mixed media reality
US7702673B2 (en) 2004-10-01 2010-04-20 Ricoh Co., Ltd. System and methods for creation and use of a mixed media environment
US9405751B2 (en) 2005-08-23 2016-08-02 Ricoh Co., Ltd. Database for mixed media document system
US8335789B2 (en) 2004-10-01 2012-12-18 Ricoh Co., Ltd. Method and system for document fingerprint matching in a mixed media environment
US7812986B2 (en) * 2005-08-23 2010-10-12 Ricoh Co. Ltd. System and methods for use of voice mail and email in a mixed media environment
US9530050B1 (en) 2007-07-11 2016-12-27 Ricoh Co., Ltd. Document annotation sharing
US8600989B2 (en) 2004-10-01 2013-12-03 Ricoh Co., Ltd. Method and system for image matching in a mixed media environment
US8156116B2 (en) 2006-07-31 2012-04-10 Ricoh Co., Ltd Dynamic presentation of targeted information in a mixed media reality recognition system
US8856108B2 (en) 2006-07-31 2014-10-07 Ricoh Co., Ltd. Combining results of image retrieval processes
US8144921B2 (en) 2007-07-11 2012-03-27 Ricoh Co., Ltd. Information retrieval using invisible junctions and geometric constraints
US20080104011A1 (en) * 2005-06-30 2008-05-01 Takao Shibasaki Retrieval System and Retrieval Method
US20070067403A1 (en) * 2005-07-20 2007-03-22 Grant Holmes Data Delivery System
US9176984B2 (en) 2006-07-31 2015-11-03 Ricoh Co., Ltd Mixed media reality retrieval of differentially-weighted links
US8676810B2 (en) 2006-07-31 2014-03-18 Ricoh Co., Ltd. Multiple index mixed media reality recognition using unequal priority indexes
US9020966B2 (en) 2006-07-31 2015-04-28 Ricoh Co., Ltd. Client device for interacting with a mixed media reality recognition system
US8201076B2 (en) 2006-07-31 2012-06-12 Ricoh Co., Ltd. Capturing symbolic information from documents upon printing
US8073263B2 (en) * 2006-07-31 2011-12-06 Ricoh Co., Ltd. Multi-classifier selection and monitoring for MMR-based image recognition
US9063952B2 (en) 2006-07-31 2015-06-23 Ricoh Co., Ltd. Mixed media reality recognition with image tracking
US8489987B2 (en) * 2006-07-31 2013-07-16 Ricoh Co., Ltd. Monitoring and analyzing creation and usage of visual content using image and hotspot interaction
KR101330637B1 (ko) * 2007-05-15 2013-11-18 삼성전자주식회사 영상 및 영상 정보 검색 장치 및 방법, 그리고 그 시스템
WO2009078132A1 (ja) * 2007-12-18 2009-06-25 Panasonic Corporation 画像再生装置、画像再生方法及び画像再生プログラム
US20090216734A1 (en) * 2008-02-21 2009-08-27 Microsoft Corporation Search based on document associations
JP2010093342A (ja) * 2008-10-03 2010-04-22 Canon Inc 映像サーバ装置、映像クライアント装置、映像送受信システム及び情報処理方法
US8385660B2 (en) 2009-06-24 2013-02-26 Ricoh Co., Ltd. Mixed media reality indexing and retrieval for repeated content
US8977639B2 (en) * 2009-12-02 2015-03-10 Google Inc. Actionable search results for visual queries
KR101223137B1 (ko) * 2010-12-14 2013-02-05 모젼스랩(주) 수요자 기반 메타데이터를 이용한 창작 지원 시스템 및 이의 정보 제공 방법
US9058331B2 (en) 2011-07-27 2015-06-16 Ricoh Co., Ltd. Generating a conversation in a social network based on visual search results
JP5655916B2 (ja) * 2013-09-17 2015-01-21 株式会社リコー 画像検索システム
US11341207B2 (en) 2018-12-10 2022-05-24 Ebay Inc. Generating app or web pages via extracting interest from images
CN110020981A (zh) * 2019-03-27 2019-07-16 阿里巴巴集团控股有限公司 一种图像信息处理方法、装置及电子设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04178771A (ja) * 1990-11-13 1992-06-25 Hitachi Ltd データベース検索通信制御装置
JPH0926965A (ja) * 1995-07-10 1997-01-28 Nippon Telegr & Teleph Corp <Ntt> 映像情報検索方法及びシステム
CN1165604A (zh) * 1995-07-17 1997-11-19 松下电器产业株式会社 接收、信息存储和电视接收装置以及信息收发和存储方法
JPH1011570A (ja) * 1996-06-26 1998-01-16 Ricoh Co Ltd 電子ファイリング装置
JPH10171731A (ja) * 1996-12-13 1998-06-26 Mitsubishi Electric Corp 情報閲覧システム及び情報閲覧方法
JPH10222527A (ja) * 1997-02-07 1998-08-21 Casio Comput Co Ltd 情報出力システム

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6340455A (ja) * 1986-08-05 1988-02-20 Sanyo Electric Co Ltd 情報フアイル装置
JPH0219972A (ja) * 1988-07-08 1990-01-23 Nippon Telegr & Teleph Corp <Ntt> データベースの検索結果情報出力方式
US5838967A (en) * 1992-04-23 1998-11-17 Teac Corporation Image filing apparatus and method for storing image data and directory information
JP3544557B2 (ja) * 1994-04-08 2004-07-21 オリンパス株式会社 画像ファイル装置
US6070167A (en) * 1997-09-29 2000-05-30 Sharp Laboratories Of America, Inc. Hierarchical method and system for object-based audiovisual descriptive tagging of images for information retrieval, editing, and manipulation
US6216157B1 (en) * 1997-11-14 2001-04-10 Yahoo! Inc. Method and apparatus for a client-server system with heterogeneous clients
US6504990B1 (en) * 1998-11-12 2003-01-07 Max Abecassis Randomly and continuously playing fragments of a video segment
US6411724B1 (en) * 1999-07-02 2002-06-25 Koninklijke Philips Electronics N.V. Using meta-descriptors to represent multimedia information

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04178771A (ja) * 1990-11-13 1992-06-25 Hitachi Ltd データベース検索通信制御装置
JPH0926965A (ja) * 1995-07-10 1997-01-28 Nippon Telegr & Teleph Corp <Ntt> 映像情報検索方法及びシステム
CN1165604A (zh) * 1995-07-17 1997-11-19 松下电器产业株式会社 接收、信息存储和电视接收装置以及信息收发和存储方法
JPH1011570A (ja) * 1996-06-26 1998-01-16 Ricoh Co Ltd 電子ファイリング装置
JPH10171731A (ja) * 1996-12-13 1998-06-26 Mitsubishi Electric Corp 情報閲覧システム及び情報閲覧方法
JPH10222527A (ja) * 1997-02-07 1998-08-21 Casio Comput Co Ltd 情報出力システム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11132411B2 (en) 2016-08-31 2021-09-28 Advanced New Technologies Co., Ltd. Search information processing method and apparatus

Also Published As

Publication number Publication date
EP1267275A1 (en) 2002-12-18
CN1451127A (zh) 2003-10-22
WO2001071558A1 (fr) 2001-09-27
US7031965B1 (en) 2006-04-18
AU2000233265A1 (en) 2001-10-03
KR20020082489A (ko) 2002-10-31
KR100523684B1 (ko) 2005-10-26
EP1267275A4 (en) 2006-08-23

Similar Documents

Publication Publication Date Title
CN100409234C (zh) 图像检索配送系统和图像检索配送方法
CN1636351B (zh) 由第一网络的成员访问第二网络上可用业务的方法及系统
EP1482735B1 (en) Video content transmission device and method, video content storage device, video content reproduction device and method, meta data generation device, and video content management method
US6535228B1 (en) Method and system for sharing images using a digital media frame
US5713019A (en) Iconic access to remote electronic monochrome raster data format document repository
US20020056119A1 (en) Personal video channel system
US20030097301A1 (en) Method for exchange information based on computer network
AU2001277956A1 (en) Method and system for accessing a service available on a second network by a member of a first network
JP3638181B2 (ja) 電子掲示板登録装置
JP3555756B2 (ja) マルチメディア情報利用方法、マルチメディア情報利用プログラムを記録した記録媒体及びマルチメディア情報システム
CN107196992A (zh) 一种执法记录仪的文件数据管理系统
CN1244218C (zh) 处理广播数据令牌
Little et al. Selection and dissemination of digital video via the Virtual Video Browser
KR20000049832A (ko) 인터넷을 통한 디지털 동영상 메일 제공 방법
JP2002244946A (ja) コンテンツ取得方法及びコンテンツ提供方法及びコンテンツ取得装置及びコンテンツ提供装置及びコンテンツ取得プログラム及びコンテンツ提供プログラム
Castro et al. Managing context for Internet videoconferences: the multimedia Internet recorder and archive
Simpson-Young et al. FRANK: trialing a system for remote navigation of film archives
JP2004070470A (ja) 情報配信システム
Lemke Advancing distance education programs with ordinary technologies
Song et al. PVCAIS: A personal videoconference archive indexing system
Gay et al. Conception of a multimedia electronic mail based on standards
Mourad Some issues in the implementation of multimedia communication systems
Benevento et al. WebVideo: simple web tools for video viewing and browsing
JP2002169736A (ja) ネットワークで媒体情報を共有するための媒体製作と利用の方法、及びデータベース・サーバ・システムの構築方法
Skinner Multimedia resource access: the'Last Frontier'

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C17 Cessation of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20080806

Termination date: 20100323