CN1518355A - 图像处理设备及其方法和记录介质 - Google Patents

Abstract

在创建由多幅相关所摄小型图像的排列构成的一幅组合图像的情况下，需要从组合图像中提取给定小型图像。当排列多幅小型图像来创建一幅组合图像时，1号小型图像的第一行上的像素数据存储在DRAM的地址adr 11。第二行和以后行上的像素数据顺序存储在DRAM的指定地址。同样，2号到9号小型图像存储在DRAM的指定地址。通过这种方式，创建一幅组合图像。当选择1号小型图像以进行提取时，从DRAM的地址adr 11读取1号小型图像的第一行上的像素数据。第二行上的像素数据从地址adr 21读取。第三行和以后行上的像素数据通过增大地址来顺序读取。本发明可以应用于数字静止摄像机。

Description

图像处理设备及其方法和记录介质

技术领域

本发明涉及一种图像处理设备及其方法和记录介质。更具体地说，本发明涉及一种能够从包括例如由数字静止摄像机拍摄的多幅小型相关图像的单幅组合图像中提取给定小型图像的图像处理设备及其方法和记录介质。

背景技术

随着近年来数字静止摄像机的普及，通过电缆或者个人计算机将数字静止摄像机连接到打印机并且打印所摄图像是一种经常性的举动。

一些数字静止摄像机组合所摄图像以进行打印(参见日本申请No.341406/1990)。

一些数字静止摄像机可以根据一系列相互关联的小型所摄图像创建和记录单幅组合图像。可以从记录图像数据中顺序提取小型图像以进行再现。通过这种方式，提供一种记录和再现运动图像的简单方法。

然而，上述组合图像作为诸如索引打印(index print)的一系列小型图像来打印输出。

组合图像作为一系列小型图像显示在屏幕上。虽然组合图像看上去包括多个图像文件，但是组合图像作为数据是单个图像文件。因此，尚不可能从作为单个图像文件创建的组合图像中提取或打印给定小型图像。

发明内容

本发明是鉴于前述情形而提出的。因此，本发明的一个目的是能够从包括由数字静止摄像机拍摄的多幅小型相关图像的单幅组合图像中提取给定小型图像。

在本发明的第一方面，一种图像处理设备包括：创建装置，用于根据多幅相关所摄小型图像的排列创建一幅组合图像；显示控制装置，用于控制组合图像的显示；以及提取装置，用于从其显示由显示控制装置控制的组合图像中提取指定小型图像。

在本发明的第二方面，第一方面的图像处理设备还可以包括存储装置，用于存储由创建装置创建的组合图像。

在本发明的第三方面，第二方面的图像处理设备还可以包括判定装置，用于判定是否从其显示由显示控制装置控制的组合图像中选择了指定小型图像，其中，当判定装置判定选择了指定小型图像时，提取装置从存储在存储装置中的组合图像中提取与指定小型图像相对应的数据。

在本发明的第四方面，第一方面的图像处理设备还可以包括打印指示装置，用于将由提取装置提取的小型图像发送到图像处理设备并且指示开始打印。

本发明的第五方面在于一种包括以下步骤的图像处理方法：根据多幅相关所摄小型图像的排列创建一幅组合图像；控制组合图像的显示；以及从其显示由显示控制步骤控制的组合图像中提取指定小型图像。

本发明的第六方面在于一种记录在记录介质上的程序，它允许计算机执行以下步骤：根据多幅相关所摄小型图像的排列创建一幅组合图像；控制组合图像的显示；以及从其显示由显示控制步骤控制的组合图像中提取指定小型图像。

本发明旨在排列多幅相关所摄小型图像以创建一幅组合图像，并且从组合图像中提取指定小型图像。

根据下面描述，本发明的其他和进一步目的、特性和优点将会显得更加全面。

附图说明

图1示出本发明的自动打印系统的配置例子；

图2示出数字静止摄像机的电气结构例子；

图3示出组合图像的例子；

图4示出图像文件格式；

图5是示出图像组合过程的流程图；

图6示意性地示出存储小型图像的过程；

图7是示出组合图像提取过程的流程图；

图8示意性地示出提取小型图像的过程；以及

图9是示出打印所提取图像的过程的流程图。

具体实施方式

下面将参照附图进一步详细地描述本发明的多个实施例。

图1示出本发明的自动打印系统的配置例子。在本系统中，数字静止摄像机1遵循IEEE(Institute of Electrical and ElectronicsEngineers，电气和电子工程师协会)1394、USB(Universal Serial Bus，通用串行总线)等通过电缆2连接到打印机3。

数字静止摄像机1拍摄对象，并且在如图2所示的LCD(LiquidCrystal Display，液晶显示器)上显示对象图像，并且将图像作为图像数据记录在记录介质33(图2)上。通过电缆2从数字静止摄像机1向打印机3提供图像数据，并且打印输出图像数据。

当数字静止摄像机1和打印机通过电缆2相互连接时，执行协商来检查双方设备是否具有DPS(direct print service，直接打印服务)功能。当双方均被识别为具有DPS功能的电子设备时，才可以执行通信。

DPS标准是用于直接连接数字静止摄像机和打印机并且容易地提供打印输出功能的应用级标准。DPS标准独立于物理接口或者特定传输层，并且可扩展到其他传输层。

作为DPS标准的特性，用户可以容易地打印图像。另外，打印机输出在相互连接的DPS兼容设备之间可用而与制造商和型号无关。

最好可以允许数字静止摄像机1和打印机3不仅使用有线手段如电缆2而且使用所谓的无线LAN如IEEE802.11a和IEEE802.11b以及蓝牙(注册商标)来相互连接和通信。

图2示出数字静止摄像机的电气结构例子。

透镜块11将光(即对象图像)供给CCD(Charge Coupled Device，电荷耦合器件)12。CCD 12将接收光的强度转换成电气信号，并且将其输出到摄像机信号处理部分13。

摄像机信号处理部分13从CCD 12接收电气信号，将该信号转换成色差信号Y、Cr和Cb，并且将它们输出到图像信号处理部分14。在控制器21的控制下，图像信号处理部分14从摄像机信号处理部分13接收图像信号，并且通过总线17将它们提供给DRAM(Dynamic Random Access Memory，动态随机存取存储器)18。DRAM 18临时存储图像信号。此外，图像信号处理部分14从DRAM 18读取图像信号，其中，图像信号由控制器21转换成LCD 16的图像尺寸。图像信号处理部分14将从屏显(on-screendisplay，OSD)20输入的数据叠加到所读出的图像信号上，并且将它们输出到RGB解码器15。

RGB解码器15从图像信号处理部分14接收图像信号，并将它们转换成RGB信号，并且将它们输出到LCD 16。LCD 16显示与从RGB解码器15提供的RGB信号相对应的图像。

在控制器21的控制下，屏显20通过总线17将数据输出到图像信号处理部分14。此时，输出数据包括由符号、字符和图形构成的菜单屏幕和图标。

控制器21根据表示从操作部分22输入的用户指令的信号，执行各种处理。控制器21还通过总线17控制图像信号处理部分14、DRAM 18、外部接口19、屏显20以及介质驱动器23。快闪ROM(flash ROM)24存储控制器21执行各种处理所需的程序。

当在操作部分22上操作快门按钮时，控制器21控制图像信号处理部分14，并且将整屏图像信号存储到DRAM 18中。在将图像信号存储到DRAM 18中之后，控制器21以压缩格式如JPEG(JointPhotographic Experts Group，联合图象专家组)压缩图像信号。控制器21在DRAM 18的不同地址存储图像信号，并且提供文件首标等，并且将图像信号流式记录到JPEG文件中。

图像信号的压缩格式不限于JPEG。其他可用格式可以包括TIFF(Tagged Image File Format，标签图像文件格式)、MPEG(Moving Picture Experts Group，运动图象专家组)等。

当操作部分22发出一个开始打印图像的命令时，控制器从DRAM 18中读取图像数据，并且通过总线17将图像数据发送到连接到外部接口19的打印机3。

记录介质33包括例如半导体存储器，并且包含能够电气写入和擦除数据的非易失性存储器，从而使得写入和读取各种数据如图像和声音变得可能。记录介质33根据需要插入到介质驱动器23中，从而永久性地记录临时存储在DRAM 18中的记录数据(图像文件)或者读取保存数据。

外部接口19包括例如USB输入/输出端子，并且连接到打印机3以打印图像。外部接口19根据需要连接到驱动器31，用以安装可移动介质32如磁盘、光盘和磁光盘。可以根据需要从可移动介质中读取一个计算机程序，并且将其安装到快闪ROM 24中。

下面描述数字静止摄像机1的基本操作。

供给透镜块11的光(对象图像)进入CCD 12，并且在此处转换成电气信号。所转换的电气信号在摄像机信号处理部分13中进一步转换成Y、Cr和Cb色差信号。色差信号经过图像信号处理部分14和总线17，然后进入DRAM 18以进行扩展和临时存储。

在图像信号临时存储到DRAM 18中之后，控制器21将图像信号转换成适于在LCD 16上显示的图像尺寸。经过改变的图像信号重新存储在DRAM 18的不同地址。图像信号处理部分14读取图像信号，并且将它输出到RGB解码器15。该信号转换成RGB信号，然后输出到LCD 16。以这种方式，LCD 16显示对象的实时图像，即监视图像。

例如，用户在特定时刻操作操作部分22的快门按钮。在这种情况下，控制器21读取临时存储在DRAM 18中的图像信号。控制器21采用JPEG格式压缩图像信号，然后将压缩图像信号存储在DRAM 18的不同地址。此外，控制器21还向所存储的图像信号提供文件首标等，以将图像信号流式记录到一个JPEG文件。控制器21读取该JPEG文件，并且将它传输到通过总线17插入到介质驱动器23中的记录介质33。JPEG文件永久性地存储在记录介质33中。

以这种方式，一个图像作为一段图像数据记录在记录介质33上。

例如，用户操作操作部分22以再现(显示)存储在记录介质33中的图像。在这种情况下，控制器通过总线17将存储在记录介质33中的图像文件传输到DRAM 18。控制器21载入数据，并且对压缩文件进行解压缩并将其存储在DRAM 18的不同地址。在解压缩之后，控制器21控制图像信号处理部分14以读取存储在DRAM 18中的图像数据。图像信号处理部分14将从屏显20输入的数据叠加到所读出的图像数据上，并且通过RGB解码器15将其输出到LCD 16。

以这种方式，在LCD 16上显示存储在记录介质33中的图像数据。

例如，用户操作操作部分22来选择称作多图像连续模式(multiple continuous mode)的特性，以在指定时间间隔内连续拍摄一系列图像。在这种情况下，DRAM 18临时存储一系列相关所摄图像信号。控制器21读取这些信号，并且将它们减小至给定小型图像尺寸，并且将它们顺序存储到DRAM 18中。该图像尺寸对应于预定数目的水平和垂直像素。详细信息将参照图5和6来描述。

以这种方式，如图3所示，DRAM 18包含根据顺序拍摄的图像信号创建的一幅组合图像，并且包括多个有序排列的小型图像。根据图3的例子，一幅组合图像包括1280个水平像素和960个垂直像素。由于可以排列16幅小型图像，因此每幅小型图像的尺寸最大可达320个水平像素和240个垂直像素。

当创建组合图像时，控制器21生成包括小型图像尺寸信息即水平和垂直像素数的管理信息。管理信息存储在图像文件首标中。

现在参照图4，下面描述存储在DRAM 18中的图像文件的格式。图4示出称作Exif(Exchange Image File，交换图像文件)格式的预定图像文件结构。

图4A示出一个图像文件的整体结构。图像文件具有表示图像文件开始的SOF(start-of-frame，帧始)标记和表示其结束的EOF(end-of-frame，帧末)标记。图像数据包含SOF和EOF标记之间的直到EOF标记的压缩图像信号数据。在图像文件的开始处，将任何信息分配给首标。

图4B示出APP1即一种在图像文件首标中提供的信息的结构。如图4B所示，在APP1信息的开始处提供APP1标记，随后是APP1数据长度和Exif标识符。还提供作为实际Exif数据的ExifIFD。在APP1的结束处，提供所谓的缩略图数据，即上述图像信号的缩小版本。

图4C示出Exif IFD结构。如图4C所示，Exif IFD开始于标签条目(Tag Entry)即表示多个标签开始的管理信息。标签条目信息之后是表示指定Exif版本的第一信息Tag1。另外，还提供包括制作者附注标签(Maker Note Tag)的各种信息。该信息表示存在由设备制造商特定定义的信息。制作者附注标签信息表示在何处找到实际管理信息。

制作者附注标签指向由各设备制造商原始提供的第二管理信息。也就是说，通过在Exif IFD结构中指定特定数据区域(Exif值数据)的地址，提供第二管理信息。第二管理信息可以具有任何数据结构例如，如图4D所示的结构来继承Exif IFD结构。

第二管理信息的数据结构开始于如制造商名称、设备名称等的信息。该信息表示设备是否可以唯一地使用通过指定地址提供的第二管理信息。如制造商名称、设备名称等的信息之后是标签条目，即表示多个标签开始的管理信息，然后是各种管理信息(标签1、标签2等)。

这些信息包括：多图像模式标签，表示图像数据包括多个图像；多图像水平尺寸标签，表示沿着小型图像水平方向的像素数；以及多图像垂直尺寸标签，表示沿着小型图像垂直方向的像素数。

根据指定Exif IFD结构，各标签均具有4字节数据区域。该区域可以用来描述任何数值数据。

以这种方式，排列多幅相关小型图像以生成一幅组合图像。组合图像的首标具有小型图像的管理信息。管理信息可以存储任何所需信息。该信息可以用来灵活地确定小型图像尺寸、所要顺序再现的小型图像总数等。

参照图5的流程图，下面描述本发明的多图像连续模式下的图像组合过程。当用户操作操作部分22来启用多图像连续模式时，该过程开始。

在步骤S1，控制器21控制摄像机信号处理部分13以将从CCD12提供的电气信号转换成Y、Cr和Cb色差信号。然后，控制器21控制图像信号处理部分14以通过总线17将所转换的图像信号提供给DRAM 18。DRAM 18临时存储图像信号。

在步骤S2，控制器21读取临时存储在DRAM 18中的图像信号。然后，控制器21将帧(垂直和水平尺寸)变至能够在LCD 16上显示预定图像的图像尺寸。在步骤S2改变图像信号帧之后，控制器21在步骤S3将该图像信号重新存储在DRAM 18的不同地址。

图6示意性地示出在这种情况下将小型图像存储在DRAM 18中的过程。本例示出排列九幅小型图像即垂直和水平方向为3×3。为便于描述起见，这些小型图像编号为1到9。小型图像的像素数据存储在DRAM 18的指定地址，从而根据这九幅小型图像创建单幅组合图像50。每幅小型图像均在水平方向上包括m个像素，并且在垂直方向上包括n个像素。下面描述使用(m，n)表示法来表示位于在水平方向上第m个像素且在垂直方向上第n个像素的像素数据。

1号小型图像的第一行包含像素数据(1，1)、(2，1)、...、和(m，1)。这些数据存储在DRAM 18的地址adr 11。1号小型图像的第二行包含像素数据(1，2)、(2，2)、...、和(m，2)。这些数据存储在DRAM18的地址adr 21。同样，1号小型图像的第三行和以后行上的像素数据顺序存储在DRAM 18的对应地址。1号小型图像的最后一行是包含像素数据(1，n)、(2，n)、...、和(m，n)的第n行。这些数据存储在DRAM 18的地址adr n1。

2号小型图像的第一行包含像素数据(1，1)、(2，1)、...、和(m，1)。这些数据存储在DRAM 18的地址adr 12。同样，2号小型图像的第二行到第n行上的像素数据顺序存储在DRAM 18的对应地址。

对3号到9号小型图像执行该存储过程。

在步骤S4，控制器21判定是否存储了指定数目的图像(图6的例子为九个图像)。当判定尚未存储指定数目的图像时，控制器21返回步骤S1，并且重复上述过程。

重复步骤S1到S3的过程创建包括多幅小型图像(图6的例子为九个图像)的一幅组合图像50，以存储在DRAM 18上。

管理信息(图4D)在组合图像50的图像文件首标中提供。管理信息存储小型图像尺寸(水平和垂直像素数)、小型图像总数(本例为九个)等。管理信息可以用来从包括多幅图像的一幅组合图像50中提取给定图像。详细信息将在后面参照7和8来描述。

当在步骤S4判定存储了指定数目的图像时，过程进入步骤S5。控制器21读取临时存储在DRAM 18中的组合图像信号(图6的例子为组合图像50)。控制器21以JPEG格式压缩图像信号，然后将它存储在DRAM 18的不同地址。此外，控制器21向所存储的图像信号提供文件首标等，以将图像信号流式记录到一个JPEG文件。控制器21读取该JPEG文件，并且将它传输到通过总线17插入到介质驱动器23中的记录介质33。JPEG文件永久性地存储在记录介质33中。

步骤S5的过程不总是被执行。当用户对操作部分22进行操作以在记录介质上存储组合图像50时，执行该过程。

以这种方式，有可能通过将多幅小型图像的像素数据流式传输并存储到DRAM 18中来创建包括多幅相关小型图像的一幅组合图像。

现在参照图7的流程图，下面描述如何从通过上述图像组合过程创建的组合图像中提取给定图像。该过程是在图6的图像组合过程之后或者当用户对操作部分22进行操作来显示(再现)组合图像时执行的。

在步骤S11，控制器21判定DRAM 18是否存储了所要读取的组合图像文件。当判定DRAM 18存储了该组合图像文件时，过程进入步骤S12。控制器21通过总线17从DRAM 18读取该组合图像文件。

当在步骤S11判定所要读取的组合图像文件没有存储在DRAM18中即存储在记录介质33中时，过程进入步骤S13。控制器21通过总线17从记录介质33读取组合图像文件。在步骤S14，控制器21将组合图像文件存储在DRAM 18中。

在步骤S15，控制器21判定所读取的组合图像文件是否经过压缩。当判定所读取的组合图像文件经过压缩时，过程进入步骤S16。控制器21加入来自DRAM 18的数据，并且对压缩文件进行解压缩。在步骤S17，控制器21将文件存储在DRAM 18的不同地址。

当判定所读取的组合图像文件没有经过压缩时，过程进入步骤S18。

在步骤S18，控制器21控制图像信号处理部分14以读取存储在DRAM 18中的图像文件并且通过RGB解码器15将其输出到LCD16。以这种方式，LCD 16显示如图6所示的组合图像50。

当用户在步骤S19对操作部分22进行操作时，控制器21判定是否选择了所要提取的图像。控制器21等待直到选择了所要提取的图像。要选择一个图像，例如，LCD 16需要显示包括小型图像排列的组合图像50。在这种状态下，用户将光标移至给定图像，然后按确定按钮(未示出)。

步骤S19的过程是以不执行随后过程直到选择了所要提取的图像为止的方式来描述的。当然，在没有选择任何所要提取的图像的情况下，组合图像50的显示可以终止。

当在步骤S19判定选择了所要提取的图像时，过程进入步骤S20。控制器21从存储在DRAM 18中的图像文件中提取所选一幅小型图像的数据。当选择了一幅图像时，使用屏幕上的光标位置来确定所选小型图像在DRAM 18中的存储位置。根据存储在为组合图像文件首标提供的管理信息中的小型图像尺寸(水平和垂直像素数)，从DRAM 18的指定地址读取所选小型图像的像素数据。

图8示意性地示出在本例中从DRAM 18提取小型图像的过程。DRAM 18如上面参照图6所述存储多幅小型图像的像素数据流。下面描述1号小型图像的提取。

1号小型图像的第一行包含像素数据(1，1)、(2，1)、...、和(m，1)。这些数据从DRAM 18的地址adr 11读取。1号小型图像的第二行包含像素数据(1，2)、(2，2)、...、和(m，2)。这些数据从DRAM 18的地址adr 21读取。同样，第三行或以后行上的像素数据从DRAM18的对应地址顺序读取。1号小型图像的最后一行是包含像素数据(1，n)、(2，n)、...、和(m，n)的第n行。这些数据从DRAM 18的地址adr n1读取。

通过增大地址从DRAM 18读取给定图像的像素数据并且提取小型图像60是可能的。

在步骤S21，控制器21对所提取的小型图像60进行插值，以将帧变至相等于全屏的尺寸。在步骤S22，控制器21将具有改变帧的提取图像存储在DRAM 18中。根据需要，控制器21可以从DRAM18中读取提取图像，以JPEG格式压缩它。当记录介质33插入到介质驱动器23中时，可以将压缩图像传输到记录介质33，并且永久性地存储在那里。

以这种方式，从包括相关小型图像排列的一幅组合图像中提取给定图像是可能的。

下面参照图9的流程图描述提取图像的打印过程。

在步骤S31，控制器21判定外部接口19是否连接到打印机3。控制器21等待直到确保外部接口19连接到打印机3。

当判定外部接口19连接到打印机时，过程进入步骤S32。控制器21与打印机3通信。当数字静止摄像机1和打印机3都具有DPS功能时，例如，它们可以通过在相互之间交换DPS定义文件来识别双方都支持DPS功能。以后，控制器21确认打印机3的DPS服务，并且收集打印机信息。

在步骤S33，控制器21判定用户是否对操作部分22进行操作，并且从组合图像中选择所要打印的图像。控制器21等待直到选择了所要打印的图像为止。

当在步骤S33判定选择了所要打印的图像时，过程进入步骤S34，以执行图7的图像提取过程。步骤S34的过程提取所选图像并且将它存储在DRAM 18中。在步骤S35，控制器通过外部接口19将所提取的图像发送到打印机3以开始打印。

传统地，所谓的索引打印用来打印包括在多图像连续模式下拍摄的多幅小型图像的单幅组合图像。索引打印需要在一张打印纸上打印相关小型图像排列。然而，如上所述，可以提取给定小型图像并且在一张打印纸上仅打印所提取的图像。

虽然所描述的是从组合图像中选择一幅小型图像，但是显然可以选择两幅或更多小型图像。

可以使用硬件或软件执行一系列上述过程。当使用软件来执行一系列过程时，将软件程序从网络或存储介质安装到计算机。此时，计算机可以安装在专用硬件中。或者，计算机可以是能够通过安装各种程序来执行各种功能的通用个人计算机。

如图2所示，以独立于设备的方式将存储介质提供给用户以提供程序。用于记录程序的存储介质可以作为可移动介质32如磁盘包括软盘，光盘包括CD-ROM(致密盘-只读存储器)、DVD(数字多功能盘)，或者磁光盘包括MD(微型盘，注册商标)来获得，或者可以作为记录介质33如半导体存储器来获得。另外，用于记录程序的存储介质还作为预先安装在设备中的组件如快闪ROM 24或硬盘来提供给用户。

在本说明书中，描述要记录在记录介质上的程序的上述步骤不仅包括在时间上按照指定顺序执行的过程，还包括并发或单独执行的过程。

在本说明书中，系统表示包括多个设备的整体设备。

如上所述，本发明可以组合由数字静止摄像机拍摄的图像。更具体地说，本发明可以从包括由数字静止摄像机拍摄的多幅小型相关图像的单幅组合图像中提取给定小型图像。

前述本发明是按照优选实施例来描述的。然而，本领域的技术人员应该知道，存在这些实施例的很多变体。这些变体也属于本发明和所附权利要求的范围。

Claims (6)

1.一种图像处理设备，用来拍摄对象并且记录所摄图像，包括：

创建装置，用于根据多幅相关所摄小型图像的排列创建一幅组合图像；

显示控制装置，用于控制组合图像的显示；以及

提取装置，用于从其显示由显示控制装置控制的组合图像中提取指定小型图像。

2.如权利要求1所述的图像处理设备，还包括：

存储装置，用于存储由创建装置创建的组合图像。

3.如权利要求2所述的图像处理设备，还包括：

判定装置，用于判定是否从其显示由显示控制装置控制的组合图像中选择了指定小型图像，

其中，当判定装置判定选择了指定小型图像时，提取装置从存储在存储装置中的组合图像中提取与指定小型图像相对应的数据。

4.如权利要求1所述的图像处理设备，还包括：

打印指示装置，用于将由提取装置提取的小型图像发送到图像处理设备并且指示开始打印。

5.一种用于图像处理设备的图像处理方法，其中，所述图像处理设备用来拍摄对象并且记录所摄图像，所述方法包括以下步骤：

根据多幅相关所摄小型图像的排列创建一幅组合图像；

控制组合图像的显示；以及

从其显示由显示控制步骤控制的组合图像中提取指定小型图像。

6.一种用于记录一个程序的计算机可读记录介质，所述程序用于让计算机执行图像处理以拍摄对象并且记录所摄图像，所述程序包括以下步骤：

根据多幅相关所摄小型图像的排列创建一幅组合图像；

控制组合图像的显示；以及

从其显示由显示控制步骤控制的组合图像中提取指定小型图像。

Images