CN1163794C - 图象处理装置和音频编码记录媒体 - Google Patents

Abstract

这里公开了一种能够简单并可靠地处理两种不同形式的信息：音频和图象的图象处理装置，其中两种信息连接在一起，以便在相同的记录媒体上记录信息。该图象处理装置具有一个用于输入图象信息的图象输入单元(10)、一个用于输入音频信息的音频输入单元(60)、一个用于设置连接信息以连接图象信息和音频信息的连接处理单元(130a)、一个用于将音频信息变换成光学可读的音频编码图象的编码变换器(242)、以及一个可根据连接信息操作、用于在预定的记录媒体上记录对应于图象信息的视觉图象和音频编码图象的印相设备(30)。不仅可以在视觉上欣赏记录在记录媒体上的图象，还可以用一个合适的重现设备听到来自记录在记录媒体上的音频编码图象的声音。

Description

图象处理装置和音频编码记录媒体

本发明涉及用于印制由银盐型照相机、图象数据处理数字照相机、图象读取扫描器等设备获得的、具有附加的光学可读音频编码图象的图象的图象处理装置。

利用各种图象获取设备摄取到的图象通过银盐照相方法被印在印相纸上，或通过使用喷墨打印机、热敏打印机等打印在纸张或胶片上。这样，在很长时间内，关于照相物体的信息以静止图象的形式依靠视觉在广泛的区域并以长期存在的方式被传送。

近来，随着多媒体时代的到来，对于在信息传输过程中使用听觉、而不是仅仅依赖视觉已经作了积极的尝试。本申请的共同申请者之一，奥林巴斯光学有限公司，在例如日本专利公开文本H6-231466和日本专利公开文本H7-181606中也已经提出了用于提供既可视又可听的信息的新媒体。根据该技术，记录媒体包括被转换成光学可读点码(音频编码图象)的声音，同图象、照片或字符一起印制在同一张纸上，该点码可由一种专用扫描器来读取。这些新媒体适合于各种各样的应用，包括在重复发音练习中使用的语言教学材料、用于记录动物吼叫的插图参考书、发声的图片书以及用于记录例如婚礼、成年仪式和为孩子举行的庆典等有纪念意义事件的照片。

运用上述新的媒体技术，可以制作出带有对应于多个图象信息(静止图象，例如照片)和多个音频信息的音频编码图象的音频编码照片，例如，在动物照片上记录动物吼叫或在一些人的快相上同时或在照相完成之后记录这些人的声音。这些照片相对于传统照片在增强所获得图象的真实性和可传递信息方面有着显著的提高。然而，这里重要的是在将图象信息和音频信息都记录在照片或其他记录媒体上时要把多个信息精确地组合起来。

在前面提到的专利公开文本H6-231466中并没有给出关于这样的图象信息和音频信息相结合的详细披露，在公开了在记录媒体上记录图象信息和编码音频信息的其他公开文本中、例如日本公开文本S56-5600、日本专利公开文本H5-224320和日本专利公开文本H7-181606中也没有给出。

相结合之所以重要的原因是在于，由于在已完成的音频编码照片上的音频编码图象本身在视觉上不能给以确认，可能出现一种情况，这取决于视觉图象和音频编码图象的排列，即不可能确定多个视觉图象中的哪一个对应于一给定的音频编码图象。这种整理对于具有安排在一特定区域内以方便扫描器对音频编码的扫描和读取的音频编码图象的音频编码照片尤其困难。

本发明的一个目的是提供一种用于简单并可靠地处理彼此关联的两种不同类型的信息、即音频和图象信息的图象处理装置，并提供即使在音频编码照片上排列有多个视觉图象和多个音频编码图象的情况下也能将音频和图象轻松分开的音频编码照片。

为了实现上述目的，依据本发明的一个图象处理装置包括用于输入图象信息的图象输入装置、用于输入音频信息的音频输入装置、用于设置连接信息来连接所述图象信息和所述音频信息的连接处理装置、用于将所述音频信息变换成光学可读音频编码图象的编码变换装置、以及可根据所述连接信息操作用于在一预定记录媒体上记录对应于所述图象信息和所述音频编码图象的一视觉图象的印相设备。

在该结构中，连接信息被设置为用于连接图象信息和音频信息。根据该连接信息，对应于图象信息的一视觉图象和对应于音频信息的一音频编码图象可以被彼此连接地记录在一预定记录媒体上。在这里记录媒体指的是各种硬拷贝材料例如普通打印纸和打印胶片、或者感光材料例如印相纸和胶片(负片或正片)中的任何一种。

在本发明的一个最佳实施例中，所述编码变换装置包括用于压缩和编码所述音频信息的压缩和编码装置、以及用于将所述被压缩和编码的音频信息变换成一光学可读音频编码图象的音频编码图象发生装置。于是，音频信息可以被压缩地且可靠地变换为一光学可读音频编码图象。

进一步地，在本发明的一个最佳实施例中，所述编码变换装置可用于将所述音频信息和所述连接信息都变换成光学可读的音频编码图象。于是，可以通过仅仅对所读取的编码数据进行解码来重现音频信息。可以牢靠地掌握图象信息和音频信息之间的关系。

依据本发明的一个最佳实施例，所述连接信息包括用于表明记录在所述记录媒体上的所述视觉图象和所述音频编码图象的排列的布局信息。布局信息可以仅仅通过对所读取的音频编码图象进行解码而获得。这一点尤其在制作副本时是很有利的。此外，所述连接信息可以包括源地址信息，该源地址信息表明要被记录在所述记录媒体上的图象信息或所述视觉图象的源存储器和音频信息或所述音频编码图象的源存储器。然后，原始数据将被容易地定位，以简化复制操作。

此外，所述连接信息可以是一个共同加到所述图象信息和所述音频信息上并表明它们之间的对应关系的识别符号，并且所述印相设备可用于可视地显示和记录所述识别符号。则能够可视地并可靠地了解在图象信息和音频信息之间的关系。

在本发明的另一个最佳实施例中，所述印相设备可用于在视觉图象记录区域之外的一空白区域内或在所述记录媒体的背面记录所述音频编码图象。然后，可以将编码图象的记录位置从图象信息的记录区域分离出来，以便能够可靠地得到图象信息并且读取的音频编码图象可以被有效地解码。所述印相设备可用于在所述视觉图象上叠加记录所述音频编码图象。然后，可以在不减小视觉图象记录区域的大小的情况下将音频编码图象记录下来。

所述印相设备可用于组合并记录所述视觉图象和所述音频编码图象。然后，可以在不减小视觉图象记录区域的大小的情况下将音频编码图象记录下来。

所述印相设备可用于将所述视觉图象和所述音频编码图象记录在一打印记录媒体上。然后，记录在图象信息和音频编码图象中的信息可以通过使用廉价且方便的打印记录媒体而得到。这种新的打印记录媒体可以被广泛地使用。

进一步地，所述印相设备可用于将所述视觉图象和所述音频编码图象记录在一感光记录媒体上，例如负片或正片、印相纸等等。然后，记录在图象信息和音频编码图象上的信息可以通过使用高图象质量的感光记录媒体精确地得到，并且可以满足高图象质量的技术要求。

依据本发明的另一个最佳实施例，所述图象输入装置通过使用用于读取在照相胶片上形成的照相图象或在印洗相片上形成的照相图象的扫描器、用于接收以一数字照相机或视频电影摄影机拍摄的照相图象的图象信号输入单元以及用于接收用一计算机制作或编辑的图象的图象信号输入单元中的至少一个来获得图象信息。在这种情况下，可以使用包括公共通信网络(电话、因特网等等)的各种图象输入装置来适合各种应用。

在本发明的一个不同的最佳实施例中，所述连接处理装置包括一个ID信息施加装置，用于将ID信息施加为所述连接信息，以识别所述图象信息和所述音频信息中的至少一个，并根据所述ID信息设置用于连接所述图象信息和音频信息的连接信息。在这种结构中，通过运用基于可识别的ID信息的连接信息，可以实现一个操作，同时在不进行复制的情况下可靠地获得图象信息和音频信息之间的关系。

进一步地，所述连接处理装置可以包括用于监视所述图象信息和所述音频信息中的至少一个的监视器装置以及用于指定信息以使得由所述监视器装置监视的所述图象信息和所述音频信息彼此相连接的信息指定装置，并根据该信息指定装置的输出和所述ID信息设置连接信息。在这种情况下，通过指定要连接的信息并提供连接信息，同时在例如CRT的监视装置上监视图象信息和音频信息，能够可靠地设置连接信息以适合用户的要求，而不用复制图象信息和音频信息之间的对应关系。

信息指定装置可以是一个指点器，例如键盘、鼠标、跟踪块和触摸控制板，可由用户操作以指定关于输出到所述监视器装置的所述图象信息或所述音频信息的所需信息。然后，可以可靠并简单地设置连接信息以适合用户的要求。

为了实现本发明的一个不同的目的，依据本发明的一个音频编码记录媒体的特征在于，安排了对应于多个图象信息的视觉图象和与其对应的多个音频编码图象，并且显示图象信息和音频信息之间的对应关系的识别符号被可视地显示和记录。

在这种结构中，由于将可以在视觉上被确认的识别符号加到视觉图象和与其对应的音频编码图象上，在以一扫描器扫描音频编码时可以在视觉上选定对应于视觉图象的音频编码图象。这里所使用的识别符号是广义上的术语，将其定义为不仅包括数字和字符，还当然地包括连接视觉图象和音频编码的线以及发出声音和/或光的代码，等等。

此外，依据本发明的一个最佳实施例，将多个音频编码图象共同排列在一预定音频编码图象记录区域。然后，例如通过将照片的较低部分设置为一音频编码区，在扫描和读取一音频编码时可以容易地进行扫描器的定位。在这种情况下，每个音频编码图象都被放置在远离对应的视觉图象的位置上。但识别代码允许可靠地获得对应于视觉图象的音频编码图象。这在很多领域中提供了一个极其重要的优点，例如具有很多安排在一页(一面)上的可视图象和音频编码图象的照片图解参考书。

从下面结合附图对本发明的实施例的说明中，本发明的其他特征和优点将变得明显。

图1是显示依据本发明的图象处理装置的一个实施例的照片处理装置的简略框图；

图2是显示依据本发明的带有音频编码图象的照片的一音频复制的示意图；

图3是显示一控制器的主要功能的方框图；

图4是显示图象数据和音频编码数据的一连接结构的示意图；

图5是显示依据本发明的图象处理装置的另一个实施例的简略框图；

图6是显示依据本发明的图象处理装置的又一个实施例的简略框图；

图7是显示依据本发明的图象处理装置的又一个实施例的简略框图；

图8是本发明的图象处理装置的一个实施例的方框图，其构造重点放在连接处理设备的功能上；

图9是显示图8的图象处理装置的处理顺序的流程图；

图10是显示依据本发明的图象处理装置的监视器屏幕的示意图；

图11是显示一图象ID、带有图象ID的图象信息和带有图象ID的音频信息的示意图；

图12是显示作为音频编码记录媒体的例子的新年照片卡片的视图；

图13是本发明的图象处理装置的另一个实施例的方框图，其构造重点放在连接处理设备的功能上；

图14是本发明的图象处理装置的又一个实施例的方框图，其构造重点放在连接处理设备的功能上；

图15是显示一个音频ID和连接信息的示意图；

图16是显示一个简单图象ID和音频ID的示意图；

图17是显示依据本发明的用一个照片制作装置制作出带有音频编码图象的照片的流程的示意图；

图18是显示一个对象内的图象数据、音频数据和ID编码之间的连接关系的示意图；

图19是显示一个音频编码照片的示意图；以及

图20是显示在本发明的一个实施例中用于制作带有音频编码图象的照片的装置的功能方框图。

图1是一个照片处理装置1的框图，该照片处理装置1是依据本发明的用于制作音频编码记录媒体(照片)的图象处理装置的一种形式。该照片处理装置1包括一个用于将照相胶片2(下文称之为胶片)的照相图象投影到作为感光材料的印相纸3上的投影和曝光台20，一个作为印相设备30的用于将音频编码图象印在印相纸3上的作为银盐彩色印相纸(感光材料)印相机31的CRT印相机或PLZT印相机，一个用于形成印相纸3的回路以便为投影和曝光台20和感光材料印相机31处的印相处理独立地传输印相纸3的回路形成台40，一个用于在印相处理之后冲洗印相纸3的显影台50，一个用于获得音频信号的音频信号输入单元60，以及一个用于控制照片处理装置1的部件并计算各种数据的控制器100。控制器100具有连接到其上的一个用于输入各种信息的控制台101和一个监视器102。

从在一个滚筒内存储印相纸3的印相纸盒4中拉出的印相纸3上具有在投影和曝光台20处从胶片印在其上的照相图象和在CRT印相机31处印上的音频编码图象，然后在显影台50上显影，如图2所示，切成大小包括照片(视觉图象)6和音频编码图象7的一帧胶片，并作为音频编码印洗相片5被取出。当以一专用读取扫描器8手动扫描该音频编码图象7时，由安装在扫描器8上的音频重放电路从扬声器输出对应于音频编码图象7的声音。

下面将说明图1中显示的各个部件。

投影和曝光台20包括曝光光源21、用于调节照射胶片2的光的彩色平衡的光调节滤光器22、用于均匀地混合已经通过光调节滤光器22的光的颜色的镜式隧道(mirror tunnel)23、用于在印相纸3上形成胶片2的图象的印相镜头24和快门25、以及用于调节到印相纸3的曝光面积的纸遮光窗(paper mask)26，这些都排列在提供一个曝光光学路径的同一个光轴上。

照相图象扫描器9被放置在一个处于投影和曝光台20之前的胶片传输路径上，用于扫描在胶片2上形成的照相图象，并作为数字图象而采集。扫描器9用白光照射胶片2，将从胶片2反射的光或穿过胶片2的光分成红、绿、蓝三原色，由一个CCD线传感器检测，进行A/D变换并传送到控制器100。

如图3所示，控制器100包括一个主要功能为控制投影和曝光台20的曝光的曝光控制单元110、一个用于处理从音频输入单元60输入的音频信号以产生对应的音频编码数据的编码数据发生单元120、以及一个用于控制这些单元110和120的中央控制单元130。

曝光控制单元110包括用于存储从扫描器9接收到的图象数据的第一存储器111、一个利用存储在第一存储器111内的图象数据确定曝光条件的曝光条件计算单元112、一个根据由曝光条件计算单元112确定出的曝光条件控制在投影曝光台20的光调节滤光器22和快门25的操作的曝光控制器113、以及一个根据由曝光条件计算单元112确定出的曝光条件将从第一存储器111读取的图象数据变换成在一个监视显示器102上显示的模拟图象数据的图象数据变换器114。对记录在图象数据变换器114中的用于变换处理例如图象数据的负片到正片的变换的各种参数进行设置，以便在监视显示器102上显示图象，该图象就相当于要通过利用由曝光条件计算单元112确定的曝光条件对照相胶片2的照相图象帧进行投影而形成在印相纸3上的图象。如果显示在监视显示器102上的模拟图象不令人满意，可以利用控制台101手动输入每个Y(黄)、M(红)和C(青)的曝光变化或对应于照片的密度变化的平场曝光变化来改变曝光条件。

通过音频记录媒体例如麦克风、磁带记录器、CD、MD和存储卡或者公共通信网络例如电话和因特网输入到音频输入单元60的音频信息被传送到编码数据发生单元120，在音频信息为模拟音频信号的情况下要先经过A/D变换再输入，在音频信息为数字信号的情况下直接作为数据输入。编码数据发生单元120包括一个用于压缩数字音频信号的压缩器121、一个应用基于一种编码理论的误差校正编码算法加入误差校正编码的误差校正编码器122、一个根据预定规则将压缩的并带有增加到其上的误差校正编码的音频数据变成编码数据的编码数据编制器123、一个用于存储编制出的编码数据的第二存储器124、以及一个用于从第二存储器124读取编码数据、将其变换成作为与其对应的印相数据的音频编码图象7、并发送到CRT印相机的接口125。在该实施例中，用于将输入的音频信息变换成音频编码图象7的编码变换器由压缩器121、误差校正编码器122和编码数据编制器123组成。该编码数据发生单元120还包括一个用于访问第二存储器124并执行诸如逆变换和误差校正等处理的重放设备，允许使用一个监视扬声器103进行声音确认。

在该实施例中的照片处理装置1采用了一种结构，该结构能够通过图象数据变换器114和接口125向感光材料印相机31发送由扫描器9获得的并存储在第一存储器111中的胶片2的照相图象的图象信息。该印相机31既可以在印相纸3上印制作为胶片2的图象的视觉图象6，也可以印制音频编码图象7。

下面将参考图1说明应用该照片处理装置1制作音频编码照片5的过程。

用户将一个照相胶片2和记录要被组合的声音的磁带、磁盘、存储卡等带到一个照片处理代理处，将要被制成音频编码照片5的照相图象的帧号和要与照相图象组合的声音的记录部分填充在一个预定的印相订制卡上。当没有带来记录要被组合的声音的媒体时，从一个由照片处理代理处提供的麦克风向音频输入单元60直接提供一个输入。带来的胶片2被装入照片处理装置1中，如果胶片是未冲洗的，应先经过一个显影处理再装入，如果胶片已经冲洗，则直接装入。

由一个胶片传送机构70将装入的胶片2传送到投影和曝光台20，该胶片传送机构70具有多个传送滚轴71和一个用于驱动传送滚轴的马达72。此时，由扫描器9扫描每个照相图象，并如前所述将获得的数字图象数据存储在第一存储器111中。同时，通过音频输入单元60将音频信号也输入到控制器100中，并以前面所述的音频编码数据的形式存储在第二存储器124中。将记录在印相订制卡上的订制信息自动或手动地加到控制器100上。中央控制单元130接收加到每个照相图象帧号上的图象ID和音频ID，如图4所示。此外，将图象ID与存储在第一存储器111中的有关图象数据的地址相连接。将音频ID与存储在第二存储器124中的有关音频数据的地址相连接。这种连接信息由中央控制单元130产生和控制，并存储在一个连接信息存储器131中。也就是说，中央控制单元130和连接信息存储器131在这里用作为连接胶片2的照片图象和与其对应的音频信号的连接处理设备。因此，将输入到该照片处理装置1的照相图象和声音以将要印在印相纸3上的对应关系可靠地组合起来。

当在投影和曝光台20的印相纸3上印制胶片2的照相图象时，曝光控制单元110根据扫描器9获得的图象数据控制光调节滤光器22，从而将曝光光源21的照射光调节到一个对应于胶片2上图象的彩色密度的彩色平衡。在投影和曝光台20，可操作快门25，以调节过的光照射胶片2，以便将胶片2的照相图象印在印相纸3上。此时，控制纸遮光窗26，以改变印相纸3上的曝光区域。例如，照相图象的不重要的区域被遮蔽，并在显影之后处理成一个白背景，而不被印相。可以用CRT印相机31将音频编码图象印在这种区域内。于是，可以将音频编码包含在一个普通印相尺寸的照片中。

由一个印相纸传送机构80持续地传送印相的印相纸3。该印相纸传送机构80包括上述的回路形成部分40。回路形成部分40具有用于传送印相纸3的传送滚轴81和82和一个用于驱动传送滚轴81的马达84。虽然在图中未显示，在相对于印相纸传送方向为上游的滚轴81和相对于印相纸传送方向为下游的滚轴82之间放置了一个簧片(flap)，该簧片可以在一个用于在传送滚轴81和82之间线性地引导印相纸3的位置和一个允许印相纸3形成如图1所示的一个回路的位置之间切换。通过形成印相纸3的一个回路，可以以分别设置的最佳传送速度为投影和曝光台20和感光材料CRT印相机31独立地执行传送过程。

当胶片2的照相图象是在CRT印相机31而不是在投影和曝光台20被印在印相纸3上时，由扫描器9扫描的胶片2在投影和曝光台20不使用，因而被直接拉出来。在图象数据变换器114和接口125的为CRT印相机31进行的变换处理之后，由CRT印相机31将制成数字图象的照片图象印制在打印纸3上。在这种情况下，可以在控制器100中将照相图象的视觉图象数据和音频编码图象数据事先组合好，并作为一种打印数据传送给CRT印相机31，或者可以在打印之间以一预定量移动打印纸3，作为两种打印数据分别打印。在数据在控制器100中事先组合的情况下，对于实现各种数字处理的组合时间上当然存在着一定的自由度。

虽然在图中未显示，显影台50包括多个充满处理液的容器，该处理液用于在印相处理之后对印相纸3进行显影。印相纸3依次通过多个容器被显影。印相纸3通过显影台50的传送控制、胶片传送机构的马达72和印相纸传送结构80的马达84和85的控制都由控制器100进行中央控制。

图5中显示的照片处理装置1与图1中显示的照片处理装置1的不同之处在于控制器100具有一个用于从一个平面扫描器10a接收图象数据的图象信号输入单元10，该平面扫描器10a是用于从印洗相片获得数字图象的设备的一个例子。这种装备是为了即使当用户使用的是印洗相片而不是照相胶片2时能通过将印洗相片与音频编码图象合并来制作新的音频编码照片5。由平面扫描器10获得的印洗相片的图象数据被存储在曝光控制单元110的第一存储器111中。在图象数据由图象数据变换器114和接口125处理之后，由感光材料印相机31例如CRT印相机或PLZT印相机将图象数据与音频编码图象一起印制在印相纸3上，在显影台50显影，并作为音频编码照片5被取出。图象信号输入单元10具有一个用于从数字照相设备接收图象数据的接口，数字照相设备例如为视频电影摄影机10b和数字照相机10c和能够制作或编辑图象的计算机10d。于是，控制器100从各种媒体接收图象数据。虽然在图中未显示，控制器100当然还可以通过远程通信线路接收图象数据和音频数据。

图6中显示的照片处理装置1是图5中显示的装置的一个变化，采用了一个非感光材料印相机32，例如热敏打印机或喷墨打印机，来代替感光材料印相机31，不是在印相纸3上而是在热敏纸、涂料纸或类似材料上形成音频编码照片5。热敏打印机除了用于制作在普通的照片处理中的索引照片(index Drint)外还特别用于制作密封照片(seal print)，并且它不仅能被用于印制音频编码照片5，还提供另外一个优点，就是使用密封纸(seal paper)可以将印出的音频编码照片容易地贴到一个相册或其他物体的表面。

图7中显示的照片处理装置1与图1中显示的照片处理装置1的不同之处在于采用了一个非感光材料印相机32例如激光束打印机或喷墨打印机作为印相设备30，用于以一高放大比例在透明胶片11而不是印相纸3上打印出音频编码图象。使用具有在其上形成放大的音频编码图象的透明胶片11，投影和曝光台20将音频编码图象以合适的缩小尺寸打印在印相纸3上。可以通过为一个高精度图象改变投影和曝光台20的晒相镜头24来形成提高精细度的音频编码图象。

在图5、6和7中显示的照片处理装置1的实施例中，要处理的图象信息包括由计算机10d使用图象生成软件制作或编辑的数字图象、从图象获取设备例如扫描器或数字照相机提供的数字图象、以及从记录媒体例如FD和CD-R读取的数字图象。通过将它们与根据从麦克风、卡式磁带或CD获得的音频信息的音频编码图象合并，这些图象可以作为音频编码照片由一个硬复制设备例如打印机输出。在这种情况下，对应的图象信息和音频信息必须在照片处理装置1中连接起来。为了这个目的，如前所述，由中央控制单元130和连接信息存储器131提供用于产生和控制连接信息的连接处理设备。

下面将参考图8至16与几个实施例一起说明依据本发明的构造重点放在连接处理设备的功能上的图象处理装置1的操作。这里，图象信号输入单元10具有一个图象输入处理器210、一个图象编辑器212和一个图象选择器214。音频输入单元60具有一个音频输入处理器218、一个音频编辑器220和一个音频选择器222。通过操作一个在控制台101中形成的用户输入设置器，可以通过监视器102和扬声器103来实现输入声音的重现和输入图象的监视。此外，在前面的说明中由中央控制单元130和连接信息存储器131提供的连接处理设备在这里显示为一个连接处理单元130a，由一个集中功能块例如一个ID信息提供器230和一个连接信息设置器236表示。此外，编码数据发生单元120被显示为一个编码变换器242，该编码变换器242具有一个应用从已知的编码技术例如波形编码、分解-综合编码(analytico-synthetic)等等中选择出的合适的技术构造的音频数据压缩器/编码器238，还具有一个用于将编码的音频编码数据变成二维编码图象的音频编码图象发生器240。用于合成存储在一个图象数据存储器232中的视觉图象和存储在一个音频编码图象存储器244中的音频编码图象的合成器140包括一个视觉/音频编码图象布局编辑器234和一个视觉/音频编码图象合成器246，根据由连接处理单元130a设置的连接信息以所期望的布局将视觉图象与音频编码图象合并起来，并将其输出到印相设备30。

首先参考图9的流程图说明图8中显示的实施例。

从胶片扫描器、扫描器、数字照相机、摄象  机、FD(软盘)、PC(个人计算机)等将图象信息输入到图象输入处理器210(#1)。将图象信息发送到图象编辑器212，在这里通过用户输入设置器216的控制执行编辑处理，例如色调/灰度变换和放大/缩小，同时在监视器102上确认图象(#2)。将编辑过的图象传送到图象选择器214，在这里选择要印制的图象。

另一方面，从麦克风、卡式磁带录音机、CD(光盘)、数字录音机等将音频信息输入到音频输入处理器218(#1)。将音频信息发送到音频编辑器220，在这里通过用户输入设置器216的控制执行音频编辑处理，同时用扬声器103来确认声音(#3)。将编辑过的音频数据传送到音频选择器222，在这里选择一个声音来连接到由图象选择器214选择的图象(#6)。

现在将参考图10说明图象选择器214和音频选择器222。在该实施例中，图象监视器102具有一个监视器屏幕102b，如图10所示。用户输入设置器216包括一个个人计算机键盘101a、鼠标101b和其接口电路。用户在观看显示在监视器102上的多个图象的同时，应用与鼠标101b连动的屏幕上的光标102a选择一个要印制的图象和一个要变换成音频编码的声音。作为一种选择方法，通过将光标放在要印制的图象(图10中的IMG4)上并点击来选定一个图象(#4)。进一步地，拖动光标到一个音频符号(图10中的SP1)并放下以选定一个要连接到该图象的声音(#6)。在屏幕上显示的音频符号只是显示例如用于区别声音的音调的名称、个数等的符号图象。于是，为了确认音频内容，用光标指定在监视器屏幕上的所需的音频符号并双击，以便从扬声器103重现一个实际声音。

将选定的图象数据传送到ID信息提供器230，在这里，由图象ID信息提供器226施加由ID信息供给器228供给的图象ID信息(#5)。如图10所示，由用户在键盘101a的一个输入设置实际图象ID信息。将由图象ID信息提供器226加到图象上的图象ID信息D1传送到连接信息设置器236。图象信息D2存储在图象数据存储器232中，其中该图象ID加到图象信息D2上作为一个报头。如图11(a)所示，图象ID信息D1例如包括一个图象序号、一个个人号码、一个输入模式号、一个识别号和一个帧号。个人号码包括用户的电话号码和生日。输入模式号识别作为图象源的媒介，即，一个例如表示照相胶片、印洗相片或数字照相机的符号。识别号对应于一个在照相胶片的情况下包括商店号、在存储介质例如智能媒体的情况下包括一个ID号或卷名的胶片号。如图11(b)所示，带有一个图象ID的图象信息D2具有上述的位于报头的图象ID和位于数据部分的适当格式(JPEG，GIF，PICT等)的图象数据。

另一方面，将由音频选择器222选择的用于与一特定图象合并的音频信息传送到连接信息设置器236。连接信息设置器236增加从图象ID信息提供器226接收的要被合并的图象的图象ID，作为该音频信息的报头和连接信息(#7)。图11(c)显示了带有连接信息的音频信息D3的数据格式。将带有连接信息的音频信息D3传送到音频数据压缩器/编码器238，在这里只有音频数据被压缩。接着，在音频编码图象发生器240，将压缩的音频数据和连接信息变换成光学可读的音频编码图象(#8)。将音频编码图象的数据一次存储在音频编码图象存储器244中。

将存储在图象数据存储器232中的图象数据和存储在音频编码图象存储器244中的要与该图象连接的音频编码图象输入视觉/音频编码图象布局编辑器234，依靠如上所述加上的连接信息，在这里为视觉图象和音频编码图象执行一个布局编辑处理(#9)。在实际的布局编辑处理中，在图10中显示的监视器102的屏幕102b上显示一个布局编辑屏幕，依据以光标给出的指令为视觉图象和音频编码图象执行一个布局编辑处理。例如，在编辑处理之后，显示合并的并根据需要布局的视觉和音频编码图象。在布局编辑中，当要印制的视觉和音频编码图象被确定为NG时，操作返回在图象编辑器212或音频编码图象发生器240的操作，重新进行所需的处理。例如，当音频编码图象超过一个可打印的长度时，进行修正，将其分成一个两层排列的两部分。此外，通过用一个鼠标101b指定在监视器屏幕102b上显示的音频编码图象并双击它，从一个未显示的临时存储介质中读取对应的音频源，并从扬声器103输出。

一旦接收到来自视觉/音频编码图象布局编辑器234的布局信息，视觉/音频编码图象合成器246向图象数据存储器232和音频编码图象存储器244中的每一个发送一个请求信号，并接收从布局信息和连接信息获得的对应的图象数据和音频编码图象数据。将接收到的图象数据和音频编码图象数据综合起来以便合成印相图象数据。将印相图象数据传送到印相设备30以便打印出一个合成图象(#10)。

视觉/音频编码图象布局编辑器234可以通过首先接收存储在音频编码图象存储器244的音频编码图象、并且根据从音频编码图象提取出的连接信息接收具有与从存储在图象数据存储器232中的图象数据中提取出的连接信息一致的连接信息的图象数据，来执行布局编辑处理，也可以通过首先接收存储在图象数据存储器232中的图象数据、并根据从图象数据提取出的连接信息、接收具有与从存储在音频编码图象存储器244中的音频编码图象中提取出的连接信息一致的连接信息的音频编码图象，来执行布局编辑处理。

图12显示了带有一个照片的新年祝贺明信片，作为印制出的音频编码记录媒体的一个例子。图12(a)显示了一个带有放置在未记录照片或字符的空白区内的音频编码图象7的新年祝贺明信片的背面。图12(b)显示了一个带有放置在遮蔽区域内的音频编码图象7的新年祝贺明信片的背面，带有一个在记录照片和字符的视觉图象记录区域上的白色内涂粘附层。图12(c)显示了一个带有印在新年礼物号码上面的音频编码图象7的新年祝贺明信片的正面，视觉图象例如照片和字符印在背面。为了这个目的，视觉/音频编码图象布局编辑器234和视觉/音频编码图象合成器246还具有在多个打印面上打印视觉和音频编码图象的功能。

此外，图12(d)显示了一个带有叠加在视觉图象记录区域中的图象上的、作为在可见光下不可见的秘密类型编码的音频编码图象7的新年祝贺明信片的背面。用于记录秘密类型音频编码图象的材料可以是一种荧光材料，在可见光下是透明的，而在紫外线照射下发出光。

图13中显示的实施例与图8中显示的实施例的不同之处在于编码变换器242包括一个预编码图象发生器252。预编码图象发生器252为要与一个图象合并的音频信息计算音频编码图象的尺寸(外部尺寸)，并将其传送到视觉/音频编码图象布局编辑器234。视觉/音频图象布局编辑器234使用计算出的音频编码图象尺寸来为视觉图象和音频编码图象执行布局编辑处理。接着，将布局信息传送到音频编码图象发生器240。由于要使用的音频编码图象的尺寸是已知的，在布局编辑操作中，视觉图象和音频编码图象可以被安排在一个没有未被使用的空白区的布局中。根据需要可以将音频编码图象自动分割。由于可以通过只需要很短的处理时间的预编码图象产生来形成一个布局，而不进行耗时的音频编码图象产生，可以有效地执行布局处理。

在完成了这种布局编辑之后，对音频信息进行编码。音频编码图象发生器240将音频编码数据与包括布局信息的连接信息合并，并对该信息编码，将该信息作为一个音频编码数据变换成图象。由于印制的音频编码图象具有布局信息，在请求再次复制该照片或者印制该音频照片的附加照片的情况下，通过读取该布局信息，可以省去布局编辑操作。

图14中显示的实施例与图8中显示的实施例的不同之处在于连接处理设备130a另外还包括一个用于提供音频ID信息的音频ID信息提供器254和一个用于控制连接信息的连接信息控制器256，并且在连接信息设置器236的位置提供了一个控制连接信息设置器258。音频ID信息提供器254将由ID信息供给器228供给的音频ID信息加到选定的音频信息上。如图15(a)所示，音频ID的数据格式与上述的图象ID的数据格式(图11(b))相似。输入模式号码是一个显示音频源媒体例如后级记录介质、盒式磁带、MD或FD的符号。

ID信息供给器228、图象ID信息提供器226和音频ID信息提供器254组成了ID信息提供器230。由控制连接信息设置器258将设置的图象ID和音频ID结合成为控制连接信息。图15(b)显示了控制连接信息的一个数据格式，包括一个用作为要制成的音频编码记录媒体的ID的序号、一个图象ID、一个音频ID和日期信息。此外，该连接信息还可以具有通过控制连接信息设置器258增加到其上的布局信息，该布局信息显示由视觉/音频图象布局编辑器234确定的视觉图象和音频编码图象的布局。

将控制连接信息设置器258产生的控制连接信息传送到连接信息控制器256。连接信息控制器256用数据库控制控制连接信息。连接信息控制器256响应来自视觉/音频编码图象合成器246的一个请求信号传送出控制连接信息。视觉/音频编码图象合成器246向图象数据存储器232发送一个关于要印制的图象数据的请求信号，以接收图象数据，并且向音频编码图象存储器244发送一个关于音频编码图象的请求信号，以接收音频编码图象。将接收的图象数据和音频编码图象数据结合起来以产生印相图象数据。在该结构中，有效地实现了用于从存储的和累积的多个图象数据和音频编码图象输出照片的处理。于是，作为控制连接信息被用作为图象和音频源地址信息的结果，不仅可以作为每次从图象输入处理器210输入的数据的图象源被自由地使用，还可以作为从一个存储许多图象的图象数据库280和一个存储许多声音的音频数据库290读出的数据的图象源被自由地使用。

这里已经说明了依据图8的采用将图象ID用于连接信息的结构的实施例，但还可以将音频ID用于连接信息。在一个将图象源限制为照相胶片的实施例中，用作为连接信息的图象ID可以包括一个用作为识别号的胶片号和一个识别图象的帧号，如图16(a)所示。音频ID可以只包括一个识别号。

在前面的实施例中，使用CRT印相机或PLZT印相机作为印相设备30，用于在印相纸3上形成视觉图象和音频编码图象。也可以采用液晶印相机、荧光管印相机或激光曝光热显影设备。在这种情况下，照相处理装置1可以是一个完全数字式照片印相机，在其上省去了投影和曝光设备20。

本身已知的各种技术都可以用作为编码数据发生单元120，即编码变换器242，用于将音频信号变换成光学可读的编码图象。例如，可以使用在专利公开文本H6-231466中详细描述的点码来转向信息记录和再现系统技术。还可以转向堆栈类型或矩阵类型的二维条码技术。

下面将参考图17至20说明本发明的一个不同实施例中的音频编码记录媒体和用于制作记录媒体的操作流程。图17是表示在该实施例中利用音频编码照片制作装置制作音频编码照片的流程图。

一个订制音频编码照片的用户带来图象记录媒体，例如照片或负片，作为静止图象源，还带来音频记录媒体，例如卡式磁带，用作为图象信息源和音频信息源，或带来声音和图象记录媒体，例如既包括声音又包括图象的数字照相机或数字视频磁带，并指明哪些图象和声音要合并。将接收的记录媒体中的声音和图象根据需要进行编码，并作为图象数据和音频数据以一种可由该装置处理的格式临时存储在一个存储媒体例如硬盘中。该存储媒体不仅存储从用户接收的图象数据和音频数据，还存储各种风景、插图、环境声音等数据。用户可以选择这些风景、插图和环境声音来组合进音频编码记录媒体中。

操作员根据用户需要将临时存储在存储媒体中的图象数据和音频数据合并起来，并生成音频编码照相对象。每个音频编码照相对象对应于一个音频编码照片。一个音频编码照相对象包括至少一个图象数据和至少一个音频数据，但实际上只具有指示数据连接的指针。

一旦预定的图象数据和音频数据被合并，将一个用作为显示相互对应的识别符号的ID编码加到图象数据和音频数据上作为连接信息。该ID编码是为一个对象中的图象数据和音频数据的每个产生的，并共同加在其上。在这些之间的连接关系在图18中图解地显示。作为ID编码，可以仅仅使用一个序号，或者可以使用说明音频编码内容的字符串。根据环境，可以采用一个连接对应的图象数据和音频数据的线作为代替ID编码的识别符号。此外，可以采用一个发出声音(音频编码等)或光(荧光等)的标志作为识别符号。在任何情况下，只要符号能够显示每个静止图象和每个音频编码之间的相互对应，任何形式都是可以接受的。

一旦确定了一个音频编码照相对象，将图象数据进行二维编制，根据其对象组成(make-up)信息将音频数据编制成一个二维编码。ID编码也被编制成一个图象。将这些合并并存储在帧存储器中。在一个监视器屏幕上显示最终要通过使用存储在帧存储器中的合成数据作为音频编码照片打印的合成图象，如图19所示。

操作员可以观察监视器屏幕并检查视觉图象以及静止图象和音频编码图象的布局，可以通过用于预定的音频编码照片的ID编码确认静止图象和音频编码的合并。在监视器屏幕上不能确认音频编码的内容、即声音本身。为了确认音频编码的声音，用鼠标或类似设备点击在屏幕上显示的音频编码或代表音频编码的帧，或者从控制台键入ID编码。可以由下列两种方法从一个扬声器产生对应于选定的音频编码的声音。

在一个听声音的方法中，使用对象组成信息对对应于点击或选择的音频编码的音频数据的存储位置进行定位。对该音频数据进行一个适当的解码处理，并传送到扬声器产生声音。该方法基于这样一个先决条件，即对应于音频编码的音频数据是以一种可访问的形式存储的。在使用的另一个方法中，不满足上述先决条件，将对应于所选定的音频编码的二维编码与静止图象数据分离，从帧存储器中取出。对二维音频编码进行逆变换，以便恢复出原始音频数据。对恢复的音频数据进行适当的解码处理，并传送到扬声器产生声音。

将在监视器屏幕上确认的合成图象从帧存储器传送到一个银盐类型印相机或热敏印相机，以输出音频编码照片。将以这种方式完成的音频编码照片传递给用户。用户通过应用一种已知的音频编码读出扫描器扫描音频编码可以听到声音。

下面将参考图20中显示的功能方框图说明在上述操作流程中用于制作音频编码照片的装置的一个例子。

输入单元300是一个一般术语，包括用于从静止图象例如照片、宣传画等获得信息的平面扫描器，用于从静止图象例如页片等获得信息的胶片扫描器，用于从数字照相机和数字视频设备读取信息的专用读出器，以及各种使用卡式磁带、CD等作为输入源的音频播放机。图象编码器311可用于将输入的图象信息变换成一种用于在该装置中处理的数字格式。音频编码器312可用于将输入的音频信息变换成一种用于在该装置中处理的数字格式。存储器320存储由编码器311和312变换的图象数据和音频数据。存储器320在临时存储由用户带来的数据的同时，还存储图象数据和音频数据，作为可供用户根据需要选择的库存材料，直到被强制删除。

对象发生器330使用文件名等有选择地从存储器320读取图象数据和音频数据，并产生一个音频编码照相对象，以制作音频编码照片。每次确定了图象数据和音频数据的一个组合时，由一个ID编码发生器加上一个作为该组合的识别符号的ID编码，其中ID编码发生器是识别符号提供器的一个例子。于是，如图17和18所示，该音频编码对象包括图象数据、音频数据和ID编码。由一个对象组成信息控制器331将所确定对象的组成模式保持为对象组成信息的形式。

该信息必须在一个帧存储器350编制，以便根据确定的对象在监视器360上显示或者从印相机370输出一个音频编码照片。为了这个目的，由一个图象数据二维编制器编制所确定对象的图象数据，并传送到帧存储器350。由一个音频数据二维编码器342编制音频数据，并传送到帧存储器350。ID编码也被编制成一个图象，并放置在预定位置。由一个喷墨型或热敏型打印机370将存进帧存储器350的数据作为一个音频编码照片打印出来，如图19所示。该音频编码图象具有对应的静止图象和音频编码，将序数(这里为“01”和“02”)作为共同的ID编码加在该音频编码上，这就方便了对应于静止图象的音频编码的确认。标号390代表一个控制该制作音频编码照片的装置的每个功能部件的控制器。

下面将说明用于检查显示在监视器360上的音频数据的内容的结构。

使用一个指点器381例如鼠标来选择要被检查的音频编码帧。控制器390从对象组成信息识别一个对应的音频数据，并通过一个音频数据提取器382从存储器320读出对应的音频数据。在音频重现器383对读出的音频数据进行必需的解码处理，并作为一个放大模拟音频信号传送到扬声器384。结果，原来的声音从扬声器384释放出来。通过倾听该声音，操作员能够检查显示在监视器360上的音频编码图象是否正确地与一个同时显示的静止图象相结合。

在没有来自存储器320的选定音频编码图象的情况下，控制器390从帧存储器350只读取对应于所选定音频编码帧的音频编码图象，并将编码传送到一个逆变换器385。逆变换器385进行与在音频数据二维编码器342中进行的处理相反的处理，将音频编码变换成音频数据。在音频重现器383对从逆变换器385获得的音频数据进行必需的解码处理，并作为一个放大模拟音频信号传送到扬声器384。结果，原来的声音从扬声器384释放出来。

在图20中显示的一个实施例中，采用ID编码发生器335作为识别符号提供设备。这可以被构造为一个标志发生器，用于向一个合成图象增加一条线或其他标志来代替ID编码作为识别符号，以连接相应的图象数据和音频数据。此外，该标志发生器可以产生一个发出声音(音频编码等)或光(荧光等)的标志。荧光标志可以使用荧光喷墨打印机来叠印。

在该实施例中(图19)，图象数据和音频编码与作为识别符号的ID编码一起记录在同一页上。当识别符号(ID编码)分别记录在图象数据和音频编码的邻近时，可以将图象数据和音频编码记录在不同页上。

此外，当识别符号记录在图象数据和音频编码上时，可以以更高的可靠性识别出图象数据/音频编码和识别符号之间的对应关系。

音频编码不仅可以采取在前面讨论的专利公开文本H7-181606中显示的点码的形式，还可以采取所有已知的可被光学读取以重现声音的音频编码，例如二维条码。

如上所述，依据本发明的图象处理装置能够处理通过连接信息连接的两种不同形式的信息，音频和图象。可以方便地制作音频编码照片等，在该音频编码照片中，对应于图象信息的视觉图象和对应于音频信息的音频编码图象被记录在相同的记录媒体上。记录媒体可以容易地复制，特别是在连接信息包括显示要被记录在记录媒体上的视觉图象和音频编码图象的排列的布局信息的情况下。

Claims (3)

1.一种图象处理装置，包括：

图象输入装置，用于输入由银盐型照相机或数字静物照相机获取的多个照相图象作为图象信息；

音频输入装置，用于输入多个声音信息作为音频信息；

编码变换装置，用于将所述音频信息变换成光学可读的音频编码图象；

第一图象存储器，用于在预定的图象地址以二维视觉图象的形式存储所述输入的图象信息；

第二图象存储器，用于在预定的音频地址以二维编码图象的形式存储所述音频编码图象；以及

印相设备，用于用添加到那里的所述音频编码图象制作相片；

其特征在于

该图象处理装置进一步包括连接处理装置，用于将照相图象帧号分配给图象ID和音频ID，所述图象帧号被施加给所述照相图象中的每一个；并用于基于照相图象和声音之间用户的所需组合将所述图象ID和所述音频ID与分别与其对应的所述图象地址和所述音频地址连接；

所述印相设备，可操作在所述图象帧号的单元中借助所述图象ID和所述音频ID从所述第一图象存储器读取所述图象信息并从所述第二图象存储器读取所述音频编码图象，并可操作用添加到那里的所述音频编码图象制作相片。

2.如权利要求1所述的图象处理装置，其特征在于，所述印相设备可操作在打印纸上在所述视觉图象上叠加记录所述音频编码图象。

3.如权利要求1所述的图象处理装置，其特征在于，所述印相设备可操作在打印纸上记录图象，所述图象在组合所述视觉图象和所述音频编码图象后获得。

Images