CN101398607A - 可打印音频格式 - Google Patents

Abstract

本发明提供了一种可打印音频格式，其包括音频信号的打印编码、多个隔开和平行的轨道，以及位于所述多个轨道之间的所述音频信号的打印编码，其中每个轨道包括至少一个标记，并且其中所述打印编码包括：第一位置，其中所述编码在第一方向上进行；以及第二部分，其中所述编码在第二方向上进行。

Description

可打印音频格式

本申请是中国发明专利申请第200480041957.5号的分案申请，该原案申请的申请日为2004年12月17日，发明名称为“具有音频解码和编码的数字静态照相机、可打印音频格式和方法”。

技术领域

本发明涉及具有音频解码和编码的数字静态照相机(digital stillcamera)、可打印音频格式以及相应的方法，具体但不仅限于涉及能够用于对先前编码的音频进行解码和对音频编码的数字静态照相机；以及编码后音频的可打印音频格式。

背景技术

已经有很多建议用于对与例如照片图像这样的图像或文档相关联的音频进行编码，以使得编码后音频可作为音频格式与图像或文档被一起打印，或者可作为音频格式被打印以便被应用到图像或文档。随后，使用扫描仪扫描打印音频格式(printed audio format)，以使得编码后音频可被解码和再现。这需要能够与声音再现系统通信或者能够将扫描数据下载到声音再现系统中的单独的扫描仪。这种扫描仪在读取打印音频格式时还很容易出错，因为它们是手工操作的。

发明内容

根据优选方面提供了一种数字静态照相机，包括：

(a)照片成像系统，用于捕捉包含打印音频格式的打印材料的单个静止照片图像；

(b)处理器，用于从所述单个静态照片图像中提取编码后音频数据；

(c)解码器，用于接收所述编码后音频数据，并将所述编码后音频数据解码为音频信号；以及

(d)音频输出，用于输出所述音频信号作为音频。

可以提供数据存储装置，用于所述编码后音频数据和所述音频信号中至少一种的存储。

解码器/编码器可以使用短时傅立叶变换和码激励线性预测中的至少一种来进行编码和解码。

数字静态照相机还可包括第一光源，用于产生可定向到所需位置的第一光束，以将所述数字静态照相机的镜头定位到距离与所述打印音频格式有关的所需位置规定的距离处。或者，数字静态照相机还包括与所述第一光源隔开的第二光源，用于产生可定向到所述所需位置的第二光束，当所述镜头距离所述打印音频格式规定距离时，所述第一和第二光束共同入射到所需位置。

还可以有与所述第一和第二光源都隔开的第三光源，用于产生可定向到所述所需位置的第三光束；当所述镜头距离所述打印音频格式规定距离并且平行于所述打印音频格式时，所述第一、第二和第三光束基本共同入射到所述所需位置。或者，所有三个光束都可源自于单个光源，并且可在三个不同点聚焦。

再或者，可以有附件，用于使得所述数字静态照相机的镜头能够位于距离与所述打印音频格式有关的所需位置规定距离处并且平行于所述所需位置，所述附件包括支架，所述照相机可以附接到所述支架上，从而所述照相机位于所述打印音频格式上方规定距离的固定位置处。该支架可包括：具有开口的底部，所述镜头可通过所述开口捕捉所述图像；以及从所述底部延伸所述规定距离的多个侧壁。所述多个侧壁中的至少一个可包括至少一个光源，用于照亮所述打印音频格式。所述至少一个光源可以远离所述数字静态照相机，从而在所述镜头的可视区域之外。

所述支架可包括：具有开口的底部，所述镜头可通过所述开口捕捉所述图像；以及从所述底部延伸所述规定距离的多个腿。

所述数字静态照相机还可包括取景器，该取景器包括取景框，该取景框包括多个取景框指示，用于在所述数字静态照相机相对于所述打印音频格式基本正确地放置时，将所述打印音频格式的图像布置在所需位置。

在另一优选方面中，提供了一种数字静态照相机，用于再现编码为可打印音频格式的音频信号，所述数字静态照相机包括：

(a)照片成像系统，用于捕捉包含打印音频格式的打印材料的单个静止照片图像；

(b)处理器，用于从所述单个静态照片图像中提取编码后音频数据；

(c)解码器，用于接收所述编码后音频数据，并将所述编码后音频数据解码为音频信号；以及

(d)数据存储装置，用于所述编码后音频数据和所述音频信号中至少一种的存储。

所述数字静态照相机还包括音频输出，用于输出所述音频信号作为音频。

对于两个方面，所述数字静态照相机都还可包括：放大器，用于放大所述音频信号；以及转换器，用于将数字音频转换为模拟音频。音频输出可从扬声器和用于耳机或头戴式耳机的输出插孔中选出。

所述成像系统还可用于拍摄照片，并且包括图像捕捉器件。还可以提供至少一个麦克风，用于捕捉与照片相关联的音频信号；以及转换器，用于将模拟音频转换为数字音频。所述解码器还可是编码器，用于将所述输入数字音频信号编码为能够以可打印音频格式打印的编码后输入音频数据。

所述处理器可将所述编码后输入音频数据嵌入相关联的照片中，从而打印所述照片将使得所述编码后输入音频数据作为打印音频格式与之一起被打印。所述编码后输入音频数据可以和所述相关联的照片一起被存储在数据存储装置中，而不是将所述编码后音频数据嵌入所述相关联的照片中。所述数字静态照相机还包括可打印机，用于打印所述打印音频格式。

所述编码后输入音频数据可被独立于所述照片存储，但是具有到所述照片的数据连接。

所述麦克风可从内置在所述照相机中的和独立于所述照相机但可操作地连接到所述照相机的中选出。

所述解码器/编码器可使用短时傅立叶变换和码激励线性预测中的至少一种来进行编码和解码。

在另一优选方面中，提供了一种用于再现编码为打印音频格式的音频信号的方法，该方法包括：

(a)将数字静态照相机置于邻近所述打印音频格式处，并且所述数字静态照相机的镜头朝向所述打印音频格式，所述打印音频格式在所述镜头的聚焦范围之内；

(b)在所述数字静态照相机中捕捉所述打印音频格式的单个静态照片图像；

(c)在所述数字静态照相机中处理所述打印音频格式的单个静态照片图像，以产生打印音频格式图像数据；

(d)处理所述打印音频格式图像数据，以获得音频信号；以及

(e)再现所述音频信号作为音频。

处理所述打印音频格式的操作可包括：

(a)从所述打印音频图像数据中取得音频标签；

(b)搜索存储音频的数据库，以获得具有相同音频标签的存储音频；以及

(c)如果找到具有所述音频标签的存储音频，则取得所述存储音频并使用所述存储音频作为所述音频信号。

或者，处理所述打印音频格式的操作可包括：

(a)从所述图像中提取编码后音频数据；

(b)将所述编码后音频数据解码为数字音频信号；以及

(c)将所述数字音频信号转换为模拟音频信号。

可存储所述编码后音频数据和所述数字音频信号中的至少一种。

在另一优选方面中，提供了一种用于编码为可打印音频格式的音频信号的声音再现的方法，该方法包括：

(a)使用数字静态照相机捕捉所述可打印音频格式的单个静态照片图像；

(b)处理所述单个静态照片图像，以从中提取与所述音频信号相对应的数据信号；

(c)将所述数据信号转换为所述音频信号；以及

(d)再现所述音频信号。

处理所述打印音频格式的操作还可包括将所述数据信号解码为数字音频信号，所述数字音频信号被转换为所述音频信号。

对于所有方法，所述数据信号和所述数字音频信号都可被存储，并且所述数字音频信号和所述音频信号都可被放大。通过使用短时傅立叶变换和码激励线性预测中的至少一种来实现所述解码。

所述捕捉操作可包括：

(a)定位所述打印音频格式的至少三个中央轨道标记；

(b)验证至少三个中央标记；

(c)定位所述中央轨道上的其余标记；以及

(d)整理所有中央标记。

所述定位所述至少三个中央标记的操作包括在中央区域搜索所述至少三个标记，并且在定位所述至少三个标记之后，检查所有其余标记的位置。可以执行块匹配搜索。

如果在所述中央区域中的搜索失败，则在上方区域中继续搜索，如果在所述上方区域中的搜索也失败，则在底部区域中继续搜索。如果在全部三个区域中的搜索都失败了，则执行盲解码。所述上方区域、中央区域和底部区域都是预定的。

在另一优选方面中，提供了一种用于编码为可打印音频格式的音频信号的声音再现的方法，该方法包括：

(a)使用数字静态照相机捕捉所述可打印音频格式的单个静态照片图像；

(b)处理所述单个静态照片图像，以从中提取与所述音频信号相对应的数据信号；

(c)从所述打印音频图像数据中取得音频标签；

(d)搜索存储音频的数据库，以获得具有相同音频标签的存储音频；以及

(e)如果找到具有所述音频标签的存储音频，则取得所述存储音频并以便再现所述存储音频。

另一方面提供了一种可打印音频格式，包括：

(a)音频信号的打印编码；

(b)多个隔开和平行的轨道；

(c)位于所述多个轨道之间的所述音频信号的打印编码。

每个轨道可包括至少一个标记。每个轨道中可以有多个相等间隔的标记。标记可以是实心的或空心的。所述标记可以是圆的。可以有三条轨道，包括顶部轨道、中央轨道和底部轨道。

所述打印编码是通过使用短时傅立叶变换和码激励线性预测中的至少一种实现的。或者或额外地，可以通过使用短时傅立叶变换来进行编码，以产生多个帧，在打印之前，每隔一帧删除一帧。

所述多条轨道中的每一条中横向对齐的标记都能够被可用来确定所有其他标记的位置。所述中央轨道可具有编码了数字数据的标记。所述数字数据可包括音频标签。

所述打印编码可通过使用灰度级实现的，在单元配置中，所述灰度级的每个点具有至少一个白色保护位。所述单元配置可以是2×2单元，所述点在2×2单元的一个片段中，所有其他片段都用于保护位。或者，所述单元配置可以是1×2单元，没有水平保护位。

在编码之前，可以从所述音频信号中去除范围0到125Hz的频率。

所述打印编码可包括：第一部分，其中所述编码在第一方向上进行；以及第二部分，其中所述编码在第二方向上进行。

所述打印音频格式也可被布置在多个部分中，所述多个部分的连接顺序被包含在每个部分的头部数据中。

关键音频数据离所述中央轨道较近。

或者或额外地，所述可打印音频格式可包括中央标记和以所述中央标记为中心并围绕所述中央标记布置的音频信号的打印编码。所述音频信号的打印编码包括多个在列中径向布置的短时傅立叶变换音频帧，其中较低的频率在每列的径向外围部分，较高的频率在每列的径向内部部分。所述音频帧可仅用于量值。

倒数第二个优选方面提供了包括图像和上述可打印音频格式的照片。可打印音频格式可以是图像的一部分，或者在图像周围的边缘中。可打印音频格式可以在自粘签条上，以便附着到照片、包含照片的相册页以及包含照片的相框之一上。

根据最后一个方面提供了一种用于亮度(luminance)平滑的方法，包括：

(a)确定打印音频格式的提取出的标记的亮度；以及

(b)改变围绕所述提取出的标记的区域的明度(brightness)级别，以获得所述打印音频格式的更均匀的照明。

在步骤(a)之前形成提取出的标记的网格，其中所述提取出的标记构成所述网格的顶点。可以通过从所述提取出的标记插值来确定亮度。

附图说明

为了全面理解和容易实际应用本发明，现在通过非限制性示例的方式，参考附图来描述本发明的优选实施例，在附图中

图1是第一实施例的前视图；

图2是第一实施例的后视图；

图3是图1的实施例的框图；

图4是具有打印音频格式的照片的前视图；

图5是用于捕捉打印音频格式的第一实施例的侧视图；

图6是第二实施例的前视图；

图7是第三实施例的前视图；

图8是第四实施例的前视图；

图9是第五实施例的前视图；

图10是第六实施例的前视图；

图11是第七实施例的前视图；

图12是打印音频格式的优选形式的前视图；

图13是图11的打印音频格式的一部分的放大视图；

图14是单元配置的第一形式的图示；

图15是单元配置的第二形式的图示；

图16是打印音频格式的第二形式的图示；

图17是打印音频格式的第三形式的图示；

图18是用于捕捉打印音频格式的图像和重放音频的流程图；

图19是用于捕捉音频和创建打印音频格式的流程图；

图20A、20B和20C是中央标记搜索的3个图示；

图21A、21B、21C和21D是细化阈值的四个示例的图示；

图22是用于测试标记是实心还是空心的样本位置的图示；

图23A和23B是备选标记配置的图示；

图24是径向配置的图示；

图25是亮度平滑的图示；以及

图26是第八实施例的图示。

具体实施方式

参考图1到3，其示出了数字静态照相机10。虽然示出了简单形式的数字静态照相机，但是本发明可应用于所有形式的数字静态照相机，包括单反照相机、静态照相机模式下的数字运动图片照相机、具有数字照相机功能的移动电话，以及具有数字照相机功能的个人数字助理，因此，术语“数字照相机”应被相应解释。

照相机10具有总地标记为12的成像系统，包括镜头14、取景器16、快门18、内置闪存20、快门开关22以及其他控制装置24。照相机10内部有：图像捕捉器件36，例如电荷耦合器件；处理器26，用于处理以已知方式接收的图像数据；存储器28，用于将每个图像存储为图像数据；以及控制器30，用于控制被发送以在显示器32上显示的数据。处理器26执行传统的数字照片图像处理，例如对捕捉到的照片图像进行压缩和格式化。包括图像捕捉器件36的成像系统12能够拍摄和捕捉日常情景的照片图像。成像系统12可具有固定或可变聚焦、变焦和数字静态照相机中具有的其他功能。

照相机10能够被用来从打印音频格式48(图4)中捕捉、提取和再现音频。照相机10以将在下文描述的方式朝向打印音频格式48，并且成像系统12被用来捕捉打印音频格式48的图像。处理器26从打印音频格式48中提取编码后音频数据，并将编码后音频数据传递到用于对音频数据解码的解码器34。解码器34接收编码后音频数据并对其进行解码，以便给出音频数据。

解码器34将解码后音频发送到用于模拟音频放大的放大器38，以使其可通过声音再现器件40输出。放大器38可包含普通形式的模数转换器，以便转换数字音频以供再现，或者放大器38可以是转换器37的一部分，如图所示。

处理器26可以独立于或集成到解码器34和/或放大器38。声音再现器件40可以是扬声器42和/或耳机/头戴式耳机插孔44。

此外，数字静态照相机10可以具有内置的麦克风46，以使得照相机10能够与拍摄照片同时地或基本地同时捕捉和存储音频。音频可被存储在存储装置47中的数据库中以供后续处理和可能的后续再现。当存储在存储装置47中时，音频标签作为标识符被附加到音频，以使得音频可在需要时被找到。麦克风46的输出在编解码器34中被编码，然后被发送以供打印。打印可以由照相机10中内置的打印机41或由单独的打印机进行。打印时，编码后音频是打印音频格式。麦克风46的输出可以在模数转换器中从模拟转换为数字。模数转换器可以是转换器37的一部分，从而使得转换器37成为数模和模数转换器。

优选地，照相机10的镜头14能够在较近的距离(例如4cm)处聚焦。为了辅助实现这一点，控制装置24中的一个可以用于微距设置(macro setting)，或者可以用于捕捉打印音频格式48的图像的专用设置。

图4示出了其上具有图像44或其他数据的文档、打印照片或其他携带图像的打印对象42。图44可以占据照片42的一个表面的全部，或者优选地具有边缘46。包含编码后音频的打印音频格式48位于照片42上，并且优选地位于边缘46中。如果需要或希望的话，打印音频格式48可以位于照片42的后面。

为了使镜头14与打印音频格式48之间有合适的距离，可以使用附件或内置设施进行帮助。图6到10示出了这些情形。图6示出了使用内置于照相机10中的单个光源50。或者，它可以独立于照相机10，但是可拆卸地附接到照相机10。光源50可以是定向到或对准照片42的窄角LED或低功率激光器，具体而言，其位于打印音频格式48上的或邻近打印音频格式48的规定位置处，例如末端、中央，等等。照相机10可以朝着或远离打印音频格式48移动。处理器26可以连续评估通过镜头14接收的输入视频流，以获得有效的打印音频格式48。这种作法的问题在于：连续评估的额外计算需求、不受控制的照明，以及当镜头14与打印音频格式48不平行时引入的透视失真。

为了解决连续评估的问题，可以使用图7的实施例。这里有一个与第一光源50相隔开的第二光源52。此外，光源50和52二者或之一可以内置在照相机10中(如图所示)，或者可以独立于或可拆卸地附接到照相机10。光源50、52被聚焦，从而当镜头14位于距打印音频格式48规定距离处时，它们的光束相交。以此方式，处理器26只需处理打印音频格式48一次。

为了解决透视失真问题，可使用图8的实施例。该实施例与图7相同，但是它还使用了第三光源54。光源54与光源50、52相隔开。当三个光源50、52和54的光束聚焦于一点上时，镜头14位于距打印音频格式48正确的距离处，并且平行于打印音频格式48。光源54也可被内置于照相机10中(如图所示)，或者可以独立于或可拆卸地附接到照相机10。或者，三个光源50、52、54可以安装在可附接到照相机10的一个支架(未示出)上。该支架还可包含用于光源50、52、54的电源。

如图26所示，又或者，在照相机10的一个位置2601处可以有两个或三个光源。每个光源具有一个光束2602，各个光束彼此岔开。对于三个光源，光束2602将形成打印音频格式48上的三角形的顶点。如果不使用两个或三个光源，则也可以使用一个光源2603，其具有一个或多个透镜，以便形成两个或三个岔开的光束2602。当照相机10位于距打印音频格式48正确的距离处并且平行于打印音频格式48时，岔开的光束2602将位于或邻近打印音频格式48的角2604处。

图9示出了进一步的实施例。这里示出了附件56，其将被置于镜头14上和/或周围，并且被置于照片42上，从而镜头14位于打印音频格式48正上方、与之平行并相距正确的距离。

附件56包括具有中央开口60的顶部58，该中央开口60的形状和大小使得镜头14能够穿过(如果镜头14从照相机10凸出)，或者使得镜头14能够通过该开口进行操作。不论以哪种方式，开口60的大小和形状都允许镜头14能够捕捉打印音频格式48的图像。至少两个相对的面62从顶部58垂下，面62具有使得镜头14与打印音频格式48相距正确的距离所需的高度。面62可以由任何合适的材料制成，并且可以是实心的、透明的、半透明的或不透明的。优选地，有四个相互垂直的面62。

如果需要，则附件56可以包括安装在一个或多个面62中的一个或多个光源64，以提供对打印音频格式48的照明的控制。光源64可以是LED，并且可以被独立供电，或者可由照相机10电池供电。为了最小化来自光滑或类似表面的反射，光源64优选地被漫射体漫射，或者在面62中被放置得尽可能的低，以使它们在镜头14的可视区域之外。为了帮助实现这个目的，附件56可以比打印音频格式48的长度宽。因此，面62可以有不同的宽度。优选地，附件56的内部尺寸(宽度W和深度D)略大于打印音频格式48的相应尺寸。

在捕捉打印音频格式48的图像时，有可能不只捕捉到打印音频格式48。打印音频格式48周围的照片42的一些内容也可能被捕捉。在此情形下，在捕捉到图像之后，处理器26要么从整个图像中提取编码后音频数据，丢弃捕捉到的非打印音频格式数据，然后提取编码后音频数据，要么从捕捉到的图像中提取与打印音频格式有关的数据，然后从打印音频格式的数据中提取编码后音频数据。

图10示出了一种备选形式，其中面62被4个角腿68取代。每个腿68位于面62的相交处。腿68的高度和间距优选地与面62相同。

图11示出了又一实施例。除了取景器16取景框(frame)11之外，照相机10的其他部分没有改变。如图所示，取景器16取景框11的视野中有打印音频格式48。利用形成取景框11的一部分的取景框指示(frameguide)13，当打印音频格式48的角被取景框指示13覆盖时，打印音频格式48被基本正确地进框，这样就减小了透视失真，并帮助以合理的精度捕捉打印音频格式48中的数据。至少需要两个取景框指示13——打印音频格式48的每端有一个，优选地在打印音频格式48的对角处放置。但是，如图所示，优选使用4个取景框指示13。取景器16可以是光学的也可以是电子的，例如在LCD显示屏中，等等。

如果需要，并且如果照相机10具有取景框指示，则微距功能13可以仅在照相机10处于微距模式中时出现在取景框11中。

图12到14示出了打印音频格式48的优选形式。打印音频格式48可以使用短时傅立叶变换(“STFT”)编解码器和/或码激励线性预测(“CELP”)编解码器来编码和解码。STFT编解码器使用连续灰色调，而CELP编解码器使用黑色和白色。

打印音频格式48是包含音频内容49和用于辅助照相机10的提取的各种标记的打印输出。标记被布置在多条轨道(rail)中，优选地有3条轨道——顶部轨道70、中央轨道72和下部轨道74。可以有从1往上的任意数量的轨道，例如包括1、2、3、4、5，等等。音频内容49围绕中央轨道并且位于轨道之间，不论轨道数量是多少。轨道一般是平行的，并且间距相等。如图所示，在三条轨道70、72和74的情况下，音频内容49位于两个区域中——一个在顶部轨道70和中央轨道72之间，另一个在中央轨道72和底部轨道74之间。

轨道70、72和74优选地：

·抗信道差错

·旋转不变

·能够经受局部剪裁

·独立于音频编解码器，从而相同的轨道既能与CELP又能与STFT一起工作；

·在360dpi情况下能装进1”×1”区域内；

·能够辅助快速标记提取；

·能够内嵌存储的音频标签；以及

·灵活性和可扩展性。

存储的音频是被数字地(可能是永久地)存储在照相机音频数据库中的捕捉到的音频。可以使用CELP或其他合适的标准压缩(例如ADPCM)来压缩存储的音频。每个音频片断的存储都具有一个唯一的标签号。当存储的音频被编码为打印音频格式时，音频标签被编码在打印音频格式的头部中。在解码期间，以及在定位中央轨道之后，头部首先被解码，并且存储的音频标签被提取。基于提取出的标签，处理器可在数据库中寻找存储的音频。如果找到了，则它将回放存储的音频。如果没有在数据库中找到，则它将对打印的音频进行解码。

以此方式，如果包含音频数据库的相同的照相机或相同的照相机存储器件(例如闪存卡、存储棒等)被用来捕捉和回放音频，如果音频仍存储在数据库中，则它可通过音频标签被找到、被从数据库中提取，并且被直接从数据库重放，从而去掉了解码步骤。

每条轨道70、72和74都包括多个等间距并垂直对齐的标记76。如图所示，标记76优选地是圆形的，但是它们可以是其他形状的，例如方形、八角形、椭圆形等。它们可以是实心的78或空心的80。标记76优选地是旋转不变的，以便实现快速圆检测。通过使用实心标记78或空心标记80来编码数据比特，标记兼当数据存储装置。

标记76的大小和标记间距离是固定的。这样，只需要两个标记就能确定其他标记的位置，从而简化了标记检测。第三标记可用来验证这两个标记。数据区域高度可以改变，这种改变优选地被编码在中央轨道72中。

图20示出了对标记76的检测，其开始于在中央区域82中的中央轨道72中搜索3个标记——图20(a)。这些标记被验证。如果发现标记无效，则在其他区域继续搜索，如下所述。在定位到三个标记的情况下，其余标记的位置被预测。然后执行块匹配搜索，以细化预测位置。预测位置是很重要的，因为它减少了搜索时间并提高了搜索可靠性。

如果在预定的中央区域82中对3个标记的搜索失败了，则在上部区域84中继续搜索——图20(b)。如果也失败了，则在底部区域86中继续搜索——图20(c)。如果3次搜索都失败了，则假设打印音频格式48位于理想位置，并执行盲解码。盲解码假设中央轨道72位于捕捉到的图像的正中央。

给定3个中央标记位置p0、p1和p2，其中p0在p1左侧，p1在p2左侧，则下一个预测的左侧标记的位置为pLeftPredicted＝p0+(p0-p1)。通过执行块匹配来细化该位置，pLeft＝BlockMatch(pLeftPredicted)。

然后，新位置被用来预测其左侧的标记。当不能找到更多的标记76时，该搜索终止。然后，类似的技术被用来搜索这3个标记右侧的标记76。

中央轨道72中的所有标记都被从左到右地整理。

给定中央轨道72，就可以预测外围轨道70的标记76。

1.令中央轨道72中的最左侧4个标记76为p0、p1、p2和p3；

2.通过dir＝p3-p0给出方向向量。

使用p3而不是p1和p2，是因为p3距离p1更远，因此由于有瑕疵的块匹配所导致的相关性误差被放大的程度也最小。

3.该向量被逆时针旋转90°，得到dirUp＝rotate90(dir)；

4.归一化，dirUpN＝normalize(dirUp)；

5.最左侧的顶部轨道70标记76具有估计位置：

pTopLeftMarkerPredicted＝p0+dirUpN×DistanceToTopRail；

6.搜索最优位置以得到

pTopLeftMarker＝BlockMatch(pTopLeftMarkerPredicted)。

如果pTopLeftMarker在图像之外，则位置不被细化；以及

7.可使用pTopLeftMarker+(dir/3)来估计下一顶部轨道70标记76。

对底部轨道74重复这些步骤。唯一的改变是90°旋转，对于底部轨道74来说该旋转是顺时针的。

对于中央轨道72，确定标记76的类型是实心的78还是空心的80，以便提取编码后数字数据。这是头部。基于头部，知道到外围(顶部70或底部74)轨道的距离。利用该信息，可以预测外围标记可能在哪里。如果预测结果在图像内，则它将通过搜索而被微调。如果预测位置在图像边界之外(由于剪裁的缘故)，则预测位置被用于数据提取。

给定矩形区域R和作为标记的样本图像的模板T，执行从左到右、从顶部到底部的相关性搜索。通过使用试探法，这可以与最小距离聚类(minimum distance clustering)相耦合：

对于区域R中的从左到右的x

  对于区域R中的从顶部到底部的y

      对位置(x，y)处的模板T作相关性计算，以获得相关性值c

      如果(c反映了很高的相关性)

          取得到前一标记的海明(Hamming)距离d

          如果(d<MinDistance)

               如果c更好，则替换前一标记

          否则

               添加新标记。

               存储其位置和c

MinDistance是两个标记76之间的固定距离，“相关性计算”可以使用绝对差之和(sum-of-absolute-difference)近似，该近似一般在用于MPEG运动估计中的块匹配的视频处理器中实现。

验证中央轨道72中的标记76需要：

1.至少3个标记76；

2.标记1、2和2、3之间的距离应当相同；以及

3.端点在标记1、2处的线与端点在标记2、3处的线之间的角度应当

相同，以确保它们是共线的。

如果上述任一条件不满足，则输入图像作为无效图像而被丢弃。这对于使得用于连续视频流分析的计算时间最小化是有用的。

3条轨道70、72和74被使用，但是提取操作仅需要中央轨道72。丢失的或部分的外围轨道70、74降低了STFT编码的质量，但是不会导致不能解码。但是，CELP编码要求所有3条轨道70、72和74提供的准确性。外围轨道70、74可以被用来提高准确性。它们还可被用于镜头失真矫正，因为中央轨道72一般接近镜头14的光学中心，而光学中心具有最小的失真和散焦。中央轨道72还可用来快速丢弃无效的打印音频格式48。三条轨道70、72和74比一条中央轨道72提供更大的头部数据容量。

打印音频格式48的高度和长度都是可变的。长度可以变化，以提供更多的位给存储的音频标签。

打印音频格式48的配置可以如下所示：

               标记间间隙，          Mg

顶部标记       直径，  Md         O   O   O

间隙1，        G1

顶部数据，     Dt                 XXXXXXXXX

                                  XXXXXXXXX

                                  XXXXXXXXX

间隙2，        G2

中央标记                          O   O   O

间隙3，        G3

底部数据       Db                 XXXXXXXXX

                                  XXXXXXXXX

                                  XXXXXXXXX

间隙4，        G4

底部标记                          O   O   O

O＝标记

X＝数据

下面的属性是从打印音频格式48的参数中得到的。

中央到顶部外围轨道  ＝Md+G1+G2+Dt

中央到底部外围轨道  ＝Md+G3+G4+Db

沟槽1               ＝ceil(Md/2)+G1

沟槽2            ＝-(floor(Md/2)+G2)

沟槽3            ＝ceil(Md/2)+G3

沟槽4            ＝-(floor(Md/2)+G2)

中央轨道72到外围轨道70、74被用来预测外部轨道70、74的位置。沟槽1到沟槽4用于数据提取期间。

可以使用实心标记78和空心标记80(分别代表“0”和“1”)将音频标签编码在中央轨道72中。通过将标记中心与相邻颜色进行比较来区分两种类型的标记78、80。利用阈值来发现和测试差别，以判定它是空心标记80还是实心标记78。使用差别对照明变化给出了更好的容许度，如图21所示，其中：

+是标记中心；并且

x是相邻像素。“x”位于空心标记边缘正中，例如，如果标记直径为7(半径＝3.5)，则距离将大约是2。

从左到右进行分析，以使最低有效位位于左侧。这允许最后的字段(音频标签)的长度随打印音频格式48的长度而变化。

一种配置可以是：

 

位的位置	描述
		0	保留，总是1
1	保留，总是0
		2	第一戳指示符0—额外的戳1—第一戳
3，4	编码类型(例如STFT或CELP)
		5	单元配置0—1×21—2×2
6—8	额外的打印音频的索引(用于多个打印音频)对于第一打印音频，它是额外的打

 

	印音频的数量。
		9—31	存储的音频标签
32	最后一位被设置为0，它与位0是相反的，用于检测颠倒的戳。

如图14所示，这些位优选地被打印在具有3个保护位的2×2单元1300中，如下：

位(1301)       保护位(1302)

保护位(1304)   保护位(1303)

位可以是黑色或白色的，用于分别代表“1”或“0”，或者可以是连续的灰色调。保护位是白色空间，并且允许点增益(dot gain)。使用没有保护位的单元将导致位差错的增加。数据区域49可能每列有82个单元，每片段有5列。数据从左向右、从顶部向底部流动。

由于纸张吸收和有瑕疵的打印，黑点扩散出它的边缘。通过使用2×2单元配置1300中的保护位(1302、1303、1304)来应对这个问题。保护位假设扩散小于一个像素，从而得到清楚的输出。但是，例如由于捕捉期间的镜头瑕疵，可能发生进一步的恶化，从而进一步污染图像。

来自喷墨打印机的点扩散到其像素边缘之外，导致点增益。纸张吸收和限制其向相邻区域的扩散的能力对于最小化点增益来说是非常关键的。如果300dpi的小滴扩散到一个周围像素，则它仅相当于150dpi；如果它扩散到两个周围像素，则它仅相当于75dpi。例如，如果打印两个黑点并且在它们之间留有一个白点，则点增益导致白点呈灰色，或者在很多情形下呈黑色。有涂层的纸抗吸收，而无涂层的纸允许较大的吸收，从而显示出更大的增益。影响点增益的其他因素是墨水粘度、边缘现象(rimming)以及机械瑕疵。这些因素不被控制以允许变化。这样能够适应各种打印机。能够被控制的是将点放置在哪里以最小化干扰，以及所使用的墨水和纸张类型。

点增益可能会使得打印输出显得较暗，从而增加解码差错。标准作法是通过使用伽马(gamma)矫正或经校准的矫正“加亮”源图像来补偿点增益。伽马矫正的优点是保持了动态范围。缺点是增益是非线性的，如果被过度使用的话可能会导致失真。通过在将点增益控制与图像结合或合成之前执行额外的伽马矫正，可以经验性地改善点增益控制。在此情形下，额外的伽马矫正仅影响打印音频格式48，而不会影响图像44。然后，打印机驱动器可在整个文档42上执行其标准伽马矫正。

水平点增益可能多于垂直点增益。这可能是由于打印头水平移动，从而点在碰到纸之前以水平速度运动，造成水平污迹。通过利用小的垂直点增益，可以去除垂直保护位，并且使用1×2单元。

CELP将16位8Khz话音编码为30ms帧中的4800bps流。每个CELP帧具有144位或18字节。里德所罗门前向纠错码(Reed Solomon ForwardError Correction code)可以被附加到CELP帧的块：

·CELP块由82个单元的25列组成，总共82*25位＝256.25字节；

·每个块仅使用255字节，留下10位不用；

·每个块能容纳12个CELP帧，占用12*18＝216字节；以及

·里德所罗门码占用其余的39字节。

CELP打印音频格式的特性是：

·每个打印音频格式都是独立的；

·对于2.5秒的音频持续时间来说，打印音频格式的大小大约是1”×0.5”；

·每个块可被独立解码，并容许19个单字节差错；

·块是自治数据单位；

·每列有82个单元；

打印音频格式容量＝14,350位或约1.8KB，其中有82个单元的175列。

·扣除纠错码的有效容量大约是1.5KB。

差错容许率指的是单个块。但是，基于信道差错，远离光学中心的图像边缘处的某些块比中部的块更易于出现差错。对这些高危块可以使用较高的差错容限，但是这会降低容量。一种备选方案是在打印音频格式48上交织数据。交织的优点是容量保持不变。缺点是在解码能够开始之前，整个打印音频格式48必须都被提取。如果图像中少了打印音频格式的一侧，则整个打印音频格式都可能是不能用的。交织一些块而不是整个打印音频格式48可以提供更好的解决方案。

在STFT编码中，8位8000Hz话音首先使用以下参数被转换为STFT：

·256窗口大小；

·汉宁加窗函数；

·128跳大小。

然后，数据被转换为量值和相位，从而每帧有128个量值和128个相位。128个量值被编码，而128个相位被丢弃。在与此同期提交，并基于2003年12月19日提交的我们的题为“Method and System to Process aDigital Image”的美国临时申请60/531,029并要求享受其优先权的共同未决PCT和美国专利申请(其全部内容通过引用而结合于此)中，公开了一种提供了用于在解码期间重构相位的高效和容错的过程的方法。

使用单个列编码128个8位值，从而每列保护一个完整的帧。如上所述，单元配置是2×2，包括一个数据位和3个保护位，这与CELP的配置是一样的。与数字CELP不同，以连续灰色调而非黑色或白色来呈现数据。颜色可以被反转，从而255变为纯黑色，0变为白色。

为了提高差错容限，STFT频带可被划分为3个组，并且更重要的较低频带可被放置在离中央轨道72较近处。对于STFT每列的82个单元来说，频带32到72可以是从中央轨道72到底部轨道74；频带0到31以及频带72到81可以是从中央轨道72到顶部轨道70。该原理可扩展到每列128个单元。

如果使用每列128个单元，则大小将增加。为了减小大小，82个单元被编码，以使得与使用CELP时有相同的大小。在128个频带中只保留82个频带意味着频率范围仅达2.6kHz，而非4kHz。

通过丢弃前四个频带(0到125Hz)，可以增大频率范围，因为小的扬声器不能再现它们。从第48个频带往上，每隔一个频带进行编码，因为较高频率的功率更可能比较低频带的功率弱。这有效地将频率范围增加到大约3.7kHz。在解码期间，从丢失的频带周围的频带线性地插值，以获得丢失的频带。前四个频带和最后几个频带保持为零。

彩色喷墨打印机仅能打印实心色彩。在大多数情况下，这些色彩是青色、品红色、黄色和黑色(CMYK)。当打印灰色“点”时，小的黑色点在被称为点染(half tone)的过程中以特定图案被打印，以模拟灰色。人眼看到灰色而不是单个点，因为点太小了，不能被分辨功率为1弧分(arc-minute)的人眼辨识。小于1弧分的任何东西都被取平均。但是，扫描仪可以辨识超过1弧分，因而实际上可以看到点而非灰色。

在给定点染图像的情况下导出灰色值的过程是反点染(inversehalftoning)。照相机镜头14的低通性可被用来执行“取平均”。额外的取平均可在提取过程期间，通过区域采样执行。因为点染和使用了灰色，模拟灰色调编码可能需要分辨率较高的打印机。

照相机镜头使图像的几何形状弯曲，导致桶形和枕形失真。镜头的“分辨率”恶化，而且远离其中心地散焦。可以执行镜头失真矫正来纠正这种情况。通过将关键数据置于中央轨道72附近，可进一步减轻该问题。

曝光时间影响模拟(灰度级)数据，因为它不仅确定“增益”，而且还确定分辨不同灰色深浅的能力。错误的曝光时间可能导致图像过曝(overexposure)或欠曝(under-exposure)，而且可能压缩灰度级，从而导致劣质数据提取，对于模拟编码尤其如此。不正确的曝光可能导致音频由于过曝而听起来“单薄”，或者由于欠曝而具有过度的“回声”和“失真”。使用图示的覆盖打印音频格式48的不透明罩可以帮助克服这个问题。

从打印音频格式48提取音频数据包括从标记76位置进行线性插值以获得单元位置。

对于数字提取而言，阈值处理是动态地完成的。提取开始于对片段的所有单元进行双线性采样，平均值被用作为阈值，以便将灰度级转换为二进制数。一个片段由矩形配置的4个相邻标记76包围。这种方法假设“0”和“1”位是平均分布的。这比固定阈值的工作效果更好，在照明不均匀的情况下尤为如此。使用整个打印音频格式48而不是仅仅一个片段来导出平均值，可以得到“0”和“1”的更平均分布，但是假设照明对于整个图像来说是恒定的，而这很有可能是不真实的。最小和最大提取值也被存储以便细化阈值。

如果相邻点是黑色的，则白点会较暗。当扫描从左到右、从顶部到底部进行时，如果顶部或底部点是黑色的，则阈值被调整，从而获得提高的准确度，在靠近打印音频格式边缘的失焦区域处尤为如此。类似地，当周围像素为白色时，阈值被调整。图21示出了如下调整：

左侧和顶部像素为白色：新阈值＝0.1*最大值+0.9*阈值(图21(a))

顶部像素为黑色：新阈值＝0.1*最小值+0.9*阈值(图21(b))

左侧像素为黑色：新阈值＝0.1*最小值+0.9*阈值(图21(c))

左侧和顶部像素为黑色：新阈值＝0.18*最小值+0.82*阈值(图21(d))权重是利用经验决定的。

为了模拟(灰度级)提取，取9个像素的平均值：一个中央像素和8个周围像素，每个偏离半个像素，以便获得更稳定的灰度值。偏好中央像素的偏置权重可被用来提高其准确度。然后，灰度值被反转和存储以供解码。

图16和17示出了音频持续时间的增加。

如图16所示，打印音频格式48可沿中央轨道72被一分为二。上半部分90编码音频的第一时段，而下半部分92利用减小了的频带或更小的单元来编码音频的第二时段。为了防止听到中断(由不均匀的照明造成)，在上部90和下部92之间的连接部分94处，下半部分92可以以倒序编码，从而连接部分94在两个半部分90、92的同一端上。

作为附加或备选，通过每隔一个STFT帧丢弃一帧，可以执行2×时间缩放。提取通过执行0.5×时间缩放来减慢它，从而执行“反向”时间缩放。此外，通过使用1×2单元可以使用水平压缩，在1×2单元中，两个保护位被删除，以给出结构：

位3

保护位，

从而将每位所需的空间减半。

图17示出了使用多个打印音频的情况。这里存在四个打印音频1601、1602、1603和1604。它们的图像优选被同时捕捉。或者，它们可以根据需要或希望而被单独捕捉。为了解决不透明镜头附件内的不均匀照明问题，它们在编码中交替，从而第一1601被从左到右编码，第二1602被从右到左编码。对后面两个1603、1604也是如此。以此方式，1601和1602的图像可以被同时捕捉，1603和1604随后被捕捉。处理器将所有数据组合为一个，并使用头部数据来控制该任务。同时重放所有音频。

图18示出了用于音频再现的整个过程：

-  捕捉图像(1700)

-  从图像中提取打印音频格式48的数据(1701)

-  通过搜索找出3个中央标记(1702)

-  提取头部数据(1703)

-  提取音频标签(1704)

-  搜索数据库以获得音频标签(1705)

-  如果音频标签在数据库中(1706)，则音频被提取(1711)，然后被放大(1709)和再现

-  如果音频标签不在数据库中(1706)，则音频被解码(1707)，解码后音频随后被转换(1708)和放大(1709)，或者被放大(1709)和转换(1708)

-  音频被输出(1710)

图19示出了用于对音频进行编码的过程：

-  捕捉图像(1800)

-  记录音频(1801)

-  转换音频(1802)

-  编码音频(1803)

-  给音频加标签(1804)

-  插入头部数据(1805)

-  存储编码后数据(1806)

-  最后发送以供打印(1807)。

如果输出(1710)是由与计算机、声音系统等结合起来使用的照相机10为音频再现而进行的，则可去掉转换(1708)和放大(1709)。

图23示出了打印音频格式48的两种备选格式。图23(a)示出了不考虑透视失真的情况，因此每个音频内容49仅需要两个标记76。

标记76可以布置在音频内容49外围周围或附近的任何位置，但是优选位于或邻近音频内容49的角。

如果要包括透视失真矫正，则每个音频内容49至少需要3个标记76。这在图23(b)中示出。同样，标记73被布置在每个音频内容49外围周围或附近，并且大多数位于或邻近每个音频内容49的角。但是，这不是必要的，如图所示，标记76’位于音频内容49的一侧边缘的中间。

如图24所示，可以使用圆形标记打印音频格式210，其中中央标记76和单个音频内容49与标记76共心地布置。布置在列212中的STFT量值帧可被用来在径向上扩展标记76，其中低频带位于外围，并扩展到邻近标记76的高频带。

图25示出了亮度平滑。这里，每个提取出的标记76的亮度都被用来预测其周围区域的明度。通过获得预测的明度，可以使提取出的标记76周围的区域变暗或变亮，以获得打印音频格式48的更均匀的照明。

首先，形成网格310，其中提取出的标记76的亮度构成其顶点。通过从提取出的标记76的亮度进行双线性插值，可以估计网格310内的亮度。还可以使用更高阶的插值，例如立方插值。得到的亮度图可随后被用于明度的平坦化处理。

在图25中，实心圆是提取出的标记76，Li表示它们相应的亮度。亮度值是提取出的标记的平均灰度值，或者，如果它是彩色标记，则亮度Li＝(0.299*红色)+(0.587*绿色)+(0.144*蓝色)，其中红色、绿色和蓝色是标记的平均红色、绿色和蓝色。

为了矫正任意点P处的亮度，执行以下处理。

令最亮标记的亮度为Lmax＝max(Li)。

点P处的亮度Lp可以从L1、L2、L3、L4或更多相邻顶点插值得到。

令点P处的提取出的灰度级为Gp。

于是，亮度矫正后的灰度级Gp’＝Gp*(Lmax/Lp)。

虽然上面已经描述了本发明的优选实施例，但是本领域的技术人员应当理解，在不脱离本发明的情况下可以就设计、构造和操作的细节作出多种变化或修改。

Claims (24)

1.一种可打印音频格式，包括：

(a)音频信号的打印编码；

(b)多个隔开和平行的轨道；以及

(c)位于所述多个轨道之间的所述音频信号的打印编码，

其中每个轨道包括至少一个标记，并且其中所述打印编码包括：第一位置，其中所述编码在第一方向上进行；以及第二部分，其中所述编码在第二方向上进行。

2.如权利要求1所述的可打印音频格式，其中每个轨道中有多个相等间隔的标记，每个标记都是从由实心标记和空心标记组成的组中选出的。

3.如权利要求1所述的可打印音频格式，其中所述标记也被用于对数据编码。

4.如权利要求2所述的可打印音频格式，其中有三条轨道，包括顶部轨道、中央轨道和底部轨道。

5.如权利要求1所述的可打印音频格式，其中所述打印编码是通过使用短时傅立叶变换和码激励线性预测中的至少一种实现的。

6.如权利要求1所述的可打印音频格式，其中所述多条轨道中的每一条中横向对齐的标记都能够被用来确定所有其他标记的位置。

7.如权利要求4所述的可打印音频格式，其中所述中央轨道具有编码了数字数据的标记。

8.如权利要求7所述的可打印音频格式，其中所述数字数据包括音频标签。

9.如权利要求1所述的可打印音频格式，其中所述打印编码是通过使用灰度级实现的，在单元配置中，所述灰度级的每个点具有至少一个白色保护位。

10.如权利要求9所述的可打印音频格式，其中所述单元配置是2×2单元，所述点在2×2单元的一个片段中，所有其他片段都用于保护位。

11.如权利要求1所述的可打印音频格式，其中在编码之前，已经从所述音频信号去除了范围0到125Hz的频率。

12.如权利要求5所述的可打印音频格式，其中所述编码是通过用短时傅立叶变换产生多个帧实现的，在打印之前，每隔一帧删除一帧。

13.如权利要求9所述的可打印音频格式，其中所述单元配置是1×2单元，没有水平保护位。

14.如权利要求1所述的可打印音频格式，其中所述可打印音频格式被布置在多个部分中，所述多个部分的连接顺序被包含在每个部分的头部数据中。

15.如权利要求4所述的可打印音频格式，其中关键音频数据离所述中央轨道较近。

16.一种包括中央标记和以所述中央标记为中心并围绕所述中央标记布置的音频信号的打印编码的可打印音频格式。

17.如权利要求16所述的可打印音频格式，其中所述音频信号的打印编码包括多个在列中径向布置的短时傅立叶变换音频帧，其中较低的频率在每列的径向外围部分，较高的频率在每列的径向内部部分。

18.如权利要求17所述的可打印音频格式，其中所述音频帧仅用于量值。

19.一种包括图像和如权利要求1所述的可打印音频格式的照片。

20.如权利要求19所述的照片，其中所述可打印音频格式位于从由以下成员组成的组中选出的位置处：图像的一部分，和图像周围的边缘。

21.如权利要求19所述的照片，其中所述可打印音频格式在自粘签条上，以便附着到照片、包含照片的相册页以及包含照片的相框之一上。

22.一种包括图像和如权利要求16所述的可打印音频格式的照片。

23.如权利要求22所述的照片，其中所述可打印音频格式位于从由以下成员组成的组中选出的位置处：图像的一部分，和图像周围的边缘。

24.如权利要求22所述的照片，其中所述可打印音频格式在自粘签条上，以便附着到照片、包含照片的相册页以及包含照片的相框之一上。

Images