CN1513165A - 显示设备以及为用这种设备进行显示而编码的图像 - Google Patents

Abstract

在如个人计算机或移动电话等用于存储和显示图像的系统中，提供了一种显示设备，它根据与存储图像一起编码的镜像值选择性地显示真实世界的虚拟反射。照相机(302)提供实时环境图像数据，在CPU(100)的控制下，将所述数据存储在存储器(106，VRAM3)中。为得到透明效果，在透明度码(T)的控制下，把背景图像数据(RGB2)和前景图像(RGB1)混合。得到的象素值(RGB3)又和从VRAM3读出的环境图像数据(经左右调换(118)以仿真真实镜像)相混合，以输出到显示装置(300)。可用同样的方式利用来自另一照相机(310)的图像，以提供虚拟透明功能。通过控制图像各象素的透明度和反射效果，可以取得各种特殊效果和更逼真的显示。

Description

显示设备以及为用这种设备进行显示而编码的图像

本发明涉及在诸如个人计算机、个人数字助理或移动电话等设备中图像的存储和显示，尤其是数字形式图像的存储和显示。本发明还涉及适合用于这种设备的新颖格式图像的存储。

计算机显示设备在现代生活中非常普遍，无论在工作、信息或娱乐领域。诸如位图格式等多数图像格式提供三色坐标：红绿和篮(RGB)。所有其它颜色都可从这三种颜色得到。图像的各个像素(或有时是一组像素)用红色、绿色和蓝色强度定义。如果每个像素的每个颜色坐标使用8比特，则可定义2²⁴(＝一千六百万)种颜色。各种其它颜色坐标方案，比如HSV(色调、饱和度、值)和YUV(用于电视广播的强度和色差方案)可以映射到RGB或根据RGB映射，它们原理上是等效的。特定的格式利于电视传输，其它格式利于图像传输，另外的格式通过在需要的地方提供更精细的颜色分辨率而更利于人类的视觉灵敏性。

也存在压缩方案。它们可以是无损或有损的。当对图像进行解压缩时，它由每像素的RGB值或等效形式表示。更高级的方案对纹理进行编码。然而最终，解码后的图像包含每像素的RGB值。

另一种有用特性是能够指定部分图像将被视为“透明”。这意味着如果在逻辑Z轴上存在其它图像的地方显示所述图像，则将显示其下的图像。这种系统在例如美国5463728(B1ahut/AT & T)以及美国5896131(Alexander/HP)中进行了描述。透明性可以应用于很多图像。美国5480305(Montag/Southwest)把透明度描述为诸如云和雨这类对象的仿真三维(3-D)“天气要素”的属性，以仿真天气条件。

如果将像素定义为在任何像素位置处所有重叠图像中为透明，则最终的物理显示(通常)不会呈现透明；将某个RGB值传递到装置。所述值一般为“黑”或“白”或某些“背景色”。透明可以被视为伪色。它由“gif”文件支持。

本发明旨在增加可以通过现有显示装置取得的效果种类，且提议了显示装置的新颖特性。一般地说，本发明增加了另一伪色的可能性，它将被称为镜像码(mirror code)。这并不意味着图像的某部分要“水平翻转”，尽管可为此目的而设置一比特。它意味着(部分)显示图像实际上应该象物理镜子，仿佛像素是镀银的，在屏幕上向操作者显示看似显示设备所处真实物理环境的反射。这里要注意：美国6088018(DeLeeuw/Intel)提议一种用作计算机终端的用户输入装置，它把用户的镜像和正常的“桌面”显示相混合，以便用户可以通过手的运动虚拟地“抓”住图标等来和系统交互。为此目的，镜像在整个显示器上均匀地扩展，且从一个位于屏幕上方的前向照相机(也就是说，对所述显示设备前方的环境成像)获得。当然，照相机输入也供诸如视频会议等现代应用使用。

根据本发明，提供了一种显示设备，包括显示装置和用于存储数字数据形式图像的单元，其中所述数字图像数据所存储的格式为定义所存储图像不同部分的颜色值及附加镜像值；还包括用于控制显示装置以便根据存储图像各个部分的镜像值，选择性地显示真实环境的反射的单元。

可以在镜像值的控制下，按银色效果的物理再现来再现反射。或者，可以通过把由颜色值定义的颜色和从与显示装置相关的照相机实时接收的信息合并来再现反射，其中所述合并可以根据以图像数据格式存储的可能镜像值的范围，按可变程度实现。可以保留部分镜像值范围，以表示正常的镜像再现或左右调换的校正再现，以及相应再现的反射。可以在基于光栅的图像中为各个像素或像素组存储颜色值和镜像值。

用于控制显示的单元可以被配置为除了对从照相机得到的图像数据应用左右调换之外，还应用几何变换，以校正照相机相对于显示装置的屏幕上概念反射点的位移。

图像数据格式还可指定可变的镜子方向，反射的再现使得能够根据指定镜子方向反射真实环境的不同部分。镜子方向可以相对于显示平面用两个角度的形式指定。

根据本发明，还提供了一种与显示设备兼容的硬拷贝打印装置，打印机被配置为根据存储图像各个部分的颜色和镜像值，选择性地在记录媒体上沉积彩色镜样材料。

根据本发明的一个独立方面，还提供了一种显示设备，它包括显示装置和用于存储数字数据形式图像的单元，其中所述数字图像数据所存储的格式为定义所存储图像不同部分的颜色值及附加透明度值；还包括用于控制所述显示装置以便根据存储图像各个部分的透明度值，选择性地显示所述真实环境的一些部分的单元。本发明因此不仅限于镜面反射效果，而且还用于真实或“虚拟”的透明性，这与二维(2-D)显示中平面之间的常规透明性相反。

可以在透明度值的控制下，按物理透明度再现一些部分。或者，对所述一些部分的再现可以通过将颜色值定义的颜色与从与显示装置相关的照相机实时接收到的信息合并来进行。

图像数据格式还可以指定可变的透明方向，透明度的再现使得能够根据特定的透明方向来折射真实环境的不同部分。透明方向可以指定为相对于显示平面的两个角度的形式。

根据本发明，还提供了一种图像存储装置，其中所存储的图像数据为兼容于显示设备的颜色和镜像值的格式。

现在将参考附图对本发明的实施例仅作为例示进行描述，其中：

图1示意性地示出实施本发明的显示设备的主要部分；

图2说明图1所示显示设备的实际或表观功能；

图3A和3B说明本发明的某个实际实施例中显示设备的操作；

图4示意性地说明一般化的第一实施例中显示设备的功能；

图5说明利用常规的桌面PC(个人计算机)实现的第二特定实施例中设备的功能和结构；

图6示意性地显示第三特定实施例的结构和功能，其中显示监视器具有内置镜像效果。

图1示意性地显示基于计算机的显示设备。用于本描述目的的主要部件是中央处理器(CPU)100、存储器(RAM)102和显示装置(DIS)104。技术人员应理解，在典型的系统中，将提供很多别的部件，包括电源、输入装置(键盘、鼠标等)和大容量存储装置。这些装置是常规形式的，且无需为理解本发明而进行描述。

在存储器102中，提供了固定或可变部分106(此后称为图像存储器)，用于存储数字化图像，这些图像可以是静止或运动画面图像。可以对这些图像进行合成、或从诸如磁盘或光盘(CD ROM)等存储装置上检索、或通过网络业务接收。在本例示中，在位图(光栅)基础上组织图像存储器106，其中存储每个像素的红、绿和蓝色分量值。本发明不限于图像的位图存储，也不限于用于本例示中的特定RGB表示。诸如YUV的其它颜色坐标体系在本领域是众所周知的。高级或“基于对象”的图像表示也可以存储于图像存储器106中，并在显示装置104的读出期间转化为光栅格式。

如所述，本例示情况中的存储图像包括标为RGB1的RGB值，还包括定义存储图像各部分的透明度和反射率的单独的T码和M码。是否T码和M码只表示两级透明度或反射率(一比特值)，抑或可以表示很多级透明度或反射率(多比特值)，这是一个设计选择问题。

图2说明利用刚提及的所存储代码的新颖显示设备的理想效果。理想效果将表示为真实效果，可以根据随后的描述理解，在今天的技术里，实际上，这个效果将通过使用常规的诸如阴极射线管(CRT)或液晶显示器(LCD)的显示装置用数字技术来仿真。不过，从用户的观点来看，图2说明了理想效果。穿过显示屏幕的一个部分示意性地用200表示。光线X、Y和Z从屏幕的202、204和206部分分别到达用户的眼睛。在202处，屏幕是不透明的，具有如常规视频显示器中一样的彩色图像或图案。在204区，所存储图像被定义成透明的，因此可以由当前图像无阻碍地看到屏幕200“后面”的三角形物体。技术读者会理解，该“背景”图像一般是二维显示器的另一面，尽管在原理上物理透明的显示屏幕200是不可能的。202区的屏幕颜色可以以常规方式通过RGB颜色坐标表示。204部分的图像透明度也以常规方式用透明度码T的值表示。

根据如在导言中所定义的本设备的新颖特性，为图像各个部分存储的镜像码M表示图像包含行为表现就象理想镜子的部分。因此，用户在屏幕200上图像的206部分接收从立方形物体发出的光线Z，该物体物理上处于用户环境中。光线Z的路径以实线形式显示，它看起来如同镜面和屏幕200平行。当然，如果镜面相对于屏幕有角度，则可以跟随路径Z’而环境的某个其它部分应是可见的，在部分206的屏幕中“反射”。可以理解，倘若用户在图2中将她的头向上移，将会看到她自己的脸在图像的206部分中被反射。

图3A和图3B说明基于CRT或LCD显示屏幕300的新实施例中这种新编码的效果。将一个常规设计的前向数字照相机302结合到所述屏幕的外壳中。在屏幕300显示的图像中304部分是“透明”的，显示背景图像，比如微软视窗(TM)桌面。306部分是一件家具的“不透明”表示，该件家具包括镜子308的表示。还可以提供后向照相机310，以得到“虚拟透明”效果，将参考图5和6在下面进行说明。

图3A和图3B说明当显示屏幕300前面的物理环境变化时，所述图像外观的变化。也就是说，在图3A中可以看到镜子308中反射的用户。后来，第二“用户”坐在屏幕300前方，给出如图3B所示的镜子部分308改变了的外观。

本发明不排除这样一种类型的装置(屏幕300)的可能性，其中该种装置能够在图像像素包含非零镜像码M时，通过产生部分或近乎理想的似镀银表面来从物理上再现镜面。然而，实践中更为可能的是，将不得不以电子形式提供图像的镜像分量，且所集成的前向照相机302可用作这种信息源，这可见于下面更为详细的例子中。不用说，同样的照相机除了提供镜像效果，还有可能作为视频会议和其它应用中的输入装置。

类似的，存在从显示装置的物理透明性或通过使用后向照相机310得到背景图像源的可能性，以得到电子形式的背景场景表示。

镜像坐标M可以结合其它颜色或透明度坐标使用。例如，每坐标从0-255的标度尺上(R，G，B，T，M)坐标的(200，0，0，128，128)可以具有如下为用户所见的属性：

●鲜红色

●加上在下面的对象的颜色的50％(T＝1/2)

●加上镜子在该像素处应显示的50％(M＝1/2)

所有上述值经归一化以解决在加的过程中有可能超过值255。

如果镜子坐标未设成最大，则再现的图像是黯淡的镜像。可选的一个特性中，镜像坐标M的一个比特可用于表示是需要常规镜像，还是需要其中进行了左右调换校正的“如为其它人所见”的图像。或者，可针对整个图像帧对该选项作全局设置。

图4示意性地说明上述镜像功能的一般化电子实现的操作。在图1和2到6中，为便于比较，同样的部件使用了相同的标号。具体地说，这些部件包括CPU 100、存储器102(结合图像存储器106)和CRT、LCD或其它物理显示装置300。存储于图像存储器106中的图像的R，G，B分量作为信号RGB1提供给混合器110，后者由所存储图像的T分量控制。背景图像数据源112提供信号RGB2，该信号根据值T混合，以得到包含颜色和透明效果的组合值RGB3。图像源112可以按需包括实时视频馈给、存储图像、图案或单色值。

提供另一个混合器114，它由镜像坐标M根据每像素进行控制。提供镜像数据源116，将镜像RGB4和图像数据RGB3组合以产生最终数据RGB5，该数据被提供给显示装置300。再参考图3A和图3B，每个像素的RGB4值取决于特定时间显示装置300前面的环境，尽管当然这种效果无法如实地在专利附图中表示出来。

图5和图6说明图4所示系统的两个特定实施例，根据该系统，前向数字照相机302用于得到镜像数据RGB4。只对相对于图4的不同点进行描述。

在图5的实施例中，由前向照相机302提供环境图像数据的恒定供应。在CPU 100的控制下，这些图像存储于标号为VRAM3的图像存储器106的独立区域中。类似地，背景图像数据(RGB2)存储于标号为VRAM2的区域中。直接将数据RGB2提供给混合部件110，以形成透过存储于VRAM1的前景图像的透明部分可见的背景。通过逆过程118从VRAM3区读取数据，以产生镜像信号RGB4，该信号被提供给混合部件114，以便选择性地和RGB3组合而产生最终数据RGB5，RGB5被提供给显示装置300。可以理解，如上所述，可通过分量M的一个比特，或某个其它控制字段来接入和断开逆过程，用从M到逆过程118的线的虚线箭头示意。

尽管将逆过程118作为单独的部件加以说明，但技术人员会理解逆过程118可以用多种方式实现，显式或是隐式。一般，图像将通过修改从存储器VRAM3的读出次序而加以调转。或者，图像数据的存储次序可以在存储之前，在从前向照相机302输入时进行调转。此外，可以在显示之前对存储于VRAM3的数据执行单独的逆过程。

对此设备的修改用虚线说明，这种修改除了提供已经描述的虚拟镜像功能之外，还提供“虚拟透明度”功能。在这种修改中，提供后向照相机310，以提供表示显示屏幕后面的真实环境的图像数据。图像数据存储于VRAM2区中，作为数据源RGB2，以根据透明度坐标T加以使用。

参考图6，前向照相机302和逆功能118集成在显示监视器单元120中。在此实施例中，减少了CPU和计算机系统的主要部分所要求的处理，因为前向照相机数据直接由显示设备处理，而不是通过CPU处理。如图5所示，存储于标记为VRAM2的图像存储器中的背景图像数据(RGB2)可以从CPU或可选地从后向照相机310(虚线所示)得到。

在另一修改中，后向照相机310还可以集成到显示监视器单元120中。在这种情况下，进一步减少了CPU和计算机系统的主要部分所要求的处理，因为所有照相机数据直接由显示设备处理，而不是通过CPU处理。

尽管图5和图6的实现在提供部件功能的软件和硬件方面不同，但可以理解，在应用级上，系统的用户和程序员无需知道无论是通过CRT、集成显示监视器还是通过某种尚未发明的物理反射式显示装置的物理实现。相反，将通知驻留在存储器102中的驱动程序图像存储器106中的图像数据RGB，M，T的位置，然后将适当地连接到所提供的某个硬件，并且在不存在合适硬件的情况下，以软件提供适当的功能(如混合部件110、114)。这种实现的细节不将在这里描述，因为它们完全在技术人员的能力范围之内。所要求的硬件和处理类型在导言中引用的各种专利参考中、以及诸如“计算机图形原理”(Second Edition，by Foley，van Dam，Feiner and Hughespublished by Addison Wesley，ISBN 0-201-12110-7(例如见8至17页)的教材中都有很好的表述。现在将对系统的各种对象和/或改进进行描述。

可以理解，生成图像数据的应用可能意识不到所用的显示装置是否实际上提供镜像功能。如果没有信息可用于再现镜像，那么可以利用正常范围的RGB合成颜色再现银色/纹理作为近似。

如上结合图2中光线Z’所作的描述，可提供一种选择来提供真实或仿真的镜子，该镜子的方向不同于显示屏幕本身的平面。除了由坐标M表示的反射强度，仿真镜面的方位和高度值也可以作为图像的部分存储，分别表示左右倾斜和上下倾斜。可以通过改变运动图像系列的连续帧的这些分量来提供闪光效果，或镜子移动的效果。可以通过查找表动画来提供这些效果，就象在已知系统中提供颜色变化一样。至于镜像分量，可扩展透明度码T以允许改变看“透”屏幕的方向。例如，这可提供折射效果。

显然，各像素处镜像的图像源116需要根据仿真镜子的方向知道并能够产生正确的RGB4值。在一种简单实现中，使用单个前向摄像机302作为镜像数据源，可以定义一种几何变换，以选择应该在显示屏幕的指定点上显示摄像机图像域的哪个部分。是否这种变换把透视、失真等纳入考虑，或对精确镜像更为粗略的近似是否足够，这都是设计选择问题。

在具有不同方向的镜子的更复杂实现中，可以输入多个照相机(如立体的)馈入信号并加以处理以获得三维环境图像，允许从显示屏幕上各点显示更精确的视图。类似地，由于来自真实镜子的图像取决于看它的人的位置，因此可通过检测并补偿屏幕前查看者的实际位置的移动，从而提供增强的真实感。同样地，360度环境图像可仅通过两个分别具有“鱼眼”镜头的照相机301、310获得。

除了上述增强功能之外，可以理解，即使在以前的系统中，前向照相机302也是位于镜面的标称(nominal)位置，即屏幕300上的某处，并且在读取镜像数据RGB4的过程中可实现透视变换，以便给出更具真实感的视点，仿佛来自屏幕上的给定点。而且，一系列的变换技术都是可能的，取决于所需的真实感、成本和质量之间的折衷，例如纹理映射中已知的那样。同样水平的图像变换对于后向照相机图像应是可能的。

通常希望对显示终端上查看到的图像提供硬拷贝。可以设想具有在纸或其它媒体上沉积镜样材料能力的打印机，它将适当地利用镜像码M。不具有这种能力的打印机可以使用普通彩色墨水尽可能达到银色效果，如同上述对没有镜像功能的显示装置的描述。

镜像功能的优点包括：

●增强和/或更真实图像能力提供一些新颖应用：

-在因特网浏览中的应用

-在文档的图像中的应用

-“闪烁的”(字面和象征意义)、反光的发亮图标

●图像和用户以及用户环境交互，提供个人化部分

●为终端实现虚镜提供易用的方式(只显示仅由镜像像素构成的图像)。

●一种左右调换纠正功能，提供如同“别人看到那样”看自己的方式，所有都在图像编码中。

本技术领域的技术人员会理解，上述实施例只是作为示例给出，在本发明的精神和范围内的各种修改和变化都是可能的。

Claims (15)

1.一种显示设备，它包括显示装置和用于以数字数据形式存储图像的单元，其中所述数字图像数据所存储的格式为定义所述存储图像的不同部分的颜色值和附加镜像值；还包括用于控制所述显示装置以便根据所述存储图像各个部分的镜像值选择性地显示真实环境的反射的单元。

2.如权利要求1所述的设备，其特征在于在所述镜像值的控制下，按银色效果的物理再现来再现所述反射。

3.如权利要求1所述的设备，其特征在于通过将所述颜色值定义的颜色和从与所述显示装置有关的照相机实时接收的信息合并来再现所述反射。

4.如权利要求3所述的设备，其特征在于根据所述图像数据格式内存储的可能镜像值的范围，以可变程度实现所述合并。

5.如权利要求3或4所述的设备，其特征在于一部分所述镜像值的所述范围被保留，以表示正常镜像再现或左右调换校正后的再现，以及相应再现的反射。

6.如权利要求3、4或5所述的设备，其特征在于所述控制单元被配置为除了对从所述照相机得到的所述图像数据进行左右调换之外，还进行几何变换，从而校正所述照相机相对于所述显示装置屏幕上概念反射点的位移。

7.如以上任一权利要求所述的设备，其特征在于所述图像数据格式还指定可变镜子方向，所述反射的再现使得能够根据所述指定的镜子方向反射所述真实环境的不同部分。

8.如权利要求7所述的设备，其特征在于以相对于所述显示平面的两个角度的形式指定所述镜子方向。

9.如以上任一权利要求所述的设备，其特征在于为基于光栅的图像内的各象素或象素组存储所述颜色值和镜像值。

10.如以上任一权利要求所述的装置，其特征在于所述图像数据格式还包括透明度值，所述控制单元能够根据所述存储图像各个部分的所述透明度值，使所述存储图像的所述颜色值选择性地和背景图像颜色合并。

11.一种图像存储装置，其中存储了图像数据，所述图像数据的格式包括与权利要求1所述的显示设备兼容的颜色和镜像值。

12.一种与以上任一权利要求所述的显示设备兼容的硬拷贝打印装置，所述打印机被配置为根据存储图像各个部分的颜色和镜像值选择性地在记录媒体上沉积彩色镜样材料。

13.一种显示设备，它包括显示装置和用于以数字数据形式存储图像的单元，其中所述数字图像数据所存储的格式为定义所述存储图像的不同部分的颜色值和附加透明度值；还包括用于控制所述显示装置以便根据所述存储图像各个部分的所述透明度值选择性地显示真实环境的一些部分的单元。

14.如权利要求13所述的设备，其特征在于在所述透明度值的控制下，按物理透明度再现所述一些部分。

15.如权利要求13所述的设备，其特征在于通过将所述颜色值定义的颜色和从与所述显示装置有关的照相机实时接收的信息合并来再现所述一些部分。

Images