具体实施方式
除了本发明的概念以外,图中所示的组件是本领域公知的,不必详细描述。此外,假设熟悉图像处理和内容传送,这里不再详细描述。例如,除了本发明的概念以外,微处理器、存储器、模拟和数字图像格式、内容流、媒体播放、压缩等是公知的,这里不再详细描述。此外,可以利用传统的编程技术来实现本发明的概念,同样这里不再详细描述。最后,附图中的相同数字表示相似的组件。还应当注意,术语“信号”包括硬件形式(例如电信号)和软件形式(例如变量)。此外,应当注意,以下术语“存储器”的使用包括机器可读存储介质,例如但不局限于:硬盘驱动器、软盘、CD-ROMS(包括可写CD-ROMS)、DVD等。
图1示出了根据本发明原理的内容传送系统的演示实施例。图像源15通过信令路径16向图像服务器20(下文进行描述)提供图像数据,图像服务器20处理接收到的图像数据,以便通过信令路径21提供已压缩图像数据,从而通过因特网50分配到如端点30表示的端点。因特网50是能够发送分组的任意网络的代表,包括有线或无线的交换或非交换设施,同样还包括例如路由器和/或交换机的其它组件(未示出),用于在原始点和端点之间通信分组。图像源15演示地表示了能够提供图像数据(表示静态图片或视频)的任意源。例如,图像源15可以是与服务器20相连的文件源(例如硬盘驱动器),以便图像数据表示数字格式的一个或多个图像;或图像源15可以是VCR,以模拟格式提供表示视频的图像数据等。同样,尽管显示为不与因特网50相连的分离组件,图像源15还可以通过因特网50向图像服务器20提供图像数据。端点30代表任意目的地点,例如消费者的视频设备,可以是运行WindowsMedia Player的计算机或与显示器相连的机顶盒;或甚至是内容提供者(例如有线电视公司)的服务器,将接收到的已压缩图像数据重新打包为内容,例如以便进一步的分配到订户。同样,图像服务器20也可以是内容提供者的服务器。
如前所述,当对图像数据进行滤波时,难以通过仅预览已滤波图像数据来调整滤波操作的参数以便从图像数据中去除噪声。在图像数据中出现低电平噪声的情况下尤其如此。同样,压缩之前残留在图像数据中任意噪声均可能导致数据量大于如果从图像数据中进一步减少或消除噪声得到的结果的已压缩图像数据,甚至需要更多带宽用于传输或更多空间用于存储。因此,根据本发明的原理,代替显示已滤波图像数据或在显示已滤波图像数据的同时,图像服务器20显示对图像数据执行滤波的位置。这改进了快速设置滤波器参数的能力,从而增大了从图像数据中去除甚至低电平噪声的能力,由此减小了已压缩数据的数据量,并相应地减小了传输所需的带宽或存储的空间。
现在转到图2,示出了根据本发明原理的图像服务器20的演示高层方框图。图像服务器20是一种基于所存储程序控制的处理器架构,并且包括如处理器205所代表的一个或多个处理器;总线206,表示一个或多个通信路径,用于将图像服务器20的组件连接到一起;存储器210(易失和/或非易失、硬盘、CD-ROM、DVD、随机存取存储器(RAM)等),用于存储程序指令和数据,例如用于执行下文所示方法;视频处理组件220,用于处理图像数据,根据本发明的一个方案,所述视频处理组件220包括滤波器预览组件225(如下所述);显示器230,用于观看对图像数据执行滤波的位置;以及例如由通信接口215表示的至少一个接收机,用于通过信令路径16连接到例如视频源15,以便接收图像数据,并通过信令路径21连接到因特网50以便发送已压缩图像数据。同样,应当理解,在本发明的其它实施例中,根据本发明的原理,可以按照其它方式提供或得到图像数据,例如从存储器210,即存储器210成为视频源15。类似地,信号路径16还提供到因特网50的通信链路。此外,还可以首先对图像数据进行压缩,需要在应用于滤波器预览组件225之前进行解压缩。
图3示出了根据本发明的原理在图像服务器20中使用的演示流程图。在步骤305,图像服务器20接收图像数据。图像数据可以是单个图片、多个图片或视频。在步骤310,图像服务器20在压缩之前对接收到的图像数据进行滤波,以便进一步去除噪声。如下所述,图像服务器20演示地使用本领域公知的Lee滤波器对接收到的图像数据进行滤波。在步骤315,根据本发明的原理,图像服务器20在显示器230上提供预览图像(如下所述)。该预览图像可视地示出了在接收到的图像数据中操作Lee滤波器的位置。在步骤320,例如,决定是否应当进一步调整Lee滤波器的滤波器参数以便去除额外的噪声。在该示例中,观看显示器230上预览图像的操作员通过观看预览图像的亮/暗区域来决定调整滤波参数,以便实现亮度的“感知”电平(如下所述)。然而,如下所述,根据本发明的一个方案,可以对图像服务器20进行编程,以便自动地调整滤波器参数。如果要调整滤波器参数,在步骤325对其进行调整,并在步骤310再次利用新的滤波器参数对接收到的图像数据进行滤波。另一方面,如果不再调整滤波器参数,则在步骤330,利用本领域公知的适当压缩技术来压缩已滤波图像。这里,例如可以通过因特网50发送已压缩图像,或将其存储以便随后重新调用。
如上参考图3的步骤315所述,根据本发明的原理,将预览显示能力添加到噪声减少滤波器。现在转到图4,示出了具有预览显示能力的噪声减少滤波器的演示实施例。滤波器预览组件225包括滤波器480、视频转换器485以及复用器(mux)490。滤波器480演示地将Lee滤波器实现为噪声减少滤波器,以便进一步从图像数据401中去除噪声(如下所述)。同样,滤波器480对应用的图像数据401进行操作,以便将已滤波图像数据481提供到mux 490。此外,根据本发明的一个方案,滤波器480还提供了至少一个滤波器控制信号421。视频转换器485将滤波器控制信号421转换为视频信号以便应用到mux 490。预览模式信号424还控制mux 490的操作,以便在至少两个操作模式之间进行选择。在该示例中,假设预览模式信号424表示信号的二进制形式,其中,例如“1”的相关逻辑电平对应于“预览滤波器操作模式”,而0的相关逻辑电平对应于“预览已滤波图像模式”。应当注意,本发明的概念无需显示信号和模式编号的分离。例如,可以在显示器230的两个分离的窗口中同时观看已滤波图像数据和滤波器控制信号。此外,可以存在多于一种显示模式。然而,在该示例中,如果预览模式信号424表示预览已滤波图像模式,则mux 490将已滤波图像数据481作为信号426提供到显示器230。另一方面,如果预览模式信号424表示预览滤波器操作模式,则mux 490将滤波器控制信号412的视频形式(即信号511)作为信号426提供到显示器230。
Lee滤波器通过测量图像数据401中较小区域的活动量或边缘活动,实际上逐像素地动态改变滤波处理。换句话说,Lee滤波器检查图像的较小矩形部分(像素窗)中的信号活动量(边缘细节),并将平滑算法应用于每一个窗的中心像素。平滑算法作为窗内边缘活动的函数来改变中心像素的滤波量。演示地,对于特定像素组,滤波器控制信号412恰好表示在一点处边缘的活动量。同样,根据滤波器控制信号421产生的图像用图画示出了边缘活动,即,滤波器480在图像数据401上执行噪声滤波的位置。结果,通过观看表示滤波器控制信号421的图像,可以容易地在图像中定位噪声区域并精细调谐滤波量,以便减少噪声并留下希望的图像细节。图5示出了边缘活动显示的演示。根据本发明的原理,图像71和72均为在相同图像数据401上操作的滤波器控制信号的单色(例如黑和白)图像。图像71和72示出了滤波器控制信号421的灰度级表述,其中较黑的区域指示了由滤波器480执行较大量滤波的区域,而较亮的区域指示了由滤波器480执行较少量滤波的区域。在本发明概念的一个演示中,在预览滤波器操作模式期间,用户观察显示器230上的滤波器控制信号的图像,响应所述观察,调整图4的滤波器控制信号479,以便改变由滤波器480执行的滤波量,直到通过观看边缘活动的图像(图像71和72中的亮区域)在滤波器控制信号的图像中实现了希望的平均亮度电平。在该上下文中,图像71具有较少亮区域,由此具有较少边缘活动。结果,与具有更多亮区域(即,更多边缘活动)的图像72相关的已滤波图像(未示出)相比,滤波器480提供了不够锐化的已滤波图像。用户能够通过实现例如文本框等的用户界面来调整滤波量。图5示出了用于控制滤波量的演示用户界面,作为滑动窗85。滑动窗86从滑动控制87的一端到另一端的移动按比例地改变滤波器控制信号479,以便例如按照图5的图像71和72所示地来改变滤波量。
现在转到图6和7,示出了滤波器预览组件225的另一个演示实施例。图像数据401演示了由滤波器预览组件225处理的、视频的亮度(Y)和色度(Cr,Cb)分量的复用流。如本领域公知的,Y表示亮度或辉度,Cr和Cb表示色彩信息(例如,Cr对应于红色负辉度信号,Cb对应于蓝色负辉度信号)。然而,在下文的讨论中,尽管滤波器实际上分离地处理Y、Cr和Cb分量,术语“像素”用于简化描述处理。
滤波器预览组件225包括组件405、组件410、组件415、组件420和混合器425。总体上说,Lee滤波器对像素的MxL组进行操作。为了本说明书的目的,假设M=L=7。同样,每一个像素组具有7行像素,每一行包括7个像素。组件405包括6线延迟存储器(或缓冲器)(未示出),以便对由信号406表示的特定像素组,组件405顺序地提供像素行。如本领域公知的,组件405还产生光栅定时信号403。演示地,每一个像素组的行3包括中心像素。图6中也将该中心像素示为信号406-1。
根据本发明的一个方案,Lee滤波器用于自适应地对图像数据进行滤波(静态图片或视频)。如这里所实现的,Lee滤波器改变图像数据并且当到达锐化边缘(即,具有更多边缘细节的区域)时返回。通过在组件415中首先根据以下等式计算每一个像素组或窗的局部均值,Lee滤波器进行操作:
其中N是滤波器窗中像素的数目,xi表示像素组或窗中的每一个像素。对于该实现方式,N=49,即在每一个像素组中存在四十九个像素。组件415提供信号416,信号416表示像素组的局部均值。将局部均值信号416应用到混合器425和组件410。
在确定特定像素组的局部均值之后,组件410根据以下等式来计算相同49像素组的方差:
组件410将信号411提供到组件420,信号411表示特定像素组的局部方差。组件420根据以下等式确定混合因子β,(或平滑控制信号):
其中σn 2是噪声方差估计,并且是控制滤波程度的用户可调整参数(例如图4的上述信号479)。组件420将表示所确定混合因子β的信号421提供到混合器425。混合器425根据以下等式确定在预览已滤波图像模式中由Lee滤波器执行的滤波量:
其中xc是特定像素组的中心像素。等式(4a)可以重写为:
具体地,当β具有数值零时(即,当局部方差小于或等于估计时),混合器425提供图像数据401的最大滤波(混合器425提供100%的局部均值作为滤波器输出信号)。相反,当β的数值向1增大时(即,局部方差超出估计),混合器425提供图像数据401的较少滤波。
换句话说,将Lee滤波器的局部方差值用作控制信号,以控制局部均值(即已滤波中心像素)和未滤波中心像素之间的混合。通过调整σn 2的数值来控制整体滤波量。当局部方差增大(更多边缘细节)时,改变混合,以便提供更多的未滤波中心像素作为滤波器的输出信号。当局部方差减小(图像的平坦区域)时,混合向利于局部均值的方向变化,即提供更多的滤波中心像素作为滤波器的输出信号。如上所述,可以按照任意方式来调整σn 2的数值,例如通过上述图5的滑动窗85。
根据本发明的原理,将混合器控制信号转换为单色视频信号,混合器425响应预览模式信号424提供预览滤波器操作模式。在局部方差较低(即执行最多滤波的位置)的位置,结果预览图像(相对于图5所示)较暗,在局部方差较高(即执行最少滤波的位置)的位置,结果预览图像较亮。
现在转到图7,示出了混合器425的演示实施例。混合器425包括亮度转换器505、复用器(mux)510、515和520、定时和控制组件525以及组合组件530。定时和控制组件525响应用于控制视频信号定时的上述光栅定时信号403,以便在显示器230上再现图像。组合组件530实现上述等式(4b)。亮度转换器505和mux 510将滤波器控制信号421(β)转换为单色视频信号511。具体地,在该演示实现中,预览滤波器操作模式示出了对Y采样执行的滤波。同样,亮度转换器505将滤波器控制信号421(β)转换为亮度信号,代替Cr和Cb的数值,mux 510将该信号与固定黑色度值c(信号509)相乘(在定时和控制组件525的控制下),由此产生单色视频信号511。Mux 515在已滤波图像数据481或滤波器控制信号421的视频形式(即信号511)之间进行选择,作为由预览模式信号424(如上所述)所表示的选定模式的函数。Mux 520也处于定时和控制组件525的控制下,并且在每一个视频线的图像部分期间选择mux 515的输出信号,或在水平和垂直消隐间隔期间选择中心像素(信号406-1),以保留同步和消隐信号(没有出现在信号481或信号511中)。应当理解,本发明的概念能够容易地延伸到预览Cr和Cb滤波。
利用各种模拟和数字视频源来测试上述滤波器。通常,当将噪声方差估计σn 2设为较低数值时,出现最优图像改进,引起大约70%的预览显示区域为浅灰或白色。将σn 2增大为较大的数值增大了整体滤波,并在预览显示中产生了更高百分比的深灰或黑色区域。由于这增强了图像数据的滤波,这增大了已滤波图像中模糊区域的出现。
如上所述,根据本发明的原理,将用于滤波器的至少一个控制信号转换为视频信号,代替或与已滤波图像一起显示所述视频信号。调整滤波器控制信号的图像的平均亮度电平提供一种快速调整滤波器设置(例如上述噪声方差估计σn 2)的方式,例如以便减少图像数据中的噪声,而不会模糊图像,由此改进了随后任意已滤波图像数据的压缩。尽管可以实时应用本发明的概念,还可以将根据本发明概念确定的滤波设置或滤波器模板存储在例如存储器210中,以使滤波器模板成为与具体图像数据相关的先验知识,并可用于将来滤波图像数据的参考。同样,例如,当随后从视频源15重新调用或检索具体图像数据以便形成流时,由处理器205从存储器210中检索相关的滤波器模板,以便产生具有先验确定滤波量的流图像。实时对图像数据进行滤波或创建滤波器模板用于随后的重新调用,能够以任意多种方式来执行调整图像数据的滤波器设置。例如,可以按照“预览滤波器操作模式”来观看整个视频,并且可以实时地执行影响上述噪声方差估计σn 2数值的任意设置,或甚至将其实时记录以便产生相关的滤波器模板以便随后重新调用。或者,可以在视频的不同帧处(或甚至在视频的一帧处)采样视频,每一个采样视频帧具有用于视频其它部分的相关滤波器设置。
如上所述,用于调整滤波器设置的一种方法用于用户观看滤波器控制信号的图像并调整噪声方差估计,以便实现特定平均亮度电平。根据本发明的另一方案,用于滤波器控制信号的图像的目标平均亮度电平可以先验设置。一旦设置了该目标亮度,修改图3的流程图。分别利用图8的步骤815、820和825来代替具体步骤315、320和325。在步骤815,确定用于滤波器控制信号的图像的实际平均亮度电平。在步骤820,对该实际平均亮度电平与滤波器控制信号的图像的目标亮度电平进行比较。如果实际平均亮度电平实质上不等于目标亮度电平,则在步骤825调整滤波器。这里,步骤825存储之前调整的结果以确定沿何方向来调整滤波器设置,从而将滤波器控制信号的图像的整体亮度驱向目标亮度电平。一旦滤波器控制信号的图像的实际平均亮度电平实质上等于目标亮度电平(例如在百分之一内),则如上所述执行图3的步骤330。
应当注意,可以按照硬件和软件的任意组合来实现本发明的概念。例如,图像服务器20能够执行存储在存储器210中的计算机程序,以便提供选择模式的用户界面,例如上述“预览滤波器操作模式”或“预览已滤波图像模式”。这在图9中进一步示出,图9示出了一种菜单类型用户界面,其中菜单项的选择启用了特定模式的选择。演示地,“编辑菜单”51命令的选择进一步显示了可用于附加选择的菜单项的列表。这些附加菜单项包括命令52(不必与这里所述的本发明概念相关)、预览滤波器操作模式53以及预览已滤波图像模式54。同样,例如,预览滤波器操作模式53菜单项的选择将信号424设置为适当值,并提供了预览模式,用于在显示器230上再现如上所述对图像数据401执行滤波的位置。
前文仅演示了本发明的原理,因此本领域的普通技术人员能够理解,尽管这里没有明确说明,可以设想体现本发明原理且在其精神和范围之内的多种可选设置。例如,尽管演示了分离功能组件的上下文,可以将这些功能组件体现为一个或多个集成电路(IC)和/或一个或多个存储程序控制的处理器(例如微处理器或数字信号处理器(DSP))。此外,尽管演示了Lee滤波器的上下文,可以使用滤波的其它形式和/或组合。类似地,尽管示出了图像服务器的上下文,本发明的概念可应用于包含在物理设备(例如膝上型计算机)的单个部分或分布在多个设备中的、任意基于存储程序控制的系统。例如,可以在一个基于计算机的终端处执行滤波,并在设备的另一部分(与是否基于计算机无关)处发送至少一个控制信号以便显示。因此,可以理解,在不脱离由所附权利要求定义的本发明的精神和范围的前提下,可以进行多种修改来演示实施例并设想其它设置。