CN101095356B - 基于块的胶片颗粒图案的自适应解块技术 - Google Patents

基于块的胶片颗粒图案的自适应解块技术 Download PDF

Info

Publication number
CN101095356B
CN101095356B CN2005800352014A CN200580035201A CN101095356B CN 101095356 B CN101095356 B CN 101095356B CN 2005800352014 A CN2005800352014 A CN 2005800352014A CN 200580035201 A CN200580035201 A CN 200580035201A CN 101095356 B CN101095356 B CN 101095356B
Authority
CN
China
Prior art keywords
film grain
parameter
block
film
blocking effect
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN2005800352014A
Other languages
English (en)
Other versions
CN101095356A (zh
Inventor
克里斯蒂娜·戈米拉
吉恩·拉什
杰弗里·艾伦·库珀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
InterDigital VC Holdings Inc
Original Assignee
Thomson Licensing SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thomson Licensing SAS filed Critical Thomson Licensing SAS
Publication of CN101095356A publication Critical patent/CN101095356A/zh
Application granted granted Critical
Publication of CN101095356B publication Critical patent/CN101095356B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G06T5/70
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/84Television signal recording using optical recording
    • H04N5/87Producing a motion picture film from a television signal
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117Filters, e.g. for pre-processing or post-processing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/14Coding unit complexity, e.g. amount of activity or edge presence estimation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • H04N5/21Circuitry for suppressing or minimising disturbance, e.g. moiré or halo
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20172Image enhancement details
    • G06T2207/20204Removing film grain; Adding simulated film grain

Abstract

可以通过使用自适应缩小或者自适应解块滤波来实现仿真胶片颗粒块的成块效应减小,以便根据诸如胶片颗粒尺寸、强度和纹理之类的至少一个胶片颗粒块参数来调整块边缘处像素的亮度。通过避免在较小影响区域中修改胶片颗粒块像素,执行所述自适应缩小或者自适应解块滤波可以以较低的计算成本实现改进的性能。

Description

基于块的胶片颗粒图案的自适应解块技术
相关申请的交叉引用
根据35U.S.C.119(e),本申请要求2004年10月21日申请的美国临时专利申请序列号60/620702的优先权,将其教益在此引入。
技术领域
本发明涉及一种滤波仿真胶片颗粒的技术。
背景技术
电影胶片包括分散在感光乳剂中的卤化银晶体,所述感光乳剂涂抹在胶片基底上的薄层中。这些晶体的曝光和显影形成了包括银的分散微粒的照相图像。在彩色负片中,对显影后的银进行化学去除,在形成银晶体的位置处出现微小的染料滴。这些染料小滴通常被称作彩色胶片中的颗粒(grain)。由于银晶体随机地形成于原始感光乳剂中,所以颗粒随机地分布在所产生的图像上。在均匀曝光的区域中,一些晶体在曝光后显影,而其它晶体并非如此。
颗粒的大小和形状有所不同。胶片形成越快(即,光灵敏度越高),所形成的银块和所产生的染料滴就越大,并且更趋于以随机图案组合在一起。典型地,颗粒图案被称作‘颗粒度’。裸眼不能区分变化范围在0.0002mm至大约0.002mm的单个颗粒。然而,眼睛能够分辨被称作滴的颗粒组。观看者把这些滴的组识别为胶片颗粒。随着图像分辨率变得更大,对胶片颗粒的感知变得更高。胶片颗粒在电影图像和高清晰度图像上变得明显可察觉,而胶片颗粒在SDTV中逐渐丧失了重要性,并在较小格式中变得不可察觉。
典型地,电影胶片包含依赖于图像的噪声,这个噪声来自照相胶片的曝光和显影的物理工艺、或来自后续的图像编辑。摄影胶片具有特有的准随机图案或纹理,这个图案或纹理来自摄影感光乳剂的物理颗粒度。可选择地,可以根据计算产生的图像仿真类似的图案,以便把这些图案与摄影胶片相混合。在这两种情况下,这个依赖于图像的噪声被称作颗粒。通常,适度的颗粒纹理在电影中呈现出期望的特征。在某些实例中,胶片颗粒提供了利于二维图像的正确感知的可视提示。胶片颗粒经常在单一胶片中变化,以提供关于时间参考、视点等的多种线索。在电影业中,存在用于控制颗粒纹理的多种其它的技术和艺术用途。因此,在整个图像处理和传送链中保持图像的颗粒外观已经成为电影业中的需求。
若干商业上可用的产品具有对胶片颗粒进行仿真的能力,通常用于把计算机产生的对象混合到自然场景中。来自Eastman Kodak Co,Rochester New York的
Figure S05835201420070813D000021
是一种最早的数字胶片应用程序,用于实现颗粒仿真,它产生了多种颗粒类型的非常真实的结果。然而,由于
Figure S05835201420070813D000022
应用程序针对高颗粒尺寸设置产生了可察觉的对角线条纹,所以
Figure S05835201420070813D000023
应用程序没有为多种高速胶片产生良好的性能。此外,当图像进行前期处理时,例如图像被复制或进行数字处理时,
Figure S05835201420070813D000024
应用程序不能以足够的保真度来仿真颗粒。
另一个商业上可用的、对胶片颗粒进行仿真的产品是来自VisualInfinity Inc的Grain SurgeryTM,它用作
Figure S05835201420070813D000025
After
Figure S05835201420070813D000026
的插件。Grain SurgeryTM产品通过对随机数的集合进行滤波而产生合成的颗粒。这个方法受到高计算复杂度这个缺点的影响。
这些已有的方案中没有一个方案能够解决对压缩视频中的胶片颗粒进行恢复的问题。胶片颗粒构成了高频准随机现象,典型地不能进行使用常规空间和时间方法的压缩,其中所述方法利用了视频序列冗余的优点。试图使用MPEG-2或ITU-T Rec.H.264|ISO/IEC14496-10压缩技术来处理源自胶片的图像,通常这会导致不可接受的低压缩度或颗粒纹理的完全丢失。
作为申请人所做工作的结果;存在用于仿真颗粒的现有技术,通过组合胶片颗粒采样的多个块以便后续添加到图像上。这些技术创建的每个块彼此独立。当组合这种胶片颗粒块时,会出现伪象。一种减小伪象的在先技术要求沿着每个块的边缘逐渐减小所仿真颗粒的强度。逐渐减小所述强度实现起来更容易,同时付出了降低颗粒质量的代价。对每个颗粒块应用解块滤波器构成了另一种减小伪象的方法。尽管应用解块滤波器对颗粒质量具有较小的影响,但实现这种滤波器将增加计算的复杂度。
因而,需要一种用于解块胶片颗粒块的技术,其在保持低计算成本的同时可以实现更好的质量(即,减少伪象)。
发明内容
简要来说,根据本发明的原理,提供了一种用于解块至少一个胶片颗粒块的方法。所述方法首先设定与块中胶片颗粒特性相关联的至少一个参数。之后,根据至少一个参数,减小了作为分离块出现(而不是无缝图像)的胶片颗粒的胶片颗粒成块效应(blockniess)。
附图说明
图1示出了用于实现本发明原理的技术使用的胶片颗粒处理链种的发送机和接收机组合的示意方框图;
图2[JL1]示出了根据本发明原理的第一实施例通过缩小块边缘来减小胶片颗粒成块效应的方法的流程图;
图3A和3B示出了根据图2所示方法缩小块边缘之前和之后的胶片颗粒块;
图4[JL2]示出了根据本发明原理的第二实施例通过自适应解块来减小胶片颗粒成块效应的方法的流程图;
图5A和5B示出了根据图4所示方法在解块滤波之前和之后的胶片颗粒块的相邻对。
具体实施方式
为了理解用于解块仿真胶片颗粒的本发明的技术,对胶片颗粒仿真的简要概述将是有益的。图1示出了发射机10的示意框图,它接收输入视频信号并在其输出依次产生压缩后的视频流。另外,发射机10还产生指示采样中出现胶片颗粒(如果存在的话)的信息。实际中,发射机10可以包括有线电视系统的首端阵列的一部分、或把压缩后的视频分配给一个或多个下游接收机11的其它系统,图1中仅示出一个接收机11。发射机10还可以采取例如DVD的呈现媒体的编码器的形式。接收机11对已编码的视频流进行解码,并根据从发射机10接收到的、或在DVD等情况下直接来自媒体自身的胶片颗粒信息和已解码的视频,来仿真胶片颗粒,从而产生具有已仿真胶片颗粒的输出视频流。接收机11可以采取机顶盒的形式、或采取对已压缩的视频进行解码并对该视频中的胶片颗粒进行仿真的其它机制的形式。
胶片颗粒的完整管理要求发射机10(即编码器)提供关于输入视频中的胶片颗粒的信息。换句话说,发射机10对胶片颗粒“建模”。此外,接收机11(即解码器)根据从发射机10接收到的胶片颗粒信息来仿真胶片颗粒。通过使接收机11能够在视频编码过程期间在保持胶片颗粒中出现困难时仿真视频信号中的胶片颗粒,发射机10提高了压缩后视频的品质。
在图1所示的实施例中,发射机10包括视频编码器12,视频编码器12使用任意已知的视频压缩技术对视频流进行编码,例如ITU-TRec.H.264|ISO/IEC14496-10视频压缩标准。可选地,采用图1中虚线所示滤波器等的形式的胶片颗粒去除器14可以存在于编码器12的上游,以便在编码之前去除输入视频流中的任意胶片颗粒。当输入视频包含很少的胶片颗粒时,不需要胶片颗粒去除器14。
胶片颗粒建模器16接受输入视频流和胶片颗粒去除器14的输出信号(当存在时)。使用这个输入信息,胶片颗粒建模器16建立了输入视频信号中的胶片颗粒。以最简单的方式,胶片颗粒建模器16可以包括查找表,所述查找表包含不同胶片原料的胶片颗粒模型。输入视频信号中的信息可以规定在转换为视频信号前最初用于记录图像的具体胶片原料,从而允许胶片颗粒建模器16针对这个胶片原料选择适合的胶片颗粒模型。可选择地,胶片颗粒建模器16可以包括处理器或专用逻辑电路,它们执行一个或多个算法以对输入视频进行采样并确定所呈现的胶片颗粒图案。
典型地,接收机11包括视频解码器18,用于对从发射机10接收到的压缩后的视频流进行解码。解码器18的结构将取决于发射机10内的编码器12所执行的压缩类型。因此,例如编码器12的发射机10内采用ITU-T Rec.H.264|ISO/IEC14496-10视频压缩标准来压缩输出视频,这表示需要与H.264兼容的解码器18。在接收机11内,胶片颗粒仿真器20从胶片颗粒建模器16接收胶片颗粒信息。胶片颗粒仿真器20可以采取具有对胶片颗粒进行仿真的能力的已编程处理器或专用逻辑电路的形式,从而通过组合器22与已解码的视频流进行组合。
胶片颗粒仿真旨在把对原始胶片内容的外观进行仿真的胶片颗粒样本进行合成。如所述,胶片颗粒建模发生在图1的发射机10中,而胶片颗粒仿真发生在接收机11中。具体地,在解码视频流的输出的上游,胶片颗粒仿真与来自发射机10的输入视频流的解码一同在接收机11中发生。注意出现在接收机11中的解码过程不会使用具有附加胶片颗粒的图像。相反,胶片颗粒仿真构成了用于把已解码图像中已仿真的胶片颗粒进行合成以进行显示的后处理方法。为此,ITU-TRec.H.264|ISO/IEC14496-10视频压缩标准不包含关于胶片颗粒仿真过程的说明。然而,胶片颗粒仿真需要关于输入视频信号中的颗粒图案的信息,当按照ITU-T Rec.H.264|ISO/IEC14496-10视频压缩标准的修正1(保真度范围扩展)所规定的而使用该压缩标准时,这个信息典型地在胶片颗粒特征补充增强信息(SEI)消息中传送。
胶片颗粒仿真器20可以使用不同方法来仿真胶片颗粒。例如,胶片颗粒仿真器20可以通过使用包含用于添加到图像的多个胶片颗粒的预计算块的数据库(例如,查找表或LUT)来仿真胶片颗粒。在数据库中预计算胶片颗粒块的典型方法使用了高斯伪随机数发生器(未示出)。可选择地,胶片颗粒仿真器20可以根据需要计算每个胶片块,典型使用高斯伪随机数发生器来达到该目的。
按照所述方式通过组合多个单独的胶片颗粒块来进行胶片颗粒仿真会导致伪象(具体是被称作成块化效应的状态),由此胶片颗粒块表示为分离的,而不是以无缝的方式融合。一种减小成块效应的在先技术包括沿着每个块的边缘减小仿真颗粒的强度。另一种在先技术对每个胶片颗粒块应用解块滤波器。这些已有方法都导致下面所述的缺点。通过现有技术在块边缘处缩小(downscale)像素值
一种减小成块效应的已有方法依赖于在每个块的边缘处缩小胶片颗粒的采样。之前,按照下式,通过划分为两个胶片颗粒采样值,出现了缩小每个胶片颗粒块的顶部和底部边缘的这种缩小:
for i=0,...,N-1
blockm[i][0]>>=1
blockm[i][N-1]>>=1
其中N是块尺寸(在示例中是方形),blockm[x][y]是块m中位置(x,y)处的胶片颗粒采样。这种方式的缩小提供了所需衰减,这是因为胶片颗粒采样具有零均值并在正值和负值之间均等分布。左和右边缘的缩放可以以类似的方式出现:
forj=0,...,N-1
blockm[0][j]>>=1
blockm[N-1][j]>>=1
这个方法导致在修改大量百分比的NxN胶片颗粒块时没有考虑胶片颗粒特性的缺点。例如,对于8x8胶片颗粒块,当所有四个边缘经过缩放时,几乎一般采样减小了他们的强度,而当仅垂直(或水平)边缘经过缩放时,影响了四分之一的采样。对于16x16胶片颗粒块,分别影响了采样的四分之一和八分之一。通常,块越大则缩放的胶片颗粒采样的百分比越小,然而,典型地,16x16以上的块尺寸被证明太大而不能用于消费者产品。
改进的缩小技术
根据本发明原理,可以通过改变缩放因子来实现改进的伪象减小,根据块中胶片颗粒的至少一个特性将所述缩放因子应用于每个胶片颗粒块。图2示出了用于实现这种胶片颗粒块边缘的缩小的流程图的步骤。在图2的演示实施例中,块中胶片颗粒的尺寸用作控制边缘缩放的强度的参数。具体地,边缘缩放的强度与块中颗粒的尺寸成比例地改变。除了胶片颗粒尺寸以外或和胶片颗粒尺寸一起,胶片颗粒块的一个或多个其它特性也可以用于影响边缘缩放比例的强度。
在系统初始化期间执行开始步骤(步骤100)时开始图2的方法,尽管这样的初始化不是在所有情况下都必需。在步骤100之后,执行步骤102,发起获取控制边缘缩放的至少一个胶片颗粒块的特性。如上所述,在演示实施例中,胶片颗粒尺寸用作控制边缘缩放的特性。典型地,胶片颗粒尺寸用作控制边缘缩放的良好特性,这是由于较少的形状受到边缘的影响,对于较小的颗粒尺寸,源自胶片颗粒块的镶嵌以产生无缝图像的成块效应变得不明显。典型地,胶片颗粒尺寸构成了关于SEI消息种承载的胶片颗粒的参数之一,由按照以下所述方式同时进行仿真以及成块效应减小的接收机11来接收所述SEI消息。
在步骤102之后,进行步骤104,发起选择用于缩小边缘的缩放因子。为了最优地理解缩放因子的选择过程,假设sh(m)构成表示块m中颗粒的水平尺寸的参数,sv(m)构成表示块m中颗粒的垂直尺寸的参数。然后,水平(顶和底)边缘的缩放可以用公式表述为:for i=0,...,N-1
blockm[i][0]*=scale_factorv[sv(m)]
blockm[i][N-1]*=scale_factorv[sv(m)]
其中scale_factorv[s]来自查找表(LUT)(未示出),所述查找表提供了胶片颗粒仿真处理所容许的、针对每个垂直胶片颗粒尺寸的缩放因子,所述颗粒尺寸被胶片颗粒仿真过程允许。类似地,垂直(左和右)块边缘的缩放可以用公式表述为:
for j=0,...,N-1
blockm[0][j]*=scale_factorh[sh(m)]
blockm[N-1][j]*=scale_factorh[sh(m)]
其中scale_factorh[s]来自查找表(LUT),所述查找表针对每个水平胶片颗粒尺寸提供了缩放因子。
为了利用整数运算执行所有操作,可以如下定义缩放因子:
scale_factorh[s][0]=intensity[s]
scale_factorh[s][1]=log2_intensity_offset[s]
然后,来自胶片颗粒lockm中的给定采样可以使用下列公式进行缩放:
blockm[x][y]=(blockm[i][0]*scale_factorv[sv(m)][0]+(1<<scale_factorv[sv(m)][1]-1)))>>scale_factorv[sv(m)][1]
使得缩放因子作为至少一种胶片颗粒特性的函数实现了视觉质量上的更高性能。在演示实施例中,该缩放因子可以表示为颗粒强度的函数。在另一实施例中,该缩放因子可以与胶片颗粒尺寸成正例,从较小尺寸线性地发展为较大尺寸,可以在算术上利用以下关系表示:
scale_factor[s]=0.5+s*0.5/ns
其中s在[0,ns]范围内,并且ns是最大的胶片颗粒。
上述方法的一个可能扩展是需要在不同行或列中使用不同的缩放因子,这依赖于当前胶片颗粒块的特性。另一个可能的扩展需要同时考虑当前块和相邻块(跨过被缩放的边缘)的胶片颗粒特性,以确定缩放因子和被缩放的行或列的数目。观察到即使当考虑相邻块的胶片颗粒特性时,也只对当前块的胶片颗粒采样进行缩放。这样有助于保持非常低的计算成本。
实际上,图1的胶片颗粒仿真器20执行图2的步骤100到108。如所讨论的,胶片颗粒仿真器20典型地采用可编程处理器、可编程门阵列、专用逻辑电路或任何能够执行该方法的组合的形式。
图3A和3B示出了根据本发明原理的技术在缩小块的左边缘之前和之后的典型8x8像素的胶片颗粒块。图3A的胶片颗粒块其左上和右上顶点(0,2)和(4,2)以及左下和右下顶点(0,4)和(4,4)处限定的区域中具有比块中的其它位置更大尺寸的颗粒,其中原点(0,0)处于块的左上角。当根据本发明原理的方法缩小块的左边缘时,利用比其它位置更大的强度,沿着坐标(0,2)和(0,4)之间像素的左边缘对位于该边缘像素进行缩小。由于这些像素位于块中区域的较大尺寸颗粒中,出现这种较大强度缩放。
跨过块边缘的解块
如前面所讨论的,减小成块效应的另一种现有技术包括跨过胶片颗粒块的边缘的解块滤波器的应用。由于需要访问每个之前计算的胶片颗粒块中每行的至少一个像素,这种方法导致更大的计算复杂度。以前的解块滤波器运用N抽头滤波器来对相邻块之间的垂直边缘进行解块,其中通过缩小来衰减水平过渡。假设8x8blockm的左边缘与8x8blockn的右边缘相邻,利用具有系数(C-(N-1)/2,...,C0,...,C(N-1) /2)的N抽头滤波器的解块将根据下述关系进行:
for j=0,...,7
block m [ 0 ] [ j ] = &Sigma; i = 7 - ( N - 1 ) / 2 - 1 7 C 6 - i &CenterDot; block n [ i ] [ j ] + &Sigma; i = 0 ( N - 1 ) / 2 C i &CenterDot; block m [ i ] [ j ] &Sigma; i = - ( N - 1 ) / 2 ( N - 1 ) / 2 C i
block n [ 7 ] [ j ] = &Sigma; i = 7 - ( N - 1 ) / 2 7 C i - 7 &CenterDot; block n [ i ] [ j ] + &Sigma; i = 1 ( N - 1 ) / 2 - 1 C i &CenterDot; block m [ i ] [ j ] &Sigma; i = - ( N - 1 ) / 2 ( N - 1 ) / 2 C i
其中滤波器系数Ci构成由N抽头滤波器的选择所确定的常数值。实际上,现有技术使用具有系数(1,2,1)的3抽头滤波器,在上述公式中产生以下结果:
for j=0,...,7
blockm[0][j]=(blockn[7][j]+2·blockm[0][j]+blockm[1][j])/(1+2+1)
blockn[7][j]=(blockn[6][j]+2·blockn[7][j]+blockm[0][j])/(1+2+1)根据本发明原理的自适应解块滤波
之前的解块滤波器以相等的强度对所有块过渡进行平滑,而不考虑块中的胶片颗粒图案。因为实验结果显示与大图案相比,小图案产生比较不明显的块伪象,这限制了性能。
按照与上述缩小相类似的方式,通过根据胶片颗粒的特性来改变解块滤波器的强度,本发明原理的解块技术克服了该缺点。图4示出了根据本发明原理的演示实施例用于实现自适应解块滤波的方法的步骤流程图。图4的方法首先执行进行初始化的步骤200,虽然初始化不是必需的。然后,步骤202和204分别开始获取当前胶片块blockm的至少一个特性并且获取紧靠其之前的胶片颗粒块blockn中的相同特性。图4的流程图演示了步骤202和204同时发生,尽管这些步骤可以相继发生。
步骤206在步骤202和204之后,其中进行滤波器类型的选择。在演示实施例中,所选择的滤波器包含3抽头滤波器,用于进行垂直边缘的解块。可以根据下面的关系来公式表示这种滤波器:
for j=0,...,7
blockm[0][j]=(C-1[smmn]*blockn[7][j]+C0[smmn]*blockm[0][j]+C1[smn]*blockm[1][j])/(C-1[smmn]+C0[smn]+C1[smn])
blockn[0][j]=(C-1[smn]*blockn[6][j]+C0[smn]*blockm[7][j]+C1[smmn]*blockm[0][j])/(C-1[smn]+C0[smmn]+C1[smn])
其中从查找表(LUT)(未示出)中获得系数C-1、C0和C1的值,所述查找表将其值与由参数smn表示的、两个块中胶片颗粒的尺寸相适配。
在演示的实施例中,假定在边缘的两侧处胶片颗粒图案之间尺寸的差别越大,滤波器越强。上述等式可以扩展到解块水平边缘简单明了(straightforward)的情况。
实际上,图1中的胶片颗粒仿真器20将执行图2中的步骤200到212。如上所述,胶片颗粒仿真器20通常采用可编程处理器、可编程门阵列、专用逻辑电路或是能够执行该方法的任意组合的形式。
图5A和5B示出了根据本发明原理技术在自适应解块滤波之前和之后的两相邻8x8像素胶片颗粒块对。图5A和5B中最左边的块Blockn,在其左上和右上顶点(4,3)和(7,3)以及左下和右下顶点(4,7)和(7,7)处的颗粒块限定的区域中,具有比块的其它位置更小的颗粒尺寸,其中原点(0,0)位于块的左上角。图5A和5B中最右边的块Blockm,在其左上和右上顶点(0,2)和(4,2)以及左下和右下顶点(0,4)和(4,4)处限定的区域中,具有比块的其它位置更大尺寸的颗粒。
如图5B所示,在根据本发明原理技术的自适应解块之后,沿着Blockn和Blockm左和右边缘的一些像素分别具有不同的强度。具体地,位于Blockn左边缘的(7,2)和Blockm左边缘的(0,2)的像素,每个都分别具有比对应块相同边缘之上和之下的其它像素更大的强度。该更大的强度出现在Blockm中与大颗粒区域相邻的像素。同样,位于Blockn的右边缘的像素(5,7)、(6,7)和(7,7)以及位于Blockm的左边缘的像素(0,5)、(0,6)和(0,7)均在自适应解块滤波之后具有更小的强度。在自适应解块滤波之后这些像素的缩小强度源于与Blockn中较小颗粒尺寸区域相邻的这些像素。
本发明原理的自适应解块方法可以容易地使用任何其它类型的解块滤波器,其中滤波的强度取决于滤波器方程式中的一个或多个参数。由于使用LUT能够进行自适应,源自滤波器强度改变的复杂度增加保持较低。使用LUT可以避免额外计算的需要。
针对可以承受较大复杂度的应用,本发明原理的方法可以根据块中除颗粒尺寸以外(或与颗粒尺寸一起的其它)胶片颗粒的特性来改变滤波器强度。例如,参考图2和4所述的自适应缩小和自适应解块滤波技术,可以分别除胶片颗粒尺寸之外还使用、或代替胶片颗粒尺寸的胶片颗粒强度和/或纹理。通常,滤波器类型和强度都可以基于电影胶片特性改变。更高的复杂度源自与更复杂滤波器相关联的操作数目的增加和附加的存储器。
针对大多数复杂和最优性能的应用,根据本发明原理的解块滤波可以同时考虑胶片颗粒的特性和容纳颗粒的图像的特性。在演示实施例中,解块强度与图像的亮度成比例地改变,这是因为胶片颗粒(以及胶片颗粒块之间的过渡)在图像的较亮区域显得更明显。在另一个演示实施例中,解块强度与图像纹理的特性成比例地改变,纹理越好,解块越弱。
相比于参考图2所述的自适应缩小技术,图4的自适应解块滤波技术产生更好的性能,这是因为解块滤波执行衰减时考虑了块边缘两侧的像素值和胶片颗粒特性。图3B和5B演示了两种技术之间的性能差别。通过比较Blockm最左列缩放(图3B)和解块(图5B)的结果,由于相邻Blockn的影响,与缩小相比较,位于与大颗粒区域相邻的像素在解块后将呈现不同值。
上文描述了一种减小仿真胶片颗粒中成块效应的技术。

Claims (22)

1. 一种用于减小至少一个胶片颗粒块的成块效应的方法,包括步骤:
设定至少一个参数,所述参数至少与块中胶片颗粒的特性部分地相关联;以及
根据所述至少一个参数来减小胶片颗粒成块效应。
2. 根据权利要求1所述的方法,其中,减小胶片颗粒成块效应的步骤还包括步骤:沿着至少一个边缘来缩小胶片颗粒块。
3. 根据权利要求2所述的方法,还包括步骤:沿着所有边缘来缩小胶片颗粒块。
4. 根据权利要求1所述的方法,其中,减小胶片颗粒成块效应的步骤还包括步骤:沿着至少一个边缘来解块滤波胶片颗粒块。
5. 根据权利要求4所述的方法,其中,减小胶片颗粒成块效应的步骤还包括步骤:沿着所有边缘来解块滤波胶片颗粒块。
6. 根据权利要求1所述的方法,其中,设定至少一个参数的步骤还包括步骤:产生胶片颗粒尺寸。
7. 根据权利要求1所述的方法,其中,设定至少一个参数的步骤还包括步骤:设定胶片颗粒强度。
8. 根据权利要求1所述的方法,其中,设定至少一个参数的步骤还包括步骤:设定胶片颗粒纹理。
9. 根据权利要求1所述的方法,其中,设定至少一个参数的步骤还包括步骤:设定胶片颗粒尺寸、强度和纹理中的至少一个,并设定至少一个图像特性。
10. 根据权利要求1所述的方法,还包括步骤:在块的不同行中不同地减小胶片颗粒成块效应。
11. 根据权利要求1所述的方法,还包括步骤:在块的不同列中不同地减小胶片颗粒成块效应。
12. 根据权利要求1所述的方法,还包括步骤:根据相邻块的至少一个特性,至少部分地减小胶片颗粒成块效应。
13. 根据权利要求1所述的方法,还包括步骤:根据容纳颗粒的图像的至少一个特性,至少部分地减小胶片颗粒成块效应。
14. 一种用于减小至少一个胶片颗粒块的成块效应的设备,包括:
设定装置,用于设定至少一个参数,所述参数至少与块中胶片颗粒特性部分地相关联;以及
用于根据所述至少一个参数来减小胶片颗粒成块效应的装置。
15. 根据权利要求14所述的设备,其中,用于减小胶片颗粒成块效应的装置还包括沿着至少一个边缘来缩小胶片颗粒块的装置。
16. 根据权利要求15所述的设备,其中,用于缩小胶片颗粒块的装置沿着所有块边缘来缩小胶片颗粒块。
17. 根据权利要求14所述的设备,其中,用于减小胶片颗粒成块效应的装置还包括沿着至少一个边缘来解块滤波胶片颗粒块的装置。
18. 根据权利要求17所述的设备,其中,解块滤波装置沿着所有边缘对胶片颗粒块进行解块滤波。
19. 根据权利要求14所述的设备,其中,用于设定至少一个参数的装置还包括用于设定胶片颗粒尺寸的装置。
20. 根据权利要求14所述的设备,其中,用于设定至少一个参数的装置还包括用于设定胶片颗粒强度的装置。
21. 根据权利要求14所述的设备,其中,用于设定至少一个参数的装置还包括用于设定胶片颗粒纹理的装置。
22. 根据权利要求14所述的设备,其中,用于设定至少一个参数的装置还包括用于设定胶片颗粒尺寸、强度和纹理中的至少一个并设定至少一个图像特性的装置。
CN2005800352014A 2004-10-21 2005-10-17 基于块的胶片颗粒图案的自适应解块技术 Expired - Fee Related CN101095356B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US62070204P 2004-10-21 2004-10-21
US60/620,702 2004-10-21
PCT/US2005/037404 WO2006047138A2 (en) 2004-10-21 2005-10-17 Technique for adaptive de-blocking of block-based film grain patterns

Publications (2)

Publication Number Publication Date
CN101095356A CN101095356A (zh) 2007-12-26
CN101095356B true CN101095356B (zh) 2013-06-19

Family

ID=35874366

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2005800352014A Expired - Fee Related CN101095356B (zh) 2004-10-21 2005-10-17 基于块的胶片颗粒图案的自适应解块技术

Country Status (7)

Country Link
US (1) US7738722B2 (zh)
EP (1) EP1803303B1 (zh)
JP (1) JP4920592B2 (zh)
KR (1) KR101174179B1 (zh)
CN (1) CN101095356B (zh)
CA (1) CA2584027C (zh)
WO (1) WO2006047138A2 (zh)

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4723483B2 (ja) * 2003-04-10 2011-07-13 トムソン ライセンシング 符号化ビデオに於いてフィルム粒子をシミュレートする技術
JP2005100100A (ja) * 2003-09-25 2005-04-14 Toyota Motor Corp 車輪情報処理装置および車輪情報処理方法
EP1673943A1 (en) * 2003-10-14 2006-06-28 Thomson Licensing, S.A. Technique for bit-accurate comfort noise addition
US8150206B2 (en) * 2004-03-30 2012-04-03 Thomson Licensing Method and apparatus for representing image granularity by one or more parameters
BRPI0516614B1 (pt) 2004-10-18 2020-08-18 Interdigital Vc Holdings, Inc Método de simulação de granulação de filme
GB0424339D0 (en) * 2004-11-03 2004-12-08 Astrazeneca Ab Combination therapy
EP1813118B1 (en) 2004-11-12 2019-12-04 InterDigital VC Holdings, Inc. Film grain simulation for normal play and trick mode play for video playback systems
CA2587118C (en) 2004-11-16 2014-12-30 Thomson Licensing Film grain sei message insertion for bit-accurate simulation in a video system
MX2007005652A (es) 2004-11-16 2007-06-05 Thomson Licensing Metodo de simulacion de grano de pelicula con base en coeficientes de transformacion pre-computados.
ES2739452T3 (es) * 2004-11-17 2020-01-31 Interdigital Vc Holdings Inc Método de simulación de grano de película con precisión de bits basado en coeficientes transformados calculados previamente
KR101208158B1 (ko) * 2004-11-22 2012-12-05 톰슨 라이센싱 필름 그레인 시뮬레이션을 위한 필름 그레인 캐시 분할방법, 장치 및 시스템
CN101065971B (zh) * 2004-11-24 2014-01-01 汤姆森许可贸易公司 媒体重放设备中使用的胶片颗粒仿真技术
KR100703744B1 (ko) * 2005-01-19 2007-04-05 삼성전자주식회사 디블록을 제어하는 fgs 기반의 비디오 인코딩 및디코딩 방법 및 장치
US8254462B2 (en) * 2005-01-28 2012-08-28 Broadcom Corporation Method and system for block noise reduction
US8213500B2 (en) 2006-12-21 2012-07-03 Sharp Laboratories Of America, Inc. Methods and systems for processing film grain noise
US8189946B2 (en) * 2007-01-24 2012-05-29 Canon Kabushiki Kaisha Image processing apparatus and method thereof for detecting and removing noise in decoded images
JP2008219163A (ja) * 2007-02-28 2008-09-18 Toshiba Corp 情報符号化方法、情報再生方法、及び情報記憶媒体
US10715834B2 (en) 2007-05-10 2020-07-14 Interdigital Vc Holdings, Inc. Film grain simulation based on pre-computed transform coefficients
CA2638465A1 (en) * 2007-08-01 2009-02-01 Jean-Yves Chouinard Learning filters for enhancing the quality of block coded still and video images
US9723330B2 (en) 2008-11-25 2017-08-01 Thomson Licensing Dtv Method and apparatus for sparsity-based de-artifact filtering for video encoding and decoding
JP5361524B2 (ja) 2009-05-11 2013-12-04 キヤノン株式会社 パターン認識システム及びパターン認識方法
JP2011223302A (ja) 2010-04-09 2011-11-04 Sony Corp 画像処理装置と画像処理方法
JP2012044535A (ja) * 2010-08-20 2012-03-01 Toshiba Corp 動画像符号化装置及び動画像符号化方法
JP5484310B2 (ja) * 2010-12-24 2014-05-07 キヤノン株式会社 画像処理装置及び画像処理装置の制御方法
KR102497153B1 (ko) * 2012-01-18 2023-02-07 브이-노바 인터내셔널 리미티드 안정성 정보 및 트랜션트/확률적 정보의 구별되는 인코딩 및 디코딩
JP6082304B2 (ja) * 2012-04-17 2017-02-15 キヤノン株式会社 画像処理装置及びその処理方法
EP3503555B1 (en) 2017-12-21 2020-07-22 Axis AB A method and a controller for adding comfort noise to a video sequence
CN112381744B (zh) * 2020-10-27 2022-10-11 杭州微帧信息科技有限公司 一种av1合成胶片颗粒自适应前处理的方法
US20220337883A1 (en) * 2021-04-19 2022-10-20 Comcast Cable Communications, Llc Methods, systems, and apparatuses for adaptive processing of video content with film grain

Family Cites Families (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4935816A (en) * 1989-06-23 1990-06-19 Robert A. Faber Method and apparatus for video image film simulation
US4998167A (en) * 1989-11-14 1991-03-05 Jaqua Douglas A High resolution translation of images
US5687011A (en) * 1990-10-11 1997-11-11 Mowry; Craig P. System for originating film and video images simultaneously, for use in modification of video originated images toward simulating images originated on film
US5457491A (en) * 1990-10-11 1995-10-10 Mowry; Craig P. System for producing image on first medium, such as video, simulating the appearance of image on second medium, such as motion picture or other photographic film
US5374954A (en) * 1990-10-11 1994-12-20 Harry E. Mowry Video system for producing video image simulating the appearance of motion picture or other photographic film
US5140414A (en) * 1990-10-11 1992-08-18 Mowry Craig P Video system for producing video images simulating images derived from motion picture film
US5335013A (en) 1992-01-16 1994-08-02 Faber Robert A Method and apparatus for video camera image film simulation
US5471572A (en) * 1993-07-09 1995-11-28 Silicon Graphics, Inc. System and method for adding detail to texture imagery in computer generated interactive graphics
US5475425B1 (en) 1994-01-25 2000-07-25 Przyborski Production Apparatus and method for creating video ouputs that emulate the look of motion picture film
US5831673A (en) 1994-01-25 1998-11-03 Przyborski; Glenn B. Method and apparatus for storing and displaying images provided by a video signal that emulates the look of motion picture film
WO1996013006A1 (en) * 1994-10-20 1996-05-02 Mark Alan Zimmer Digital mark-making method
US5629769A (en) * 1995-06-01 1997-05-13 Eastman Kodak Company Apparatus and method for the measurement of grain in images
AU711488B2 (en) 1995-09-12 1999-10-14 Koninklijke Philips Electronics N.V. Hybrid waveform and model-based encoding and decoding of image signals
US5641596A (en) * 1995-12-05 1997-06-24 Eastman Kodak Company Adjusting film grain properties in digital images
US6957350B1 (en) * 1996-01-30 2005-10-18 Dolby Laboratories Licensing Corporation Encrypted and watermarked temporal and resolution layering in advanced television
GB9607633D0 (en) * 1996-04-12 1996-06-12 Discreet Logic Inc Grain matching of composite image in image
US6370192B1 (en) * 1997-11-20 2002-04-09 Hitachi America, Ltd. Methods and apparatus for decoding different portions of a video image at different resolutions
US6847737B1 (en) * 1998-03-13 2005-01-25 University Of Houston System Methods for performing DAF data filtering and padding
US6667815B1 (en) * 1998-09-30 2003-12-23 Fuji Photo Film Co., Ltd. Method and apparatus for processing images
US6724942B1 (en) * 1999-05-24 2004-04-20 Fuji Photo Film Co., Ltd. Image processing method and system
US6317216B1 (en) 1999-12-13 2001-11-13 Brown University Research Foundation Optical method for the determination of grain orientation in films
WO2001077871A1 (en) 2000-04-07 2001-10-18 Demografx Enhanced temporal and resolution layering in advanced television
CA2309002A1 (en) * 2000-05-23 2001-11-23 Jonathan Martin Shekter Digital film grain reduction
US6940993B2 (en) 2000-12-13 2005-09-06 Eastman Kodak Company System and method for embedding a watermark signal that contains message data in a digital image
US7206459B2 (en) * 2001-07-31 2007-04-17 Ricoh Co., Ltd. Enhancement of compressed images
US7227901B2 (en) * 2002-11-21 2007-06-05 Ub Video Inc. Low-complexity deblocking filter
RU2005126424A (ru) 2003-01-20 2006-01-10 Конинклейке Филипс Электроникс Н.В. (Nl) Кодирование видеосигнала
JP4723483B2 (ja) * 2003-04-10 2011-07-13 トムソン ライセンシング 符号化ビデオに於いてフィルム粒子をシミュレートする技術
US20040208389A1 (en) * 2003-04-15 2004-10-21 Silicon Integrated Systems Corp. Digital picture processing method
PL378934A1 (pl) 2003-05-15 2006-06-12 Thomson Licensing Sposób i urządzenie do przedstawiania ziarnistości obrazu przez jeden lub więcej parametrów
US7245783B2 (en) * 2003-06-24 2007-07-17 Eastman Kodak Company System and method for estimating, synthesizing and matching noise in digital images and image sequences
RU2340943C2 (ru) * 2003-09-23 2008-12-10 Томсон Лайсенсинг Способ для имитирования зернистости фотопленки посредством мозаицирования предварительно вычисленных образцов
JP4931587B2 (ja) * 2003-09-23 2012-05-16 トムソン ライセンシング 周波数フィルタリングを用いてフィルムグレインをシミュレートする手法
EP1673943A1 (en) * 2003-10-14 2006-06-28 Thomson Licensing, S.A. Technique for bit-accurate comfort noise addition
US8150206B2 (en) * 2004-03-30 2012-04-03 Thomson Licensing Method and apparatus for representing image granularity by one or more parameters
ES2739452T3 (es) * 2004-11-17 2020-01-31 Interdigital Vc Holdings Inc Método de simulación de grano de película con precisión de bits basado en coeficientes transformados calculados previamente
KR101208158B1 (ko) * 2004-11-22 2012-12-05 톰슨 라이센싱 필름 그레인 시뮬레이션을 위한 필름 그레인 캐시 분할방법, 장치 및 시스템
WO2006057703A1 (en) * 2004-11-23 2006-06-01 Thomson Licensing Low-complexity film grain simulation technique
CN101065971B (zh) * 2004-11-24 2014-01-01 汤姆森许可贸易公司 媒体重放设备中使用的胶片颗粒仿真技术
JP4914026B2 (ja) * 2005-05-17 2012-04-11 キヤノン株式会社 画像処理装置及び画像処理方法
US7596239B2 (en) * 2005-08-02 2009-09-29 Lsi Corporation Method and/or apparatus for video watermarking and steganography using simulated film grain
US7664337B2 (en) * 2005-12-20 2010-02-16 Marvell International Ltd. Film grain generation and addition

Also Published As

Publication number Publication date
CN101095356A (zh) 2007-12-26
WO2006047138A2 (en) 2006-05-04
JP2008518510A (ja) 2008-05-29
US20060140278A1 (en) 2006-06-29
CA2584027A1 (en) 2006-05-04
CA2584027C (en) 2014-12-30
EP1803303B1 (en) 2019-12-04
JP4920592B2 (ja) 2012-04-18
WO2006047138A3 (en) 2006-08-03
EP1803303A2 (en) 2007-07-04
US7738722B2 (en) 2010-06-15
KR101174179B1 (ko) 2012-08-16
KR20070084390A (ko) 2007-08-24

Similar Documents

Publication Publication Date Title
CN101095356B (zh) 基于块的胶片颗粒图案的自适应解块技术
CN101065970B (zh) 用于仿真胶片颗粒的方法与设备
CN101044510B (zh) 胶片颗粒模拟方法
CN101057259B (zh) 基于预计算的变换系数的胶片颗粒仿真方法
RU2372660C2 (ru) Способ имитации зернистости пленки для использования в медиа устройствах воспроизведения
EP3457359B1 (en) Method and apparatus for representing image granularity by one or more parameters
CN1890978B (zh) 利用胶片颗粒图案数据库进行胶片颗粒模拟的技术
KR20070029624A (ko) 주파수 필터링을 이용한 필름 그레인 시뮬레이팅을 위한기술
KR101169826B1 (ko) 사전계산된 변환 계수들에 기초한 비트-어큐리트 필름그레인 시뮬레이션 방법
MXPA06003285A (en) Technique for simulating film grain using frequency filtering
MXPA06006308A (en) Technique for film grain simulation using a database of film grain patterns

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CP02 Change in the address of a patent holder

Address after: I Si Eli Murli Nor, France

Patentee after: THOMSON LICENSING

Address before: French Boulogne - Bilang Kurt

Patentee before: THOMSON LICENSING

CP02 Change in the address of a patent holder
TR01 Transfer of patent right

Effective date of registration: 20190523

Address after: American Delaware

Patentee after: Interactive Digital VC Holdings

Address before: I Si Eli Murli Nor, France

Patentee before: THOMSON LICENSING

TR01 Transfer of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20130619

Termination date: 20211017

CF01 Termination of patent right due to non-payment of annual fee