CN1173576C - 用于离散余弦变换编码图像向下变换的频域滤波 - Google Patents

用于离散余弦变换编码图像向下变换的频域滤波 Download PDF

Info

Publication number
CN1173576C
CN1173576C CNB98100718XA CN98100718A CN1173576C CN 1173576 C CN1173576 C CN 1173576C CN B98100718X A CNB98100718X A CN B98100718XA CN 98100718 A CN98100718 A CN 98100718A CN 1173576 C CN1173576 C CN 1173576C
Authority
CN
China
Prior art keywords
filtering
frequency domain
group
coefficient
video signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CNB98100718XA
Other languages
English (en)
Other versions
CN1203500A (zh
Inventor
金熙龙
・罗伯特・梅依尔
爱德温·罗伯特·梅依尔
颖川廉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Publication of CN1203500A publication Critical patent/CN1203500A/zh
Application granted granted Critical
Publication of CN1173576C publication Critical patent/CN1173576C/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4084—Transform-based scaling, e.g. FFT domain scaling
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/48—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using compressed domain processing techniques other than decoding, e.g. modification of transform coefficients, variable length coding [VLC] data or run-length data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0125—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level one of the standards being a high definition standard

Abstract

离散余弦变换域的低通滤波器在按空间域进行视频图像分样前对以频域系数值为代表的高分辨视频编码图像进行低通滤波。该滤波器在进行离散余弦逆变换前给视频图像宏块提供加权并可以作为频域中的一个块镜像滤波器配置，而且其值可与离散余弦逆变换系数值合并。为了在空间域中产生原始的象素值和半象素值，运动矢量经换算后用于修正向上采样获得的低分辨预测字块。在对原始宏块进行运动补偿处理后，对按重新构成的低分辨率宏块作分样处理。

Description

用于离散余弦变换编码图像向下变换的频域滤波
本发明所属技术领域
本发明涉及带滤波器的解码器，该滤波器用于频域编码信号(例如MPEG-2编码的视频信号)的向下变换，具体地说，本发明涉及借助频域信号滤波将高分辨率视频信号变换为低分辨率视频信号的解码器。
本发明的技术背景
在美国，已经提出用于数字化编码的高清晰度电视信号标准。该标准的一部分本质上与国际标准化组织(ISO)动态图像专家组提出的MPEG-2标准相同。在一本名为“Information Tecnology--Generic Coding of Moving Pictures and Associated Audio，Recommendation H.626(信息技术——动态图像和伴音的通用编码，推荐标准H.626)”的出版物(ISO/IEC 13818-2，IS，11/94)中介绍了这个标准，该出版物可从ISO获取，在此将它作为MPEG-2数字视频编码标准并入本发明以供参考。
MPEG-2标准实际上是几个不同的标准。在MPEG-2中定义了几种不同的概要(profiles)，每个概要对应于编码图像复杂程度的不同级别，每个概要又分成若干个不同的级，每个级对应不同的图像分辨率。MPEG-2标准之一被称为主概要主级(MainProfile Main Level＝MPML)的标准，用于对符合现行电视图像标准(如NTSC和PAL)的视频信号编码。另一个标准被称为主概要高级(Main Profile High Level＝MPHL)标准，用于对高清晰度电视图像编码。根据MPHL标准编码的图像每帧可以有1,152个扫描行，每行有1,920个象素。
另一方面，MPML标准定义了最大的画面尺寸，即每帧567行，每行720个象素。按每秒30帧的帧速，按照这个标准编码的信号具有每秒720*567*30的数据率，即每秒12,247,200个象素。相比之下，按照MPHL标准编码的图像具有的最大数据率为每秒1,152*1,920*30，即每秒66,355,200个象素。这个数据率比根据MPML标准编码的图像的数据率要高5倍以上。在美国提倡用于高清晰度电视图像(HDTV)编码的标准是这个标准的一个子集，该标准是每帧具有1,080行，每行1,920个象素，对于这个帧尺寸，最大的帧速为每秒30帧。该推荐标准的最大数据率仍然远远高于MPML标准的最大数据率。
MPEG-2标准定义了一种包含数据和控制信息的复合语法。其中，一部分控制信息用于使具有几种不同格式的信号可以被标准进行覆盖。这些格式定义的图像的每行的象素数不同，每帧的行数不同，或每秒传送的帧数或场也不相同。另外，MPEG-2中主概要(MP)的基本语法定义了按六个概要表示图像序列的MPEG-2压缩位流，这六个概要是序列层(sequence layer)，画面层组(group of picture layer)，画面层(picture layer)，限幅层(slice layer)，宏块层(macroblock layer)，以及字块层(block layer)。其中，每层都引入了控制信息。最后，被称为边缘信息的其他控制信息(例如，帧类型，宏块模式，图像移动矢量，系数的锯齿形模式和非量化信息)从头至尾散布在编码位流之中。
将MPHL的高分辨率画面转换成MPML画面或其他低分辨率画面格式的向下变换对于降低HDTV装置成本越来越重要。向下变换允许用便宜的现有低分辨率画面的监视器(例如，支持MPML编码画面的监视器，如NTSC或525改进监视器)代替供MPHL的编码画面使用的昂贵的高分辨率监视器。向下变换将高分辨率的输入画面转换成低分辩率画面，以便在低分辩率的监视器上显示。
为了有效的接收数字图像，解码器应当快速处理视频信号信息。为了得到最佳效果，编码系统应当比较便宜并且应当对这些数字信号具有足够的实时解码能力。
现有技术向下变换的一种方法是采用一些简单的低通滤波器并且对经过解码的高分辨MPHL画面进行分样，以便形成适合在传统电视接收机上显示的图像。因此，采用现有技术，使用向下变换的解码器是用单一处理器实现的，为了完成这种功能，该处理器设计复杂，内存大并且以高数据率在空间域图像上进行运算。但是，高分辨率和高数据率需要非常昂贵的线路，这将与在价格作为主要因素的用户电视接收机上配备解码器的初衷截然相反。
本发明概述
一种生成分样视频信号的接收装置代表视频图像的编码视频信号，该编码的视频信号是经过频域转换的视频信号。该装置包括提供编码视频信号的装置，其中编码的视频信号是作为多个高分辨率频域视频系数值提供的。该装置进一步包括向下变换的滤波器装置和逆变换装置，前者用以接收从多个高分辨率频域视频系数值中选出的一部分系数值并给它们加权，以形成一组经过滤波的频域视频系数；后者接收那组经过滤波的频域视频系数并将它们转换成一组低分辨率象素采样值。为了提供经过分样的视频信号，该装置还包括分样处理器，该分样处理器用于接收和保存从那组低分辨率象素采样值中选出的象素值以提供分样的视频信号。
附图的简要说明
本发明的上述特征和其他特征、以及本发明的优点通过下面结合附图的详细介绍将更为清楚，其中：
图1是现有技术的视频解码系统的高级方框图。
图2A是本发明示范实施方案的向下变换系统的高级方框图。
图2B是本发明的另一个示范实施方案的向下变换系统的高级方框图，该系统使用低成本的水平和垂直滤波装置。
图3A说明本发明的2∶1和3∶1实施方案中子象素的位置和相应的预测象素。
图3B说明在本发明的示范实施方案中对输入宏块的每行进行的向上采样过程。
图4说明字块镜像滤波器示范实施方案中适合第一和第二输出象素值的乘法数据对。
图5说明适合二维系统的向下变换滤波器的示范实施方案，该滤波器将二维系统的水平和垂直分量转换成逐位进位的一维的离散余弦逆变换。
图6A说明采用3∶1分样用于4∶2∶0视频信号的输入象素和经过分样后的输出象素。
图6B说明采用2∶1分样用于4∶2∶0视频信号的输入象素和经过分样后的输出象素。
图7A说明在一个本发明示范实施方案中垂直分量可编程滤波器的高级方框图。
图7B说明图7A所示的垂直分量可编程滤波器中各行(线)的系数与象素采样间隔之间的空间关系。
图8A说明在一个本发明示范实施方案中水平分量可编程滤波器的高级方框图。
图8B说明在本发明的一个实施方案中水平滤波系数值和象素采样值之间的空间关系。
图8C说明在16∶9显示器上的4∶3画面的映象的第一比率分布图。
图8D说明在16∶9显示器上的4∶3画面的映象的第二比率分布图。
图8E说明在4∶3显示器上的16∶9画面的映象的第一比率分布图。
图8E说明在4∶3显示器上的16∶9画面的映象的第二比率分布图。
图9A说明2∶1分样的垂直内插过程。该内插过程常用于改善本发明示范实施方案的图像质量。
图9B说明3∶1分样的垂直内插过程。该内插过程常用于改善本发明示范实施方案的图像质量。
本发明的详细叙述
本发明的滤波器示范实施方案完成按照MPEG-2标准(具体地说按照MPHL级的MPEG-2标准)编码的HDTV信号的解码。
但是，这里介绍的发明不局限于对解码的HDTV信号的向下变换滤波。下面介绍的滤波方法也可用于其他类型的频域编码数字信号的滤波，这类数字信号可以被分成数段，经滤波后再重新组合。
MPEG-2的主概要标准按六层定义图像的顺序，它们是顺序层、画面层组、画面层、切片层，宏块层，以及字块层。在数据流中，每一层都被看作是一条记录，后列出的层作为先列出的层的嵌套子层。除了字块层，每层的记录都包括一个起始段，该段包含着用于对其子记录解码的数据信息。
每个编码的HDTV信号字块都包含着代表64个不同的系数值的数据，这64个系数值是HDTV图像中64个象素的离散余弦变换(DCT)表达式的系数值。
在编码过程中，在进行离散余弦变换之前，象素数据属于经运动补偿的差分编码数据，并且变换系数字块借助应用运行长度编码技术和可变长度编码技术被进一步再次编码。从数据流中恢复图像序列的解码器将编码过程逆转。这种解码器使用熵解码器(如可变长度解码器)、离散余弦逆变换处理器、运动补偿处理器、以及内插滤波器。
图1是现有技术中典型的视频解码系统的高级方框图。该视频解码器包括熵解码器110、反向量化器120、和离散余弦逆变换(IDCT)处理器130。其中，熵解码器110通常是可变长度解码器和运行长度解码器。该系统还包括控制器170，该控制器控制解码系统中各个部件以响应从熵解码器110的输入位流中返回的控制信息。为了处理预测图像，现有技术系统还包括存储器160、加法器140、运动补偿处理器150和字块至光栅转换器180。
可变长度解码器110接收编码的视频图像信号，逆转编码过程以生成控制信息，该控制信息包括描述在前一幅解码图像中映射宏块相对位移的运动矢量，这个位移量与当前正在解码的画面的预测宏块相对应。如果采用帧内编码，可变长度解码器110还接收当前视频图像各个字块的量化离散余弦变换系数，如果采用帧间编码，则接收当前视频图像与预测视频图像之间的差值。反向量化器120接收量化的离散余弦变换转换系数并为具体的宏块重建量化的离散余弦变换系数。用于具体字块的量化矩阵是从可变长度解码器110接收的。
离散余弦逆变换处理器130将重建的离散余弦变换系数转换成空间域中的象素值(每个8×8矩阵值字块代表该宏块的亮度分量或色度分量，对于预测宏块，每个8×8矩阵值字块表示该预测宏块的差分亮度分量或差分色度分量)。
如果当前的宏块不是预测的编码宏块，那么输出的矩阵值就是与当前视频图像对应的宏块的象素值。如果宏块是帧间编码的宏块，那么与上一幅视频画面对应的宏块被储存在存储器160中，供运动补偿处理器150使用。运动补偿处理器150从对运动矢量作出响应的存储器160中接收上一帧宏块，然后在加法器140中将上一帧宏块加到当前经离散余弦逆变换转换的宏块(它与当前预测的编码帧的残留分量对应)中，以生成用于当前视频图像的象素宏块，生成的宏块储存在存储器160中。
(a)向下变换的滤波系统
图2A是本发明示范实施方案的向下变换系统的高级方框图。如图2A所示，向下变换系统包括可变长度解码器(VLD)210、运行长度解码器(R/L)212、反向量化器214、和离散余弦逆变换处理器218。此外，向下变换系统还包括向下变换滤波器216和向下采样处理器232，它们用于给编码图像滤波。在介绍下面的用于MLHP编码输入的示范实施方案时，本发明可以在任何以类似方式编码的高分辨率图像位流上实施。
向下变换系统还包括一个运动矢量(MV)转译器220，运动字块生成器224，以及参考帧存储器222。其中，运动字块生成器224包括向上采样处理器226和半象素生成器228。
第一个示范实施方案的系统还包括显示变换模块280，该模块包括垂直可编程滤波器(VPF)282和水平可编程滤波器(HZPF)284。显示变换模块280将向下采样的图像转换成可在低分辨率显示器上显示的图像，有关显示变换将在(f)小节中详细描述。
向下变换滤波器216按频域完成高分辨率(如MPHL级的离散余弦变换)系数的低通滤波。向下采样处理器232借助对经过滤波的MPHL画面的分样删除一些空间象素值，以生成一组可在分辨率低于MPHL画面所需分辨率的监视器上显示的象素值。示范的参考帧存储器222存储空间象素值，这些值至少与一帧以前解码的参考帧对应，而该参考帧的分辨率与经向下采样的画面对应。对于帧间编码，MV转译器220依比例计算收到的画面中每个字块的运动矢量，这种换算与分辨率的下降是一致的，而高分辨率的运动字块生成器224接收参考帧存储器222提供的低分辨率的运动字块，对这些运动字块向上采样并生成半象素值，以提供与经解码和滤波的差分象素字块有良好空间相对应性的运动字块。
现在介绍用于帧内编码的本发明向下变换系统的示范实施方案的操作。VLD210接收MPHL级的位流并解码。除HDTV系统使用的标题信息外，VLD210将离散余弦变换系数提供给每个字块和宏块，并且提供运动矢量信息。离散余弦变换系数在R/L解码器212中完成运行长度解码并借助反向量化器214完成反向量化。VLD210和R/L解码器212与图1中的熵解码器110相对应。
由于收到的由离散余弦变换系数表示的视频图像都是高分辨率的画面，本发明的示范实施方案在进行高分辨率视频图像的分样之前先对每个字块的离散余弦变换系数进行低通滤波。R/L解码器212将离散余弦变换系数提供给离散余弦变换滤波器216，该滤波器先借助预定的滤波系数值给离散余弦变换系数加权完成频域内的低通滤波，然后再将离散余弦变换系数提供给离散余弦逆变换处理器218。在本发明的一个示范实施方案中，这种滤波器操作是逐字块完成的。
离散余弦逆变换处理器218通过对经过滤波的离散余弦变换系数进行离散余弦逆变换提供空间象素采样值。向下采样处理器232按照预定的分样率通过删除空间象素采样值减小画面的采样尺寸，因此，存储低分辨率的画面使用的帧存储器比储存高分辨率的MPHL画面所需的帧存储器要小。
现在介绍用于编码标准的预测帧的本发明向下变换系统的示范实施方案的操作。在示范实施方案中遵循MPEG标准。在这个实例中，当前收到的图像的离散余弦变换系数代表预测图像宏块的残留分量的离散余弦变换系数，为了方便现在将它称之为预测帧(P-frame)。在介绍的示范实施方案中，由于在存储器中储存的前一帧低分辨率参考画面和高分辨率的预测帧(MPHL级)的象素数不同，所以预测帧的运动矢量的水平分量是经过换算的。
参照图2A，由VLD210提供的MPHL级位流的运动矢量提供给MV转译器220。MV转译器220和参考帧存储器222中存储的前一幅图像的参考帧的适当的预测字块对每个运动矢量进行换算。重新得到的字块的字块尺寸(象素值的数目)小于用于给当前图像编码的高分辨率图像字块，结果，重新得到的字块要向上采样，以生成一个与离散余弦逆变换处理器218提供的残留字块的尺寸相同的预测字块。
响应于来自MV转译器220的控制信号，向上采样处理器226完成对预测字块的向上采样，以生成一个与原始的高分辨率象素字块相符的字块，接下来，如果运动矢量表明经过向上采样的预测字块在半象素生成器228之中，那么生成半象素值，以确保预测字块适当的空间对齐。经过向上采样并对齐的预测字块在加法器230中与当前经过滤波的字块相加，例如，当前经过滤波的字块是来自预测字块的降低了分辨率的残留分量。逐个宏块一一完成所有的处理。在针对当前高分辨率宏块完成运动补偿处理之后，由向下采样处理器232在重建的宏块中进行适当的分样处理。这个过程不降低图像的分辨率，而是简单地从经过滤波的低分辨率图像中除去多余的象素。
一旦有经过向下采样的图像宏块可以利用，显示变换模块280就借助VPF滤波器282和HZPF滤波器284分别对经过向下采样的图像的水平分量和垂直分量进行滤波，以调整适合在低分辨率的电视监视器上显示的图像。
图2B是本发明的另一个向下变换系统的实施方案的高级方框图，该方案使用适合显示变换的低成本的水平和垂直滤波装置。对于图2B所示系统，除了图像的水平和垂直分量的滤波方法不同之外，其余的与前面描述的向下变换过程相同，并且可以仿效示范的3∶1和2∶1转换实施。
第二个示范实施方案中的系统包括两个模块，一个是字块至光栅存储器252，它用于储存经过处理和解码的图像，另一个是字块至光栅处理器254，它用于提供经过水平分样的低分辨率图像。这个系统还包括用于垂直象素值低通滤波的垂直低通滤波器(LPF)260、用于从垂直低通滤波器260读取选定的水平行的开关262、以及用于提供低分辨率图像的FIFO缓冲器。
这个系统还包括垂直低通滤波器(LPF)260，用于对来自字块至光栅处理器254的垂直象素值进行低通滤波。FIFO 264借助选择开关262接收选定的水平行。水平行数的减少降低了画面的垂直宽度。FIFO缓冲器264以较高分辨率的时钟频率CLK接收水平行。但是，为了提供低分辨率画面，FIFO缓冲器264依据需要按降低的时钟频率提供水平行。就2∶1分样(如图2B所示)而言，时钟频率CLK/2是较高时钟频率的一半。本发明的实施方案中这种低成本的显示变换方式将在(f)小节详细介绍。
(b)宏块预测
由于前面图像的参考帧的尺寸被减小了，针对这些参考帧接收的运动矢量也可以按照变换的比率作相应的转译。下面介绍亮度字块在水平方向的运动转译。如果需要，熟悉这项技术的人很容易将这种转译扩展到垂直方向。在原始图像帧中用x，y作为当前宏块的地址，Dx作为水平分样因子，mvx作为原始图像帧的半象素水平运动矢量，在原始图像帧中运动字块左上角的地址用半象素单元中的XH表示，该地址(XH)由式(1)给出：
                    XH＝2x+mvx                   (1)
在经过向下采样的图像中，与运动字块对应的象素的起始地址用x*和y*表示，在式(2)中给出：
x * = XH 2 · Dx ; y * = y ; - - - - ( 2 )
由于示范的滤波器216和向下采样处理器232仅仅减少图像的水平分量，所以运动矢量的垂直分量不受影响。对色度而言，原始画面中，运动矢量是亮度运动矢量的一半。所以，色度运动矢量的转译也可以用方程式(1)和(2)定义。
分两步完成运动预测：第一步，估算在原始图像帧中象素精确的运动，这可以借助图2A和图2B中的向上采样处理器226对经过向下采样的图像帧进行向上采样来完成，第二步，半象素生成器228通过计算毗邻的象素的象素平均值来估算半象素的运动。
例如，采用向上采样的多相位滤波器在向上采样处理器226中完成子象素的内插，给出高分辨率画面的运动预测。运动预测的结果将与离散余弦逆变换处理器218的输出相加。由于加法器230的输出值对应于高分辨率的图像，为了在低分辨率的显示器上显示该图像，可以对这些输出值进行向下采样处理。在向下采样处理器232中的向下采样和图像帧的二次抽样本质上是一样的，但是可以在转换率的基础上作些调整。例如，在3∶1的向下采样中，对每个输入宏块在水平方向上向下采样，抽取5或6个象素，而且向下采样得到的第一个象素不总是输入宏块的第一个象素。
从向下采样的图像获得正确的运动预测字块之后，为了得到高分辨率画面中相应的预测字块需要进行向上采样。因此，在运动预测字块中子象素的准确性对向下采样中的画面来说是非常重要的。例如，使用3∶1分样时，在运动预测中最好有1/3(或1/6)子象素准确性。除了经过向下采样的运动字块之外，运动矢量需要的子象素(即第一个象素)被确定下来。接下来，利用下面介绍的模运算确定后续子象素的位置。这些子象素的位置由式(3)中的Xs表示：
X s = ( XH 2 ) % ( Dx ) - - - - ( 3 )
例如，对于3∶1的向上采样，Xs的范围是0，1，2；对于2∶1的向上采样，Xs的范围是0，1。图3A说明在3∶1和2∶1实例中子象素的位置和相应的17个预测象素，表1给出了图3A的图例。
                 表1
    符号     象素
    ●○△□     向下采样象素向上采样象素预测象素向上采样的极左和极右象素
就象上面介绍的那样，向上采样滤波器可以是向上采样的多相位滤波器，表2A列出了这些向上采样的多相位插值滤波器的特征。
                            表2A
 3∶1的向上采样 2∶1的向上采样
多相位滤波器的数目抽头的数目水平方向向下采样的象素最大数目     339     2513
下面两张表，表2B和表2C，列出了3∶1和2∶1向上采样多相位滤波器的多相位滤波系数。
                                   表2B
                            3∶1的向上采样滤波器
相位0 相位1 相位2
双精度 -0.16382317355910.79005893595120.3737642376078 0.02210806910700.95578386178580.0221080691070 0.37376423760780.7900589359512-0.1638231735591
固定点(9位) -0.1640625(-42)0.7890625(202)0.3750000(96) 0.0234375(6)0.95703125(244)0.0234375(6) 0.3750000(96)0.7890625(202)-0.1640625(-42)
                           表2C
                    2∶1的向上采样滤波器
    相位0     相位1
双精度 0.01103968392600.02838864029200.92114335156360.02838864029200.0110396839260 -0.14333638871130.64333638871130.6433363887113-0.14333638871130.0000000000000
固定点(9位) 0.01718750(3)0.02734375(7)0.92187500(236)0.02734375(7)0.01718750(3) -0.14453125(-37)0.64453125(165)0.64453125(165)-0.14453125(-37)0.00000000(0)
在固定点表示法中，表2B和表2C中圆括号中数字是9位的二进制补码表示(法)，与左边的双精度数对应。根据在经过向下采样的参考图像帧中运动预测字块的子象素的位置，采用相应于多相位插值滤波器的相位之一。另外，对示范实施方案而言，为了在原始的经过向下采样的图像帧中插入17个水平象素，左边和右边都需要更多的象素。例如，对于3∶1的分样，每个输入宏块最多有六个经水平方向向下采样的象素。但是，在向上采样时，为了生成相应的运动预测字块值，需要9个水平象素，因为向上采样滤波器需要超出滤波器作业边界的更多的左侧和右侧的象素。由于示范实施方案使用半象素运动预测，为了得到16个半象素需要17个象素，其中这16个半象素是最邻近的两个象素采样的平均值。半象素运动生成器负责这项计算。表3说明子象素位置和多相位滤波器单元之间的映射关系以及除了向上采样处理之外所必须的左侧象素的个数。
                                    表3
子象素位置 多相位滤波器 左侧附加象素数 坐标变化
3∶1向上采样     012     120     110  x-＞x-1x-＞x-1
2∶1向上采样     01     01     22  x-＞x-2x-＞x-2
图3B概述了对输入宏块的每一行完成的向上采样处理。首先，在310步中，接收已处理的输入图像帧字块的运动矢量。在312步中，转译运动矢量以与存储器中经向下采样过的参考帧对应。在314步中，用成比例的运动矢量检索存储在帧存储器中预测字块的坐标。在316步确定用于该字块的子象素点，然后在318步检索用于向上采样的多相滤波器的初始值。在320步从存储器检索用于向下采样参考帧的预测字块的已识别的象素。
在首次执行滤波步骤324之前，应当在322步完成寄存器的初始化，对于示范实施方案，该步骤给寄存器加载3或5个象素值。在滤波步骤324之后，在326步判断是否已经将所有的象素处理完毕，对于示范实施方案，需要处理17个象素。如果尚未处理完所有的象素，则在328步更新相位，并检查相位是否为零(零与滤波器处理需要的最后一个相位对应)。如果该相位不为零，那么为下一组多相滤波系数更新寄存器。在332步更新寄存器，对3∶1的向上采样示范实施方案，将相位值简单地更新为0、1、和2；对2∶1的向上采样示范实施方案，将相位值更新为0和1。作为一个特例，在最左侧的象素超出字块边界的场合时，重复前一个象素值。
(c)使用离散余弦变换系数加权的离散余弦变换域滤波
本发明示范实施方案包括离散余弦变换滤波器216，该滤波器处理该频域中的离散余弦变换系数并代替该空间域中的低通滤波器。对于离散余弦变换编码画面(如按MPEG或JPEG标准编码的画面)，用离散余弦变换域滤波代替空间域滤波可带来一些好处。离散余弦变换域滤波器与用于空间象素采样值的空间域滤器相比，最明显的是计算更有效并且需要的硬件更少。例如，有N个抽头的空间滤波器对每个空间象素采样可能使用N次乘法和加法运算。这相当于在离散余弦变换域滤波器中只作一次乘法运算。
最简单的离散余弦变换域滤波器是高频离散余弦变换系数的舍去项。但是，高频离散余弦变换系数的舍去项得不到平滑的滤波效果，而且在解码画面中有缺陷，如在画面边缘附近有“抖动(ringing)”。本发明示范实施方案的离散余弦变换域低通滤波器来源于空间域中的字块镜像滤波器。例如，借助空间域的数值分析先对字块镜像滤波器的滤波器系数值进行优化处理，然后再将这些值转换成离散余弦变换域滤波器的系数。
尽管示范实施方案只说明水平方向上的离散余弦变换域滤波，但是，借助水平滤波器和垂直滤波器的组合，离散余弦变换域滤波既可以在水平方向进行又可以在垂直方向进行，还可以在两个方向上进行。
(d)推演离散余弦变换域滤波器系数
本发明的一个示范滤波器来自两个约束条件：第一，滤波器为每个图像字块逐个字块地处理图像数据而不使用来自前一幅画面字块的信息；第二，在滤波器处理边界象素值时，滤波器降低字块边界的可见度。
按照第一个约束条件，例如，在MPEG图像序列的基于离散余弦变换的压缩中，N×N个离散余弦变换系数字块产生N×N个空间象素值字块。因此，本发明的示范实施方案配置只处理当前接收画面字块的离散余弦变换域滤波器。
根据第二个约束条件，如果滤波器简单地应用于空间象素值的字块，那么在字块边界上有滤波过滤(transition of filtering)，这是由于边界外没有足够数目的空间象素值来填充滤波器的剩余部分引起的。也就是说，由于N个抽头的滤波器仅有适合N/2个抽头的数值，所以不能对在字块边界上的系数值适当地滤波，剩下的值在字块边界之外。有几种提供象素值的方法：1)重复边界外预定的常数象素值；2)重复同一的值作为边界象素值；3)计算字块象素值的镜像映射，以便在被处理的字块毗邻形成垂直的前一个和后一个象素值字块。在没有关于前后字块内容的先前信息时，重复象素值的镜像映射方法可作为首选的方法。所以本发明的一个实施方案将这种镜像映射法用于滤波器，并称之为“字块镜像滤波器”。
下面介绍配备水平字块镜像滤波器的示范实施方案，该滤波器完成对一个字块的8个输入空间象素采样值的低通滤波。如果输入字块的大小是象素采样值的8×8的字块矩阵，那么水平滤波可以借助将字块镜像滤波器用于每行8象素采样值的方法得以完成。将滤波系数用于字块矩阵列的列就能实现滤波处理，或者先对字块的行滤波再对字块的列滤波从而完成多维滤波，对于本行业的技术人员而言，这些变换是显而易见的。
图4说明用于示范镜像滤波器的输入象素值x0至x7(组x0)之间的对应关系，该滤波器用于8个输入象素，它使用带15个抽头的空间滤波器并用抽头值h0至h14表示。输入象素的镜像在组x0左边用组x1表示，在组x0的右边用组x2表示。滤波器的输出象素值是滤波器抽头值与对应的象素采样值的15个乘积之和。图4说明用于计算第一和第二输出象素值的乘积对。
下面说明空间域中字块镜像滤波器与离散余弦变换域滤波器是等价的。该镜像滤波涉及2N(N＝8)个点的循环卷积(circularconvolution)。
定义矢量x’如式(4)所示：
      x’(n)＝x(n)+x(2N-1-n)；0＜＝n＜＝2N-1      (4)
在N＝8时
x’＝(x0，x1，x2，x3，x4，x5，x6，x7，x7，x6，x5，x4，x3，x2，x1，x0)
重排滤波器的抽头值h0到h14，并且用h’表示重排列的值：
h’＝(h7，h8，h9，h10，h11，h12，h13，h14，0，h0，h1，h2，h3，
     h4，h5，h6)
因此，镜像滤波输出y(n)是式(5)给出的x’(n)和h’(n)的循环卷积：
y(n)＝x’(n)h’(n)                (5)
式5与式(6)是等价的，
y ( n ) = Σ k = 0 2 N - 1 x ′ [ n - k ] · h ′ ( n ) - - - - ( 6 )
其中，x’[n-k]是x’(n)的循环模数(circular modulo)并且
      x’[n]＝x’(n)         n＞＝0
      x’[n]＝x’(n+2N)      n＜0
发明者已经确定式(5)所示的空间域中的循环卷积与离散傅利叶变换(DFT)域中的标量乘积对应。定义Y(k)为y(n)的离散傅利叶变换，于是式(5)在离散傅利叶变换域中变成式(7)：
      Y(k)＝X’(k)·H’(k)                    (7)
其中X’(k)和H’(k)分别是x’(n)和h’(n)的离散傅利叶变换。
式(4)到式(7)对于抽头数小于2N的滤波器是有效的。此外，滤波器限定为带奇数个抽头的对称滤波器，在这些约束条件下H’(k)是实数。所以，作为x’(n)的离散傅利叶变换的X’(k)可以在离散傅利叶变换频域中用实数H’(k)加权，以此代替空间域中的2N次乘法和2N次加法运算，从而完成滤波作业。X’(k)的值与原始的N个点x(n)的离散余弦变换系数密切相关，因为N个点的离散余弦变换是借助2N个点的x’(n)的离散傅利叶变换得到的，其中x’(n)是由x(n)及其镜像x(2N-1-n)组成的联合序列。
下面介绍空间滤波器的离散傅利叶变换系数H’(k)的推演，假设对称滤波器有奇数个(2N-1个)抽头，它们是h(n)＝h(2N-2-n)，并且有等价表达式h’＝h’(2N-n)和h’(N)＝0。用式(8)定义H’(k)：
H ′ ( k ) = Σ n = 0 2 N - 1 h ′ ( n ) · W 2 N kn = h ′ ( 0 ) + 2 Σ n = 1 N - 1 h ′ ( n ) · cos πkn N - - - - ( 8 )
其中W2N kn＝exp{-2πkn/(2N)}；并且H’(k)＝H’(2N-k)。
发明者已经确定x’(n)的2N个点的离散傅利叶变换(X’(k))可以借助它的离散余弦变换系数用式(9)表示：
X ′ ( k ) = Σ n = 0 2 N - 1 x ′ ( n ) · W 2 N kn = W 2 N - k / 2 · Σ n = 1 N - 1 2 x ( n ) · cos πk ( 2 n + 1 ) 2 N - - - - ( 9 )
反之，x(n)的离散余弦变换系数(C(k))借助式(10)给出：
C ( k ) = Σ n = 0 N - 1 2 x ( n ) · cos πk ( 2 n + 1 ) 2 N = W 2 N k / 2 · X ′ ( k )
              0≤k≤N-1                      (10)
否则C(k)＝0。
X’(k)的值(即x’(n)的离散傅利叶变换系数)可以借助x’(n)的离散余弦变换系数C(k)由矩阵表达式(11)表示：
X ′ ( k ) = W 2 N - k / 2 · C ( k ) k ≤ N - 1 0 k = N - W 2 N - k / 2 N + 1 ≤ k ≤ 2 N - 1 - - - - ( 11 )
原始的空间象素采样值(x(n))也可以由式(12)表示的离散余弦逆变换(离散余弦逆变换)获得：
x ( n ) = 1 N Σ k = 0 N - 1 α ( k ) · C ( k ) · cos πk ( n + 1 / 2 ) N - - - - ( 12 )
其中当k＝0时α(k)＝1/2，否则α(k)＝1。
当0＜＝n＜＝N-1时，y(n)的值可借助式(13)中给出的X’(k)H’(k)的IDFT(离散富立叶逆变换)得到：
y ( n ) = 1 2 N · { Σ k = 0 2 N - 1 X ′ ( k ) · H ′ ( k ) · W 2 N - kn }
= 1 2 N { Σ k = 0 N - 1 C ( k ) · H ′ ( k ) · W 2 N - k ( n - 1 / 2 ) + Σ k = N - 1 2 N - 1 - C ( 2 N - k ) · H ′ ( 2 N - k ) · W 2 N - k ( n + 1 / 2 ) }
= 1 N Σ k = 0 N - 1 α ( k ) · { C ( k ) · H ′ ( k ) } · cos πk ( n + 1 / 2 ) N - - - - ( 13 )
式(13)的值y(n)是C(k)H’(k)的离散余弦逆变换的空间值。所以，可以用输入频域系数的离散余弦变换加权代替空间滤波，该输入频域系数用H’(k)表示图像字块，然后完成加权值的离散余弦逆变换，以便重组空间域中经滤波的象素值。
(e)字块镜像滤波器的示范实施方案
本发明的字块镜像滤波示范实施方案的步骤如下：1)选用带奇数个抽头的一维低通对称滤波器，其中抽头数小于2N；2)借助填零将滤波器系数增加到2N个值；3)重新排列滤波器系数，借助向左循环移位将最初在中间的系数移至第零号位置；4)确定重新排列后的滤波系数的离散傅利叶变换系数；5)将离散余弦变换滤波系数与输入字块的实数离散傅利叶变换系数相乘；6)完成经滤波的离散余弦变换系数的离散余弦逆变换，借助与离散余弦逆变换系数相乘完成滤波，以提供一个为分样准备的经过低通滤波的象素字块。
借助分样率确定低通滤波器的截止频率。对于示范实施方案，按3∶1分样，截止频率为π/3；按2∶1分样，截止频率为π/2，其中π是采样频率的一半。
MPEG和JPEG解码器的离散余弦变换域滤波器允许降低对存储器的要求，因为在现有技术的解码器中已有字块的反向量化器和离散余弦逆变换处理，只需要借助离散余弦变换域滤波器补充离散余弦变换系数的标量乘法运算。所以，独立的离散余弦变换域滤波器字块乘法运算实际上不需要用特殊的装置；本发明的另一个实施方案简单地将离散余弦变换域滤波系数与离散余弦逆变换处理系数合并。
在本发明的向下变换示范系统中，考虑了离散余弦变换系数的水平滤波和分样，下面是两个示范方案：
1.1920H×1080V隔行扫描(interlace)到640×1080隔行扫描的变换(水平方向3∶1分样)
2.1280H×720V逐行扫描(progressie)到640×720逐行扫描的变换(水平方向2∶1分样)
表4说明离散余弦变换字块镜像滤波器(加权)系数，在表4中圆括号里的数是10位的二进制补码表示(法)。表4中的“*”表示对于10位的二进制补码表示(法)在边界值之外，因为该值大于1；但是，正象熟悉这项技术的人所了解的那样，字块的列系数与用“*”标明的值之间的乘法运算可以借助将该系数与滤波值的分数值(余)的乘积与该系数值进行相加运算来实现。
                                            表4
3∶1分样 2∶1分样
    H[0] 1.000000000000000(511) 1.0000000000000000(511)
    H[1] 0.986934590759779(505) 1.0169628157945179(*)
    H[2] 0.790833583171840(405) 1.0000000000000000(511)
    H[3] 0.334720213357461(171) 0.82247656390475166(421)
    H[4] -0.0323463361027473(-17) 0.46728234862006007(239)
    H[5] -0.0377450036954524(-19) 0.10634261847436199(54)
    H[6] -0.072688974390758(37) -0.052131780559049545(-27)
    H[7] 0.00954287167337307(5) -0.003489737967467715(-2)
这些水平离散余弦变换滤波器系数给编码视频图像的离散余弦变换系数的8×8字块中的每一列加权。例如，用H[0]给第零列离散余弦变换系数加权，用H[1]给第一列离散余弦变换系数加权，等等。
上述讨论说明采用一维离散余弦变换实现水平滤波。正象在数字信号处理技术中所了解的那样，这种处理可扩展到二维系统。对于二维系统，将输入序列表示成值的矩阵，为了说明该序列是周期性的，对周期M，用列序列表示，对周期N，用行序列表示，其中M和N都是整数。二维的离散余弦变换可以这样实现，在输入序列的各列上完成一维的离散余弦变换，然后在经过离散余弦变换处理的输入序列的各行上完成第二个一维的离散余弦变换(DCT)。正象在这项技术中所了解的那样，二维离散余弦逆变换也可以作为单一处理得以实现。
图5表示用于二维系统向下变换的滤波器的示范方案，该方案将水平分量和垂直分量作为级联的一维离散余弦逆变换进行处理。如图5所示，图2中的离散余弦变换滤波掩码(filter mask)216和离散余弦逆变换218可借助垂直处理器510和水平处理器520予以实现，其中垂直处理器510包括垂直离散余弦变换滤波器530和垂直离散余弦逆变换540，水平处理器520包括水平离散余弦变换滤波器和水平离散余弦逆变换，两者配置相同。由于滤波和离散余弦逆变换处理都是线性的，所以，这些处理的执行顺序可以重新排列(例如，水平和垂直的离散余弦变换滤波在前，垂直和水平离散余弦逆变换在后，或者颠倒一下，垂直处理器520在前，水平处理器510在后)。
在图5所示的具体方案中，跟在垂直处理器510后面的是字块转置运算器550，该运算器转换由垂直处理器提供的作过垂直处理的数值字块中的行和列。这种操作通过为水平处理器520准备待处理的字块可以获得更高的计算效率。
垂直离散余弦变换滤波器530接收经过编码的图像字块(如8×8的矩阵值字块)，借助与需要的垂直分样对应的离散余弦变换滤波值给字块的每个行入口加权。接下来，垂直离散余弦逆变换540完成对字块垂直分量的离散余弦逆变换。如前所述，由于两者只是执行矩阵相乘和求和运算，所以对于单一的矩阵乘法和加法运算，可以将离散余弦变换滤波系数和垂直方向的离散余弦逆变换系数合并。然后，垂直处理器510将经过垂直处理的字块提供给转置运算器550，该转置运算器将经过垂直处理的数值字块转置后提供给水平处理器520。如果不是仅仅按行或按列进行离散余弦逆变换运算，转置运算器550是不必要的。水平处理器520借助与需要的水平滤波对应的离散余弦变换滤波值给字块的每个列入口加权，然后对字块的水平分量进行离散余弦逆变换。
(f)向下采样
向下采样由向下采样处理器232完成，以减少经过向下变换的图像中象素的数目。图6A表示4∶2∶0色度类型输入象素和它的3∶1分样的输出象素。图6B表示4∶2∶0色度类型输入象素和它的2∶1分样的输出象素。表5给出识别图6A和图6B中亮度和色度象素的符号。在图6A和图6B中向下变换前后象素的位置分别是隔行扫描(3∶1的分样)和逐行扫描(2∶1的分样)的情况。
                        表5
符号 +             ×                       ·                        △
象素 分样前的亮度 分样前的色度 分样后的亮度 分样后的色度
对于隔行扫描图像的向下采样，抽取水平轴上的每个第三象素，从而使该图像尺寸能够从1920×1080个象素变换到640×1080个象素。对于3∶1的示范分样，在向下变换处理之后，有三种不同的宏块类型。在图6A中，原始宏块用MB0，MB1，MB2表示。MB0中向下采样的亮度象素以原始宏块中的第一个象素为起点，但在MB1和MB2中经过向下采样的象素分别以原始宏块中的第三个和第二个象素为起点。在每个宏块中经过向下采样的象素数目也是不同的。在MB0中，水平方向有6个经过向下采样的象素，而在MB1和MB2中，只有5个这样的象素。不断地重复这三种宏块类型，所以采用模数3求余算法。表6列出了每个输入宏块(MB0，MB1，MB2)的向下采样象素数和偏移量。
                         表6
   MB0     MB1    MB2
  经过向下采样的亮度象素数经过向下采样的色度象素数第一个向下采样亮度象素的偏移量第一个向下采样色度象素的偏移量    6300     5321    5212
对于逐行格式图像的向下采样，亮度信号的二次采样是在水平方向对每个第二采样采样。对于色度信号，经过向下采样的象素恰好是原始象素下面的半象素。
(f)显示变换
经过向下采样的图像帧的显示变换是为了满足按具体格式显示图像的要求。如上所述，为了在低分辨率屏幕上进行显示，图2A所示的显示变换部分280调整经过向下变换和向下采样的图像。
参照图2A，显示变换部分280包括VPF滤波器282和HZPF滤波器284，在示范实施方案中，前者是作为可编程多相垂直滤波器配置的垂直行内插处理器，后者是作为可编程多相水平滤波器配置的水平行内插处理器。这两个滤波器都是可编程滤波器，是为了适应多种显示格式的显示格式而设计的任选项。
如图2A所示，四行经向下采样的象素数据按光栅顺序输入VPF滤波器282。对于示范实施方案，这组数据包括亮度(Y)和色度(U和V)象素对，这些象素对按每次32位输入VPF滤波器282。这四行数据经VPF滤波器282滤波后变成一行，这行数据作为32位的数值(每个数值都包含着亮度和色度数据)被传送到HZPF滤波器284，然后，HZPF284产生正确的象素数，以与需要的光栅格式映射。
图7A是高级方框图，它说明在本发明的示范实施方案中使用的VPF滤波器282。在下面的讨论中，介绍VPF滤波器282如何处理各个输入的(亮度Y和色度U、V)象素对以产生一对输出象素，该输出象素对采用便于处理的4∶2∶0格式，因为这允许颜色象素与相应的亮度象素相关联。但是，熟悉这项技术的人可以认识到，只有一个象素(或多个象素)也能照此处理。此外，所述的VPF滤波器282按逐行格式生成行。在另一个采用双输出并支持隔行格式的实施方案中，可以添加第二个VPF滤波器282。
参照图7A，VPF滤波器282包括VPF控制器702；第一个多路转换网络(该网络包括亮度象素多路调制器(LP MUX)706、708、710和712以及色度象素多路调制器(CP MUX)714、716、718和720)；第二多路转换网络(该网络包括亮度滤波多路调制器(LF MUX)726、728、730和732以及色度滤波多路调制器(CF MUX)734、736、738和740)；亮度系数随机存取存储器704；色度系数随机存取存储器724；亮度系数乘法器742、744、746和748；色度系数乘法器750、752、754和756；亮度加法器760、762和764；色度加法器766、768和770；舍位截取处理器772和776；多路分用器/寄存器774和778；以及输出寄存器780。
现在介绍VPF滤波器282的操作。垂直二次采样是由两个4头多相滤波器完成的，一个用于亮度象素，另一个用于色度象素。由于色度象素的操作与亮度象素操作类似，所以下面只详细介绍用于亮度象素的滤波器操作，但是，按发生路径指出那些差别。在用于示范实施方案的4抽头多相滤波器中，亮度象素的垂直滤波可以使用的相位数不超过8个，色度象素的垂直滤波可以使用的相位数不超过16个。VPF控制器702在一帧的起点给垂直多相滤波器复位，并对第一和第二多路转换网络提供时序控制，从亮度系数随机存取存储器704和色度系数随机存取存储器724中选择适合该多向滤波器相位的系数组，而且还包括一个计数器，用于给正在处理的帧中的每一行计数。
VPF控制器702除了协调多路调制器网络和多相滤波器的操作之外，还借助跟踪解码画面中垂直位置的整数部分和小数部分以保持跟踪显示扫描线。整数部分指示应当存取哪些行，小数部分指出应当采用哪个滤波器相位。例如，在计算小数部分时运用模N求余算法允许采用的相位数少于16个，这对精确的向下采样率(如9∶5)是有效的。如果不要求精确的采样率，对使用的N个相位之一舍去小数部分。
如图7A所示，来自四个亮度行和四个色度行的亮度和色度象素对被分成色度路径和亮度路径。在亮度路径中的16位象素对数据可以借助LP MUX 706、708、710、和712进一步经多路调制变成8位的偶格式(Y-偶)和8位的奇格式(Y-奇)以及借助CP MUX 714、716、718和720进一步经多路调制变成8位的U格式和8位的V格式。然后，为了在多相滤波作业中允许象素重叠，亮度滤波器多路调制器706、708、710、和712被用于重复位于解码图像上下两条边界线上的象素值。
然后，与亮度象素信息和色度象素信息相应的四行象素的象素对通过各自的多相滤波器。根据可编程的向上采样因子或向下采样因子，由VPF控制器702选择用于为滤波器相位的象素值加权的乘法器742，744，746、和748所使用的系数。在加法器760，762，764中将经过加权的亮度象素信息合并之后，(由于系数的乘积以更高的精度出现)，将这个数值传送到舍位截取处理器772，该处理器提供一个8位的数值。多路分用寄存器774接收的第一个8位数值与经过内插的8位偶格式(Y-偶)的亮度值对应，接收的第二个8位数值与经过内插的8位奇格式(Y-奇)的数值对应，然后多路分用寄存器774提供一个16位的经过垂直滤波的亮度象素值。寄存器780在亮度和色度路径中收集经过垂直滤波的象素，并且将它们作为一个包括亮度和色度象素对的经过垂直滤波的32位的数值提供给下一级。
图7B表示各行中系数和象素采样空间之间的空间关系。用于亮度和色度多相滤波路径的系数的每个系数有40位，它们被分配给各个系数组，并且每相有一个系数组。系数被解释为以512为分母的分数。系数按40位字从左至右放置(C0-C3)。C0和C3是带符号的10位二进制余数，C1和C2是具有给定范围(如从-256到767)的10位。
图7A包括任选的亮度系数调节(器)782和色度系数调节(器)784。举例说，这些系数调节器782和784可以用于推演用于C1和C2的11位的二进制余数。如果位8和位9(最高位)两者都是1，那么该11位数的符号(位)是1(负)，否则该值为正。如图7B中所示，色度系数在四个输入行中的色度行上计算，但是亮度系数在中间的两个输入行中的偶亮度行和奇亮度行上计算。
图8A是说明本发明的示范实施方案中的HZPF滤波器284的高级方框图。HZPF滤波器284接收来自VPD 282的亮度和色度象素信息对，该信息对可能是32位的数据。HZPF滤波器284包括HZPF控制器802；U色度锁存器804；V色度锁存器806；Y亮度锁存器808；多路复用选择器810；水平滤波系数随机存取存储器812；合并网络814；求和网络816；舍位截取处理器818；多路分用寄存器820和输出寄存器822。下面介绍水平滤波器的单一配置，这种配置用于对逐行显示格式进行二次采样。在另一个包括双输出并具有较低的输出传输速度的示范实施方案中，采用第二个水平滤波器以支持隔行扫描格式。
水平二次采样是借助使用8抽头8相位的多相滤波器完成的。HZPF控制器802借助在经过解码和向下采样的画面中跟踪水平位置的整数和小数部分来协调显示象素的生成。整数部分指示哪些象素是待存取的象素，小数部分指示应当使用哪个滤波器相位。在计算小数部分时使用的模N求余算法可以允许待用相位少于8个。如果采用精确的向下采样率(如9∶5)时，那么这可能是有用的。如果不采用精确的采样率，那么对N个相之一舍去小数部分。在本发明的示范实施方案中HZPF滤波器284给象素对滤波，而且可以采用在偶象素边界对齐，以有利于处理4∶2∶0格式的画面并保持U和V色度象素(彩色象素)与其相应的Y亮度象素在一起。
现在参照图8A介绍HZPF滤波器284的操作。HZPF控制器284在水平行的起点使水平多相滤波器复位，为第一和第二多路网络提供时序控制，从水平系数随机存取存储器812中选择系数组为每个多路滤波器相位提供U色度滤波系数、V色度滤波系数和Y亮度滤波系数，以及选择每组待处理的U-色度、V-色度、Y-亮度值。此外，当水平位置接近左端或右端时，HZPF控制器802将强制重复边缘象素值或置0，以供8抽头多相滤波器使用。
从VPF滤波器282接收的象素数据被分成Y亮度值、U色度值和V色度值，并且这些有待滤波的象素值被分别锁存在U色度锁存器804、V色度锁存器806、Y亮度锁存器808中。然后，HZPF控制器802借助用于选择多路复用选择器810的信号选择Y亮度值、U色度值、和V色度值。在示范实施方案中，有更多的Y亮度值，它们可能需要在Y亮度锁存器808中的附加锁存器。同时，HZPF控制器802根据可编程的向上或向下采样值并借助针对水平滤波系数随机存取存储器812的控制信号选择用于该滤波相位并用于U或V色度值或Y亮度值的滤波系数。
然后，水平滤波系数随机存取存储器812将这些系数输出给合并网络814的各个单元，以供与输入的象素值相乘，以产生经过加权的象素值，然后这些经过加权的象素值在求和网络816中被合并，以提供经过水平滤波的U或V色度值或Y亮度值。
在求和网络816中经过加权的象素值被合并之后，经过水平滤波的象素值被送到舍位截取处理器，该处理器提供一8位的数值(因为系数的乘积以更高的精度出现)。多路分用寄存器820接收一系列8位数值，它们对应于U色度值、8位偶Y亮度值、8位V色度值、最后是对应于8位奇Y色度值的8位值，并且，该多路分用寄存器820还完成这些数值的多路调制，将它们变成一个32位的经过水平滤波的亮度和色度象素对。寄存器822存储和提供该象素对，作为经过垂直和水平滤波的32位象素的色度及亮度象素对。
图8B表示在水平滤波系数随机存取存储器812中储存的并在多相滤波器中使用的系数与水平(扫描)线向下采样的图像的象素采样值之间的空间关系。用于该示范实施方案的系数按64位字从左到右放置，C0-C7。系数C0、C1、C6、和C7是带符号的7位二进制余数(2’complement values)，C2和C5是带符号的8位二进制余数(2’complement)，C3和C4是表示-256至767范围的10位数值。为了产生用于C3和C4的11位二进制余数，可能需要调整。如果位8和位9(最高位)两者都是1，那么该11位数的符号是1(负)，否则该值是0(正)。所有系数都被解释为以512为分母的分数。
此外，HZPF滤波器284的编程能力允许一个非线性水平扫描。如图8C、8D、8E、8F所示，HZPF滤波器284的二次采样率可以沿着水平扫描线变化并且可以按逐段线性方式改变。在一种组态中，二次采样率在扫描开始时线性增加(或减少)，增(或减)至第一点后保持恒定，直至到达第二点，二次采样率开始线性减少(或增加)。
图8C和图8D表示将4∶3的画面映射到16∶9的显示器上的采样率分布图。采样率是根据输入值与输出值的比值定义的，所以，4/3表示按4∶3向下采样，1/3就是1∶3上采样。图8C和图8D所示的采样率分布图表示将具有720个采样的输入画面图像变换成具有720个采样的显示。例如，在图8C中将长宽比为4∶3的画面变换成16∶9的画面使用了4/3向下采样，但是填满显示的全部采样需要沿水平线的1/1的平均值。因此，图8C的分布在显示象素24和480之间的中间段有正确的长宽比，而为了填满监视器，在两侧的值是向上采样值。图8E和图8F说明为了将16∶9的图像显示变换成4∶3的显示采用的分布，该分布与图8C和图8D所示的分布恰恰相反。
表7列出了本发明示范实施方案的VPF和HZPF的系数。
                      表7
       用于750P至525P亮度垂直滤波的系数
    抽头0     抽头1     抽头2     抽头3
相位0相位1     10310     306246     103246     010
      用于750P至525P色度垂直滤波的系数
    抽头0     抽头1     抽头2     抽头3
相位0相位1相位2相位3     25-33-40-24     462424296145     25145296424     0-24-40-33
         用于750P至525I亮度垂直滤波的系数
    抽头0     抽头1     抽头2     抽头3
相位0相位1     14584     222172     145172     084
         用于750P至525I色度垂直滤波的系数
    抽头0     抽头1     抽头2     抽头3
相位0     57     398     57     0
相位1     -6     382     166     -30
相位2     -29     285     285     -29
相位3     -30     166     382     -6
               用于750P至525I水平滤波的系数
    抽头0   抽头1     抽头2    抽头3     抽头4     抽头5    抽头6     抽头7
相位0相位1相位2相位3相位4相位5相位6相位7     -8-13-14-13-10-7-517   132837383122100     -17-62-90-96-85-64-37-9    53650347740632022613448     -1748134226320406477503     13-9-37-64-85-96-90-62    -80102231383728     017-5-7-10-13-14-13
就图2B所示的显示变换的低成本方案，图9A和图9B说明垂直内插处理，该处理可以用于提高本发明采用2∶1和3∶1分样的示范实施方案的图像质量。如图9A所示，用于2∶1分样的示范垂直内插方法包括场存储器903、加法器904、和除法器905。2∶1分样的向下变换解码器902将解码的场图像提供给场存储器903以便储存，就该帧(即场)而论，毗邻的水平行N和N+1由场存储器903提供并在加法器904中求和，所得的和在除法器905中除以2，以提供垂直内插的水平行在低分辨率荧屏上显示。
如图9B所示，用于3∶1分样的垂直内插处理包括两个单水平行(1H)存储器921和922、两个加法器923和924、和一个除法器925。3∶1分样的向下变换解码器920将每个水平行按顺序提供给1H存储器921。就当前的水平行N而论，毗邻的水平行N-1被储存在第一1H存储器921中，而后一个毗邻水平行被储存在第二1H存储器922中。将两个毗邻水平行N和N+1提供给加法器921，然后将求和与后面的毗邻水平行N-2在加法器923中相加。三个水平行相加后，在除法器925中除以3，以提供垂直内插的水平行供低分辨率荧屏显示。如果图9B所示的滤波器被用于图2B所示的垂直LPF 260，那么用于FIFO 264的输出时钟信号将具有较高时钟速度的三分之一的时钟速度(例如是CLK/3而不是CLK/2)。
在与图9B所示方案类似的一个显示变换的替代实施方案中，借助将偶、奇垂直行对的值的一半求和到一起形成新的垂直行可以完成逐行图像按2∶1变换的垂直行内插。隔行图像的按按2∶1变换的垂直行内插可以借助处理一场中的偶行对和第二场中的奇行对得以完成。对于偶行，将第一行的四分之三与第二行的四分之一相加。对于奇行，将第一行的四分之一与第二行的四分之三相加。
在本发明的示范实施方案已经被阐明时，应当理解这些实施方案仅仅举例说明。对于熟悉这项技术的人，将会有许多不脱离本发明精髓的变型、变化和替代方案。因此，本发明的范围是由所述权利要求书所确定的。

Claims (18)

1.一种用于由代表视频图像的编码视频信号形成低分辨率视频信号的装置，其中，所述编码视频信号是经频域变换的高分辨视频信号，所述装置包括：
用于接收和提供所述编码视频信号的装置，其中，所述编码视频信号是作为多个高分辨频域视频系数值提供的；
向下变换的滤波装置，该装置用于接收高分辨频域视频系数值并将从多个所述高分辨频域视频系数值中选定的系数值与对应的频域滤波系数值相乘，以形成一组经滤波的频域视频系数；
反变换装置，该装置用于接收经滤波的频域视频系数并将它们变换成一组经滤波的象素采样值；以及
分样装置，该装置用于从那组经滤波的象素采样值中删除部分选定的采样值，以提供低分辨的视频信号。
2.根据权利要求1所述的形成低分辨率视频信号的装置，其中，经频域变换的视频信号是借助离散余弦变换运算进行变换的，而反变换装置借助离散余弦逆变换运算对频域视频系数进行变换。
3.根据权利要求1所述的形成低分辨率视频信号的装置，其中，向下变换的滤波装置是一个具有截止频率的低通滤波器，其中，借助编码视频信号的采样频率的一半除以分样率确定该截止频率。
4.根据权利要求1所述的形成低分辨率视频信号的装置，其中，向下变换的滤波装置包括字块镜像低通滤波器的多个频域系数，其中，该字块镜像低通滤波器具有多个预定的抽头。
5.根据权利要求1所述的形成低分辨率视频信号的装置，其中，向下变换的滤波装置是一个由一组频域滤波系数表示的低通滤波器，该向下变换的滤波给从多个高分辨频域视频系数值中选定的系数值加权，其方法是将一组频域滤波系数与多个高分辨频域视频系数值相乘。
6.根据权利要求1所述的形成低分辨率视频信号的装置，其中所述的分样装置按照分样率对一组经滤波的象素采样值进行向下采样。
7.一种用于由代表视频图像的编码视频信号形成低分辨率视频信号的装置，其中编码视频信号是经离散余弦变换的高分辨的视频信号，该装置包括：
用于接收和提供编码视频信号的装置，其中编码视频信号是作为多个离散余弦变换视频系数值提供的；
反变换装置，
加权装置，该装置用于由一组向下变换滤波系数给一组离散余弦变换系数加权，以形成一组经加权的离散余弦变换系数，以及
变换装置，该装置借助离散余弦逆变换运算从离散余弦变换频域变换到空间域，将经加权的离散余弦变换系数变换成一组经滤波的象素采样值；以及
分样装置，该装置用于从那组经滤波的象素采样值中删除部分选定的采样值，以提供低分辨的视频信号。
8.一种用于由代表视频图像的编码视频信号形成低分辨率视频信号的方法，其中编码视频信号是经频域变换的视频信号，该方法包括下述步骤：
(a)提供编码视频信号，该编码视频信号是作为多个频域视频系数值提供的；
(b)将从多个频域视频系数值中选定的系数值与各自的频域滤波系数值相乘，以形成一组经滤波的频域视频系数值；
(c)按照预定的频域将经滤波的频域视频系数值变换到空间域变换运算，以获得一组经滤波的象素采样值；以及
(d)保留从所述的一组经滤波的象素采样值中选定的一部分采样值，以提供低分辨的视频信号。
9.一种用于由代表视频图像的编码视频信号形成低分辨率视频信号的装置，其中编码视频信号是经频域变换的视频信号，该装置包括：
用于接收和提供编码视频信号的装置，其中编码视频信号是作为多个频域视频系数值提供的；
合并装置，该装置将多个频域视频系数值与一组反变换滤波系数合并，以产生一组经滤波的象素采样值，其中，反变换滤波系数是一组滤波系数与一组从频域向空间域变换的反变换系数的组合；
分样装置，该装置用于从那组经滤波的象素采样值中删除部分选定的采样值，以产生一组经分样的象素采样值；以及
储存装置，该装置储存那组经分样的象素采样值，并作为低分辨的视频信号提供那组储存的经分样的象素采样值。
10.一种接收代表视频图像的编码视频信号并形成低分辨率视频信号的方法，其中，编码视频信号是经频域变换的视频信号，该方法包括下述步骤：
(a)提供编码视频信号，该编码视频信号是作为多个频域视频系数值提供的；
(b)将多个频域视频系数值与一组反变换滤波系数合并，以产生一组低分辨的象素采样值，其中反变换滤波系数是一组低通滤波的加权系数与一组从频域向空间域变换的反变换系数的组合；
(c)对那组经滤波的象素采样值中选定的部分进行分样；以及
(d)储存那组低分辨象素采样值，并作为低分辨的视频信号提供储存的象素采样值。
11.一种用于接收代表视频图像的编码视频信号并形成低分辨率视频信号的装置，其中，编码视频信号是压缩的经频域变换的视频信号，该装置包括：
用于接收和提供编码视频信号的装置，其中编码视频信号是作为多个压缩的频域视频系数值和运动矢量提供的；
向下变换滤波装置，该装置接收压缩的频域视频系数值并将从多个所述压缩的频域视频系数值中选定的系数值与对应于分样值的频域滤波系数值相乘，以形成一组经滤波的压缩频域视频系数；
反变换装置，该装置用于接收经滤波的压缩频域视频系数并利用预定的频域将它们变换到空间域变换，以获得一组经滤波的压缩象素采样值；
转译装置，该装置用于接收运动矢量并以分样值为基础对运动矢量进行换算；
预测块生成装置，该装置用于接收经换算的运动矢量和前一组经滤波的象素采样值，并形成一组预测的象素采样值；
合并装置，该装置用于将一组经滤波的压缩的象素采样值与一组预测的象素采样值合并，以形成一组经滤波的象素采样值；以及
分样装置，该装置用于接收和保存以分样值为基础从那组经滤波的象素采样值中选出的一部分采样值，其中，分样装置将这组选定的经滤波的象素采样值变成低分辨的视频信号。
12.根据权利要求11所述的形成低分辨率视频信号的装置，其中经频域变换的视频信号是借助离散余弦变换运算进行变换的，而反变换装置借助离散余弦逆变换运算对频域视频系数进行变换。
13.根据权利要求11所述的形成低分辨率视频信号的装置，其中向下变换的滤波装置是一个具有截止频率的低通滤波器，其中截止频率与编码视频信号的采样频率除以分样值得到的商成正比。
14.根据权利要求11所述的形成低分辨率视频信号的装置，其中向下变换的滤波装置包括代表字块镜像低通滤波器的多个频域系数，其中该字块镜像低通滤波器具有多个预定的抽头。
15.根据权利要求11所述的形成低分辨率视频信号的装置，其中分样装置按照分样值对一组经滤波的象素采样值进行向下采样。
16.根据权利要求11所述的形成低分辨率视频信号的装置，其中，向下变换的滤波装置是一个由一组频域滤波系数值代表的低通滤波器，该向下变换的滤波装置将一组频域滤波系数与低通滤波器的多个频域视频系数值相乘。
17.根据权利要求11所述的形成低分辨率视频信号的装置，其中预测块生成装置进一步包括：
存储器装置，该装置用于储存至少一帧参考帧，该参考帧是代表前一组经滤波的象素采样值的解码视频信号；
向上采样装置，该装置用于接收该参考帧并对该参考帧向上采样，向上采样装置和存储器装置响应换算的运动矢量；以及
半象素生成装置，该装置用于根据向上采样获得的参考帧生成多个半象素内插值，半象素生成装置提供多个半象素值作为预测的象素采样值。
18.一种用于接收代表视频图像的编码视频信号并形成低分辨率视频信号的方法，其中，编码视频信号是压缩的经频域变换的视频信号，该方法包括下述步骤：
(a)提供编码视频信号，该编码视频信号是作为多个压缩的高分辨频域视频系数值和运动矢量提供的；
(b)以分样值为基础将从多个压缩高分辨频域视频系数值中选定的系数值与对应的频域滤波系数相乘，以形成一组经滤波的压缩频域视频系数值；
(c)利用预定的频域将经滤波和压缩的频域视频系数变换到空间域，以获得一组经滤波的压缩象素采样值；
(d)以分样值为基础对运动矢量进行换算；
(e)依据经换算的运动矢量和前一组经滤波的象素采样值形成一组预测的象素采样值；
(f)将该组经滤波和压缩的象素采样值与一组预测的象素采样值合并，以形成一组滤波象素采样值，根据分样值去除滤波象素采样值的部分选择值以形成低分辨的视频信号；以及
(g)储存低分辨视频信号的象素采样值。
CNB98100718XA 1997-03-12 1998-03-06 用于离散余弦变换编码图像向下变换的频域滤波 Expired - Fee Related CN1173576C (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US815804 1997-03-12
US08/815,804 US6175592B1 (en) 1997-03-12 1997-03-12 Frequency domain filtering for down conversion of a DCT encoded picture

Publications (2)

Publication Number Publication Date
CN1203500A CN1203500A (zh) 1998-12-30
CN1173576C true CN1173576C (zh) 2004-10-27

Family

ID=25218881

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB98100718XA Expired - Fee Related CN1173576C (zh) 1997-03-12 1998-03-06 用于离散余弦变换编码图像向下变换的频域滤波

Country Status (4)

Country Link
US (1) US6175592B1 (zh)
JP (1) JPH10262252A (zh)
KR (1) KR19980080157A (zh)
CN (1) CN1173576C (zh)

Families Citing this family (81)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6957350B1 (en) * 1996-01-30 2005-10-18 Dolby Laboratories Licensing Corporation Encrypted and watermarked temporal and resolution layering in advanced television
EP2173103A3 (en) * 1997-02-13 2010-09-08 Mitsubishi Denki Kabushiki Kaisha Moving picture prediction system
US6618443B1 (en) 1997-03-12 2003-09-09 Matsushita Electric Industrial Co., Ltd. Upsampling filter for a down conversion system
KR100253304B1 (ko) * 1997-07-29 2000-04-15 김영환 레터박스필터링회로및방법
CN1290338C (zh) * 1997-11-14 2006-12-13 索尼电子有限公司 数字视频图象的1/4尺寸实时解码
US6339434B1 (en) * 1997-11-24 2002-01-15 Pixelworks Image scaling circuit for fixed pixed resolution display
US6903733B1 (en) * 1997-11-24 2005-06-07 Pixelworks, Inc. Ultra-high bandwidth multi-port memory system for image scaling applications
US6373905B1 (en) * 1998-02-13 2002-04-16 Matsushita Electric Industrial Co., Ltd. Decoding apparatus and decoding method
US6310919B1 (en) * 1998-05-07 2001-10-30 Sarnoff Corporation Method and apparatus for adaptively scaling motion vector information in an information stream decoder
WO1999066449A1 (en) * 1998-06-19 1999-12-23 Equator Technologies, Inc. Decoding an encoded image having a first resolution directly into a decoded image having a second resolution
US6424381B1 (en) * 1998-06-26 2002-07-23 Lsi Logic Corporation Filtering decimation technique in a digital video system
US6665344B1 (en) * 1998-06-29 2003-12-16 Zenith Electronics Corporation Downconverting decoder for interlaced pictures
US6249549B1 (en) * 1998-10-09 2001-06-19 Matsushita Electric Industrial Co., Ltd. Down conversion system using a pre-decimation filter
US6487249B2 (en) * 1998-10-09 2002-11-26 Matsushita Electric Industrial Co., Ltd. Efficient down conversion system for 2:1 decimation
US6584154B1 (en) * 1998-11-26 2003-06-24 Oki Electric Industry Co., Ltd. Moving-picture coding and decoding method and apparatus with reduced computational cost
US6628714B1 (en) * 1998-12-18 2003-09-30 Zenith Electronics Corporation Down converting MPEG encoded high definition sequences to lower resolution with reduced memory in decoder loop
JP2001005499A (ja) * 1999-04-23 2001-01-12 Matsushita Electric Ind Co Ltd 音楽データ情報伝送方法および装置
US20030043918A1 (en) * 1999-12-20 2003-03-06 Jiang Hong H. Method and apparatus for performing video image decoding
US6597811B1 (en) * 2000-03-27 2003-07-22 Eduard Batkilim Method and device for image digitized data compression and decompression
US6456663B1 (en) * 2000-03-29 2002-09-24 Matsushita Electric Industrial Co., Ltd. DCT domain down conversion system that compensates for IDCT mismatch
US6504872B1 (en) * 2000-07-28 2003-01-07 Zenith Electronics Corporation Down-conversion decoder for interlaced video
US7227895B1 (en) * 2000-12-12 2007-06-05 Sony Corporation System and method for generating decoded digital video image data
US6898245B2 (en) * 2001-03-26 2005-05-24 Telefonaktiebolaget Lm Ericsson (Publ) Low complexity video decoding
WO2002087256A1 (en) * 2001-04-20 2002-10-31 Mti Film Llc High resolution image color correction method and system
US6823087B1 (en) * 2001-05-15 2004-11-23 Advanced Micro Devices, Inc. Parallel edge filters in video codec
WO2002102050A2 (en) * 2001-06-12 2002-12-19 Digital Interactive Streams, Inc. System and method for enhancing digital video
US7266150B2 (en) 2001-07-11 2007-09-04 Dolby Laboratories, Inc. Interpolation of video compression frames
US20030043916A1 (en) * 2001-09-05 2003-03-06 Koninklijke Philips Electronics N.V. Signal adaptive spatial scaling for interlaced video
US7248737B2 (en) * 2001-10-02 2007-07-24 Siemens Corporate Research, Inc. Page decomposition using local orthogonal transforms and a map optimization
JP4015934B2 (ja) * 2002-04-18 2007-11-28 株式会社東芝 動画像符号化方法及び装置
US7003035B2 (en) * 2002-01-25 2006-02-21 Microsoft Corporation Video coding methods and apparatuses
DE10211334B4 (de) * 2002-03-14 2010-07-22 Rohde & Schwarz Gmbh & Co. Kg Verfahren zum Messen der effektiven Direktivität und/oder effektiven Quelltor-Anpassung eines systemkalibrierten vektoriellen Netzwerkanalysators und Kalibrierstandard-Satz
US8284844B2 (en) 2002-04-01 2012-10-09 Broadcom Corporation Video decoding system supporting multiple standards
US20030187528A1 (en) * 2002-04-02 2003-10-02 Ke-Chiang Chu Efficient implementation of audio special effects
US20030189669A1 (en) * 2002-04-05 2003-10-09 Bowser Todd S. Method for off-image data display
US20040001546A1 (en) 2002-06-03 2004-01-01 Alexandros Tourapis Spatiotemporal prediction for bidirectionally predictive (B) pictures and motion vector prediction for multi-picture reference motion compensation
US8406301B2 (en) 2002-07-15 2013-03-26 Thomson Licensing Adaptive weighting of reference pictures in video encoding
US7280700B2 (en) * 2002-07-05 2007-10-09 Microsoft Corporation Optimization techniques for data compression
US7376186B2 (en) * 2002-07-15 2008-05-20 Thomson Licensing Motion estimation with weighting prediction
US7903742B2 (en) * 2002-07-15 2011-03-08 Thomson Licensing Adaptive weighting of reference pictures in video decoding
US7154952B2 (en) 2002-07-19 2006-12-26 Microsoft Corporation Timestamp-independent motion vector prediction for predictive (P) and bidirectionally predictive (B) pictures
EP1437898A1 (en) * 2002-12-30 2004-07-14 Koninklijke Philips Electronics N.V. Video filtering for stereo images
US7212571B2 (en) * 2003-01-31 2007-05-01 Seiko Epson Corporation Method and apparatus for DCT domain filtering for block based encoding
JP4798945B2 (ja) * 2003-03-05 2011-10-19 トヨタ自動車株式会社 撮像装置
US7609763B2 (en) * 2003-07-18 2009-10-27 Microsoft Corporation Advanced bi-directional predictive coding of video frames
US8064520B2 (en) * 2003-09-07 2011-11-22 Microsoft Corporation Advanced bi-directional predictive coding of interlaced video
US7342962B2 (en) * 2003-09-17 2008-03-11 Texas Instruments Incorporated Transcoders and methods
US7394856B2 (en) * 2003-09-19 2008-07-01 Seiko Epson Corporation Adaptive video prefilter
KR20050078709A (ko) * 2004-01-31 2005-08-08 삼성전자주식회사 스케일러블 비디오 코딩방법 및 디코딩방법과 이를 위한장치
KR100586883B1 (ko) 2004-03-04 2006-06-08 삼성전자주식회사 비디오 스트리밍 서비스를 위한 비디오 코딩방법, 프리디코딩방법, 비디오 디코딩방법, 및 이를 위한 장치와, 이미지 필터링방법
KR20060134976A (ko) * 2004-03-09 2006-12-28 톰슨 리서치 펀딩 코포레이션 고급 비디오 코딩을 위한 감소된 해상도의 갱신 모드
JP4414904B2 (ja) * 2004-04-16 2010-02-17 株式会社エヌ・ティ・ティ・ドコモ 動画像符号化装置、動画像符号化方法、動画像符号化プログラム、動画像復号装置、動画像復号方法、及び動画像復号プログラム
JPWO2006025090A1 (ja) * 2004-08-30 2008-05-08 富士通株式会社 画像復元装置、画像復元方法、および画像復元プログラム
US20060233258A1 (en) * 2005-04-15 2006-10-19 Microsoft Corporation Scalable motion estimation
US20070008526A1 (en) * 2005-07-08 2007-01-11 Andrzej Buczkowski Apparatus and method for non-contact assessment of a constituent in semiconductor workpieces
CN1859576A (zh) * 2005-10-11 2006-11-08 华为技术有限公司 对空间分层编码视频图象的上采样方法及其系统
US7956930B2 (en) * 2006-01-06 2011-06-07 Microsoft Corporation Resampling and picture resizing operations for multi-resolution video coding and decoding
CN1794821A (zh) * 2006-01-11 2006-06-28 浙江大学 可分级视频压缩中插值的方法与装置
US7817184B1 (en) 2006-03-15 2010-10-19 The Directv Group, Inc. Methods and apparatus to test receivers
US8155195B2 (en) * 2006-04-07 2012-04-10 Microsoft Corporation Switching distortion metrics during motion estimation
US8494052B2 (en) * 2006-04-07 2013-07-23 Microsoft Corporation Dynamic selection of motion estimation search ranges and extended motion vector ranges
US8385419B2 (en) * 2006-04-26 2013-02-26 Altera Corporation Methods and apparatus for motion search refinement in a SIMD array processor
JP4711879B2 (ja) * 2006-04-28 2011-06-29 シャープ株式会社 画像処理装置、画像形成装置、コンピュータプログラム、記録媒体及び画像処理方法
US20070268964A1 (en) * 2006-05-22 2007-11-22 Microsoft Corporation Unit co-location-based motion estimation
US8023729B2 (en) * 2006-08-03 2011-09-20 Tektronix, Inc. Apparatus and method of reducing color smearing artifacts in a low resolution picture
US7848597B2 (en) * 2006-09-08 2010-12-07 Telefonaktiebolaget Lm Ericsson (Publ) Data processing
CA2665182A1 (en) * 2006-10-10 2008-04-17 Nippon Telegraph And Telephone Corporation Video encoding method and decoding method, apparatuses therefor, programs therefor, and storage media for recording the programs
CN101227601B (zh) * 2007-01-15 2011-09-14 飞思卡尔半导体公司 在视频再现中进行几何变换的方法和设备
US7881511B2 (en) * 2007-01-19 2011-02-01 Korea Advanced Institute Of Science And Technology Method for super-resolution reconstruction using focal underdetermined system solver algorithm
KR101369224B1 (ko) * 2007-03-28 2014-03-05 삼성전자주식회사 움직임 보상 필터링을 이용한 영상 부호화, 복호화 방법 및장치
US8254455B2 (en) * 2007-06-30 2012-08-28 Microsoft Corporation Computing collocated macroblock information for direct mode macroblocks
CN101796813A (zh) * 2007-09-10 2010-08-04 Nxp股份有限公司 用于视频图像数据中的运动估计的方法和装置
US8189666B2 (en) 2009-02-02 2012-05-29 Microsoft Corporation Local picture identifier and computation of co-located information
JPWO2010143583A1 (ja) * 2009-06-09 2012-11-22 ソニー株式会社 画像処理装置および方法
US8855446B2 (en) 2012-04-19 2014-10-07 Qualcomm Incorporated Accelerated video compression multi-tap filter and bilinear interpolator
US9813737B2 (en) * 2013-09-19 2017-11-07 Blackberry Limited Transposing a block of transform coefficients, based upon an intra-prediction mode
US20150124873A1 (en) * 2013-11-01 2015-05-07 Microsoft Corporation Chroma Down-Conversion and Up-Conversion Processing
DE202015009312U1 (de) 2014-01-26 2017-02-03 Cable Television Laboratories, Inc. Datentransformation
JP6378903B2 (ja) * 2014-03-12 2018-08-22 株式会社メガチップス 画像処理装置及び画像処理方法
CN109309835A (zh) * 2017-07-26 2019-02-05 苏州智语新视信息科技有限公司 一种图像压缩方法及装置
US11403782B2 (en) * 2019-12-31 2022-08-02 Alibaba Group Holding Limited Static channel filtering in frequency domain

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3997772A (en) 1975-09-05 1976-12-14 Bell Telephone Laboratories, Incorporated Digital phase shifter
GB2084833A (en) 1980-04-11 1982-04-15 Ampex System for spatially transforming images
US4631750A (en) 1980-04-11 1986-12-23 Ampex Corporation Method and system for spacially transforming images
US4472785A (en) 1980-10-13 1984-09-18 Victor Company Of Japan, Ltd. Sampling frequency converter
ATE45639T1 (de) 1981-04-10 1989-09-15 Ampex Steuerung fuer ein geraet zur raeumlichen transformation von bildern.
EP0076260B1 (en) 1981-04-10 1989-08-02 Ampex Corporation System for spatially transforming images
JPS58219841A (ja) 1982-06-15 1983-12-21 Kokusai Denshin Denwa Co Ltd <Kdd> 標本化周波数の高速変換回路
US4652908A (en) 1985-03-25 1987-03-24 Rca Corporation Filtering system for processing a reduced-resolution video image
JP2592810B2 (ja) 1986-09-30 1997-03-19 株式会社東芝 サンプルレート変換回路
US4774581A (en) 1987-04-14 1988-09-27 Rca Licensing Corporation Television picture zoom system
US5057911A (en) 1989-10-19 1991-10-15 Matsushita Electric Industrial Co., Ltd. System and method for conversion of digital video signals
JP3255179B2 (ja) 1992-02-14 2002-02-12 ソニー株式会社 データ検出装置
GB2264417B (en) 1992-02-17 1995-12-06 Sony Broadcast & Communication Video standards conversion
US5262854A (en) 1992-02-21 1993-11-16 Rca Thomson Licensing Corporation Lower resolution HDTV receivers
JPH05283978A (ja) 1992-03-31 1993-10-29 Sony Corp サンプリングレート変換装置
US5331346A (en) 1992-10-07 1994-07-19 Panasonic Technologies, Inc. Approximating sample rate conversion system
US5274372A (en) 1992-10-23 1993-12-28 Tektronix, Inc. Sampling rate conversion using polyphase filters with interpolation
US5614952A (en) * 1994-10-11 1997-03-25 Hitachi America, Ltd. Digital video decoder for decoding digital high definition and/or digital standard definition television signals
US5726711A (en) * 1993-01-13 1998-03-10 Hitachi America, Ltd. Intra-coded video frame data processing methods and apparatus
EP0719478B1 (en) 1993-09-13 1998-07-22 Analog Devices, Inc. Digital to analog conversion using nonuniform sample rates
US5483474A (en) 1993-11-15 1996-01-09 North Shore Laboratories, Inc. D-dimensional, fractional bandwidth signal processing apparatus
US5613084A (en) 1994-10-04 1997-03-18 Panasonic Technologies, Inc. Interpolation filter selection circuit for sample rate conversion using phase quantization
AU695308B2 (en) * 1995-01-20 1998-08-13 Koninklijke Philips Electronics N.V. Transform coding and decoding of an extended definition video signal
US5528301A (en) 1995-03-31 1996-06-18 Panasonic Technologies, Inc. Universal video format sample size converter
US5784494A (en) * 1995-04-18 1998-07-21 Advanced Micro Devices, Inc. Method and apparatus for prestoring dequantization information for DCT VLC decoding
US5774206A (en) * 1995-05-10 1998-06-30 Cagent Technologies, Inc. Process for controlling an MPEG decoder
US5737019A (en) * 1996-01-29 1998-04-07 Matsushita Electric Corporation Of America Method and apparatus for changing resolution by direct DCT mapping
US5835151A (en) * 1996-05-15 1998-11-10 Mitsubishi Electric Information Technology Center America Method and apparatus for down-converting a digital signal

Also Published As

Publication number Publication date
CN1203500A (zh) 1998-12-30
KR19980080157A (ko) 1998-11-25
US6175592B1 (en) 2001-01-16
JPH10262252A (ja) 1998-09-29

Similar Documents

Publication Publication Date Title
CN1173576C (zh) 用于离散余弦变换编码图像向下变换的频域滤波
CN1122413C (zh) 将编码高分辨率视频信号转换为解码低分辨率视频信号的系统及方法
CN1170438C (zh) 数字视频信号下变换系统的运动补偿处理器及上升抽样方法
CN1135840C (zh) 用于一下变换系统的向上抽样滤波器及方法
JP5590574B2 (ja) 多重解像度ビデオ符号化および復号化のための再サンプリングおよび画像サイズ変更の演算
CN1162008C (zh) 用于2∶1抽样的有效下变频系统
CN1236619C (zh) 用于进行视频图像解码的方法和装置
KR20010071519A (ko) 제1 해상도를 가지는 인코딩된 이미지를 제2 해상도를가지는 이미지로 직접 디코딩하는 방법 및 장치
CN1197359C (zh) 获得增强译码的降低分辨率的视频信号的设备和方法
JP2002314998A (ja) 同時的フォーマット縮小方法、及びエンコード・ビデオ信号のデコード方法
KR20110123070A (ko) 영상 처리 장치 및 그 방법
JP4051799B2 (ja) 画像復号装置及び画像復号方法
KR100563015B1 (ko) Hdtv다운컨버젼시스템을위한업샘플링필터와하프-픽셀발생기
JP3937632B2 (ja) 画像復号装置及び画像復号方法
KR20000010956A (ko) Hdtv 다운 변환 시스템

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
REG Reference to a national code

Ref country code: HK

Ref legal event code: GR

Ref document number: 1057644

Country of ref document: HK

C17 Cessation of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20041027