CN1170425C - 高分辨率电视下转换系统 - Google Patents

高分辨率电视下转换系统 Download PDF

Info

Publication number
CN1170425C
CN1170425C CNB988002779A CN98800277A CN1170425C CN 1170425 C CN1170425 C CN 1170425C CN B988002779 A CNB988002779 A CN B988002779A CN 98800277 A CN98800277 A CN 98800277A CN 1170425 C CN1170425 C CN 1170425C
Authority
CN
China
Prior art keywords
video signal
digital video
signal
display format
decoder
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CNB988002779A
Other languages
English (en)
Other versions
CN1219321A (zh
Inventor
金熙龙
���¡���Ī����
萨普拉萨德·内莫帕利
���޲��ء���Ү
埃德温·罗伯特·迈耶
理查德·西塔
拉里·菲利普斯
颖川廉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=21911409&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=CN1170425(C) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Publication of CN1219321A publication Critical patent/CN1219321A/zh
Application granted granted Critical
Publication of CN1170425C publication Critical patent/CN1170425C/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/64Circuits for processing colour signals
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • G06T1/60Memory management
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformation in the plane of the image
    • G06T3/40Scaling the whole image or part thereof
    • G06T3/4023Decimation- or insertion-based scaling, e.g. pixel or line decimation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformation in the plane of the image
    • G06T3/40Scaling the whole image or part thereof
    • G06T3/4084Transform-based scaling, e.g. FFT domain scaling
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/162User input
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/18Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H04N19/426Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements using memory downsizing methods
    • H04N19/428Recompression, e.g. by spatial or temporal decimation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/523Motion estimation or motion compensation with sub-pixel accuracy
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/527Global motion vector estimation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/426Internal components of the client ; Characteristics thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/44Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/46Receiver circuitry for the reception of television signals according to analogue transmission standards for receiving on more than one standard at will
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/01Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0125Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level one of the standards being a high definition standard
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/01Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H04N7/014Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes involving the use of motion vectors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/015High-definition television systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/01Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0117Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal
    • H04N7/0122Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal the input and the output signals having different aspect ratios

Abstract

一种符合先进电视系统标准(ATSC)的视频解码器含有能对一个ATSC编码图像进行解码的电路,并利用下转换处理来产生一个有标准分辨率的视频信号。该视频解码器含有一个频域滤波器,用来减小ATSC编码信号的分辨率。该视频解码器下转换系统还含有一个带有垂直和水平滤波器和重新采样处理器的格式化部分,用来为某一特定的显示器和宽高比对经解码和下转换的视频图像格式化。该解码器通过探测编码视频信号的显示格式来改变解码器所进行的处理,使得不论编码输入信号的显示格式如何都能产生具有标准分辨率的输出信号。该系统还含有一个格式转换器,该格式转换器能被编程得可以用多种方法来转换输入信号的宽高比,使之能显示在一个具有不同宽高比的显示装置上。在一种模式中,该系统逐个地列出各种可能的方法,让用户可以选择其中的一种方法。

Description

高分辨率电视下转换系统
本专利申请对1997年3月12日提交的美国临时申请No.60/040,517提出权益要求。
美国临时申请No.60/040,517的全部公开内容在此引用作为参考。
技术领域
本发明涉及一种把例如为MPEG-2编码视频信号的频域编码信号解码和转换成标准输出视频信号的解码器,较具体地涉及一种把编码的高分辨率视频信号转换和格式化成为解码的较低分辨率输出视频信号的解码器。
背景技术
在美国,一种称之为“先进电视系统委员会(ATSC)标准”的标准规定了高分辨率电视(HDTV)信号的数字编码。该标准的一部分基本上与国际标准化组织(ISO)的“活动图形专家组(MPEG)”所提出的MPEG-2标准相同。该标准在标题为“InformationTechnology-Generic Coding of Moving Pictures and Assciated Audio,Recommendation H.626(信息技术—活动图形及有关声音的通用编码,推荐书H.626)”的国际标准(IS)出版物ISO/IEC 13818_2 IS,11/94中有所说明,该出版物可从ISO得到,其中关于MPEG-2数字视频编码标准的规定在此引用作为参考。
MPEG-2标准实际上是几个不同的标准。在MPEG-2中定义了几种不同的模型,每种模型对应于编码图像的一种不同的复杂程序。对于每种模型又定义了几个级别,每个级别对应于一个不同的图像分辨率。MPEG-2标准中的一个称为“主模型,主级别”(Main Profile,Main Level)的标准是准备用于对符合已有电视标准(即NTSC和PAL)的视频信号进行编码的。另一个称之为“主模型,高级别”的标准是准备用于对高分辨率电视图像进行编码的。根据“主模型,高级别”标准编码的图像可以在每个图像帧中有高达1152条的有效行并且在每行中有高达1920个的像素。
另一方面,“主模型,主级别”标准规定了每行720个像素和每帧567行这样的最大图形规模。对于帧率为每秒30帧的情况,根据该标准编码的信号的数据率将为每秒720×567×30=12247200个像素。与之成对比的是,根据“主模型,高级别”标准编码的图像的最大数据率为每秒1152×1920×30=66355200个像素。这个数据率大于按“主模型,主级别”标准编码的图像数据率的5倍。在美国,HDTV编码的标准是上述标准的一个子组,其帧规模高达每帧1080行,每行1920像素,并且该帧规模下的最大帧率为每秒30帧。这个标准下的最大数据率仍然远大于“主模型,主级别”标准下的最大数据率。
MPEG-2标准规定了一种复杂的句法,其中混合有数据和控制信息。某些这样的控制信息用来使具有几种不同格式的信号能被该标准所包含。这些格式定义了一些图像,这些图像的每行有不同的数目的像元(像素),每帧或每场有不同数目的行,以及每秒有不同数目的帧或场。此外,MPEG-2主模型的基本句法定义了代表5个层次上的图像的压缩MPEG-2比特流,这5个层次是系列层、图形组层、图形层、切片层和宏块层。每个这样的层都用控制信息导入。最后,在整个的编码比特流中还散布着称之为副(side)信息的其他控制信息(例如帧类型、宏块模式、图像运动矢量、系数交错模式和退量化信息)。
编码高分辨率“主模型,高级别”图形向较低分辨率的“主模型,高级别”图形、“主模型,主级别”图形、或者其他较低分辨率图形的格式转换对于以下三方面具有日益增大的重要性:a)提供能用于多种现有视频格式的单个解码器,b)提供“主模型,高级别”信号与个人计算机监视器或已有的用户电视机之间的接口,以及C)减小实现HDTV的成本。例如,这种转换使得可以用具有较低图形分辨率的廉价的已有监视器,例如NTSC制的或525线逐行扫描监视器取代与“主模型,高级别”编码图形结合使用的昂贵的高分辨率监视器,来支持例如“主模型,主级别”的编码图形。格式转换的一种是下转换,它把高分辨率输入图形转换成较低分辨率图形,以便在较低分辨率的监视器上显示。
为了有效地接收数字图像,解码器必须能快速地处理视频信号信息。为了达到最佳意义上的“有效”,解码系统应该是相对价廉但仍具有能够实时地解码这种数字信号的功能。所以,一个能支持转换成多种低分辨率格式的解码器必须使处理器所需的存储量最小化。
发明内容
本发明在一种用来接收、解码和显示以多种不同格式编码的视频信号的数字视频信号处理系统中体现。该系统含有一个数字视频解码器,该解码器可以被控制得能对编码视频信号解码,或者还能提供解码视频信号的较小分辨率的版本。该数字视频解码器包括一个连接得能接收编码数字视频信号的输入终端;数据提取电路,它能从编码数字视频信号提取关于解码视频信号的视频显示格式的指示;以及信号处理电路,它能对编码数字视频信号解码,以产生一个输出视频信号,其中解码器在响应于一个控制信号时将分别根据第一和第二下转换处理对编码数字视频信号进行处理,以从分别具有第一和第二视频显示格式的编码数字视频信号产生一个具有预定视频显示格式的输出信号,其中数字信号处理电路包括一个低通滤波器,该滤波器对频域变换的数字视频信号进行操作以使数字视频信号解码器产生一个解码视频信号,该解码视频信号具有比由所提取视频显示格式所规定的分辨率低的可选分辨率。该系统通过处理接收到的编码视频信号来确定当该信号被解码后本应得到的图像的格式和分辨率。该系统还含有一个控制器,该控制器接收被确定了的格式和分辨率信息,还接收关于将用来显示该接收图像的显示装置的格式和分辨率的信息。然后该控制器产生一些信号,使数字视频解码器给出具有匹配于该显示装置的分辨率和宽高比的模拟视频信号。
根据本发明的一个方面,编码视频信号是用一种频域变换操作进行编码的,并且数字视频解码器含有一个作用于该频域变换数字视频信号的低通滤波器。
根据本发明的另一个方面,数字视频解码器与一个可编程空间滤波器相耦合,后者能在响应于控制器所提供的控制信号时对数字视频解码器所提供的解码数字视频信号进行重新采样,以产生符合显示装置的宽高比和分辨率的数字视频信号。
根据本发明的另一个方面,数字视频信号是根据活动图形专家组(MPEG)所规定的一种编码技术编码的,并且编码视频信号的宽高比和分辨率是从数字视频解码器所接收到的包化基本数据流(PES)数据包中的前端部提取的。
根据本发明的另一个方面,数字视频信号是根据MPEG所规定的一种编码技术编码的,并且编码视频信号的宽高比和分辨率是从数字视频解码器所接收到的视频比特流的系列前端部提取的。
根据本发明的另一个方面,上述系统含有一个用户输入装置,用户可以利用该装置对系统构形,使之产生与显示装置相兼容的输出视频信号。
根据本发明的另一个方面,上述系统含有能自动地确定显示装置的宽高比和分辨率的设备。
根据本发明的另一个方面,上述系统含有这样的设备,该设备能相继地产生对应于多种显示装置类型的视频信号,并能在响应于用户所提供的选择信号时确定一种对应于显示装置的分辨率和宽高比的显示类型。
本发明还提供一种数字视频信号转换系统,它能对一个基带编码数字视频信号进行解码和重新格式化以产生一个解码视频信号,该编码数字视频信号是用一种频域变换操作编码的,并且可以代表多种视频显示格式,每种视频显示格式都有一个宽高比和一个分辨率,该系统包括:
具有预定视频显示格式的显示装置;
数字视频信号解码器,它含有:
连接得能接收编码数字视频信号的输入终端;
数据提取电路,该电路能从编码数字视频信号提取一个关于解码视频信号的视频显示格式的指示;
低通滤波器,它在响应于一个第一控制信号时将对频域变换的数字视频信号进行操作,以有选择性地使数字视频信号解码器产生一个其分辨率小于提取的视频显示格式的分辨率的解码数字视频信号;以及
信号处理电路,它在响应于一个第二控制信号时将对经滤波的频域编码数字视频信号解码,以产生一个输出视频信号;以及
控制器,它连接得能接收表明了预定视频显示格式和提取的视频显示格式的数据,该控制器产生对数字视频信号解码器的控制信号,该控制信号使解码器把对应于提取的显示格式的编码数字视频信号转换成具有预定视频显示格式的输出视频信号。
本发明又提供一种数字视频信号转换系统,它能对一个代表一种具有第一宽高比的视频显示格式的基带编码数字视频信号进行解码和重新格式化,以产生一个适合于以具有不同于第一宽高比的第二宽高比的预定视频显示格式显示的解码视频信号,该系统包括:
数字视频信号解码器,它含有:
连接得能接收编码数字视频信号的输入终端;
数据提取电路,它能从编码数字视频信号中提取一个关于解码视频信号的宽高比的指示;以及
信号处理电路,它能对编码数字视频信号进行解码以产生一个输出视频信号,其中解码器在响应于一个控制信号时,将分别根据第一和第二下转换处理对编码数字视频信号进行处理以产生一个输出信号,该输出信号具有分别对应于第一宽高比与第二宽高比之间的第一种和第二种转换的预定视频显示格式;以及
控制器,它连接得能接收表明了提取的视频显示格式的数据,该控制器产生对数字视频信号解码器的控制信号,该控制信号使解码器相继地把具有第一宽高比的解码视频信号转换成第一和第二输出信号,这两个输出信号分别对应于第一宽高比与第二宽高比之间的第一种和第二种转换。
附图说明
通过下面结合附图的详细说明,本发明的这些优点和其他优点将变得明显。
图1A是根据本发明一个示范性实施例的一个视频解码和格式转换系统的高层次方框图。
图1B是说明本发明一个示范性实施例所使用的带有对外部存储器的接口的ATV视频解码器的功能模块的高层次方框图。
图2A是一种以往技术视频解码器的高层次方框图。
图2B是本发明一个示范性实施例所使用的下转换系统的高层次方框图。
图2C是说明图2B所示解码器的构形的方框图,该解码器用来对具有1125I(1125行,隔行扫描)格式的视频信号解码,解码中包含了比率为3的向525P(525行,逐行扫描)/525I格式的下转换。
图2D是说明图2B所示解码器的构形的方框图,该解码器用来对具有750P格式的视频信号解码,解码中包含了比率为2的向525P/525I格式的下转换。
图3A是说明关于本发明的3∶1和2∶1示范性实施例的亚像素位置和相应预测像素的像素图。
图3B是说明上采样处理的流程图,该处理对本发明一个示范性实施例的输入宏块中的每一行执行。
图4是说明块镜像滤波器的一个示范性实施例的第一和第二输出像素值的多个数值对像素图。
图5是说明一个二维系统的下转换滤波器的示范性实现的方框图,该二维系统用两个串接的一维IDCT(逆离散余弦变换)实现对水平分量和垂直分量的处理。
图6A是说明对4∶2∶0视频信号采用3∶1选留时的输入像素和选留输出像素的宏块图。
图6B是说明对4∶2∶0视频信号采用2∶1选留时的输入像素和选留输出像素的像素块图。
图6C是说明对于水平方向比率为2的下转换为存储在存储器中而把2个宏块融合成一个宏块的融合处理的宏块图。
图6D是说明对于水平方向比率为3的下转换为存储在存储器中而把3个宏块融合成一个宏块的融合处理的宏块图。
图7A是说明本发明一个实施例的垂直可编程滤波器的方框图。
图7B是说明垂直滤波系数与图7A的垂直可编程滤波器一些行的像素采样空间之间的空间关系的像素图。
图8A是说明本发明一个实施例的水平可编程滤波器的方框图。
图8B是说明水平滤波系数与本发明一个实施例的像素采样值之间的空间关系的像素图。
图9A是像素号对重新采样比率的关系图,该图说明本发明一个实施例的重新采样比率的变化形状。
图9B是说明把4∶3图形映射成16∶9显示的第一重新采样比率变化形状的图。
图9C是说明把4∶3图形映射成16∶9显示的第二重新采样比变化率形状的图。
图9D是说明把16∶9图形映射成4∶3显示的第一重新采样比率变化形状的图。
图9E是说明把16∶9图形映射成4∶3显示的第二重新采样比率变化形状的图。
图10是说明采用根据本发明一个实施例的重新采样比率变化形状的效果的图像形状图。
图11A是说明本发明一个示范性实施例的ATV视频解码器的显示部分的高层次方框图。
图11B是说明本发明一个示范性实施例的27MHz双输出模式的方框图,其中的视频数据是525P或525I格式的,第一个处理链向27MHZ数模转换器(D/A)和一个NTSC编码器提供视频数据。
图11C是说明在本发明的一个示范性实施例的27MHz单输出模式中仅向一个NTSC编码器提供525I格式视频信号的方框图。
图11D是说明本发明的一个示范性实施例的74MHZ/27MHZ模式的方框图,其中的输出格式匹配于输入格式,并且根据输入格式的不同或者给一个27MHZ数模转换器或者给一个74MHZ数模转换器提供视频信号。
图12是一个视频解码器的高层次方框图,该解码器含有本发明一个示范性实施例为解码ATSC视频信号所使用的高带宽存储器。
具体实施方式
本发明的各个示范性实施例对根据MPEG-2标准编码的,特别是根据“主模型,高级别( MP@HL)”和“主模型,主级别( MP@ML)”标准编码的普通HDTV信号进行解码,并且以具有低下所接收HDTV信号的分辨率和从多种格式中选出的一种格式的视频信号形式提供解码信号。
MPEG-2主模型标准规定了一系列5种级别的图像:系列级别、图形组级别、图形级别、切片级别和宏块级别。其中每种级别都可被认为一个数据流中的一个记录,并且列在后面的级别是含于列在前面的级别中的子级别。每种级别的记录都含有一个前端部,前端部中含有用于解码其子记录的数据。
编码HDTV信号的每个宏块都含有6个数据块,每个数据块含有代表HDTV图像中64个图形单元(像素)的64个离散余弦变换(DCT)系数值的数据。
在编码处理中,离散余弦变化之前的像素数据可以经过运动补偿差分编码,并且变换系数数据块利用行扫描长度和可变长度编码技术被进一步编码。从数据流恢复图像系列的解码器进行编码处理的逆处理。该解码器使用一个熵解码器(例如可变长度解码器),一个逆离散余弦变换(IDST)处理器、一个运动补偿处理器和一个插值滤波器。
本发明的视频解码器被设计得可以支持许多不同的图形格式,同时又只需要最小的解码存储器,例如48Mb的“Concurrent Rambus(并行随机访问存储器总线)”动态随机访问存储器(并行RDRAM),来对高分辨率编码图形格式进行下转换。
图1A示出一个使用本发明一个示范性实施例的系统,该系统能接收和解码 MP@HLMP@ML标准的编码视频信息,把解码的信息格式化成为用户所选择的输出视频格式(同时包括视频和声频信息),并提供用来把格式化的视频输出信号输出给显示装置的接口。本发明的一些示范性实施例被设计得能支持所有的ATSC视频格式;并且在下转换(DC)模式中本发明能接收任何MPEG主模型的视频比特流(受FCC标准限制的)和提供525P、525I或NTSC格式。
图1A的示范性系统含有一个前端接口100、一个视频解码器部分120及其相关的解码存储器130、一个主视频输出接口140、一个声频解码器部分160、一个任选的计算机接口110和一个任选的NTSC视频处理部分150。
参见图1A,该示范性系统的前端接口100含有一个传输解码器和处理器102及相关的存储器103。还可以含有一个任选的(多路)转接器(MUX)101,用来接收来自计算机接口110的例如根据IEEE1394连系层协议的控制信息和计算机产生的图像,或者用来恢复来自一个数字电视调谐器(未示出)的编码传输流。传输解码器102把从通信通道比特流接收到的压缩数据比特流转换成压缩视频数据,后者例如可以是根据MPEG-2标准的包化基本数据流(PES)数据包。传输解码器可以直接提供PES数据包,或者也可以进一步把PES数据包转换成一个或多个基本数据流。
视频解码器部分含有一个ATV视频解码器121和一个锁相环(PLL)1220ATV视频解码器121从前端接口100接收基本数据流或视频PES数据包,若是后者则把数据包转换成基本数据流。然后ATV视频解码器121的一个前端图形处理器根据所用的编码方法对基本数据流解码,提供每个图像图形的亮度和色度像素信息。PLL122使图1A系统所执行的声频和视频处理同步。
ATV视频解码器121还含有一个存储器子系统和一个显示部分,前者利用一个提供图像图形信息的外部存储器控制解码操作,后者把解码的图形信息处理成所需的图形格式,ATV视频解码器121利用解码器存储器130处理编码视频信号。解码器存储器130含有一些存储单元131、132、133、134、135和136,它们各自都可以是一个16Mb的RDRAM存储器。后面将说明本发明示范性实施例的视频解码器部分120和解码器存储器130。
主视频输出接口140含有一个可以是工作于74MHZ的第一数模转换器(DAC)141(它实际上有分别用于亮度信号和CR、CB色度信号的3个D/A(数/模)单元),其后面还有一个滤波器142。该接口产生1125I或750P格式的模拟视频信号。该接口还含有一个可以是工作于27MHZ的第二DAC143(它也由用于亮度信号和CR、CB色度信号的3个D/A单元组成),其后面还有一个对525I或525P格式视频信号的滤波器144。主视频输出接口140对具有所需格式的数字编码视频信号进行转换,利用一个D/A转换器产生具有所需格式的色度和亮度分量的模拟视频信号,并对该模拟视频信号进行滤波以除去D/A转换处理中的采样缺陷。
声频解码器部分160含有一个AC3声频解码器162和一个任选的6-2频道向下混频处理器161,前者在其输出端口163和164处提供声频信号,后者在其输出端口165处提供双通道声频信号。从编码数字信息到输出编口163、164、165处的模拟输出的对 MP@HLMPEG-2标准的声频信号分量的声频处理是本技术领域所熟知的,适合于作为解码器160的声频解码器是可以从加里福尼亚州SantaClara市的Zoran Corporation购得的ZR38500 6通道Dolby(杜比)数字环绕声处理器。
任选的计算机接口110发送和接收例如符合IEEE 1394标准的计算机图像信号。计算机接口110含有一个物理层处理器111和一个连系层处理器112。物理层处理器111把来自输出端口113的电信号转换成接收到的计算机产生图像信息和控制信号,并把这些信号提供给连系层处理器112以解码成IEEE1394格式的数据。物理层处理器111还把接收到的来自传输解码器102的经连系层处理器112编码的控制信号按照IEEE1394标准转换成电输出信号。
NTSC视频处理部分150含有一个任选的ATV-NTSC下转换处理器151,该处理器把滤波器142所提供的模拟HDTV信号转换成525I信号。这种不同标准之间的转换是本技术领域所已知的,可以利用空间滤波技术来实现。这种滤波技术例如公开于授予Hau等人的美国专利No.5,613,084,该专利的标题为“INTERPOLATION FILTERSELECTION CIRCUIT FOR SAMPLE RATE CONVERSION USINGPHASE QUANTIZATION(利用相位量化的采样率转换插值滤波器选择电路)”,该专利在此引用作为参考。在本发明的示范性实施例中,这个处理部分仅在解码器处理1080I或1125I信号时才使用。
NTSC编码器152或者从处理器151或者直接从解码器120接收525I模拟信号,并把该信号转换成输出端口153(S-视频)和154(组合视频)处的NTSC格式视频信号。
使用解码器存储器的视频解码器部分
图1B是示出ATV视频解码器121的各个功能模块的高层次方框图,该视频解码器含有一个对本发明的一个示范性实施例所使用的外部存储器130的接口。ATV视频解码器121含有:一个图形处理器171、一个宏块解码器172、一个显示部分173和一个存储器子系统174。图形处理器171接收、存储和部分地解码输入的MPEG-2视频比特流,并提供可以在存储器子系统174的控制之下存储在存储器130中的编码比特流、屏幕显示数据和运动矢量。当使用预测编码时,宏块解码器172接收编码比特流、运动矢量和存储的运动补偿参考图像数据,并向存储器子系统174提供编码视频图像的解码宏块。显示部分173从存储器子系统174提取解码宏块,并把它们格式化成供显示的视频图像图形。这几个部分的操作将在下面详细说明。
a)图形处理的主模型格式支持
本发明的ATV视频解码器121被设计得能支持所有的ATSC视频格式。为了简单,把ATV视频解码器121的操作称之为下转换(DC),ATV视频解码器121能接收任何表1中所示的MPEG主模型视频比特流,并提供525P、525I或NTSC格式的视频信号。对于图1A的示范性视频解码器,在DC模式下任何HDTV或SDTV信号都被解码,并在下述两端口的任一端口处提供显示输出信号;端口1提供逐行扫描图像或隔行扫描图像;端口2提供隔行扫描图像。
在DC模式中,对主级别图形高频分量的低通滤波作为解码处理的一个部分,把高分辨率图形调节成一种具有较低分辨率的格式。这个操作包括高分辨图形的水平滤波和垂直滤波。注意,在DC模式中显示格式的转换可以使16×9宽高比的原始图形显示在4×3的显示器上,或者相反。这一处理将在后面讨论视频解码器部分120的显示部分时说明。表2对表1中各种输入比特流分别给出能支持的主输出和辅助输出图形格式。
                                    表1
                               视频比特流格式
序号和格式 水平 垂直 宽高比 帧率(HZ)
(1)1125I  1920  1080  16×9  30,29.97
(2)1125P  1920  1080  16×9  30,29.97,24,23.98
(3)750P  1280  720  16×9  60,59.94,30,29.97,24,23.98
(4)525P  740  480  16×9  60,59.94,30,29.97
(5)525P  704  480  4×3  60,59.94,30,29.97,24,23.98
(6)525P  640  480  4×3  60,59.94,30,29.97,24,23.98
(7)525I  704  480  16×9  30,29.97
(8)525I  704  480  4×3  30,29.97
(9)535I  640  480  4×3  30,29.97
                        表2
                  DC支持的视频格式
序号和格式 主输出格式 辅助输出格式 显示时钟(MHZ)
  (1)1125I     525P     525I     27.00
  (2)1125I     525P     525I     27.00
  (3)750P     525P     525I     27.00
  (4)525P     525P     525I     27.00
  (5)525P     525P     525I     27.00
  (6)525P     525P     525I     27.00
  (7)525I     525P     525I     27.00
  (8)525I     525P     525I     27.00
  (9)525I     525P     525I     27.00
b)解码,下转换和下采样
1)概述
图2A是以往技术的一种典型视频解码系统的高层次方框图,该系统处理按MPEG-2编码的图形。MPEG-2规定了不带后续处理,即下转换或格式转换的用来解码MPEG-2编码图形的一般方法。该视频解码系统含有一个可以包含一个分析器(parser)209的熵解码器(ED)211,一个可变长度解码器(VLD)210,和一个行长解码器(R/L)212。该系统还含有一个逆量化器(IQ)214和一个逆余弦离散变换(IDCT)处理器218。一个控制器207根据ED211从输入比特流提取出的控制信息去控制该解码系统的各个部件。为了处理预测图像,该系统还含有:一个带有参考帧存储器222的存储器199,一个求和网络230,和一个可以是带有一个运动矢量处理器221和一个半像素发生器228的运动补偿处理器206a。
控制器207与一个红外接收器208相耦合,后者接收例如由用户遥控装置所提供的命令信号。控制器207解码这些命令并使图2A系统的其余部分执行指定的命令。在本发明的该示范性实施例中,图2A系统有一个设定模式,在该模式下用户可以指定系统的一种构形。在本发明的一个示范性实施例中,这种构形可以包括关于显示装置类型的规范。可以预期,显示装置类型可以用显示分辨率和宽高比来规定。用户可以通过从一个列出了一些可能选择项的菜单上选出一个特定的显示宽高比和分辨率来指定显示类型,或者也可以通过利用遥控装置指定一个显示格式来使系统进入某一模式,这时需相继地给显示装置提供一些对应于不同显示格式的信号以显示各种模式,并要求用户用遥控装置指定其中看来最舒适的一种显示格式。在正常操作中,控制器207还从ED211的分析器209接收关于编码视频信号的分辨率和宽高比的信息。控制器207利用该信息和所存储的关于显示装置分辨率和宽高比的信息,自动地把系统构形成能把接收到的编码信号处理成为适合于在显示装置上显示的模拟输出信号。
分析器209扫描接收比特流以寻找MPEG开始代码。这些代码有一个前缀。前缀的格式为23个相继的零值比特位和随后的一个值为1的比特。开始代码位在该前缀的后面,指明正在接收的记录的类型。在本发明的该示范性实施例中,分析器209把比特流存储到存储器199中,然后从存储器199把比特流提供给VLD作进一步处理。在图2A的方框图中,这一过程被缩简了,示出的是分析器直接把比特流提供给VLD。
当分析器209在比特流中找到了开始代码时,它将把比特流传送给存储器199以存储在VBV缓存器中,同时还把一个关于开始代码的指针存储在控制器207可访问的存储器199的一个区域中。控制器207不断地访问各个开始代码指针,并通过它们访问记录的前端部。当控制器207找到一个系列的开始代码时,它将访问该系列的前端部中的信息,该信息指明了由该编码系列所代表的图像系列的宽高比和分辨率。根据MPEG标准,这个信息在系列前端部中紧接在系列开始代码的后面。
关于编码视频信号显示格式的信息(即其分辨率和宽高比)也含在包化基本流(PES)数据包的前端部中。可以设想,在本发明的另一个示范性实施例中,分析器209可以接收PES数据包,从中剥离开前端部以重建比特流,并把剥离出的前端部信息,包括接收视频信号的显示格式,传送给控制器207。
如下所述,控制器207利用关于接收视频信号的显示格式信息和关于连接在解码系统上的显示装置(未示出)的显示格式信息,自动地或半自动地调整对接收视频信号的处理,以在显示装置上正确地显示。
VLD210通过存储器199中的VBV缓存器(未示出)从分析器209接收编码比特流,并进行与编码处理相反的处理,产生量化的频域DCT系数值宏块。VLD210还提供包括运动矢量在内的控制信息,该运动矢量描述对应于当前正在解码的预测图像的一个宏块的前面解码图像中的一个匹配宏块的相对位移。逆量化器214接收量化DCT变换系数并对一个特定宏块重建量化DCT系数。用于该特定宏块的量化矩阵是从ED 211接收的。
IDCT处理器218把重建的DCT系数转换成空间域中的像素值(各个代表宏块的亮度或色度分量的8×8矩阵值数据块和各个代表预测宏块的差分亮度或差分色度的8×8矩阵值数据块)。
如果当前宏块不是预测地编码的,则由IDCT处理器218所提供的输出的矩阵值就是对应于当前视频图像的宏块的像素值。如果宏块是帧间编码的,则前一视频图形帧的相应宏块被存储在存储器199中,以供运动补偿处理器206使用。运动补偿处理器206在响应于运动矢量时从存储器199接收前一编码宏块,然后在求和网络230中把前一宏块加到当前IDCT宏块(对应于目前预测编码帧的剩余分量),以产生当前视频图像像素的相应宏块,然后该宏块被存入参考帧存储器222中。
图2B是本发明的一个采用这种DCT滤波操作的示范性实施例的下转换系统的高层次方框图,它可以被一个工作于DC模式的本发明示范性实施例所使用。如图2B所示,该下转换系统含有一个可变长度解码器(VLD)210、一个行长(R/L)解码器212,一个逆量化器214,以及一个逆离散余弦变换(IDCT)处理器218。此外,该下转换系统还含有一个用于对编码图形滤波的下转换滤波器216和一个下采样处理器232。虽然下面将说明的是对于 MP@HL编码输入的示范性实施例,但本发明也可应用于任何类似的编码高分辨率图像比特流。
该下转换系统还含有一个具有运动矢量(MV)缩放器220的运动补偿处理器206b,一个含有上采样处理器226和半像素发生器228的运动块发生器224,以及一个参考帧存储器222。
图2B的第一示范性实施例的系统还含有一个含有垂直可编程滤波器(VPF)282和水平可编程滤波器(HZPF)284的显示转换模块280。显示转换模块280把下采样的图像转换成可显示在一个其分辨率低于原始图像的特定显示装置上的图像,对此将在后面关于显示转换的第d)(2)节中详细说明。
下转换滤波器216对频域中的高分辨率(例如主模型,高级别DCT)系数执行低通滤波。下采样处理器232通过部分选取经滤波的主模型,高级别图形而除去一些空间像素,产生一组能显示在一个其分辨率低于显示 MP@HL图形所需分辨率的监视器上的像素值。示范性的参考帧存储器222存储对应于至少前一解码帧的空间像素值,该解码帧的分辨率与下采样图形相对应。对于帧间编码,MV缩放器220对接收到的对应于减小了分辨率的图像的每个数据块换算运动矢量,高分辨率运动块发生器224接收由参考帧存储器222所提供的低分辨率运动块,对这些运动块进行上采样,并按需要进行半像素插值以提供其像素位置对应于经解码和滤波的差分像素块的运动块。
应该指出,在图1B的下转换系统中,所存储的是下采样图像而不是高分辨率图像,结果大为减少了存储参考图像所需的存储容量。
现在说明帧间编码情况下的本发明下转换系统的一个示范性实施例的操作。 MP@HL比特流由VLD210接收和解码。除了HDTV系统所用的前端部信息之外,VLD210还提供每个数据块和宏块的DCT系数,以及运动矢量信息。这些DCT系数在R/L解码器212中被按行长地解码,并在逆量化器214中被逆量化。
由于由DCT系数所代表的接收视频图像是高分辨率图形,所以本发明的该示范性实施例在对高分辨视频图像进行选留之前对每个块的DCT系数进行了低通滤波。逆量化器214把DCT系数提供给进行频域低通滤波的DCT滤波器216,该滤波通过用一些预定的滤波系数值对这些DCT系数进行加权来实现,然后再把滤波后的DCT系数提供给IDCT处理器218。在本发明的一个示范性实施例中,这个滤波操作是逐数据块地执行的。
IDCT处理器218通过对滤波DCT系数进行逆离散余弦变换来提供空间像素采样值。下采样处理器232通过根据预定的选留比除去一些空间像素采样值来减小图形的采样规模;因此,可以用存储量比存储较高分辨率的 MP@HL图形小的帧存储器来存储较低分辨率的图形。
现在说明对于编码标准的预测帧的本发明下转换系统的一个示范性实施例的操作。在该实施例中,当前接收的图像DCT系数代表预测图像宏块的剩余分量的DCT系数,为了方便下面把后者称作预测帧(P-帧)。在所说明的示范性实施例中,一个预测帧的运动矢量的水平分量需要缩放,这是因为存储在存储器中的前面帧的低分辨率参考图形具有不同于高分辨率预测帧( MP@HL)的像素数。
参见图2B,由VLD210提供的 MP@HL比特流运动矢量被传送给MV缩放器220。每个运动矢量都由MV缩放器220缩放成匹配于存储在存储器199的参考帧存储器222中的前一图像的参考帧的相应预测块。所提取的块的规模(像素值数目)小于IDCT处理器218所提供的块规模,所以要对提取的块进行上采样,使得在由求和网络230结合这两种块之前得到与IDCT处理器218所提供的剩余块的像素数相同的预测块。
上采样处理器226根据MV缩放器220的控制信号对预测块上采样,产生对应于原始高分辨率像素块的数据块,然后,如果半像素发生器228中的上采样预测块的运动矢量有所指明,则半像素发生器228将产生半像素值,以保证预测块可以有正确的空间对准。在求和网络230中该经上采样和对准的预测块被加到当前经滤波的块上,在本例中它是预测块的减小了分辨率的剩余分量。所有的处理都是逐个宏块地完成的。当对当前高分辨率宏块完成了运动补偿处理之后,下采样处理器232将对重建的宏观进行相应的选留。这个处理并不减小图像的分辨率,只是简单地从低分辨率滤波图像中除去一些多余的像素。
得到了一个图像的各个下采样宏块后,显示转换模块280将分别通过VPF282和HZPF284对下采样图像的垂直和水平分量的滤波来调整图像,使它能显示在低分辨率电视显示单元上。
现在说明图1A和图1B的ATV视频解码器121的各个功能模块之间的关系。图1B的图形处理器171接收视频图形信息比特流。宏块解码器172含有:VLD210、逆量化器214、DCT滤波器216、IDCT218、求和网络230、和运动补偿预测器206a、206b。图像处理器171,可以共用该VLD210。外部存储器130对应于存储器199,含有包括参考帧存储器222的16Mb RDRAM 131-136。
图2C说明系统在DC模式下把1125I信号转换成525P/525I格式的操作。在此情形中,在经过了参考图2B所说明的DCT滤波器216的低通滤波之后,该系统以比率3对高分辨率信号进行下采样,并以隔行扫描640H(水平)和1080V(垂直)的格式把图形存储在48Mb存储器中。在该系统中,在完成运动预测解码之前运动补偿处理首先以比率3对存储图像进行上采样(并且对接收到的运动矢量进行缩放)。图形也要被水平和垂直滤波,以实现显示转换。
类似地,图2D说明DC模式下从750P到525P/525I的格式下转换的操作。除了为了存储器存储而进行的下采样以及为运动补偿而进行的上采样所取的比率都改为2之外,这个转换操作的方法与1125I到525P/525I的相同。
2)下转换宏块预测
对于示范性的下转换处理,由于前面图像的参考帧在水平方向上变小了,所以接收到的关于这些帧的运动矢量也可能按转换比率被缩放了。下面将说明水平方向上亮度块的运动缩放。熟悉本技术领域的人们在需要时可以容易把下面的讨论推广到垂直方向上的运动缩放。用X和Y表示当前宏块在原始图像帧中的地址,用Dx表示水平选留比率,mvx表示原始图像帧中的半像素水平运动矢量,则原始图像帧中运动块的左上角地址XH(以半个像素为单位)由(1)式给出:
XH=2x+mvx                (1)
对应于运动块的像素起始于下采样图像,其地址x*和y*可以用(2)式确定:
x * = XH 2 · Dx ; y * = y - - - - - - - ( 2 )
等式(2)中的比值取其整数部分。
由于示例性滤波器216和下采样处理器232都只减少图像的水平分量,所以运动矢量的垂直分量没有受影响。在原始图像中,运动矢量的色度数据是亮度运动矢量的一半。因此,也可以利用等式(1)和(2)作为缩放色度运动矢量的规定。
运动预测通过以下两个步骤的处理完成:首先,可以通过图2A和2B的上采样处理器226中的对下采样图像帧的上采样完成原始图像帧中的具有像素精度的运动估计;然后,半像素发生器228通过平均两个最靠近像素的值来进行半像素插值。
参考图像数据被加到IDCT处理器218所提供的输出数据上。由于求和网络230的输出值对应于一个其像素数与高分辨率格式相一致的图像,所以可以通过对这些值进行下采样来显示在低分辨率显示器上。下采样处理器232中的下采样基本上等价于对图像帧的亚采样,但可以根据转换比率进行调整。例如,在3∶1下采样的情况中,对于每个输入宏块水平下采样的像素数为6或5,而且第一个下采样像素并不总是输入宏块中的第一个像素。
当从下采样图像获得了校正运动预测块后,利用上采样得到离分辨率图形中的相应预测块。所以,希望在下采样图像中有具有亚像素精度的运动块预测。例如,如果采用3∶1选留,则为了正确的运动预测希望在下转换图形中有1/3(或1/6)的亚像素精度。除了下采样运动块之外,还确定作为运动矢量所需的第一个像素的亚像素。然后用下述的余数算法确定后面的亚像素位置。亚像素位置Xs由(3)式给出:
X s = ( XH 2 ) % ( Dx ) - - - - - ( 3 )
其中“%”代表模量除法。
例如,对于3∶1上采样的情况xs的范围是0、1、2;对于2∶1上采样的情况xs的范围是0、1。图3A示出了3∶1和2∶1情况中的一些亚像素位置和相应的17个预测像素,表3给出了图3A中的符号含义。
            表3
符号 像素
下采样像素
上采样像素
预测像素
上采样的额外右像素和额外左像素
如前所述,上采样滤波器可以是多阶段滤波器,表4给出了这些上采样多阶段插值滤波器的特性。
                       表4
3∶1上采样 2∶1上采样
多阶段滤波器的数目 3 2
分支数目 3 5
水平下采样像数的最大数目 9 13
下面两个表格,即表5和表6,示出了示例性的3∶1和2∶1上采样多阶段滤波器的多阶段滤波系数。
                           表5 3∶1上采样滤波器
阶段0 阶段1 阶段2
双精度 -0.16382317355910.79005893595120.3737642376078 0.02210806910700.95578386178580.0221080691070 0.37376423760780.7900589359512-0.1638231735591
定点(9比特) -0.1640625(-42)0.7890625(202)0.3750000(96) 0.0234375(6)0.95703125(244)0.0234375(6) 0.3750000(96)0.7890625(202)-0.1640625(-42)
                表6 2∶1上采样滤波器
阶段0 阶段1
双精度 0.01103968392600.02838864029200.92114335156360.02838864029200.0110396839260 -0.14333638871130.64333638871130.6433363887113-0.14333638871130.0000000000000
定点(9比特) 0.01718750(3)0.02734375(7)0.92187500(236)0.02734375(7)0.01718750(3) -0.14453125(-37)0.64453125(165)0.64453125(165)-0.14453125(-37)0.00000000(0)
在表5、表6的定点表示中,括号内的数是9比特情况下的二进制补数表示,其左侧是相应的双精度数值。根据下采样参考图像帧中运动预测块的亚像素位置,采用多阶段插值滤波器的一个相应阶段。还有,对于该示范性实施例,左端和右端的额外像素用来对原始图像帧中的的17个水平像素插值。例如对于3∶1选留情况,对每个输入宏块最多可产生6个水平下采样像素。然而在上采样时,由于上采样滤波器需要边界外面的左、右额外像素才能操作,所以要用9个水平像素来产生相应的运动预测块的值。因为该示范性实施例采用了半像素运动估计,所以需要用17个像素来得到作为两相邻像素采样的平均值的16个半像素值。半像素插值器执行能提供具有半个像素分辨率的像素块的插值操作。表7A给出了亚像素位置与多阶段滤波器阶段号之间的示范性映射关系,并示出了上采样处理所需的除了上采样块中的像素之外的额外左像素的数目。
                             表7A
亚像素位置 多阶段 额外左像素数 坐标变化
3∶1上采样 012  120  110  x*->x*-1x*->x*-1
2∶1上采样 01  01  22  x*->x*-2x*->x*-2
图3B总结了对输入宏块的每个行进行的上采样处理。首先在步骤310中接收被处理输入图像帧的数据块的运动矢量。在步骤312中,使运动矢量缩放得对应于存储器中的下采样参考帧。在步骤314中,用经缩放的运动矢量计算存储在存储器130中的所需参考图像半宏块的坐标值。在步骤316中,确定该半宏块的亚像素点,然后在步骤318中确定上采样初始多阶段滤波器的值。接着在步骤320中从存储器130提取存储下采样参考帧的参考半宏块的已确定像素。
在第一次进入到滤波步骤324之前,可以在步骤322中初始化滤波器的各个寄存器,对于本示范性实施例该步骤包括把初始的3个或5个像素值安装到寄存器中的步骤。然后在经过滤波步骤324后,步骤326判断是否所有的像素都已经过了处理,在本示范性实施例中它们有17个像素。如果所有像素都已处理,则该上采样块便完成了。对于本示范性实施例,这将给出一个17×9像素的半宏块。系统将返回上半宏块或下半宏块,使得既能对逐行扫描图像又能对隔行扫描图像实现运动预测解码。如果还没有处理完所有的像素,则在步骤328中更新滤波器阶段,并检验阶段值是否为0。如果阶段值为0,则寄存器更新成下一组的像素值。步骤328中的更新对示范性的3∶1上采样来说其滤波器循环周期为使阶段值按0,1,2的顺序更新;对于2∶1上采样;其滤波器循环周期为使阶段值按0,1,的顺序更新。对于最左端像素位在图像图形边界外面的情况,可以重复图像图形中的第一个像素值。
在一个示范性实施例中,上采样滤波操作可以按下述路线来实现。首先,可能要用到几点:1)半像素预测操作对两个全像素取平均,并且还对相应的滤波系数取平均以提供半像素的滤波系数;2)不论具体采用何种下转换,都可能要用到确定数目,例如5个的滤波系数,它们可以等价于滤波器分支的数目;3)可以给每个前面和后面的低块和高块的上采样块提供5个并行的输入端口,并且为了提供一个输出像数,还要对与相应滤波系数相结合后的每个参考块在每个时钟节拍内提供5个输入像素LWR(0)-LWR(4);以及,4)滤波系h(0)-h(4)分别与各像素LWR(0)-LWR(4)的结合的和值给出采样块的输出像素。
由于相乘的次序与滤波系数的正常次序是相反的,所以最好把各滤波系数的次序反过来,并且可能还希望使某些系数为零。图7B给出3∶1上采样滤波器的示范性滤波系数,图7C给出2∶1上采样滤波器的示范性滤波系数:
                                    表7B
亚像素0 亚像素1 亚像素2 亚像素3 亚像素4 亚像素5
滤波系数     6244600   -182235100   -422029600   -21149149-210     96202-4200     51223-1800
参考     x*-1   x*-1   x*-1   x*-1     x*     x*
阶段     01   00   10   01     00     10
半像素     0   1   0   1     0     1
                      表7C
亚像素0 亚像素1 亚像素2 亚像素3
滤波系数 3723673 2-1520086-17 -37165165-370 -1786200-152
参考 x*-2  x*-2 x*-1 X*-1
阶段 00 00 01 01
半像素 0 1 0 1
表7B和7C中的x*是按等式(1)和(2)定义的下采样像素位置,亚像素位置Xs由等式(3)重新定义为等式(3’):
xs=(XH)%(2Dx)                (3’)
对于示范性实施例中的色度值,XH要缩放两倍,等式(1)、(2)和(3’)仍适用。在一个实施例中,阶段和半像素信息(分别用2个比特和1个比特编码)供图2B的运动补偿处理器220和半像素发生器228使用。例如,参考块像素首先作为U像素提供,其次作为V像素提供,最后作为Y像素提供。U、V像素被时钟同步40个周期,Y像素被同步144个周期。参考块可以按3∶1选留提供,其方法是:提供最前面5个像素,重复两次,把数据移动一位然后重复,直到一行结束。对于2∶1选留也可以用同样的方法,只是其中的重复次数是一次而不是两次。由于选留跟随在运动补偿输出与具有剩余值的半像素值的求和之后,所以输入像素是重复的。结果,对于3∶1选留,三个像素中的两个像素被删除,这些像素的无效像素值是没有关系的。
3)采用DCT系数加权的DCT域滤波
本发明的示范性实施例含有取代空间域低通滤波器的图2A DCT滤波器216,它对DCT系数在频域中进行处理。用DCT域滤波取代DCT编码图形的空间域滤波有几个优点,例如MPEG或JPEG标准就期望这样做,最明显的是,DCT域滤波器在计算方面更为有效,并且所需的硬件比对空间像素采样值进行空间域滤波所需的要少。例如,一个有N个分支的空间滤波器可能对每个空间像素采样值要用到多达N个额外的乘法器和加法器。与之相比,DCT域滤波器只要一个额外的乘法器。
以往技术中最简单的DCT域滤波器是截断高频DCT系数。然而,高频DCT系数的截断不能得到平滑的滤波,并且还出现在靠近解码图形的边缘处发生“振铃”现象的缺点。本发明示范性实施例的DCT域低通滤波器是从空间域中的块镜像滤波器衍生出来的。块镜像滤波器的滤波系数值例如通过空间域中的数值分析实现优化,然后再把这些值转换成DCT域滤波器的滤波系数。
虽然该示范性实施例示出了仅在水平方向上的DCT域滤波,但通过组合水平和垂直滤波器,可以在水平或垂直中的任一方向上或者同时在两个方向上进行DCT域滤波。
4)DCT域滤波系数的推导
本发明的一个示范性滤波器是从两个限制条件下导出的:第一,该滤波器对图像每个块的图像数据处理是逐块地进行的,其中不需要用到关于图形前面各块的信息;第二,该滤波器能减小在处理边界像素值时出现的块边界的明显性。
根据第一个限制,例如在对一个MPEG图像系列进行基于DCT的压缩时,N×N个DCT系数将产生N×N个空间像素值。结果,本发明的该示范性实施例实现了一种仅仅对接收图形的一个当前块进行处理的DCT域滤波器。
根据第二个限制,如果简单地对一个块的空间频率系数进行滤波,则由于在边界外部没有足够数目的空间像素值来充填滤波器的剩余部分,在块的边界处滤波操作将发生突变。也就是说,由于有N分支的滤波器只对N/2个分支的值有值,而其余的值在块边界的外部,所以块边缘处的系数值不能被正确地滤波。存在有几种方法来给出缺少的像素值:1)在边界外面重复一个预定的恒定像素值;2)重复边界处的像素值;以及3)用被处理块的像素值的镜像来模拟邻接该块的前一块和后一块的像素值。在没有关于前后块内容的先验信息的情况下,认为重复像素的镜像方法是一种较好的方法。因此,本发明的一个实施例采用这种镜像方法进行滤波,称之为“块镜像滤波。”
下面说明实现水平块镜像滤波器的一个示范性实施例,该滤波器对一个块的8个输入空间像素采样值进行低通滤波。如果输入块的大小为像素采样值的8×8块矩阵,则可以通过对每个有8个像素采样值的行进行块镜像滤波来完成水平滤波。对于熟悉本技术领域的人们很明显,可以通过逐列地把滤波系数作用到块矩阵上来实现滤波处理,或者通过先对块矩阵的各个行滤波然后对各个列滤波来完成多维滤波。
图4示出输入像素值x0至x7(群X0)与一个示范性8输入像素镜像滤波器的滤波器发支之间的对应关系,该镜像滤波器采用了由分支值h0至h14代表的15个分支空间滤波器。群X0的输入像素被镜像成左侧的群X1和右侧的群X2。滤波器的输出像素值是各滤波器分支系数值与相应像素采样值的15个乘积的和。图4分别示出了第一和第二输出像素值的15个相乘对。
下面证明空间域的块镜像滤波与DCT域滤波是等价的。镜像滤波涉及到与2N个点(N=8)的循环卷积。
按等式(4)定义矢量X’:
x’(n)=x(n)+x(2N-1-n);0≤n≤2N-1         (4)
当n=8时,
x’=(x0,x1,x2,x3,x4,x5,x6,x7,x7,x6,x5,x4,x3,x2,x1,x0)
重新排列滤波器分支值h0至h14,并用h’代表重新排列后的值:
h’=(h7,h8,h9,h10,h11,h12,h13,h14,0,h0,h1,h2,h3,h4,h5,h6)
因此镜像滤滤输出y(n)是x’(n)和h’(n)的循环卷积,如等式(5)所示:
y(n)=’(n)h’(n)        (5)
该式与等式(6)等价:
y ( n ) = Σ k = 0 2 N - 1 x ′ [ n - k ] · h ′ ( n ) - - - - - - - ( 6 )
其中x’[n=k]是x’(n)的循环模量值,且
x’[n]=x’(n)   当n≥0
x’[n]=x’(n+2N)当n<0
等式(5)所示的空间域循环卷积对应于离散傅里叶变换(DFT)域中的标量积。定义y(n)的DFT为Y(k),则等式(5)变成DFT域中的等式(7):
Y(k)=X’(k)·H’(k)       (7)
其中X’(k)和H’(k)分别是x’(n)和h’(n)的DFT。
等式(4)至(7)对分支数小于2N的滤波器成立。此外,该滤波器被限定为一个有奇数个分支的对滤波器,在这些限制下H’(k)是一个实数。因此,为了实现滤波操作,可以用在频域中以一个实数H’(k)来加权x’(n)的DFT即X’(k),以取代在空间域中的2N个乘法和2N个加法操作。X’(k)的值与原始的N个点x(n)的DCT系数是十分密切相关的,这是因为x(n)的N点DCT是从x’(n)的2N点DFT得到的,其中x’(n)是由x(n)及其镜像x(2N-1-n)组成的联合序列。
下面对一个具有奇数(2N-1)个分支的对称空间滤波器推导其DFT系数H’(k),该滤波器的对称性表现为h(n)=h(2N-2-n),或者等价地,h’(n)=h’(2N-n)和h’(N)=0。按等式(8)定义H’(k):
H ′ ( k ) = Σ n = 0 2 N - 1 h ′ ( n ) · W 2 N kn = h ′ ( 0 ) + 2 Σ n = 1 N - 1 h ′ ( n ) · cos πkn N - - - - - - - - ( 8 )
其中W2N kn=exp{-2πkn/(2N)};H’(k)=H’(2N-k).
本发明人已确定,x’(n)的2N点DFT可以由等式(9)所示的x’(n)的DCT系数表示:
X ′ ( k ) = Σ n = 0 2 N - 1 x ′ ( n ) · W 2 N kn = W 2 N - k / 2 · Σ n = 1 N - 1 2 x ( n ) · cos πk ( 2 n + 1 ) 2 N - - - - - ( 9 )
而x(n)的DCT系数C(k)则由等式(10)给出:
C ( k ) = Σ n = 1 N - 1 2 x ( n ) · cos πk ( 2 n + 1 ) 2 N = W 2 N k / 2 · X ′ ( k ) for 0 ≤ k ≤ N - 1 - - - - - ( 10 )
以及:C(k)=0其余k
x’(n)的DFT系数X’(k)的值可以用x’(n)的DCT系数C(k)表示,如阵列等式(11)所示:
X ′ ( k ) = W 2 N - k / 2 · C ( k ) for k ≤ N - 1 0 for k = N - W 2 N - k / 2 · C ( 2 N - k ) for N + 1 ≤ k ≤ 2 N - 1 - - - - - - ( 11 )
原始的空间像素采样值x(n)还可以由等式(12)所示的IDCT(逆离散余弦变换)得到:
x ( n ) = 1 N Σ k = 0 N - 1 α ( k ) · C ( k ) · cos πk ( n + 1 / 2 ) N - - - - - - - - - ( 12 )
其中当k=0时α(k)=1/2,当k为其他值时α(k)=1。
对于0≤n≤N-1的y(n)值,可由X’(k)H’(k)的IDFT(逆傅里叶变换)得到,如等式(13)所示:
y ( n ) = 1 2 N { Σ k = 0 2 N - 1 X ′ ( k ) · H ′ ( k ) · W 2 N - kn }
= 1 2 N { Σ k = 0 N - 1 C ( k ) · H ′ ( k ) · W 2 N - k ( n + 1 / 2 ) + Σ k = N + 1 2 N - 1 - C ( 2 N - k ) · H ′ ( 2 N - k ) · W 2 N - k ( n + 1 / 2 ) }
= 1 N Σ k = 0 N - 1 α ( k ) · { C ( k ) · H ′ ( k ) } · cos πk ( n + 1 / 2 ) N - - - - - - - ( 13 )
等式(13)的y(n)值是C(k)H’(k)的IDCT空间值。因此,空间滤波可以由下述运算取代:先用H’(k)对代表图像块的输入频域系数进行DCT加权,然后对经加权的值进行IDCT以重建空间域中的滤波像素值。
本发明的示范性块镜像滤波的一个实施例是通过以下步骤进行的:1)选择一个一维低通对称滤波器,其分支数为奇数,小于2N;2)通过充填零值使滤波系数的数目增加为2N;3)重新排列各滤波系数,通过向左的循环移位使原来的中央系数移到第0号位置上;4)确定经重新排列的滤波系数的DFT系数;5)给DCT系数乘上滤波器的实数DFT系数;以及6)对经滤波的DCT系数进行逆离散余弦变换(IDCT)以提供用于选留的低通滤波像素块。
低通滤波器的截止频率取决于选留比率。在一个示范性实施例中,对于3∶1选留,截止频率为π/3,对于2∶1选留,截止频率为π/2,其中π对应于采样频率的一半。
因为在以往技术的解码器中已经有了逆量化器和对图像块的IDCT处理器,DCT域滤波器额外需要的仅仅是对DCT系数进行标量相乘,所以MPEG和JPEG解码器中的DCT域滤波器可以减少对存储量的要求。因此,在一个具体的实现中在物理上并不需要一个独立的DCT域滤波块乘法器;本发明的另一个实施例中只是简单地把DCT域滤波系数与IDCT处理系数结合起来,再用结合后的系数进行IDCT操作。
在本发明的示范性下转换系统中,考虑到了DCT系数的水平滤波和选留;下面是用于下述两种转换情况的两个示范性实现:
1、从1920H×1080V隔行扫描到640×1080隔行扫描的转换(水平3∶1选留),
2、从1280H×720V逐行扫描到640×720逐行扫描的转换(水平2∶1选留),。
表8示出了DCT块镜像滤波(加权)系数;表8中括号内的数字是10比特的2进制补数表示。表8中的“*”指明一个大于1的值,因而是一个超出了10比特2进制补数表示的界限的值;不过,如熟悉本技术领域的人们所知,可以容易地实现块的列系数与标有“*”的数值的相乘,其方法是把系数值加到乘以滤波值的分数值(剩余数)的系数值上。
                                     表8
3∶1选留 2∶1选留
H[0] 1.000000000000000(511) 1.000000000000000(511)
H[1] 0.986934590759779(505) 1.0169628157945179(*)
H[2] 0.790833583171840(405) 1.0000000000000000(511)
H[3] 0.334720213357461(171) 0.82247656390475166(421)
H[4] -0.0323463361027473(-17) 0.46728234862006007(239)
H[5] -0.0377450036954524(-19) 0.10634261847436199(54)
H[6] -0.0726889747390758(37) -0.052131780559049545(-27)
H[7] 0.00954287167337307(5) -0.003489737967467715(-2)
这些水平DCT滤波系数对编码视频图像的8×8 DCT系数块中的每个列进行加权。例如,第0列的DCT系数以H[0]加权,第一列的DCT系数以H[1]加权,如此等等。
上面说明了用一维DCT实现水平滤波器的情况。在数字信号处理技术领域,人们知道这种处理可以推广到二维系统。等式(12)示出了一维情况的IDCT,而等式(12’)则给出了更一般的二维IDCT:
f ( x , y ) = 2 N Σ u = 0 N - 1 Σ v = 0 N - 1 C ( u ) C ( v ) F ( u , v ) cos ( 2 x + 1 ) uπ 2 N cos ( 2 y + 1 ) vπ 2 N - - - - - - ( 12 , )
其中C(u),C(v)是
Figure C9880027700392
式中f(x,y)是空间域表示,x和y是采样域中的空间坐标,u和v是变换域中的坐标。由于系数C(u),C(v)是已知的,余弦项的值也是已知的,所以对该处理算法只需要提供变换域中的系数。
对于二维系统,输入系列将表示成一个阵列,每个阵列值代表变换域中各自的坐标,可以证明该阵列在系列的列方向上有一个周期为M的系列周期性,在系列的行方向上有一个周期为N的周期性,其中N和M都是整数。二维DCT可以这样来实现:对输入系列的各个列进行一维DCT,然后对经该DCT处理后的输入系列的各个行进行第二次一维DCT。在本技术领域中人们还知道,二维IDCT可以作为单个处理实现。
图5示出一个二维系统下转换滤波器的示范性实现,该二维系统以两个级连的一维IDCT来处理水平和垂直分量。如图5所示,可以用一个垂直处理器510和一个水平处理器520实现DCT滤波器掩模216和图2的IDCT218,处理器510含有一个垂直DCT滤波器530和一个垂直IDCT540,处理器520含有其结构与处理垂直分量的相同的一个水平DCT滤波器和一个水平IDCT。由于滤波处理和IDCT处理都是线性的,所以可以重新排列这两个处理的实施次序(例如,首先进行水平和垂直DCT滤波,然后进行水平和垂直IDCT,或者前后相反,或者使垂直处理器520在前,水平处理器510在后)。
在图5所示的特定实现中,垂直处理器510后面有一个块转置操作器550,后者对垂直处理器所提供的经垂直处理后的阵列值块的行与列进行互换。这个操作可以用来为水平处理器520的处理准备好阵列块,从而提高计算效率。
形式例如为8×8阵列的阵列块的编码视频块由垂直DCT滤波器530接收,后者用对应于所希望垂直选留的DCT滤波值,对阵列块的每个行进行加权。接着,垂直IDCT540对阵列块的各垂直分量进行IDCT。如前所述,由于这两个处理都只是简单地进行矩阵相乘和相加,所以可以使DCT LPF系数与垂直DCT系数相结合来进行矩阵相乘和相加操作。然后垂直处理器510把径垂直处理后的值提供给转置操作器550,后者向水平处理器520提供经垂直处理阵列的转置阵列。除非IDCT操作仅仅对行进行或仅仅对列进行,否则不需要转置操作器550。水平处理器520用对应于所希望水平滤波的DCT滤波值对阵列块的每个列进行加权,然后对阵列块的各水平分量进行IDCT。
如在讨论等式(12’)时所说明的,该处理算法仅仅需提供变换域中的系数;并且因操作是线性的,所以可以仅对这些系数进行数字运算。从等式(12’)可以容易地看出,IDCT的操作形成了一些乘积的和值。结果,其硬件实现要求各已知的系数存储在存储器,例如ROM(只读存储器,未示出)中,还要求有一组乘法和加法电路(未示出),以从ROM接收这些系数并从输入变换坐标接收一些选出的系数。对于较先进的系统,如果根据分布算法修改各数字运算的次序,把乘积求和实现转换成比特串实现,则可以采用ROM-累加器方法。这种技术例如在Stanley A.White的论文“Application ofDistributed Arithmetic to Digital Signal Processing:A Tutorial Review(分布式算法在数字信号处理中的应用:一个指导性综述)”(IEEEASSP杂志,1989年7月)中有所说明,其中利用了计算中的对称性来减少实现乘积和的总逻辑门数目。
在本发明的另一个实施例中,DCT滤波操作可以与逆DCT(IDCT)操作相结合。在这个实施例中,由于滤波操作和逆变换操作都是线性的,所以可以把滤波系数与IDCT系数相结合,形成修改的IDCT。如本技术领域所知,这种修改的IDCT,也即IDCT与DCT相结合的下转换滤波,可以用类似于简单IDCT操作的硬件来实现。
c)存储器子系统
1)比特流和图形数据的存储器访问和存储
如图1B所示,本发明的示范性实施例使用了一个带有用来控制向/从存储器130存储/读出信息的存储器子系统174的ATV视频解码器121。存储器子系统174向存储器130提供图形数据和比特流数据以进行视频解码操作,在该优选实施例中,为了正确地解码MPEG-2编码视频数据,至少要用到2个图形或2个帧。为了能支持屏幕显示(OSD),存储器130中可以任选地含有一个OSD部分。存储器子系统174与存储器130之间的接口可以是一个能提供一个500Mbps(每秒兆比特)频道的并行RDRAM接口,可以用3个RAMBUS(RAM总线)通道来支持必要的带宽。本发明的一个实施例含有:图形处理器171、宏块解码器172和一个与外部存储器130相耦合的存储器子系统174,该实施例可以采用授于Philiips等人的标题为“MPEG VIDEO DECODER HAVING A HIGH BANDWIDTHMEMORY(含有高带宽存储器的MPEG视频解码器)”的美国专利No.5,623,311中所说明的系统,该专利在此引用作为参考。图2是这种视频解码器系统的高层次方框图,该解码器含有本发明一个示范性实施例在解码 MP@ML MPEG-2图形时所使用的高带宽存储器。
总之,如在讨论图1A和1B时所说明的,美国专利No.5,623,311说明了一种含有单个存储器端口的单个高带宽存储器。存储器130中保持有输入比特流,用于运动补偿处理的第一和第二参考帧,以及代表当前被解码的场的图像数据。该解码器包含:1)存储和提取比特流数据的电路(图形处理器171),2)为具有数据块格式的当前解码场提取参考帧数据和存储图像数据的电路(宏块解码器172),以及3)为转换成光栅扫描格式而提取图像数据的电路(显示部分173)。存储器操作是根据用来控制操作的称之为“宏块时间(MblkT)的确定存储器访问时间周期,利用单个共同的存储器端口进行时分复用的,一个数字锁相环(DPLL)122对按MPEG-2标准定义的一个27MHz系统时钟信号进行计数,以产生一个计数值。该计数值被与一组外部提供的系统时钟参考(SCR)值进行比较,以产生用来调整DPLL所产生信号的频率的相位差信号。
表9概括了为使DC构形能支持多种格式所要求的图形存储容量。
                                     表9
格式 像素数(H) 宏块数(H) 像素数(V) 宏块数(V) 每图形比特数 存储量(3个图形)
1920×1088DC  640  40  1088  68  8355840  25067520
1280×720DC  640  40  720  45  5529600  16588800
704×480  704  44  480  30  4055040  12165120
640×480  640  40  480  30  3686400  12165120
*H:水平,V:垂直
对于DC模式,1920×1080图形在水平方向上被减小为1/3,得到640×1080图形;1280×720图形在水平方向上被减小为1/2,得到640×720图形。在DC模式中704×480和640×480图形不需要减小。
要能在存储器130中存储多种DC图形还要求能根据相应的图形显示时标来支持各个解码操作。例如,逐行扫描图形的显示速率为隔行扫描图形的两倍(60Hz或59.94Hz的逐行扫描帧对30Hz或29.97Hz的隔行扫描帧),结果逐行扫描图形的解码要快于隔行扫描图形的解码(逐行情况的每秒60或59.94帧对隔行情况的每秒30或29.97帧)。所以,解码速率受到格式的显示速率的限制,如果采用较慢的每秒59.97或29.97帧的解码速率而不是每秒60或30帧的速率,则在转换时每1001帧可能要丢失1帧。为了方便,对某一格式的解码操作用“宏块时间(MblkT)”为单位来度量,其定义是完成对一个宏块的全部解码操作所需的时间长度(每宏块解码的时钟周期数)。用这个时间长度为单位时,控制信号和存储器访问操作可以在有规则在出现的MblkT时期内确定,如等式(14)所示。
MblkT(时钟周期/宏块)=系统时钟频率(时钟周期/秒)/帧率(帧/秒)/图形大小(宏块/帧)                         (14)
此外,对于隔行扫描图形,图形解码时可以不用消隐间隔,但要给时间长度加上一个8行的边界区,以供隔行扫描时的8行同时解码和逐行扫描时的16行同时解码使用。因此,可以给MblkT加上一个调整因子(Adj Fact),如等式(15)和(16)所示:
AdjFact(隔行)=(总行数-垂直消隐行数-8)/总行数    (15)
AdjFact(逐行)=(总行数-16)/总行数                (16)
表10列出了各种可支持格式的MblkT:
                             表10
格式 每帧Mblk数 帧时间(ms) MblkT(时钟数) 调整因子 有效解码MblkT
1920×1080  8160  33.33  255.3  0.9729  248.4
1280×720  3600  16.67  289.4  0.9787  283.2
704×480P  1320  16.67  789.1  0.9695  765.1
704×480I  1320  33.33  1578  0.9419  1486.6
640×480P  1200  16.67  868  0.9695  841.6
640×480I  1200  33.33  1736  0.9419  1635.3
*Mblk:宏块
在本发明的一个示范性实施例中,对所有的格式都采用了含241个时钟的MblkT来满足包含一个小边界区的最快解码时间要求。对于这样选取的MblkT时间,较慢格式的解码将含有一些不发生解码活动的周期;因此可以使用一个计数器来反映带有间隔的行解码率,产生该间隔的目的是在一些选定的MblkT时段(interval)内停止解码。
参见图1B,存储器子系统174可以含有与宏块解码器172和显示部分173之间的内部图形数据接口,一个解码宏块接口接受已解码宏块数据并根据为给定格式定义的存储器地图把该数据存储在存储器130的正确存储器地址位置处。存储器地址可以从宏块号和图形号导出。各个宏块可以作为三个通道上的一个宏块行接收,每个通道对应一个系统时钟频率下的16Mb存储器装置(图1A中的131-136)。
每个存储器装置都可以对每个图形有两个分区,每个分区分别使用一个高位地址和一个低位地址。对于隔行扫描图形,一个分区存储场0的数据,另一分区存储场1的数据,对于逐行扫描图形,高、低分区被当作一个分区,存储整个帧的数据。除了3∶2向下模式之外,对每个图形的每个宏块都进行解码和存储,在3∶2向下模式中解码要暂停整个一场的时间长度。在3∶2向下模式中,通过把一个帧显示2次而把下一帧显示3次来使一个帧率为每秒24帧的信号以每秒60帧(或场)的帧率显示。
一个参考宏块接口把存储的、前面解码的图形数据提供给宏块解码器172以供运动补偿使用。对应于双向预测(B)编码、单向预测(P)编码、或内部(I)编码,该接口可以提供2个、1个或0个宏块。每个参考块都用2个通道提供,每一通道含半个宏块。对于采用选留比率2的DC模式,每个提取到的半宏块大小为14×9(Y)、10×5(CR)和10×5(CB),供上采样和半像素分辨率使用。
一个显示接口把Y、CR和CB像素数据多重复用在单个通道上,为显示部分173提取像素数据。可以提供2个显示通道来支持隔行扫描和逐行扫描之间的互相格式转换。在DC模式中,第一通道可同时提供多达4行的隔行或逐行数据,第二通道可提供多达4行的隔行数据。
在下转换中,多于一个的下采样宏块被融合成单个宏块以供存储。下面将参考图6A和6B说明DC模式的下采样处理。图6C示出在比率为2的水平方向下转换中把两个宏块融合成一个宏块以存储到存储器130中的处理。图6D示出在比率为3的水平下转换中把3个宏块融合成一个宏块以存储到存储器130中的处理。
d)下采样和显示部分的显示转换
1)低分辨率格式的下采样
下采样由图2B的下采样处理器232完成,以减小被下转换图像中的像素数。图6A示出对于3∶1选留的4∶2∶0信号格式的输入像素和选留后的输出像素。图6B示出对于2∶1选留的4∶2∶0色度信号的输入像素和选留后的输出像素。表11给出图6A和6B中的亮度和色度信号的符号含义。图6A和6B的下转换之前和之后的像素位置分别对应于隔行扫描(3∶1选留)和逐行扫描(2∶1选留)情况。
        表11
    符号     像素
    +     选留前的亮度
    ×     选留前的色度
    ·     选留后的亮度
    △     选留后的色度
对于隔行扫描图像的下采样,例如把1920×1080像素的图像转换成640×1080像素的水平压缩图像,在水平轴上每3个像素要除去2个像素。对于示范性的3∶1选留,存在有3种不同的下转换处理后的宏块类型。在图6A中,原始宏块用MB0、MB1、MB2表示。MB0中的下采样亮度像素从原始宏块的第一个像素开始,但MB1和MB2中的下采样像素分别从第三个和第二个像素开始。每个宏块中的下采样像素数目也是不同的。在MB0中,水平方向上有6个下采样像素,但在MB1和MB2中只有5个下采样像素。这三种宏块类型都是重复排列的,所以要应用模量为3的算法。表12分别对输入宏块MB0、MB1、MB2给出了下采样像素数和偏移量。
                    表12
MB0  MB1  MB2
下采样亮度像素数 6  5  5
下采样色度像素数 3  3  2
第一个下采样亮度像素的偏移量 0  2  1
第一个下采样色度像素的偏移量 0  1  2
对于逐行扫描格式图像的下采样,亮度信号在水平方向上每隔一个采样点进行一次亚采样。对于色度信号,被下采样像素的空间位置是在原始图像中的像素位置下面的半个像素处。
2)显示转换
图1B的ATV解码器121的显示部分173用来把存储的图形信息(解码图形信息)格式化成某种特定的显示格式。图11A是说明本发明一个示范性实施例的ATV视频解码器121的显示部分的高层次方框图。
参见图11A,该显示部分可支持两个输出视频信号:第一输出信号VIDout1支持任何选定的视频格式,第二输出信号VIDout2仅支持525I(CCIR-601)格式。两个输出信号分别被分开的显示处理单元组1101和1102处理,后两者进行水平和垂直的上采样/下采样。当显示宽高比与输入图形的宽高比不匹配时这一构形可能是有利的。可以任选地包含一个屏幕显示(OSD)部分1104,以给被支持的输出信号VIDout1和VIDout2中的一个提供屏幕显示信息,形成显示信号Vout1或Vout2。除了在输出控制器1126和1128处对输出信号Vout1或Vout2的控制是按像素时钟频率进行的之外,所有的处理都是按内部时钟频率进行的,对于本优选实施例,像素时钟频率可以等于亮度像素率或等于亮度像素率的两倍。
由于显示处理单元组1101和1102的操作相似,所以仅说明显示处理组1101的操作。在显示处理组1101中,以光栅扫描次序从存储器130(示于图1A)向垂直处理模块282(示于图2B)提供4行像素数据。各行每次32比特地提供CR、Y、CB、Y数据。然后垂直处理模块282把4行滤波成一行,并把滤波后的32比特CRYCBY格式数据提供给水平处理模块284(也示于图2B)。水平处理模块284把对应于所选光栅格式的像素数目作为格式化像素数据提供。所以,进入水平处理模块284的滤波数据率不一定等于输出数据率。在上采样情况中,输入数据率将低于输出数据率。在下采样情况中,输入数据率将高于输出数据率。格式化像素数据可以带有由任选的背景处理模块1110所插入的背景信息。
正如熟悉本技术领域的人们所知,显示部分173的部件由一个控制器1150控制,该控制器是由从/向一个微处理器接口读出/写入的参数设定的。该控制器产生信号CNTRL,为了协调和实现正确的电路操作、安装和传送像素、以及信号处理,这种控制是必要的。
来自水平处理模块284的数据、来自第二水平处理模块284a的数据,以及位于HD(高分辨率)旁路线1122上的未经处理的HI视频数据都被提供给转接器1118,后者在处理器的控制(未示出)之下,选出一个视频数据流提供给混合器1116,以把该视频数据流和来自OSD处理器1104的任选的OSD数据结合成混合输出视频数据。然后该混合视频输出数据被提供给转接器MUX1120和1124。
对于第一组处理单元1101,MUX1120可以从混合输出视频数据、HD旁路线1122上的HD数据,和来自背景插入模块1110的数据中选择一种数据。选出的数据被提供给输出控制处理器1126,后者还接收像素时钟。然后输出控制处理器1126根据所希望的模式把数据的时钟频率从内部处理时的频率改变为像素时钟频率。
对于第二组处理单元1102,MUX1124可以选择混合输出视频数据或来自背景插入模块1110a的数据。选出的数据被提供给输出控制处理器1128,后者还接收像素时钟。然后输出控制处理器1128根据所希望的输出模式把数据的时钟频率从内部处理时的频率改变为像素时钟频率。转接器MUX1132或者提供接收到的由MUX1124选出的数据(601数据输出(符合601规定的数据输出)),或者提供来自OSD处理器1104的任选的OSD数据。
光栅发生和控制处理器1130也接收像素时钟,并含有一些产生扫描光栅空间的计数器(未示出),以使得能向显示控制处理器1140逐行地发送控制命令。显示控制处理器1140协调与外部存储器130的时标关系,并起动两个处理链1101和1102的与光栅线同步的逐行处理。处理器1130还产生水平、垂直和场同步信号H、V和F。
图11B至11D把由视频解码器121的图11A所示的显示部分173所提供的输出模式与图1A的工作模块联系起来。图11B示出一种27MHz的双输出模式,其中的视频数据是525P或525I,第一处理器1101(示于图11A)向27MHz的DAC143提供525P视频数据,向NTSC编码器152提供525I数据(601数据输出)。图11C说明在27MHz的单输出模式中,只是向NTSC编码器152提供525I数据(601数据输出)。图11D示出一种74MHz/27MHz模式,其中输出模式匹配于输入格式,并且根据输出格式向27MHz的DAC(数模转换器)143或74MHz的DAC141提供视频数据。74MHz DAC用于1920×1088和1280×720图形;27MHz DAC用于所有其他的输出格式。
下采样图像帧的显示转换用来以特定的格式显示图像。如前面所指出的,图2B中的显示转换模块280含有用来把下转换和下采样的图像显示在较低分辨率屏幕上的垂直处理模块(VPF)282和水平处理模块(HZPF)284。
对于本示范性实施例,VPF282是一个以可编程多阶段垂直滤波器形式实现的垂直行插值处理器;HZPF284是一个以可编程多阶段水平滤波器形式实现的水平行插值处理器。这两个滤波器都是可编程的,这是为了要适应许多显示格式的显示转换而作出的设计选择。
如图2B所示,有4行下采样像素数据按扫描栅线次序进入VPF282。在本示范性实施例中,这些数据包括以每次32比特地进入VPF282的亮度(Y)像素和色度(CR和CB)像素对。VPF282把这4行数据滤波成为一行,并把该行数据以32比特值的形式传送给HZPF284,其中每个32比特值都含有YCRYCB格式的亮度和色度数据,然后HZPF284产生匹配于所希望光栅格式的像素数。
图7A是说明一个适合用作本发明一个实施例的VPF282的示范性滤波器的高层次方框图。下面将说明该VPF282如何处理输入像素对(每一像素对含有2个亮度像素Y和一个色度像素CR或CB)来产生一对输出像素。由于颜色像素可以容易地与它们相应的亮度像素联系起来,所以这能够实现4∶2∶0格式的处理。不过熟悉本技术领域的人们会理解到,只有亮度像素或色度像素可以这样处理。此外,所说明的VPF282将产生逐行扫描格式中的行。在另一个实施例中使用了双输出并可同时支持一个主输出通道和一个辅助输出通道,在该实施例中可能要添加第二个VPF282。
参见图7A,VPF282含有:一个VPF控制器702;包括亮度像素转接器(LP MUX)706、708、710和712和色度像素转接器(CPMUX)714、716、718和720的第一转接网络;包括亮度滤波器转接器(LF MUX)726、728、730和732和色度滤波器转接器(CF MUX)734、736、738和740的第二转接网络;亮度系数RAM704;色度系数RAM724;亮度系数乘法器742、744、746和748;亮度系数乘法器750、752、754和756;亮度加法器760、762和764;色度加法器766、768和770;取整和分割处理器772和776;解复用/寄存器774和778;以及输出寄存器780,
现在说明VPF282的操作。用2个4分支多阶段滤波器完成垂直重新采样,其中一个滤波器用于亮度像素,另一个用于色度像素。由于对色度像素的操作类似于对亮度像素的操作,所以下面仅详细说明亮度像素滤波器的操作,但当两者有差异时将在说明过程中随时指出。对于本示范性实施例,亮度像素的垂直滤波可能最多会用到4分支多阶段滤波器的8个阶段,色度像素的滤波可能最多会用到16个阶段。在一个场或帧的开始处VPF控制器702使垂直多阶段滤波器复原,给第一和第二转接网络提供控制时标,从亮度系数RAM704和色度系数RAM724中为多阶段滤波器的各个阶段选出系数组,并含有一个计数器用来对被处理的场或帧的每一行进行计数。
VPF控制器702除了要协调转接器网络与多阶段滤波器的操作之外,还通过跟踪被解码图形中的垂直位置的整数部分和分数部分来跟踪显示行。整数部分指明应该访问哪些行,分数部分指明应该用哪个滤波器阶段。此外,在计算分数部分时采用模量N算法使得可以使用少于16个的阶段,这个阶段数对于例如为9到5的精确下采样比率可能是足够多的。分数部分总是被截断成所使用的模量N个阶段中的一个。
如图7A所示,来自4个图像行的亮度和色度像素对被分开到一个色度路径和一个亮度路径中。亮度路径中的16比特像素对数据可被LP MUX 706、708、710和712进一步组成一个8比特偶(Y-偶)和8比特奇(Y-奇)的格式,而色度路径中的16比特像素对被CP MUX 714、716、718和720组成一个8比特CR和8·比特CB的格式。亮度滤波器转接器706、708、710和712用来在被解码图像的边界处重复最高行和最低行的像素值,其目的是使在多阶段滤波器操作时有滤波像素边界重叠。
然后对应于亮度像素信息和色度像素信息的4个行的各像素对被传送给各自的多阶段滤波器。乘法器742、744、746和748在某个滤波阶段用来对像素值加权的系数是VPF控制器702根据一个经编程的向上或向下采样比率来选定的。当加法器760、762和764把加权的亮度像素信息相结合之后,得到的值被提供给取整和分割处理器772,后者给出两个8比特的值(由于系数相乘有较高的精度)。DE MUX(解复用)寄存器774接收对应于经插值的8比特偶(Y-偶)亮度值的第一8比特值和对应于经插值的8比特奇(Y-奇)值的第二8比特值,并提供一个16比特的垂直滤波亮度像素对。寄存器780接收和结合亮度和色度路径上的垂直滤波像素,并把它们作为经垂直滤波的代表一个亮度、色度像素对的32比特值输出。
图7B示出各系数与各行的像素采样空间之间的空间关系。亮度和色度多阶段滤波器路径上的系数各有分配给每个系数组的40个比特,而且对每个阶段都有一个系数组。这些系数是分母为512的分数。每个系数被从左至右地放置在一个40比特的字中(C0至C3)。C0和C3是带正负号的10比特的2进制补数值,C1和C2是例如从-256至767的给定范围内的10比特值,随后它们都被转换成11比特的2进制补数值。
图7A含有一个任选的亮度系数调整器782和一个色度系数调整器784。系数调整器782和784用来为C1和C2导出11比特的2进制补数值。如果第8和第9比特(最高位比特)都为1,则该11比特的数的正负号为1(负),否则该数值是正的。
图8A是适合于本发明一个实施例作为HZPF284使用的一个示范性滤波器的高层次方框图。HZPR284从VPD282接收亮度和色度像素信息对,这可以是一个32比特的数据。HZPF284含有:一个HZPF控制器802;CR锁存器804;CB锁存器806;Y锁存器808;一些选择转接器810;水平滤波系数RAM812;乘法网络814;加法网络816;取整和分割处理器818;解复用寄存器820;和输出寄存器822。
水平重新采样用一个8分支、8阶段的多阶段滤波器完成。显示像素的产生由HZPF控制器802通过跟踪被解码图形和下采样图形中水平位置的整数部分和分数部分进行协调。整数部分指明应访问哪些像素,分数部分指明应采用哪个滤波器阶段。计算分数部分时利用模量N算法可以使用少于8个的滤波器阶段。例如,如果使用精确的9至5下采样比率则这将是有用的。如果下采样比率不能表示成一个简单的分数,则分数部分要被截断成N个阶段中的一个。本发明示范性实施例的HZPF284对各像素对进行滤波,并通过对齐于偶像素边界来实现对4∶2∶0格式图形的处理和把CR和CB像素(颜色像素)与相应的Y像素保持在一起。
现在参考图8A来说明HZPF284的操作。在一个水平行开始处HZPF控制器802使水平多阶段滤波器复原,给第一和第二转接网络提供控制时标,对多阶段滤波器的各个阶段为CR、CB和Y滤波系数从水平系数RAM812中选取系数组,并且选择每一组CR、CB和Y值进行处理。此外,当水平位置接近一个行的左端或右端时,HZPF控制器802将强迫边缘像素值重复或置零,以供8分支多阶段滤波器使用。由这种简化处理所造成的任何图像失真通常会被隐藏在显示图像的过扫描部分中。
从VPF282接收到的像素数据被分离成Y、CR、CB值,分别锁存到各CR锁存器804、CB锁存器806和Y锁存器808中以进行滤波。然后HZPF控制器802把一个适当的信号发送给各个选择MUX810选出Y、CR和CB值。在本示范性实施例中,Y值的数目多于CR或CB值的数目,所以滤波器要使用较多的Y亮度锁存器808。同时,HZPF控制器802通过根据编程的上采样或下采样值给滤波系数RAM812发送一个控制信号,为滤波器某一阶段的CR或CB或Y值选择适当的滤波系数。
然后水平滤波系RAM812向乘法网络814的各个单元输出系数以与输入像素值相乘,产生加权像素值,接着,各加权像素值在加法网络816中结合,产生经水平滤波的CR、CB或Y值。
在加法网络816中结合了各加权像素值之后,水平滤波像素值被提供给取整和分割处理器,后者给出几个8比特的值(由于系数乘法以较高的精度进行)。解复用寄存器820接收一系列的值:一个对应于CR值的8比特值、一个8比特的偶Y(Y-偶)值、一个8比特的CB值,以及一个对应于8比特奇Y(Y-奇)值的8比特值;然后解复用寄存器820把这些值结合成一个具有32比特的水平滤波亮度、色度像素对值(Y偶、CR、Y奇、CB),寄存器存储该像素对并把它作为垂直和水平滤波的32比特亮度、色度像素对输出。
图8B示出存储于水平滤波系数RAM812中并使用于多阶段滤波器的系数与下采样图像一个水平行的像素采样值之间的空间关系。本示范性实施例的系数被自左至右地放置在一个64比特的字中,C0至C7。系数C0、C1、C6和C7是带正负号的7比特的2进制补数值,C2和C5是带正负号的8比特的2进制补数值,C3和C4是代表-256至767范围的带正负号的10比特的2进制补数值。C3和C4被调整后得到11比特的2进制补数值。如果第8比特和第9比特(最高比特位)都为1,则该11比特值的符号位为1(负),否则符号值为0(正)。所有的系数都可表示成分母为512的分数。
表13列出了本发明示范性实施例用来执行指定格式转换的VPF282和HZPF284的系数。
                    表13
       进行750P至525AK这750P至525I转换的
         4分支2阶段亮度垂直滤波器的系数
    分支0     分支1     分支2     分支3
    阶段0     103     306     103     0
    阶段1     10     246     246     10
         进行750P至525P或750P至525I转换的
          4分支4阶段色度垂直滤波器的系数
    分支0     分支1     分支2     分支3
    阶段0     25     462     25     0
    阶段1     -33     424     145     -24
    阶段2     -40     296     296     -40
    阶段3     -24     145     424     -33
            进行750P至525I转换的4分支
            2阶段亮度垂直滤波器的系数
    分支0     分支1     分支2     分支3
    阶段0     145     222     145     0
    阶段1     84     172     172     84
                进行750P至525I转换的4分支
                4阶段色度垂直滤波器的系数
    分支0     分支1     分支2     分支3
    阶段0     57     398     57     0
    阶段1     -6     382     166     -30
    阶段2     -29     285     285     -29
    阶段3     -30     166     382     -6
           进行1125I至525P转换的4分支
            8阶段亮度垂直滤波器的系数
    分支0     分支1     分支2     分支3
    阶段0     20     472     20     0
    阶段1     -20     425     70     37
    阶段2     -52     472     161     -69
    阶段3     -62     397     238     -61
    阶段4     -63     319     319     -63
    阶段5     -61     238     397     -62
    阶段6     -69     161     472     -52
    阶段7     37     70     425     -20
               进行1125I至525P转换的4分支
               16阶段色度垂直滤波器的系数
    分支0     分支1     分支2     分支3
    阶段0     29     454     29     0
    阶段1     13     455     49     -5
    阶段2     0     445     73     -6
    阶段3     -9     428     101     -8
    阶段4     -15     404     132     -9
    阶段5     -18     376     165     -11
    阶段6     -20     345     201     -14
    阶段7     -19     310     237     -16
    阶段8     -18     274     274     -18
    阶段9     -16     237     310     -19
    阶段10     -14     201     345     -20
    阶段11     -11     165     376     -18
    阶段12     -9     132     404     -15
    阶段13     -8     101     428     -9
    阶段14     -6     73     445     0
    阶段15     -5     49     455     13
在显示转换系统的示范性实施例中,水平转换部分地由图2B所示的DCT域滤波器216和下采样处理器232执行。不论转换是从1125I还是从750P出发,它们给出的水平像素数是相同的(640个)。于是,HZPF284对这些信号进行上采样以提供每行720个有效像素,而让525P或525I信号无变化地通过,与前面在表1和2中给出的每行有720个有效像素的信号一样,水平滤波器的系数值对于转换到480P/480I/525P/525I的情况并无改变。这些水平滤波系数在表14中给出。
                                 表14
                           水平滤波器的系数
分支0 分支1 分支2 分支3 分支4 分支5 分支6 分支7
阶段0 -8  13 -17  536  -17 13  -8  0
阶段1 -13  28 -62  503  48 -9  0 17
阶段2 -14  37 -90  477  134 -37  10 -5
阶段3 -13  38 -96  406  226 -64  22 -7
阶段4 -10  31 -85  320  320 -85  31 -10
阶段5 -7  22 -64  226  406 -96  38 -13
阶段6 -5  10 -37  134  -477 -90  37 -14
阶段7 17  0 -9  48  503 -62  28 -13
此外,HZPF284的可编程性能使得可适应非线性水平扫描。图9A,示出一种可被本发明采用的重新采样比率变化形状。如图所示,HZPF284的重新采样比率可以在一个水平扫描行上变化,并可以分段线性的方式变化。在图9的示范性构形中,在扫描行开始处重新采样比率线性地增大(或减小),直到扫描行上的某个第一点后重新采样比率保持不变,再到某个第二点后重新采样比率又线性地减小(或增大)。参见图9A,“水平始端重新采样比率”是一个图形的初始重新采样比率,“水平重新采样比率变化”是重新采样比率的第一个每像素改变量,“一水平重新采样比率变化”是重新采样比率的第二个每像素改变量,“水平重新采样比率保持列”和“水平重新采样反转列”是两个显示列上的像素点,在这两列像素点之间重新采样比率保持不变。“显示宽度”值是一个图形行的最后像素(最后列)的像素号。
图9B和9C示出用来把4∶3图形映射成16∶9显示的重新采样比率变化形状。该比率是用输入值数对输出值数确定的,因此4/3是按4比3下采样,1/3是按1比3上采样。图9B和9C所示的比率变化将把一个含720个有效像素的输入图形图像映射成一个含720个有效像素的显示。例如在图9B中,把一个4∶3宽高比的显示映射成一个16×9宽高比的显示,它使用了4/3的下采样,但为了充填所有的显示采样点,又需要在整个水平行上有1/1的平均比率。所以,图9B的曲线在显示像素号为240至480的中央部分有正确的宽高比,但在两侧的值要经过上采样以充填显示图像。图9D和9E示出用来把16×9的显示图像重构成4∶3的显示的比率变化形状,它们与图9B和9C所示的形状相反。
利用根据本发明一个示范性实施例的重新采样比率变化的效果可以在图10中形象地看出。一个具有16×9或4×3宽高比的视频发射格式可以显示成为16×9或4×3图形,但原始的视频图形可以被调整得适配在显示区域内。所以原始的视频图形可以以完整的,变焦的,压缩的,或可变放大/缩小的形式显示。
该系统使得在接收视频信号与显示装置的宽高比不兼容时用户可以在这两个宽高比之间选择一种所喜爱的转换关系。如前所述,控制处理器207(示于图2A)从分析器209接收所接收图像的宽高比。控制处理器207还判断连接在该系统上以接收其输出信号的显示装置(未示出)的宽高比。例如,如果显示装置连接在S视频输出153或组合视频输出154(均示于图1A)上,则该显示装置的宽高比必需是4×3。然而,如果显示装置连接在主视频输出端口146上,则其宽高比可以是4×3,也可以是16×9。
在本发明的示范性实施例中,作为起动处理的一部分是由用户指定显示装置的宽高比,这可以通过激励遥控红外接收器208(示于图2A)来实现。这个起动处理可以仅当该视频解码器系统含有一个主输出端口并且它探测到有一个显示装置已被连接到该主输出端口上时才进行。起动处理可以用几种方法来判断显示装置的格式(即宽高比和最大视频分辨率)。首先,该处理可以向用户显示一个关于各种可能的显示装置的菜单,这些显示装置例如由制造厂名称和型号为代表。然后用户可以用遥控装置来从中选出一种显示装置。该解码器系统可以设计成含有一个调制解调器,用来周期性地与一个中央位置联系以接收更新的显示器类型清单和其他关于控制器207编程的更新信息。或者,这类信息可以被编码在接收到的ATSC视频信号的用户数据中,并且解码器可被编程得能够访问该信息以更新其内部编程。
或者,为了判断显示装置的宽高比,可以向用户显示一个菜单,其上示出一个4×3的长方形和一个16×9的长方形,并请求用户指出其中哪一个长方形更像他们的显示装置。还有一种可选的方案是,要求用户对两份选择菜单进行选择,其中一份菜单列出了各种可能的视频显示分辨率,另一份则列出了各种可能的宽高比。
再一种可选方案是,使控制处理器207对屏幕显示发生器进行编程,令其相继地以几种不同的信号分辨率(例如525I、525P、750P、1180I和1180P)和几种不同的宽高比(例如4×3和16×9)显示一个例如为圆形的图形,并附上文字说明,要求用户在看到最佳圆形时按下遥控装置(未示出)上的某个按键。该系统可以在其主输出端口上相继地逐一提供这些图形几秒钟,以使对遥控装置的按键动作和特定图形的显示有正确的关连。这将给该系统提供关于显示装置的图像分辨率和宽高比的信息。
具有关于显示装置的显示格式信息之后,该系统就可以自动地把接收到的视频信号转换成显示装置上的最佳可能的显示形式。例如,当接收视频信号与显示装置的宽高比不匹配时,这一不匹配情况可以告知给用户,还可以允许用户通过遥控装置(未示出)发出一个命令以逐个地看到如图9A至9E和图10所示的两种宽高比之间所有可能的转换,并从中选出某一种转换来使用。这适用于接收视频信号的宽高比为4×3而显示装置的宽高比为16×9的情况,也适用于接收视频信号的宽高比为16×9而显示装置的宽高比为4×3的情况。
最后一种可供选择的方案是,为了判断显示格式,该系统可以设计得能够探测显示装置所提供的信息。例如,可以借助于解码器系统的三条输出信号线(Y、CR、CB)中的一条构成一个双向数据路径,利用这个路径可以读出显示装置内的一个数字寄存器中的数据。该寄存器中的数据可以指明该显示装置的制造厂和型号,或者最大分辨率和宽高比。或者,显示装置可以在一条或几条信号线上加一个直流信号,并且该直流信号可以被解码器系统作为显示装置的显示格式的指示来探测。
可以料到,有可能在视频解码器的主输出端口上连接了一个多同步(multi-sync)监视器,这种监视器能够显示几种不同显示格式的视频信号。在此情形中,控制处理器207所重建出的显示类型信息中的视频分辨率部分将表明连接的显示装置是一个多同步装置,于是唯一要执行的格式转换只是当接收视频信号的宽高比与显示装置不匹配时的如图9A至9E和图10所示的宽高比适配。
虽然这里列举和说明了本发明的一些示范性实施例,但应该理解,这些实施例只是作为举例给出的,熟悉本技术领域的人们可以在不偏离本发明精神的情况下做出许多变化、改变和替换。所以,希望所附权利要求能涵括所有这些属于本发明范畴的变化。

Claims (18)

1、一种数字视频信号转换系统,用于对基带编码数字视频信号进行解码和重新格式化,该基带编码数字视频信号已用频域变换操作编码并且其依次代表第一和第二视频显示格式以产生一个适用于有预定视频显示格式的显示器的解码视频信号,每个视频显示格式都含有一个宽高比和一个分辨率,该系统包括:
数字视频信号解码器,它含有:
连接得能接收编码数字视频信号的输入终端;
数据提取电路,它能从编码数字视频信号提取关于解码视频信号的视频显示格式的指示;以及
信号处理电路,它能对编码数字视频信号解码,以产生一个输出视频信号,其中解码器在响应于一个控制信号时将分别根据第一和第二下转换处理对编码数字视频信号进行处理,以从分别具有第一和第二视频显示格式的编码数字视频信号产生一个具有预定视频显示格式的输出信号,其中数字信号处理电路包括一个低通滤波器,该滤波器对频域变换的数字视频信号进行操作以使数字视频信号解码器产生一个解码视频信号,该解码视频信号具有低于由所提取视频显示格式所规定的分辨率的可选分辨率;以及
控制器,它连接得能接收表明了所提取视频显示格式的数据,该控制器产生对数字视频信号解码器的控制信号,使解码器把对应于所提取显示格式的编码数字视频信号在第一和第二时段中都转换成具有预定视频显示格式的输出视频信号。
2、根据权利要求1的数字视频信号转换系统,其中,数字视频信号解码器含有一个可编程空间滤波器,该滤波器在响应于一个由控制器所提供的格式转换控制信号时将对由数字视频解码器所提供的解码数字视频信号进行重新采样,以产生具有预定视频显示格式的输出视频信号。
3、根据权利要求2的数字视频信号转换系统,其中,数字视频信号是用一种由活动图形专家组(MPEG)所规定的编码技术编码的,其中编码数字视频信号被含在多个包化基本流(PES)数据包中,每个PES数据包都有一个前端部,并且数字视频信号解码器的数据提取电路含有用来从一个PES数据包的前端部提取编码数字视频信号的视频显示格式的装置。
4、根据权利要求2的数字视频信号转换系统,其中,数字视频信号是用一种由活动图形专家组(MPEG)所规定的编码技术编码的,其中编码数字视频信号被含在一个含有一些系列记录的数字比特流中,每个系列记录都有一个前端部,并且数字视频信号解码器的数据提取电路含有用来从一个系列记录的前端部提取编码数字视频信号的视频显示格式的装置。
5、根据权利要求1的数字视频信号转换系统,它还含有一个用户输入装置,用户可以利用该输入装置输入指明了预定视频显示格式的数据。
6、根据权利要求1的数字视频信号转换系统,其中,视频显示装置包含有一个寄存器,该寄存器保持有一个识别信号,并且控制器被连接在该显示装置上以读出该识别信号,并利用该识别信号产生指明了预定视频显示格式的数据。
7、根据权利要求1的数字视频信号转换系统,其中的数字视频信号解码器还含有:
模/数转换装置,用来把视频解码器的信号处理电路的输出信号转换成一个模拟信号;
传送装置,用来把该模拟信号传送给显示装置;
连接在控制器上的探测装置,用来探测由显示装置施加给传送装置的一个直流(DC)电位;
其中,控制器根据探测装置的探测识别出数字视频信号解码器所使用的预定显示类型。
8、根据权利要求5的数字视频信号转换系统,其中:
视频信号解码器还含有一个屏幕显示处理器,该处理器可以被编程得能产生多个输出视频信号,各个信号分别对应于多种视频显示格式中的一种不同格式;以及
控制器含有这样的装置,该装置在响应于通过用户输入装置所提供的一个第一用户控制信号时,将使屏幕显示装置依次地提供各个分别具有不同视频显示格式的视频信号,并在响应于通过用户输入装置所提供的一个第二选择信号时,将把一种相应的视频显示格式确定为预定视频显示格式。
9、一种数字视频信号转换系统,它能对一个基带编码数字视频信号进行解码和重新格式化以产生一个解码视频信号,该编码数字视频信号是用一种频域变换操作编码的,并且可以代表多种视频显示格式,每种视频显示格式都有一个宽高比和一个分辨率,该系统包括:
具有预定视频显示格式的显示装置;
数字视频信号解码器,它含有:
连接得能接收编码数字视频信号的输入终端;
数据提取电路,该电路能从编码数字视频信号提取一个关于解码视频信号的视频显示格式的指示;
低通滤波器,它在响应于一个第一控制信号时将对频域变换的数字视频信号进行操作,以有选择性地使数字视频信号解码器产生一个其分辨率小于提取的视频显示格式的分辨率的解码数字视频信号;以及
信号处理电路,它在响应于一个第二控制信号时将对经滤波的频域编码数字视频信号解码,以产生一个输出视频信号;以及
控制器,它连接得能接收表明了预定视频显示格式和提取的视频显示格式的数据,该控制器产生对数字视频信号解码器的控制信号,该控制信号使解码器把对应于提取的显示格式的编码数字视频信号转换成具有预定视频显示格式的输出视频信号。
10、根据权利要求9的数字视频信号转换系统,其中:
数字视频信号解码器还含有一个可编程空间滤波器,该滤波器在响应于一个格式转换控制信号时将对由信号处理电路所提供的解码数字视频信号进行重新采样,以产生具有预定视频显示格式的输出视频信号;以及
控制器能产生格式转换控制信号。
11、根据权利要求10的数字视频信号转换系统,其中,数字视频信号是用一种由活动图形专家组(MPEG)所规定的编码技术编码的,其中编码数字视频信号被含在多个包化的基本流(PES)数据包中,每个PES数据包都有一个前端部,并且数字视频信号解码器的数据提取电路含有用来从一个PES数据包的前端部提取编码数字视频信号的视频显示格式的装置。
12、根据权利要求10的数字视频信号转换系统,其中,数字视频信号是用一种由活动图形专家组(MPEG)所规定的编码技术编码的,其中编码数字视频信号被含在一个含有一些系列记录的数字比特流中,每个系列记录都有一个前端部,并且数字视频信号解码器的数据提取电路含有用来从一个系列记录的前端部提取编码数字视频信号的视频显示格式的装置。
13、根据权利要求10的数字视频信号转换系统,它还含有一个用户输入装置,用户通过该输入装置可以输入能识别预定视频显示格式的数据。
14、根据权利要求12的数字视频信号转换系统,其中:
视频信号解码器还含有一个屏幕显示处理器,该处理器可以被编码得能产生多个输出视频信号,各个输出视频信号分别对应于多种视频显示格式中的一种格式;并且
控制器含有这样的装置,该装置能在响应于通过用户输入装置所提供的一个第一用户控制信号时使屏幕显示装置依次地提供一些分别对应于不同视频显示格式的视频信号,并在响应于通过用户装置所输入的一个第二选择信号时把一个相应的视频显示格式确定为预定视频显示格式。
15、根据权利要求10的数字视频信号转换系统,它还含有一个具有预定视频显示格式的视频显示装置,其中的视频显示装置含有一个寄存器,其中保存了一个识别信号,并且控制器被连接在该显示装置上以能读出该识别信号,并利用该识别信号产生能识别预定视频显示格式的数据。
16、一种数字视频信号转换系统,它能对一个代表一种具有第一宽高比的视频显示格式的基带编码数字视频信号进行解码和重新格式化,以产生一个适合于以具有不同于第一宽高比的第二宽高比的预定视频显示格式显示的解码视频信号,该系统包括:
数字视频信号解码器,它含有:
连接得能接收编码数字视频信号的输入终端;
数据提取电路,它能从编码数字视频信号中提取一个关于解码视频信号的宽高比的指示;以及
信号处理电路,它能对编码数字视频信号进行解码以产生一个输出视频信号,其中解码器在响应于一个控制信号时,将分别根据第一和第二下转换处理对编码数字视频信号进行处理以产生一个输出信号,该输出信号具有分别对应于第一宽高比与第二宽高比之间的第一种和第二种转换的预定视频显示格式;以及
控制器,它连接得能接收表明了提取的视频显示格式的数据,该控制器产生对数字视频信号解码器的控制信号,该控制信号使解码器相继地把具有第一宽高比的解码视频信号转换成第一和第二输出信号,这两个输出信号分别对应于第一宽高比与第二宽高比之间的第一种和第二种转换。
17、根据权利要求16的数字视频信号转换系统,其中,第一宽高比大于第二宽高比,并且第一种和第二种转换分别使用第一和第二压缩技术来产生具有第二宽高比的输出信号。
18、根据权利要求16的数字视频信号转换系统,其中,第一宽高比小于第二宽高比,并且第一种和第二种转换分别使用第一和第二扩展技术来产生具有第二宽高比的输出信号。
CNB988002779A 1997-03-12 1998-03-11 高分辨率电视下转换系统 Expired - Fee Related CN1170425C (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US4051797P 1997-03-12 1997-03-12
US60/040,517 1997-03-12

Publications (2)

Publication Number Publication Date
CN1219321A CN1219321A (zh) 1999-06-09
CN1170425C true CN1170425C (zh) 2004-10-06

Family

ID=21911409

Family Applications (3)

Application Number Title Priority Date Filing Date
CNB988002957A Expired - Fee Related CN1197352C (zh) 1997-03-12 1998-03-11 提供多重标准输出信号的mpeg解码器
CNB988002779A Expired - Fee Related CN1170425C (zh) 1997-03-12 1998-03-11 高分辨率电视下转换系统
CNB988002787A Expired - Fee Related CN1170438C (zh) 1997-03-12 1998-03-11 数字视频信号下变换系统的运动补偿处理器及上升抽样方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CNB988002957A Expired - Fee Related CN1197352C (zh) 1997-03-12 1998-03-11 提供多重标准输出信号的mpeg解码器

Family Applications After (1)

Application Number Title Priority Date Filing Date
CNB988002787A Expired - Fee Related CN1170438C (zh) 1997-03-12 1998-03-11 数字视频信号下变换系统的运动补偿处理器及上升抽样方法

Country Status (7)

Country Link
US (1) US6184935B1 (zh)
EP (4) EP0901735A1 (zh)
JP (3) JP4346114B2 (zh)
CN (3) CN1197352C (zh)
DE (2) DE69821693T2 (zh)
MY (2) MY119918A (zh)
WO (3) WO1998041012A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103108239A (zh) * 2013-02-25 2013-05-15 四川金网通电子科技有限公司 视频宽高比自动转换方法及装置

Families Citing this family (113)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09182083A (ja) * 1995-12-27 1997-07-11 Matsushita Electric Ind Co Ltd ビデオ画像符号化方法及び復号化方法とその装置
US6618443B1 (en) * 1997-03-12 2003-09-09 Matsushita Electric Industrial Co., Ltd. Upsampling filter for a down conversion system
US6873368B1 (en) * 1997-12-23 2005-03-29 Thomson Licensing Sa. Low noise encoding and decoding method
US6519288B1 (en) * 1998-03-06 2003-02-11 Mitsubishi Electric Research Laboratories, Inc. Three-layer scaleable decoder and method of decoding
US6259734B1 (en) * 1998-04-03 2001-07-10 Matsushita Electric Industrial Co., Ltd. Image processing method, image processing apparatus, and data storage media
US6665344B1 (en) 1998-06-29 2003-12-16 Zenith Electronics Corporation Downconverting decoder for interlaced pictures
JP2000059735A (ja) * 1998-08-04 2000-02-25 Sony Corp 画像処理装置および方法、並びに提供媒体
US6804827B1 (en) * 1998-09-18 2004-10-12 Sony Corporation Transmission system and method signal adjusting apparatus and method and routing apparatus
US6249549B1 (en) * 1998-10-09 2001-06-19 Matsushita Electric Industrial Co., Ltd. Down conversion system using a pre-decimation filter
US6487249B2 (en) * 1998-10-09 2002-11-26 Matsushita Electric Industrial Co., Ltd. Efficient down conversion system for 2:1 decimation
US6438275B1 (en) * 1999-04-21 2002-08-20 Intel Corporation Method for motion compensated frame rate upsampling based on piecewise affine warping
US6993076B1 (en) 1999-05-11 2006-01-31 Thomson Licensing S.A. Apparatus and method for deriving an enhanced decoded reduced-resolution video signal from a coded high-definition video signal
WO2001005159A1 (en) * 1999-07-07 2001-01-18 Zenith Electronics Corporation Downconverting decoder for interlaced pictures
US7668189B1 (en) 1999-07-08 2010-02-23 Thomson Licensing Adaptive transport protocol
US6968008B1 (en) 1999-07-27 2005-11-22 Sharp Laboratories Of America, Inc. Methods for motion estimation with adaptive motion accuracy
US6522363B1 (en) * 1999-07-30 2003-02-18 Thomson Licensing S.A. Display frame rate adaptation
JP2001103393A (ja) * 1999-09-28 2001-04-13 Sony Corp 受信装置および方法、並びに記録媒体
JP2001103482A (ja) 1999-10-01 2001-04-13 Matsushita Electric Ind Co Ltd 直交変換を用いたデジタルビデオ・ダウンコンバータ用の動き補償装置
AU7847300A (en) * 1999-10-12 2001-04-23 Deutsche Thomson-Brandt Gmbh Method and system for eliminating edge effects at the beginning of frame in video signals
DE19951341B4 (de) * 1999-10-25 2012-02-16 Robert Bosch Gmbh Verfahren zur bewegungskompensierenden Prädiktion von Bewegtbildern sowie Einrichtung hierzu
CN1178475C (zh) 1999-11-04 2004-12-01 汤姆森特许公司 电视节目分配系统中电视接收机的系统和用户接口
JP2001238185A (ja) * 2000-02-24 2001-08-31 Sony Corp 画像信号変換装置、画像信号変換方法、およびそれを使用した画像表示装置、並びにそれに使用される係数データの生成装置および生成方法
US6459452B1 (en) * 2000-03-31 2002-10-01 Intel Corporation System, method, and apparatus for decoding digital video sequences
DE10022264A1 (de) * 2000-05-08 2001-11-22 Micronas Munich Gmbh Videosignal-Decoder und Verfahren zur Beseitigung von Bildstörungen in einem Videobild
US7020205B1 (en) 2000-07-12 2006-03-28 Thomson Licensing Sending progressive video sequences suitable for MPEG and other data formats
JP4465570B2 (ja) * 2000-09-26 2010-05-19 ソニー株式会社 画像処理装置および方法、並びに記録媒体
KR100768682B1 (ko) * 2000-10-03 2007-10-23 톰슨 라이센싱 에스.에이. 픽셀 데이터 버퍼링을 위한 방법 및 시스템
US7554612B2 (en) 2000-10-03 2009-06-30 Thomson Licensing Method and system for buffering pixel data
WO2002043400A1 (en) * 2000-11-22 2002-05-30 Koninklijke Philips Electronics N.V. Decompression of compressed encoded video
US7227895B1 (en) * 2000-12-12 2007-06-05 Sony Corporation System and method for generating decoded digital video image data
US7136538B2 (en) 2000-12-21 2006-11-14 Matsushita Electric Industrial Co., Ltd. Noise reducing apparatus and noise reducing method
US6704759B2 (en) * 2001-01-19 2004-03-09 Motorola, Inc. Method and apparatus for compression/decompression and filtering of a signal
US6909750B2 (en) * 2001-05-01 2005-06-21 Koninklijke Philips Electronics N.V. Detection and proper interpolation of interlaced moving areas for MPEG decoding with embedded resizing
US6751258B2 (en) * 2001-05-30 2004-06-15 Koninklijke Philips Electronics N.V. Vertical scaling of interlaced video in the frequency domain
KR100828343B1 (ko) * 2001-08-04 2008-05-08 삼성전자주식회사 방송 프로그램을 기록하는 방법, 장치 및 정보 저장매체
FR2830157A1 (fr) * 2001-09-25 2003-03-28 Koninkl Philips Electronics Nv Procede de conversion de donnees video codees
US6765622B2 (en) * 2001-10-26 2004-07-20 Koninklijke Philips Electronics N.V. Line-buffer reuse in vertical pixel-processing arrangement
KR100400353B1 (ko) * 2001-10-27 2003-10-04 엘지전자 주식회사 디지털 컨텐츠 전송방법 및 장치
US8284844B2 (en) 2002-04-01 2012-10-09 Broadcom Corporation Video decoding system supporting multiple standards
JP4102973B2 (ja) * 2002-04-24 2008-06-18 日本電気株式会社 動画像の符号化方法および復号化方法、これを用いた装置とプログラム
US7006572B2 (en) * 2002-05-09 2006-02-28 Mitsubishi Electric Research Labs, Inc. Method and apparatus for decoding video bitstreams to reduced spatial resolutions
US6990150B2 (en) * 2002-05-14 2006-01-24 Enseo, Inc. System and method for using a High-Definition MPEG decoder to extract multiple Standard Definition frames from a High-Definition frame
US6980599B2 (en) * 2002-06-04 2005-12-27 Koninklijke Philips Electronics N.V. Video decoding system and method having post-processing to reduce sharpness prediction drift
FR2844131B1 (fr) * 2002-09-03 2004-11-12 St Microelectronics Sa Procede et dispositif d'interpolation d'images avec compensation du mouvement
BR0316559A (pt) * 2002-11-25 2005-10-04 Thomson Licensing Sa Decodificador em duas camadas para dvd hìbrido de alta definição
US20040213542A1 (en) * 2003-04-22 2004-10-28 Hiroshi Hamasaka Apparatus and method to reproduce multimedia content for a multitude of resolution displays
KR100624429B1 (ko) * 2003-07-16 2006-09-19 삼성전자주식회사 칼라 영상을 위한 비디오 부호화/복호화 장치 및 그 방법
GB2405281A (en) * 2003-08-19 2005-02-23 Snell & Wilcox Ltd Format conversion using colourimetric components
CN100527266C (zh) * 2004-03-15 2009-08-12 汤姆森许可贸易公司 获得预定的一组数据值的方法及使用该方法的设备
US9071847B2 (en) 2004-10-06 2015-06-30 Microsoft Technology Licensing, Llc Variable coding resolution in video codec
US8243820B2 (en) 2004-10-06 2012-08-14 Microsoft Corporation Decoding variable coded resolution video with native range/resolution post-processing operation
DE102004059978B4 (de) * 2004-10-15 2006-09-07 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum Erzeugen einer codierten Videosequenz und zum Decodieren einer codierten Videosequenz unter Verwendung einer Zwischen-Schicht-Restwerte-Prädiktion sowie ein Computerprogramm und ein computerlesbares Medium
FR2876861A1 (fr) * 2004-10-20 2006-04-21 Thomson Licensing Sa Procede de codage d'images video de differents formats non proportionnels
US7586492B2 (en) * 2004-12-20 2009-09-08 Nvidia Corporation Real-time display post-processing using programmable hardware
EP1871075B1 (en) * 2004-12-24 2015-03-04 IZUTSU, Masahiro Mobile information communication apparatus, connection unit for mobile information communication apparatus, and external input/output unit for mobile information communication apparatus
US8175168B2 (en) * 2005-03-18 2012-05-08 Sharp Laboratories Of America, Inc. Methods and systems for picture up-sampling
JP4470810B2 (ja) * 2005-05-11 2010-06-02 ソニー株式会社 映像信号処理装置および方法、並びにプログラム
WO2007032597A1 (en) * 2005-07-20 2007-03-22 Electronics And Telecommunications Research Institute Method of redundant picture coding using polyphase downsampling and the codec using the same
KR100779173B1 (ko) 2005-07-20 2007-11-26 한국전자통신연구원 폴리페이즈 다운 샘플링기반 리던던트 슬라이스 코딩 방법및 그 방법을 이용하는 코덱
CN100455005C (zh) * 2005-09-29 2009-01-21 西安交通大学 数字高清晰度电视芯片输入高清晰电视和计算机信号方法
CN1859576A (zh) * 2005-10-11 2006-11-08 华为技术有限公司 对空间分层编码视频图象的上采样方法及其系统
US7777812B2 (en) * 2005-11-18 2010-08-17 Sharp Laboratories Of America, Inc. Methods and systems for picture resampling
US7956930B2 (en) 2006-01-06 2011-06-07 Microsoft Corporation Resampling and picture resizing operations for multi-resolution video coding and decoding
JP4517301B2 (ja) * 2006-01-06 2010-08-04 ソニー株式会社 画像処理装置および画像処理方法、並びにプログラム
CN1794821A (zh) * 2006-01-11 2006-06-28 浙江大学 可分级视频压缩中插值的方法与装置
DE602006020239D1 (de) 2006-01-24 2011-04-07 Ihi Corp Motorbetriebene Aufladung
EP1813782B1 (en) 2006-01-26 2009-08-05 IHI Corporation Turbo-supercharger
CN101405480B (zh) 2006-03-23 2011-09-21 株式会社Ihi 增压机的高速旋转轴
US7460133B2 (en) * 2006-04-04 2008-12-02 Sharp Laboratories Of America, Inc. Optimal hiding for defective subpixels
US8385419B2 (en) * 2006-04-26 2013-02-26 Altera Corporation Methods and apparatus for motion search refinement in a SIMD array processor
JP4753033B2 (ja) 2006-06-02 2011-08-17 株式会社Ihi 電動過給機
WO2008020511A1 (fr) 2006-08-18 2008-02-21 Ihi Corporation Dispositif de suralimentation électrique
US8405779B2 (en) * 2006-08-31 2013-03-26 Broadcom Corporation Video decoder block
CN1917575B (zh) * 2006-09-07 2011-05-25 康佳集团股份有限公司 数字显示器图像显示格式转换方法
US7881511B2 (en) * 2007-01-19 2011-02-01 Korea Advanced Institute Of Science And Technology Method for super-resolution reconstruction using focal underdetermined system solver algorithm
US8832290B2 (en) * 2007-02-23 2014-09-09 Microsoft Corporation Smart pre-fetching for peer assisted on-demand media
US8107571B2 (en) 2007-03-20 2012-01-31 Microsoft Corporation Parameterized filters and signaling techniques
US7889949B2 (en) * 2007-04-30 2011-02-15 Microsoft Corporation Joint bilateral upsampling
CN101094369B (zh) * 2007-07-18 2010-08-25 四川长虹电器股份有限公司 数字电视机显示模式切换方法
CN101127858B (zh) * 2007-08-28 2012-06-27 邬承基 数字图像硬盘录像机的改进型输出方法
WO2009047684A2 (en) * 2007-10-08 2009-04-16 Nxp B.V. Video decoding
CN101478671B (zh) * 2008-01-02 2011-05-11 中兴通讯股份有限公司 应用于视频监控的视频编码装置及其视频编码方法
US8953673B2 (en) 2008-02-29 2015-02-10 Microsoft Corporation Scalable video coding and decoding with sample bit depth and chroma high-pass residual layers
US8711948B2 (en) 2008-03-21 2014-04-29 Microsoft Corporation Motion-compensated prediction of inter-layer residuals
US8325801B2 (en) * 2008-08-15 2012-12-04 Mediatek Inc. Adaptive restoration for video coding
US9571856B2 (en) 2008-08-25 2017-02-14 Microsoft Technology Licensing, Llc Conversion operations in scalable video encoding and decoding
US8042143B2 (en) * 2008-09-19 2011-10-18 At&T Intellectual Property I, L.P. Apparatus and method for distributing media content
US8588553B2 (en) 2009-02-12 2013-11-19 Zoran (France) S.A. Scaling method and device for image signals
KR101634562B1 (ko) * 2009-09-22 2016-06-30 삼성전자주식회사 저해상도 비디오로부터 고해상도 비디오를 생성하는 방법
EP2315445A1 (en) * 2009-10-09 2011-04-27 Vidast Oy Video compression
CN101765027B (zh) * 2009-10-20 2013-01-09 大连捷成实业发展有限公司 时域加权数字视频静帧检测方法
CN101860749A (zh) * 2010-04-20 2010-10-13 中兴通讯股份有限公司 一种视频图像编码和解码方法及装置
US8406134B2 (en) 2010-06-25 2013-03-26 At&T Intellectual Property I, L.P. Scaling content communicated over a network
TWI406561B (zh) * 2010-07-27 2013-08-21 私立中原大學 Video processor and its automatic selection filter of the video filter driver
TW201227494A (en) * 2010-12-24 2012-07-01 Wistron Corp Method of picture display and device thereof
CN102595109B (zh) * 2011-01-07 2014-12-17 安凯(广州)微电子技术有限公司 一种jpeg图片解码方法及装置
CN102438135B (zh) * 2011-01-14 2013-12-04 展讯通信(上海)有限公司 高分辨率视频在小尺寸显示设备上的降采样解码方法及装置
CN103430535B (zh) 2011-01-21 2017-11-03 汤姆逊许可公司 使用内容剖析的增强远程转码系统及方法
WO2012164939A1 (ja) * 2011-06-03 2012-12-06 パナソニック株式会社 画像符号化方法および画像復号化方法
EP2754096A4 (en) 2011-09-09 2015-08-05 Panamorph Inc IMAGE PROCESSING SYSTEM AND METHOD
US9258517B2 (en) * 2012-12-31 2016-02-09 Magnum Semiconductor, Inc. Methods and apparatuses for adaptively filtering video signals
US9141624B2 (en) 2013-02-01 2015-09-22 International Business Machines Corporation Managing the storage of media content
KR101749855B1 (ko) * 2013-04-05 2017-06-21 미쓰비시덴키 가부시키가이샤 컬러 화상 부호화 장치, 컬러 화상 복호 장치, 컬러 화상 부호화 방법 및 컬러 화상 복호 방법
KR20150037371A (ko) * 2013-09-30 2015-04-08 삼성전자주식회사 다이렉트 메모리 액세스(dma)를 이용하여 영상 신호를 처리하는 방법 및 장치.
KR101900340B1 (ko) 2013-10-02 2018-09-20 에이에스엠엘 네델란즈 비.브이. 산업 공정과 관련된 진단 정보를 얻는 방법 및 장치
JP6114158B2 (ja) * 2013-10-03 2017-04-12 東罐興業株式会社 容器ホルダ
US11350015B2 (en) 2014-01-06 2022-05-31 Panamorph, Inc. Image processing system and method
CN106027979A (zh) * 2016-06-21 2016-10-12 深圳市智美达科技股份有限公司 摄像监控图像显示系统
US10643307B2 (en) * 2017-11-10 2020-05-05 Intel Corporation Super-resolution based foveated rendering
US11736648B2 (en) 2018-05-09 2023-08-22 Panamorph, Inc. Progressive image compression and restoration providing a high spatial quality intermediate image
CN108419068A (zh) * 2018-05-25 2018-08-17 张家港康得新光电材料有限公司 一种3d图像处理方法和装置
EP4162439A1 (en) * 2020-06-08 2023-04-12 UNITED STATES GOVERNMENT as represented by THE DEPARTMENT OF VETERANS AFFAIRS Methods and systems for determining an object map
CN112188121B (zh) * 2020-10-21 2022-06-28 绍兴速显微电子科技有限公司 一种mipi及csi接口的摄像头模拟系统

Family Cites Families (48)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3997772A (en) 1975-09-05 1976-12-14 Bell Telephone Laboratories, Incorporated Digital phase shifter
ATE55019T1 (de) 1980-04-11 1990-08-15 Ampex System zur raeumlichen transformation von bildern.
US4631750A (en) 1980-04-11 1986-12-23 Ampex Corporation Method and system for spacially transforming images
US4472785A (en) 1980-10-13 1984-09-18 Victor Company Of Japan, Ltd. Sampling frequency converter
US4432009A (en) * 1981-03-24 1984-02-14 Rca Corporation Video pre-filtering in phantom raster generating apparatus
GB2108350B (en) 1981-04-10 1986-05-14 Ampex System for spatially transforming images
EP0076259B1 (en) 1981-04-10 1989-08-16 Ampex Corporation Controller for system for spatially transforming images
JPS58219841A (ja) 1982-06-15 1983-12-21 Kokusai Denshin Denwa Co Ltd <Kdd> 標本化周波数の高速変換回路
US4652908A (en) 1985-03-25 1987-03-24 Rca Corporation Filtering system for processing a reduced-resolution video image
JP2592810B2 (ja) 1986-09-30 1997-03-19 株式会社東芝 サンプルレート変換回路
US4774581A (en) 1987-04-14 1988-09-27 Rca Licensing Corporation Television picture zoom system
US4918523A (en) * 1987-10-05 1990-04-17 Intel Corporation Digital video formatting and transmission system and method
US5122873A (en) * 1987-10-05 1992-06-16 Intel Corporation Method and apparatus for selectively encoding and decoding a digital motion video signal at multiple resolution levels
US5028995A (en) * 1987-10-28 1991-07-02 Hitachi, Ltd. Picture signal processor, picture signal coder and picture signal interpolator
US5057911A (en) 1989-10-19 1991-10-15 Matsushita Electric Industrial Co., Ltd. System and method for conversion of digital video signals
US5367334A (en) * 1991-05-20 1994-11-22 Matsushita Electric Industrial Co., Ltd. Video signal encoding and decoding apparatus
JPH05137131A (ja) * 1991-11-13 1993-06-01 Sony Corp フレーム間動き予測方法
US5351086A (en) * 1991-12-31 1994-09-27 Daewoo Electronics Co., Ltd. Low-bit rate interframe video encoder with adaptive transformation block selection
JP3255179B2 (ja) 1992-02-14 2002-02-12 ソニー株式会社 データ検出装置
GB2264417B (en) 1992-02-17 1995-12-06 Sony Broadcast & Communication Video standards conversion
US5262854A (en) 1992-02-21 1993-11-16 Rca Thomson Licensing Corporation Lower resolution HDTV receivers
JPH05283978A (ja) 1992-03-31 1993-10-29 Sony Corp サンプリングレート変換装置
JP3158648B2 (ja) * 1992-04-30 2001-04-23 ソニー株式会社 ディジタル特殊効果発生装置
KR960010469B1 (ko) * 1992-10-07 1996-08-01 대우전자 주식회사 Pip 기능을 갖는 디지탈방식 고선명 텔레비젼
US5331346A (en) 1992-10-07 1994-07-19 Panasonic Technologies, Inc. Approximating sample rate conversion system
US5274372A (en) 1992-10-23 1993-12-28 Tektronix, Inc. Sampling rate conversion using polyphase filters with interpolation
JP3093494B2 (ja) * 1992-11-18 2000-10-03 株式会社東芝 多様性信号処理装置
US5614952A (en) * 1994-10-11 1997-03-25 Hitachi America, Ltd. Digital video decoder for decoding digital high definition and/or digital standard definition television signals
US5477397A (en) * 1993-02-23 1995-12-19 Matsushita Electric Corporation Of America Digital high definition television receiver with features that facilitate trick-play modes on a digital VCR
TW224553B (en) * 1993-03-01 1994-06-01 Sony Co Ltd Method and apparatus for inverse discrete consine transform and coding/decoding of moving picture
EP0719478B1 (en) 1993-09-13 1998-07-22 Analog Devices, Inc. Digital to analog conversion using nonuniform sample rates
US5469223A (en) * 1993-10-13 1995-11-21 Auravision Corporation Shared line buffer architecture for a video processing circuit
US5483474A (en) 1993-11-15 1996-01-09 North Shore Laboratories, Inc. D-dimensional, fractional bandwidth signal processing apparatus
US5796438A (en) * 1994-07-05 1998-08-18 Sony Corporation Methods and apparatus for interpolating picture information
DE69428987T2 (de) * 1994-07-25 2002-04-04 Matsushita Electric Ind Co Ltd Digital/Digital-Abtastratenumsetzer
US5613084A (en) 1994-10-04 1997-03-18 Panasonic Technologies, Inc. Interpolation filter selection circuit for sample rate conversion using phase quantization
US5600379A (en) * 1994-10-13 1997-02-04 Yves C. Faroudia Television digital signal processing apparatus employing time-base correction
US5644361A (en) 1994-11-30 1997-07-01 National Semiconductor Corporation Subsampled frame storage technique for reduced memory size
WO1996019077A1 (en) * 1994-12-14 1996-06-20 Philips Electronics N.V. Subtitling transmission system
JPH08181988A (ja) * 1994-12-26 1996-07-12 Canon Inc 動画像処理装置
JP3855282B2 (ja) * 1995-02-06 2006-12-06 ソニー株式会社 受信装置および受信方法
US5528301A (en) 1995-03-31 1996-06-18 Panasonic Technologies, Inc. Universal video format sample size converter
US5621660A (en) * 1995-04-18 1997-04-15 Sun Microsystems, Inc. Software-based encoder for a software-implemented end-to-end scalable video delivery system
US5798948A (en) * 1995-06-20 1998-08-25 Intel Corporation Method and apparatus for video filtering
WO1997001934A1 (en) * 1995-06-29 1997-01-16 Thomson Multimedia S.A. System for encoding and decoding layered compressed video data
US5737019A (en) 1996-01-29 1998-04-07 Matsushita Electric Corporation Of America Method and apparatus for changing resolution by direct DCT mapping
KR100192270B1 (ko) * 1996-02-03 1999-06-15 구자홍 에이치디티브이 비데오 디코더 회로
US5825424A (en) * 1996-06-19 1998-10-20 Thomson Consumer Electronics, Inc. MPEG system which decompresses and recompresses image data before storing image data in a memory and in accordance with a resolution of a display device

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103108239A (zh) * 2013-02-25 2013-05-15 四川金网通电子科技有限公司 视频宽高比自动转换方法及装置

Also Published As

Publication number Publication date
EP0908057B1 (en) 2004-03-03
EP0908057A1 (en) 1999-04-14
MY119918A (en) 2005-08-30
JP4346114B2 (ja) 2009-10-21
CN1197352C (zh) 2005-04-13
EP0901735A1 (en) 1999-03-17
EP0901734A1 (en) 1999-03-17
EP1628479A2 (en) 2006-02-22
DE69821693T2 (de) 2005-04-07
JP2001506099A (ja) 2001-05-08
CN1219327A (zh) 1999-06-09
CN1220800A (zh) 1999-06-23
MY129539A (en) 2007-04-30
CN1219321A (zh) 1999-06-09
JP2000514987A (ja) 2000-11-07
CN1170438C (zh) 2004-10-06
DE69822060D1 (de) 2004-04-08
DE69821693D1 (de) 2004-03-25
WO1998041011A1 (en) 1998-09-17
US6184935B1 (en) 2001-02-06
WO1998041012A1 (en) 1998-09-17
WO1998041029A1 (en) 1998-09-17
DE69822060T2 (de) 2005-03-03
EP1628479A3 (en) 2007-09-05
EP0901734B1 (en) 2004-02-18
JP2000511035A (ja) 2000-08-22

Similar Documents

Publication Publication Date Title
CN1170425C (zh) 高分辨率电视下转换系统
CN1036430C (zh) 宽屏幕电视
CN1076932C (zh) 图像信号编码和解码的方法与装置
CN1173576C (zh) 用于离散余弦变换编码图像向下变换的频域滤波
CN1238798C (zh) 在运动估计或补偿期间使用近似双立方过滤器的方法和系统
CN1537384A (zh) 用于子像素值内插的方法
CN1175356C (zh) 用于美国高级电视制式委员会视频解码器的存储控制器
CN1238799C (zh) 在运动估计或补偿中进行次像素插值的方法和系统
CN1076935C (zh) 运动图象变换系数逆变换时防止舍入误差的方法和设备
CN1237778C (zh) 图像处理装置,图像处理方法
CN1135840C (zh) 用于一下变换系统的向上抽样滤波器及方法
US7623575B2 (en) Method and apparatus for sub-pixel motion compensation
CN1193338C (zh) 视频信号变换装置以及视频信号变换方法
CN1197359C (zh) 获得增强译码的降低分辨率的视频信号的设备和方法
CN1456999A (zh) 色度运动矢量取整
CN1738434A (zh) 用于3d子带编码的嵌入式基层编解码器
CN1681325A (zh) 视频尺度转换及从mpeg-2到mpeg-4的编码转换
CN1479907A (zh) 基于类小波变换和稀疏数据编码的多分辨率图像数据管理系统和方法
CN1255017A (zh) 使用一预抽取滤波器的下变换系统
CN1138275A (zh) 图形信号编码译码方法和装置及信号记录介质
CN1237067A (zh) 图象编码和解码装置、方法及数据存储媒体
CN1578477A (zh) 用于色彩图像的视频编码/解码装置和方法
CN1219255A (zh) 先进电视中时域和分辨率的分层方法
CN1197252C (zh) 利用对应象素块的等级信息的变换系数进行图象的编码和译码
CN1288914C (zh) 图象编码与解码方法以及对应的装置和应用

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
REG Reference to a national code

Ref country code: HK

Ref legal event code: WD

Ref document number: 1019533

Country of ref document: HK

C19 Lapse of patent right due to non-payment of the annual fee
CF01 Termination of patent right due to non-payment of annual fee