CN1100870A - 视频格式转换装置和方法 - Google Patents
视频格式转换装置和方法 Download PDFInfo
- Publication number
- CN1100870A CN1100870A CN94105360A CN94105360A CN1100870A CN 1100870 A CN1100870 A CN 1100870A CN 94105360 A CN94105360 A CN 94105360A CN 94105360 A CN94105360 A CN 94105360A CN 1100870 A CN1100870 A CN 1100870A
- Authority
- CN
- China
- Prior art keywords
- value
- pixel
- picture element
- present picture
- interpolation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
- H04N7/0117—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal
- H04N7/012—Conversion between an interlaced and a progressive signal
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/142—Detection of scene cut or scene change
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/40—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
- H04N19/87—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving scene cut or scene change detection in combination with video compression
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Graphics (AREA)
- Television Systems (AREA)
Abstract
用于高清晰度电视的视频格式转换装置和方法,
准确地完成将隔行扫描格式的视频转换为逐行扫描
格式的视频。视频格式转换是这样实现的:当当前象
素是一静止象素时,由处于与当前象素同一位置分别
在前一场和下一场中的参考象素值的平均值来替换
当前象素值;当当前象素是一包含运动的象素时,通
过运动补偿内插当前象素;当当前象素既不是静止象
素又不是包含运动的象素时,判断位移帧偏差是否小
于预置的阈值;当位移帧偏差小于阈值时,由前一场
和下一场中的参考象素的平均值来替换当前象素值;
当位移帧偏差不小于阈值时,由场内象素值来替换当
前象素值。
Description
本发明涉及用于电视(TV)的视频格式转换装置和方法,特别是涉及用于TV的将隔行扫描视频格式转换为逐行扫描视频格式的视频转换装置和方法。
在日本已研制了隔行扫描制的高清晰度电视(HDTVs),并且由于日本已研制了诸如摄像机和视频盒式磁带录像机之类的外围设备所以顺利地利用视频源进行了播放试验。而对美国研制的逐行扫描制的高清晰度电视,由于没有所研制的外围设备所以难以利用该逐行扫描制视频源。因而,在后一情况下,需要将隔行扫描格式的视频转换为逐行扫描格式的视频。具体地说,在监视器上所显示的视频格式应该有逐行扫描制视频格式。因此,为了播送被压缩的隔行扫描格式视频信号,有效地将其转换成与显示格式一样的逐行扫描格式视频信号是重要的并且是必须的。
在常规的类似系统中,对于NTSC TV或数字TV的象素(行)的内插是利用下述方法中的一种方法来实现的:
第一种是场内内插法,在这种方法中,采用当前场中的已扫描行来内插未扫描行。虽然这种方法非常简便,但由于每行都是由内插行的上一扫描行和下一扫描行的象素的平均值来内插的,所以存在有分辨率变差的问题;
第二种是场间内插法,在这种方法中,仅是使用当前场和其它场的已扫描行内插未扫描行,而没有任何运动补偿。虽然对于静止视频部分来说复原的视频具有高的分辨率,但对包含有运动的视频部分来说存在一个严重的伪像(artifact)问题;和
第三种内插法包括了运动补偿,这种方法解决了场间内插法和场内内插法中所遇到的问题。
根据包含有运动补偿的内插方法,运动信息被搜索。根据搜索的运动信息,视频场景被分为静止视频部分和运动视频部分,这两部分将被自适应地内插。
例如,静止视频部分由两个相继帧的平均值替换,而对运动视频部分进行运动补偿。
对于一个场景的改变,则采用场内内插法以便获得最大的效率。
现在将说明一种在数字HDTV中使用包含有运动补偿的内插而将隔行扫描格式的视频转换为逐行扫描格式的视频的通用方法。
在这种情况下,对运动补偿来说参考帧是必须的。根据最近提出的技术,两个分别恰好处于当前帧t的前面和后面的帧t-1和t+1被用作为参考帧。为了实现尽可能精确的内插,对于这些参考帧,使用了运动补偿视频。特别是,对于前一帧t-1,已使用了转换成逐行扫描格式的视频,这样它们可随时间而递推(time-recursive)。对于下一帧,未扫描的行是由可选择的上一扫描行和下一扫描行的平均值来替换。
为了寻找运动信息,利用相等尺寸块的相同运动信息来执行运动补偿,为了与块匹配算法一致,每一块包括有16×8个象素。
在这种情况下,首先,被内插的当前帧被分成相等尺寸的块,例如,每一块包括有16×8个象素。对于被内插的当前块,运动信息是从前一帧和下一帧中寻找。
因为被内插的块中有一半的行是未扫描行,所以用来寻找运动信息的是剩下的那一半扫描行。
利用如上所述寻找到的运动信息,可对未扫描行进行内插。作为有用的内插方法,有一种是利用基于前一帧的补偿方法、有一种是利用基于下一帧的补偿方法,还有一种是由来自前一帧和下一帧被补偿信号的平均值来替换的方法。在这些方法中,将选择出一种具有最小误差的方法来使用。
因而,本发明的目的是提供用于HDTV的视频格式转换装置和方法,它能够通过宏块(Macroblock)获得运动补偿,通过象素确定静止状态、包含运动的状态和场景变化和通过象素实现内插,从而准确地实现将隔行扫描格式视频转换为逐行扫描格式视频。
根据本发明,它提供了一种视频格式转换装置,包括有:利用变字长译码与分路信号和解量化与离散余弦反变换信号执行运动补偿的运动补偿装置;用来存贮从运动补偿装置输出的视频信号和把所存贮的视频信号传送到运动补偿装置的场存贮装置;利用变字长译码与分路信号、解量化与离散余弦反变换信号和存贮在场存贮装置中的视频信号去控制格式转换的格式转换控制装置;用来将从格式转换控制装置输出的用于每个宏块的控制信号转换成用于每一象素的控制信号的第一片式(slice)缓冲装置;用来将用于每个宏块的变字长译码与分路信号转换成用于每一象素的变字长译码与分路信号的第二片式缓冲装置;和用来根据来自第一和第二片式缓冲装置的输出信号并利用来自运动补偿装置的视频信号而执行内插的内插装置。
根据本发明它还提供了一种视频格式转换方法,包括有:静止状态判断和内插步骤,判明被内插的当前象素是否是一静止的象素,并且当该当前象素是静止象素时,由处于与该当前象素同一位置分别在超前于包括当前象素的当前场的前一场和滞后于该当前场的下一场中的参考象素值的平均值来替换该当前象素的值;包含有运动状态的判断和内插步骤,判断当前象素是否为包含运动的象素,并且当该当前象素是包含运动的象素时,通过运动补偿内插该当前象素;位移帧偏差判断步骤,当该当前象素既不是静止象素又不是包含运动的象素时,判明位移帧偏差是否小于一预置的阈值;场间内插步骤,当位移帧偏差小于预置的阈值时,由在前一场和下一场中的参考象素值的平均值来替换该当前象素值;和场内内插步骤,当位移帧偏差不小于预置的阈值时由场内象素值来替换当前象素值。
在阅读了下面的详细说明和附图后将会对本发明的这些和其它目的、特征和优点更为理解,其中:
图1是本发明所述视频格式转换装置的方框图;
图2是构成本发明中图1所示装置一部分的内插单元的方框图;
图3是说明本发明所述视频格式转换装置的流程图。
参见图1,图1表示了本发明所述的视频格式转换装置。如图1所示,这个视频格式转换装置包括有一变字长译码与分路单元1,一解量化单元2,一离散余弦反变换单元3,一运动补偿单元4,一场存贮单元5,一格式转换控制单元6,片式缓冲器7和8,以及一内插单元9。
该变字长译码与分路单元1对从编码器传送来的隔行扫描格式输入数据Vdi进行变字长译码与分路,以便将该输入数据分路成量化系数、运动矢量MV和控制参量。
解量化单元2用来按照由变字长译码与分路单元1所得的解量化系数来执行解量化过程。离散余弦反变换单元3用来对从解量化单元2接收的解量化信号进行离散余弦反变换,从而依照视频运动的估算恢复被位移的帧偏差。
运动补偿单元4利用来自变字长译码与分路单元1由变字长译码与分路而引起的运动矢量MV;来自离散余弦反变换单元3由变字长译码、分路、解量化和离散余弦反变换而引起的位移帧偏差;以及在场存贮单元5中所存贮的前一场的视频信号来执行运动补偿。在运动补偿之后,运动补偿单元4以帧的形式输出经运动补偿的视频信号。
也就是说,运动补偿单元4根据从变字长译码与分路单元1输出的运动矢量MV移动存贮在场存贮单元5中的前一场的视频信号,从而实现运动补偿。作为结果所得到的信号然后被分别地加到由离散余弦反变换单元3输出的相应的视频信号上,这样运动补偿单元4以帧的形式输出经运动补偿的视频信号。
场存贮单元5包括有一偶数场存贮电路51和一奇数场存贮电路52,以便存贮从运动补偿单元4接收的以帧的形式输出的经运动补偿的视频信号。
格式转换控制单元6用来利用由变字长译码与分路所引起的并由变字长译码与分路单元1所输出的运动矢量MV;由变字长译码、分路、解量化和离散余弦反变换所引起的并由离散余弦反变换单元3所输出的位移帧偏差;以及在场存贮单元5中所存贮的前一场的视频信号来控制格式转换。
也就是说,格式转换控制单元6以象素的形式,利用运动矢量MV、来自离散余弦反变换单元4的位移帧偏差信号和在场存贮单元5中所存贮的前一场的视频信号来判断静止状态、包含运动的状态和场景变化。根据判定结果,格式转换控制单元6通过片式缓冲器7来控制内插单元9。
片式缓冲器7按片式收集由格式转换控制单元6按宏块输出的控制信号。然后,该片式缓冲器7以象素的形式向内插单元9输出该结果信号。
另一方面,片式缓冲器8按片式收集由变字长译码与分路单元1按宏块输出的运动矢量MV。然后,该片式缓冲器8以象素的形式向内插单元9输出该结果信号。
内插单元9执行场间内插、场内内插、使用了运动补偿的内插和利用平均值滤波器的内插,以便将隔行扫描格式的视频信号转换为逐行扫描格式的视频信号。
如图2所示,该内插单元9包括片式缓冲器10和11,多路选择器12、19和20,场内内插电路13,场内内插电路14,平均值滤波器15,相关检测器16,场存贮电路17以及运动补偿与内插电路18。
片式缓冲器10按片式接收存贮在场存贮单元5中的偶数场的视频信号,并以行的形式来转换它们。片式缓冲器11按片式接收存贮在场存贮单元5中的奇数场的视频信号,并以行的形式来转换它们。
多路选择器12顺序地选择来自片式缓冲器10和11的以行的形式输出的视频信号。
场内内插电路13包括两个行延迟电路131和132以及与行延迟电路131和132串接的平均值计算电路133。利用这样一个结构,场内内插电路13替换一个被内插的象素值,也就是,当前象素值被从多路选择器12输出的视频信号平均行值所替换。
行延迟电路131对由多路选择器12以行的形式输出的视频信号进行延迟,而行延迟电路132对由行延迟电路131以行的形式输出的视频信号进行延迟。
平均值计算电路133包括一个与多路选择器12和行延迟电路132相连的加法器1331、以及与该加法器1331相连的1/2乘法器1332。利用这样一种结构,该平均值计算电路133计算出由多路选择器12和行延迟电路132输出的视频信号的平均值。
场间内插电路14包括一平均值计算电路142,该电路142利用一个自多路选择器12输出的视频信号和一个自场存贮器172输出的视频信号产生的平均行值替换被内插的象素。
平均值计算电路142包括一个与多路选择器12和场存贮器172相连的加法器1421,以及一个与该加法器1421相连的1/2乘法器1422。利用这样一种结构,平均值计算电路142计算自多路选择器12和场存贮器172输出的视频信号的平均值。
相关检测器16根据来自片式缓冲器7的控制信号使用一来自多路选择器12的视频信号检测被内插象素与同一场中周围象素之间的相关性,并因而控制平均值滤波器15和多路选择器19。
也就是,相关检测器16计算如下a至d的比值;“a”表示与被内插的当前象素垂直相邻的上面和下面第一象素值之和与它们之间的差的比值;“b”表示在一对角线方向上与当前象素相邻的象素值之和与它们之间的差的比值;“c”表示在另一对角线方向上与当前象素相邻的象素值之和与它们之间的差的比值;和“d”表示与被内插的当前象素相邻的上面和下面第三象素值之和与它们之间的差的比值:
a=(X(i,j-1,t)+X(i,j+1,t)/|X(i,j-1,t)-X(i,j+1,t)|
b=(X(i-1,j-1,t)+X(i+1,j+1,t)/|X(i-1,j-1,t)-X(i+1,j+1,t)|
c=(X(i+1,j-1,t)+X(i-1,j+1,t)/|X(i+1,j-1,t)-X(i-1,j+1,t)|
d=(X(i,j-3,t)+X(i,j+3,t)/|X(i,j-3,t)-X(i,j+3,t)|
T7=MIN(a,b,c,d)
按照计算的结果,比值a至d的最小值被判定作为相关值T7。在该相关值T7小于阈值Th8(T7<Th8)的情况下,平均值滤波器15工作。如果不是,则多路选择器19被控制去选择场内内插电路14的输出信号。
在相关检测器16的控制下,通过对与被内插的当前象素相邻的周围象素加权而使平均值滤波器15执行内插操作。
也就是说,该平均值滤波器15计算在当前象素附近得到的各个方向的周围象素值加权后的平均值,并随后将该当前象素值用该结果值替换。为此目的,该平均值滤波器15计算当前场中与被内插的当前象素垂直相邻的上面与下面第一象素值的平均值M(a′)、在与当前象素相邻的左下方和右上方对角线上象素值的平均值M(b′)、在与当前象素相邻的左上方和右下方另一对角线上象素值的平均值M(c′)、以及与当前象素相邻的上面和下面第三象素值的平均值M(d′)。为了加权,还计算了与相关值T7有关的周围象素值的平均值M(T7′)。之后计算出所计算的平均值M(a′)、M(b′)、M(c′)、M(d′)和M(T7′)的总的平均值,并且随后对被内插的当前象素值Y进行替换。上面的计算是利用如下的方程来进行的:
Y=Mean[(Ma′)+M(b′)+M(c′)+M(d′)+M(T7′))/5]
M(a′)=(X(i,j-1,t)+X(i,j+1,t))/2
M(b′)=(X(i-1,j-1,t)+X(i+1,j+1,t))/2
M(c′)=(X(i+1,j-1,t)+X(i-1,j+1,t))/2
M(d′)=(X(i,j-3,t)+X(i,j+3,t))/2
场存贮电路17包括两个相互串接的场存贮器171和172。使用这样一种结构,以帧的形式该场存贮电路17存贮来自多路选择器12的按行输出的视频信号。
根据来自片式缓冲器7和8的控制信号,利用场存贮电路17中所存贮的视频信号,运动补偿与内插电路18执行运动补偿与内插。也就是,在经过片式缓冲器7的从格式转换控制单元6输出一表征包含有运动状态的情况下,该运动补偿与内插电路18执行运动补偿与内插。
在相关检测器16和片式缓冲器7的控制下,多路选择器19用来选择分别由场内内插电路13、场间内插电路14、平均值滤波器15以及运动补偿与内插电路18输出的几个视频信号之中的一个。
也就是,当片式缓冲器7输出一个表示静止状态或表示对每个片式来说位移帧偏差之和小于它的阈值的控制信号时,多路选择器19选择一个从格式转换控制单元6输出的视频信号。当格式转换控制单元6经过片式缓冲器7输出一表示含有运动状态的控制信号时,多路选择器19选择一个由运动补偿与内插电路18输出的视频信号。当相关检测器16输出一个表示该相关值小于它的阈值的控制信号时,多路选择器19还选择一个由平均值滤波器15输出的视频信号。另一方面,在相关检测器16输出一表明该相关值不小于它的阈值的控制信号情况下,多路选择器19选择一个由场内内插电路13输出的视频信号。从多路选择器19所选择的信号随后送至多路选择器20。
多路选择器20交替地选择从多路选择器12输出的视频信号与在内插之后从多路选择器19输出的视频信号的每一行。最后,该多路选择器20将交替选择的视频信号传送到图中未示出的一监视器中。
现在将说明具有上述配置的视频格式转换装置的工作过程。
当接收从一编码器所传送的隔行扫描格式的输入数据Vdi时,变字长译码与分路单元1按宏块对所接收的输入数据Vdi进行变字长译码与分路,从而把输入数据Vdi分离为视频信号、量化系数、运动矢量和控制参数。该变字长译码与分路单元1给出的结果信号被送至解量化单元2,在单元2中再对所接收信号进行解量化。离散余弦反变换单元3接收来自解量化单元2的被解量化的信号并对该所接收信号执行离散余弦反变换,从而根据视频运动的估值来恢复被移位的帧偏差。
另一方面,根据来自变字长译码与分路单元1按宏块输出的运动矢量MV,被存贮在偶数场存贮电路51和奇数场存贮电路52中的前一场的视频信号被移位,并在运动补偿单元4中进行运动补偿。经运动补偿的视频信号被加到由离散余弦反变换单元3所输出的视频信号上,随后被分别存贮在偶数场存贮电路51和奇数场存贮电路52中。
根据静止状态、包含运动的状态和场景变化状态,分别利用由变字长译码与分路单元1输出的运动矢量MV、由离散余弦反变换单元3输出的位移帧偏差以及存贮在偶数场存贮电路51奇数场存贮电路52中的视频信号来控制由格式转换控制单元6按象素进行的各种内插操作。
也就是,格式转换控制单元6判断处在包括当前象素的当前场的前一场和下一场中位于被内插的当前象素同一位置的参考象素值之差T1是否小于它的阈值Th1(T1<Th1),以及在当前场中垂直地邻接该当前场的上面和下面第一象素的平均值与在前一场和下一场中的参考象素值的平均值之差T2是否小于它的阈值Th2(T2<Th2)。当该差值T1和T2被判定分别小于阈值Th1和Th2时,格式转换控制单元6通过片式缓冲器7向多路选择器19提供一控制信号,以便由前一场和下一场中参考象素的平均值替换所要内插的当前场的当前象素值。
换句话说,当下面的方程式被满足时,格式转换控制单元6控制多路选择器19,以便使来自场间内插电路14的输出被用作所要内插的当前场的当前象素值:
T1=|(X(i,j,t-1)-X(i,j,t+1)|
T2=|(X(i,j-1,t)+X(i,j+1,t))/2-(X(i,j,t-1)+X(i,j,t+1))/2|
T1<Th1
T2<Th2
在这种情况下,阈值Th1和Th2是根据对屏幕状态进行观察而确定的经验值。
格式转换控制单元6利用前一场和下一场的被运动补偿的参考象素值、前一场的参考象素值和下一场的参考象素值来判定包含运动的状态,并随后通过片式缓冲器7将一控制信号加到运动补偿与内插电路18和多路选择器19,以便在前一场与下一场的经运动补偿的参考象素值的平均值、前一场的被运动补偿的参考象素值和下一场的被运动补偿的参考象素值之中选择其中的一个来替换被内插的当前场的当前象素值。
也就是,格式转换控制单元6判断前一场和下一场中被运动补偿的参考象素值之差T3是否小于它的阈值Th3(T3<Th3),判断当前场中上面第一象素值与下面第一象素值的平均值与前一场和下一场中被运动补偿的参考象素值的平均值之差T4是否小于它的阈值Th4(T4<Th4)。当偏差T3和T4分别小于阈值Th3和Th4时,格式转换控制单元6向运动补偿与内插电路18以及多路选择器19施加一控制信号,以便用经双向运动补偿的象素值来替换被内插的当前象素值。
换句话说,当下面的方程式被满足时,格式转换控制单元6控制运动补偿与内插电路18用经双向运动补偿的象素值平均值来替换被内插的当前场的当前象素值,并且控制多路选择器19把运动补偿与内插电路18的输出选择作为最终的输出:
T3=|X(i+v-fx,j+v-fy,t-1)-X(i+v-bx,j+v-by,t+1)|
T4=|(X(i,j-1,t)-X(i,j+1,t))/2-X(i+v-fx,j+v-fy,t-1)+X(i+v-bx,j+v-by,t+1))/2|
T3<Th3
T4<Th4
这里,v-fx和v-fy分别表示正向和反向X轴运动矢量,而v-bx和v-by分别表示正向和反向Y轴运动矢量。
在这种情况中,阈值Th3和Th4是通过对屏幕状态的观察而被实验确定的。
格式转换控制单元6还判定在当前场中上面第一象素值和下面第一象素值的平均值与在前一场中经运动补偿的上面和下面第一象素值的平均值之差是否小于它的阈值Th5。当差值T5被判定小于该阈值Th5时,格式转换控制单元6向运动补偿及内插电路18以及多路选择器19提供一控制信号,这样就用在前一场中被运动补偿的参考象素值来替换被内插的当前象素值。
换句话说,当下面的方程式被满足时,格式转换控制单元6控制该运动补偿与内插电路18用在前一场中的被运动补偿的参考象素值来替换被内插的当前场的当前象素值,并控制多路选择器19把运动补偿与内插电路18的输出选择作为最终输出:
T5=|(X(i,j-1,t)-X(i+v-fx,j+v-fy-1,t-1)+X(i,j+1,t)-X(i+v-fx,j+v-fy,t-1))/2|
T5<Th5
在这种情况下,阈值Th5是通过对屏幕状态的观察而实验地确定的一个值。
格式转换控制单元6还判定在当前场中上面和下面第一象素值的平均值与在下一场中经运动补偿的上面和下面第一象素值的平均值之差T6是否小于它的阈值Th6。当该偏差T6被判定是小于阈值Th6时,格式转换控制单元6通过片式缓冲器7向运动补偿与内插电路18以及多路选择器19提供一控制信号,这样就用在下一场中的被运动补偿的参考象素值来替换被内插的当前象素值。
换句话说,当下面方程式被满足时,格式转换控制单元6控制运动补偿与内插电路18用在下一场中的被运动补偿的参考象素值来替换被内插的当前场的当前象素值,并控制多路选择器19把运动补偿与内插电路18的输出选择作为最终输出:
T6=|(X(i,j-1,t)-X(i+v-bx,j+v-by-1,t+1)+X(i,j+1,t)-X(i+v-bx,j+v-by+1,t+1))/2|
T6<Th6
在这种情况中,阈值Th6是通过对屏幕状态的观察而实验地确定的一个值。
在格式转换控制单元6判定当前象素既不是静止象素又不是运动象素的情况下,随后它判定用于包括当前象素的当前片式的宏块中绝对位移帧偏差之和是否小于它的阈值Th7。当该绝对位移帧偏差的和小于该阈值Th7时,格式转换控制单元6通过片式缓冲器7向多路选择器19提供一个控制信号,以便用前一场和下一场中的参考象素值的平均值来替换当前场中的被内插的当前象素值。该阈值Th7是通过对屏幕状态的观察而实验地确定的一个值。
也就是,格式转换控制单元6控制多路选择器19,以便将场间内插电路14的输出用作该被内插的当前场中的当前象素值。
当绝对位移帧偏差之和小于阈值Th7时,格式转换控制单元6通过片式缓冲器7来控制相关检测器16以便检测一相关值。
因为格式转换控制单元6分别为各宏块输出用于控制内插单元9的控制信号,这些控制信号在片式缓冲器7中按程序片集合排序,随后以行的形式被顺序地提供给用于各象素的内插单元9。
类似地,由变字长译码与分路单元1按宏块输出的运动矢量MV在片式缓冲器8中按片式被接收,随后以行的形式被顺序地提供给用于各个象素的内插单元9。
根据来自片式缓冲器7的控制信号和来自片式缓冲器8的运动矢量MV,内插单元9利用存贮在场存贮器171和172中的视频信号来执行它的内插操作。
现在将详细说明内插单元9的内插操作。
从运动补偿单元4输出的视频信号通过片式缓冲器10和11以行的形式而被转换,这样就可以顺序地输出单个的象素。
分别由片式缓冲器10和11以行的形式输出的偶数和奇数场的视频信号在多路选择器12中被交替地选择从而使它们可交替地被输出。
自多路选择器12顺序输出的每一视频信号在场内内插电路13中进行场内内插处理并随后被送至多路选择器19。
也就是,以行的形式自多路选择器12输出的视频信号被顺序地加到行延迟电路131并随后加到行延迟电路132。从行延迟电路132输出的视频信号被加到平均值计算电路133的加法器1331,该加法器1331还接收一来自多路选择器12的视频信号。该加法器1331计算所接收的视频信号的总和并随后将该结果信号传送至1/2乘法器1332,该1/2乘法器1332计算视频信号的平均值。该1/2乘法器1332将该平均值传送到多路选择器19。
在这种情况下,在平均值计算电路133中所计算的象素是在一偶数场或一奇数场中的象素,即,与所要内插的当前象素为同一场的象素。为了计算在包括有当前象素的当前行的上一行和下一行中与当前象素处于同一水平位置的这些象素的平均值,要对每一行进行延迟和处理。
从多路选择器12输出的视频信号在场间内插电路14中进行场间内插处理并随后被传送到多路选择器19。
也就是,该视频信号被加到平均值计算电路142的加法器1421,加法器1421还接收来自场存贮器172的视频信号。该加法器1421计算出所接收视频信号的总和然后将该结果信号传送到1/2乘法器1422,1/2乘法器1422计算出该视频信号的平均值。1/2乘法器1422将该平均值传送到多路选择器19。
在这种情况中,在平均值计算电路142中所计算的象素是分别超前和滞后于包括有当前象素的当前帧的前一帧和下一帧中与所要内插的当前象素处于相同水平和垂直位置上的象素。为了计数这些象素的平均值,要对每一帧进行延时和处理。
从多路选择器12输出的视频信号还被加到相关检测器16被用于相关值T7的检测。
也就是,当相关检测器16通过片式缓冲器7从格式转换控制单元6接收一个用来执行相关检测的控制信号时,为了检测当前象素与周围象素的相关性,对于来自多路选择器12以行形式输出的视频信号是利用下面的方程式来进行计算的:
a=(X(i,j-1,t)+X(i,j+1,t))/|X(i,j-1,t)-X(i,j+1,t)|
b=(X(i-1,j-1,t)+X(i+1,j+1,t))/|X(i-1,j-1,t)+X(i+1,j+1,t)|
c=(X(i+1,j-1,t)+X(i-1,j+1,t))/|X(i+1,j-1,t)+x(i-1,j+1,t)|
d=(X(i,j-3,t)+X(i,j+3,t))/|X(i,j-3,t)-X(i,j+3,t)|
T7=MIN(a,b,c,d)
参照上述方程式,相关检测器16计算在垂直方向与被内插的当前象素相邻的上面和下面第一象素值之和与它们的差的比值a,在一对角线上与当前象素相邻的象素值之和与它们的差的比值b,在另一对角线上与当前象素相邻的象素值之和与它们的差的比值c,和与当前象素相邻的上面和下面第三象素值之和与它们的差的比值d。之后,相关检测器16确定所计算的比值a、b、c和d中的最小的一个比值作为相关值T7。
相关检测器16随后将被确定的相关值T7与阈值Th8进行比较。当相关值T7小于阈值Th8时,相关检测器16工作,以使平均值滤波器15动作,以使多路选择器19选择平均值滤波器15的输出信号。当相关值T7不小于阈值Th8时,相关检测器16控制多路选择器19选择执行场内内插任务的场内内插电路14的输出信号。
阈值Th8是一个通过对屏幕状态进行观察而实验确定的值。
来自多路选择器12的视频信号还被提供给平均值滤波器15,平均值滤波器15在相关检测器16的控制下,对被接收的信号执行平均值滤波处理。从平均值滤波器15得到的结果信号被传送给多路选择器19。
也就是,当平均值滤波器15接收了一来自相关检测器16用来执行平均值滤波的控制信号时,根据下面的方程式利用从多路选择器12所接收的周围象素值而执行一基于加权的内插:
Y=Mean[M(a′)+M(b′)+M(c′)+M(d′)+M(T7′))/5]
这里 M(a′)=(X(i,j-1,t)+X(i,j+1,t))/2
M(b′)=(X(i-1,j-1,t)+X(i+1,j+1,t))/2
M(c′)=(X(i+1,j-1,t)+X(i-1,j+1,t))/2
M(d′)=(X(i,j-3,t)+X(i,j+3,t))/2
根据上述方程式,平均值滤波器15计算在当前场中的上面和下面第一象素值的平均值M(a′)、在一对角线方向上与当前象素相邻的左下方和右上方象素值的平均值M(b′)、在另一对角线方向上与当前象素相邻的左上方和右下方象素值的平均值M(c′)、在与当前象素垂直方向上相邻的上面和下面第三象素值的平均值M(d′),以及与相关值T7有关的周围象素值的平均值M(T7′)。之后,平均值滤波器15计算所计算的平均值M(a′)、M(b′)、M(c′)、M(d′)和M(T7′)的总的平均值,并且随后用它替换所需内插的当前象素值Y。
在总平均值的推导中要加上与相关值T7有关的周围象素的平均值M(T7′)的原因是考虑到要加权。
以行的形式由多路选择器12输出的视频信号被以帧的方式存贮在场存贮电路17的帧存贮器171中。帧存贮器171将所存贮的视频信号传送到帧存贮器172,以便接收下一帧的视频信号。存贮在帧存贮器172中的视频信号被用来在运动补偿与内插电路18中进行运动补偿与内插。
另一方面,当在前一场与下一场中被运动补偿的参考象素值之差T3以及在当前场中上面和下面第一象素值的平均值与在前一场和下一场中的被运动补偿的参考象素值的平均值之差T4分别小于它们的阈值Th3和Th4时,格式转换控制单元6通过片式缓冲器7控制运动补偿与内插电路18执行双向运动补偿。为了双向运动补偿,所内插的当前象素值Y由在前一场和下一场中的被运动补偿的参考象素值的平均值来替换,如下面方式程式所表示的:
Y=|(X(i+v-fx,j+v-fy,t-1)+X(i+v-bx,j+v-by,t+1))/2|
当在当前一场中的上面和下面第一象素值的平均值与在前一场中被运动补偿的上面和下面第一象素值的平均值之差T5小于它的阈值Th5时,格式转换控制单元6通过片式缓冲器7控制运动补偿与内插电路18执行正向的运动补偿。对于正向运动补偿,所要内插的当前象素值Y由在前一场中的被运动补偿的参考象素值来替换,如下面方程式所表示的:
Y=X(i+v-fx,j+v-fy,t-1)
当在当前象素中的上面和下面第一象素值的平均值与在下一场中的被运动补偿的上面和下面第一象素值的平均值之差T6小于它的阈值Th6时,格式转换控制单元6通过片式缓冲器7去控制运动补偿与内插电路18执行反向运动补偿。对于反向运动补偿,所要内插的当前象素值Y由下一场中的被运动补偿的参考象素值所替换,如下面方程式所表示的:
Y=X(i+v-bx,j+v-by,t+1)
在相关检测器16和格式转换控制单元6的控制下,来自场内内插电路13、场间内插电路14和平均值滤波器15的经内插的象素值被有选择地从多路选择器19传送到多路选择器20。
也就是,当格式转换控制单元6检测到静止状态时,多路选择器19选择场间内插电路14的输出。当格式转换控制单元6检测到包含运动的状态时,多路选择器19还选择运动补偿与内插电路18的输出。当格式转换控制单元6判定位移帧偏差的绝对值之和小于阈值Th7时,多路转换器19还选择场间内插电路14的输出,当相关检测器16判定相关值T7小于阈值Th8时,多路选择器19还选择平均值滤波器15的输出,以及当相关检测器16判定相关值T7不小于阈值Th8时,多路选择器19还选择场内内插电路13的输出。所选择的信号被送至多路选择器20。
对于从多路选择器19输出的被内插的每一行视频信号以及对于从多路选择器12输出的每一行视频信号在多路选择器20中以行的形式被交替地选择并最后传送到图中未示出的监视器。
现在,结合图3来说明根据本发明在格式转换控制单元6中所执行的视频转换。
首先,要判断被内插的当前象素是否是一静止象素。在当前象素是静止象素的情况下,执行将当前象素值由前一场和下一场中的参考象素值的平均值所替换的内插。对静止象素的判断和内插是在步骤S1至S3中执行的。
也就是,在步骤S1中计算分别超前和滞后于包含当前象素的当前场的前一场和下一场中参考象素值之差T1。还计算当前场中上面和下面第一象素值的平均值与前一场和下一场中参考象素值的平均值之差T2。这些计算是使用下面方程式来实现的:
T1=|(X(i,j,t-1)-X(i,j,t+1)|
T2=|(X(i,j-1,t)+X(i,j+1,t))/2-(X(i,j,t-1)+X(i,j,t+1))/2|
在这些计算之后,在步骤S2中,判断被计算的差值T1和T2是否分别小于阈值Th1和Th2。当差值T1和T2被判定分别小于阈值Th1和Th2时,在步骤S3中执行静止象素的内插。也就是,在步骤S3中利用下面的方程式将所需内插的当前象素的象素值Y由在前一场和下一场中的参考象素值的平均值所替换:
Y=(X(i,j,t-1)+X(i,j,t+1))/2
换句话说,当当前象素是静止象素时,前一场或下一场的参考象素值可被用来代替在前一场和下一场的参考象素平均值。在执行步骤S3之后就完成了视频格式转换过程。
当差值T1和T2未被判定为小于它们的阈值Th1和Th2时,则要判定当前象素是否是一能够被运动补偿的运动象素。在该象素是这样一种运动象素的情况下,则通过运动补偿对它进行内插。这些运动象素的判断和内插是在步骤S4至S12中进行的。
使用前一场和下一场中经运动补偿的参考象素值对当前象素的内插可以通过有选择地执行下述三个过程而实现,即:一双向运动补偿过程,在该过程中,根据前一场和下一场的被运动补偿的参考象素值,被内插的当前象素值是由前一场和下一场的被运动补偿的参考象素值的平均值所替换;一正向运动补偿过程,根据在前一场中的被运动补偿的参考象素值,当前象素值由在前一场中被运动补偿的参考象素值所替换;和一反向运动补偿过程,根据在下一场中的被运动补偿的参考象素值,当前象素值由在下一场中的被运动补偿的参考象素值所替换。
也就是,步骤S4执行下面的计算:计算前一场和下一场中被运动补偿的参考象素值之差T3以及计算当前场中的上面和下面第一象素值的平均值与前一场和下一场中的被运动补偿的参考象素值的平均值之差T4。这些计算是利用下面的方程式来完成的:
T3=|X(i+v-fx,j+v-fy,t-1)-X(i+v-bx,j+v-by,t+1)|
T4=|(X(i,j-1,t)-X(i,j+1,t))/2-X(i+v-fx,j+v-fy,t-1)+X(i+v-bx,j+v-by,t+1))/2|
在完成上述计算之后,步骤S5执行双向运动补偿判断。在步骤S5中,判断差值T3和T4是否分别小于它们的阈值Th3和Th4。
当该差值T3和T4被判定为分别小于阈值Th3和Th4时,在步骤S6中则执行一使用双向运动补偿的内插。也就是,被内插的当前象素的象素值Y被在前一场和下一场中的被运动补偿的参考象素值的平均值所替换,在步骤S6中使用了下面方程式:
Y=(X(i+v-fx,j+v-fy,t-1)+X(i+v-bx,j+v-by,t+1))/2
在执行步骤S6之后,则完成了视频格式转换过程。
在双向运动补偿判断步骤S5中当差值T3和T4没有被判定为小于它的阈值Th3和Th4时,则在步骤S7至S9中执行正向运动补偿。
也就是,步骤7执行当前场中的上面和下面第一象素值的平均值与前一场中的上面和下面第一象素的被运动补偿值的平均值之差T5的计算。该计算是利用下面方程式完成的:
T5=|(X(i,j-1,t)-X(i+v-fx,j+v-fy-1,t-1)+X(i,j+1,t)-X(i+v-fx,j+v-fy,t-1))/2|
在完成上述计算之后,则执行正向运动补偿判断步骤S8。在步骤S8中,判断该差值T5是否小于它的阈值Th5。
当该差值T5被判定为小于阈值Th5时,在步骤S9中执行一使用正向运动补偿的内插。也就是,当前象素值Y被在前一场中经运动补偿的参考象素值所替换,在步骤S9中使用了下面的方程式:
Y=X(i+v-fx,j+v-fy,t-1)
在执行了步骤S9之后,则完成了视频格式转换过程。
在正向运动补偿判断步骤S8中,当该差值T5未被判定为小于它的阈值Th5时,则在步骤S10至S12中执行反向运动补偿。
也就是,步骤10执行计算当前场中的上面和下面第一象素值的平均值与下一场中上面和下面第一象素的被运动补偿值的平均值之差T6。该计算是利用下面方程式来实现的:
T6=|(X(i,j-1,t)-X(i+v-bx,j+v-by-1,t+1)+X(i,j+1,t)-X(i+v-bx,j+v-by+1,t+1))/2|
在完成上述计算之后,执行反向运动补偿判断步骤S11。在步骤S11中,判断该差值T6是否小于它的阈值Th6。
当该差值T6被判定是小于阈值Th6时,在步骤S12中执行一使用反向运动补偿的内插。也就是,当前象素值Y被在下一场中经运动补偿的参考象素值所替换,在步骤S12中使用下面的方程式:
Y=X(i+v-bx,j+v-by,t+1)
在执行步骤S12之后,则完成了视频格式转换过程。
在反向运动补偿判断步骤S11中,当差值T6未被判定为小于它的阈值Th6时,该过程转到位移帧偏差判断步骤。
也就是,在当前象素既不是静止象素也不是运动象素的情况下,执行步骤S13的位移帧偏差判断步骤。在步骤S13中,判定包括当前象素的当前片式中宏块的位移帧偏差的绝对值之和是否小于它的阈值Th7。
当该位移帧偏差的绝对值之和被判定为小于它的阈值Th7时,则在步骤S14中执行一场间内插。也就是,当前象素值Y被在前一场和下一场中的参考象素的平均值所替换,在步骤S14中使用了下面的方程式:
Y=(X(i,j,t-1)+X(i,j,t+1))/2
执行了步骤S14之后,则完成了视频转换过程。
在位移帧偏差判断步骤S13中,当位移帧偏差的绝对值之和未被判定为小于它的阈值Th7时,在步骤S15至S18中利用场内象素值执行用于内插当前象素的场内内插。
也就是,步骤15执行检测一表示当前象素与周围象素相关性的相关值T7。之后,执行一相关判断以检查该被检测的相关值T7是否小于它的阈值Th8。
在步骤S15,相关值T7是通过计算在当前场中的上面和下面第一象素值之和与它们之间的绝对偏差的比值a;在一对角线方向上与当前象素相邻的象素值之和与它们之间的绝对偏差的比值b;在另一对角线方向上与当前象素相邻的象素值之和与它们之间的绝对偏差的比值c;和与当前象素相邻的上面和下面第三象素值之和与它们之间的绝对偏差的比值d;以及确定所计算的比值a、b、c和d中的最小值作为相关值T7来检测的,步骤15使用了下面的方程式:
a=(X(i,j-1,t)+X(i,j+1,t))/|X(i,j-1,t)-X(i,j+1,t)|
b=(X(i-1,j-1,t)+X(i+1,j+1,t))/|X(i-1,j-1,t)+X(i+1,j+1,t)|
c=(X(i+1,j-1,t)+X(i-1,j+1,t))/|X(i+1,j-1,t)+X(i-1,j+1,t)|
d=(X(i,j-3,t)+X(i,j+3,t))/|X(i,j-3,t)-X(i,j+3,t)|
T7=MIN(a,b,c,d)
在确定了相关值T7之后,在步骤S16中进行相关判断以便检查该相关值T7是否小于它的阈值Th8。当相关值T7是小于它的阈值Th8时,在步骤S17中执行用来使用周围象素值实现内插的平均值滤波步骤。之后,完成了视频格式转换过程。
在步骤S17中的平均值滤波过程是通过计算在当前场中上面和下面第一象素值的平均值M(a′);在与当前象素相邻的左下方和右上方一对角线上象素值的平均值M(b′);在与当前象素相邻的左上方和右下方另一对角线象素值的平均值M(c′);和与当前象素垂直相邻的上面和下面第三象素值的平均值M(d′)来进行的。还对与相关值T7有关的周围象素值的平均值M(T7′)进行了计算。之后,对所计算的平均值M(a′)、M(b′)、M(c′)、M(d′)和M(T7′)的总的平均值进行了计算并随后替换所要内插的当前象素值Y。上述的计算利用了下面的方程式:
Y=Mean[(M(a′)+M(b′)+M(c′)+M(d′)+M(T7′))/5]
M(a′)=(X(i,j-1,t)+X(i,j+1,t))/2
M(b′)=(X(i-1,j-1,t)+X(i+1,j+1,t))/2
M(c′)=(X(i+1,j-1,t)+X(i-1,j+1,t))/2
M(d′)=(X(i,j-3,t)+X(i,j+3,t))/2
在步骤16中当相关值T7未被判定小于它的阈值Th8时,在步骤S18中进行一利用场内行平均的内插。据此,完成了视频格式转换。
也就是,被内插的当前象素值Y是被按下面方程式计算的在同一场中上面和下面第一象素的象素值的平均值来替换:
Y=(X(i,j-1,t)+X(i,j+1,t))/2
由上面的描述可清楚地看到,根据本发明对每个象素都可实现内插。因此,即使当静止象素和包含运动的象素同时包括在一宏块中时也可能完成精确的内插。
虽然本发明只公开了最佳实施例,但本领域的普通技术人员在不违背如在权利要求中所公开的本发明的范围和精神的原则下也可以进行各种修改、补充和替代。
Claims (19)
1、一种视频格式转换装置包括:
用来利用变字长译码与分路信号以及解量化与离散余弦反变换信号来执行运动补偿的运动补偿装置[4];
用来对由运动补偿装置[4]输出的视频信号进行存贮并可将所存贮的视频信号传送到运动补偿装置[4]的场存贮装置[5];
用来利用变字长译码与分路信号、解量化与离散余弦反变换信号以及存贮在场存贮装置[5]中的视频信号去控制格式转换的格式转换控制装置[6];
用来将自格式转换控制装置[6]输出的用于每个宏块的控制信号转换成为用于每个象素的控制信号的第一片式缓冲装置[7];
用来将用于每个宏块的变字长译码与分路信号转换成为用于每个象素的变字长译码与分路信号的第二片式缓冲器[8];和
用来根据来自第一和第二片式缓冲器[7]、[8]的输出信号利用来自运动补偿装置[4]的视频信号执行内插的内插装置[9]。
2、根据权利要求1所述的一种视频格式转换装置,其中所述的场存贮装置[5]包括:
用来存贮自运动补偿装置[4]顺序地输出的视频信号中偶数场视频信号的偶数场存贮装置[51];和
用来存贮自运动补偿装置[4]顺序地输出的视频信号中奇数场视频信号的奇数场存贮装置[52]。
3、根据权利要求1所述的一种视频格式转换装置,其中所述的内插装置[9]包括:
将自场存贮装置[5]输出的偶数场视频信号和奇数场视频信号分别转换成为用于各个行的视频信号的第三和第四片式缓冲装置[10]、[11];
用来对来自第三和第四片式缓冲装置[10]、[11]的视频信号进行多路选择的第一多路选择器[12];
用来通过利用来自第一多路选择器[12]的视频信号,由与当前象素处在同一场的与当前象素相邻的上面和下面象素值的平均值来替换所需内插的当前象素值的场内内插装置[13];
用来利用来自第一多路选择器[12]的视频信号,由位于和当前象素相同位置、分别在超前于包括当前象素的当前场前一场和滞后于当前场的下一场中的参考象素值的平均值来替换当前象素值的场间内插装置[14];
用来根据来自第一片式缓冲装置[7]的输出信号使用来自第一多路选择器[12]的视频信号检测当前象素与和当前象素处在同一场中的周围象素的相关性的相关检测装置[16];
用来在相关检测装置[16]的控制下利用周围象素的值来执行当前象素内插的平均值滤波器[15];
用来存贮自第一多路选择器[12]以帧形式顺序输出的视频信号的场存贮装置[17];
用来根据从第一片式缓冲装置[7]输出的信号和从第二片式缓冲装置[8]输出的信号使用在场存贮装置[17]中存贮的视频信号来执行运动补偿与内插的运动补偿与内插装置[18];和
用来在相关检测装置[16]和第一片式缓冲装置[7]的控制下有选择地输出来自场内内插装置[13]、场间内插装置[14]、平均值滤波器[15]以及运动补偿与内插装置[18]的被内插视频信号中的一个视频信号的第二多路选择器[19]。
4、根据权利要求3所述的一种视频格式转换装置,其中所述的场存贮装置[17]包括相互串接的一对场存贮器[171]、[172]。
5、根据权利要求3所述的一种视频格式转换装置,其中所述的场内内插装置[13]包括:
用来存贮以行的形式从第一多路选择器[12]顺序输出的视频信号的第一行延迟装置[131];
用来存贮以行形式从第一行延迟装置[131]顺序输出的视频信号的第二行延迟装置[132];和
用来计算分别从第一多路选择器[12]和第二行延迟装置[132]输出的视频信号的平均值的平均值计算装置[133]。
6、根据权利要求3所述的一种视频格式转换装置,其中所述的场间内插装置[14]包括用来计算分别由第一多路选择器[12]和场存贮器[17]输出的视频信号的平均值的平均值计算装置[142]。
7、根据权利要求5所述的一种视频格式转换装置,其中所述的平均值计算装置[133]包括:
用来将一自第二行延迟装置[132]输出的信号加到一自第一多路选择器[12]输出的信号上的加法器[1331];和
用来将自加法器[1331]输出的信号乘以1/2的1/2乘法器[1332]。
8、根据权利要求6所述的一种视频格式转换装置,其中所述的平均值计算装置[142]包括:
用来将一自场存贮器[17]输出的信号加到一自第一多路选择器[12]输出的信号上的加法器[1421];和
用来将加法器[1421]输出的信号乘以1/2的1/2乘法器[1422]。
9、一种视频格式转换方法,包括:
一静止状态判断与内插步骤[S1~S3];它判断被内插的当前象素是否是一静止象素,并当该当前象素是静止象素时,由和当前象素处于同一位置、分别在超前于包括当前象素的当前场的前一场和滞后于当前场的下一场中的参考象素值的平均值来替换当前象素;
一包含运动状态的判断与内插步骤[S4~S12];它判断当前象素是否是一包含运动的象素,并且当该当前象素是包含运动的象素时通过一运动补偿内插该当前象素;
当该当前象素既不是静止象素又不是包含运动的象素进行一位移帧偏差判断步骤[S13],它判断位移帧偏差是否小于一预置阈值;
当位移帧偏差小于预置阈值时,执行由前一场和下一场中的参考象素值的平均值来替换当前象素的场间内插步骤[S14];和
当位移帧偏差不小于预置阈值时,执行由场内象素值来替换当前象素值的场内内插步骤[S15~S18]。
10、根据权利要求9所述的一种视频格式转换方法,其中所述的静止状态判断与内插步骤[S1~S3]包括:
计算在前一场和下一场中参考象素值之差以及与当前象素垂直相邻的上面和下面第一象素的平均值与在前一场和下一场中参考象素的平均值之差的计算步骤[S1];
判断所计算的差值是否分别小于预置的阈值的静止状态判断步骤[S2];
当差值分别小于阈值时,执行由在前一场和下一场中的参考象素值的平均值替换当前象素值的静止象素内插步骤[S3];和
当两个差值不小于阈值时,转到执行包含运动状态的判断与内插步骤[S4~S12]。
11、根据权利要求10所述的一种视频格式转换方法,其中所述的静止象素内插步骤S3是通过由前一场的参考象素值替换当前象素值完成的。
12、根据权利要求10所述的一种视频格式转换方法,其中所述的静止象素内插步骤[S3]是通过由下一场的参考象素值替换当前象素值完成的。
13、根据权利要求9所述的一种视频格式转换方法,其中所述的包含运动状态的判断与内插步骤[S4~S12]包括:
根据前一场和下一场的被运动补偿的参考象素值由前一场和下一场的被运动补偿的参考象素值的平均值来替换当前象素值的双向运动补偿步骤[S4~S6];
根据在前一场中的被运动补偿的参考象素值由在前一场中的被运动补偿的参考象素值来替换当前象素值的正向运动补偿步骤[S7~S9];和
根据在下一场中的被运动补偿的参考象素值由在下一场中的被运动补偿的参考象素值来替换当前象素值的反向运动补偿步骤[S10~S12]。
14、根据权利要求9所述的一种视频格式转换方法,其中所述的场内内插步骤[S15~S18]包括:
计算表明当前象素和周围象素的相关性的一相关值并判断该计算的相关值是否小于一预置阈值的一相关判断步骤[S15、S16];
当该相关值小于阈值时用周围象素内插当前象素的一平均值滤波步骤[17];和
通过场内行平均数内插当前象素的场内行平均值内插步骤[S18]。
15、根据权利要求13所述的一种视频格式转换方法,其中所述的双向运动补偿步骤[S4~S6]包括:
计算在前一场和下一场中被运动补偿的参考象素值之差和在当前场中上面和下面第一象素值的平均值与在前一场和下一场中被运动补偿的参考象素值的平均值之差的一计算步骤[S4];
判断该差值是否分别小于预置的阈值的一双向运动补偿判断步骤[S5];
当该差值分别小于阈值时由在前一场和下一场中的被运动补偿的参考象素值的平均值来替换当前象素值的一双向运动补偿内插步骤[S6];和
当两差值不小于阈值时转到正向运动补偿步骤[S7~S9]。
16、根据权利要求13所述的一种视频格式转换方法,其中所述的正向运动补偿步骤包括:
计算在当前场中上面和下面第一象素值的平均值与在前一场中上面和下面第一象素的被运动补偿值的平均值之差并判断该差值是否小于一预置阈值的正向运动补偿判断步骤[S7、S8];
当该差值小于阈值时由在前一场中的被运动补偿的参考象素值来替换当前象素的一正向运动补偿内插步骤[S9];和
当该差值不小于阈值时转到反向运动补偿步骤[S10~S12]。
17、根据权利要求13所述的一种视频格式转换方法,其中所述的反向运动补偿步骤[S10~S12]包括:
计算在当前场中上面和下面第一象素值的平均值与在下一场中上面和下面第一象素的被运动补偿值的平均值之差并判断该差值是否小于一预置阈值的反向运动补偿判断步骤[S10、S11];
当该差值小于阈值时由在下一场中运动补偿的参考象素值来替换该当前象素值的反向补偿内插步骤[S12];和
当该差值不小于阈值时转到位移帧偏差判断步骤[S13]。
18、根据权利要求14所述的一种视频格式转换方法,其中所述的相关判断步骤[S16]包括如下步骤:
计算在当前场中的上面和下面第一象素值的总和与它们之间的绝对偏差的比值;
计算在与当前象素相邻的右上方和左下方一对角线上第一象素值的总和与它们之间的绝对偏差的比值;
计算在与当前象素相邻的左上方和右下方另一对角线上第一象素值的总和与它们之间的绝对偏差的比值;
计算与当前象素垂直相邻的上面和下面第三象素的总和与它们之间绝对偏差的比值;和
确定在所有被计算的比值中的最小值作为相关值;和
判断所确定的相关值是否小于一预置的阈值。
19、根据权利要求14所述的一种视频格式转换方法,其中所述的平均值滤波步骤[S17]包括如下步骤:
计算在当前场中上面和下面第一象素值的平均值;
计算在与当前象素相邻的右上方和左下方一对角线上第一象素值的平均值;
计算在与当前象素相邻的左上方和右下方另一对角线上第一象素的平均值;
计算与当前象素垂直相邻的上面和下面第三象素值的平均值;
计算与相关值有关的周围象素值的平均值;和
计算所有被计算的平均值的总的平均值并由所计算的总的平均值来替换当前象素值。
Applications Claiming Priority (8)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR7870/1993 | 1993-05-07 | ||
KR1019930007870A KR0129214B1 (ko) | 1993-05-07 | 1993-05-07 | 고화질 티브이의 디코더 |
KR1019930010115A KR960012490B1 (ko) | 1993-06-04 | 1993-06-04 | 고선명티브이의 영상포맷 변환 장치 및 방법 |
KR10115/1993 | 1993-06-04 | ||
KR1019930015431A KR100292474B1 (ko) | 1993-08-07 | 1993-08-07 | 비월주사/순차주사 변환 방법 및 장치 |
KR15431/1993 | 1993-08-07 | ||
KR16033/1993 | 1993-08-18 | ||
KR1019930016033A KR960007206B1 (ko) | 1993-08-18 | 1993-08-18 | 영상디코더와 결합된 순차주사식 변환장치 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN1100870A true CN1100870A (zh) | 1995-03-29 |
CN1110198C CN1110198C (zh) | 2003-05-28 |
Family
ID=27482991
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN94105360A Expired - Lifetime CN1110198C (zh) | 1993-05-07 | 1994-05-07 | 视频格式转换装置和方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US5428397A (zh) |
EP (1) | EP0624032B1 (zh) |
CN (1) | CN1110198C (zh) |
DE (1) | DE69425346D1 (zh) |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1096184C (zh) * | 1995-12-30 | 2002-12-11 | 三星电子株式会社 | 运动图像检测方法 |
CN1326399C (zh) * | 2004-04-29 | 2007-07-11 | 华亚微电子(上海)有限公司 | 隔行视频流到逐行视频流的转换方法与系统 |
CN100403787C (zh) * | 2004-03-31 | 2008-07-16 | 株式会社东芝 | 录像装置和录像方法 |
CN100466714C (zh) * | 2004-05-11 | 2009-03-04 | 奇景光电股份有限公司 | 具图样识别单元的解交错装置及其方法 |
CN101277398B (zh) * | 2007-03-26 | 2010-05-26 | 凌阳科技股份有限公司 | 具有适应性边缘门坎值的反交错系统及方法 |
CN101283598B (zh) * | 2005-07-28 | 2011-01-26 | 汤姆森许可贸易公司 | 用于产生内插帧的设备 |
CN101341757B (zh) * | 2004-12-16 | 2011-12-07 | 英特尔公司 | 本地宏块信息缓冲器 |
CN101378516B (zh) * | 2007-08-31 | 2012-05-23 | 瑞昱半导体股份有限公司 | 影像位移检测方法与装置 |
US9350963B2 (en) | 2007-10-29 | 2016-05-24 | Via Technologies, Inc. | Method for adjusting color values of pixels |
CN110248132A (zh) * | 2019-05-31 | 2019-09-17 | 成都东方盛行电子有限责任公司 | 一种视频帧率插值方法 |
Families Citing this family (48)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR950006768B1 (ko) * | 1992-12-31 | 1995-06-22 | 현대전자산업주식회사 | 라스터 포멧 콘버터 회로 |
US5689305A (en) * | 1994-05-24 | 1997-11-18 | Kabushiki Kaisha Toshiba | System for deinterlacing digitally compressed video and method |
JP3193833B2 (ja) * | 1994-07-25 | 2001-07-30 | ケイディーディーアイ株式会社 | 動ベクトル処理装置 |
US5717466A (en) * | 1995-06-29 | 1998-02-10 | Motorola, Inc. | Circuit for interpolating scan lines of a video signal and method of using same |
US5742350A (en) * | 1995-06-29 | 1998-04-21 | Motorola, Inc. | Video system performing non-uniform interpolation of color space signals and method of using same |
US5532751A (en) * | 1995-07-31 | 1996-07-02 | Lui; Sam | Edge-based interlaced to progressive video conversion system |
KR0182930B1 (ko) * | 1996-02-17 | 1999-05-01 | 김광호 | 디스플레이 장치의 주사 방식 변환 장치 및 변환방법 |
DE69616746T2 (de) * | 1996-03-20 | 2004-10-14 | Stmicroelectronics S.R.L., Agrate Brianza | Speicherbedarfverringerung in einem SQTV-Prozessor durch ADPCM-Kompression |
US5894329A (en) * | 1996-06-20 | 1999-04-13 | International Business Machines Corporation | Display control unit for converting a non-interlaced image into an interlaced image and displaying the converted image data |
JPH1098662A (ja) * | 1996-09-20 | 1998-04-14 | Pioneer Electron Corp | 自発光表示器の駆動装置 |
EP0858206B1 (en) * | 1997-02-06 | 2005-10-19 | STMicroelectronics S.r.l. | Method for memory requirement reduction in a video decoder |
US6141056A (en) * | 1997-08-08 | 2000-10-31 | Sharp Laboratories Of America, Inc. | System for conversion of interlaced video to progressive video using horizontal displacement |
US6262773B1 (en) | 1997-09-15 | 2001-07-17 | Sharp Laboratories Of America, Inc. | System for conversion of interlaced video to progressive video using edge correlation |
JP3820026B2 (ja) * | 1998-03-09 | 2006-09-13 | パイオニア株式会社 | 走査線補間方法 |
US6340990B1 (en) * | 1998-03-31 | 2002-01-22 | Applied Intelligent Systems Inc. | System for deinterlacing television signals from camera video or film |
US6587158B1 (en) * | 1998-07-23 | 2003-07-01 | Dvdo, Inc. | Method and apparatus for reducing on-chip memory in vertical video processing |
US7536706B1 (en) | 1998-08-24 | 2009-05-19 | Sharp Laboratories Of America, Inc. | Information enhanced audio video encoding system |
US6243140B1 (en) * | 1998-08-24 | 2001-06-05 | Hitachi America, Ltd | Methods and apparatus for reducing the amount of buffer memory required for decoding MPEG data and for performing scan conversion |
JP2000184216A (ja) * | 1998-12-11 | 2000-06-30 | Mitsubishi Electric Corp | 画像処理装置 |
US6434197B1 (en) | 1999-01-07 | 2002-08-13 | General Instrument Corporation | Multi-functional transcoder for compressed bit streams |
JP3857829B2 (ja) * | 1999-03-09 | 2006-12-13 | ペンタックス株式会社 | 画像圧縮装置および画像伸張装置 |
JP3709092B2 (ja) * | 1999-03-09 | 2005-10-19 | ペンタックス株式会社 | 画像圧縮装置および画像伸張装置 |
GB2351406A (en) * | 1999-06-21 | 2000-12-27 | Sony Uk Ltd | Video data compression with scene change detection |
KR100364762B1 (ko) * | 2000-06-22 | 2002-12-16 | 엘지전자 주식회사 | 순차주사 영상 변환 장치 및 방법과, 그를 이용한 수직주사율 변환 장치 |
JP4040826B2 (ja) * | 2000-06-23 | 2008-01-30 | 株式会社東芝 | 画像処理方法および画像表示システム |
US7647340B2 (en) | 2000-06-28 | 2010-01-12 | Sharp Laboratories Of America, Inc. | Metadata in JPEG 2000 file format |
GB2368869B (en) * | 2000-10-14 | 2004-05-19 | Roy Basil Walter Lowndes | Vehicle halting device |
US20040189867A1 (en) * | 2001-06-08 | 2004-09-30 | Anna Pelagotti | Method and system for displaying a video frame |
US6847405B2 (en) * | 2001-09-14 | 2005-01-25 | Sony Corporation | Motion-adaptive de-interlacing method and system for digital televisions |
EP1444836A1 (en) * | 2001-10-03 | 2004-08-11 | Koninklijke Philips Electronics N.V. | Detecting static areas |
EP1357756A1 (en) * | 2002-04-23 | 2003-10-29 | Monolith Co., Ltd. | Image coding method and apparatus, and image decoding method and apparatus |
US7480010B2 (en) * | 2002-09-04 | 2009-01-20 | Denace Enterprise Co., L.L.C. | Customizable ASIC with substantially non-customizable portion that supplies pixel data to a mask-programmable portion in multiple color space formats |
US7202908B2 (en) * | 2002-09-04 | 2007-04-10 | Darien K. Wallace | Deinterlacer using both low angle and high angle spatial interpolation |
US7136108B2 (en) * | 2002-09-04 | 2006-11-14 | Darien K. Wallace | Segment buffer loading in a deinterlacer |
US7218355B2 (en) * | 2002-09-04 | 2007-05-15 | Darien K. Wallace | Deinterlacer using block-based motion detection |
US7782398B2 (en) * | 2002-09-04 | 2010-08-24 | Chan Thomas M | Display processor integrated circuit with on-chip programmable logic for implementing custom enhancement functions |
WO2004068411A1 (ja) * | 2003-01-31 | 2004-08-12 | Fujitsu Limited | 平均値フィルタ装置およびフィルタリング方法 |
US7075581B1 (en) * | 2003-06-03 | 2006-07-11 | Zoran Corporation | Interlaced-to-progressive scan conversion based on film source detection |
DE10331803A1 (de) * | 2003-07-14 | 2005-02-17 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Vorrichtung und Verfahren zum Umsetzen in eine transformierte Darstellung oder zum inversen Umsetzen der transformierten Darstellung |
US20050060421A1 (en) * | 2003-07-16 | 2005-03-17 | Musunuri Chowdhary V. | System and method for providing immersive visualization at low bandwidth rates |
US7643088B2 (en) * | 2004-12-01 | 2010-01-05 | Hewlett-Packard Development Company, L.P. | Artifact reduction in a digital video |
WO2007063730A1 (ja) * | 2005-12-01 | 2007-06-07 | Nec Corporation | 画像処理装置、画像伝送装置及び方法並びにそのプログラム及び表示装置 |
JP2009077293A (ja) * | 2007-09-21 | 2009-04-09 | Toshiba Corp | 映像信号斜め補間装置および映像信号斜め補間方法 |
US8345157B2 (en) * | 2007-09-28 | 2013-01-01 | Canon Kabushiki Kaisha | Image processing apparatus and image processing method thereof |
TWI392114B (zh) * | 2008-03-04 | 2013-04-01 | Huga Optotech Inc | 發光二極體及其形成方法 |
US8170370B2 (en) * | 2008-12-04 | 2012-05-01 | Cyberlink Corp. | Method and apparatus of processing interlaced video data to generate output frame by blending deinterlaced frames |
TWI441516B (zh) * | 2010-03-03 | 2014-06-11 | Realtek Semiconductor Corp | 影像處理裝置與其方法 |
CN110266988A (zh) * | 2019-06-03 | 2019-09-20 | 河海大学 | 一种基于场景切变和内容特征检测的去隔行方法 |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH01305689A (ja) * | 1988-06-03 | 1989-12-08 | Hitachi Ltd | 画像信号処理回路 |
CA1322241C (en) * | 1988-07-22 | 1993-09-14 | Hisafumi Motoe | Moving detection circuit |
JP2576612B2 (ja) * | 1988-12-28 | 1997-01-29 | 日本ビクター株式会社 | 信号変換装置 |
JP2732650B2 (ja) * | 1989-02-28 | 1998-03-30 | 株式会社東芝 | 垂直エッジ検出回路 |
US4967271A (en) * | 1989-04-05 | 1990-10-30 | Ives C. Faroudja | Television scan line doubler including temporal median filter |
GB2231226B (en) * | 1989-04-27 | 1993-09-22 | Sony Corp | Motion dependent video signal processing |
US5095354A (en) * | 1989-09-01 | 1992-03-10 | Matsushita Electric Industrial Co., Ltd. | Scanning format converter with motion compensation |
US5093720A (en) * | 1990-08-20 | 1992-03-03 | General Instrument Corporation | Motion compensation for interlaced digital television signals |
GB2248361B (en) * | 1990-09-28 | 1994-06-01 | Sony Broadcast & Communication | Motion dependent video signal processing |
-
1994
- 1994-05-05 US US08/238,322 patent/US5428397A/en not_active Expired - Lifetime
- 1994-05-05 EP EP94107068A patent/EP0624032B1/en not_active Expired - Lifetime
- 1994-05-05 DE DE69425346T patent/DE69425346D1/de not_active Expired - Lifetime
- 1994-05-07 CN CN94105360A patent/CN1110198C/zh not_active Expired - Lifetime
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1096184C (zh) * | 1995-12-30 | 2002-12-11 | 三星电子株式会社 | 运动图像检测方法 |
CN100403787C (zh) * | 2004-03-31 | 2008-07-16 | 株式会社东芝 | 录像装置和录像方法 |
CN1326399C (zh) * | 2004-04-29 | 2007-07-11 | 华亚微电子(上海)有限公司 | 隔行视频流到逐行视频流的转换方法与系统 |
CN100466714C (zh) * | 2004-05-11 | 2009-03-04 | 奇景光电股份有限公司 | 具图样识别单元的解交错装置及其方法 |
CN101341757B (zh) * | 2004-12-16 | 2011-12-07 | 英特尔公司 | 本地宏块信息缓冲器 |
CN101283598B (zh) * | 2005-07-28 | 2011-01-26 | 汤姆森许可贸易公司 | 用于产生内插帧的设备 |
CN101277398B (zh) * | 2007-03-26 | 2010-05-26 | 凌阳科技股份有限公司 | 具有适应性边缘门坎值的反交错系统及方法 |
CN101378516B (zh) * | 2007-08-31 | 2012-05-23 | 瑞昱半导体股份有限公司 | 影像位移检测方法与装置 |
US9350963B2 (en) | 2007-10-29 | 2016-05-24 | Via Technologies, Inc. | Method for adjusting color values of pixels |
CN110248132A (zh) * | 2019-05-31 | 2019-09-17 | 成都东方盛行电子有限责任公司 | 一种视频帧率插值方法 |
Also Published As
Publication number | Publication date |
---|---|
EP0624032B1 (en) | 2000-07-26 |
EP0624032A3 (en) | 1995-02-22 |
DE69425346D1 (de) | 2000-08-31 |
EP0624032A2 (en) | 1994-11-09 |
US5428397A (en) | 1995-06-27 |
CN1110198C (zh) | 2003-05-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN1110198C (zh) | 视频格式转换装置和方法 | |
CN1078420C (zh) | 电视信号的帧格式转换装置 | |
CN1064207C (zh) | 图象重播装置 | |
CN1164116C (zh) | 数据块噪声检测装置及数据块噪声消除装置 | |
CN1252999C (zh) | 用于隔行至渐进式变换的高级边缘自适应插值方法和系统 | |
CN1187988C (zh) | 运动补偿装置和运动图象编码装置及方法 | |
CN1278562C (zh) | 编码失真消除方法、视频编码方法、视频解码方法、装置及其程序 | |
CN1192614C (zh) | 静止判断装置及方法和扫描线插补装置及方法 | |
CN1816154A (zh) | 用于运动估计的方法和装置 | |
CN1168052A (zh) | 图象数据内插设备 | |
CN1722852A (zh) | 用于彩色图像去马赛克的优质梯度校正线性插值 | |
CN1816149A (zh) | 去除视频图像中块效应的滤波方法及环路滤波器 | |
CN1992789A (zh) | 运动估计器和运动估计方法 | |
CN1535024A (zh) | 视频编码设备、方法和程序及视频解码设备、方法和程序 | |
CN1070670C (zh) | 高效的移动向量检测 | |
CN1645907A (zh) | 考虑水平和垂直图形的全局运动补偿的顺序扫描方法 | |
CN1968391A (zh) | 摄影装置、显示控制方法、程序 | |
CN1806447A (zh) | 图像编码装置、图像解码装置、图像编码方法、图像解码方法、图像编码程序、图像解码程序、记录图像编码程序的记录媒体、记录图像解码程序的记录媒体 | |
CN1131871A (zh) | 运动图形处理方法 | |
CN101032173A (zh) | 编码装置、编码方法、编码方法的程序及其记录介质 | |
CN1770830A (zh) | 用于固态摄像元件的信号处理设备和信号处理方法 | |
CN1678021A (zh) | 图像处理设备和方法、记录媒体和程序 | |
CN1310513C (zh) | 图像处理装置和方法、视频显示装置及记录信息重现装置 | |
CN1678027A (zh) | 噪声减低装置和噪声减低方法以及摄像装置 | |
CN1304614A (zh) | 电视电影视频信号检测装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C06 | Publication | ||
PB01 | Publication | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
C17 | Cessation of patent right | ||
CX01 | Expiry of patent term |
Expiration termination date: 20140507 Granted publication date: 20030528 |