CN100521793C - 视频编码中的随机访问点 - Google Patents

视频编码中的随机访问点 Download PDF

Info

Publication number
CN100521793C
CN100521793C CNB038096153A CN03809615A CN100521793C CN 100521793 C CN100521793 C CN 100521793C CN B038096153 A CNB038096153 A CN B038096153A CN 03809615 A CN03809615 A CN 03809615A CN 100521793 C CN100521793 C CN 100521793C
Authority
CN
China
Prior art keywords
reliable zone
reliable
zone
video
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
CNB038096153A
Other languages
English (en)
Other versions
CN1774934A (zh
Inventor
Y·K·王
M·汉努克塞拉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nokia Technologies Oy
Original Assignee
Nokia Oyj
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nokia Oyj filed Critical Nokia Oyj
Publication of CN1774934A publication Critical patent/CN1774934A/zh
Application granted granted Critical
Publication of CN100521793C publication Critical patent/CN100521793C/zh
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/65—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using error resilience
    • H04N19/67—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using error resilience involving unequal error protection [UEP], i.e. providing protection according to the importance of the data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/129—Scanning of coding units, e.g. zig-zag scan of transform coefficients or flexible macroblock ordering [FMO]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/142—Detection of scene cut or scene change
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/162—User input
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/164—Feedback from the receiver or from the transmission channel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/37—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability with arrangements for assigning different transmission priorities to video input data or to video coded data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/523—Motion estimation or motion compensation with sub-pixel accuracy
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/55—Motion estimation with spatial constraints, e.g. at image or region borders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/57—Motion estimation characterised by a search window with variable size or shape
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/89—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder

Abstract

编码/解码一个由视频帧构成的视频序列的方法。在该方法中，至少一个视频帧被分成一组编码块，并且至少一个编码块被通过帧内编码进行编码。然后，确定包括至少一个帧内编码的编码块的第一可靠区域，并且编码视频序列中的第一可靠区域从而防止在第一可靠区域和第一可靠区域之外的编码块之间产生信息相依性。

Description

视频编码中的随机访问点
技术领域
本发明涉及视频编码，尤其是，涉及将随机访问点编码到视频序列中。
背景技术
视频文件由多个静止图像帧构成，这些静止图像帧快速地被依次显示为一个视频序列(通常每秒15-30帧)，从而产生一个运动图像所表达的内容。图像帧通常包括多个由基本保持不变的图像信息所定义的固定背景对象，和极少的由稍微变化的图像信息所定义的运动对象。在这种情况下，将被依次显示的图像帧所包含的图像信息通常非常相似，即连续的图像帧包含很多的冗余。尤其是，视频文件所包含的冗余被分成空间、时间和频谱冗余。空间冗余表示相邻的图像像素之间的相互关系；时间冗余表示给定的图像对象在接下来的帧中所发生的改变，并且频谱冗余表示在一个图像帧中不同的彩色成分之间的相互关系。
几种视频编码方法利用了上述的连续图像帧的时间冗余。在这种情况下，使用了所谓的运动补偿时间预测，其中一个视频序列中某些(通常为大部分)图像帧的内容根据该序列中的其它帧，通过跟踪连续的图像帧之间的图像帧中的给定对象或者区域的改变来预测。一个视频序列包括压缩的图像帧，压缩图像帧中的图像信息不用运动补偿时间预测来确定。这样的帧被称作INTRA或者I帧。与此类似，视频序列中包含的、并且根据先前的图像帧预测的运动补偿图像帧被称作INTER或者P帧(预测的)。通常，在确定P帧的图像信息中要使用至少一个I帧和可能一个或者多个先前编码的P帧。如果丢失了一帧，依赖于该帧的帧不再能被正确解码。
例如，JVT是一种利用了运动补偿时间预测的视频编码标准。JVT是ISO/IEC运动图像专家组(MPEG)和ITU-T(国际电信联盟，通信标准部)视频编码专家组(VCEG)的联合视频组(JVT)的当前项目。它源自于ITU-T VCEG的一个项目H.26L。
在JV/H.26L中，使用亮度和两个色差(色度)分量(Y，CB和CR)来编码图像。与亮度分量相比，色度分量沿着的两个坐标轴以一半的分辨率分别取样。
每个编码的图像，以及相应的编码比特流以分级结构排列，所述的分级结构具有四层，从上到下依次为图像层(picture layer)、图像段层(picture segmentlayer)、宏块(MB)层和块层(blocklayer)。图像段层可以是块组层或者条(slice)层。
每一条的数据由一个条头标以及接下来的宏块(MB)数据组成。条定义一个编码图像内的区域。每个区域是按照正常扫描顺序的多个MB。在相同的编码图像中在条边界上没有预测的相依性。但是，时间预测通常可以跨越条边界。条能够独立于其余的图像数据被解码。因此，在丢包的网络中，条改善了误差恢复能力。
每个条被分成多个MB。一个MB涉及亮度数据的16×16像素以及空间上相应的色度数据的8×8像素。
在JVT/H.26L中，在概念上已经将提供视频图像内容的核心的高压缩表示的视频编码层(VCL)和将该表示打包从而在一个特定类型的网络上递送的网络适配层(NAL)分离。JVT/H.26L视频编码器是根据基于块的运动补偿混合转换编码。对于现有的标准，仅有解码处理被精确的指定从而能够协同工作，而用于捕获、预处理、编码、后处理以及呈现的处理都不考虑从而允许实现的灵活性。但是，JVT/H.26L包含多个新的特征使其能够在编码效率上实现比现存的标准设计更为重大的改进。
JVT/H.26L能够利用近来发展起来的被称为参考图像选择的方法。参考图像选择是一种编码技术，其中用于运动补偿的参考图像能够在存储在参考图像缓冲器中的多个图像中进行选择。JVT/H.26L中的参考图像选择允许每个宏块进行参考图像的选择。参考图像选择能够用于改善压缩效率和误差恢复能力。
由于视频编码中使用的运动补偿技术，在视频序列中必须编入随机访问点从而允许从一个任意的点扫描视频。依赖于用于扫描该视频序列的应用程序，视频流中的随机访问点之间的期望时间跨度可以是0.5-10秒的范围。帧内编码是用于编码随机访问点的常规解决方案。但是，由于以上提及的参考图像选择技术允许参考I帧(intra frame)之前的帧，I帧同样不是对于随机访问点的充分条件。而且，视频序列中频繁的帧内编码需要更大的编解码处理容量并且消耗更大的带宽。
渐进(gradual)解码器刷新涉及“脏的(dirty)”随机访问，其中先前被编码但是可能没被接收的数据被查阅，并且校正的图像内容在多于一个编码图像内被渐进恢复。通常，渐进解码器刷新随机访问方法所提供的图像内容的渐进恢复被看作是JVT/H.26L视频编码中的一个预期特征。渐进解码器刷新的基本想法是将该帧的一部分宏块编码为帧内编码的。当解码器在一个随机的点开始解码时，对于该解码器来说用于运动补偿的参考帧是未知的，并且它们被初始化为例如中间级灰度。解码器能够重建帧内编码的宏块，但是涉及运动补偿处理中的未知区域的帧间编码的宏块不能被正确重建。由于累积的帧内编码宏块的数目逐帧增加，最终可获得完全重建的图像。但是上述实现涉及多个问题。
由于参考图像选择，参考帧中一个宏块可以涉及运动补偿处理，其位于能够可靠解码的帧内编码宏块的区域之外。
在JVT/H.26L中，在每个4×4的块边界应用了环路滤波来减弱突然的边界变化。这样，可靠区域可以受临近宏块中的未正确重建的像素的影响。
在运动补偿处理中，涉及的非整数像素位置使用多抽头滤波器来根据像素的值进行内插。在目前的JVT编解码器设计中，半像素位置使用一个六抽头滤波器内插。这样，未正确重建的像素可以用于内插一个位于能可靠解码区域之内但是靠近其边界的所涉及的非整数像素位置。
当解码器开始解码该帧时，假设所有的帧内编码宏块都是可靠的。但是，所有上述的处理都有这样的影响：邻近宏块的灰度图像信息将与帧内编码宏块的能可靠解码的图像信息混合。当开始从一帧到另一帧的解码处理时，这导致将会时空传播的误差。
发明概述
因此，本发明的目的是提供一种方法和用于实现该方法的装置，用于解决上述的至少一些问题。本发明的目的可以通过其特征在独立权利要求中公开的方法、视频编码器、视频解码器和计算机软件来实现。
本发明的优选实施例在从属权利要求中公开。
本发明是在识别渐进解码器刷新方法实现的潜在复杂性的基础上进行的。根据本发明，由视频帧构成的一个视频序列被编码，其中编码方法包括将至少一个视频帧分成一组编码块，并且使用帧内编码来编码至少一个所述的编码块。然后，包括至少一个帧内编码的编码块的第一可靠区域被确定，并且在所述的视频序列中编码所述的第一可靠区域从而防止在所述的第一可靠区域和所述的第一可靠区域之外的编码块之间产生信息相依性。
根据一个优选实施例，当从一个任意的点访问该视频序列时，则解码器能够使用所述的可靠区域作为一个随机访问点。
根据一个优选实施例，通过在所述的可靠区域的边界关闭环路滤波来防止所述的信息相依性。
根据一个优选实施例，当应用运动补偿预测时，通过仅参考所述的可靠区域的编码块来防止所述的信息相依性。
根据一个优选实施例，通过在所述的可靠区域的边界不进行部分像素值的内插来防止所述的信息相依性。
根据一个优选实施例，所述的可靠区域作为一个子图像被编码到视频序列当中。
本发明提供了几个优点。该机制能够用于在编码视频流中提供随机访问点，同时可靠地更新图像区域的一部分，而不是该区域的整个帧内宏块的覆盖范围。本发明的另一个优点在于它阻止传输误差的时空传播。而另一个优点在于本发明允许不同的误差保护和传输优先级从而改善接收的视觉质量并且根据不同部分的视频数据的主观的优先级形成通信量。本发明的另一个优点在于它使得能够避免对话应用中的全部I帧，以使终端-终端之间的延迟最小，并且改进接收到的视觉质量。而且，该方法能够用于编码诸如划变的掩藏的(masked)场景转变。
附图的简述
下面，本发明将参考附图，结合优选实施例进行详细描述，其中，
图1示出了JVT/H.26L设计的概念上的结构；
图2示出了逐渐变大的可靠区域的一个优选实施例；
图3示出了根据一个特定的刷新模式将宏块加入到一个可靠区域的过程的一个实例；
图4示出了一个将被编码的图像与为视频编码定义的宏块之间的关系；
图5示出了根据子图像实现的为图4中的图像形成的视频编码条的主要视图；
图6示出了根据本发明的优选实施例的移动通信设备的框图；以及
图7示出了一个可应用本发明的视频通信系统。
发明详述
本发明适用于所有使用基于区域的运动补偿时间预测的视频编码方法。本发明尤其适用于在限制频带的电信系统中通常使用的不同的低比特率视频编码。这些包括例如目前已经被标准化的ITU-T标准H.263和H.26L(可能以后是H.264)。在这些系统中，本发明适用于例如一个移动站，允许
下面是以使用JVT/H.26L视频编码为例解释本发明的一个示范说明。为了理解本发明和它的优选实施例，JVT/H.26L将被描述到一个可以令人满意的详细程度。为了更为详细地描述JVT/H.26L的实现，参考下面的文档：ISO/IECMPEG以及ITU-T VCEG的联合视频组(JVT)，草案ISO/IEC 14496-10：2002(E)：“JVT Working draft 2，Release 7(JVT工作草案2，版本7)”。
将参照图1描述JVT/H.26L设计的概念结构。在JVT/H.26L中，提供视频图像内容的核心高压缩表示的视频编码层(VCL)和将该表示打包以在一个特定类型的网络上递送的网络适配层(NAL)在概念上已经被分离。
VCL的主要任务是以一种高效的方式编码视频数据。但是，如前文已经讨论的，误差会对高效编码的数据产生不利影响，并且会包括一些可以感知的可能的误差。VCL能够中断预测编码链，并且设法补偿误差的发生和传播。这可以通过几种方式实现：通过引入INTRA帧和INTRA-MB来中断时间预测链；通过引入一个条概念来中断空间误差传播；以及引入一个能够被独立解码，例如不需要帧的自适应算术编码的可变长度编码。
VCL的输出是一个编码宏块流，其中每个宏块都以单一的一块数据的形式呈现。数据分割层(DPL)以这样一种方式重新排列符号：属于一条的一种数据类型的所有符号(例如DC系数、宏块头标、运动矢量)集中在一个编码比特流当中。在解码中具有大致相等的主观和/或语法重要性的符号组成一个分割。
NAL提供定制VCL或者DPL数据格式从而在多种网络上递送的能力。NAL设计成能够根据选择的网络适应策略，从视频编码和数据分割层接收数据分割或者条。数据分割允许主观上和语法上更为重要的数据与不太重要的数据分开传输。解码器可以在没有接收到更重要的数据的情况下，不解码不太重要的数据。对更为重要的数据采取比对不太重要的数据更多的保护的方法能够用于在一个易于发生误差的网络上发送比特流的情况。
然后NAL的输出可以被插入到不同的传输格式中。视频数据能够存储在一个文件格式中用于以后扫描。它也能够根据ITU-T H.223复用格式进行封装。对于RTP传输格式，RTP传输流根本不包括图像层或者图像头标。相反，常规上属于图像和序列层的数据主要在带外被发送。能够发送这种数据的多个组合，并且每个发送的组合被称为一个参数组并且被列举。然后在发送的条头标中识别一个正在使用的参数组。
接下来，将解释根据一个优选实施例的一个渐进解码器刷新周期的编码。编码器通过根据外部信号，例如一个独立编码器中的配置参数或者一个实时视频通信系统中的帧内更新请求来确定一个解码器刷新周期的第一帧而开始操作。编码器也可以分析未压缩图像的内容并且决定例如响应于一个掩藏的场景变换来编码一个渐进解码器刷新。
编码器根据例如独立编码器中的配置参数的外部指示，或者根据内在推论来确定渐进解码器刷新周期的长度，以响应于例如一个掩藏的场景变换。编码器也可以根据例如速率控制的需要，在转换编码的过程中调整场景转换的期望长度。
术语“可靠区域”被用于表示当解码从渐进解码器刷新周期起始处开始时被正确重建的图像的区域。可靠区域优选地由彼此相邻的宏块组成。渐进解码器刷新周期中的每个图像都具有它自己的可靠区域。位于一幅图像中的可靠区域中的每个宏块都属于渐进解码器刷新周期的后来存储的图像(以编码顺序)中的可靠区域。这样，可靠区域至少保持不变或者优选地逐幅图像增加(以编码顺序)。
除了宏块应当彼此相邻以外，可靠区域的形状不应当受任何其它约束的限制。为了编码/解码的目的，可靠区域的最简单形式是一个实心的宏块矩形。根据一个优选实施例，可靠区域是沿着矩形的四边之一扩展一个不完整的一宏块/列宽/行高的一个实心宏块矩形。
根据另一个优选实施例，可靠区域是一个任意的但是实心的宏块区域。而根据另一个优选实施例，可靠区域是具有一个矩形孔的中空的矩形宏块，它可以使用在框入类型的渐进解码器刷新当中。根据另一个优选实施例，可靠区域是具有一个与本发明的优选实施例的可靠区域相似定义的孔的中空的宏块矩形。可靠区域甚至可以彼此重叠以便于，例如，两个可靠区域以螺旋形运动的方式增长。
因此，中空的可靠区域的定义可以被推广以便于在该区域中存在一个以上的孔。
本发明也可以被推广以便于在一幅图像中存在一个以上的可靠区域。在这种情况下，可以使用任何可靠区域来预测下一帧中的可靠区域中的块。而且，刷新周期能够重叠，这样不同周期的可靠区域在重叠时段内嵌套在该图像上。一个可靠区域也可以从一个编码图像到下一个编码图像改变位置或者收缩。由于诸如摄像机的全景摄影，或者速率控制等，这种状况可能是合理的。
渐进解码器刷新模式中清楚地定义了宏块被添加到可靠区域中的顺序。例如，在下划中，宏块可以以光栅扫描的顺序被插入到可靠区域中。编码器确定渐进解码器刷新模式的类型。可以存在在编码说明/标准中指定的并且编码器和解码器预先已知的预定的默认方案。也可以存在作为编码视频比特流的一部分，从编码器到解码器告知的刷新模式。编码器告知解码器选定的刷新类型。信令可以是带内信令，也可以是带外信令。
参照图2可以说明增长的可靠区域的实施例。在图2中，小的矩形表示宏块，并且小矩形的9×11块表示一个图像帧200-208。粗重的宏块边界围绕着每一帧中的可靠区域。中灰的宏块表示可靠区域的增长。图像帧200-208以时间顺序被示出。
帧200包括一个3×3宏块的可靠区域。在接下来的帧202中，可靠区域沿着先前区域的所有四个边扩展，产生一个5×5宏块的可靠区域。类似的过程，可以被称作框出刷新模式，将在接下来的帧204-208中被应用。在帧208中，可靠区域被扩展到覆盖整个帧区域，即该帧中的所有宏块。表示可靠区域的空间边界的粗边界优选地是宏块边界。
编码器确定被添加到将被编码的当前帧中的可靠区域的宏块数目。这个决定可以根据预定义的刷新速率或者它可以根据例如主要的网络条件进行调整。选定的宏块数目主要是根据渐进解码器刷新模式选择的。插入到渐进解码器刷新周期的第一帧的第一可靠区域中的宏块被通过帧内编码进行编码。
根据一个优选实施例，作为灵活性和复杂度的折中，可靠区域的形状演化可以被限制以便于在开始可靠区域是一个实心的宏块矩形。该区域能够通过按照一定的顺序，沿着矩形的四边之一插入宏块的方式来被扩展。一旦可靠区域再次变成矩形，该矩形的另一边也能够被选作用于宏块插入的主体。扩展速率也可以是零宏块。
对于渐进解码器刷新周期的后续帧，编码器进行下述处理：将新选出的宏块插入到当前帧的可靠区域。使用宏块模式选择和运动补偿过程来编码可靠区域中的宏块。但是，在运动补偿过程中，限制运动矢量搜索范围，这样一个运动矢量能够仅涉及渐进解码器刷新周期中的先前帧中的可靠区域中的像素。
可靠区域的重建不一定取决于位于可靠区域之外的重建像素值。因此，这造成了一些编码约束。例如，必须禁止环路滤波和根据可靠区域之外的像素值进行部分像素内插。打破这种编码依赖能够在编码数据中被告知，然后在解码该数据时执行类似的操作。例如，能够在编码数据中告知环路滤波必须被关闭的边界。替代地，编码器能够避免产生涉及不可靠区域的编码数据。例如，能够限制运动矢量从而在运动内插中不使用不可靠区域中的像素。
如果在刷新周期期间存在几个至少部分地同时存在的可靠区域，则插入到渐进解码器刷新周期中的第一帧的第一可靠区域中的宏块被通过帧内编码进行编码。然后接下来的可靠区域能够涉及另一个可靠区域中的宏块，以便于如果需要，可以将它进行帧间编码。由于参考图像选择，涉及彼此的可靠区域的时间顺序不受限制。但是，对于如上所述的环路滤波和根据可靠区域之外的像素值进行部分像素内插，当涉及另一个可靠区域时，也可以应用类似的编码约束。
此外，优选地改变宏块的编码和解码的扫描顺序，从而首先以光栅扫描的顺序编码/解码可靠区域。以后，以光栅扫描的顺序编码/解码没有包括在可靠区域内的剩余宏块。可靠区域的边界可以作为条边界。因此，在可靠区域的边界上不会发生条内预测。
也可能应用一种编码方法，其中定义了一个可靠区域但是没有应用所有的前述的编码约束。在这种方法中，以正常的顺序(即，如果没有使用分散条或者类似的编码技术，以光栅扫描的顺序)编码一整幅图像的宏块。因此，可靠区域和剩余区域(即不属于可靠区域的宏块)的编码数据彼此交织。而且，一幅图像的可靠区域的一些编码参数取决于剩余区域的编码参数。这种编码参数的例子包括靠近可靠区域边界的运动矢量。根据剩余区域中的临近运动矢量来预测这些运动矢量。但是，关于环路滤波和根据可靠区域之外的像素值进行部分像素内插的编码约束仍然适用。该方法也可被称为IREG-D方法，其中IREG代表分离的区域，并且D表示分离区域和剩余区域的一些编码参数之间的相依性。
因此，上面公开的应用了所有编码约束的可靠区域的编码方法被称为IREG-I编码技术。在IREG-I方法中，可靠区域的宏块被首先编码，并且剩余的宏块其后被编码。因此，可靠区域形成了一个与剩余区域的编码数据可分离的编码数据部分。缩写IREG—I中的字母I表示分离区域和剩余区域之间的编码参数的独立性。该方法优选地可以通过使用一个所谓的子图像来应用。以后将更详细地描述应用子图像的优选实施例。
接下来，将描述根据一个优选实施例的解码过程。应当指出视频序列的解码过程是独立于编码过程的。这样，为了解码的目的，仅要求待被解码的视频序列包括本发明所表现的某些特性。能够解码的视频序列因此不限于上面所描述的编码方法。
当解码器接收到视频序列中告知的一个参数组时，解码器检查它是否表示可靠区域的使用。如果告知的参数组表示IREG-I的使用，则解码器开始解码一幅新的图像或者继续解码当前的图像。
如果开始解码一幅新的图像，解码器检查是否建立了一个新的可靠区域。当建立了一个新的可靠区域时，重新设定可靠区域的先前的形状、尺寸和位置。当开始解码一幅新的图像时，根据接收到的参数更新可靠区域的形状、尺寸和位置。
一旦可靠区域的形状、尺寸和位置是最新的，该条的第一宏块的宏块地址就识别该条属于哪个可靠区域或者该条是否属于剩余区域。首先解码一幅图像的可靠区域。
限制每个宏块的环路滤波从而检查邻近的宏块是否属于不同的区域(即一个属于可靠区域，并且另一个属于剩余区域，或者它们属于不同的可靠区域)。如果任何一个临近宏块属于不同的区域，那么滤波相应的宏块边界，就好像它位于图像边界上那样。而且，有利地不应用根据被解码的可靠区域之外的区域进行帧内预测。
如果告知的参数组表示使用IREG-D，那么除了宏块位置的确定以外，解码器按照与上面描述的IREG-I的情况一样的方式解码条。空间的宏块顺序是正常的，并且一个条可能同时包含来自于多个可靠区域和来自剩余区域的宏块。主要的区别在于在区域边界上可能发生帧内预测和运动矢量预测。但是，关于环路滤波和根据可靠区域之外的像素值进行部分象素内插的编码约束仍然适用。
根据一个优选实施例，能够通过在编码的视频序列中加一些将被告知的新的参数以及编码的视频序列来实现前面所述的过程所要求的改变。可以在视频扫描对话之前告知参数，或者可以在视频扫描对话期间对它们进行发送或者更新。例如，下面的参数可以增加到参数组当中：
1.分离区域的类型(TIR)。表明是否使用了分离区域以及所使用的分离区域的类型。
无：没有使用分离区域。这样，根据正常的编码方式编码宏块。
IREG-D：使用分离区域的正常比特流顺序版本。
IREG-I：使用分离区域的分离比特流顺序版本。
2.同时存在的分离区域的数目(NSIR)。表示在一幅图像当中同时存在多少分离区域。该值受类和级的限制。每个初始的分离区域都利用一个运行数字来单独识别，例如从0或1开始。该识别符被称为IREGID。对于每个IREGID，传送下列的参数：
3.分离区域的形状演化类型。通过该参数规定分离区域的位置、形状和变化顺序。提出了下列的值：
光栅扫描：分离区域的第一宏块是图像左上方的一个宏块。分离区域以光栅扫描的顺序增长。
反光栅扫描：分离区域的第一宏块是图像右下方的一个宏块。分离区域以反光栅扫描的顺序增长。
向右划变：分离区域的第一宏块是图像左上方的一个宏块。分离区域从顶部向底部增长。在一列的最底部宏块之后的下一宏块是先前列的右侧列中的最顶部的宏块。
向左划变：分离区域的第一宏块是图像右下方的一个宏块。分离的区域从底部向顶部增长。在一列的顶部宏块之后的下一宏块是先前列的左侧列的最底部宏块。
顺时针框出：分离区域的第一宏块优选地不受限制。分离区域围绕着先前定义的分离区域顺时针增长。
逆时针框出：这与前面相似，但是分离区域逆时针增长。
预定义的自由形式：该参数值带有定义了分离区域的位置、形状和增长顺序的宏块数的列表。这些预定义的自由形式优选地在视频扫描对话期间预先被传送到解码器。宏块按照光栅扫描的顺序计数，从图像的左上角的宏块开始，该宏块具有数字0。注意分离区域的形状必须满足前面给出的限制。
预定义的静态矩形：该参数值表示分离区域在该IREG GOP中保持不变。该值与分离区域的左上角，以及分离区域的宽度和高度相关。而且这些预定值优选地在视频扫描对话期间预先被传送到解码器。
动态矩形：该参数仅在使用IREG-I时出现。该区域变化模式被用于子图像编码。这里要指出：任何帧中的分离区域都是一个矩形。在参数组中没有定义分离区域的位置、形状或者增长顺序，但是在条头标中包括类似的参数。
4.分离区域的增长率(GRIR)。该参数定义了每一幅图像中有多少宏块被增加到先前的参数描述中所涉及的分离区域当中。也存在一个指示变化的增长率的特殊参数值。如果在该参数组中指示了一个变化的增长率，那么在条头标中指示每帧的实际增长率。
N(N>＝1)个宏块的恒定速率：分离区域每一个图像增加N个宏块。
预定义的速率：该参数值与一组值{a1，a2，...aN}有关，每个都定义了将要增加到一幅图像的分离区域中的宏块数目。N等于IREG期间的图像数目，并且a1是以宏块为单位的分离区域的初始尺寸。
变化速率：增长速率由条头标中的分离区域的增长速率(GRIR)表示。
参照图3可以说明根据一个特定的刷新模式将宏块插入到一个可靠区域中的过程的实例。图3示出了一个增长的可靠区域中的头几个图像帧(300-310)，其具有被定义为“顺时针框出”的形状演化类型和三个宏块的恒定增长速率(GRIR)。第一帧300具有一个由三个宏块构成的L形的可靠区域(根据“顺时针框出”形状)。在下一帧302中在该可靠区域中增加接下来的三个宏块。该形状演化类型控制了新的宏块的放置，这样产生了一个3×2宏块的可靠区域。该过程通过以顺时针的方式沿着可靠区域的外框增加三个新宏块而在每一帧304-310中继续进行。
如前所述，JVT/H.26L设计允许定制视频编码层(VCL)或者数据分割层(DPL)数据格式用于在多种网络上递送。数据分割允许主观上和语义上更为重要的数据与不太重要的数据分开传输。解码器在没有接收到更为重要的数据的情况下，可能不能解码不太重要的数据。当使用例如RTP传输格式时，RTP传输流根本不包括图像层或者图像头标。取而代之的是，常规上属于图像和序列层的这种数据能够被进行带外发送。这种数据的多个组合可以被发送，并且每个发送的组合都被称为一个参数组并被列举。然后在发送的条头标中识别正在使用的参数组。
因此，根据一个优选实施例，优选地在参考图像选择参数之前在条头标中加入下列的条件参数：
1.分离区域的序列号(SNIR)。如果该参数组表明使用分离区域，则存在该参数。值0表示从最近的发送SNIR值SNIRa导出序列号(SNIRb)，相应的图像号Pna以及当前的图像号PNb如下：SNIRb＝Pb-Pna+SNIRa，其中图像号之间的算术要考虑可能的重叠。值1表示一个新的可靠区域的开始，并且每一个IREG期间至少发送一次。大于0的值清楚地表示出序列号并且能够用于改善误差恢复能力。
2.分离区域的形状改变(SCIR)。如果该参数组表明分离区域的一个可变的增长速率，或者如果分离区域的形状演化类型是动态的矩形，则存在该参数。值0意味着矩形的分离区域的增长速率或者形状、尺寸和位置与在相同的图像的任何其它条中相同。值1表示GRIR和IRIR与先前存储并发送的图像中的相同。值2表示后面跟着GRIR或者IRIR。GRIR和IRIR被重复用于该图像的每个分离区域。
3.分离区域的增长速率(GRIR)。如果该参数组表示分离区域的一个可变的增长速率，则存在该参数。该参数表明与先前以编码顺序存储的帧的分离区域相比，增加到该分离区域的宏块的数目。
4.关于矩形分离区域的信息(IRIR)。如果分离区域的形状演化类型是动态的矩形，则存在该组参数。接下来的四种码字如下：
左：分离区域(以宏块为单位)中的最左侧宏块的坐标。该图像的最左侧宏块的列被指配为值0。
顶部：分离区域(以宏块为单位)中的最顶部的宏块的坐标。该图像的最顶部宏块的行被指配为值0。
宽度：分离区域的宽度。码字被指配如下：
 
符号编号 UVLC代码 解释
0 1 Guess＝(RightMost-Left)/2+1，其中RightMost是该图像的最右侧宏块的列地址并且/表示截断分割。例如，对于一个QCIF图像并且Left等于3，宽度就变成(10-3)/2+1＝4。                         
1 001 Guess+1
2 011 Guess-1
3 00001 Guess+2
4 00011 Guess-2
.. .. ...
高度：子图像的高度。码字类似于宽度被指配
为了JVT视频编解码参数组的更为详细的描述，参考ISO/IEC文档“VCEG-N52”和“VCEG-N72r1”。
接下来，将描述根据一个优选实施例的解码过程。为了说明，这里假设用视频序列告知(带内或者带外)的参数组包括至少某些上面公开的参数。但是，应当指出以上的参数仅是如何能够实现预期特性的一些实例。对于本领域的技术人员来说，很明显达到同样结果的实现可以通过使用不同的参数组，以多种方式来实现。
当解码器接收到用视频序列告知的参数组时，解码器检查它是否表明了可靠区域的使用。如果告知的参数组表示使用了IREG-I，则解码器解码一个条如下：
如果将被解码的条的图像号与先前解码的条的图像号不同，或者如果将被解码的条的时间参考与先前解码的条的时间参考不同，则开始解码一个新的图像。否则，继续解码当前的图像。
如果开始解码一幅新的图像，解码器检查是否建立了一个新的可靠区域。如果该参数组的任何一个与可靠区域有关的参数已经被改变，则解码器推断开始一个新的可靠区域。与此相似，如果SNIR是1，则/解码器推断开始一个新的可靠区域。当建立了一个新的可靠区域之后，可靠区域的先前的形状、尺寸和位置被重新设置。如果开始解码一幅新的图像，可靠区域的形状、尺寸和位置被更新(一次一个可靠区域)如下：
如果可靠区域的形状演化类型是非矩形，并且如果增长速率是恒定的，则如同将恒量的宏块被SNIR次加入到零尺寸的可靠区域那样，计算可靠区域的形状、尺寸和位置。
如果可靠区域的形状演化类型是非矩形的，并且如果增长速率是预定义的，则SMR表示加入到先前存储并发送的图像的相应的可靠区域的宏块数目aSNIR。
如果正在使用可靠区域的预定义的自由形式的类型，但是每个图像的增长速率是分别告知的，则通过以预定义的顺序将GRIR宏块增加到先前存储并发送的图像的可靠区域来形成可靠区域的形状和尺寸。
如果形状演化类型是预定义的静态矩形，则其尺寸、形状和位置在参数组中表明。如果形状演化类型是动态矩形，则矩形可靠区域的尺寸、形状和位置在条头标中表明。一旦可靠区域的形状、尺寸和位置是最新的，该条的第一宏块的宏块地址就识别该条属于哪个可靠区域，或者该条是否属于剩余区域。图像的可靠区域首先被解码。
在解码宏块的编码数据之前，计算它的空间位置。该空间宏块顺序是正常的(使用光栅或者分散扫描顺序)，但是跳过落在目前解码的可靠或者剩余区域之外的宏块位置。
每个宏块的环路滤波受到下列限制：如果其左侧的相邻宏块属于一个不同的区域(即，一个属于可靠区域而另一个属于剩余区域，或者它们属于不同的可靠区域)，那么如同其位于左侧图像边界那样对宏块进行滤波。如果上述的相邻宏块属于一个不同的区域，就如同其位于图像的顶部宏块行那样对宏块进行滤波。
而且，有利地不应用根据正被解码的可靠区域之外的区域进行帧内预测。
如果告知的参数组表明使用了IREG-D，则除了宏块位置确定以外，解码器按照与上面所述的IREG-I的情况相同的方式解码一条。空间宏块顺序是正常的，并且一个条可以同时包含来自于多个可靠区域和来自剩余区域的宏块。主要的差别在于在区域边界可能发生帧内预测和运动矢量预测。但是，关于环路滤波和根据可靠区域之外的像素值进行部分像素内插的编码约束仍然适用。
IREG-I方法的一个优选实施例可以结合已经被建议给JVT/H.26L的所谓的子图像来实现。可以通过在图像和条层之间增加一个子图像编码层来产生一个子图像。该子图像编码层形成了所谓的子图像(SP)，除了所谓的背景区域(BR)SP以外，其通常是矩形的前景区域SP(FR SP)。BR SP由没有落在任何矩形SP内的图像区域组成。一幅图像的前景区域SP在背景区域SP之前被编码。SP内的宏块以扫描顺序被编码。SP不互相重叠，即，整个编码图像由所有的SP组成。根据本发明的该实施例，子图像可被作为可靠区域。子图像的形状和尺寸能够通过例如由前述的参数来控制。
图4示出了将被编码的图像400与为视频编码定义的宏块(MB)之间的关系。图像包括被看作是前景对象的一个对象。沿着MB边界，围绕着该前景对象画出了矩形的前景区域子图像(FR SP)402。围绕着该前景对象402，该图像也具有一个背景。围绕FR SP 402的背景部分被称作背景区域子图像404(BRSP)。注意，如这里的情况，背景部分可以属于FR SP 402。图4也示出了被指配给以递增的顺序计数为0-79的MB，其中第一MB(0)位于左上角，并且标号向右依次增长，并且在每一行之后从下一行的左边开始继续。
图5示出了根据子图像实现，为图4中的图像形成的视频编码条的原理图。使用5个宏块的条尺寸将该图像分割成视频编码条。分割从最重要的FR SP开始，并且在所有的FR SP之后(在图4和图5中仅给出一个FR SP)，BR SP被分割成条。从0开始给定条运行序号。注意在FR SP内，从第一行开始，条0占有3个MB，然后在FR SP内，第二行占有2个MB，并且特别地，在BR SP被编码之前，关闭FR SP的最后一条。然后BR SP中的MB以扫描顺序被分割成条，这样除了最后一个以外的每一条通常都由一条所允许的最大数目的MB构成。条简单地跳过每个FR SP。条越大，通常造成编码一幅图像所需的冗余量越小。
根据一个优选实施例，能够实现一个基于子图像的渐进解码器刷新方法，从而将可靠区域作为前景子图像编码。优选地，使用独立的子图像编码模式从而在前景子图像的外部边界上关闭环路滤波。除了属于该子图像的宏块应当彼此相邻以外，整个图像内的前景子图像的形状和位置不应当受任何其它约束的限制。
除了为解码器提供随机访问点以外，本发明也可以用于改善视频传输的误差回复能力。上面公开的方法能够被用作具有预定义的帧内宏块更新模式的已知误差编码方法。每帧的更新的宏块的数目算法能够根据选择的条件改变，但是更新的宏块的顺序保持不变。也可以使用该方法，使得可靠区域中的一些宏块不以帧内模式被更新。因此，该技术落在自适应帧内宏块更新的范畴之内。
能够以非常直接的方式施加已知损耗的帧内更新的分离区域的使用，从而能够从第一分离区域开始的地方持续地使用分离的区域。由于序列的第一帧被完全帧内编码，第一分离区域优选地从第二编码帧开始。编码器能够根据图像尺寸和假定的包损耗率选择一个合适的增长率。通常，较好的增长率(即，刷新速率)等价于宏块的损耗率。例如，如果包损耗率是20％，则80个宏块的增长率是较合适的。
如上面所公开的，执行可靠区域的编码，但是对于剩余区域，剩余区域内的像素由先前重建的帧中的空间上相应的像素来复制。也就是，剩余区域中的宏块将如同内容保持与先前帧相同那样来被编码。
在解码器侧，在该期间内部分更新的图像能够被观看，如果这被看作是视觉上令人满意的话。
该实施例具有这样的优点：与帧内编码相比，终端-终端的传输延迟显著降低。由于恒定的量化参数，能够获得稳定的图像质量，同时保持低的比特率波动。一个更为稳定的图像质量通常被认为不那么讨厌。而且，如果存在损耗，能够使用时空错误隐藏。
能够使用多种刷新模式，例如不同种类的划变和框入。尤其是，如果使用了一个框出刷新模式，将首先显示中央的图像部分。从感兴趣区域的观点出发，中央部分通常更为重要。
作为避免I帧的结果，终端用户察觉到在刷新请求之后，响应图像的显示更为快速。此外，终端用户察觉到一个图像速率的更短的下降。
根据上面提到实施例的过程提供了几个优点。如果与常规的随机访问点的编码相比，其中一个I帧开始一个独立的可解码的图像组(GOP)，本发明还具有这样的优点：本发明使得能够可靠地更新一个预定义的图像区域，而不需要该区域的全部帧内宏块覆盖。在多个编码图像期间，该区域被逐步更新。先前的图像中的可靠区域能够被用作下一图像中的可靠区域的运动补偿参考。可靠区域中的每一宏块的宏块模式选择能够使用速率失真(rate-distortion)优化来完成。这样，本发明能够从速率失真的角度最优地使能可靠区域的编码。
本发明的这一特性可能在序列中尤其有用，该特性能经受相对平稳的整体运动，例如摄像机向任一方向平摇。在这种情况下，第一帧中靠近图像边界的区域移近下一帧的图像中部。如果第一帧中的区域能够被进行帧内编码，在下一帧中不再需要被帧内编码。
而且，编码流的瞬时比特率具有更为平滑的波动。这有助于避免缓冲器溢出，可以减少预解码缓冲器所需的尺寸，并且可能降低终端-终端的传输延迟。
对于易于发生误差的传输，无论如何，每幅图像的特定数目的宏块都被以帧内模式编码。为了随机访问的目的，本发明也能够重复使用这些宏块。
如果至少部分I帧丢失或者恶化，接收解码器几乎没有方法检测它应当使用空间的还是时空的错误隐藏。由于空间相邻的区域被通过帧内编码进行编码，一个直接的选择是使用空间错误隐藏。但是，时空误差传播可能导致更好的隐藏效果。如果应用根据本发明的方法，则能够避免这一现象，即每次仅有一部分图像以帧内模式被更新。
常规的视频应用涉及视频电话、视频会议、以及其它类似的应用。这个应用族的特征在于使终端-终端的延迟最小的目标。常规的应用能够在各种网络上运行，例如ISDN(参见ITU-T建议H.320)、PSTN(ITU-T H.324)、固定IP网络(ITU-T H.323)以及包交换移动网络(3GPP TS 26.235)。通常，至少网络中的一个链接具有一个受限的最大吞吐比特率。而例如ISDN的一些网络提供低传输误差率，诸如互联网以及移动网的其它网络相对更容易出现传输误差。
在常规的应用中，由于使终端-终端的延迟最小的目的以及具有一个固定的最大吞吐量的事实，期望保持视频比特率相对恒定。由于与帧间编码相比，从比特率的角度来看，帧内编码通常更加昂贵，因此应当避免一次对整个帧进行帧内编码。
解码器期望在该序列的开始进行图像的刷新，并且将其作为帧内图像(intrapicture)更新请求的响应。在根据本发明的方法中，代替整个帧内图像的是，能够告知和编码一个渐进解码器刷新周期。如果需要，能够在该期间观看部分更新的图像，这些图像可能是视觉上令人满意的。
使用渐进解码器刷新来代替整个帧内图像平滑了比特率的波动，并且降低了终端-终端的传输延迟。终端用户能够察觉到在对话的初始化中，图像显示得更快。如果接收到的图像严重恶化，接收终端将向远程终端编码器要求一个帧内图像更新。在这种情况下，当使用本发明时，终端用户察觉到在图像率中的更短的下降。
与渐进量化精细和渐进分辨率精细相比，本发明提供了一个响应于帧内图像更新请求的更为稳定的图像质量，该图像通常认为不太令人讨厌。
本发明的一个主要优点在于它完全阻止了时空误差传播。该特征以前在具有参考图像选择、环路滤波、以及部分像素内插的复杂编码方案，例如JVT设计中是达不到的。
这样，公开的方法能够被用作具有预定义的可靠宏块更新模式的已知误差编码方法。要指出的是在预定义方案的算法中每帧的更新宏块的数目能够根据选择的条件改变，但是更新的宏块的顺序保持不变。因此，该方法同时具有两个好处：通过帧内编码阻止误差传播，它还为适当的随机访问提供了可能性。
该方法允许发送一个与其它区域相比具有更好的误差保护的可靠区域。这样，该方法要优于具有帧内更新的常规的编码，其中这种传输的优先次序是不可能的。可靠区域比其它的编码数据能够更好地被保护来对抗传输误差。实际上，在可靠区域中可以应用更多的冗余，例如前向误差编码。替代地，可靠区域能够通过与普通的视频数据传输所使用的频道相比具有更好的服务质量(QoS)保证的频道被发送。在单一流播中，当要求服务器从一个渐进随机访问位置开始流播时，根本不需要发送不可靠的区域(背景子图像)。
许多类型的视频材料，例如新闻、电影预告片、以及音乐视频，都包含频繁的场景切换。有时，场景切换非常突然，但是在多数情况下，应用诸如淡入淡出或者划变的转换。从压缩效率的角度来看，场景转换的编码经常是一个具有挑战性的问题，因为运动补偿可能不是一个足够强大的方法来表示转换中图像之间的变化。
场景转换可以被分类，例如突然的、掩藏的、淡入淡出的以及混合的场景转换。突然转换是这样的：不存在转换周期和两个相邻场景的内容同时出现的图像。掩藏转换是这样的：第二场景以渐进的方式从第一场景在空间上揭开。所有的图像都是全强度(full intensity)显示的。掩藏场景转换的编码通常涉及至少一个I帧。掩藏场景转换的例子包括框入、框出、划变、劈裂以及溶解、。淡入淡出转换是这样的；两个场景的图像以半透明的方式在彼此的顶部重叠，并且在转换周期内，顶部的图像透明度逐渐改变。淡入淡出转换的例子包括普通的交叉淡入淡出以及通过黑色的(从其中出来或进入其中)淡入淡出。混合场景转换是掩藏和淡入淡出转换的组合。
根据本发明的方法在应用到场景转换，尤其是掩藏场景转换时，也提供了好处。由此，转换能够被随机地访问，而不用编码整个帧内图像。当使用基于子图像的渐进解码器刷新时，以及当随机地访问转换时，转换的第一场景的编码数据不需要被发送、解码和显示。而且，为了获得与使用突然场景改变相比更小的编码视频比特率的波动，一个掩藏的场景转换能够被编码。
上面描述了将渐进解码器刷新随机访问点编码到一个视频序列当中的方法。具体来说，这在一个视频编码器中被执行，该视频编码器可以是一个本身已知的视频编码器。所使用的视频编码器可以是例如根据ITU-T建议H.263或者H.26L的一个视频编码器，根据本发明，它被安排来确定包括至少一个帧内编码块的第一可靠区域，并且在所述的视频序列中编码所述的第一可靠区域，从而防止在所述的第一可靠区域和所述的第一可靠区域之外的编码块之间产生信息相依性。
相应地，在视频解码器中进行解码，该视频解码器可以是本身已知的视频解码器。所使用的视频解码器可以是例如根据ITU-T建议H.263或者H.26L的低比特率视频解码器，根据本发明，它被安排来接收确定视频序列的第一可靠区域的信息，该可靠区域包括至少一个帧内编码的编码块，并且从所述的视频序列中解码所述的第一可靠区域，从而防止在所述的第一可靠区域和位于所述第一可靠区域之外的编码块之间产生信息相依性。
基于视频的电信系统的不同部分，尤其是终端，可以包括使能多媒体文件的双向传输，即文件的发送和接收的特性。这允许编码器和解码器被实现为包括编码器和解码器的功能的视频编解码器。
应当指出以上的视频编码器、视频解码器和终端中的本发明的功能元件可以优选地被实现为软件、硬件或者二者的结合。本发明的编码和解码方法尤其适于被实现为包括用于执行本发明的功能步骤的计算机可读指令的计算机软件。编码器和解码器优选地被实现为存储在存储装置并且可由类似计算机的设备，例如个人计算机(PC)或者移动站执行的软件代码，用于实现所述设备的编码/解码功能。
图6示出了根据本发明的一个优选实施例的一个移动通信设备MS的框图。在该移动通信设备中，一个主控制单元MCU控制负责移动通信设备的各种功能的块：一个随机访问存储器RAM、一个射频部分RF、一个只读存储器ROM、视频编解码器CODEC以及一个用户接口UI。用户接口包括一个键盘KB、一个显示器DP、一个扬声器SP以及一个麦克风MF。MCU是一个微处理器，或者在替代实施例中，是一些其它类型的处理器，例如一个数字信号处理器。有利地，MCU的操作指令已经被预先存储在ROM存储器中。根据它的指令(即，计算机程序)，MCU使用RF块在无线电路径上发送和接收数据。视频编解码器可以是基于硬件的，或者全部或部分基于软件，在这种情况下，CODEC包括用于控制MCU执行所需的视频编码和解码功能的计算机程序。MCU使用RAM作为它的工作存储器。移动通信设备能够通过视频摄像机捕获运动视频，使用MCU、RAM和基于CODEC的软件编码和打包运动视频。然后使用RF块与其它的部分交换编码视频。
图7示出了包括多个移动通信设备MS、一个移动电信网络71、互联网72、一个视频服务器73以及一个连接到互联网的固定PC的视频通信系统70。视频服务器具有一个视频编码器，并且能够提供诸如天气预报或者新闻的点播视频流。
本发明的优选实施例是在基于区域的编码方案基础上的。
本发明也能够被实现为包括一个视频序列的视频信号，该视频序列由视频帧构成，其中至少一个视频帧被分成一组编码块，并且至少一个所述的编码块被通过帧内编码进行编码。该视频信号进一步包括确定该视频序列的第一可靠区域的信息，该可靠区域包括至少一个帧内编码的编码块，以及用于从所述的视频序列解码所述的第一可靠区域的信息，从而防止在所述的第一可靠区域和所述的第一可靠区域之外的编码块之间产生信息相依性。该视频信号可以是一个实时发送的信号，或者它能够通过使用媒体，例如大容量存储器或者重放视频盘，而被存储在一个计算机可读载体上。
很明显，对于本领域的技术人员来说，随着技术的发展，本发明的基本概念可以通过多种方式来实现。因此本发明及其实施例并不局限于上面的实例，而是可以在权利要求内变化。

Claims (23)

1.一种编码视频序列的方法，该视频序列由视频帧构成，该方法包括：
将至少一个视频帧分成一组编码块，
通过帧内编码来对至少一个所述的编码块进行编码，
确定包括至少一个帧内编码的编码块的第一可靠区域，其特征在于
根据先前视频帧的一个可靠区域来预测所述的第一可靠区域的随后的编码块，以及
编码所述视频序列中包括所述的随后的编码块的所述的第一可靠区域，从而防止在所述的第一可靠区域和所述的第一可靠区域之外的编码块之间产生信息相依性。
2.如在权利要求1中所要求的方法，其特征在于
通过在所述的第一可靠区域的边界上关闭环路滤波来防止所述的信息相依性。
3.如在权利要求1或2中所要求的方法，其特征在于
当应用运动补偿预测时，通过仅涉及所述第一可靠区域的编码块来防止所述的信息相依性。
4.如在权利要求1或2所要求的方法，其特征在于
通过禁用所述第一可靠区域边界上的像素值的运动内插来防止所述的信息相依性。
5.如在权利要求1或2所要求的方法，其特征在于
将所述的第一可靠区域编码到一个视频序列当中做为一个子图像。
6.如在权利要求1或2所要求的方法，其特征在于
首先以光栅扫描的顺序编码所述第一可靠区域的编码块，以及
其后以光栅扫描的顺序编码所述的第一可靠区域之外的编码块。
7.如在权利要求1或2所要求的方法，其特征在于
编码相同的视频帧中的多个第一可靠区域。
8.如在权利要求1或2所要求的方法，其特征在于
将至少一个第一可靠区域编码成非矩形形状。
9.如在权利要求1或2所要求的方法，其特征在于
在所述的视频序列中编码用于解码所述视频序列的参数，所述的参数包括至少下列之一：
-定义所述第一可靠区域的类型的参数；
-定义同时存在的第一可靠区域的数目的参数；
-定义所述第一可靠区域的形状演化类型的参数；
-定义所述第一可靠区域的增长速率的参数。
10.如在权利要求9中所要求的方法，其特征在于
定义了所述第一可靠区域的形状演化类型的所述参数由至少下列参数值之一定义：光栅扫描、反光栅扫描、向右划变、向左划变、顺时针框出、逆时针框出、预定义自由形式、预定义静态矩形、动态矩形。
11.如在权利要求9所要求的方法，其特征在于
在条的条头标中编码至少一个所述参数，所述的条由至少一个编码块组成。
12.如在权利要求10所要求的方法，其特征在于
在条的条头标中编码至少一个所述参数，所述的条由至少一个编码块组成。
13.一种用于编码一个视频序列的视频编码器，该视频序列由视频帧构成，该编码器被安排来
将至少一个视频帧分成一组编码块，
通过帧内编码来对至少一个所述的编码块进行编码，
确定包括至少一个帧内编码的编码块的第一可靠区域，其特征在于所述的编码器还被安排来
根据先前视频帧的一个可靠区域来预测所述的第一可靠区域的随后的编码块，并且
编码所述视频序列中包括所述的随后的编码块的所述的第一可靠区域，从而防止在所述的第一可靠区域和所述的第一可靠区域之外的编码块之间产生信息相依性。
14.一种解码一个视频序列的方法，该视频序列由视频帧构成，其中至少一个视频帧被分成一组编码块，并且至少一个所述的编码块被通过帧内编码进行编码，其特征在于
接收确定了所述视频序列的第一可靠区域和该第一可靠区域的形状演化类型的信息，该第一可靠区域包括至少一个帧内编码的编码块，以及
按照该形状演化类型来从所述的视频序列解码所述的第一可靠区域，从而防止在所述的第一可靠区域和所述的第一可靠区域之外的编码块之间产生信息相依性。
15.如在权利要求14中所要求的方法，其特征在于
通过在所述的第一可靠区域的边界上关闭环路滤波来防止所述的信息相依性。
16.如在权利要求14或者15中所要求的方法，其特征在于
当应用运动补偿预测时，通过仅涉及所述第一可靠区域的编码块来防止所述的信息相依性。
17.如在权利要求14或者15所要求的方法，其特征在于
通过禁用所述第一可靠区域边界上的像素值的运动内插来防止所述的信息相依性。
18.如在权利要求14或者15所要求的方法，其特征在于
首先以光栅扫描的顺序解码所述的第一可靠区域的编码块，以及
其后以光栅扫描的顺序解码所述的第一可靠区域之外的编码块。
19.如在权利要求14或者15所要求的方法，其特征在于
根据参数来解码所述的视频序列，其中所述参数除了所述形状演化类型以外，还包括至少下列之一：
-定义所述第一可靠区域的类型的参数；
-定义同时存在的第一可靠区域的数目的参数；
-定义所述第一可靠区域的增长速率的参数。
20.如在权利要求14或者15所要求的方法，其特征在于
定义了所述第一可靠区域的形状演化类型的所述参数由至少下列参数值之一定义：光栅扫描、反光栅扫描、向右划变、向左划变、顺时针框出、逆时针框出、预定义自由形式、预定义静态矩形、动态矩形。
21.一种用于解码一个视频序列的解码器，该视频序列由视频帧构成，其中至少一个视频帧被分成一组编码块，并且至少一个所述的编码块被通过帧内编码来进行编码，其特征在于该解码器被安排来
接收确定了所述视频序列的第一可靠区域和该第一可靠区域的形状演化类型的信息，该第一可靠区域包括至少一个帧内编码的编码块，以及
按照该形状演化类型来从所述的视频序列解码所述的第一可靠区域，从而防止在所述的第一可靠区域和所述的第一可靠区域之外的编码块之间产生信息相依性。
22.一种用于解码一个视频序列的终端，其特征在于该终端包括一个根据权利要求21的解码器。
23.一种用于编码一个视频序列的电信网络的网络单元，其特征在于该网络单元包括一个根据权利要求13的编码器。
CNB038096153A 2002-04-29 2003-04-28 视频编码中的随机访问点 Expired - Lifetime CN100521793C (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FI20020810A FI114679B (fi) 2002-04-29 2002-04-29 Satunnaisaloituspisteet videokoodauksessa
FI20020810 2002-04-29

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN2006100041083A Division CN1829329B (zh) 2002-04-29 2003-04-28 指示图像内的区域的方法和装置

Publications (2)

Publication Number Publication Date
CN1774934A CN1774934A (zh) 2006-05-17
CN100521793C true CN100521793C (zh) 2009-07-29

Family

ID=8563849

Family Applications (2)

Application Number Title Priority Date Filing Date
CNB038096153A Expired - Lifetime CN100521793C (zh) 2002-04-29 2003-04-28 视频编码中的随机访问点
CN2006100041083A Expired - Lifetime CN1829329B (zh) 2002-04-29 2003-04-28 指示图像内的区域的方法和装置

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN2006100041083A Expired - Lifetime CN1829329B (zh) 2002-04-29 2003-04-28 指示图像内的区域的方法和装置

Country Status (10)

Country Link
US (3) US7302001B2 (zh)
EP (2) EP1500280B1 (zh)
JP (3) JP4468800B2 (zh)
KR (2) KR100973518B1 (zh)
CN (2) CN100521793C (zh)
AU (1) AU2003229800A1 (zh)
BR (1) BR0309713A (zh)
CA (1) CA2483293C (zh)
FI (1) FI114679B (zh)
WO (1) WO2003094530A1 (zh)

Families Citing this family (119)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7082450B2 (en) 2001-08-30 2006-07-25 Nokia Corporation Implementation of a transform and of a subsequent quantization
US7159197B2 (en) 2001-12-31 2007-01-02 Synopsys, Inc. Shape-based geometry engine to perform smoothing and other layout beautification operations
JP4130780B2 (ja) * 2002-04-15 2008-08-06 松下電器産業株式会社 画像符号化方法および画像復号化方法
US8107539B2 (en) * 2002-07-15 2012-01-31 Nokia Corporation Method for error concealment in video sequences
US9330060B1 (en) 2003-04-15 2016-05-03 Nvidia Corporation Method and device for encoding and decoding video image data
US7724818B2 (en) * 2003-04-30 2010-05-25 Nokia Corporation Method for coding sequences of pictures
US8660182B2 (en) 2003-06-09 2014-02-25 Nvidia Corporation MPEG motion estimation based on dual start points
KR100987764B1 (ko) * 2003-09-04 2010-10-13 경희대학교 산학협력단 영상 데이터의 예측 부호화를 위한 참조 데이터 유닛 결정방법 및 그 장치
EP1719081B1 (en) * 2004-01-30 2013-09-04 Telefonaktiebolaget L M Ericsson (Publ) Prioritising data elements of a data stream
US7991053B2 (en) * 2004-05-04 2011-08-02 Qualcomm Incorporated Method and apparatus to enable acquisition of media in streaming applications
US8855059B2 (en) 2004-05-13 2014-10-07 Qualcomm Incorporated Method and apparatus for allocation of information to channels of a communication system
WO2005117449A1 (en) * 2004-05-25 2005-12-08 Koninklijke Philips Electronics N.V. Method and device for encoding digital video data
US20060050976A1 (en) * 2004-09-09 2006-03-09 Stephen Molloy Caching method and apparatus for video motion compensation
US7813562B2 (en) * 2004-09-27 2010-10-12 Intel Corporation Low-latency remote display rendering using tile-based rendering systems
US20090080519A1 (en) * 2004-10-18 2009-03-26 Electronics And Telecommunications Research Institute Method for encoding/decoding video sequence based on mctf using adaptively-adjusted gop structure
KR100786132B1 (ko) * 2004-11-01 2007-12-21 한국전자통신연구원 적응적으로 세분화된 ｇｏｐ 구조를 이용한 계층적ｂ픽쳐-기반 동영상 부호화 및 복호화 방법
FR2886433B1 (fr) * 2005-05-30 2007-09-07 Commissariat Energie Atomique Methode de segmentation d'une sequence d'images tridimensionnelles, notamment en pharmaco-imagerie.
KR100736041B1 (ko) * 2005-06-30 2007-07-06 삼성전자주식회사 에러 은닉 방법 및 장치
US7912219B1 (en) * 2005-08-12 2011-03-22 The Directv Group, Inc. Just in time delivery of entitlement control message (ECMs) and other essential data elements for television programming
KR100667808B1 (ko) 2005-08-20 2007-01-11 삼성전자주식회사 영상의 인트라 예측 부호화, 복호화 방법 및 장치
KR100727969B1 (ko) * 2005-08-27 2007-06-14 삼성전자주식회사 영상의 부호화 및 복호화 장치와, 그 방법, 및 이를수행하기 위한 프로그램이 기록된 기록 매체
KR100727970B1 (ko) * 2005-08-30 2007-06-13 삼성전자주식회사 영상의 부호화 및 복호화 장치와, 그 방법, 및 이를수행하기 위한 프로그램이 기록된 기록 매체
US9467659B2 (en) * 2005-09-27 2016-10-11 Qualcomm Incorporated Method and apparatus for progressive channel switching
KR100750137B1 (ko) 2005-11-02 2007-08-21 삼성전자주식회사 영상의 부호화,복호화 방법 및 장치
US8233535B2 (en) * 2005-11-18 2012-07-31 Apple Inc. Region-based processing of predicted pixels
US8731071B1 (en) 2005-12-15 2014-05-20 Nvidia Corporation System for performing finite input response (FIR) filtering in motion estimation
US8724702B1 (en) 2006-03-29 2014-05-13 Nvidia Corporation Methods and systems for motion estimation used in video coding
US8179961B2 (en) * 2006-07-17 2012-05-15 Thomson Licensing Method and apparatus for adapting a default encoding of a digital video signal during a scene change period
EP2052549A4 (en) * 2006-08-17 2011-12-07 Ericsson Telefon Ab L M TROUBLESHOOTING FOR RICH MEDIA
US8660380B2 (en) 2006-08-25 2014-02-25 Nvidia Corporation Method and system for performing two-dimensional transform on data value array with reduced power consumption
EP1940179B1 (de) 2006-10-17 2013-08-28 Siemens Aktiengesellschaft Verfahren und Kodiervorrichtung zum Generieren eines kodierten Datenstroms sowie Extraktionsverfahren und Extraktionsvorrichtung zum Extrahieren zumindest eines Datenobjekts aus einem kodierten Datenstrom
JP4875008B2 (ja) * 2007-03-07 2012-02-15 パナソニック株式会社 動画像符号化方法、動画像復号化方法、動画像符号化装置及び動画像復号化装置
US8824567B2 (en) * 2007-04-04 2014-09-02 Ittiam Systems (P) Ltd. Method and device for tracking error propagation and refreshing a video stream
KR101379255B1 (ko) * 2007-04-06 2014-03-28 삼성전자주식회사 미분 방정식을 이용한 인트라 예측 부호화, 복호화 방법 및장치
US8756482B2 (en) 2007-05-25 2014-06-17 Nvidia Corporation Efficient encoding/decoding of a sequence of data frames
CN101321284B (zh) 2007-06-10 2012-01-04 华为技术有限公司 一种编解码方法、设备及系统
US9118927B2 (en) 2007-06-13 2015-08-25 Nvidia Corporation Sub-pixel interpolation and its application in motion compensated encoding of a video signal
JP4678015B2 (ja) * 2007-07-13 2011-04-27 富士通株式会社 動画像符号化装置及び動画像符号化方法
US8873625B2 (en) 2007-07-18 2014-10-28 Nvidia Corporation Enhanced compression in representing non-frame-edge blocks of image frames
WO2009037726A1 (ja) * 2007-09-18 2009-03-26 Fujitsu Limited 動画像符号化装置および動画像復号装置
WO2009066626A1 (ja) * 2007-11-22 2009-05-28 Nec Corporation 画像撮影装置、エンコード方法およびプログラム
US8542748B2 (en) 2008-03-28 2013-09-24 Sharp Laboratories Of America, Inc. Methods and systems for parallel video encoding and decoding
US8358700B2 (en) * 2008-06-03 2013-01-22 Omnivision Technologies, Inc. Video coding apparatus and method for supporting arbitrary-sized regions-of-interest
EP2136565A1 (en) * 2008-06-19 2009-12-23 Thomson Licensing Method for determining a filter for interpolating one or more pixels of a frame, method for encoding or reconstructing a frame and method for transmitting a frame
EP2304963B1 (fr) * 2008-07-01 2015-11-11 Orange Procede et dispositif de codage d'images mettant en oeuvre une prediction amelioree, procede et dispositif de decodage, signal et programmes d'ordinateur correspondants
US8649426B2 (en) 2008-09-18 2014-02-11 Magor Communications Corporation Low latency high resolution video encoding
US20100128797A1 (en) * 2008-11-24 2010-05-27 Nvidia Corporation Encoding Of An Image Frame As Independent Regions
US8666181B2 (en) 2008-12-10 2014-03-04 Nvidia Corporation Adaptive multiple engine image motion detection system and method
US9113169B2 (en) 2009-05-07 2015-08-18 Qualcomm Incorporated Video encoding with temporally constrained spatial dependency for localized decoding
US8724707B2 (en) * 2009-05-07 2014-05-13 Qualcomm Incorporated Video decoding using temporally constrained spatial dependency
US20110026596A1 (en) * 2009-07-28 2011-02-03 Wei Hong Method and System for Block-Based Motion Estimation for Motion-Compensated Frame Rate Conversion
EP2299717A1 (en) * 2009-09-10 2011-03-23 Thomson Licensing Method and apparatus for image encoding using Hold-MBs, and method and apparatus for image decoding using Hold-MBs
KR20110068792A (ko) * 2009-12-16 2011-06-22 한국전자통신연구원 적응적 영상 부호화 장치 및 방법
EP2538673A4 (en) 2010-01-22 2015-12-23 Samsung Electronics Co Ltd METHOD AND DEVICE FOR ENCODING / DECODING AREA
US20120249797A1 (en) 2010-02-28 2012-10-04 Osterhout Group, Inc. Head-worn adaptive display
US9134534B2 (en) 2010-02-28 2015-09-15 Microsoft Technology Licensing, Llc See-through near-eye display glasses including a modular image source
US9366862B2 (en) 2010-02-28 2016-06-14 Microsoft Technology Licensing, Llc System and method for delivering content to a group of see-through near eye display eyepieces
US9223134B2 (en) 2010-02-28 2015-12-29 Microsoft Technology Licensing, Llc Optical imperfections in a light transmissive illumination system for see-through near-eye display glasses
US9097891B2 (en) 2010-02-28 2015-08-04 Microsoft Technology Licensing, Llc See-through near-eye display glasses including an auto-brightness control for the display brightness based on the brightness in the environment
US9285589B2 (en) 2010-02-28 2016-03-15 Microsoft Technology Licensing, Llc AR glasses with event and sensor triggered control of AR eyepiece applications
US8477425B2 (en) 2010-02-28 2013-07-02 Osterhout Group, Inc. See-through near-eye display glasses including a partially reflective, partially transmitting optical element
WO2011106797A1 (en) 2010-02-28 2011-09-01 Osterhout Group, Inc. Projection triggering through an external marker in an augmented reality eyepiece
US20150309316A1 (en) 2011-04-06 2015-10-29 Microsoft Technology Licensing, Llc Ar glasses with predictive control of external device based on event input
US8472120B2 (en) 2010-02-28 2013-06-25 Osterhout Group, Inc. See-through near-eye display glasses with a small scale image source
US9129295B2 (en) 2010-02-28 2015-09-08 Microsoft Technology Licensing, Llc See-through near-eye display glasses with a fast response photochromic film system for quick transition from dark to clear
US9097890B2 (en) 2010-02-28 2015-08-04 Microsoft Technology Licensing, Llc Grating in a light transmissive illumination system for see-through near-eye display glasses
US9341843B2 (en) 2010-02-28 2016-05-17 Microsoft Technology Licensing, Llc See-through near-eye display glasses with a small scale image source
US8482859B2 (en) 2010-02-28 2013-07-09 Osterhout Group, Inc. See-through near-eye display glasses wherein image light is transmitted to and reflected from an optically flat film
US9229227B2 (en) 2010-02-28 2016-01-05 Microsoft Technology Licensing, Llc See-through near-eye display glasses with a light transmissive wedge shaped illumination system
US9091851B2 (en) 2010-02-28 2015-07-28 Microsoft Technology Licensing, Llc Light control in head mounted displays
US9128281B2 (en) 2010-09-14 2015-09-08 Microsoft Technology Licensing, Llc Eyepiece with uniformly illuminated reflective display
US8467133B2 (en) 2010-02-28 2013-06-18 Osterhout Group, Inc. See-through display with an optical assembly including a wedge-shaped illumination system
US9182596B2 (en) 2010-02-28 2015-11-10 Microsoft Technology Licensing, Llc See-through near-eye display glasses with the optical assembly including absorptive polarizers or anti-reflective coatings to reduce stray light
US10180572B2 (en) 2010-02-28 2019-01-15 Microsoft Technology Licensing, Llc AR glasses with event and user action control of external applications
US9759917B2 (en) 2010-02-28 2017-09-12 Microsoft Technology Licensing, Llc AR glasses with event and sensor triggered AR eyepiece interface to external devices
US8488246B2 (en) 2010-02-28 2013-07-16 Osterhout Group, Inc. See-through near-eye display glasses including a curved polarizing film in the image source, a partially reflective, partially transmitting optical element and an optically flat film
GB2481573A (en) * 2010-06-15 2012-01-04 Nds Ltd Splicng of encoded media content
US10244239B2 (en) 2010-12-28 2019-03-26 Dolby Laboratories Licensing Corporation Parameter set for picture segmentation
US20120170648A1 (en) * 2011-01-05 2012-07-05 Qualcomm Incorporated Frame splitting in video coding
US9872017B2 (en) 2011-03-09 2018-01-16 Siemens Aktiengesellschaft Method for coding a sequence of digitized images
GB2488829A (en) * 2011-03-10 2012-09-12 Canon Kk Encoding and decoding image data
GB2488830B (en) 2011-03-10 2015-07-29 Canon Kk Method and device for encoding image data and method and device for decoding image data
PL2723073T3 (pl) 2011-06-14 2018-04-30 Lg Electronics Inc. Sposób kodowania i dekodowania informacji o obrazie
US8184069B1 (en) 2011-06-20 2012-05-22 Google Inc. Systems and methods for adaptive transmission of data
JP5760953B2 (ja) * 2011-10-31 2015-08-12 富士通株式会社 動画像復号装置、動画像符号化装置、動画像復号方法、及び動画像符号化方法
US20130170559A1 (en) * 2011-12-28 2013-07-04 Rovi Technologies Corporation Systems and methods for region of interest video processing
JP5727398B2 (ja) * 2012-01-26 2015-06-03 日本電信電話株式会社 動画像符号化方法，動画像符号化装置および動画像符号化プログラム
US10536726B2 (en) * 2012-02-24 2020-01-14 Apple Inc. Pixel patch collection for prediction in video coding system
EP2645713A1 (en) * 2012-03-30 2013-10-02 Alcatel Lucent Method and apparatus for encoding a selected spatial portion of a video stream
CN102647593B (zh) * 2012-04-18 2014-04-16 北京大学 一种avs帧内模式决策方法和装置
JP6045222B2 (ja) * 2012-06-28 2016-12-14 株式会社Ｎｔｔドコモ 動画像予測復号装置、方法及びプログラム
JP5891975B2 (ja) * 2012-07-02 2016-03-23 富士通株式会社 動画像符号化装置、動画像復号装置、動画像符号化方法および動画像復号方法
US9491457B2 (en) * 2012-09-28 2016-11-08 Qualcomm Incorporated Signaling of regions of interest and gradual decoding refresh in video coding
CN103796019B (zh) * 2012-11-05 2017-03-29 北京勤能通达科技有限公司 一种均衡码率编码方法
US9749627B2 (en) 2013-04-08 2017-08-29 Microsoft Technology Licensing, Llc Control data for motion-constrained tile set
GB2516224A (en) * 2013-07-11 2015-01-21 Nokia Corp An apparatus, a method and a computer program for video coding and decoding
GB2516824A (en) 2013-07-23 2015-02-11 Nokia Corp An apparatus, a method and a computer program for video coding and decoding
KR102116985B1 (ko) 2013-08-16 2020-05-29 삼성전자 주식회사 비디오 인코딩을 위한 인트라 리프레쉬 방법
US11425395B2 (en) 2013-08-20 2022-08-23 Google Llc Encoding and decoding using tiling
US9432624B2 (en) * 2014-01-03 2016-08-30 Clearone Communications Hong Kong Ltd. Method for improving an MCU's performance using common properties of the H.264 codec standard
US20150264358A1 (en) * 2014-03-11 2015-09-17 Kabushiki Kaisha Toshiba Video transmitter, video transceiver system and video transmission method
FR3029333A1 (fr) * 2014-11-27 2016-06-03 Orange Procede de codage et decodage d'images, dispositif de codage et decodage et programmes d'ordinateur correspondants
WO2016124154A1 (zh) * 2015-02-08 2016-08-11 同济大学 图像编码方法和装置及图像解码方法和装置
CN105872539B (zh) 2015-02-08 2020-01-14 同济大学 图像编码方法和装置及图像解码方法和装置
CN104883572B (zh) * 2015-05-21 2018-04-27 浙江宇视科技有限公司 一种基于h.264或h.265的前背景分离编码设备和方法
EP3185553A1 (en) * 2015-12-21 2017-06-28 Thomson Licensing Apparatus, system and method of video compression using smart coding tree unit scanning and corresponding computer program and medium
TWI747775B (zh) 2016-02-09 2021-11-21 弗勞恩霍夫爾協會 用於圖像/視訊資料串流而允許有效可縮減性或有效隨機存取之技術
US10499065B2 (en) 2016-07-21 2019-12-03 Samsung Display Co. Ltd. System and method for sending video data over a wireless channel
US10325166B2 (en) * 2017-04-13 2019-06-18 Here Global B.V. Method, apparatus, and system for a parametric representation of signs
EP3836541A4 (en) * 2018-08-06 2022-06-22 Sharp Kabushiki Kaisha MOVING PICTURE DECODING APPARATUS AND MOVING PICTURE CODING APPARATUS
US10932336B2 (en) 2018-09-10 2021-02-23 Lumileds Llc High speed image refresh system
JP7248735B2 (ja) * 2018-09-10 2023-03-29 ルミレッズ ホールディング ベーフェー 高速画像リフレッシュシステム
US11049290B2 (en) * 2019-03-21 2021-06-29 Adobe Inc. Generation of a sequence of textures for video delivery
EP3942803A4 (en) * 2019-03-21 2022-12-21 Nokia Technologies Oy METHOD, APPARATUS AND COMPUTER PROGRAM PRODUCT FOR VIDEO CODING AND DECODING
EP4011063A4 (en) 2019-08-09 2022-11-02 Huawei Technologies Co., Ltd. EXTERNAL DECODING REFRESH TO VIDEO CODING
WO2021027774A1 (en) 2019-08-10 2021-02-18 Beijing Bytedance Network Technology Co., Ltd. Subpicture dependent signaling in video bitstreams
BR112022005650A2 (pt) * 2019-09-24 2022-07-19 Fraunhofer Ges Forschung Codificador, decodificador e fluxo de dados para codificação gradual de atualização de decodificador e codificação escalável
CN117528082A (zh) 2019-10-02 2024-02-06 北京字节跳动网络技术有限公司 包括子图片的视频比特流中的条带级信令通知
KR20220078600A (ko) 2019-10-18 2022-06-10 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 서브픽처들의 파라미터 세트 시그널링에서의 신택스 제약들

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5778143A (en) * 1993-01-13 1998-07-07 Hitachi America, Ltd. Method and apparatus for the selection of data for use in VTR trick playback operation in a system using progressive picture refresh

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3086396B2 (ja) * 1995-03-10 2000-09-11 シャープ株式会社 画像符号化装置及び画像復号装置
US5568200A (en) * 1995-06-07 1996-10-22 Hitachi America, Ltd. Method and apparatus for improved video display of progressively refreshed coded video
KR100211916B1 (ko) 1995-10-26 1999-08-02 김영환 물체 모양정보 부호화에서의 부호화타입과 모드의 결정방법
EP1120971B1 (en) * 1996-05-17 2003-09-03 Matsushita Electric Industrial Co., Ltd. Video coding method for coding shape and texture signals using different modes
KR100215451B1 (ko) * 1996-05-29 1999-08-16 윤종용 임의형태 물체를 포함한 동화상의 부호화 및 복호화시스템
JP3570863B2 (ja) * 1997-08-05 2004-09-29 三菱電機株式会社 動画像復号化装置および動画像復号化方法
US6304295B1 (en) * 1998-09-18 2001-10-16 Sarnoff Corporation Region-based refresh strategy for video compression
US6987805B1 (en) * 1999-09-24 2006-01-17 Lsi Logic Corporation Macroblock level intrarefresh technique for encoded video
KR20010101880A (ko) * 1999-11-29 2001-11-15 요트.게.아. 롤페즈 멀티미디어 데이타의 코딩 및 디코딩 방법
US6700933B1 (en) * 2000-02-15 2004-03-02 Microsoft Corporation System and method with advance predicted bit-plane coding for progressive fine-granularity scalable (PFGS) video coding
GB2366464A (en) * 2000-08-14 2002-03-06 Nokia Mobile Phones Ltd Video coding using intra and inter coding on the same data

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5778143A (en) * 1993-01-13 1998-07-07 Hitachi America, Ltd. Method and apparatus for the selection of data for use in VTR trick playback operation in a system using progressive picture refresh

Also Published As

Publication number Publication date
JP4468800B2 (ja) 2010-05-26
KR20040106409A (ko) 2004-12-17
US20070110154A1 (en) 2007-05-17
CA2483293A1 (en) 2003-11-13
US7302001B2 (en) 2007-11-27
FI20020810A0 (fi) 2002-04-29
CN1774934A (zh) 2006-05-17
JP2006505153A (ja) 2006-02-09
US20060115001A1 (en) 2006-06-01
US7760802B2 (en) 2010-07-20
CA2483293C (en) 2012-11-27
WO2003094530A1 (en) 2003-11-13
EP1672930A2 (en) 2006-06-21
EP1500280B1 (en) 2013-05-22
EP1672930A3 (en) 2010-11-03
US20040008766A1 (en) 2004-01-15
FI114679B (fi) 2004-11-30
JP2006246524A (ja) 2006-09-14
KR100972403B1 (ko) 2010-07-27
CN1829329B (zh) 2013-03-20
KR20060065740A (ko) 2006-06-14
JP2010136428A (ja) 2010-06-17
CN1829329A (zh) 2006-09-06
KR100973518B1 (ko) 2010-08-03
US7826531B2 (en) 2010-11-02
AU2003229800A1 (en) 2003-11-17
BR0309713A (pt) 2005-02-15
EP1500280A1 (en) 2005-01-26
FI20020810A (fi) 2003-10-30

Similar Documents

Publication Publication Date Title
CN100521793C (zh) 视频编码中的随机访问点
KR100267805B1 (ko) 오염영역을 판정하는 동화상복호방법 및 장치
US6785331B1 (en) Predictive encoding and decoding methods of video data
KR100754461B1 (ko) 디지털 이미지들을 필터링하기 위한 방법 및 필터링 장치
CN100394802C (zh) 视频信号编码/解码方法和装置及对应的无线电电信装置
AU2005323586B2 (en) Deblocking control method considering intra BL mode and multilayer video encoder/decoder using the same
JP4821723B2 (ja) 動画像符号化装置及びプログラム
US20060153294A1 (en) Inter-layer coefficient coding for scalable video coding
US20070025448A1 (en) Deblocking filtering method considering intra-BL mode and multilayer video encoder/decoder using the same
US20110129016A1 (en) Image encoding device, image decoding device, image encoding method, and image decoding method
CN101232615A (zh) 用于在视频编码中随机存取和逐步更新图像的方法
EP2630800B1 (en) A method for coding a sequence of digitized images
JP2004527981A (ja) 予測タイプの選択によるビデオデータブロックのイントラ符号化
KR20100030671A (ko) 영상신호 생성장치, 영상신호 생성방법, 영상신호 생성프로그램 및 그 프로그램을 기록한 컴퓨터 독취가능한 기록매체
AU2006289710A1 (en) Deblocking filtering method considering intra-BL mode and multilayer video encoder/decoder using the same
JP2000102017A (ja) 画像符号化装置および画像符号化方式
CA2542026C (en) Indicating regions within a picture
JP2956726B2 (ja) 動画像の高能率符号化方法及び装置
Kadono et al. Motion compensation method for moving pictures with binary shape
KR19990013085A (ko) 프레임내 부호화방법 및 그 장치
JP2002152754A (ja) 符号化装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20160118

Address after: Espoo, Finland

Patentee after: NOKIA TECHNOLOGIES OY

Address before: Espoo, Finland

Patentee before: NOKIA Corp.

CX01 Expiry of patent term

Granted publication date: 20090729

CX01 Expiry of patent term