CN101027908A - 基于多层调整编码的可分级比特流的装置和方法 - Google Patents

基于多层调整编码的可分级比特流的装置和方法 Download PDF

Info

Publication number
CN101027908A
CN101027908A CNA2005800321957A CN200580032195A CN101027908A CN 101027908 A CN101027908 A CN 101027908A CN A2005800321957 A CNA2005800321957 A CN A2005800321957A CN 200580032195 A CN200580032195 A CN 200580032195A CN 101027908 A CN101027908 A CN 101027908A
Authority
CN
China
Prior art keywords
frame
bit rate
bit stream
bit
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2005800321957A
Other languages
English (en)
Other versions
CN101027908B (zh
Inventor
韩宇镇
李教赫
车尚昌
河昊振
李培根
李宰荣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Priority claimed from PCT/KR2005/003208 external-priority patent/WO2006080655A1/en
Publication of CN101027908A publication Critical patent/CN101027908A/zh
Application granted granted Critical
Publication of CN101027908B publication Critical patent/CN101027908B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H04N19/615—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding using motion compensated temporal filtering [MCTF]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/115—Selection of the code volume for a coding unit prior to coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/127—Prioritisation of hardware or computational resources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/149—Data rate or code amount at the encoder output by estimating the code amount by means of a model, e.g. mathematical model or statistical model
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/15—Data rate or code amount at the encoder output by monitoring actual compressed data size at the memory before deciding storage at the transmission buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/152—Data rate or code amount at the encoder output by measuring the fullness of the transmission buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/162—User input
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/164—Feedback from the receiver or from the transmission channel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/177—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a group of pictures [GOP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/31—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the temporal domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/34—Scalability techniques involving progressive bit-plane based encoding of the enhancement layer, e.g. fine granular scalability [FGS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/36—Scalability techniques involving formatting the layers as a function of picture distortion after decoding, e.g. signal-to-noise [SNR] scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/587—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Algebra (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

公开了一种用于在视频流服务器中实现信噪比(SNR)分级以在可变网络环境中发送视频流的方法和装置。一种使得基于多层的编码的可分级比特流的比特率适用于可变网络环境的装置，包括：比特流解析单元，解析输入的比特流；预解码条件确定单元，根据可变网络环境确定目标传输比特率；预解码单元，根据确定的目标传输比特率跳过包括在解析的比特流中的至少一帧；以及比特流发送单元，将由于帧跳过而重构的比特流发送到客户机设备。

Description

基于多层调整编码的可分级比特流的装置和方法
技术领域
与本发明一致的装置和方法涉及视频压缩。更具体地说，本发明涉及用于在视频流服务器中实现信噪比(SNR)分级以在可变网络环境中发送视频流的方法和装置。
背景技术
诸如互联网的通信技术的发展已经使得除了文本和语音通信之外的视频通信增长。然而，消费者并不满意现有的基于文本的通信方案。为了满足各种消费者的需要，已经逐渐提供包含文本、图像、音乐等的多媒体数据的服务。多媒体数据通常数据量巨大，并且需要大容量存储介质。此外，需要很宽的带宽来传输多媒体数据。例如，对具有640×480的分辨率的24位真彩色图像的一帧进行数字化需要640×480×24比特，也就是7.37兆比特(Mbit)。因此，需要大约221M比特每秒的带宽来以每秒30帧的速率来传输该数据，并且需要大约1,200吉比特(Gbit)的存储空间来存储90分钟的电影。考虑到这种情况，当传输多媒体数据时，需要使用压缩的编码方案。
数据压缩的基本原理是消除数据中的冗余。三种类型的数据冗余是：空间冗余、时间冗余和感知-视觉冗余。空间冗余指的是图像中的相同颜色或对象的副本，时间冗余指的是在音频中相同声音的连续重复或运动图像中的邻近的帧之间的改变很小或没有改变，感知-视觉冗余指的是人类视觉的局限性和无法听到的高频率。通过消除这些冗余，可以压缩数据。数据压缩类型可分为取决于信源数据是否损失的有损/无损压缩，取决于是否相对于每一帧独立地压缩数据的帧内/帧间压缩，以及取决于是否将相同量的时间用于压缩和解压缩的对称/不对称压缩。此外，当用于压缩和解压缩的总共的端到端延迟时间不超过50ms时，将其称为实时压缩。当帧具有多种分辨率时，将其称为可分级压缩。无损压缩主要用于压缩文本数据和医学数据，有损压缩主要用于压缩多媒体数据。帧内压缩通常用于消除空间冗余，帧间压缩用于消除时间冗余。
传输多媒体数据的传输介质具有不同的性能。当前使用的传输介质具有多种传输速率，覆盖能够以几十Mbit/s的速率传输数据的甚高速通信网络、具有384kbit/s的传输速率的移动通信网络等。在传统视频编码算法中，例如MPGE-1、MPGE-2、MPGE-4、H.263和H.264(先进视频编码)，通过运动补偿来消除时间冗余，通过空间变换来消除空间冗余。这些方案在压缩中具有良好的性能，但是它们对于真正的可分级比特流的灵活性较差，因为这些方案的主要算法采用递归逼近。
为此，近来的研究关注于基于小波的可分级视频编码。可分级视频编码指的是在空域(即就分辨率而言)具有分级的视频编码。分级具有这样的属性：使得压缩的比特流能够被部分地或预先地解码，从而可播放具有多种分辨率的视频。
术语“分级”在此用于共同表示控制视频的分辨率的空间分级、控制视频质量的信噪比(SNR)分级、以及控制视频的帧率的时间分级及其组合。
如上所述，可基于小波变换来实现空间分级。此外，使用运动补偿时间滤波(MCTF)和非受限MCTF(UMCTF)来实现时间分级。基于考虑空间相关的嵌入式量化编码方案或用于MPEG系列编解码器的精细粒度分级(FGS)编码方案来实现SNR分级。
图1示出支持分级的视频编码系统的整个结构。视频编码器45通过时间滤波、空间变换和量化来编码输入的视频10，从而生成比特流20。预解码器50可通过截断或提取从视频编码器45接收的一部分比特流20来以简单的方式实现相对于纹理数据的各种分级。对于截断，可考虑图像质量、分辨率或帧率。通过截断一部分比特流来实现分级的过程称为“预解码”。
视频解码器60通过相反地执行由视频编码器45进行的过程而从预解码的比特流25重构输出视频30。预解码器50并非必须进行根据预解码条件的比特流的预解码。当因为视频编码器60的处理容量不足而难以实时处理在视频编码器45侧生成的比特流20的整个视频时，可在视频解码器60侧预解码比特流。
关于支持分级的视频编码技术的标准在运动图像专家组-21(MPGE-21)PART-13中正在开发。特别地，已经进行了实现多层化的视频编码方法的许多尝试。多层可包括基层、第一增强层和第二增强层，每一层具有不同分辨率(QCIF、CIF2CIF)或不同帧率。
图2示出使用多层结构的可分级视频编解码器的示例。以具有15Hz的帧率的四分之一公共中间格式(QCIF)定义基层，以具有30Hz的帧率的公共中间格式(CIF)定义第一增强层，以具有60Hz的帧率的标准清晰度(SD)来定义第二增强层。当需要CIF0.5M的流时，可预解码第一增强层(CIF-30Hz@0.7M)的比特流。按照该方式，可实现时间、空间、SNR分级。由于每一层的运动矢量和纹理之间存在相似性，因此通常当编码多个层时移除每一层的冗余。然而，存在具有相同分辨率但具有不同帧率或具有相同帧率但具有不同分辨率的层。
图3示出在预解码器50侧实现SNR分级的传统方法。由视频编码器生成的比特流20包括多个图像组(GOP)，每一GOP包括多个帧信息。帧信息40包括运动分量41和纹理分量42。预解码器50根据连接到解码器侧的网络的带宽来确定可传输的比特率，并基于确定的比特率来截断一部分原始纹理分量42。在截断原始纹理分量42之后留下的纹理分量(也就是基于SNR预解码的纹理分量43)和运动分量41被发送到视频解码器侧。
由于通过支持SNR分级的方法来编码所述纹理分量，因此可通过向后截断一部分纹理分量的简单操作来实现SNR分级。支持SNR分级的编码方法为：用于MPEG系列的编解码器的精细粒度分级(FGS)以及用于小波系列的编解码器的嵌入式量化编码。通过嵌入式量化而生成的比特流具有附加的优点：其可比由FGS编码生成的比特流更精细地预解码。
发明内容
技术问题
然而，因为由于多层化视频编码的结构问题和运动信息而导致过载，所以当层中的SNR改变时，比特流可能不逼近用户所期望的目标比特率。在此情况下，如果因为数据的过度截断而导致图像质量恶化或由于不存在将要进一步截断的比特而因此发送比特流，则可能导致实时流传输中的网络延迟。因此，需要预解码方法来解决这个问题。
技术方案
已经提出本发明来解决上述问题，本发明的目的在于提供一种能够与可变网络环境自适应地进行处理的预解码方法和装置。
本发明的另一目的在于解决仅通过在当前层中截断帧的纹理信息，比特流不能逼近目标传输比特率的问题。
根据本发明一方面，提供一种使得基于多层的编码的可分级比特流的比特率适用于可变网络环境的装置，包括：比特流解析单元，解析输入的比特流；预解码条件确定单元，根据可变网络环境确定目标传输比特率；预解码单元，根据确定的目标传输比特率跳过包括在解析的比特流中的至少一帧；以及比特流发送单元，将由于帧跳过而重构的比特流发送到客户机设备。
根据本发明另一方面，提供一种基于多层的视频解码器，包括：跳过确认单元，通过从输入的比特流中读出指示当前帧的纹理数据大小的字段的值来确认当前帧的跳过；基层解码器，当所述值指示帧跳过时，恢复具有与当前帧相同的时间位置的基层帧；以及上采样单元，将恢复的较低层帧上采样为增强层的分辨率。
根据本发明另一方面，提供一种基于多层的编码的可分级比特流的比特率适用于可变网络环境的方法，包括以下步骤：解析输入的比特流；根据可变网络环境确定目标传输比特率；根据确定的目标传输比特率跳过包括在解析的比特流中的至少一帧；以及将在帧跳过之后重构的比特流发送到客户机设备。
根据本发明另一方面，提供一种基于多层的视频解码方法，包括：通过从输入的比特流中读出指示当前帧的纹理数据大小的字段的值来确认当前帧的跳过；当所述值指示帧跳过时，恢复具有与当前帧相同的时间位置的基层帧；以及将恢复的较低层帧上采样为增强层的分辨率。
附图说明
通过下面结合附图进行的对本发明优选实施例的详细描述，本发明的上述和其他特征和优点将会变得更加清楚，其中：
图1示出支持分级的视频编码系统的整个结构；
图2示出使用多层化的结构的可分级视频编解码器的帧阵列的示例；
图3示出SNR分级的传统实现；
图4至7示出根据本发明示例性实施例的帧跳过；
图8示出根据本发明示例性实施例的多层视频编码器的结构；
图9示出差分系数的离散余弦变换(DCT)转换的示例；
图10示出阈值比特率；
图11至14示出根据本发明示例性实施例的比特流的结构；
图15示出根据本发明示例性实施例的预解码器的结构；
图16是示出每一帧的预解码的示例的框图；
图17是示出每一帧的预解码的示例的框图；
图18是示出根据本发明示例性实施例的在预解码器中进行的操作的流程图；
图19是示出与通过闭环机制编码的比特流有关的预解码器中进行的操作的流程图；
图20是示出根据本发明示例性实施例的在预解码器中进行的操作的流程图；
图21示出通过帧跳过截断纹理数据之后的结果；
图22示出通过帧跳过截断运动信息之后的结果；以及
图23示出根据本发明示例性实施例的多层化的视频解码器的结构。
具体实施方式
以下参照附图来说明本发明的示例性实施例。通过参照以下示例性实施例的详细描述和附图，本发明的优点和特点以及实现本发明的方法可变得更容易理解。然而，本发明可实施为多种不同的形式，并且不应理解为受限于在此阐述的实施例。此外，提供这些实施例从而该公开将是彻底和完整的，并将把本发明的构思全面传达给本领域技术人员，本发明仅由权利要求定义。在整个说明书中，相同的标号表示相同的元件。
在本发明中，当即使通过截断使用多层编码的比特流的纹理分量，比特流在预解码器侧也不能到达目标传输比特率时，特殊方法用于实现SNR分级。在此情况下，预解码器跳过当前层中的帧，解码器使用与当前层的帧对应的基层的帧来恢复当前层的帧。该技术扩展了分级的范围，节省了跳过的帧的比特，并提供高于可视化质量的视频帧，而不是由于不充足的比特率而恢复一部分当前层帧。
将参照图4至图7描述本发明中使用的帧跳过。假定存在包括多个基层帧(A1至A4)以及多个增强层帧(F1至F8)的比特流。即使一部分增强层帧(即F1)被截断，也可通过在解码器侧在相同的时间位置上采样基层帧(即A1)来恢复所述增强层帧。在图4的示例中，截断帧F1、F3、F5和F7。当通过对比特流预解码，比特流不能到达目标传输比特率时，预解码器可跳过一部分或整个增强层帧，在所述增强层帧中，基层帧出现在相同位置。跳过的顺序按照相反的方式从当前预解码单元的最后的帧开始。在图5中，当需要跳过两帧时，跳过图4的F7和F5，视频解码器可用通过上采样A3和A4生成的帧(A3u和A4u)来替换增强层帧F5和F7。
图6通过示例示出存在基层帧(A1至A8)和增强层帧(F1至F8)的情况。在此情况下，可从增强层帧首先截断帧。然而，不期望从以闭环编码方法所编码的帧中截断内部图像(I-图像)和预测图像(P-图像)，它们用作其它帧的参考帧。在图6中，当假定F1为I-图像，F5是P-图像并且其它间接的帧(oblique frame)是双向图像(B-图像)时，以及当需要对帧进行截断时，可从较后的时帧间开始仅截断B-图像。
在以诸如MCTF的开环编码方法所编码的比特流中，可以截断帧而不将帧分类为高通帧和低通帧。在开环编码中，由于误差分布在高通帧和低通帧之间，因此与闭环编码相比，参照图像质量稍低的低通帧的高通帧的图像的质量没有显著降低。
在图6中，当需要截断两帧时，截断在时间上较晚的两帧(F8和F7)。截断在时间上较晚的两帧的原因在于减少由于帧之间的图像质量改变而导致的闪烁。如图7，当截断F3和F7并且以A3和A7的上采样的帧(A3u和A7u)来替代它们时，闪烁产生四次。在本发明中，为了减少闪烁，从邻近帧中选择将要截断的那些帧。为此，在多个帧中，连续截断时间上较晚的帧。
图8示出根据本发明示例性实施例的多层化视频编码器100。在该示例性实施例中，通过示例使用单个基层和单个增强层。视频编码器100包括下采样器110、运动估计单元121和131、时间变换单元122和132、空间变换单元123和133、量化单元124和134、解码单元135、熵编码单元150以及图像质量比较单元160。
下采样器110下采样具有适配于每一层的帧率和分辨率的输入视频。如图2所示，当使用QCIF@15Hz的基层以及CIF@30Hz的增强层时，将原始输入视频分别下采样为QCIF和CIF，并且以帧率15Hz和30Hz分别再次下采样得到的视频。可通过MPEG下采样器或小波下采样器进行分辨率的下采样，并且可通过帧跳过或帧插入来进行帧率的下采样。
运动估计单元121执行关于增强层帧的运动估计，并获得基层帧的运动矢量。运动估计是在参考帧中搜索与当前帧的块最相似的块(也就是具有最小误差的块)的块的过程。此时，可使用诸如固定大小块匹配或等级可变大小块匹配(HVSBM)的多种方法。在此情况下，可通过使用由运动估计单元131获得的基层帧的运动矢量来最有效地表示消除了冗余的增强层的运动矢量分量。
时间变换单元122使用由运动估计单元121获得的运动矢量以及在时间上不同于当前帧的位置处的帧来构建预测帧，并获得当前帧和预测帧之间的差，从而减少时间冗余。结果，生成残差帧。在当前帧是没有参照不同的帧编码的内部帧时，不需要运动矢量，并且还可省略使用预测帧的时间变换。在这些时间变换方法中，可将MCTF或UMCTF用于支持时间分级。
当增强层帧是内部帧时，可使用通过使用在对应的位置处的基层帧移除层之间的纹理的冗余的方法。在此情况下，通过在解码单元135中再次解码得到的帧来恢复已经通过量化单元134的基层帧，从而可可通过使用恢复的(当需要时被上采样的)基层帧来有效预测对应的位置上的增强层帧，这被称为“B-帧内预测”。
空间变换单元123通过对由时间变换单元122生成的残差帧或原始输入帧执行空间变换来生成变换系数。在此，将DCT或小波空间变换用于空间变换方法。当使用DCT时，变换系数是DCT系数，当使用小波变换时，变换系数是小波系数。
量化单元124量化由空间变换单元123生成的变换系数，从而生成量化系数。此时，量化单元124格式化量化系数以支持SNR分级。作为支持SNR分级的方法，可使用FGS编码或嵌入式量化。
首先将描述FGS编码。获得原始输入帧和解码的基层帧之间的差，将获得的差分解为多个比特面。例如，假定DCT块的差系数如图9所示(在8×8块中，省略的部分全部由“0”来表示)，当使用锯齿形扫描时，可将差系数排列为{+13，-11，0，0，+17，0，0，0，-3，0，0，...}，并可将其分解为表1中的五个比特面。比特面的值表示为二进制系数。
表1
值 +13 -11  0  0 +17  0  0  0 -3  0...
比特面4(24) 0  0  0  0  1  0  0  0  0  0...
比特面3(23) 1  1  0  0  0  0  0  0  0  0...
比特面2(22) 1  0  0  0  0  0  0  0  0  0...
比特面1(21) 0  1  0  0  0  0  0  0  1  0...
比特面0(20) 1  1  0  0  1  0  0  0  1  0...
格式化为上述分解的比特面的增强层从第4比特面(最高阶)开始，并由每一比特面单元连续排列到第0比特面(最低阶)。为了在预解码器中调整比特面，首先截断具有最低的差的比特面，从而实现SNR分级。在已经截断其它比特面之后，当留下第4比特面和第3比特面时，将数组{+8，-8，0，0，16，0，0，0，0，...}发送到解码器侧。
嵌入式量化适用于基于小波的编解码器。例如，仅编码大于第一阈值的值，并且仅编码大于通过对第一阈值折半而生成的新的阈值的值，其中，所述新的阈值被再次折半，并重复这些操作。与FGS不同的是，使用空间相关来进行嵌入式量化。嵌入式量化方法包括嵌入式零树小波算法(EZW)、嵌入式零块编码(EZBC)以及等级树集划分(SPIHT)。
当将FGS编码或嵌入式量化应用于帧的纹理数据时，用户可根据情况从时间上较晚的帧任意截断纹理数据，以实现SNR分级。
参照图8，与增强层帧相同，基层帧经历运动估计单元131的运动估计、时间变换单元132的时间变换、空间变换单元133的空间变换以及量化单元134的量化。
熵编码单元150通过对由基层的量化单元134和增强层的量化单元124生成的量化系数、由基层的运动估计单元131生成的基层的运动矢量以及由运动估计单元121生成的增强层的运动矢量分量进行无损编码(或熵编码)来生成输出比特流。为了进行无损编码，可使用诸如Hufaman编码、算术编码或可变长度编码的各种编码方法。
当通过这些过程生成可分级比特流时，预解码器可根据网络条件通过从当前帧的较晚部分开始截断当前帧的比特流来控制传输比特率。然而，当因为网络条件恶化而截断大量比特流时，得到的视频的图像质量将很糟糕。在极端的情况下，随着当前帧的比特流被截断，可截断除了运动分量之外的整个纹理分量。因此，当根据图10所示的网络条件截断比特流时，如果目标传输比特率低于特定阈值比特率，则如果丢弃当前帧的整个比特流并通过在视频解码器中上采样与当前帧对应的较低层帧来恢复当前帧，则可产生较好的结果。问题在于如何找到这样的阈值比特率。由于因为不存在原始输入帧而导致预解码器不能确定哪里的图像质量较优或较差，因此必须由视频编码器100确定并发送阈值信息。
为此，视频编码器100还包括图像质量比较单元160。图像质量比较单元160比较通过解码由熵编码单元150生成的比特流中一部分被截断的增强层帧的纹理分量而恢复的增强层帧和通过解码在时间上与增强层帧对应的基层帧并将其上采样为增强层的分辨率而生成的帧。对于质量比较，可比较原始帧和帧之间的差的和，或可比较基于原始帧获得的峰值SNR(PSNR)。结果，如果恢复的增强层帧的图像质量优于对应的基层帧的图像质量，则进一步截断增强层帧的纹理分量并对其解码，然后执行另一比较。通过重复这些过程，可找到使得两种帧在图像质量上等同的阈值比特率(如图10所示)。图像质量比较单元160可将找到的阈值比特率记录为由熵编码单元150生成的比特流中的标记比特。
图11至14示出根据本发明示例性实施例的图8所示的比特流300的结构。具体地说，图11示意性示出比特流300的整个结构。
比特流300包括序列头字段310和数据字段320。数据字段320可包括一个或多个GOP字段，所述多个GOP字段包括330、340和350。
在序列头字段310中记录视频的属性，例如帧的宽度大小(2字节)和长度大小(2字节)、GOP的大小(1字节)、帧率(1字节)、运动精度(1字节)以及其它属性。
图12示出每一GOP字段330的详细结构。GOP字段330可包括GOP头360、T(0)字段370、MV字段380和“其它T”字段390，在T(0)字段370中记录有关于基于第一时间滤波序列的第一帧(帧内)的信息，在MV字段380中记录有一组运动矢量，在“其它T”字段390中记录有关于除了第一帧之外的其它帧(帧间)的信息。
与序列头字段310不同的是，属于当前GOP的帧的属性，而非整个帧的属性，记录在GOP头360中。
图13示出记录有运动矢量的MV字段380的详细结构。每一运动矢量字段包括：大小字段381，用于表示运动矢量的大小；以及数据字段382，用于在其中记录运动矢量的实际数据。数据字段382可包括包含关于熵编码的信息的字段(未示出)以及包含实际运动矢量信息的二进制流字段(未示出)。
图14示出“其它T”字段390的详细结构。例如，可在该字段390中记录关于比帧的数量小1的帧间的信息。
关于每一帧间的信息包括：帧头字段391；数据Y字段393，用于记录相关的帧间的亮度分量；数据U字段，用于记录蓝色色差分量；以及数据V字段397，用于记录红色色差分量。大小字段392、394和396附属在字段393、395和396的每一个的前面，以表示每一分量的大小。在帧头字段391中，记录有限制为相关的帧的视频的属性，这与序列头字段310和GOP头360不同。
当单个帧包括多个彩色分量(包括亮度(Y)分量)时，可进行对每一色彩分量的预解码，可用相同的百分比来预解码构成帧的每一彩色分量。可将参照图10描述的阈值比特率记录在帧头字段391中，并将其发送到预解码器。可将所述阈值比特率指示为基于彩色分量的单独的标记比特，而不是在帧头字段391中记录阈值比特数。
图15示出根据本发明示例性实施例的预解码器200的结构。预解码器200预解码从视频编码器100提供的比特流300，并控制比特流300的比特率或SNR。预解码涉及通过提取或截断一部分比特流来控制分辨率、帧率和SNR。然而，由于本发明关注实现SNR分级，因此可理解，下文中预解码指的是控制比特流的SNR。在实际实现中，预解码器200可理解为视频流服务器，用于发送适用于可变网络环境的可分级视频流。
预解码器200包括比特流解析单元210、预解码条件确定单元240、预解码单元220和比特流发送单元230。
比特流解析单元210解析从视频编码器100提供的比特流300。在此情况下，其读出包括在比特流300中的基于帧的信息，例如“其它T”字段390的帧头字段391、每一彩色分量的数据大小信息392、394和396以及图14的纹理信息393、395和397。
根据用户的输入，预解码条件确定单元240确定服从可变网络情况的预解码条件，即目标传输比特率。作为确定预解码条件的示例，从接收自预解码器200发送的比特流的视频解码器反馈当前可用的反馈信息，基于此来确定目标传输比特率。在此，视频解码器是用于恢复视频流的装置，这可通过参照用于接收视频流传输服务的客户机设备来理解。
预解码单元220根据确定的目标传输比特率预解码解析的比特流。在本发明中，将描述基于帧的比特流的预解码的第一示例性实施例和预解码一组预定数量的帧(也就是基于单元的预解码)的第二示例性实施例。预解码单元可以和GOP单元相同，也可以和GOP单元不同。
基于帧的预解码适配于帧，从而每一帧具有根据可变网络情况的可变比特率。图16是示出基于帧的预解码的示图，其中，F1至F4中的每一个表示比特流中的帧分量，阴影部分表示通过预解码从每一帧截断的部分。
基于单元的预解码确定多个帧的传输比特率。图17是示出基于单元的预解码的示图。当预解码单元包括四个帧时，将与图16的可变预解码结果相同数量的比特作为整体来截断。在此情况下，与基于帧的传输相比，加长了反映网络情况的改变的周期。相应地加长了从视频解码器侧接收的反馈周期。
例如，足够截断与图16的阴影部分的和相同数量的比特。为此，可进行图17的均匀截断，或可跳过预解码单元中的帧。
根据本发明第一示例性实施例，图18的流程图示出由预解码单元220进行的操作。首先确定帧是否出现在当前帧的较低层(S10)。如果未出现(S10中的“否”)，则根据由预解码条件确定单元240确定的目标传输比特率或预解码条件预解码当前帧(S50)。在此情况下，由于不能跳过当前帧，因此尽可能多地截断当前帧的纹理分量，以调整SNR。在本发明中，当前帧指的是当前将由预解码器发送的帧。
通过在用于指示纹理数据大小的字段中记录在截断之后留下的纹理数据的大小，解码器侧稍后可得知所述大小(S60)。预解码器200可基于图14所示的彩色分量(Y、U和V)进行当前帧的预解码，并在预解码之后在彩色分量大小字段392、394和396中记录改变的纹理数据的大小。在此情况下，可根据网络情况以可变速率或相同速率基于彩色分量进行预解码。
在操作S10，当帧出现在当前帧的较低层中时(S10中的“是”)，检查由预解码条件确定单元240确定的目标传输比特率是否小于预定阈值比特率(S20)。
作为S20中检查操作的结果，如果目标传输比特率小于阈值比特率(S20中的“是”)，则预解码器200跳过当前帧来代替截断一部分纹理分量(S30)。其后，在用于指示纹理数据大小的字段中记录“0”，从而其指示没有特定纹理数据存在(S40)。然而，如果操作S20中的检查结果相反，则重复步骤S50。
当前帧的跳过可表示仅跳过当前帧的纹理数据或跳过纹理数据和运动数据两者。在前者的情况下，视频解码器通过上采样与当前帧对应的基层的纹理数据来恢复当前帧的纹理数据，而使用当前帧的运动矢量作为用于逆时间变换的运动矢量。在后者的情况下，视频解码器上采样基层帧的纹理数据和运动数据，并恢复当前帧的纹理数据和运动数据。
在第一示例性实施例中，可由视频解码器的图像质量比较单元160确定阈值比特率。但是，可由任意单元对其进行确定。例如，预解码器确定关于帧的运动信息和纹理信息之间的特定比率，并截断纹理信息，从而当纹理信息对运动信息的比率达到特定比率时的比特率可被设置为阈值比特率。可用本领域技术人员所知的各种方式确定阈值比特率。
当视频编码器100采用闭环编码时，可按图19所示的顺序执行预解码。图19与图18的不同之处在于，它还包括确定操作S25。在操作S25中，当当前帧是没有被用作其它帧的参考帧的B-图像时(S25中的“是”)，可在S30和S40中执行当前帧的跳过。然而，在操作S25，在当前帧是用作另一帧的参考帧的I-图像或P-图像时(S25中的“否”)，不能跳过当前帧(S50和S60)。如果可接受某种程度的图像质量恶化，则当出现较低层帧时，可使用图18的方法，无论是不是开环编码方法，也不管帧是I-图像，B-图像还是P-图像。
根据本发明第二示例性实施例，图20示出由预解码单元220进行的操作。当由预解码条件确定单元240确定的目标传输比特率小于阈值比特率时(S110中的“是”)，预解码属于预解码单元的帧，以具有阈值比特率(S120)。在用于指示每一帧的纹理数据大小的字段中记录改变的比特数量(S130)。由于在预解码之后阈值比特率仍旧超过目标传输比特率，因此其后可进行帧跳过。
控制阈值比特率，从而在属于当前预解码单元的帧中通过按相反顺序跳过出现较低层的帧来接近目标传输比特率(S140)。在此，当前预解码单元指的是预解码器200当前发送的预解码单元。
其后，在用于指示跳过的帧的纹理数据大小的字段中记录“0”(S150)。虽然跳过帧，但没有移除帧头字段391和根据彩色分量的大小字段392、394和396。当在图14中跳过第一帧时，该帧的T(1)字段仅包括帧头391和根据分量的大小字段392、394和396，如图21所示。在此情况下，在根据分量的大小字段392、394和395中记录“0”。
当跳过帧和运动矢量时，包含关于图13中的第一帧的运动信息的MV(1)字段仅包括图22所示的用于指示运动矢量的大小的字段381。在此情况下，以“0”写入字段381。
作为操作S110的确定结果，当确定的目标传输比特率不小于阈值比特率时(S110中的“否”)，预解码单元根据目标传输比特率进行预解码(S160)。如参照图16所述，无需按均匀方式截断所有帧。甚至只要满足目标传输比特率就无需截断所有帧。在各个帧的大小字段中记录改变的比特数(S170)。
返回图15，比特流发送单元230将通过使其比特率由预解码单元220来调整而重构的比特流(也就是预解码的比特流)发送到视频解码器侧，并从视频解码器接收反馈信息。反馈信息包括随着视频解码器接收比特流而测量的当前可用比特率的信息。
图23示出根据本发明示例性实施例的多层化视频解码器400的结构。视频解码器400包括熵解码单元410、基层解码器420、增强层解码器430、跳过确认单元440和上采样单元450。
熵解码单元410进行逆熵编码操作，也就是说，它从输入的比特流中提取增强层的数据和基层的数据。增强层帧和基层帧的每一数据包括纹理数据和运动数据。
跳过确认单元440读取指示增强层帧中的当前帧的纹理数据的大小的字段。当值为“0”时(指示帧跳过)，将当前跳过的帧的编号提供给基层解码器420。当值不为“0”时，将当前帧的编号提供给增强层解码器430。本发明的视频解码器400中的当前帧指的是当前恢复的层的帧。
当值指示帧跳过时，基层解码器420恢复与具有提供的帧编号的当前帧具有相同时间位置的较低层帧。当值不指示帧跳过时，增强层解码器430从等于该值的纹理数据中恢复当前帧。
增强层解码器430包括逆量化单元431、逆空间变换单元432和逆时间变换单元433。逆量化单元431逆量化从跳过确认单元440提供的纹理数据。这种逆量化是视频编码器100中进行的量化的逆过程。在这样的逆量化中，也一如既往地使用在量化中采用的量化表，以恢复变换系数。可以从编码器侧发送量化表，或可由编码器和解码器预先确定量化表。
逆空间变换单元432对逆量化的结果执行逆空间变换。逆空间变换与视频编码器100中进行的空间变换对应。具体地说，可使用逆DCT变换或逆小波变换。
逆时间变换单元433从逆空间变换的结果恢复视频序列。在此情况下，通过使用已经恢复的视频帧和由熵解码单元410提供的增强层的运动矢量来生成估计帧，并通过将逆空间变换结果和生成的估计帧相加来恢复当前帧。自然地，没有由编码器在时间上变换的帧内无需通过逆时间变换。
然而，根据编码方法，帧内还可通过当编码时使用基层来移除增强层的纹理的冗余。在此情况下，逆时间变换单元433可通过使用恢复的基层帧来恢复作为帧内的当前帧。
同样地，可通过经过逆量化单元421、逆空间变换单元422和逆时间变换单元423来将基层的纹理数据恢复到基层帧。已经描述了基层解码器420和增强层解码器430在逻辑上分离。然而，本领域技术人员易知，可将单个解码模块实现为恢复增强层和基层。
关于与从跳过确认单元440提供的跳过的帧的编号对应的帧，上采样单元450以增强层的分辨率上采样恢复的基层帧。根据上采样结果而生成的帧变为具有相关的帧的编号的增强层帧。当基层的分辨率和增强层的分辨率不同的时候，可进行这样的上采样，但当两者相同时可将其删除。
已经参照帧具有单个基层和单个增强层的情况描述了本发明的所有示例性实施例。然而，本领域技术人员可从上面的描述充分了解添加许多层的情况。在多层包括基层、第一增强层和第二增强层的情况下，在基层和第一增强层之间使用的算法将同样应用于第一增强层和第二增强层之间。
图8、15和23所示的所有元件可以表示软件单元或硬件单元，例如现场可编程门阵列(FPGA)或专用集成电路(ASIC)。然而，这些元件不限于此，并且它们可处于可寻址存储介质中，或可执行一个或多个处理器。由这些元件固有地提供的这些功能可进一步拆分，或者用于执行特定功能的单个元件可通过集成多个元件来实现。
产业上的可利用性
根据本发明，当进行预解码时能够对可变网络情况进行自适应反应。
当仅截断层的帧的纹理信息使得不能接近目标传输比特率时，也可使用本发明。
本领域技术人员应理解，在不脱离由权利要求定义的本发明的范围和精神的情况下，可在形式和细节上进行各种替换、修改和改变。因此，应理解，上面描述的实施例仅是示例性的，而不应理解为本发明的限制。

Claims (20)

1、一种使得基于多层的编码的可分级比特流的比特率适用于可变网络环境的装置，包括：
比特流解析单元，解析输入的比特流；
预解码条件确定单元，根据可变网络环境确定目标传输比特率；
预解码单元，根据确定的目标传输比特率跳过包括在解析的比特流中的至少一帧；以及
比特流发送单元，将由于帧跳过而重构的比特流发送到客户机设备。
2、如权利要求1所述的装置，其中，所述预解码条件确定单元基于从所述客户机设备反馈到所述预解码条件确定单元的当前可用比特率信息来确定所述目标传输比特率。
3、如权利要求1所述的装置，其中，当所述目标传输比特率小于预定阈值比特率时进行帧跳过。
4、如权利要求3所述的装置，其中，从生成输入的比特流的视频解码器来提供所述阈值比特率。
5、如权利要求4所述的装置，其中，所述视频解码器比较增强层帧与基层帧，从而当所述两种帧都具有相同图像质量时搜索阈值比特率，所述增强层帧通过对一部分被截断的增强层帧的纹理分量解码而被解码，所述基层帧与增强层帧在时间上对应，并且以增强层的分辨率而被解码和上采样。
6、如权利要求4所述的装置，其中，所述阈值比特率指的是当纹理信息对运动信息的大小比率是根据纹理信息的截断的特定值时的比特率。
7、如权利要求3所述的装置，其中，当在包括在解析的比特流中的帧中的当前帧的较低层中出现帧时，所述预解码单元跳过当前帧。
8、如权利要求7所述的装置，其中，当将要发送的帧没有用作另一帧的参考帧时，所述预解码单元跳过将要发送的所述帧。
9、如权利要求1所述的装置，其中，所述预解码单元将“0”记录在用于指示跳过的帧的纹理数据的大小的字段中。
10、如权利要求3所述的装置，其中，所述预解码单元按从较晚的帧开始的相反顺序跳过包括在解析的比特流中的当前预解码单元的帧。
11、一种基于多层的视频解码器，包括：
跳过确认单元，通过从输入的比特流中读出指示当前帧的纹理数据大小的字段的值来确认当前帧的跳过；
基层解码器，当所述值指示帧跳过时，恢复具有与当前帧相同的时间位置的基层帧；以及
上采样单元，将恢复的较低层帧上采样为增强层的分辨率。
12、如权利要求11所述的视频解码器，还包括：增强层解码器，当所述值没有表示帧跳过时，从与所述值对应的纹理数据恢复当前帧。
13、如权利要求11所述的视频解码器，其中，指示帧跳过的值是“0”。
14、一种使得基于多层的编码的可分级比特流的比特率适用于可变网络环境的方法，包括以下步骤：
(a)解析输入的比特流；
(b)根据可变网络环境确定目标传输比特率；
(c)根据确定的目标传输比特率跳过包括在解析的比特流中的至少一帧；以及
(d)将在帧跳过之后重构的比特流发送到客户机设备。
15、如权利要求14所述的方法，其中，当所述目标传输比特率小于预定阈值比特率时进行帧跳过。
16、如权利要求15所述的方法，其中，从生成输入的比特流的视频编码器来提供所述阈值比特率。
17、如权利要求16所述的方法，其中，在包括在解析的比特流中的帧中，当帧出现在当前帧的较低层时，相对于当前帧进行所述帧跳过。
18、一种基于多层的视频解码方法，包括：
通过从输入的比特流中读出指示当前帧的纹理数据大小的字段的值来确认当前帧的跳过；
当所述值指示帧跳过时，恢复具有与当前帧相同的时间位置的基层帧；以及
将恢复的较低层帧上采样为增强层的分辨率。
19、如权利要求18所述的方法，还包括：当所述值不指示帧跳过时，从与所述值对应的纹理数据恢复当前帧。
20、如权利要求18所述的方法，其中，指示帧跳过的值是“0”。
CN2005800321957A 2004-10-18 2005-09-28 基于多层调整编码的可分级比特流的比特率的装置和方法 Expired - Fee Related CN101027908B (zh)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
US61902304P 2004-10-18 2004-10-18
US60/619,023 2004-10-18
KR1020040107960 2004-12-17
KR1020040107960A KR100703724B1 (ko) 2004-10-18 2004-12-17 다 계층 기반으로 코딩된 스케일러블 비트스트림의비트율을 조절하는 장치 및 방법
KR10-2004-0107960 2004-12-17
PCT/KR2005/003208 WO2006080655A1 (en) 2004-10-18 2005-09-28 Apparatus and method for adjusting bitrate of coded scalable bitsteam based on multi-layer

Publications (2)

Publication Number Publication Date
CN101027908A true CN101027908A (zh) 2007-08-29
CN101027908B CN101027908B (zh) 2010-06-16

Family

ID=36748181

Family Applications (3)

Application Number Title Priority Date Filing Date
CNA2005800340197A Pending CN101036388A (zh) 2004-10-18 2005-09-13 对混合比特流进行预解码的方法和设备
CN2005800321957A Expired - Fee Related CN101027908B (zh) 2004-10-18 2005-09-28 基于多层调整编码的可分级比特流的比特率的装置和方法
CNB021604053A Expired - Fee Related CN100466738C (zh) 2004-10-18 2005-10-18 使用层间滤波的视频编码和解码方法及使用该方法的设备

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CNA2005800340197A Pending CN101036388A (zh) 2004-10-18 2005-09-13 对混合比特流进行预解码的方法和设备

Family Applications After (1)

Application Number Title Priority Date Filing Date
CNB021604053A Expired - Fee Related CN100466738C (zh) 2004-10-18 2005-10-18 使用层间滤波的视频编码和解码方法及使用该方法的设备

Country Status (5)

Country Link
US (3) US7881387B2 (zh)
KR (3) KR100679022B1 (zh)
CN (3) CN101036388A (zh)
BR (1) BRPI0516826A (zh)
RU (1) RU2337503C1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009124489A1 (zh) * 2008-04-09 2009-10-15 华为技术有限公司 视频编码处理方法、系统及装置
CN103636204A (zh) * 2011-07-05 2014-03-12 高通股份有限公司 基于位预算的图像数据的选择性无损-有损压缩

Families Citing this family (89)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8340177B2 (en) * 2004-07-12 2012-12-25 Microsoft Corporation Embedded base layer codec for 3D sub-band coding
US8442108B2 (en) * 2004-07-12 2013-05-14 Microsoft Corporation Adaptive updates in motion-compensated temporal filtering
US8374238B2 (en) 2004-07-13 2013-02-12 Microsoft Corporation Spatial scalability in 3D sub-band decoding of SDMCTF-encoded video
TWI301953B (en) * 2005-03-14 2008-10-11 Qisda Corp Methods and apparatuses for video encoding
JP4839035B2 (ja) * 2005-07-22 2011-12-14 オリンパス株式会社 内視鏡用処置具および内視鏡システム
KR20070038396A (ko) 2005-10-05 2007-04-10 엘지전자 주식회사 영상 신호의 인코딩 및 디코딩 방법
KR100891663B1 (ko) * 2005-10-05 2009-04-02 엘지전자 주식회사 비디오 신호 디코딩 및 인코딩 방법
KR100891662B1 (ko) 2005-10-05 2009-04-02 엘지전자 주식회사 비디오 신호 디코딩 및 인코딩 방법
US8792554B2 (en) * 2006-01-09 2014-07-29 Lg Electronics Inc. Inter-layer prediction method for video signal
US20070160134A1 (en) * 2006-01-10 2007-07-12 Segall Christopher A Methods and Systems for Filter Characterization
US8619865B2 (en) 2006-02-16 2013-12-31 Vidyo, Inc. System and method for thinning of scalable video coding bit-streams
US8014445B2 (en) * 2006-02-24 2011-09-06 Sharp Laboratories Of America, Inc. Methods and systems for high dynamic range video coding
US8194997B2 (en) * 2006-03-24 2012-06-05 Sharp Laboratories Of America, Inc. Methods and systems for tone mapping messaging
KR100781524B1 (ko) * 2006-04-04 2007-12-03 삼성전자주식회사 확장 매크로블록 스킵 모드를 이용한 인코딩/디코딩 방법및 장치
US8711925B2 (en) 2006-05-05 2014-04-29 Microsoft Corporation Flexible quantization
FR2903556B1 (fr) * 2006-07-04 2008-10-03 Canon Kk Procedes et des dispositifs de codage et de decodage d'images, un systeme de telecommunications comportant de tels dispositifs et des programmes d'ordinateur mettant en oeuvre de tels procedes
US7885471B2 (en) * 2006-07-10 2011-02-08 Sharp Laboratories Of America, Inc. Methods and systems for maintenance and use of coded block pattern information
US8422548B2 (en) * 2006-07-10 2013-04-16 Sharp Laboratories Of America, Inc. Methods and systems for transform selection and management
US8130822B2 (en) * 2006-07-10 2012-03-06 Sharp Laboratories Of America, Inc. Methods and systems for conditional transform-domain residual accumulation
US7535383B2 (en) * 2006-07-10 2009-05-19 Sharp Laboratories Of America Inc. Methods and systems for signaling multi-layer bitstream data
US8059714B2 (en) * 2006-07-10 2011-11-15 Sharp Laboratories Of America, Inc. Methods and systems for residual layer scaling
US8532176B2 (en) * 2006-07-10 2013-09-10 Sharp Laboratories Of America, Inc. Methods and systems for combining layers in a multi-layer bitstream
US7840078B2 (en) * 2006-07-10 2010-11-23 Sharp Laboratories Of America, Inc. Methods and systems for image processing control based on adjacent block characteristics
KR100842544B1 (ko) * 2006-09-11 2008-07-01 삼성전자주식회사 스케일러블 영상 코딩을 이용한 전송 방법 및 이를 이용한이동통신 시스템
US20080095235A1 (en) * 2006-10-20 2008-04-24 Motorola, Inc. Method and apparatus for intra-frame spatial scalable video coding
WO2008051755A2 (en) * 2006-10-20 2008-05-02 Motorola, Inc. Method and apparatus for intra-frame spatial scalable video coding
WO2008079508A1 (en) * 2006-12-22 2008-07-03 Motorola, Inc. Method and system for adaptive coding of a video
US8503524B2 (en) * 2007-01-23 2013-08-06 Sharp Laboratories Of America, Inc. Methods and systems for inter-layer image prediction
US7826673B2 (en) * 2007-01-23 2010-11-02 Sharp Laboratories Of America, Inc. Methods and systems for inter-layer image prediction with color-conversion
US8233536B2 (en) 2007-01-23 2012-07-31 Sharp Laboratories Of America, Inc. Methods and systems for multiplication-free inter-layer image prediction
US8665942B2 (en) * 2007-01-23 2014-03-04 Sharp Laboratories Of America, Inc. Methods and systems for inter-layer image prediction signaling
US8243789B2 (en) * 2007-01-25 2012-08-14 Sharp Laboratories Of America, Inc. Methods and systems for rate-adaptive transmission of video
US7760949B2 (en) 2007-02-08 2010-07-20 Sharp Laboratories Of America, Inc. Methods and systems for coding multiple dynamic range images
US8238424B2 (en) 2007-02-09 2012-08-07 Microsoft Corporation Complexity-based adaptive preprocessing for multiple-pass video compression
US8767834B2 (en) 2007-03-09 2014-07-01 Sharp Laboratories Of America, Inc. Methods and systems for scalable-to-non-scalable bit-stream rewriting
KR100918385B1 (ko) * 2007-08-10 2009-09-21 한국전자통신연구원 스케일러블 비디오 스트림 코딩에서 참조 슬라이스 제거알림 장치 및 방법
KR100937590B1 (ko) * 2007-10-23 2010-01-20 한국전자통신연구원 다중 품질 서비스 영상 콘텐츠 제공 시스템 및 그것의업그레이드 방법
JP5216303B2 (ja) * 2007-11-01 2013-06-19 株式会社東芝 合成映像配信装置ならびにその方法およびプログラム
US8126054B2 (en) * 2008-01-09 2012-02-28 Motorola Mobility, Inc. Method and apparatus for highly scalable intraframe video coding
US8750390B2 (en) * 2008-01-10 2014-06-10 Microsoft Corporation Filtering and dithering as pre-processing before encoding
US8160132B2 (en) * 2008-02-15 2012-04-17 Microsoft Corporation Reducing key picture popping effects in video
US8953673B2 (en) * 2008-02-29 2015-02-10 Microsoft Corporation Scalable video coding and decoding with sample bit depth and chroma high-pass residual layers
US8711948B2 (en) 2008-03-21 2014-04-29 Microsoft Corporation Motion-compensated prediction of inter-layer residuals
US8897359B2 (en) 2008-06-03 2014-11-25 Microsoft Corporation Adaptive quantization for enhancement layer video coding
US9571856B2 (en) 2008-08-25 2017-02-14 Microsoft Technology Licensing, Llc Conversion operations in scalable video encoding and decoding
US8213503B2 (en) * 2008-09-05 2012-07-03 Microsoft Corporation Skip modes for inter-layer residual video coding and decoding
US8385404B2 (en) * 2008-09-11 2013-02-26 Google Inc. System and method for video encoding using constructed reference frame
US8265140B2 (en) * 2008-09-30 2012-09-11 Microsoft Corporation Fine-grained client-side control of scalable media delivery
CN102246165B (zh) * 2008-11-12 2014-10-29 诺基亚公司 利用压缩梯度直方图来代表和标识特征描述符的方法和装置
JP4947389B2 (ja) * 2009-04-03 2012-06-06 ソニー株式会社 画像信号復号装置、画像信号復号方法、および画像信号符号化方法
KR101557504B1 (ko) * 2009-04-13 2015-10-07 삼성전자주식회사 채널 적응형 비디오 전송 방법, 이를 이용한 장치 및 이를 제공하는 시스템
KR101484280B1 (ko) * 2009-12-08 2015-01-20 삼성전자주식회사 임의적인 파티션을 이용한 움직임 예측에 따른 비디오 부호화 방법 및 장치, 임의적인 파티션을 이용한 움직임 보상에 따른 비디오 복호화 방법 및 장치
US8428364B2 (en) 2010-01-15 2013-04-23 Dolby Laboratories Licensing Corporation Edge enhancement for temporal scaling with metadata
US20110216821A1 (en) * 2010-03-02 2011-09-08 Samsung Electronics Co., Ltd. Method and apparatus for adaptive streaming using scalable video coding scheme
JP5510012B2 (ja) * 2010-04-09 2014-06-04 ソニー株式会社 画像処理装置および方法、並びにプログラム
US8392201B2 (en) * 2010-07-30 2013-03-05 Deutsche Telekom Ag Method and system for distributed audio transcoding in peer-to-peer systems
US20120076205A1 (en) * 2010-09-29 2012-03-29 Segall Christopher A Methods and Systems for Capturing Wide Color-Gamut Video
GB2487200A (en) 2011-01-12 2012-07-18 Canon Kk Video encoding and decoding with improved error resilience
KR20120096863A (ko) * 2011-02-23 2012-08-31 한국전자통신연구원 고효율 비디오 부호화의 계층적 부호화 구조를 위한 비트율 제어 기법
JP2012191465A (ja) * 2011-03-11 2012-10-04 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
US8638854B1 (en) 2011-04-07 2014-01-28 Google Inc. Apparatus and method for creating an alternate reference frame for video compression using maximal differences
CN102129838B (zh) * 2011-04-28 2013-01-23 深圳市天微电子有限公司 Led显示数据的处理方法及装置
CN104980746B (zh) * 2011-07-01 2018-07-31 三星电子株式会社 用于使用分层数据单元进行编码和解码的方法和设备
US8948248B2 (en) 2011-07-21 2015-02-03 Luca Rossato Tiered signal decoding and signal reconstruction
US9271055B2 (en) * 2011-08-23 2016-02-23 Avaya Inc. System and method for variable video degradation counter-measures
US9955195B2 (en) * 2011-08-30 2018-04-24 Divx, Llc Systems and methods for encoding and streaming video encoded using a plurality of maximum bitrate levels
US9467708B2 (en) 2011-08-30 2016-10-11 Sonic Ip, Inc. Selection of resolutions for seamless resolution switching of multimedia content
US8976857B2 (en) * 2011-09-23 2015-03-10 Microsoft Technology Licensing, Llc Quality-based video compression
US9667964B2 (en) 2011-09-29 2017-05-30 Dolby Laboratories Licensing Corporation Reduced complexity motion compensated temporal processing
EP2642755B1 (en) 2012-03-20 2018-01-03 Dolby Laboratories Licensing Corporation Complexity scalable multilayer video coding
CN103379319B (zh) * 2012-04-12 2018-03-20 中兴通讯股份有限公司 一种滤波方法、滤波器及包含该滤波器的编码器和解码器
US9426459B2 (en) 2012-04-23 2016-08-23 Google Inc. Managing multi-reference picture buffers and identifiers to facilitate video data coding
US20130318251A1 (en) * 2012-05-22 2013-11-28 Alimuddin Mohammad Adaptive multipath content streaming
US9313486B2 (en) * 2012-06-20 2016-04-12 Vidyo, Inc. Hybrid video coding techniques
KR102062506B1 (ko) * 2012-08-29 2020-01-03 브이아이디 스케일, 인크. 스케일러블 비디오 코딩을 위한 모션 벡터 예측 방법 및 장치
KR102028244B1 (ko) * 2012-09-28 2019-10-02 브이아이디 스케일, 인크. 비디오 코딩에서 크로마 신호 향상을 위한 교차-평면 필터링
US10085017B2 (en) * 2012-11-29 2018-09-25 Advanced Micro Devices, Inc. Bandwidth saving architecture for scalable video coding spatial mode
TWI618397B (zh) 2012-12-21 2018-03-11 杜比實驗室特許公司 在高位元深度視訊的可適性編碼中，高精度升取樣
WO2014158050A1 (en) 2013-03-28 2014-10-02 Huawei Technologies Co., Ltd. Method for determining predictor blocks for a spatially scalable video codec
US9374526B2 (en) 2014-07-31 2016-06-21 Apple Inc. Providing frame delay using a temporal filter
US9479695B2 (en) 2014-07-31 2016-10-25 Apple Inc. Generating a high dynamic range image using a temporal filter
US9413951B2 (en) 2014-07-31 2016-08-09 Apple Inc. Dynamic motion estimation and compensation for temporal filtering
US9514525B2 (en) 2014-07-31 2016-12-06 Apple Inc. Temporal filtering for image data using spatial filtering and noise history
US10893266B2 (en) * 2014-10-07 2021-01-12 Disney Enterprises, Inc. Method and system for optimizing bitrate selection
KR102338980B1 (ko) * 2015-03-23 2021-12-13 삼성전자주식회사 플리커를 제거하기 위해 양자화 계수를 조절할 수 있은 인코더와 이를 포함하는 장치
TWI731063B (zh) * 2017-04-13 2021-06-21 物聯智慧科技（深圳）有限公司 影音檔案處理方法及建置方法
WO2019057893A1 (en) * 2017-09-22 2019-03-28 V-Nova International Limited OBTAINING A TARGET REPRESENTATION OF A TIME SAMPLE OF A SIGNAL
WO2020025964A1 (en) * 2018-08-03 2020-02-06 V-Nova International Ltd Entropy coding for signal enhancement coding
US10728180B2 (en) * 2018-08-21 2020-07-28 At&T Intellectual Property I, L.P. Apparatus, storage medium and method for adaptive bitrate streaming adaptation of variable bitrate encodings

Family Cites Families (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0336978A (ja) * 1989-06-30 1991-02-18 Matsushita Electric Ind Co Ltd モータ速度制御装置
JP3164647B2 (ja) * 1992-06-03 2001-05-08 株式会社東芝 動画像符号化方法及び装置
CA2126467A1 (en) * 1993-07-13 1995-01-14 Barin Geoffry Haskell Scalable encoding and decoding of high-resolution progressive video
US5754241A (en) * 1994-11-18 1998-05-19 Sanyo Electric Co., Ltd Video decoder capable of controlling encoded video data
US6957350B1 (en) * 1996-01-30 2005-10-18 Dolby Laboratories Licensing Corporation Encrypted and watermarked temporal and resolution layering in advanced television
DE69803195T2 (de) * 1997-11-27 2002-08-29 British Telecomm Codeumsetzung
US6292512B1 (en) * 1998-07-06 2001-09-18 U.S. Philips Corporation Scalable video coding system
KR100363162B1 (ko) * 1998-11-02 2003-01-24 삼성전자 주식회사 영상신호의전송/복원방법및장치
US6529552B1 (en) * 1999-02-16 2003-03-04 Packetvideo Corporation Method and a device for transmission of a variable bit-rate compressed video bitstream over constant and variable capacity networks
JP2000333163A (ja) * 1999-05-24 2000-11-30 Sony Corp 復号装置及び方法、符号化装置及び方法、画像処理システム、画像処理方法
US6263022B1 (en) * 1999-07-06 2001-07-17 Philips Electronics North America Corp. System and method for fine granular scalable video with selective quality enhancement
US6639943B1 (en) 1999-11-23 2003-10-28 Koninklijke Philips Electronics N.V. Hybrid temporal-SNR fine granular scalability video coding
WO2001047283A1 (en) * 1999-12-22 2001-06-28 General Instrument Corporation Video compression for multicast environments using spatial scalability and simulcast coding
US7095782B1 (en) * 2000-03-01 2006-08-22 Koninklijke Philips Electronics N.V. Method and apparatus for streaming scalable video
US6771703B1 (en) * 2000-06-30 2004-08-03 Emc Corporation Efficient scaling of nonscalable MPEG-2 Video
ATE346461T1 (de) * 2000-09-22 2006-12-15 Koninkl Philips Electronics Nv Videocodierung mit hybrider temporeller und snr- bezogener feingranularer skalierbarkeit
WO2002033952A2 (en) * 2000-10-11 2002-04-25 Koninklijke Philips Electronics Nv Spatial scalability for fine granular video encoding
CN1251129C (zh) * 2000-12-08 2006-04-12 松下电器产业株式会社 数据变换装置、数据编码装置以及数据记录装置
US7203238B2 (en) * 2000-12-11 2007-04-10 Sony Corporation 3:2 Pull-down detection
US20020118742A1 (en) * 2001-02-26 2002-08-29 Philips Electronics North America Corporation. Prediction structures for enhancement layer in fine granular scalability video coding
KR100778471B1 (ko) * 2001-04-21 2007-11-21 엘지전자 주식회사 비디오 신호의 인코딩 또는 디코딩 방법
US6944225B2 (en) * 2001-07-24 2005-09-13 Sharp Laboratories Of America, Inc. Resolution-scalable video compression
KR100913843B1 (ko) 2001-09-06 2009-08-26 톰슨 라이센싱 가변 비트율 디지털 인코딩 오디오 데이터 파일의 경과재생 타임키핑용 방법 및 장치
JP2005506815A (ja) 2001-10-26 2005-03-03 コーニンクレッカ　フィリップス　エレクトロニクス　エヌ　ヴィ 空間拡張可能圧縮のための方法及び装置
US20030118099A1 (en) * 2001-12-20 2003-06-26 Comer Mary Lafuze Fine-grain scalable video encoder with conditional replacement
FI114527B (fi) * 2002-01-23 2004-10-29 Nokia Corp Kuvakehysten ryhmittely videokoodauksessa
US7317759B1 (en) * 2002-02-28 2008-01-08 Carnegie Mellon University System and methods for video compression mode decisions
US20030215011A1 (en) 2002-05-17 2003-11-20 General Instrument Corporation Method and apparatus for transcoding compressed video bitstreams
KR100484148B1 (ko) * 2002-07-27 2005-04-18 삼성전자주식회사 개선된 비트율 제어 방법과 그 장치
KR20040047010A (ko) 2002-11-28 2004-06-05 엘지전자 주식회사 영상 전화 시스템의 비트율 조절방법
KR100543608B1 (ko) 2003-01-03 2006-01-20 엘지전자 주식회사 오브젝트 기반 비트율 제어방법 및 장치
US20050008240A1 (en) * 2003-05-02 2005-01-13 Ashish Banerji Stitching of video for continuous presence multipoint video conferencing
JP2005123732A (ja) * 2003-10-14 2005-05-12 Matsushita Electric Ind Co Ltd デブロックフィルタ処理装置およびデブロックフィルタ処理方法
US8340177B2 (en) * 2004-07-12 2012-12-25 Microsoft Corporation Embedded base layer codec for 3D sub-band coding
US8374238B2 (en) * 2004-07-13 2013-02-12 Microsoft Corporation Spatial scalability in 3D sub-band decoding of SDMCTF-encoded video
KR100621581B1 (ko) 2004-07-15 2006-09-13 삼성전자주식회사 기초 계층을 포함하는 비트스트림을 프리디코딩,디코딩하는 방법, 및 장치
DE102004059978B4 (de) * 2004-10-15 2006-09-07 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum Erzeugen einer codierten Videosequenz und zum Decodieren einer codierten Videosequenz unter Verwendung einer Zwischen-Schicht-Restwerte-Prädiktion sowie ein Computerprogramm und ein computerlesbares Medium
KR200447010Y1 (ko) 2007-10-01 2009-12-17 이운영 행주 삶는 전기 포트

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009124489A1 (zh) * 2008-04-09 2009-10-15 华为技术有限公司 视频编码处理方法、系统及装置
CN103636204A (zh) * 2011-07-05 2014-03-12 高通股份有限公司 基于位预算的图像数据的选择性无损-有损压缩

Also Published As

Publication number Publication date
US20060083303A1 (en) 2006-04-20
KR100703724B1 (ko) 2007-04-05
KR20060034195A (ko) 2006-04-21
US20060083300A1 (en) 2006-04-20
KR20060034192A (ko) 2006-04-21
CN101027908B (zh) 2010-06-16
BRPI0516826A (pt) 2008-09-23
US7839929B2 (en) 2010-11-23
CN1764276A (zh) 2006-04-26
RU2337503C1 (ru) 2008-10-27
CN100466738C (zh) 2009-03-04
CN101036388A (zh) 2007-09-12
KR100679022B1 (ko) 2007-02-05
KR100679030B1 (ko) 2007-02-05
KR20060034197A (ko) 2006-04-21
US7881387B2 (en) 2011-02-01
US20060083302A1 (en) 2006-04-20

Similar Documents

Publication Publication Date Title
CN101027908B (zh) 基于多层调整编码的可分级比特流的比特率的装置和方法
KR100664928B1 (ko) 비디오 코딩 방법 및 장치
JP5014989B2 (ja) 基礎階層を利用するフレーム圧縮方法、ビデオコーディング方法、フレーム復元方法、ビデオデコーディング方法、ビデオエンコーダ、ビデオデコーダ、および記録媒体
KR100834750B1 (ko) 엔코더 단에서 스케일러빌리티를 제공하는 스케일러블비디오 코딩 장치 및 방법
JP5026965B2 (ja) ベースレイヤを含むビットストリームをプリデコーディング、デコーディングする方法及び装置
RU2329615C2 (ru) Способ масштабируемого кодирования и декодирования видеосигнала и устройство для его осуществления
KR100714696B1 (ko) 다계층 기반의 가중 예측을 이용한 비디오 코딩 방법 및장치
KR100596706B1 (ko) 스케일러블 비디오 코딩 및 디코딩 방법, 이를 위한 장치
CN100593339C (zh) 在多层结构中有效压缩运动向量的方法和装置
CN1926874B (zh) 对视频流传输业务进行视频编码、预解码和视频解码的方法和设备以及图像滤波方法
KR20060135992A (ko) 다계층 기반의 가중 예측을 이용한 비디오 코딩 방법 및장치
US20050163217A1 (en) Method and apparatus for coding and decoding video bitstream
KR20050078099A (ko) 적응적으로 키 프레임을 삽입하는 비디오 코딩 장치 및 방법
US20050047503A1 (en) Scalable video coding method and apparatus using pre-decoder
KR100834748B1 (ko) 스케일러블 비디오 스트림 재생 방법 및 장치
KR100621584B1 (ko) 스무딩 필터를 이용하는 비디오 디코딩 방법 또는 비디오디코더
MXPA06006117A (es) Metodo y aparato de codificacion y decodificacion escalables de video.
WO2006001585A1 (en) Method and apparatus for effectively compressing motion vectors in multi-layer structure
EP1803302A1 (en) Apparatus and method for adjusting bitrate of coded scalable bitsteam based on multi-layer
EP1813114A1 (en) Method and apparatus for predecoding hybrid bitstream

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20100616

Termination date: 20180928