CN101335894A - 图像逆色调映射的方法和系统以及编解码器 - Google Patents

图像逆色调映射的方法和系统以及编解码器 Download PDF

Info

Publication number
CN101335894A
CN101335894A CNA2008101277232A CN200810127723A CN101335894A CN 101335894 A CN101335894 A CN 101335894A CN A2008101277232 A CNA2008101277232 A CN A2008101277232A CN 200810127723 A CN200810127723 A CN 200810127723A CN 101335894 A CN101335894 A CN 101335894A
Authority
CN
China
Prior art keywords
scale factor
current block
deviant
block
prediction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2008101277232A
Other languages
English (en)
Other versions
CN101335894B (zh
Inventor
刘杉
安东尼·韦特罗
金祐湜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=39777105&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=CN101335894(A) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Publication of CN101335894A publication Critical patent/CN101335894A/zh
Application granted granted Critical
Publication of CN101335894B publication Critical patent/CN101335894B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/36—Scalability techniques involving formatting the layers as a function of picture distortion after decoding, e.g. signal-to-noise [SNR] scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H04N19/126—Details of normalisation or weighting functions, e.g. normalisation matrices or variable uniform quantisers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques

Abstract

一种图像逆色调映射的方法和系统以及编解码器，该方法在解码器中执行图像的逆色调映射。对该图像的各颜色通道的各个块执行以下步骤。通过将当前块的预测比例因子和相邻块的比例因子二者的差与该当前块的预测比例因子相加来确定当前块的比例因子。通过将当前块的预测偏移值和相邻块的偏移值二者的差与该当前块的预测偏移值相加来确定当前块的偏移值。对当前块的像素亮度值应用该比例因子和该偏移值以产生映射块，其中该映射块的位元深度大于当前块的位元深度。

Description

图像逆色调映射的方法和系统以及编解码器
技术领域
本发明总体上涉及对图像的编码和解码，更具体地说，涉及对具有可缩放位元深度的图像序列的编码和解码。
背景技术
在计算机图形学中，色调映射改变图像的动态范围。例如，色调映射可以将高动态范围(HDR)图像转换为低动态范围(LDR)图像，或者将低动态范围(HDR)图像转换为高动态范围(LDR)图像。在图像中，该动态范围由被分配用以存储像素亮度值(pixel intensity value)的位元数量(位元深度)决定。色调映射试图在保持图像外观的同时，避免从场景亮度值到可渲染范围的强反差衰减(contrast reduction)。
常规的视频编码机制(例如，MPEG和ITU系列的视频编码标准)非常适于具有固定位元深度(例如，8比特/像素(bpp)的视频压缩)。VHS和DVD上的可获得的消费视频以及数字电视广播通常为8bpp，并且被称为具有低动态范围(LDR)。具有更大位元深度的视频(例如，10bpp至24bpp)通常被用于专业应用，并且具有高动态范围(HDR)。
图1示出了具有运动估计器110的常规编码器100。该编码器的输入是固定位元深度的图像序列(或视频)101。该视频中的帧(图像)被划分为多个块(例如，8×8个或16×16个像素的块)。每次处理一个块。运动估计器110为要编码的当前块确定存储在帧存储器111中的参考帧的最佳匹配块。这个最佳匹配块用作当前块的预测帧。相应的运动矢量112被熵编码(150)。确定(120)输入视频的当前块与由运动补偿预测器130生成预测块121之间的差信号122。然后，该差信号经过转换/量化处理(140)，产生一组量化转换系数(纹理)141。这些系数被熵编码(150)，产生压缩的输出比特流109。对该量化转换系数141执行逆转换/量化(160)，并且将该结果与运动补偿预测121相加(170)，以生成重建的参考帧171，该参考帧被存储在帧存储器111中并用于由运动补偿预测器130对输入视频101的连续帧进行预测。该输出编码比特流109基于运动矢量112和纹理(DC(直流)系数)141的熵编码(150)而产生。
图2示出了常规解码器200。输入的编码比特流201被熵解码器210处理，该熵解码器产生量化转换系数211以及相应的运动矢量212。该运动矢量被运动补偿预测器220使用以生成预测信号221。量化转换系数211被逆转换/量化(230)，并与该预测信号221相加(240)产生了重建的固定(单个)位元深度的视频209。重建的视频帧(其被用于对连续帧进行解码)被存储到帧存储器250。编码器与解码器的组合被称为编解码器。
当输入图像具有固定位元深度时，上述机制能够获得很好的压缩效率。目前，大部分消费类显示器只能展现LDR(8bpp)的视频。因此，可以直接应用常规的编码机制。
为了观看具有更大位元深度的视频，需要HDR显示设备。显示技术的进步使得消费者在不久的将来享受到HDR视频的好处成为可能。为了有效地支持LDR显示设备和HDR显示设备，需要视频的可缩放表示，其使得能够对LDR视频和HDR视频这两者或者任意一方进行重建。
一种实现可缩放表示(scalable representation)的方法是通过两个独立的通道(即，分别利用固定位元深度的HDR编码器和固定位元深度的LDR编码器)来压缩输入的HDR视频和LDR版本。这被称为同时联播编码(simulcast coding)。然而，由于HDR版本和LDR版本存在冗余，导致这种方法的压缩效率非常低，并且计算复杂度非常高。Winken等在“SVC bit-depth scalability，”Joint Video Team of ISO/IEC MPEG&ITU-TVCEG，Doc.JVT-V078，22nd Meeting，January 2007中描述了一种位元深度可缩放视频压缩机制。
图3示出了位元深度可缩放编码器300。利用色调映射310将输入HDR视频301下转换为LDR视频101。然后，LDR视频101被压缩以产生基本层109。利用逆色调映射320将来自基本层的各当前重建帧115上转换为输入视频301的位元深度，以产生逆色调映射帧321。确定(329)该逆色调映射帧321与该输入HDR帧301之间的差，接着对该差信号进行转换/量化处理(330)以产生一组量化转换系数331。这些系数被熵编码(340)以产生增强层341。该增强层比特流341与基本层比特流109被多路复用(350)以产生输出的位元深度可缩放比特流309。
图4示出了对应的解码器400。输入的编码比特流401被解复用(410)为基本层201以及增强层402。基本层以如上所述的方式被解码。增强层也被熵解码(210)并被逆转换/量化以产生输出431。在这种情况下，帧存储器250的输出被逆色调映射(420)，并且该色调映射的输出与输出431相加以产生输入视频101的重建409。
在现有技术的位元深度可缩放视频编解码器中，已知三种逆色调映射320的方法，包括：线性缩放(linear scaling)法、线性插值法、以及查找表映射法。所有这些方法都对整个视频中所有的帧应用相同的逆色调映射，当通过局部色调映射310法或基于区域的色调映射310法从HDR视频产生LDR视频时，其性能并不好。
事实上，局部色调映射法被用于许多具有感兴趣区域(ROI)的应用中。此外，线性缩放和线性插值法相对粗糙，其导致很差的逆色调映射质量，对全局色调映射LDR视频则更差。查找表映射可获得较好的逆色调映射结果，但需要初始训练以便通过检查整个视频序列来建立像素亮度值的映射。这个过程非常复杂，并且将导致在解码和显示之前产生相当大的初始延迟，可能不适合许多实时的应用。并且，该方法对许多ROI应用的性能不好。
Segall和Su在“System for bit-depth scalable coding”，Joint Video Teamof ISO/IEC MPEG&ITU-T VCEG，Doc.JVT-W113，April 2007中描述了另一种逆色调映射方法。在该方法中使用了两个比例因子，一个用于亮度分量，另一个用于色度分量。这些比例因子被分配给各个块以执行逆色调映射。因此，该方法更适于ROI应用。作为一个主要的缺点，比例因子被预定义为一个集合{0.5，1，1.5，2，2.5，3，3.5，4，4.5}，其中该比例因子的集合适用于具有特定的位元深度的输入视频。因此，该方法失去了压缩具有不同位元深度的HDR视频的灵活性。另一个缺点是相同的比例因子被用于所有的色度分量。这会降低逆色调映射的质量。
很明显，期望有一种逆色调映射，其适用于位元深度可缩放的视频压缩机制并且能够克服现有技术中的缺陷。具体地说，需要一种能够产生高质量的逆色调映射技术，其兼容于各种色调映射技术，并且不会带来巨大的编码开销。
发明内容
一种在解码器中执行图像逆色调映射的方法和系统。对图像的各颜色通道的各个块执行以下步骤。
通过将当前块的预测比例因子和相邻块的比例因子二者的差与该当前块的预测比例因子相加来确定当前块的比例因子。
通过将当前块的预测偏移值和相邻块的偏移值二者的差与该当前块的预测偏移值相加来确定当前块的偏移值。
对当前块的像素亮度值应用该比例因子和该偏移值以产生映射块，其中该映射块的位元深度大于当前块的位元深度。
附图说明
图1是现有技术的视频编码器的框图；
图2是现有技术的视频解码器的框图；
图3是现有技术具有位元深度可缩放性的视频编码器的框图；
图4是现有技术具有位元深度可缩放性的视频解码器的框图；
图5是在根据本发明的一种实施方式的编码器中逆色调映射的框图；
图6是在根据本发明的一种实施方式的解码器中逆色调映射的框图；以及
图7是根据本发明的一种实施方式确定逆色调映射的基于最佳块的比例因子的过程的框图。
具体实施方式
本发明提供了一种使用色调映射在图像和视频的位元深度表示之间转换的系统和方法。位元深度转换可以是从低到高(LDR→HDR)或者从高到低(HDR→LDR)。图像和视频既可以是单通道的单色又可以是多通道的颜色。块尺寸是可变的。该方法使用以下参数：比例因子、偏移值和预测方向。针对各颜色通道的各个块确定这些参数。我们也描述了用于确定最佳比例因子的过程。与固定或限制比例因子的集合的常规方法相比，本发明的比例因子可以被定制并且比例因子的范围可以被适应性和动态地增加，以适应图像的更大动态范围。根据比例因子来确定相应的偏移值和预测方向。
为了在编码比特流中有效地编码比例因子和偏移值，考虑相邻块之间存在的相关性，将各个块与各颜色通道的一个预测方向相关联。根据(预测)的相邻块的比例因子和偏移值来预测当前块的比例因子和偏移值。
本发明的实施方式针对上转换(即，从LDR视频到HDR视频)进行描述。本发明也可被用于从HDR视频到LDR视频的下转换，在这种情况下，术语LDR和HDR在以下描述中应被互换。
在编码器中逆色调映射
图5示出了根据本发明的实施方式的逆色调映射过程。该逆色调映射可以代替图3中的功能步骤320。对要转换的各图像的各颜色通道和各块的像素亮度值501应用该色调映射。
该方法的输入是特定块的像素亮度值501。首先，在一组候选比例因子中确定最佳比例因子511(步骤700)。对于上转换，该比例因子通常为1或者更大，而对于下转换，该因子为1或者更小。然而，由于该转换还考虑到多个因子，所以只要能够实现预期的转换则不需要严格遵守上述比例因子范围。
下面将描述用于确定最佳比例因子的过程700。将偏移值521确定为利用最佳比例因子511向上放大后的LDR像素亮度值与当前块501中像素亮度值之间的差的平均数(步骤520)。
在本发明的一种实施方式中，比例因子的预测方向遵循该偏移值的预测方向。当前偏移值521与相邻块的参考(LEFT(左侧)或者ABOVE(上方))偏移值522相比较。如果LEFT(块)偏移值更接近当前偏移值521，则预测方向531被设为LEFT；否则，预测方向被设为ABOVE。
在本发明的另一实施方式中，偏移值的预测方向遵循比例因子的预测方向。当前比例因子与相邻参考(LEFT或ABOVE)比例因子相比较。如果LEFT比例因子更接近当前比例因子，则预测方向531被设为LEFT；否则，预测方向被设为ABOVE。
预测方向也可以基于相邻块之间比例因子的差和偏移值的差的函数。例如，可以使用比例因子差和偏移值差的加权函数。
基于预测方向531，该预测比例因子512被设为LEFT比例因子或者ABOVE比例因子，并且预测偏移值522被设为LEFT偏移值或者ABOVE偏移值。确定当前比例因子511和预测比例因子512的比例因子差541(步骤540)。确定当前偏移值521和预测偏移值522的偏移值差551(步骤550)。
参见图3，对预测方向531、比例因子差541和偏移值差551进行熵编码(熵编码器340)，并且所得的编码比特被(复用器350)加入到输出比特流309。
对于各像素，通过将比例因子511与LDR像素亮度值相乘并加上偏移值521来确定层间(inter-layer)预测值321。
为了减少与各块相关的开销，也可以根据解码器中存在的信息获得该预测方向。例如，该预测方向可以根据当前块和空间相邻块的重建的DC系数来确定。当前块的DC系数与相邻块的参考(LEFT或ABOVE)DC系数相比较。如果LEFT DC系数更接近当前DC系数，则预测方向531被设为LEFT；否则，预测方向531被设为ABOVE。当以这种内含方式确定预测方向时，则不需要以显式方式将该预测方向编码到输出比特流中。
解码器中的逆色调映射
图6例示了根据本发明的一种实施方式的逆色调映射，其应用于各颜色通道的各个块并且在位元深度可缩放解码器400的范围内。该色调映射可以替代图4中的功能步骤420。如上所述，该映射可以是上转换或者下转换。
在本发明的一种实施方式中，通过步骤610、步骤620和步骤630根据输入位元深度可缩放的编码比特流601分别对当前块的各颜色分量的预测方向611、比例因子差621和偏移值差631进行熵解码。
在本发明的另一实施方式中，预测方向611可以根据空间相邻块的DC系数获得。例如，如果LEFT DC系数更接近当前DC系数，则预测方向611被设为LEFT；否则，预测方向611被设为ABOVE。
根据预测方向611，预测比例因子641和预测偏移值651可以根据LEFT相邻块或者ABOVE相邻块获得。通过将比例因子差621加上预测比例因子641来重建当前块的比例因子645(步骤640)。通过将偏移值差631加上预测偏移值651来重建当前块的偏移值655(步骤650)。
对层间余数(inter-layer residue)681进行熵解码(步骤680)。
位元深度转换(步骤670)将各像素的亮度值与比例因子645相乘，并且加上偏移值655和层间余数681以产生经色调映射的HDR块609。
确定最佳比例因子
图7示出了根据本发明的一种实施方式为各颜色通道的各个块确定最佳比例因子的过程700。对候选比例因子集合中的各候选比例因子重复该过程中的步骤。像素亮度值701与候选比例因子702相乘以产生比例调整后的像素亮度值711(步骤710)。逐个像素地确定比例调整后的像素亮度值711与输入像素亮度值712之间的差721(步骤720)。当前块内所有像素亮度值的绝对差的和(SAD)731被确定(步骤730)。对由所有候选比例因子产生的SAD 731进行比较(步骤740)，并且选择与最小SAD相关的比例因子作为该块的最佳比例因子。
代替上述过程中使用的SAD标准，还可以使用另选的测量方法(例如，均方误差(MSE)法、或者变换后对绝对差求和(SATD)法)。
另一个实施方式使用最小平方(LS)拟合。以这种方式，可以避免对各比例因子的重复，以便在候选比例因子的数量很大时减少计算的复杂度。
与现有技术的比较
现有技术的系统相比，本发明具有明显的区别和优势。本发明的逆色调映射是基于块的，而Winken等描述的方法是基于整体的。因此，根据本发明的逆色调映射更适于ROI应用，同时保持了高质量。
此外，本发明的逆色调映射技术不需要解码和渲染之前的初始延迟。因此，该编码机制可被用于实时的应用。
此外，本发明的逆色调映射技术可以独立于已被用以确定(LDR)像素亮度值的(前向)色调映射技术而被应用。这是很重要的，因为在实践中解码器并不了解在编码过程中所使用的色调映射。
与Segall和Su所描述的方法相比，本发明的逆色调映射参数包括对各图像的各个块的各颜色通道的预测方向、比例因子和偏移值。现有技术对两个色度分量使用同样的比例因子和偏移值。因此，本发明的逆色调映射方法对于多颜色通道应用更加通用，对于当不同的位元深度被用于不同的颜色通道的情况尤其如此。应该注意的是，当使用多于三个颜色通道时，本发明的方法也可以使用。
本发明的逆色调映射根据相邻块来预测块偏移值以及比例因子。现有技术没有预测偏移值。而只是在频域中将偏移值编码为DC系数。通过预测偏移值，本发明的逆色调映射需要更少的开销并带来更高的编码效率。
根据本发明，可以根据输入图像的位元深度或者应用动态地修改候选比例因子的范围。在现有技术中，比例因子被预先设定。因此，本发明可以更加通用地适用于各种应用和具有不同位元深度的更广范围的图像源。

Claims (19)

1.一种用于对解码器(400)中的图像进行逆色调映射的方法，该方法包括对该图像的各颜色通道的各个块执行的以下步骤：
确定当前块的比例因子的步骤(540)，通过将当前块的预测比例因子和相邻块的比例因子这二者之间的差与该当前块的预测比例因子相加来确定该当前块的比例因子；
确定当前块的偏移值的步骤(550)，通过将当前块的预测偏移值和相邻块的偏移值这二者之间的差与该当前块的预测偏移值相加来确定该当前块的偏移值；以及
应用该比例因子和该偏移值的步骤(670)，对该当前块的像素亮度值应用该比例因子和该偏移值以产生映射块，其中该映射块的位元深度大于该当前块的位元深度。
2.根据权利要求1的方法，其中对图像序列执行所述确定当前块的比例因子的步骤、确定当前块的偏移值的步骤和应用该比例因子和该偏移值的步骤。
3.根据权利要求1的方法，其中通过预测方向来选择该相邻块。
4.根据权利要求1的方法，其中在编码器(100)中确定该比例因子和该偏移值。
5.根据权利要求1的方法，其中所述确定当前块的比例因子的步骤(540)、确定当前块的偏移值的步骤(550)和应用该比例因子和该偏移值的步骤(670)被实时地执行。
6.根据权利要求1的方法，其中从一组候选比例因子中选择出该比例因子，并且动态修改该比例因子的范围。
7.根据权利要求1的方法，其中从当前块上方的块和该当前块左侧的块中选择该相邻块。
8.根据权利要求1的方法，其中从被编码比特流中获得该预测比例因子与该相邻块的比例因子之间的差、以及该预测偏移值与该相邻块的偏移值之间的差。
9.根据权利要求3的方法，其中从编码流中获得该预测方向、该预测比例因子与该相邻块的比例因子之间的差、以及该预测偏移值与该相邻块的偏移值之间的差。
10.根据权利要求3的方法，其中根据该当前块的比例因子和相邻块的比例因子来确定该预测方向。
11.根据权利要求3的方法，其中根据当前块的偏移值和相邻块的偏移值来确定该预测方向。
12.根据权利要求3的方法，其中根据当前块的直流系数和相邻块的直流系数来确定该预测方向。
13.根据权利要求1的方法，其中所述应用该比例因子和该偏移值的步骤(670)进一步包括：
将该像素亮度值与该比例因子相乘，然后与该偏移值相加。
14.根据权利要求13的方法，该方法进一步包括：
将该像素亮度值与层间余数相加。
15.根据权利要求4的方法，该方法进一步包括对一组候选比例因子中的各候选比例因子进行以下步骤：
将像素亮度值与候选比例因子相乘以产生比例调整后的像素亮度值(710)；
确定比例调整后的像素亮度值与该像素亮度值之间的差(720)；
选择与最小差相关的候选比例因子作为该比例因子(740)。
16.一种用于图像逆色调映射的系统，该系统包括：
解码器，该解码器被配置为针对该图像的各颜色通道的各个块：通过将当前块的预测比例因子和相邻块的比例因子这二者之间的差与该当前块的预测比例因子相加来确定(540)该当前块的比例因子；以及通过将当前块的预测偏移值和相邻块的偏移值这二者之间的差与该当前块的预测偏移值相加来确定(550)当前块的偏移值；以及对当前块的像素亮度值应用(670)该比例因子和该偏移值以产生映射块，其中该映射块的位元深度大于该当前块的位元深度。
17.根据权利要求16的系统，其中解码器(400)对图像序列进行操作。
18.根据权利要求16的系统，该系统进一步包括：
编码器(100)，被配置为确定该比例因子和该偏移值。
19.一种执行图像逆色调映射的编解码器，该编解码器包括：
解码器(400)，被配置为针对该图像的各颜色通道的各个块：通过将当前块的预测比例因子和相邻块的比例因子这二者之间的差与该当前块的预测比例因子相加来确定(540)当前块的比例因子；以及通过将当前块的预测偏移值和相邻块的偏移值这二者之间的差与该当前块的预测偏移值相加来确定(550)当前块的偏移值；以及对当前块的像素亮度值应用(670)该比例因子和该偏移值以产生映射块，其中该映射块的位元深度大于当前块的位元深度；以及
编码器(100)，被配置为确定该比例因子和该偏移值。
CN2008101277232A 2007-06-26 2008-06-25 图像逆色调映射的方法和系统以及编解码器 Expired - Fee Related CN101335894B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US11/768,434 2007-06-26
US11/768,434 US8085852B2 (en) 2007-06-26 2007-06-26 Inverse tone mapping for bit-depth scalable image coding

Publications (2)

Publication Number Publication Date
CN101335894A true CN101335894A (zh) 2008-12-31
CN101335894B CN101335894B (zh) 2013-03-27

Family

ID=39777105

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2008101277232A Expired - Fee Related CN101335894B (zh) 2007-06-26 2008-06-25 图像逆色调映射的方法和系统以及编解码器

Country Status (4)

Country Link
US (1) US8085852B2 (zh)
EP (1) EP2009921B1 (zh)
JP (1) JP5153454B2 (zh)
CN (1) CN101335894B (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102308579A (zh) * 2009-02-03 2012-01-04 汤姆森特许公司 位深可分级中使用平滑参考帧的运动补偿的方法和设备
CN103493490A (zh) * 2011-04-25 2014-01-01 杜比实验室特许公司 非线性视觉动态范围残留量化器
CN103563372A (zh) * 2011-04-14 2014-02-05 杜比实验室特许公司 多颜色通道多元回归预测算子
CN104604227A (zh) * 2013-07-12 2015-05-06 索尼公司 图像处理装置和图像处理方法
CN104748729A (zh) * 2015-03-19 2015-07-01 中国科学院半导体研究所 距离选通超分辨率三维成像距离图优化显示装置及方法
WO2016197323A1 (zh) * 2015-06-09 2016-12-15 华为技术有限公司 视频编解码方法和视频编解码器
WO2017035833A1 (en) * 2015-09-06 2017-03-09 Mediatek Inc. Neighboring-derived prediction offset (npo)
CN107660340A (zh) * 2015-05-22 2018-02-02 汤姆逊许可公司 对视频信号进行色彩映射的方法及对应设备
CN108370405A (zh) * 2015-12-23 2018-08-03 华为技术有限公司 一种图像信号转换处理方法、装置及终端设备
CN109155848A (zh) * 2016-05-16 2019-01-04 高通股份有限公司 用于高动态范围及宽色域视频译码的环路内样本处理

Families Citing this family (47)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2041976A4 (en) * 2006-07-12 2012-06-20 Nokia Corp SIGNALING OF SCALABILITY INFORMATION FROM THE INTERESTING REGION IN MEDIA FILES
US8665942B2 (en) 2007-01-23 2014-03-04 Sharp Laboratories Of America, Inc. Methods and systems for inter-layer image prediction signaling
US8503524B2 (en) * 2007-01-23 2013-08-06 Sharp Laboratories Of America, Inc. Methods and systems for inter-layer image prediction
US8204333B2 (en) 2007-10-15 2012-06-19 Intel Corporation Converting video and image signal bit depths
US8208560B2 (en) * 2007-10-15 2012-06-26 Intel Corporation Bit depth enhancement for scalable video coding
EP2051527A1 (en) * 2007-10-15 2009-04-22 Thomson Licensing Enhancement layer residual prediction for bit depth scalability using hierarchical LUTs
US8369422B2 (en) * 2007-10-16 2013-02-05 Thomson Licensing Methods and apparatus for artifact removal for bit depth scalability
US8817878B2 (en) * 2007-11-07 2014-08-26 Broadcom Corporation Method and system for motion estimation around a fixed reference vector using a pivot-pixel approach
US8175158B2 (en) * 2008-01-04 2012-05-08 Sharp Laboratories Of America, Inc. Methods and systems for inter-layer image prediction parameter determination
US8184693B2 (en) * 2008-04-11 2012-05-22 Intel Corporation Adaptive filtering for bit-depth scalable video codec
US9338475B2 (en) * 2008-04-16 2016-05-10 Intel Corporation Tone mapping for bit-depth scalable video codec
EP2324636A1 (en) * 2008-08-22 2011-05-25 Thomson Licensing Method and system for content delivery
US8867616B2 (en) * 2009-02-11 2014-10-21 Thomson Licensing Methods and apparatus for bit depth scalable video encoding and decoding utilizing tone mapping and inverse tone mapping
US8290295B2 (en) * 2009-03-03 2012-10-16 Microsoft Corporation Multi-modal tone-mapping of images
DE102009001520B4 (de) * 2009-03-12 2016-02-25 Entropic Communications, Inc. Vorrichtung und Verfahren zur Zwischenbildinterpolation
KR101117000B1 (ko) 2009-04-08 2012-03-16 한국전자통신연구원 화면 내 예측 오프셋을 이용한 부호화/복호화 방법 및 그 장치
CN102224731A (zh) * 2009-09-22 2011-10-19 松下电器产业株式会社 图像编码装置、图像解码装置、图像编码方法及图像解码方法
PT3703377T (pt) 2010-04-13 2022-01-28 Ge Video Compression Llc Codificação de vídeo utilizando subdivisões multi-árvore de imagens
PT2559246T (pt) 2010-04-13 2016-09-14 Ge Video Compression Llc Regiões de fusão de amostras
KR101556821B1 (ko) 2010-04-13 2015-10-01 지이 비디오 컴프레션, 엘엘씨 샘플 배열 멀티트리 세부분할에서 계승
KR102080450B1 (ko) 2010-04-13 2020-02-21 지이 비디오 컴프레션, 엘엘씨 평면 간 예측
KR101885258B1 (ko) 2010-05-14 2018-08-06 삼성전자주식회사 비디오 신호의 부호화 방법과 그 장치, 및 비디오 복호화 방법과 그 장치
WO2012035476A1 (en) 2010-09-16 2012-03-22 Koninklijke Philips Electronics N.V. Apparatuses and methods for improved encoding of images
GB2500835B (en) 2010-12-10 2014-02-12 Ibm High-dynamic range video tone mapping
US9451274B2 (en) 2011-04-28 2016-09-20 Koninklijke Philips N.V. Apparatuses and methods for HDR image encoding and decoding
US9378560B2 (en) * 2011-06-17 2016-06-28 Advanced Micro Devices, Inc. Real time on-chip texture decompression using shader processors
US9756353B2 (en) 2012-01-09 2017-09-05 Dolby Laboratories Licensing Corporation Hybrid reference picture reconstruction method for single and multiple layered video coding systems
MX337444B (es) 2012-03-26 2016-03-07 Koninkl Philips Nv Aparatos basados en la region de brillo y metodos para la codificacion y decodificacion de imagenes de rango dinamico alto.
US9219916B2 (en) * 2012-06-12 2015-12-22 Dolby Laboratories Licensing Corporation Joint base layer and enhancement layer quantizer adaptation in EDR video coding
US9124899B2 (en) 2012-09-28 2015-09-01 Sharp Laboratories Of America, Inc. Motion derivation and coding for scaling video
KR20150123810A (ko) * 2013-02-27 2015-11-04 톰슨 라이센싱 이미지 동적 범위 변환 오퍼레이터를 선택하는 방법 및 디바이스
TW201507443A (zh) * 2013-05-15 2015-02-16 Vid Scale Inc 基於單迴路解碼之多層視訊編碼
US8958658B1 (en) 2013-09-10 2015-02-17 Apple Inc. Image tone adjustment using local tone curve computation
JP6382329B2 (ja) * 2014-02-18 2018-08-29 エルジー エレクトロニクス インコーポレイティド パノラマサービスのための放送信号送受信方法及び装置
EP2958329B1 (en) 2014-06-16 2018-12-05 Thomson Licensing Method for encoding and decoding an image block based on dynamic range extension, encoder and decoder
FR3018149A1 (fr) * 2014-09-02 2015-09-04 Thomson Licensing Procede et dispositif de selection d'un operateur de conversion de dynamique d'image, programme d'ordinateur et support de stockage correspondant
US9936199B2 (en) 2014-09-26 2018-04-03 Dolby Laboratories Licensing Corporation Encoding and decoding perceptually-quantized video content
JP2017500792A (ja) * 2014-10-06 2017-01-05 テレフオンアクチーボラゲット エルエム エリクソン（パブル） Ｈｄｒビデオフレームのための評価尺度
EP3051818A1 (en) * 2015-01-30 2016-08-03 Thomson Licensing Method and device for decoding a color picture
JP6926940B2 (ja) * 2017-10-24 2021-08-25 株式会社リコー 画像処理装置およびプログラム
WO2020004833A1 (ko) * 2018-06-29 2020-01-02 엘지전자 주식회사 Dc 계수를 적응적으로 결정하는 방법 및 그 장치
US11394990B2 (en) 2019-05-09 2022-07-19 Tencent America LLC Method and apparatus for signaling predictor candidate list size
US11212545B2 (en) 2019-06-07 2021-12-28 Tencent America LLC Method and apparatus for improved implicit transform selection
JP7297908B2 (ja) 2019-07-11 2023-06-26 テンセント・アメリカ・エルエルシー ビデオコーディング方法、装置及びコンピュータプログラム
US11616962B2 (en) 2019-07-15 2023-03-28 Tencent America LLC Method and apparatus for video coding
US11375243B2 (en) 2019-07-17 2022-06-28 Tencent America LLC Method and apparatus for video coding
US11310511B2 (en) 2019-10-09 2022-04-19 Tencent America LLC Method and apparatus for video coding

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU8018898A (en) * 1997-07-28 1999-02-22 Idt International Digital Technologies Deutschland Gmbh Method and apparatus for compressing video sequences
US7813574B2 (en) * 2003-09-24 2010-10-12 Ntt Docomo, Inc. Low complexity and unified transforms for video coding
JP4814217B2 (ja) * 2004-04-15 2011-11-16 ドルビー ラボラトリーズ ライセンシング コーポレイション 画像を低ダイナミックレンジから高ダイナミックレンジに変換するシステム及びコンピュータプログラム
US8014445B2 (en) * 2006-02-24 2011-09-06 Sharp Laboratories Of America, Inc. Methods and systems for high dynamic range video coding
KR101196975B1 (ko) * 2006-07-17 2012-11-02 톰슨 라이센싱 비디오 색 인핸스먼트 데이터를 인코딩하기 위한 방법 및 장치, 그리고 비디오 색 인핸스먼트 데이터를 디코딩하기 위한 방법 및 장치
EP3484154A1 (en) * 2006-10-25 2019-05-15 GE Video Compression, LLC Quality scalable coding
US8233536B2 (en) * 2007-01-23 2012-07-31 Sharp Laboratories Of America, Inc. Methods and systems for multiplication-free inter-layer image prediction
US7760949B2 (en) * 2007-02-08 2010-07-20 Sharp Laboratories Of America, Inc. Methods and systems for coding multiple dynamic range images

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102308579A (zh) * 2009-02-03 2012-01-04 汤姆森特许公司 位深可分级中使用平滑参考帧的运动补偿的方法和设备
CN102308579B (zh) * 2009-02-03 2017-06-06 汤姆森特许公司 位深可分级中使用平滑参考帧的运动补偿的方法和设备
CN103563372A (zh) * 2011-04-14 2014-02-05 杜比实验室特许公司 多颜色通道多元回归预测算子
CN103563372B (zh) * 2011-04-14 2017-05-24 杜比实验室特许公司 多颜色通道多元回归预测算子
CN103493490A (zh) * 2011-04-25 2014-01-01 杜比实验室特许公司 非线性视觉动态范围残留量化器
CN104604227A (zh) * 2013-07-12 2015-05-06 索尼公司 图像处理装置和图像处理方法
CN104748729A (zh) * 2015-03-19 2015-07-01 中国科学院半导体研究所 距离选通超分辨率三维成像距离图优化显示装置及方法
CN107660340A (zh) * 2015-05-22 2018-02-02 汤姆逊许可公司 对视频信号进行色彩映射的方法及对应设备
CN107660340B (zh) * 2015-05-22 2021-12-10 交互数字Vc控股公司 对视频信号进行色彩映射的方法及对应设备
US11025875B2 (en) 2015-05-22 2021-06-01 Interdigital Vc Holdings, Inc. Method for color mapping a video signal and method of encoding a video signal and corresponding devices
WO2016197323A1 (zh) * 2015-06-09 2016-12-15 华为技术有限公司 视频编解码方法和视频编解码器
CN107409223B (zh) * 2015-06-09 2020-02-14 华为技术有限公司 视频编解码方法和视频编解码器
CN107409223A (zh) * 2015-06-09 2017-11-28 华为技术有限公司 视频编解码方法和视频编解码器
WO2017035833A1 (en) * 2015-09-06 2017-03-09 Mediatek Inc. Neighboring-derived prediction offset (npo)
CN108370405A (zh) * 2015-12-23 2018-08-03 华为技术有限公司 一种图像信号转换处理方法、装置及终端设备
CN108370405B (zh) * 2015-12-23 2019-11-26 华为技术有限公司 一种图像信号转换处理方法、装置及终端设备
US10616497B2 (en) 2015-12-23 2020-04-07 Huawei Technologies Co., Ltd. Method and apparatus for processing image signal conversion, and terminal device
CN111275628A (zh) * 2015-12-23 2020-06-12 华为技术有限公司 一种图像信号转换处理方法、装置及终端设备
CN109155848A (zh) * 2016-05-16 2019-01-04 高通股份有限公司 用于高动态范围及宽色域视频译码的环路内样本处理
CN109155848B (zh) * 2016-05-16 2021-12-17 高通股份有限公司 用于高动态范围及宽色域视频译码的环路内样本处理

Also Published As

Publication number Publication date
EP2009921B1 (en) 2016-08-17
US20090003457A1 (en) 2009-01-01
JP2009010943A (ja) 2009-01-15
CN101335894B (zh) 2013-03-27
EP2009921A2 (en) 2008-12-31
EP2009921A3 (en) 2011-06-22
US8085852B2 (en) 2011-12-27
JP5153454B2 (ja) 2013-02-27

Similar Documents

Publication Publication Date Title
CN101335894B (zh) 图像逆色调映射的方法和系统以及编解码器
CN102144391B (zh) 用于层间残余视频编码和解码的跳过模式
US7983496B2 (en) Inverse tone mapping for bit-depth scalable image coding adapted to variable block sizes
CN101601300B (zh) 用自适应增强层预测对位深度可分级视频数据进行编码和/或解码的方法和设备
CN103428497B (zh) 用于增强层视频编码的适应性量化
TWI516095B (zh) 利用轉換操作之影音編碼及解碼方法
US9712816B2 (en) Inter-layer prediction between layers of different dynamic sample value range
JP5232797B2 (ja) 空間予測及びビット深度予測の適応的予測順序を使用してビデオ・データを符号化し、かつ／又は復号化する方法及び装置
CN1251512C (zh) 从不可分级编码视频信号产生可分级编码视频信号的方法和装置
CN104041035B (zh) 用于复合视频的无损编码及相关信号表示方法
US9338475B2 (en) Tone mapping for bit-depth scalable video codec
JP5188356B2 (ja) 復号器において画像を逆トーンマッピングする方法
CN101601299A (zh) 用位深度可分级性的增强层残差预测对视频数据进行编码和/或解码的方法和设备
CN103782598A (zh) 用于无损编码的快速编码方法
Segall Scalable coding of high dynamic range video
CN115314710A (zh) 编码方法、解码方法、编码器、解码器以及存储介质
US7426311B1 (en) Object-based coding and decoding apparatuses and methods for image signals
Al-Khafaji¹ et al. Color image compression of inter-prediction base
CN1254976C (zh) 根据不可缩放编码的视频信号生成可缩放编码的视频信号的方法和产品
Nascimento et al. H. 264/AVC backward compatible bit-depth scalable video coding
McNeely et al. “Voodoo” error prediction for bit-depth scalable video coding
Chiang et al. Multi-Exposure Image Compression Considering Rate-Distortion Optimization in Rendered High Dynamic Range Image
CN1843035A (zh) 使用预解码器的可伸缩视频编码方法和设备
CN117478874A (zh) 一种高压缩率视频关键帧编码方法及解码方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20130327

Termination date: 20180625

CF01 Termination of patent right due to non-payment of annual fee