CN101277382A - 图像拾取装置、图像信号处理装置和图像信号处理方法 - Google Patents

Abstract

一种图像拾取装置、图像信号处理装置和图像信号处理方法。直方图检测单元检测所拾取的图像信号的按照辉度级的像素数目分布。最大辉度值计算单元计算输入图像信号的最大辉度值。高辉度比例计算单元基于所检测到的按照辉度级的像素数目分布，计算在构成一个或多个帧的所有像素之中高辉度信号的比例。拐点计算单元基于计算得到的最大辉度值和高辉度信号的比例计算拐点。拐点处理单元生成在计算得到的拐点处开始的具有预定倾斜度的拐点斜率。无论计算得到的拐点值如何，该拐点处理单元都不改变预定倾斜度的值。

Description

图像拾取装置、图像信号处理装置和图像信号处理方法

技术领域

本发明涉及可以合适地用于例如具有自动拐点处理(kneeprocessing)功能的摄像机等的图像拾取装置，并且还涉及这样的装置所使用的图像信号处理装置和图像信号处理方法。

背景技术

目前，CCD(电荷耦合器件)元件和CMOS(互补金属氧化物半导体)元件被广泛地用作诸如数字照相机和摄像机之类的图像拾取装置中的图像拾取元件。然而，因为这样的图像拾取元件的输出动态范围比输入动态范围窄，所以存在如下的问题：当光的输入量超出输出动态范围时，在显示单元等之上显示的图像中将出现所谓的“亮区浓淡度劣化(bright-area-gradation deterioration)”的问题。

图1是示出从图像拾取元件中输出的图像信号的输出特性的图。在图1中，横轴示出输入动态范围(％)并且纵轴示出输出动态范围(％)。在图1中，“WP”所标注的虚线示出输出动态范围的最大值(在下文中称作“白剪辑点(white clip point)”)。在图1所示的示例中，白剪辑点WP是109％，并且输入动态范围和输出动态范围彼此一一匹配直到到达109％。也就是说，与光的输入量成比例的输出信号被输出。

然而，一旦光的输入量超出了白剪辑点WP，输出动态范围的值就不再变化。也就是说，即使接收到超出白剪辑点WP的光的量，也仅是将固定值从图像拾取元件中输出。这意味着当在监视器等之上显示超出了白剪辑点WP的高辉度分量时，其在明亮区域浓淡度方面将劣化(从而在强光区部分出现纯白)。

过去，为了抑制亮区浓淡度劣化，执行处理来压缩预定级别或者更高级别的辉度分量从而将对象的亮度(即辉度)保持在输出动态范围之内。这样的处理被称作“拐点处理”。图2示出当执行了拐点处理时图像信号的输出特性。在图2中，KP所标注的点示出拐点处理的开始点并且被称作“拐点”。在图2所示的示例中，拐点KP在输入动态范围为88％的点处，并且在输入动态范围为88％到160％的范围内的高辉度分量被压缩到从输出动态范围为88％到109％的范围内。图像信号的输出特性曲线在到达拐点KP后被弯曲，并且曲线的斜率(即倾斜度(inclination))对应于执行了拐点处理的输入动态范围的每个范围内的压缩量。该斜率被称作“拐点斜率(knee slope)”。

图3是示出在未执行拐点处理的情况下按照辉度级的像素数目分布的直方图，图4是示出在对由图3所示的像素组成的图像信号执行了拐点处理的情况下，按照辉度级的像素数目分布的直方图。在这些直方图中，纵轴示出像素数目并且横轴示出辉度级(％)。在图3中，因为未执行拐点处理，所以在白剪辑点WP处的直线右侧的所有像素以劣化的亮区浓淡度显示在显示器上。

另一方面，图4示出通过执行如下的处理，即将在输入动态范围为88％(如图2所示其被设定为拐点)到160％的范围内的高辉度分量压缩到从输出动态范围为88％到109％的范围内，来减少辉度级为150％或者更高的像素的数目，并且用辉度级为50％到100％的像素以及辉度级为100％到150％的像素来替代这样的辉度级为150％或者更高的像素。通过执行该处理，能够减少辉度值等于或者高于白剪辑点WP的像素的总数目，从而能够抑制亮区浓淡度劣化。

图5A示出未执行拐点处理的图像的示例，并且图5B示出通过对图5A所示的图像执行拐点处理而产生的图像。虽然图5A中被标注为区域AR1的部分亮区浓淡度劣化，但是通过执行压缩高辉度分量的拐点处理，能够将图像校正为如图5B所示的抑制了亮区浓淡度劣化的图像。此外，近些年来引入了具有根据对象的辉度级自动调整拐点的功能的图像拾取装置。该功能被称作“自动拐点”或者“autoknee”。

还可想到对一帧中频繁出现的图像级分配更宽的输出动态范围的方法。在这样的方法中，拐点斜率的倾斜度被自动地控制。

日本未经审查的专利申请公开H08-181887公开了根据输入图像的直方图从拐点向上对拐点斜率的自适应控制。

发明内容

如果在拾取图像时存在高辉度对象，那么即使当高辉度对象所占有的帧的比例极小时，也仍将基于该高辉度对象来设定拐点以将输入动态范围中的高辉度分量压缩到输出动态范围内。也就是说，因为拐点将被很大程度地降低，所以当执行这样的处理时，存在如图6所示的在整个图像中浓淡度较差的问题，这导致整体平坦的图像。在图6中，因存在诸如点光源之类的高辉度对象HB1导致在整个图像上浓淡度下降，进而导致所再现的对象不像是球体而像是平面的圆形。

作为用于将输入动态范围中的高辉度分量压缩到输出动态范围中的方法，还已知改变拐点斜率的倾斜度的方法(例如参见上述的JP公开)。然而，当这样的处理导致在拐点处理之前和之后的拐点斜率倾斜度出现较大改变时，图像中浓淡度的改变速率将很突然地改变。因此，存在如下的情况：其中在图像边缘部分的外围中产生诸如类似轮廓(resemble contour)之类的轮廓线(即，虚轮廓线)。

考虑到上述及其他问题而想到本发明，并且本发明致力于抑制当存在高辉度对象时而产生的亮区浓淡度劣化并且最小化虚轮廓线的产生。

根据本发明的实施例，提供一种图像拾取装置。直方图检测单元检测所拾取的图像信号的按照辉度级的像素数目分布。最大辉度值计算单元计算输入图像信号的最大辉度值。高辉度比例计算单元基于所检测到的按照辉度级的像素数目分布，计算在构成一个或多个帧的所有像素之中高辉度信号的比例。拐点计算单元基于由最大辉度值计算单元计算得到的最大辉度值和由高辉度比例计算单元计算得到的高辉度信号的比例计算拐点。拐点处理单元生成在由拐点计算单元计算得到的拐点处开始的具有预定倾斜度的拐点斜率。无论由拐点计算单元计算得到的拐点的值如何，拐点处理单元都不改变预定倾斜度的值。

以这种方式，不仅基于最大辉度值而且考虑高辉度信号的比例来计算拐点。此外，无论被设定为拐点的辉度级如何，生成具有相同倾斜度的拐点斜率。

根据本发明的实施例，因为不仅基于最大辉度值而且考虑高辉度信号的比例来计算拐点，所以当存在具有极高辉度级的对象然而该对象所占有的像素的比例较低时，能够设定考虑了辉度值的分布的适当拐点。

此外，因为根据本发明的实施例不改变拐点斜率的倾斜度，所以能够抑制虚轮廓线的生成。

附图说明

图1是示出现有图像信号的输出特性的特性图。

图2是示出现有图像信号的输出特性的特性图。

图3是示出在现有拐点处理之前的按照辉度级的像素数目分布特性的直方图。

图4是示出在现有拐点处理之后的按照辉度级的像素数目分布特性的直方图。

图5A和图5B是用于说明现有拾取的图像的图像示例，其中图5A示出在拐点处理之前的图像，并且图5B示出在拐点处理之后的图像。

图6是用于说明当存在高辉度对象时的现有拾取的图像的示例性图像。

图7是示出根据本发明的实施例的图像拾取装置的内部结构示例的框图。

图8是示出根据本发明的实施例的图像信号的输出特性的特性图。

图9是示出根据本发明的实施例的基于最大辉度值的拐点计算处理的示例的流程图。

图10是示出根据本发明的实施例的高辉度比例计算处理的示例的流程图。

图11是示出根据本发明的实施例的基于直方图的拐点计算处理的一个示例的流程图。

图12是示出根据本发明的实施例的拐点计算处理的一个示例的流程图。

具体实施方式

现将参考图7到图12来描述本发明的实施例。图7是示出图像拾取装置的内部结构的一个示例的框图。如图7所示，图像拾取装置100包括控制构成图像拾取装置100的各组件的控制单元14，和临时存储由控制单元14处理的数据并且其中还存储诸如程序之类的数据的存储单元15。控制单元14可以由微计算机等构成，并且存储单元15可以由半导体存储器等构成。存储单元15存储来自直方图检测单元5、最大辉度值计算单元6、高辉度比例计算单元7和拐点计算单元8的输出值等，随后将对这些单元进行描述。

图像拾取装置100还包括镜头1、图像拾取元件2、模拟信号处理单元3和模/数转换单元4。镜头1将来自对象的光传输到图像拾取装置100中。图像拾取元件2通过对经由镜头1在图像拾取元件2上入射的光执行光电转换来生成图像信号，并且输出所生成的图像信号。模拟信号处理单元3对从图像拾取元件2输出的图像信号执行信号处理。模/数转换单元4(在下文中简单称作“A/D转换单元”)将从模拟信号处理单元3输出的图像信号转换为数字信号。

图像拾取元件2可以由CCD元件或者CMOS元件构成，它将已经通过分光镜(未示出)被分离为三种颜色R、G和B的光转换为与各颜色量相对应的信号，并且将这样的信号作为图像信号输出。模拟信号处理单元3可以由未示出的CDS(相关双采样)电路、AGC(自动增益控制)电路等构成。CDS电路执行去除在输入图像信号中包含的复位噪声的处理，并且AGC电路执行放大图像信号从而将信号调整到预定电平的处理。

图像拾取装置100还包括直方图检测单元5、最大辉度值计算单元6、高辉度比例计算单元7、拐点计算单元8和拐点处理单元9。直方图检测单元5检测在针对不同辉度级而设定的区域中的像素数目分布。最大辉度值计算单元6基于直方图检测单元5的检测结果计算最大辉度值PK(峰值)。高辉度比例计算单元7测量辉度值等于白剪辑点WP或者更高的图像信号，并且计算这样的图像信号的比例。拐点计算单元8基于最大辉度值计算单元6或者高辉度比例计算单元7的输出值计算拐点。拐点处理单元9将由拐点计算单元8计算得到的拐点作为开始点来压缩高辉度信号。

直方图检测单元5确定输入图像信号的辉度级对应于根据辉度级而预先设定的预定数目个区域中的哪个区域，从而将图像信号分类到相应的辉度区域中，并且对分配给每个辉度区域的像素数目进行计数。直方图检测单元5的输出值存储在存储单元15中，并且每一垂直同步周期由控制单元14将其读出一次。

最大辉度值计算单元6按从具有最高辉度值的区域开始的顺序，检查由直方图检测单元5获得的直方图(按照辉度级的像素数目分布)以检查每个区域中的像素的存在，并且在找到具有像素的区域时，确定其中找到了作为最大辉度值PK的像素的区域的中间辉度级值。

高辉度比例计算单元7判断输入图像信号的辉度级是否等于或者高于白剪辑点WP(在该实施例中，109％)，并且当输入图像信号的辉度级等于或者高于白剪辑点WP时，对辉度级等于或高于白剪辑点WP的像素数目进行计数。当已经针对一个帧周期执行了该处理时，具有等于或者高于白剪辑点WP的高辉度值的像素与构成一个帧的像素总数的比例被计算出来。此外，计数结果被存储在存储单元15中，并且在预定的定时，预定数目的帧(例如，十二帧)的高辉度比例数据被读出，并且在最近的十二个帧中的像素的高辉度比例P(％)被计算出来。应注意，虽然在本实施例中描述如下的示例，即其中将最近的十二个帧中的所有像素用作计算高辉度比例P(％)所使用的数据，但是如其他示例那样，也可以使用一帧或者其他多个帧的数据。

拐点计算单元8基于最大辉度值计算单元6的输出值和高辉度比例计算单元7的输出值计算拐点，即用于高辉度分量信号的压缩的开始点。除不变地根据输入值计算拐点外，拐点计算单元8还当由高辉度比例计算单元7计算的高辉度比例P(％)高于或者低于预先设定的阈值时，执行给拐点指定预定值的处理。在本实施例中，预先作出如下的设定。将0％的高辉度比例设定为第一阈值Th1，将30％的高辉度比例设定为第二阈值Th2，当高辉度比例P为0％或者以上然而低于第一阈值Th1时，将最大拐点KMx设定为拐点，并且当高辉度比例P为第二阈值Th2或者更高时，将最小拐点KMn设定为指定拐点。在本实施例中，最大拐点KMx被设定为109％，并且最小拐点KMn被设定为70％。

拐点处理单元9将由拐点计算单元8计算得到的拐点作为开始点，来执行生成拐点斜率的处理(即，压缩高辉度分量)。在本实施例中，无论将拐点位置设定在何处，拐点斜率的倾斜度都是固定的，并且当拐点移动时，拐点斜率也平行地移动。图8示出其中当拐点位于最小拐点KMn、最大拐点KMx和另一位置时形成拐点斜率的示例。当最大拐点KMx已经被设定为拐点时，形成在最大拐点KMx处开始的拐点斜率KS1，而当最小拐点KMn已经被设定为拐点时，形成在最小拐点KMn处开始的拐点斜率KS2。类似地，当另一点已经被设定为拐点时，形成在该设定拐点处开始的拐点斜率KS3。

在本实施例中，用被分为六条线段的线来表示拐点斜率，所述六条线段的每一条具有不同的斜率(即，倾角)。与从拐点开始计的前三条线段的斜率相比较而言，后三条线段的斜率更加平和。需要用于表示缓坡的后三条线段的斜率被设定的极低，例如约为0.03。六条线段各自的斜率都是固定的。也就是说，拐点处理单元9执行如下的处理：通过按从输入拐点开始的顺序应用预定倾斜度值来形成拐点斜率。

返回图7中的框图，拐点计算单元8和拐点处理单元9是信号处理单元10的部分，信号处理单元10还执行除与拐点处理相关的处理之外的信号处理。由信号处理单元10执行的这样的处理包括根据预先设定的γ曲线校正图像信号的γ电平的伽马校正，将图像信号中的黑电平OB(光学黑体)固定在预定标准电平的反馈箝位处理，以及用于调整白平衡的白剪辑处理。

图像拾取装置100包括编码单元11、数/模转换单元12和输出端子13，该编码单元11将经信号处理单元10处理的图像信号转换为诸如NTSC(National Television Standards Committee，美国国家电视标准委员会)或者PAL(Phase Alternating Line，逐行倒相)之类的具有预定格式的信号，该数/模转换单元12(在下文中称作“D/A转换单元”)将从编码单元11输出的图像信号转换为模拟信号，并且该输出端子13将从D/A转换单元12输出的图像信号输出到未示出的显示单元或者记录单元。

接下来，将参考图9到图12的流程图来描述计算拐点的处理示例。首先，在图9中，当第一次执行拐点计算单元8的处理时，例如当电源导通时，将初始值代入变量“拐点当前KC”，然而如果存在在处理开始时已经设定了的拐点，那么将该设定拐点的值代入变量“拐点当前KC”(步骤S1)。在此，作为一个示例，诸如80％之类的值被设定为拐点的初始值。

在这之后，直方图检测单元5被用于获得示出当前帧中基于辉度级的像素数目的直方图(步骤S2)。接下来，根据在步骤S2中获得的直方图信息计算最大辉度值(即，峰值)PK(步骤S3)。在这之后，基于最大辉度值PK计算用于将最大辉度值压缩到输出动态范围内的拐点(步骤S4)。将计算得到的拐点代入变量“拐点KFP”(步骤S5)。作为到此为止的处理的结果，基于最大辉度值PK而计算的拐点被存储在变量“拐点KFP”中。

图10是示出高辉度比例计算单元7的处理示例的流程图。在图10中，首先，高辉度比例计算单元7计算在当前帧的总像素中，辉度值等于白剪辑点WP或者更高的像素的总数t，并且将总数t存储在存储单元15中(步骤S11)。接下来，在存储单元15中存储的f个帧(在本实施例中是十二个帧)的像素总数t被读出，并且通过将最近的f个帧的像素总数t相加而产生的和T被计算出来(步骤S12)。在此之后，通过将和T除以f个帧的数目来计算平均总数t’(步骤S13)，并且最后将该平均总数t’除以最近的f个帧的全部像素的平均数，从而计算出最近的f个帧的高辉度比例P(％)(步骤S14)。

接下来，将参考图11的流程图描述当基于如参考图10所描述的高辉度比例计算单元7的计算结果来计算拐点时，拐点计算单元8的处理示例。在图11中，首先判断由高辉度比例计算单元7计算得到的高辉度比例P是否是在从0到阈值Th1的范围内的值(步骤S21)。在本实施例中，因为阈值Th1是0％，所以判断高辉度比例P是否是0％。当高辉度比例P是0％时，将最大拐点KMx(在本实施例中，109％)代入变量“拐点KFR”(步骤S22)。

当步骤S21中的条件未被满足时，接下来判断高辉度比例P是否等于或者大于阈值Th2(步骤S23)。在本实施例中，因为将阈值Th2设定未30％，所以当高辉度比例P等于或者高于30％时，将最小拐点KMn(在本实施例中，70％)代入变量“拐点KFR”(步骤S24)。

当高辉度比例P既不是高于0且低于阈值Th1也不是等于或者高于阈值Th2时，也就是说，当高辉度比例P等于或者高于阈值Th1然而低于阈值Th2时，根据高辉度比例P的值来计算拐点(步骤S25)，并且将计算得到的拐点代入变量“拐点KFR”(步骤S26)。也就是说，当在构成最近的f个帧的所有像素中几乎不存在任何具有预定的高辉度级或者更高的辉度级的像素时(在本实施例中，当不存在这样的像素时)，最大拐点KMx的值被设定为变量“拐点KFR”的值，然而当这样的具有预定高辉度级的像素的比例较高时(在本实施例中，30％或更高)，最小拐点KMn的值被设定为变量“拐点KFR”的值。此外，当高辉度比例P等于或者高于阈值Th1然而低于阈值Th2时，根据这样的高辉度比例P而计算得到的拐点的值被设定为变量“拐点KFR”的值。

接下来，将参考图12中的流程图描述如下的处理示例：其中拐点计算单元8基于被代入变量“拐点KFR”和“拐点KFP”的值之一决定最终的拐点KT，并且拐点处理单元9将当前拐点KC移动到计算得到的最终拐点KT的位置。

在图12中，首先判断被代入变量“拐点KFP”的值是否高于在变量“拐点KFR”中设定的值(步骤S31)。当拐点KFP的值高于拐点KFR时，将拐点KFP的值代入拐点KT(步骤S32)。相反，当拐点KFR的值等于或者高于拐点KFP时，将拐点KFR的值代入最终的拐点KT(步骤S33)。也就是说，将基于最大辉度值PK而计算的拐点FKP和基于辉度分布的直方图而计算的拐点FKP之中的较大值用作最终的拐点KT。

接下来，在拐点处理单元9中，判断作为拐点的当前值的拐点当前KC的值是否低于在步骤S32或者步骤S33中找到的最终拐点KT(步骤S34)。当拐点当前KC的值更低时，执行如下的处理：基于预先设定的拐点提升速率来增大拐点当前KC的值(步骤S35)。另一方面，当拐点当前KC的值比最终的拐点KT的值更高时，执行如下的处理：基于预先设定的拐点下降速率来减小拐点当前KC的值(步骤S36)。在此之后，从拐点当前KC(＝最终拐点KT)开始，形成拐点斜率(步骤S37)。

以这种方式，因为使用了如下的结构，即其中除了最大辉度值(即，峰值)外，还使用由所检测到的直方图提供的辉度分布来计算拐点的结构，所以当高辉度对象所占有的比例较低时，能够避免将拐点设定的低于必需的值。通过这样做，能够避免在显示的图像中的亮区浓淡度劣化以及浓淡度下降。

此外，因为使用了如下的结构，即其中不改变拐点斜率的倾斜度并且根据对象的辉度值和辉度分布仅改变拐点，所以在浓淡度改变速率方面不存在突变，并且因此能够抑制虚轮廓线的产生。

在压缩拐点斜率的具有预定数目的线段的虚线中，因为接近白剪辑点的虚线斜率极低，例如大于为0.03，所以能够将辉度等于或者大于白剪辑点的输入值压缩到输出动态范围内，而不改变拐点斜率的倾斜度或者将拐点降低得比需要更多。

应注意，虽然在上述的实施例中阈值Th1的值是0％，阈值Th2的值是30％，最小拐点KMn的值是70％，并且最大拐点KMx的值是109％，但是这些值仅是示例并且作为替代可以设定任意的值。

此外，虽然在上述实施例中已经描述了其中将本发明应用于图像拾取装置的示例，但是也可以将本发明应用于记录或者回放来自摄像机和图像拾取装置的输入信号的记录/回放装置或者图像信号处理装置。

本领域中的技术人员应理解，根据设计需求和其他因素可以想到各种修改、组合、子组合和变更，只要它们落入随附权利要求书或者其等价物的范围之内。

本发明包含与2007年3月28日递交到日本专利局的日本专利申请JP2007-085307相关的主题，该日本专利申请的全部内容通过引用被结合于此。

Claims (6)

1.一种图像拾取装置，包括：

直方图检测单元，检测所拾取的图像信号的按照辉度级的像素数目分布；

最大辉度值计算单元，计算所述拾取的图像信号的最大辉度值；

高辉度比例计算单元，基于由所述直方图检测单元检测出的所述按照辉度级的像素数目分布，计算在构成一个或多个帧的所有像素之中高辉度信号的比例；

拐点计算单元，基于由所述最大辉度值计算单元计算出的所述最大辉度值和由所述高辉度比例计算单元计算出的所述高辉度信号的比例，计算拐点；以及

拐点处理单元，生成在由所述拐点计算单元计算出的所述拐点处开始的具有预定倾斜度的拐点斜率，

其中，无论由所述拐点计算单元计算出的所述拐点的值如何，所述拐点处理单元都不改变所述预定倾斜度。

2.根据权利要求1所述的图像拾取装置，

其中，所述拐点计算单元被设置有第一阈值和第二阈值，并且所述拐点计算单元被配置为当由所述高辉度比例计算单元计算出的所述高辉度信号的比例低于所述第一阈值时，将预先设定的最大值设定作为所述拐点，当所述高辉度信号的比例等于或者高于所述第二阈值时，将预先设定的最小值设定作为所述拐点，并且当所述高辉度信号的比例等于或者高于所述第一阈值但低于所述第二阈值时，根据所述高辉度信号的比例来计算所述拐点的值。

3.根据权利要求2所述的图像拾取装置，

其中，所述最大值是在所述拾取的图像信号的输出动态范围中的最大值。

4.根据权利要求1所述的图像拾取装置，

其中，所述最大辉度值计算单元基于由所述直方图检测单元检测出的所述按照辉度级的像素数目分布，计算所述最大辉度值。

5.一种图像信号处理装置，包括：

直方图检测单元，检测输入图像信号的按照辉度级的像素数目分布；

最大辉度值计算单元，计算所述输入图像信号的最大辉度值；

高辉度比例计算单元，基于由所述直方图检测单元检测出的所述按照辉度级的像素数目分布，计算在构成一个或多个帧的所有像素之中高辉度信号的比例；

拐点计算单元，基于由所述最大辉度值计算单元计算出的所述最大辉度值和由所述高辉度比例计算单元计算出的所述高辉度信号的比例，计算拐点；以及

拐点处理单元，生成在由所述拐点计算单元计算出的所述拐点处开始的具有预定倾斜度的拐点斜率，

其中，无论由所述拐点计算单元计算出的所述拐点的值如何，所述拐点处理单元都不改变所述预定倾斜度。

6.一种图像信号处理方法，包括如下步骤：

检测输入图像信号的按照辉度级的像素数目分布；

计算所述输入图像信号的最大辉度值；

基于所述检测出的按照辉度级的像素数目分布，计算在构成一个或多个帧的所有像素之中高辉度信号的比例；

基于所述计算出的最大辉度值和所述高辉度信号的比例，计算拐点；以及

生成从所述计算出的拐点开始的具有预定倾斜度的拐点斜率。

Images