CN102484721B

CN102484721B - 四通道滤色片阵列图案

Info

Publication number: CN102484721B
Application number: CN201080023855.6A
Authority: CN
Inventors: J·E·小亚当斯; M·库玛; B·H·费尔曼; J·A·汉米尔顿
Original assignee: Omnivision Technologies Inc
Current assignee: Omnivision Technologies Inc
Priority date: 2009-05-27
Filing date: 2010-05-07
Publication date: 2014-12-24
Anticipated expiration: 2030-05-07
Also published as: US20100302423A1; US8203633B2; EP2436187A1; HK1171309A1; TWI504276B; CN102484721A; WO2010138152A1; TW201127072A; EP2436187B1

Abstract

本发明揭示一种用于捕捉彩色图像的图像传感器，包括二维光敏像素阵列，这些光敏像素包含全色像素及具有至少两种不同色彩响应的彩色像素，这些像素以具有正方形最小重复单元的重复图案排列，该正方形最小重复单元具有至少三行和三列，这些彩色像素沿着最小重复单元的诸对角线之一排列，且所有其他像素都是全色像素。

Description

四通道滤色片阵列图案

发明的技术领域

本发明涉及从具有彩色通道及全色通道的滤色片阵列图像产生具有经改良的空间分辨率的全色图像。

背景技术

单一传感器数码相机利用滤色片阵列(CFA)来捕捉来自单个二维光敏像素阵列的全色信息。该CFA包含过滤各像素所检测到的光的滤色片阵列。因此，各像素仅从一种色彩接收光，或在全色或‘透明’滤光器的情况下，从所有色彩接收光。为了从该CFA图像重现全色图像，必须在每个像素位置处产生三个色彩值。这藉由从邻近像素值内插丢失色彩值来完成。

最为熟知的CFA图案使用如由Bayer(美国专利No.3971065)所描述且如图2所示的三个彩色通道。Bayer CFA具有实现全色重现能力的三个彩色通道。然而，该三个通道的准确光谱响应(“色彩”)代表折衷。为了改良色彩保真度并扩展可由该CFA捕捉的色彩范围(亦即，色域)，需使这些光谱响应具更多的选择性(“收窄”)。此具有减少到达像素的光的总量且因此降低像素对光的灵敏度的副作用。因而，像素值变得更易受来自非成像源的噪声(例如，热噪声)的影响。一种对该噪声问题的解决方法是使该CFA光谱响应具更少的选择性(“加宽”)以增加到达该像素的光的总量。然而，这伴随着减小色彩保真度的副作用而发生。

一种对此三通道CFA限制的解决方案是采用由具有“狭窄”光谱灵敏度的三种色彩及具有“宽”光谱灵敏度的一种彩色组成的四通道CFA。将对光的全谱灵敏的“最宽的”此通道将是全色的或“透明的”。该三个“窄带”彩色通道将产生具有较高的彩色保真度和较低的空间分辨率的图像，而第四“宽带”全色通道将产生具有较低的噪声及较高的空间分辨率的图像。接着这些高色彩保真度、低空间分辨率及低噪声、高空间分辨率图像将合并为最终的高色彩保真度、低噪声、高空间分辨率图像。

为了产生高空间分辨率全色图像，同时维持这些彩色像素的高色彩保真度，必须适当地选择在该CFA内的全色像素的数目和排列及对应的内插算法。在现有技术中存在在这方面具有一个或多个缺点的多个示例。Frame(美国专利No.7012643)教示如图12所示的CFA，该CFA在9x9正方形全色(P)像素内仅具有单个的红色(R)、绿色(G)、蓝色(B)像素。Frame的问题是所得的色彩空间分辨率太低以致除产生最低频率色彩细节之外，未能在该图像中产生所有的色彩细节。

Yamagami等人(美国专利No.5323233)描述如图13A及图13B所示的具有相同数量的全色像素及彩色像素的两种CFA图案，从而避免Frame的缺点。Yamagami等人继续教示将简单的双线性内插用作为用于内插这些丢失的全色值的技术。线性内插方法(诸如双线性内插)的单独使用强有力地限制该经内插图像的空间分辨率。诸如Adams等人(美国专利No.5506619)描述的非线性方法在该CFA图案允许其使用的条件下产生较高空间分辨率的经内插图像。图14A例示Adams等人所使用的图案。在图2所示的三通道系统中提供高空间频率分辨率的绿色(R)像素在中央彩色像素周围在水平方向及垂直方向两者上与彩色(C)像素交替。重要的是注意这些彩色像素都是相同色彩(例如，红色像素)。图14B示出使用全色(P)像素代替绿色像素的类似图案。此时应注意的是，对于四通道系统，不可能以图14B显示的图案在跨传感器的所有彩色(R、G及B)像素位置处出现的方式排列所有四个通道(R、G、B及P)。因此，任何可能的排列将是以此方式的一些折衷。关于Yamagami等人，图13A具有如图14B中所排列的绿色及全色像素，但未如此排列红色及蓝色像素。在图14B之后，诸如图14C中的排列较佳，但图13A关于红色及蓝色像素皆不具有此排列。图13B对于任何彩色像素不具有图14B或图14C的图案。Tanaka等人(美国专利No.4437112)描述多个CFA图案，其中与此讨论最相关的图案是图15。在图15中青色(C)、黄色(Y)、绿色(G)及全色(P)像素被排列成使得这些绿色像素被图14C中显示的邻域环绕。然而，这些黄色及青色像素不符合图14B或图14C的图案。由Tanaka等人所教示的其他图案存在相同困难。

Hamilton等人(美国专利申请No.2007/0024879)教示大量CFA图案，在图16A及图16B中显示其中的两种图案。这些以及Hamilton等人所揭示的所有其他图案的缺点是缺乏图14B及图14C像素排列。

Kijima等人(美国专利申请No.2007/0177236)描述大量CFA图案，其中最相关的CFA图案被显示在图17中。虽然全色像素的双行在垂直方向上提供图14C 排列，但在图17中不存在并排全色值的此水平排列。

因此，存在对具有三窄带彩色通道及具有足够彩色像素的一个宽带全色通道的四通道CFA图案的需要，以提供充足的色彩空间分辨率且以允许这些丢失的全色值的有效非线性内插的方式排列。

发明内容

根据本发明，提供一种用于捕捉彩色图像的图像传感器，包括二维光敏像素阵列，这些光敏像素包含全色像素及具有至少两种不同色彩响应的彩色像素，这些像素以具有正方形最小重复单元的重复图案排列，该正方形最小重复单元具有至少三行和三列，这些彩色像素沿着该最小重复单元的诸对角线之一排列，且所有其他像素都是全色像素。

本发明的优点是在无需增加该传感器内彩色像素相对于全色像素的百分比的情况下改良图像的色彩空间分辨率。

本发明的另一优点是在无需随图像的彩色保真度的对应减少增大这些彩色像素的光谱带宽的情况下实现图像中彩色噪声的减少。

从以下对较佳实施例的详细描述及所附权利要求的查看并通过参考附图，将更清楚地了解及明白本发明的这一及其他方面、目标、特征及优点。

附图简述

图1是用于实现本发明的数码相机的框图；

图2是来自现有技术的最小重复单元；

图3是本发明的较佳实施例的最小重复单元；

图4是本发明的替代实施例的最小重复单元；

图5是本发明的较佳实施例的图像处理链的概览；

图6是在内插全色图像值时使用的像素邻域；

图7是在内插彩色差值中使用的像素邻域；

图8是在内插彩色差值中使用的像素邻域；

图9是在内插彩色差值中使用的像素邻域；

图10是显示本发明的较佳实施例的融合图像区块的详细图的框图；

图11是显示本发明的替代实施例的融合图像区块的详细图的框图；

图12是来自现有技术的最小重复单元；

图13A及图13B是来自现有技术的最小重复单元；

图14A、图14B及图14C是来自现有技术的用于内插全色图像值的像素邻域；

图15是来自现有技术的最小重复单元；

图16A及图16B是来自现有技术的最小重复单元；以及

图17是来自现有技术的最小重复单元。

本发明的具体描述

在以下描述中，从通常将实现为软件程序方面描述本发明的较佳实施例。本领域技术人员将容易理解亦可用硬件构建此软件的等效物。因为图像处理算法及系统是公知的，所以本描述将尤其涉及形成根据本发明的系统及方法的部分或更直接地与该系统及方法协作的算法及系统。可从本领域已知的这些系统、算法、组件及元件中选择本文中未具体显示或描述的这些算法及系统的其他方面、用于产生及以其他方式处理与之有关的图像信号的硬件或软件。在如在以下材料中根据本发明所描述的系统的情况下，对本发明的实现有用的本文中未具体显示、建议或描述的软件是公知的且在这些技术的一般技术范围之内。

再者，可在计算机可读存储介质中存储用于执行本发明的方法的计算机程序，举例而言，该计算机可读存储介质可包含诸如磁盘(诸如硬盘或软盘)或磁带的磁存储介质；诸如光盘、光带或机器可读条形码的光学存储介质；诸如随机存取存储器(RAM)或只读存储器(ROM)的固态电子存储器件；或用以存储计算机程序的任何其他实体装置或介质。

因为利用成像装置及相关电路系统来进行信号捕捉及校正及曝光控制的数码相机是公知的，所以本描述将尤其涉及形成根据本发明的方法及装置的部分或更直接地与该方法及装置协作的元件。本文未具体显示或描述的元件选自本领域已知的元件。用软件提供要描述的实施例的某些方面。在如以下材料中根据本发明所显示和描述的系统的情况下，对本发明的实现有用的本文未具体显示、描述或建议的软件是常规的且在这些技术的般技术范围之内。

现参考图1，显示具体实施本发明的图像捕捉器件的框图。在此示例中，将该图像捕捉器件示为数码相机。然而，虽然现将解释数码相机，但本发明亦明显适用于其他类型的图像捕捉器件。在所揭示的相机中，将来自主体场景的光10输入至成像台11，其中由透镜12聚焦该光以在固态滤色片阵列图像传感器20上形成图像。滤色片阵列图像传感器20针对各图像元素(像素)将入射光转换为电子信号。该较佳实施例的滤色片阵列图像传感器20是电荷耦合器件(CCD)类型或有源像素传感器(APS)类型。(由于在互补金属氧化物半导体工艺中制造APS器件的能力，通常将APS器件称为CMOS传感器。)在具有二维像素阵列的其他类型的图像传感器采用本发明的这些图案的条件下，亦可使用这些其他类型的图像传感器。供在本发明中使用的滤色片阵列图像传感器20包括二维彩色像素及全色像素阵列，其在描述图1之后将在本说明书中的下文变得清晰。

藉由改变孔径的光圈块14及包含穿插于光学路径中的一个或多个中性密度(ND)滤光器的中性密度(ND)滤光器块13，调节到达该滤色片阵列图像传感器20的光量。并且调节总光能级的时间是在快门18打开之时。曝光控制器40对由亮度传感器块16所测量的场景中可获得的光量作出响应，并控制所有三种这些调节功能。

特定相机配置的此描述将为本领域技术人员所熟悉，且将显然的是存在许多变体及附加特征。例如，可增加自动聚焦系统，或透镜可为可拆卸的及可互换的。应了解本发明可应用于任何类型的数码相机，其中藉由替代组件提供类似功能性。例如，该数码相机可为相对简单的对准即拍数码相机，其中快门18是相对简单的可移动叶片快门或类似物，代替更复杂的焦平面配置。亦可使用在诸如移动电话及机动车辆的非相机器件中所包含的成像组件实践本发明。

藉由模拟信号处理器22处理来自滤色片阵列图像传感器20的模拟信号且将该模拟信号施加于模数(A/D)转换器24。时序产生器26产生各种时钟信号以选择行及像素并使模拟信号处理器22与A/D转换器24的操作同步。图像传感器台28包括滤色片阵列图像传感器20、模拟信号处理器22、A/D转换器24及时序产生器26。图像传感器台28的组件可为单独制造的集成电路，或可将它们制造为通常由CMOS图像传感器完成的单一集成电路。将来自A/D转换器24的所得数码像素值流存储在与数字信号处理器(DSP)36相关联的数字信号处理器(DSP)存储器32中。

在本实施例中，除系统控制器50及曝光控制器40之外，该DSP 36是三个处理器或控制器之一。虽然多个控制器及处理器之间的相机功能控制的此划分是典型的，但可以各种方式组合这些控制器或处理器而不影响该相机的功能操作及本发明的应用。这些控制器或处理器可包括一个或多个数码信号处理器器件、微控制器、可编程逻辑器件、或其他数字逻辑电路。虽然已描述这些控制器或处理器的组合，但应明白一个控制器或处理器可被指定以执行所有所需功能。所有这些变体可执行相同功能且落在本发明范畴之内，且将根据需要使用术语“处理阶段”来将所有此功能涵盖在一短语中(例如，如图1中的处理阶段38)。

在所例示的实施例中，DSP 36根据永久地存储在程序存储器54中且被复制至DSP存储器32以供在图像捕捉期间执行的软件程序，来处理DSP存储器32中的数字图像数据。DSP 36执行实现图18所示的图像处理所需的软件。DSP存储器32可为任何类型的随机存取存储器(诸如，SDRAM)。包含地址及数据信号的路径的总线30将DSP 36连接至其相关DSP存储器32、A/D转换器24及其他相关器件。

系统控制器50基于存储在程序存储器54中的软件程序控制相机的整体操作，该程序存储器54可包含闪存EEPROM或其他非易失性的存储器。此存储器亦可用以存储图像传感器校准数据、用户设定选择及当相机关闭时必须保存的其他数据。系统控制器50藉由引导曝光控制器40操作先前描述的透镜12、ND滤光器块13、光圈块14、及快门18；藉由引导该时序产生器26操作滤色片阵列图像传感器20及相关联元件，并引导DSP 36处理所捕捉的图像数据来控制图像捕捉的序列。在捕捉及处理图像之后，存储在DSP存储器32中的最终图像文件经由主机接口57传送至主机计算机，存储在可移动存储卡64或其他存储器件中，并在图像显示器88上显示给用户。

系统控制器总线52包含地址、数据及控制信号的路径，且将系统控制器50连接至DSP 36、程序存储器54、系统存储器56、主机接口57、存储卡接口60及其他相关器件。主机接口57对个人计算机(PC)或其他主机计算机提供高速连接以传送图像数据用于显示、存储、操纵或打印。此接口可为IEEE1394或USB2.0串行接口或任何其他适当的数字接口。存储卡64通常是插入存储卡插座62并经由存储卡接口60连接至系统控制器50的紧凑型闪存(CF)卡。可利用的其他类型的存储器包含(无限制)个人计算机卡(PC-Card)、多媒体卡(MMC)、或安全数字(SD)卡。

将经处理图像复制至在系统存储器56中的显示缓冲器且经由视频编码器80持续地读取这些经处理图像以产生视频信号。从该相机中直接输出此信号以显示在外部监视器上，或藉由显示控制器82处理此信号且在图像显示器88上呈现该信号。此显示器通常是有源矩阵彩色液晶显示器(LCD)，然而亦使用其他类型的显示器。

藉由在曝光控制器40及系统控制器50上执行的软件程序的组合来控制包括取景器显示器70、曝光显示器72、状态显示器76、图像显示器88及用户输入74的所有或任何组合的用户接口68。用户输入74通常包括按钮、摇臂开关、操纵杆、旋转式拨盘或触控幕的一些组合。曝光控制器40操作光测量、曝光模式、自动聚焦及其他曝光功能。该系统控制器50管理在这些显示器的一个或多个(例如，图像显示器88)上呈现的图形用户接口(GUI)。该GUI通常包括用于做出各种选项选择的菜单及用于查阅所捕捉图像的检查模式。

曝光控制器40接受选择曝光模式、透镜孔径、曝光时间(快门速度)、及曝光指数或ISO感光速率的用户输入，且因此引导透镜12及快门18进行后续捕捉。该亮度传感器块16被用来测量场景亮度且提供曝光表功能以供用户在手动设定该ISO感光速度、孔径及快门速度时参考。在此情况下，随着用户改变一个或多个设定，在取景器显示器70上呈现的光表指示项告诉用户图像将会过度曝光或曝光不足到何种程度。在自动曝光模式中，用户改变一设定且曝光控制器40自动更改另一设定以维持正确的曝光，例如，针对给定ISO感光速度，当用户减小透镜孔径时，曝光控制器40自动增加曝光时间以维持相同的总曝光。

该ISO感光速度是数字静态相机的重要属性。曝光时间、透镜孔径、透镜透光度、场景照明的能级和光谱分布、以及场景反射率确定数字静态相机的曝光能级。当使用不足曝光获得来自数字静态相机的图像时，通常可藉由增加电子或数字增益维持适当的色调重现，但所得图像通常包含不可接受的噪声量。随着曝光增加，增益减少，且因此通常可将图像噪声减少至可接受的水平。若过分地增加曝光，则在图像的明亮区域中的所得信号可超过图像传感器或相机信号处理的最大信号能级容量。此可导致修剪图像高亮以形成均匀明亮区域，或“晕入”图像的周围区域。因此，指导用户设定适当的曝光是重要的。ISO感光速度旨在充当此指导。为了使摄影师更易了解，数字静态相机的ISO感光速度应直接相关于照相胶片相机的ISO感光速度。例如，若数字静态相机具有ISO 200的ISO感光速度，则相同曝光时间及孔径应适合用于经ISO感光200的胶片/处理系统。

该ISO感光速度旨在协调胶片ISO感光速度。然而，排除准确等效性的电子成像系统与基于胶片的成像系统之间存在差异。数字静态相机可包含可变增益，且可在已捕捉到图像数据之后提供数字处理，从而使得在相机曝光的范围内能实现色调重现。因此数字静态相机可能具有一感光速度范围。将此范围定义为ISO速度宽容度(latitude)。为防止混淆，将单一值指定为固有ISO感光速度，其中该ISO速度宽容度上限及下限指示该速度范围，即，包含不同于该固有ISO速度的有效感光速度的范围。有了此概念，该固有ISO速度是从在数字静态相机的焦平面上提供的曝光计算出的数值，用以产生指定相机输出信号特性。该固有速度通常是针对正常场景产生给定相机系统的峰值图像品质的曝光指数值，其中该曝光指数是与提供给图像传感器的曝光成反比的数值。

数码相机的先前描述将为本领域技术人员所熟悉。显然存在此实施例的许多变体，这些变体是可能的且被选择成降低成本，增加特征或改良相机的性能。以下描述将根据本发明详细揭示用于捕捉图像的相机的操作。虽然此描述相关于数字相机，但应了解本发明适于与具有具彩色及全色像素的图像传感器的任何类型的图像捕捉器件一起使用。

在图1所示的滤色片阵列图像传感器20通常包括在硅基板上制造的二维光敏像素阵列，这些光敏像素提供将在各像素上的入射光转换成所测量的电子信号的方法。当滤色片阵列图像传感器20被曝露于光时，自由电子产生且被捕捉到各像素处的电子结构内。捕捉这些自由电子持续某一时段，然后测量捕捉到的电子的数目，或测量产生自由电子的速率可测量在各像素处的光能级。在先前情况下，所累积的电荷从像素阵列中移出至如在电荷耦合器件(CCD)中的电荷-电压测量电路，或者接近各像素的区域可包含如在有源像素传感器(APS或CMOS传感器)中的电荷-电压测量电路的元件。

每当在以下描述中通指图像传感器时，应了解表示的是来自图1的滤色片阵列图像传感器20。应进一步了解在本说明书中揭示的本发明的图像传感器架构及像素图案的所有示例及其等效物是用于滤色片阵列图像传感器20。

在图像传感器的背景中，像素(“图像元素”的缩写)是指离散光感测区域及与该光感测区域相关联的电荷移动或电荷测量电路系统。在数字彩色图像的背景中，术语像素般指在具有相关联彩色值的图像中的特定位置。

图2是由Bayer在美国专利No.3,971,065中描述的公知滤色片阵列图案的最小重复单元的示例。在滤色片阵列传感器20(图1)的表面上重复最小重复单元，由此在各像素位置产生红色像素、绿色像素、或蓝色像素。由滤色片阵列传感器20(图1)产生的数据与图2的滤色片阵列图案可用于以本领域技术人员所知的许多方法产生全色图像。Adams等人在美国专利5,506,619描述一示例。

图3是本发明的较佳实施例的最小重复单元。它是具有沿着诸对角线之一的彩色像素及别处的全色像素的3×3正方形像素阵列。在图3中，用红色像素、绿色像素及蓝色像素填充彩色像素的对角线。在滤色片阵列传感器20(图1)的表面上重复图3的此最小重复单元，由此在各像素位置产生红色像素、绿色像素、蓝色像素、或全色像素。

图4显示本发明的替代实施例的最小重复单元。它是具有沿着诸对角线之一的彩色像素及别处的全色像素的4×4正方形像素阵列。在图4中，用绿色像素、红色像素、绿色像素及蓝色像素的顺序填充彩色像素的对角线。在滤色片阵列传感器20(图1)的表面上重复图4的此最小重复单元，由此在各像素位置产生红色像素、绿色像素、蓝色像素或全色像素。

可将本发明归纳为除分别在图3和4中显示的3×3图案及4×4图案之外的其他大小的CFA图案。在各情况下，这些像素将以具有具至少三行和三列的正方形最小重复单元的重复图案排列。该CFA图案中的这些彩色像素沿着最小重复单元的这些对角线之一排列，且所有其他像素都是全色像素。

可以各种图案排列沿着最小重复图案的对角线的彩色像素。对于诸如在图3中显示的存在三种类型的彩色像素及使用3×3最小重复单元的情况，这三种色彩的顺序是随意的。对于诸如在图4中显示的4×4最小重复单元的情况，将存在一种色彩的两个像素及其他两种色彩的每一种的一个像素。对于三种类型的彩色像素是红色、绿色及蓝色的情况，通常将希望具有如图4显示的一个红色像素、两个绿色像素及一个蓝色像素。在图4中显示的较佳4×4最小重复图案中，红色像素及蓝色像素交替地分离绿色像素。

在图4中显示的较佳4×4最小重复图案中，不存在沿着最小重复单元的对角线的全色像素。在一替代配置中，存在一个红色像素、一个绿色像素、一个蓝色像素及沿着最小重复单元的对角线的一个全色像素。

一般而言，需要沿着对角线排列这些彩色像素的位置，以最小化沿着CFA图案的对角线的相同色彩的彩色像素之间的最大距离。例如，在图4中，绿色像素之间的最大距离是两个像素(在对角线方向上)。通常此排列将为两个绿色像素彼此紧邻的配置所优选，这将导致绿色像素之间的最大距离为三个像素。

在图3及图4显示的示例CFA图案中的彩色像素是红色、绿色及蓝色。本领域技术人员应了解可根据本发明使用其他类型的彩色像素。例如，在本发明的替代实施例中，彩色像素可为青色、洋红及黄色。在本发明的另一实施例中，彩色像素可为青色、黄色及绿色。在本发明的又一实施例中，彩色像素可为青色、洋红、黄色及绿色。亦可使用许多其他类型的彩色像素及彩色像素的组合。

图5是根据本发明的较佳实施例的用于自产生于最小重复单元(诸如在图3或图4中显示的最小重复单元)的数据产生全色输出图像的算法的高级示图。图像传感器20(图1)产生滤色片阵列图像100。在滤色片阵列图像100中，如由这些最小重复单元(诸如在图3或图4中显示的最小重复单元)所判定的，各像素位置是红色、绿色、蓝色或全色像素。内插全色图像块102自滤色片阵列图像100产生经内插的全色图像104。产生色差块108自滤色片阵列图像100及经内插的全色图像104产生色差值110。内插色差图像块112自色差值110产生经内插的色差图像114。产生经内插彩色图像块106自经内插的全色图像104和经内插的色差图像114产生经内插的彩色图像120。最终，融合图像块118自经内插的全色图像104和经内插的彩色图像120产生全色输出图像116。

图6是在图3中显示的CFA图案的内插全色图像块104(图5)中使用的像素邻域的详细示图。在图6中，C₁、C₄、C₇、C_A及C_D是指来自滤色片阵列图像100(图5)的相同色彩值的彩色像素值。在图6中，C₇上方、下方、左侧及右侧存在两个相邻的全色像素值。为了产生经内插的全色值P’₇，执行以下计算：

h＝|P₆-P₅|+|P₈-P₆|+|P₉-P₈|+α|C₄-2C₇+C_A|

v＝|P₃-P₂|+|P_B-P₃|+|P_C-P_B|+α|C₁-2C₇+C_D|

H = \frac{- P_{5} + 4 P_{6} + 4 P_{8} - P_{9}}{6} + α \frac{- C_{4} + 2 C_{7} - C_{A}}{9}

V = \frac{- P_{2} + 4 P_{3} + 4 P_{B} - P_{C}}{6} + α \frac{- C_{1} + 2 C_{7} - C_{D}}{9}

{P_{7}}^{'} = \frac{h}{h + v} V + \frac{v}{h + v} H

在本发明的较佳实施例中α值是0。在本发明的替代实施例中，α值是1。对本领域技术人员将显而易见的是，亦可使用其他的α值。改变α值具有控制在判定经内插的全色值P’₇的过程中彩色像素值加权多少的效果。在滤色片阵列图像100(图5)的各彩色像素位置藉由内插全色图像块104(图5)重复这些计算以产生对应的经内插全色值P’₇。与初始全色值(在图6中的P₂、P₃、P₅、P₆、P₈、P₉、P_B P_C)组合的这些经内插全色值产生经内插的全色图像104(图5)。可将图3的较佳实施例的内插全色图像块104(图5)的细节归纳为适用于图4的替代实施例。在图4中，各彩色像素被左侧、右侧、上方及下方的三个全色像素分离开。可调整内插全色图像块104(图5)以容纳此不同的彩色像素间隔。在四个方向的每一个方向上，两个最靠近的全色像素可与离开中央彩色像素三个像素的彩色像素一起使用以产生如图6中的像素邻域。那时可如先前描述般地应用内插全色图像块104。

图7是在图3中显示的CFA图案的较佳实施例的内插色差图像块112(图5)中使用的像素邻域的详细示图。在图7中，对于给定色彩(例如，红色、绿色或蓝色)，D₀、D₃、D_C及D_F是由产生色差块108(图5)产生的色差值110(图5)。作为一示例，现描述红色色差的内插。D₀、D₃、D_C及D_F的位置对应于滤色片阵列图像100(图5)中的红色像素。如下计算D₀、D₃、D_C及D_F的值：

D_{0} = R_{0} - P_{0}^{'}

D_{3} = R_{3} - P_{3}^{'}

D_{C} = R_{C} - P_{C}^{'}

D_{F} = R_{F} - P_{F}^{'}

在这些计算中，R指来自滤色片阵列图像100(图5)的初始红色像素值，而P′指来自经内插全色图像104(图5)的对应的经内插全色值。下标对应于如图7所示的像素位置。内插色差图像块112(图5)在无现有色差值D的情况下在图7中的像素位置处产生经内插色差值D′。彩差值D₀、D₃、D_C及D_F的标准双线性内插产生经内插的色差值D′。以下方程显示可用来判定经内插色差值D′的显式计算：

D_{1}^{'} = (2 D_{0} + D_{3}) / 3

D_{2}^{'} = (D_{0} + 2 D_{3}) / 3

D_{4}^{'} = (2 D_{0} + D_{C}) / 3

D_{5}^{'} = (4 D_{0} + 2 D_{3} + 2 D_{C} + D_{F}) / 9

D_{6}^{'} = (2 D_{0} + 4 D_{3} + D_{C} + 2 D_{F}) / 9

D_{7}^{'} = (2 D_{3} + D_{F}) / 3

D_{8}^{'} = (D_{0} + 2 D_{C}) / 3

D_{9}^{'} = (2 D_{0} + D_{3} + 4 D_{C} + 2 D_{F}) / 9

D_{A}^{'} = (D_{0} + 2 D_{3} + 2 D_{C} + 4 D_{F}) / 9

D_{B}^{'} = (D_{3} + 2 D_{F}) / 3

D_{D}^{'} = ({2 D}_{C} + D_{F}) / 3

D_{E}^{'} = (D_{C} + 2 D_{F}) / 3

与这些色彩值(D₀、D₃、D_C及D_F)组合的经内插色差值组成经内插的色差图像114(图5)。

产生经内插彩色图像块106(图5)自经内插色差值D′及对应的初始或经内插全色值产生经内插色彩值R′。再次参考图7，执行以下计算：

R_{1}^{'} = D_{1}^{'} + P_{1}

R_{2}^{'} = D_{2}^{'} + P_{2}

R_{4}^{'} = D_{4}^{'} + P_{4}

R_{5}^{'} = D_{5}^{'} + P_{5}^{'}

R_{6}^{'} = D_{6}^{'} + P_{6}

R_{7}^{'} = D_{7}^{'} + P_{7}

R_{8}^{'} = D_{8}^{'} + P_{8}

R_{9}^{'} = D_{9}^{'} + P_{9}

R_{A}^{'} = D_{A}^{'} + P_{A}^{'}

R_{B}^{'} = D_{B}^{'} + P_{B}

R_{D}^{'} = D_{D}^{'} + P_{D}

R_{E}^{'} = D_{E}^{'} + P_{E}

初始色彩值R与经内插色彩值R′一起产生经内插彩色图像120(图5)的红色值。对于绿色及蓝色像素值，重复操作的先前设定以完成经内插色彩图像120(图5)的产生。

图8是在图4的替代实施例中显示的CFA图案的经内插色差图像块112(图5)中使用的像素邻域的详细示图。在图8中，D₀、D₄、D₈及D_C是由产生色差块108(图5)产生的绿色色差值110(图5)。D₀、D₄、D₈及D_C的位置对应于滤色片阵列图像100(图5)中的绿色像素。如下计算D₀、D₄、D₈及D_C的值：

D_{0} = G_{0} - P_{0}^{'}

D_{4} = G_{4} - P_{4}^{'}

D_{8} = G_{8} - P_{8}^{'}

D_{C} = G_{C} - P_{C}^{'}

在这些计算中，G指来自滤色片阵列图像100(图5)的初始绿色像素值，且P′指来自经内插全色图像104(图5)的对应的经内插全色值。参考图8，内插色差图像块112(图5)在无现有色差值D的情况下在这些像素位置产生经内插色差值D′。色差值D₀、D₄、D₈及D_C的标准双线性内插根据以下显式计算产生经内插色差值D′：

D_{1}^{'} = (D_{0} + D_{4}) / 2

D_{2}^{'} = (9 D_{0} + 3 D_{4} + 3 D_{8} + D_{C}) / 16

D_{3}^{'} = (D_{0} + D_{8}) / 2

D_{5}^{'} = (3 D_{0} + 9 D_{4} + D_{8} + {3 D}_{C}) / 16

D_{6}^{'} = (D_{0} + D_{4} + D_{8} + D_{C}) / 4

D_{7}^{'} = (3 D_{0} + D_{4} + 9 D_{8} + {3 D}_{C}) / 16

D_{9}^{'} = (D_{4} + D_{C}) / 2

D_{A}^{'} = (D_{0} + 3 D_{4} + 3 D_{8} + {9 D}_{C}) / 16

D_{B}^{'} = (D_{8} + D_{C}) / 2

经内插色差值与色彩值(D₀、D₄、D₈及D_C)一起组成经内插的色差图像114(图5)。产生经内插色彩图像块106(图5)自经内插色差值D′及对应的初始或经内插全色值产生经内插色彩值G′。再次参考图8，执行以下计算：

G_{1}^{'} = D_{1}^{'} + P_{1}

G_{2}^{'} = D_{2}^{'} + P_{2}

G_{3}^{'} = D_{3}^{'} + P_{3}^{'}

G_{5}^{'} = D_{5}^{'} + P_{5}

G_{6}^{'} = D_{6}^{'} + P_{6}

G_{7}^{'} = D_{7}^{'} + P_{7}

G_{9}^{'} = D_{9}^{'} + P_{9}^{'}

G_{A}^{'} = D_{A}^{'} + P_{A}

G_{B}^{'} = D_{B}^{'} + P_{B}

初始色彩值G及经内插色彩值G′组成经内插的彩色图像120(图5)的绿色值。

图9是在图4的替代CFA图案实施例的内插色差图像块112(图5)中用来内插红色及蓝色色差值的像素邻域的详细示图。在图8中，D₀、D₄、D_K及D_P是由产生色差块108(图5)所产生的红色或蓝色色差值110(图5)。D₀、D₄、D_K及D_P的位置对应于滤色片阵列图像100(图5)中的红色或蓝色像素。作为一示例，现描述红色色差的内插。如下计算D₀、D₄、D_K及D_P的值：

D_{0} = R_{0} - P_{0}^{'}

D_{4} = R_{4} - P_{4}^{'}

D_{K} = R_{K} - P_{K}^{'}

D_{P} = R_{P} - P_{P}^{'}

在这些计算中，R指来自滤色片阵列图像100(图5)的初始红色像素值，而P′指来自内插全色图像104(图5)的对应的经内插全色值。

参考图9，内插色差图像块112(图5)在无现有色差值D的情况下，在像素位置产生经内插色差值D′。色差值D₀、D₄、D_K及D_P的标准双线性内插产生经内插的色差值D′。显式计算如下：

D_{1}^{'} = (3 D_{0} + D_{4}) / 4

D_{2}^{'} = (D_{0} + D_{4}) / 2

D_{3}^{'} = (D_{0} + {3 D}_{4}) / 4

D_{5}^{'} = (3 D_{0} + D_{K}) / 4

D_{6}^{'} = (9 D_{0} + 3 D_{4} + 3 D_{K} + D_{P}) / 16

D_{7}^{'} = (3 D_{0} + 3 D_{4} + D_{K} + D_{P}) / 8

D_{8}^{'} = (3 D_{0} + 9 D_{4} + D_{K} + {3 D}_{P}) / 16

D_{9}^{'} = (3 D_{4} + D_{P}) / 4

D_{A}^{'} = (D_{0} + D_{K}) / 2

D_{B}^{'} = (3 D_{0} + D_{4} + 3 D_{K} + D_{P}) / 8

D_{C}^{'} = (D_{0} + D_{4} + D_{K} + D_{P}) / 4

D_{D}^{'} = (D_{0} + 3 D_{4} + D_{K} + 3 D_{P}) / 8

D_{E}^{'} = (D_{4} + D_{P}) / 2

D_{F}^{'} = (D_{0} + 3 D_{K}) / 4

D_{G}^{'} = (3 D_{0} + D_{4} + 9 D_{K} + 3 D_{P}) / 16

D_{H}^{'} = (D_{0} + D_{4} + 3 D_{K} + 3 D_{P}) / 8

D_{I}^{'} = (D_{0} + 3 D_{4} + 3 D_{K} + 9 D_{P}) / 16

D_{J}^{'} = (D_{4} + 3 D_{P}) / 4

D_{L}^{'} = (3 D_{K} + D_{P}) / 4

D_{M}^{'} = (D_{K} + D_{P}) / 2

D_{N}^{'} = (D_{K} + 3 D_{P}) / 4

经内插色差值与色彩值(D₀、D₄、D_K及D_P)组成经内插的色差图像114(图5)。

产生经内插彩色图像块106(图5)自这些经内插的色差值D′及对应的初始或经内插的全色值产生经内插色彩值R′。再次参考图9，执行以下计算：

R_{1}^{'} = D_{1}^{'} + P_{1}

R_{2}^{'} = D_{2}^{'} + P_{2}

R_{3}^{'} = D_{3}^{'} + P_{3}

R_{5}^{'} = D_{5}^{'} + P_{5}

R_{6}^{'} = D_{6}^{'} + P_{6}^{'}

R_{7}^{'} = D_{7}^{'} + P_{7}

R_{8}^{'} = D_{8}^{'} + P_{8}

R_{9}^{'} = D_{9}^{'} + P_{9}

R_{A}^{'} = D_{A}^{'} + P_{A}

R_{B}^{'} = D_{B}^{'} + P_{B}

R_{C}^{'} = D_{C}^{'} + P_{C}^{'}

R_{D}^{'} = D_{D}^{'} + P_{D}

R_{E}^{'} = D_{E}^{'} + P_{E}

R_{F}^{'} = D_{F}^{'} + P_{F}

R_{G}^{'} = D_{G}^{'} + P_{G}

R_{H}^{'} = D_{H}^{'} + P_{H}

R_{I}^{'} = D_{I}^{'} + P_{I}^{'}

R_{J}^{'} = D_{J}^{'} + P_{J}

R_{L}^{'} = D_{L}^{'} + P_{L}

R_{M}^{'} = D_{M}^{'} + P_{M}

R_{N}^{'} = D_{N}^{'} + P_{N}

初始色彩值R与经内插色彩值R′一起组成经内插的彩色图像120(图5)的红色值。对于蓝色像素值重复操作的先前设定以完成经内插彩色图像120(图5)的产生。

图10是融合图像块118(图5)的较佳实施例的框图。低通滤光器块204自内插彩色图像120(图5)产生低频彩色图像206。高通滤光器块200自经内插的全色图像104(图5)产生高频全色图像202。最终，合并图像块208藉由组合低频彩色图像206与高频全色图像202产生全色输出图像116(图5)。

低通滤光器块204使用低通滤光器执行经内插彩色图像120(图5)的卷积。在本发明的较佳实施例中，使用以下卷积核：

g = \frac{1}{16} (\begin{matrix} 1 & 2 & 1 \\ 2 & 4 & 2 \\ 1 & 2 & 1 \end{matrix})

在数学上，C_L＝C*g，其中C是经内插的彩色图像120(图5)，C_L是低频彩色图像206，且“*”代表卷积算子。对于本领域技术人员将清楚的是可根据本发明使用其他卷积核。

高通滤光器块200使用高通滤光器执行经内插的全色图像104(图5)的卷积。在本发明的较佳实施例中，使用以下卷积核：

h = \frac{1}{16} (\begin{matrix} - 1 & - 2 & - 1 \\ - 2 & 12 & - 2 \\ - 1 & - 2 & - 1 \end{matrix})

在数学上，P_H＝P*h，其中P是经内插的全色图像104(图5)，且P_H是高频全色图像202。对于本领域技术人员将清楚的是可根据本发明使用其他卷积核。

合并图像块208将高频全色图像202与低频彩色图像206组合在一起以产生全色输出图像116(图5)。在本发明的较佳实施例中，这藉由简单地将高频全色图像202及低频彩色图像206相加来完成。在数学上，C′＝C_L+P_H，其中C′是全色输出图像116(图5)且其他术语如先前所定义。

图11是融合图像块118(图5)的替代实施例的框图。金字塔分解块300自经内插的全色图像104(图5)产生全色图像金字塔302。金字塔分解块304自经内插的彩色图像120(图5)产生彩色图像金字塔306。经合并金字塔重构块308藉由组合全色图像金字塔302与彩色图像金字塔306产生全色输出图像116(图5)。金字塔分解块300藉由一种将为本领域技术人员所知的方法产生标准的高斯-拉普拉斯(Gaussian-Laplacian)图像金字塔。简单地说，执行以下计算：

\begin{matrix} P_{1} = (P_{0} * g) &DownArrow; 2 \\ P_{2} = (P_{1} * g) &DownArrow; 2 \\ . \\ . \\ . \\ P_{N} = (P_{N - 1} * g) &DownArrow; 2 \end{matrix}

\begin{matrix} Q_{1} = P_{0} - (P_{1} &UpArrow; 2) \\ Q_{2} = P_{1} - (P_{2} &UpArrow; 2) \\ . \\ . \\ . \\ Q_{N} = P_{N - 1} - (P_{N} &UpArrow; 2) \end{matrix}

P₀是经内插的全色图像104(图5)。P₀以先前所述的低通滤光器卷积核g卷积。对卷积运算的结果水平地及垂直地(↓2)下采样因数2。下采样的结果是P₁，其是全色图像金字塔302的对应高斯金字塔的第一层级分量。此过程继续产生P₂至P_N(其中N是所需的金字塔层级数目)。在本发明的一实施例中，N＝4。

Q₁是全色图像金字塔302的对应拉普拉斯金字塔的第一层级分量。它藉由获得高斯金字塔的第一层级分量P₁，对P₁水平地及垂直地(↑2)上采样因数2，且接着自经内插全色图像104(图5)减去该结果来计算。可以本领域技术人员所知的任何方式执行上采样运算。在本发明的一个实施例中，使用公知的双线性内插执行上采样。继续此过程以产生Q₂-Q_N。一起获得的金字塔分量{P₁、…、P_N、Q₁、…、Q_N}组成全色图像金字塔302。

以与金字塔分解块300相同的方式执行金字塔分解块304，除了单独地处理经内插彩色图像120(图5)的各色彩以产生红色、绿色及蓝色金字塔，所获得的这些红色、绿色及蓝色金字塔一起组成彩色图像金字塔306。为了建立标记，藉由金字塔分解块304所执行的计算如下：

\begin{matrix} C_{1} = (C_{0} * g) &DownArrow; 2 \\ C_{2} = (C_{1} * g) &DownArrow; 2 \\ . \\ . \\ . \\ C_{N} = (C_{N - 1} * g) &DownArrow; 2 \end{matrix}

\begin{matrix} H_{1} = C_{0} - (C_{1} &UpArrow; 2) \\ H_{2} = C_{1} - (C_{2} &UpArrow; 2) \\ . \\ . \\ . \\ H_{N} = C_{N - 1} - (C_{N} &UpArrow; 2) \end{matrix}

金字塔分量{C₁，…，C_N}一起组成彩色高斯金字塔，而金字塔分量{H₁，…，H_N}一起组成彩色拉普拉斯金字塔。

经合并金字塔重构块308执行将作为本领域技术人员所知的标准高斯-拉普拉斯金字塔重构的变体的以下计算：

在三种计算的每一组中，将高斯彩色金字塔分量C或经合并的高斯彩色金字塔分量C″上采样因数2且将C或C″加至拉普拉斯彩色金字塔分量H。接着将高斯全色金字塔分量P或P′上采样因数2，且将P或P′加至拉普拉斯全色金字塔分量Q。所得高斯彩色金字塔分量C′以先前描述的低通卷积核g卷积，所得高斯全色金字塔分量P′以先前描述的高通卷积核心h卷积，且结果相加以产生经合并的高斯彩色金字塔分量C″。重复这些计算直至产生全色输出图像116(图5)C″₀。

可在多种用户背景及环境中利用如在本发明的较佳实施例中揭示的用于计算全色输出图像的算法。示例性背景及环境包含(无限制)：相机内处理(读取传感器图像、数字处理、将经处理的图像保存在数字介质上)、批量数字照片洗印(其涉及诸如对批量实现提交数字图像、数字处理及数字打印的示例性处理步骤或阶段)、零散数字照片洗印(对零散实现提交数字图像、数字处理、及数字打印)、家庭打印(输入家庭数字图像、数字处理以及在家庭打印机上打印)、桌上型软件(使算法应用于数字图像以使其更好或甚至仅为了改变其的软件)、数字实现(从介质或经由网页输入数字图像、数字处理、输出介质上的数字图像、因特网上的数字形式)、独立式终端机服务台(输入数字图像、数字处理、数字打印或输出数字介质)、移动设备(例如，可用作为处理单元、显示单元或给予处理指令的单元的PDA或蜂窝电话)以及作为经由万维网所提供的服务。

在各种情况下，用于计算全色输出图像的算法可独立或可作为更大系统解决方案的组件。此外，具有该算法(例如，输入、数字处理、对用户的显示(若需要)、用户请求或处理指令的输入(若需要)及输出)的各接口可在相同或不同设备及实体位置上，且可经由公共的或专用的网络连接或基于介质的通信而进行这些设备与位置之间的通信。在与本发明先前揭示的内容一致的情况下，这些算法本身可以是完全自动的、可具有用户输入(亦即，其可以是完全或部分手动的)、可使用户或操作者查看以接受/拒绝结果，或可由元数据协助(元数据可以是用户提供的，可由测量器件提供(例如，在相机内)或由算法判定)。此外，这些算法可为多种工作流程用户接口方案建立连接。

本文根据本发明揭示的全色输出图像算法的计算可具有利用各种数据检测及缩减技术(例如，面部检测、眼睛检测、皮肤检测、闪存检测)的内部分量。

已特别参考本发明的某些较佳实施例详细地描述了本发明，但应了解在本发明的精神及范畴之内可实现变更及修改。

部件列表

10来自主体场景的光

11成像台

12透镜

13中性密度(ND)滤光器块

14光圈块

16亮度传感器块

18快门

20滤色片阵列图像传感器

22模拟信号处理器

24模数(A/D)转换器

26时序产生器

28图像传感器台

30总线

32数字信号处理器(DSP)存储器

36数字信号处理器(DSP)

38处理阶段

40曝光控制器

50系统控制器

52系统控制器总线

54程序存储器

56系统存储器

57主机接口

60存储卡接口

62存储卡插座

64存储卡

68用户接口

70取景器显示器

72曝光显示器

74用户输入

76状态显示器

80视频编码器

82显示控制器

88图像显示器

100滤色片阵列图像

102内插全色图像块

104经内插的全色图像

106产生经内插彩色图像块

108产生色差块

110色差值

112内插色差图像块

114经内插的色差图像

116全色输出图像

118融合图像块

120经内插的彩色图像

200高通滤光器块

202高频全色图像

204低通滤光器块

206低频彩色图像

208合并图像块

300金字塔分解块

302全色图像金字塔

304金字塔分解块

306彩色图像金字塔

308经合并金字塔重构块

Claims

1.一种用于捕捉彩色图像的图像传感器，包括：

二维光敏像素阵列，所述光敏像素包含全色像素及具有至少两种不同色彩响应的彩色像素，

所述像素是以多个相同的正方形最小重复单元排列，所述多个相同的正方形最小重复单元中的每一个具有至少三行和三列，所述彩色像素沿着相同的正方形最小重复单元的诸对角线之一排列，且相同的正方形最小重复单元内的所有其他像素都是全色像素，

其中所述二维光敏像素阵列是通过将所述多个相同的正方形最小重复单元中的每一个彼此相邻地放置来形成的。

2.如权利要求1所述的图像传感器，其特征在于，所述彩色像素是红色、绿色及蓝色像素。

3.如权利要求1所述的图像传感器，其特征在于，所述彩色像素是青色、洋红及黄色像素。

4.如权利要求1所述的图像传感器，其特征在于，所述相同的正方形最小重复单元具有三行和三列，且其中所述相同的正方形最小重复单元的对角线之一具有一个红色像素、一个绿色像素及一个蓝色像素。

5.如权利要求1所述的图像传感器，其特征在于，所述相同的正方形最小重复单元具有四行及四列，且其中所述相同的正方形最小重复单元的对角线之一具有一个红色像素、两个绿色像素及一个蓝色像素。

6.如权利要求5所述的图像传感器，其特征在于，所述两个绿色像素被红色像素或蓝色像素分离开。

7.如权利要求1所述的图像传感器，其特征在于，沿着对角线的彩色像素的位置被排列成使相同色彩的彩色像素之间的最大距离最小化。

8.如权利要求1所述的图像传感器，其特征在于，在包含彩色像素的所述相同的正方形最小重复单元的对角线上不存在全色像素。