WO2007013250A1

WO2007013250A1 - 複眼方式の撮像装置

Info

Publication number: WO2007013250A1
Application number: PCT/JP2006/312773
Authority: WO
Inventors: Taku Hirasawa; Ichiro Oyama; Tomokuni Iijima; Michiyoshi Nagashima
Original assignee: Matsushita Electric Industrial Co., Ltd.
Priority date: 2005-07-26
Filing date: 2006-06-27
Publication date: 2007-02-01
Also published as: CN101533202B; CN101228781A; CN100579185C; US20090127430A1; JP2009225454A; JP4903241B2; CN101533202A; JP4903705B2; JPWO2007013250A1; EP1912434A1; US7718940B2

Abstract

　複数の撮影光学レンズ(301a～301c)が複数の撮像領域(302a～302c)上に複数の被写体像をそれぞれ結像する。光軸に平行な方向に沿って見たとき少なくとも一対の撮影光学レンズが結像した少なくとも一対の被写体像のそれぞれにおける互いに対応する点を結ぶ少なくとも一本の直線は撮像領域の画素の配列方向に対して傾斜している。これにより、被写体距離によらず常に高解像度画像を得ることができる。

Description

明細書

複眼方式の撮像装置

技術分野

[0001] 本発明は、略同一平面上に配置された複数の撮影光学レンズによって画像を撮像する複眼方式の撮像装置に関する。

背景技術

[0002] 携帯機器に用いられる撮像装置には、高解像度化と小型化の両立が必要とされている。小型化するためには、撮影光学レンズの大きさや焦点距離、撮像素子の大きさが障害となることが多い。

[0003] 一般的に、材料の屈折率は光の波長に依存するため、全波長帯域の情報が含まれる被写体からの光を単レンズで撮像面に結像することは困難である。その為、通常の撮像装置の光学系では、赤、緑、青の各波長の光を同一の撮像面に結像するため、光軸方向に複数のレンズが配置されている。このため、光学系が長くなり、撮像装置が厚くなる。

[0004] そこで、撮像装置の小型化、特に薄型化に有効な技術として、焦点距離が短!、複数の単レンズを略同一平面上に配置した複眼方式の撮像装置が提案されている (たとえば、特開 2002— 204462号公報参照)。複眼方式のカラー画像撮像装置は、青色の波長の光を受け持つレンズ、緑色の波長の光を受け持つレンズ、及び赤色の波長の光を受け持つレンズを同一平面上に並べた光学系と、それぞれのレンズに対応した撮像素子とを備える。各レンズが受け持つ光の波長範囲が限定されるため、単レンズにより被写体像を撮像素子上に結像することが可能となる。従って、撮像装置の厚さを大幅に小さく出来る。

[0005] 図 15に複眼方式の撮像装置の一例の斜視図を示す。 900は、一体成型された 3 つのレンズ 901a、 901b, 901cを含むレンズアレイである。レンズ 901aは、赤色の波長の光を受け持ち、撮像領域 902aに被写体像を結像する。撮像領域 902aの画素（受光部）には赤色の波長分離フィルター (カラーフィルター）が貼り付けられており、撮像領域 902aは結像された赤色の被写体像を画像情報に変換する。同様に、レンズ 901bは、緑色の波長の光を受け持ち、撮像領域 902bに被写体像を結像する。撮像領域 902bの画素（受光部）には緑色の波長分離フィルター (カラーフィルター）が貼り付けられており、撮像領域 902bは結像された緑色の被写体像を画像情報に変換する。また、レンズ 901cは、青色の波長の光を受け持ち、撮像領域 902cに被写体像を結像する。撮像領域 902cの画素 (受光部）には青色の波長分離フィルター（カラーフィルター）が貼り付けられており、撮像領域 902cは結像された青色の被写体像を画像情報に変換する。撮像領域 902a, 902b, 902cから出力された画像情報を重ね合わせて合成することにより、カラー画像情報を取得することができる。

このような複眼方式の撮像装置によれば撮像装置の厚さを薄くすることができるが、通常の単眼方式の撮像装置に比べて解像度が劣るという問題がある。単眼方式の撮像装置では、結像面に配置された多数の画素 (受光部)を有する撮像素子が入射した光を画像情報に変換する。各位置における色情報を取り出すために、各画素には波長分離フィルター (カラーフィルター）がべィヤー配列で設けられている。すなわち、縦横方向に配置された多数の画素の配置に対応して、緑色光を透過させる波長分離フィルターが市松模様に配置され、残りの画素に赤色光及び青色光をそれぞれ透過させる波長分離フィルターが交互に配置される。各画素からは、そこに設けられた波長分離フィルターを透過した光の波長帯域に対応した色情報のみが得られ、波長分離フィルターを透過しない光の波長帯域に対応した色情報を得ることができない。し力しながら、画像の局所領域では 3色の色情報間に相関性があることが知られており（たとえば、小寺宏曄、他 2名、「色信号の相関を利用した単色画像からのフルカラー画像の表示方式」、昭和 63年度画像電子学会全国大会予稿 20、 p. 83 - 86 (1988)参照）、赤や青の色情報から緑の色情報を推測することができる。この特性を利用し、波長分離フィルターがペイヤー配列された撮像素子では、不足している色情報の補間処理が行われる。したがって、画素の数と同じ画素数の解像度のカラー画像を得ることができる。たとえば、 100万個の画素を持つ撮像素子では、 50万個の画素が緑色の色情報を検出し、 25万個の画素が青色の色情報を検出し、 25万個の画素が赤色の色情報を検出するが、上記の補間処理により、赤、緑、青のいずれの色についても 100万画素の解像度の色情報を得ることができる。 [0007] しかし、複眼方式の撮像装置では、各色に対応する各撮像領域が赤、緑、青の、ずれかの色情報を取得するため、各撮像領域が有する画素の数と同じ画素数のカラ一画像が得られる。たとえば、赤、緑、青の各色情報を 25万個の画素を有する 3つの撮像領域で取得する場合、合計 75万個の画素が必要となるが、重ね合わせて得られるカラー画像の解像度は 25万画素となる。

[0008] 画像の解像度を向上させる方法として、光学系と撮像素子との相対的位置関係を時間的ずらしたり、プリズムを用いて光束を複数に分離して複数の撮像素子に入射させたりすることにより、被写体像と画素との位置関係が相互にずれた複数の画像情報を取得し、これら複数の画像情報を合成することにより高解像度の画像を取得する「画素ずらし」と呼ばれる技術が知られている（例えば、特開平 10— 304235号公報参照)。この場合のずらし量は、ずらす方向と取得する画像情報の数により最適な値が決まる。たとえば、 2つの画像情報を合成する場合は、被写体像と画素との相対的位置関係が画素の配置ピッチ（以下、「画素ピッチ」と、う）の半分の奇数倍だけ 2つの画像情報間でずれていると、もっとも高解像度の画像を得ることができる。この技術は、レンズにより結像された被写体像と撮像素子の画素との相対的位置関係が互いにずれた複数の画像情報が得られれば利用可能であり、ずらす方法にはよらない。本発明では、被写体像と撮像素子の画素との相対的位置関係が互いにずれた複数の画像情報を取得でき、この複数の画像情報を合成して高解像度の画像を得ることができるような、被写体像と撮像素子の画素との相対的位置関係を「画素ずらし配置」という。

[0009] 複眼方式の撮像装置にお!、ても、複数の画像情報間で被写体像と画素との相対的位置関係がずれていれば、すなわち画素ずらし配置を実現できれば、高解像度の画像を得ることができる。

[0010] たとえば、特開 2002— 209226号公報〖こは、複数のレンズで複数の被写体像を複数の撮像領域上にそれぞれ結像させる複眼方式の撮像装置にぉヽて、各被写体像力 Sレンズの光軸を結ぶ方向にずれて結像されて画素ずらし配置が実現されるように、複数のレンズと複数の撮像素子とを配置することにより、高解像度画像を得ることが記載されている。 [0011] また、複眼方式の撮像装置では、複数のレンズの各光軸が互いに異なることにより生じる視差を用いて被写体までの距離を測定することができる。

発明の開示

発明が解決しょうとする課題

[0012] し力しながら、画素ずらし技術により高解像度画像を得るためには、被写体像と画素との相対的位置関係が常に画素ずらし配置である必要がある。図 16Aは、複眼方式の撮像装置にぉヽて、複数のレンズと被写体と被写体像との位置関係を示した側面図、図 16Bはその平面図である。図 16Aは、複数のレンズの光軸を含む面と直交する方向に沿って見た状態を示し、図 16Bはレンズの光軸と平行な方向に沿って見た状態を示す。 200a、 200bはレンズ 201a、 201bの光軸であり、 202a、 202bは光軸が撮像領域 203と交わる位置である。光軸 200a上にある被写体 204は、レンズ 20 la、 201bにより、被写体像 205a、 205bとして結像される。複眼方式の撮像装置におヽて ίま、レンズ 201a、 201bの光軸 200a、 200b力 ^異なるため、レンズ 201a、 201 bから被写体 204までの距離が変わると、被写体像 205bの位置は撮像領域 203上で、交点 202aと交点 202bとを結ぶ直線 206上を移動する。この現象は「視差」と呼ばれる。被写体像 205bの交点 202bからのずれ量 Sは、被写体距離（レンズ 201aから被写体 204までの距離)を A、光軸 200a、 200b間の距離を d、結像距離を fとすると、次式で表される。

[0013] [数 1] s = l^

A

[0014] このように、直線 206の方向における被写体像 205bと画素との相対的位置関係は、被写体距離 Aに応じて変化する。したがって、直線 206方向における被写体像のずれ量 Sを画素ピッチに対して所定の関係に設定した場合には、被写体距離 Aによつて解像度が変化し、常に高解像度画像を得ることができな、と、う問題がある。

[0015] 本発明は、被写体距離によらず常に高解像度画像を得ることができる複眼方式の撮像装置を提供することを目的とする。

課題を解決するための手段

[0016] 本発明の複眼方式の撮像装置は、略同一平面上に配置された複数の撮影光学レンズと、それぞれが前記複数の撮影光学レンズの各光軸に対して直交する面内に配置された多数の画素を有し、前記複数の撮影光学レンズがそれぞれ結像した複数の被写体像を複数の画像情報に変換する複数の撮像領域とを備える。

[0017] そして、前記光軸に平行な方向に沿って見たとき少なくとも一対の前記撮影光学レンズが結像した少なくとも一対の被写体像のそれぞれにおける互いに対応する点を結ぶ少なくとも一本の直線が前記画素の配列方向に対して傾斜して、ることを特徴とする。

発明の効果

[0018] 本発明によれば、画素の配列方向に対して垂直な方向において画素ずらし配置を実現することができる。この画素ずらし配置の関係は、被写体距離にほとんど影響を受けない。従って、被写体距離によらず常に高解像度画像を得ることができる。図面の簡単な説明

[0019] [図 1]図 1は、本発明の実施の形態 1に係る複眼方式の撮像装置の概略構成を示した斜視図である。

[図 2]図 2は、本発明の実施の形態 1に係る撮像装置において、レンズの光軸と撮像領域の画素との位置関係を示した平面図である。

[図 3]図 3は、本発明の実施の形態 1に係る撮像装置において、画像情報の合成を説明するための平面図である。

[図 4]図 4は、遠、被写体を撮像したときの画像情報の合成を示した平面図である。

[図 5]図 5は、近、被写体を撮像したときの画像情報の合成を示した平面図である。

[図 6A]図 6Aは、本発明の実施例 1の撮像装置の平面図である。

[図 6B]図 6Bは、図 6Aの 6B— 6B線での矢視断面図である。

[図 7A]図 7Aは、本発明の実施の形態 1に係る撮像装置のレンズの配置を示した平面図である。

[図 7B]図 7Bは、本発明の実施の形態 2に係る撮像装置のレンズの配置を示した平面図である。

[図 8A]図 8Aは、本発明の実施例 2の撮像装置の平面図である。

[図 8B]図 8Bは、図 8Aの 8B— 8B線での矢視断面図である。

[図 9A]図⁹ Aは、本発明の実施例²の撮像装置のレンズアレイを構成するレンズ配置を示した平面図である。

[図 9B]図 9Bは、本発明の実施例 2の撮像装置において、図 9Aの状態からレンズァレイを回転させた状態でのレンズ配置を示した平面図である。

[図 10A]図 10Aは、本発明の実施例 3の撮像装置の平面図である。

[図 10B]図 10Bは、図 10Aの 10B— 10B線での矢視断面図である。

[図 11A]図 11Aは、本発明の実施例 4の撮像装置の平面図である。

[図 11B]図 11Bは、図 11Aの 11B—11B線での矢視断面図である。

圆 12A]図 12Aは、本発明の実施例 4の撮像装置において、一方の撮像領域上に設けられたカラーフィルターの配置を示した平面図である。

圆 12B]図 12Bは、本発明の実施例 4の撮像装置において、他方の撮像領域上に設けられたカラーフィルターの配置を示した平面図である。

圆 13A]図 13Aは、本発明の実施例 4の撮像装置において、一方の撮像領域上に設けられたカラーフィルターの別の配置を示した平面図である。

圆 13B]図 13Bは、本発明の実施例 4の撮像装置において、他方の撮像領域上に設けられたカラーフィルターの別の配置を示した平面図である。

圆 14A]図 14Aは、本発明の実施例 4の撮像装置において、一方の撮像領域上に設けられたカラーフィルターの更に別の配置を示した平面図である。

圆 14B]図 14Bは、本発明の実施例 4の撮像装置において、他方の撮像領域上に設けられたカラーフィルターの更に別の配置を示した平面図である。

[図 15]図 15は、従来の複眼方式の撮像装置の一例の概略構成を示した斜視図である。

圆 16A]図 16Aは、複眼方式の撮像装置において、複数のレンズと被写体と被写体像との位置関係を示した側面図である。

[図 16B]図 16Bは、複眼方式の撮像装置において、複数のレンズの光軸と被写体像との位置関係を示した平面図である。

発明を実施するための最良の形態

[0020] 本発明において、「画素の配列方向」とは、以下のようにして求められる。多数の画素が配置された平面に含まれる互いに平行な複数の第 1直線及び互いに平行な複数の第 2直線を想定する。この複数の第 1直線と複数の第 2直線とが交差する複数の交点上に前記多数の画素の全てが配置されるように、複数の第 1直線及び複数の第 2直線の各傾きを設定する。このようにして設定された複数の第 1直線及び複数の第 2直線にそれぞれ平行な第 1方向及び第 2方向が「画素の配列方向」である。

[0021] また、本発明において、一対の撮影光学レンズの一対の光軸を結ぶ直線との関係において着目する「画素の配列方向」とは、上記の第 1方向及び第 2方向のうち、前記一対の光軸を結ぶ直線となす角度（90° 未満）がより小さい方の方向を意味する

[0022] 更に、本発明において、直線が画素の配列方向に対して「傾斜している」とは、直線と画素の配列方向とが、平行でなぐ 90度以外の角度で交差することを意味する。

[0023] 本発明では、一対の撮影光学レンズが結像した一対の被写体像が画素の配列方向と垂直な方向にぉ、て画素ずらし配置の関係で結像されるので、被写体までの距離によらず常に画素ずらし配置を実現できる。即ち、レンズの光軸に平行な方向に沿つて見たとき、一対の撮影光学レンズの一対の光軸を結ぶ直線と画素の配列方向とがなす角度 Θを調整することによって、この一対の光軸を結ぶ直線に対して角度 Θ をなす画素の配列方向に対して直角方向（以下、「画素ずらし方向」と!、う）にお！/、て画素ずらし配置を実現する。

[0024] 複数の撮像領域から得た複数の画像情報を合成する場合に、最も高解像度の画像が得られるのは、一対の撮影光学レンズの光軸間隔を d、前記画素の配列方向と垂直な方向の前記画素の配置ピッチを p、正の整数を nとしたとき、

(2n- l) X p/2 = d X sin 0

を満足するときである。

[0025] 実際にこの等式を完全に満足する撮像装置を製造することは、製造上のばらつきにより困難である。この等式を実質的に満足していれば、画素ずらしによる効果が得られる。すなわち、不等式、

(2n- l) X p/2-p/4< d X sin 0 < (2n— 1) X p/2+p/4

を満足すれば、画素ずらしにより高解像度画像を得ることができる。

[0026] また、製造上のばらつきが生じても、角度 Θを調整することにより、容易且つ確実に画素ずらし配置を実現することができる。従って、製造が容易で量産時の歩留まりが向上する。

[0027] 本発明では、視差の画素ずらし方向の成分が極めて小さいことに着目して、被写体距離によらず画素ずらしによる効果を得ている。しかし、視差の画素ずらし方向の成分を完全にゼロにすることは困難である。上記のように、視差は被写体距離が小さくなると急激に大きくなる。また、視差の画素ずらし方向の成分は、角度 Θ (すなわち n )が大きいほど大きくなる。従って、 nは、

n<Amin/ (4 X f)

を満足することが好ましい。

[0028] ここで、 Aminは、撮影される最も近ヽ被写体までの距離 (被写体距離 Aの最小値）、 fは結像距離である。 nが上記関係を満足すれば、角度 Θが極めて小さな値になるので、被写体距離の変化による被写体像の移動方向（すなわち、一対の光軸を結ぶ直線方向）と画素の配列方向とをほぼ同一方向であるとみなすことができる。そして、視差の画素ずらし方向の成分をほぼ無視することが可能となる。従って、被写体距離によらず、画素ずらし方向にぉ、て常に画素ずらし配置を実現することができる。

[0029] レンズ材料の屈折率や回折格子の効率は波長に依存するため、波長を限定すればレンズの特性は向上する。そこで、本発明では、複数の撮像光学レンズの各光路上に、所定の波長の光を透過するフィルターが設置されていることが好ましい。これにより、撮像領域上に結像される被写体像の波長が限定されるため、鮮明な画像が得られる。画素ずらしされた合成前の画像が鮮明であることにより、合成された高解像度画像も鮮明になる。

[0030] また、複数の撮影光学レンズの各光路上に、同じ帯域の波長の光を透過するフィルターを設置しても良い。これにより、同じ波長帯域の鮮明な複数の画像を用いることで、視差による被写体距離の測定を行うことができる。前述のように被写体距離の違いによる視差は、一対のレンズの光軸を結ぶ直線方向に生じる。これに対して、本発明では、一対のレンズの光軸を結ぶ直線に対して垂直な方向に画素ずらし配置をする。このように、本発明では、視差が生じる方向と画素ずらし配置の方向とが異なるので、被写体距離 (即ち視差)が変化しても画素ずらし配置はほとんど影響を受けない。従って、被写体距離によらず、被写体距離の測定精度はほとんど変化せず、被写体距離の測定と画像の高解像度化とを両立することができる。

[0031] 本発明の画素ずらし配置を実現するためには、画素ずらし量、すなわち「d X sin θ 」の値を適切に設定する必要がある。このためには、光軸間隔 dを一定として、角度 Θ を微調整すればよい。従って、複数の撮影光学レンズが、一体に成型されたレンズァレイであることが好ましい。これにより、個々のレンズを調整するのではなぐレンズァレイ全体を複数の撮像領域に対して、複数の撮像領域の受光面に平行な面内でわずかに回転調整することで、本発明の画素ずらし配置を実現できる。従って、レンズアレイを高精度に組み立てたり、成型したりする必要はなぐ容易に画素ずらし配置を実現することができる。

[0032] 本発明の撮像装置は、前記複数の撮影光学レンズと前記複数の撮像領域とを、前記複数の撮影光学レンズの光軸に対して直交する面内で相対的に回転させる機構を更に備えることが好まし、。

[0033] このような回転機構を備えることにより、製造工程において、容易に且つ精度よく画素ずらし量、すなわち角度 Θの調整が可能となる。なお、角度 Θの調整は製造工程にお、て行われ、製品状態では回転機構は固定されて、る。

[0034] 本発明の撮像装置は、前記複数の撮影光学レンズと前記複数の撮像領域との距離を調整する機構を更に備えることが好ましい。

[0035] これにより、各レンズの結像面に撮像領域を確実に配置することが可能となり、より鮮明な複数の画像情報を得ることが可能となる。従って、これら複数の画像情報を合成することにより、より高解像度の画像を得ることができる。

[0036] 本発明の撮像装置において、前記撮影光学レンズの数が少なくとも 3個であることが好ましい。この場合において、前記光軸に平行な方向に沿って見たとき、二対の前記撮影光学レンズのそれぞれの光軸を結ぶ第 1直線及び第 2直線がなす角度がほぼ直角であり、前記光軸に平行な方向に沿って見たとき、前記第 1直線と前記画素の第 1配列方向とがなす角度を 0 1、前記第 2直線と前記画素の第 2配列方向とがなす角度を Θ 2、前記第 1直線に沿って配置された一対の前記撮影光学レンズの光軸間隔を dl、前記第 2直線に沿って配置された一対の前記撮影光学レンズの光軸間隔を d2、前記第 1配列方向に垂直な方向に沿った前記画素の配置ピッチを pi、前記第 2配列方向に垂直な方向に沿った前記画素の配置ピッチを p2、正の整数を m, nとしたとさ、

(2n- l) X p l/2-p l/4< dl X sin 0 1 < (2n— 1) X p l/2+p l/4 (2m- 1) X p2/2-p2/4< d2 X sin 0 2< (2m— 1) X p2/2+p2/4 を満足することが好ましい。

[0037] ここで、画素が 2つの方向に配列されている場合には、 2つの配列方向のうち、第 1 直線となす角度（90° 未満）がより小さい方の方向を「第 1配列方向」と定義し、第 2 直線となす角度（90° 未満）がより小さい方の方向を「第 2配列方向」と定義する。

[0038] これにより、複数の方向において画素ずらし配置を実現することができ、この複数の方向において解像度を向上させることができる。また、少なくとも 3個のレンズを備えるので、各レンズを通じて赤、緑、青の各色の画像情報を得てこれらを合成すればカラ一画像を得ることができる。なお、上記において、画素の配列ピッチ piと配列ピッチ p 2は、同じであっても良ぐその場合も同様の効果が得られる。

[0039] 上記において、前記光軸間隔 dlと前記光軸間隔 d2とが異なることが好ましい。

[0040] 複数の方向において解像度を向上させるためには、各方向における画素ずらし量、すなわち dl X sin θ 1及び d2 X sin θ 2を調整する必要がある。ところが、複数のレンズがー体成型されたレンズアレイを用いる場合、個々のレンズの位置を独立して調整することはできない。また、レンズの位置は成型誤差を含んでいる可能性がある。 d l≠d2であれば、レンズアレイを撮像領域に対して回転させたときの各方向における画素ずらし量の調整範囲が大きくなる。従って、レンズアレイに成型誤差があった場合でも、複数の方向において画素ずらし量を最適化することができ、複数の方向において解像度を向上させることができる。

[0041] あるいは、前記配置ピッチ piと前記配置ピッチ p2とが異なっていても良い。この場合も、レンズアレイに成型誤差があった場合でも、複数の方向において画素ずらし量を最適化することができ、複数の方向において解像度を向上させることができる。

[0042] 本発明の撮像装置において、前記撮影光学レンズ及び前記撮像領域の数がいずれも 4個であることが好ましい。この場合、前記光軸に平行な方向に沿って見たとき、前記 4個の撮影光学レンズの光軸が略長方形の頂点に配置されていることが好ましい。また、前記 4個の撮像領域のうち、 1つに入射する光の光路上には青色の波長帯域の光を透過させるフィルターが設けられており、他の 1つに入射する光の光路上には赤色の波長帯域の光を透過させるフィルターが設けられており、残りの 2つに入射する光の光路上には緑色の波長帯域の光を透過させるフィルターが設けられていることが好ましい。

[0043] これにより、輝度情報が多く含まれる緑色の 2つの画像情報を用いて、視差量を計算することができる。同じ波長帯域の光を用いて視差量を計算することにより、視差量の精度が向上する。この視差量を用いて、赤色及び青色の画像情報の視差量をそれぞれ計算することができる。従って、 2方向に高解像度化されたカラー画像を得ることができる。また、この視差量を用いて被写体距離を計算しても良い。この場合、被写体距離の精度が向上する。

[0044] 前記 4個の撮像領域が共通する 1つの撮像素子上に形成されており、前記略長方形と前記撮像素子の有効画素領域の形状とがほぼ相似形であることが好まし、。これにより、撮像素子の画素を無駄なく有効利用することができる。

[0045] 以下に、本発明の実施の形態を図面に基づいて詳細に説明する。

[0046] (実施の形態 1)

本実施の形態の複眼方式の撮像装置は、従来の複眼方式の撮像装置に比べて、垂直方向と水平方向の空間サンプリング特性を向上させる。

[0047] 図 1は本実施の形態 1に係るに複眼方式の撮像装置の一例の斜視図である。 300 は、 3つのレンズ 301a、 301b, 301cがー体成型された、透明榭脂よりなるレンズァレイである。 3つのレンズ 301a、 301b, 301cの光軸 300a, 300b, 300ciま互!ヽ【こ平行である。これらの光軸に平行な方向に沿って見たとき、光軸 300aと光軸 300bとを結ぶ第 1直線 211と、光軸 300bと光軸 300cとを結ぶ第 2直線 212とが直角となるように、 3つのレンズ 301a、 301b, 301cが略同一平面上に配置されている。各レンズ 301a、 301b, 301cは、被写体像を撮像領域 302a、 302b, 302c上にそれぞれ結像する。撮像領域 302a、 302b, 302cは、それぞれ光軸 300a, 300b, 300cに対して直交する面内に配置された多数の画素（受光部）を有し、各画素は入射する光を光電変換する。カゝくして、撮像領域 302a、 302b, 302cは、それぞれに結像された被写体像を画像情報に変換して出力する。撮像領域 302a、 302b, 302cは、共通する 1つの撮像素子の有効画素領域を分割することにより形成されている。従つて、撮像領域 302a、 302b, 302cからの画像情報は、この 1つの撮像素子からの出力信号から、各撮像領域に対応する画素信号を抽出することにより得られる。

[0048] 高解像度画像を得るために、レンズ 301a、 301b, 301cがそれぞれ形成する被写体像と撮像領域 302a、 302b, 302cの画素との間に、画素の配列方向と垂直な方向への画素ずらし配置が実現されるように、 3つのレンズ 301a、 301b, 301cと撮像領域 302a、 302b, 302cとが配置されている。以下にこれを説明する。

[0049] 図 2は、レンズの光軸と撮像領域の画素との位置関係を示した、光軸と平行な方向に沿って見た平面図である。

[0050] 100a, 100b, 100cは撮像領域 302a、 302b, 302c内に配置された画素である。

上述したように、 1つの撮像素子の有効画素領域を分割して撮像領域 302a、 302b, 302c力形成されて! /、るので、各撮像領域 302a、 302b, 302c内の画素 100a、 100 b、 100cの配列方向及び画素ピッチは、撮像領域 302a、 302b, 302c間で一致している。図 2では、撮像領域 302a、 302b, 302c外の画素の図示を省略している。図示したように、画素 100a、 100b, 100cは縦横方向に碁盤目状に配置されており、縦 (垂直方向）の配列方向（第 1配列方向）と平行な方向を Y軸、横 (水平方向）の配列方向（第 2配列方向）と平行な方向を X軸とする。そして、光軸 300a, 300b, 300c と平行な方向を Z軸とする。 X軸と Y軸と Z軸とは相互に直交する。

[0051] 101a, 101b, 101cは、レンズ 301a、 301b, 301cの各光軸 300a, 300b, 300c と撮像領域 302a、 302b, 302cとの交点である。

[0052] 交点 101bと交点 101aとを結ぶ第 1直線 211と画素の第 1配列方向（Y軸）とがなす角度を 0 ( Θ≤90° ；)とする。レンズアレイ 300内に 3つのレンズ 301a、 301b, 301c が誤差なく一体成型されていると仮定すると、交点 101bと交点 101cとを結ぶ第 2直線 212と画素の第 2配列方向（X軸）とがなす角度も Θとなる。

[0053] 交点 101bと交点 101aとの距離 (すなわち、光軸 300bと光軸 300aとの間隔）を dとすると、交点 101bに対して交点 101aは X軸方向に d X sin 0だけずれている。このずれ量が撮像素子の X軸方向における画素ピッチ piの半分の奇数倍であれば、撮影領域 302aで変換した画像情報は、撮像領域 302bで変換した画像情報の X軸方向の画素間部分 102bの情報となる。

[0054] 103a, 103b, 103dま、光軸 300b上に位置する被写体のレンズ 301a、 301b, 3 01cにより結像された被写体像である。被写体像 103a, 103b, 103cの位置は、レンズの光軸 300a, 300b, 300cの位置と被写体距離（図 16Aの被写体距離 A)とに応じて変化する。従って、レンズ 301aにより形成される被写体像 103aは、視差により、交点 101bと交点 101aとを結ぶ第 1直線 211の方向に沿って、交点 101aに対して交点 10 lbから離れる側にずれた位置に結像される。第 1直線 211は Y軸に対して平行ではないので、被写体距離に応じて、被写体像 103aの結像位置は、 X軸方向及び Y軸方向に変化する。本実施の形態では、光軸間隔 dが X軸方向及び Y軸方向の画素ピッチ pi及び p2に対して十分に大きいので、角度 Θが十分に小さな値をとる限り、被写体距離の変化による被写体像 103aの結像位置の X軸方向における変化量はほとんど無視できるほどに小さい。従って、被写体像 103bに対する被写体像 103a の X軸方向におけるずれを利用することにより、被写体距離によらず、常に X軸方向において画素ずらし配置を実現することができ、 X軸方向の高解像度化を実現することがでさる。

[0055] 更に Y軸方向においても画素ずらし配置を実現するためには、 Y軸方向における画素ピッチを p2、交点 101bと交点 101cとの距離（すなわち、光軸 300bと光軸 300c との間隔）を d2としたとき、 d2= (pl/p2) X dを満足すればよい。これにより、撮像領域 302bと撮像領域 302aとの間の X軸方向における上記画素ずらし配置と同様の関係力撮像領域 302bと撮像領域 302cとの間に Y軸方向において成立する。従って、 X軸方向及び Y軸方向において、被写体距離によらず高解像度化を実現することができる。 [0056] なお、図 2では、光軸 300bを中心にレンズアレイ 300を撮像素子に対して時計回り方向に角度 Θだけ回転した例を示したが、これは理解を容易にするためであって、本発明はこれに限定されない。重要なのは X軸方向及び Y軸方向に上記の画素ずらし配置が実現されるように角度 Θを設定することであって、回転中心軸の位置、相対的な回転方向は上記以外であつても良い。

[0057] 撮影環境の温度が変化した場合、レンズアレイ 300は熱膨張 (又は熱収縮)する。

温度が室温から上昇すると、レンズアレイ 300はほぼ等方的に膨張するので、レンズの光軸 300a, 300b, 300cの光軸間隔 d, d2が拡大する。し力し、上記の角度 0は変化せず、且つ角度 Θは十分に小さいので、上記の画素ずらし配置の関係は維持される。したがって、本発明の撮像装置における画素ずらし配置は、周辺環境の温度変化によるレンズの光軸間隔 d, d2の変化の影響を受けにくい。

[0058] 撮像領域 302a、 302b, 302cは、それぞれに結像された被写体像を画像情報に変換する。得られた 3つの画像情報に対して視差補正を行った後、これらを合成して 1つの画像情報を得る。この演算処理を以下に説明する。

[0059] まず、視差量導出手段 303は、視差補正を行うための、画像情報間の視差量 (図 1 6Aのずれ量 S)を求める。

[0060] 視差量は、被写体距離がわかれば求めることができる。しかし、被写体距離を測定するためのセンサーを新たに導入すると、装置の小型化が難しくなる。そこで、本実施の形態では、 2つの画像情報同士を直接比較し、両者間のずれ量を求めることにより視差量を求める。画像情報の比較は、画像情報同士の相関を求めることにより行う。画像情報は X軸方向及び Y軸方向にマトリックス状に分布した輝度情報の集合として表され、 X軸方向の k番目、 Y軸方向の 1番目の画素の輝度は I (k、 1)と表される。画素は有限であるので、 k、 1は整数である。比較される 2つの画像情報のうち、基準とされる画像情報 (以下、「基準画像情報」という）における画素の輝度を II (k、 1)、比較される画像情報 (以下、「被比較画像情報」という）における画素の輝度を 12 (k+m 、 1+n)とし、基準画像情報と、被比較画像情報を X軸方向に m画素、 Y軸方向に n 画素ずらした画像情報との相関 R(m、 n)を次式により求める。

[0061] [数 2]

[0062] 基準画像情報と、被比較画像情報を X軸方向に m画素、 Y軸方向に n画素ずらした画像情報とが似ている場合、相関 R(m、 n)の値は 1に近づき、逆に、異なる場合、相関 R (m、 n)の値は小さくなる。 m、 nを順に変えながら R(m、 n)を求める。 R(m、 n) 力 Siに最も近くなる場合の m、 nが、基準画像情報と被比較画像情報との間の視差量 (ずれ量)である。なお、 m、 nは整数に限定されない。例えば、基準画像情報及び被比較画像情報において、画素間の輝度をその周辺の画素の輝度に基づいて内挿して求めれば、小数点以下の値まで視差量を高分解能で求めることができる。画素の内挿方法としては、共 1次内挿法、共 3次内挿法、 3次たたみ込み内挿法など、周知の多くの方法を利用できる。たとえば、共 1次内挿法を用いる場合は、画素間の X=u 、 Y=vの位置における輝度 I (u、 V)を次式によって求めることができる。

[0063] [数 3]

I(k, ) I(k + 1,/) (k + l) - u

I(k,/ + 1) I(k + 1，/ + 1) u - k

[0064] 次に、画像合成手段 304は、 2つの画像情報を合成する。合成に先立って、上記によって得られた 2つの画像情報間の X軸方向及び Y軸方向の視差量だけ、一方の画像情報を移動する (視差補正)。

[0065] 図 3は、撮像領域 302b, 302a及びこれらに結像された被写体像 103b, 103aを、交点 101b, 101aが Y軸と平行な一直線上に並ぶように撮像領域 302b, 302aを X 軸方向に移動させて示した平面図である。

[0066] 図 16A及び図 16Bで説明したように、視差による被写体像のずれ量 Sは、被写体距離 Aに反比例するが、被写体距離 Aが十分に大きいと無視できる。このような場合、光軸 300b上の被写体は、図 3に示すように、撮像領域 302b上には被写体像 103 bとして結像され、撮像領域 302a上には実線 400の位置に結像される。すなわち、撮像領域 302bにおける交点 101bに対する被写体像 103bの相対的位置関係と、撮像領域 302aにおける交点 101aに対する被写体像の結像位置 400の相対的位置関係とはほぼ同じである。この場合は、図 4に示すように、交点 101bと交点 101aとが一致するように、撮像領域 302bから得た画像情報と撮像領域 302aから得た画像情報とを重ね合わせる。こうすることにより、撮像領域 302b上の被写体像 103bと撮像領域 302a上の被写体像 103aとをほとんどずれなく重ね合わせることができる。そして、このとき、撮像領域 302b内の画素 100bと撮像領域 302a内の画素 100aとは、 X 軸方向に画素ピッチ piの半分の奇数倍だけずれている。従って、合成された画像の X軸方向の解像度が向上する。

[0067] 被写体距離が小さい場合、光軸 300b上の被写体は、図 3に示すように、撮像領域 302b上には被写体像 103bとして結像され、撮像領域 302a上には破線 402の位置に結像される。すなわち、撮像領域 302bにおける交点 101bに対する被写体像 103 bの相対的位置関係と、撮像領域 302aにおける交点 101aに対する被写体像の結像位置 402の相対的位置関係とは異なる。図 2で説明したように、被写体像 103aは、交点 101bと交点 101aとを結ぶ第 1直線 211の方向に沿って、交点 101aに対して交点 101bから離れる側にずれた位置に結像される。被写体距離が十分に大きな場合の被写体像 103aの結像位置 400に対する、被写体距離力 S小さい場合の被写体像 103aの結像位置 402のずれ (視差）をベクトル 405で表す。この場合は、図 5に示すように、このベクトル 405の逆ベクトル 406分だけ、交点 101bに対して交点 101aを相対移動させて、撮像領域 302bから得た画像情報と撮像領域 302aから得た画像情報とを重ね合わせる。こうすること〖こより、撮像領域 302b上の被写体像 103bと撮像領域 302a上の被写体像 103aとをほとんどずれなく重ね合わせることができる。そして、このときも、撮像領域 302b内の画素 100bと撮像領域 302a内の画素 100aとは、 X軸方向に画素ピッチ piの半分の奇数倍だけずれている。従って、合成された画像の X軸方向の解像度が向上する。

[0068] 以上のように視差補正を行った上で合成を行うことにより、被写体距離の大小にかかわらず、 X軸方向の解像度が向上した画像を得ることができる。なお、視差量によつては画素の Y軸方向の位置が一致しない場合がある力も知れないが、このような場合には線形補間などの補間処理によって適切な位置に修正することができる。

[0069] 上記と同様の視差補正及び合成を、撮像領域 302bから得た画像情報と撮像領域 302cから得た画像情報とについて行う。これにより、被写体距離の大小にかかわらず、 Y軸方向の解像度が向上した画像を得ることができる。

[0070] 以上のようにして、撮像領域 302bから得た画像情報に、撮像領域 302aから得た画像情報と撮像領域 302cから得た画像情報を合成することにより、 X軸方向及び Y 軸方向に高解像度化された画像が得られる。

[0071] 本発明では、 X軸方向の画素ピッチ pi及び Y軸方向の画素ピッチ p2は同一でも異なっていても良い。例えば、複数の撮像素子を組み合わせて 1つの撮像領域を構成したり、撮像領域ごとに別個の撮像素子を用いたりしても良い。いずれの場合であつても、画素の配列方向と垂直方向に画素ずらしを行うことで、被写体距離によらず、高解像度画像を得ることができ、さら〖こ、複数の撮像領域とレンズアレイとの相対的な回転により画素ずらし量の調整が可能である。

[0072] (実施例 1)

実施の形態 1に対応した実施例を示す。

[0073] 図 6Aは、実施例 1の撮像装置の光軸と平行な方向に沿って見た平面図、図 6Bは図 6Aの 6B— 6B線での矢視断面図である。 700はアクリル榭脂を用いて一体成型された 3つのレンズを有するレンズアレイである。図 6Aに示すように、 3つのレンズを、その光軸が一辺 dが 2mmの正方形の 3つの頂点に位置するように配置した。レンズは、いずれも緑色の波長の光に対して光学特性が最良となるように設計した。 Z軸方向において、レンズの中心から結像面までの距離は 2. 5mmとした。レンズアレイ 70 0を円筒状の鏡筒 701で保持した。鏡筒 701の被写体に対向する側の面には、レンズの位置に対応して 3個の開口 702を設けた。基台 703の鏡筒 701と嵌合する部分には円環状の窪み (溝)を形成した。この窪みに沿って鏡筒 701の中心軸を中心として鏡筒 701を基台 703に対して回転させて、 3つのレンズがそれぞれ形成する被写体像と撮像素子 704の画素との間に上述の画素ずらし配置が実現されるように調整した。

[0074] 撮像素子 704を基台 703上に固定した。撮像素子 704として、 X軸方向及び Y軸方向の画素ピッチ pi, p2力 Sともに 2/ζπι、 2000画素（X軸方向） X 2000画素（Υ軸方向）の CCDを用いた。この撮像素子 704の有効画素領域のうち、 3つのレンズがそれぞれ被写体像を結像する、 800画素 (X軸方向） X 600画素 (Y軸方向）の 3つの領域を撮像領域とした。レンズの光軸間隔が 2mm、画素ピッチ pi, p2がであるので、光軸と平行な方向に沿って見たとき、一対のレンズの光軸を結ぶ直線と画素の配列方向とがなす角度 0 (図 2参照）を 5X10—⁴radに設定した。これにより、 3つのレンズがそれぞれ結像する 3つの被写体像と、これらの被写体像に対応する 3つの撮像領域の画素との間に、いずれも画素ずらし配置を実現できた。

[0075] 緑色の画像情報のみを取り出すために、撮像素子 704の被写体側の面に緑色の波長帯域の光を透過させるカラーフィルター 705を設けた。鏡筒 701と基台 703との間にスぺーサー 706を介在させて、レンズの結像面と撮像素子 704の受光面とを正確に位置合わせした。

[0076] このようにして作成した撮像装置を用いて、被写体距離 lmの位置に解像度チヤ一トを設置して限界解像度の評価を行った。 1つのレンズのみで撮影した 800画素 (X 軸方向） X 600画素 (Y軸方向）の画像の限界解像度は、 X軸方向及び Y軸方向ともに 550TV本であった。一方、本発明の方法により 3つの撮像領域で得た 3つの画像情報を合成して得た画像の限界解像度は、 X軸方向及び Y軸方向ともに 1000TV本であり、約 1.8倍に向上した。被写体距離距を 10cmから 3mまで変えながら限界解像度の評価を行ったところ、いずれの距離においても、 1つのレンズのみで撮影した場合に比べて 3つの画像情報を合成した場合には 1. 5〜1.8倍の限界解像度の向上がみられた。

[0077] また、上記角度 Θを変化させることにより、画素ずらし量 dX sin Θ (図 2参照）と限界解像度との関係を調べたところ、 dX sin 0が 0. 5Xpl±0. 25Xplの範囲内のときは、 X軸方向において限界解像度の向上が見られ、 dX sin0が 0. 5Xp2±0. 25 Xp2の範囲内のとき、 Y軸方向において限界解像度の向上が見られた。特に dXsin 0力 SO. 5Xpl±0. lXpl及び 0. 5Xp2±0. 1 Xp2の範囲内のとき安定して解像度が向上した。

[0078] さらに、作製した撮像装置を恒温槽に入れて温度を変えた場合の特性を測定したところ、 10度から 40度の間では、 1つのレンズのみで撮影した場合に比べて 3つの画像情報を合成した場合には 1. 5倍以上の限界解像度の向上が認められ、温度変化に対しても本発明が有効であることを確認した。

[0079] (実施の形態 2)

実施の形態 1では、 3つのレンズ 301a、 301b, 301cが、これらの間の相対的位置関係に誤差がなく一体成型されたレンズアレイ 300を用いた撮像装置を説明した。し力しながら、実際のレンズアレイの生産において、複数のレンズ間の相対的位置関係に成型誤差が生じると、これを修正することは困難である。そのため、撮像領域の画素ピッチ以下の精度でレンズアレイを成型する必要があり、非常に高い成型精度が要求され、低コストで量産することが困難となる可能性がある。

[0080] 一方、複数のレンズを別個に作成し、所望の画素ずらし配置が実現されるように、複数のレンズを対応する複数の撮像領域との位置関係を微調整して組み立てることは可能であるものの、調整工数が多ぐ量産には不向きである。

[0081] 本実施の形態 2では、実施の形態 1に対して、レンズアレイの成型誤差を補償する機能が付加された撮像装置を提供する。

[0082] 図 7Aは実施の形態 1に係る撮像装置のレンズの配置を示した平面図である。説明を簡単化するため、レンズ 301bの光軸とレンズ 301aの光軸との間隔、レンズ 301b の光軸とレンズ 301cの光軸との間隔は、いずれも dであり、且つ、撮像領域の X時方向及び Y軸方向における画素ピッチ pi, p2はいずれも pである場合を説明する。従つて、レンズアレイを角度 Θだけ回転させたとき、レンズ 301bの光軸に対するレンズ 301aの光軸の X軸方向のずれ量、レンズ 301bの光軸に対するレンズ 301cの光軸の Y軸方向のずれ量は、いずれも d X sin 0となる。

[0083] しかしながら、レンズ 301bの光軸とレンズ 301aの光軸とを結ぶ第 1直線 211と、レンズ 301bの光軸とレンズ 301cの光軸とを結ぶ第 2直線 212とがなす角度力成型誤差により正確に直角ではなかった場合、上記の 2つのずれ量は同時に d X sin 0とはならない。従って、レンズ 301b及びレンズ 301aがそれぞれ結像する 2つの被写体像の間と、レンズ 30 lb及びレンズ 30 lcがそれぞれ結像する 2つの被写体像の間とに、同時に画素ずらし配置を実現することが困難となる場合がある。このような場合、角度 Θをどのように変えても、 X軸方向及び Y軸方向の両方向に高解像度化された画像を得ることはできな、。

[0084] 図 7Bは本実施の形態 2に係る撮像装置のレンズの配置を示した平面図である。図 7Aと同様に、撮像領域の X軸方向及び Y軸方向における画素ピッチ pi, p2はいずれも Pである場合を説明する。本実施の形態 2では、レンズ 301bの光軸とレンズ 301 aの光軸との間隔は dl、レンズ 301bの光軸とレンズ 301cの光軸との間隔は d2 (d2 ≠dl)である。従って、レンズアレイを角度 Θだけ回転させたとき、レンズ 301bの光軸に対するレンズ 301aの光軸の X軸方向のずれ量（即ち、 X軸方向の画素ずらし量 )は dl X sin 0、レンズ 301bの光軸に対するレンズ 301cの光軸の Y軸方向のずれ量（即ち、 Υ軸方向の画素ずらし量）は d2 X sin 0となる。このように画素ずらし量が X 軸方向と Y軸方向とで異なることにより、レンズアレイの成型誤差が生じても、各方向の画素ずらし量が、実施例 1で説明した、特に高い限界解像度の向上を実現できる 0 . 5 X pl ±0. l X pl且つ 0. 5 X p2±0. 1 X p2の範囲内【こ同時【こ人るよう【こ調整することが容易になる。すなわち、製造誤差が生じた場合でも、角度 Θを調整することにより X軸方向及び Y軸方向の両方向に容易且つ確実に高解像度化できる撮像装置を作成でき、製造が容易となり歩留まりを向上できる。

[0085] なお、図 7Bとは異なり、レンズの光軸間距離 dl, d2を等しくし（dl = d2 = d)し、撮像領域の X軸方向の画素ピッチ p 1と Y軸方向の画素ピッチ p 2とを異ならせ (p 1≠ p 2 )ても良い。この場合、レンズ 301bの光軸に対するレンズ 301aの光軸の X軸方向のずれ量 (即ち、 X軸方向の画素ずらし量）が X軸方向の 1画素ピッチ p 1と一致するための回転角度を 0 (即ち、 d X sin Q =pl)としたとき、レンズ 301bの光軸に対するレンズ 301cの光軸の Y軸方向のずれ量（即ち、 Y軸方向の画素ずらし量）は d X sin θ であり、これは Υ軸方向の 1画素ピッチ ρ2と一致しない。即ち、図 7Βと同様に、画素ピッチに対する画素ずらし量の比を X軸方向と Υ軸方向とで異ならせることができる。従って、レンズアレイの成型誤差が生じても、各方向の画素ずらし量が、高い限界解像度の向上を実現できる 0. 5 X pl ±0. l X pl且つ 0. 5 Χ ρ2±0. 1 Χ ρ2の範囲内に同時に入るように調整することが容易になる。

[0086] (実施例 2)

実施の形態 2に対応した実施例を示す。

[0087] 図 8Aは、実施例 2の撮像装置の光軸と平行な方向に沿って見た平面図、図 8Bは図 8Aの 8B— 8B線での矢視断面図である。

[0088] 本実施例 2が実施例 1 (図 6A,図 6B)と相違するのは以下の点である。レンズァレィ 700には 4つのレンズを一体成型した。図 8Aに示すように、 4つのレンズを、その光軸力 Y軸にほぼ平行な短辺（長さ dl = 1. 5mm)と X軸にほぼ平行な長辺（長さ d2 = 2mm)とを有する長方形の各頂点に位置するように配置した。撮像素子 704上にはカラーフィルターを設けな力た。代わりに、鏡筒 701の 4つのレンズに対応して設けた 4つの開口 702にカラーフイノレター 800a, 800b, 800c, 800dを設けた。対角位置のカラーフィルター 800b, 800dは緑色の波長帯域の光を透過させ、カラーフィルター 800aは赤色の波長帯域の光を透過させ、カラーフィルター 800cは青色の波長帯域の光を透過させる。各レンズは、対応するカラーフィルターが透過させる光の波長の光に対して光学特性が最良となるように設計した。撮像素子 704の有効画素領域のうち、 4つのレンズがそれぞれ被写体像を結像する、 800画素 (X軸方向） X 6 00画素 (Y軸方向）の 4つの領域を撮像領域とした。このようにしてカラー画像を合成する撮像装置を作成した。上記以外は図 6A,図 6Bと同じであり、同一の構成要素には同一の符号を付しており、それらについての詳細な説明を省略する。

[0089] 緑色の波長帯域の光を透過させる、対角位置に配置された 2つのカラーフィルター 800b, 800dに対応する 2つの撮像領域カゝら得た 2つの画像情報を比較して、視差量を正確に求めた。この視差量の X軸成分がカラーフィルター 800cに対応する撮像領域力も得た青色の画像情報の視差量であり、 Y軸成分がカラーフィルター 800aに対応する撮像領域から得た赤色の画像情報の視差量である。

[0090] 前述のように画像の局所領域では、赤色 (R)、緑色 (G)、青色 (B)の各画像情報間には相関性があることが知られている。 3色のカラーフィルターがべィヤー配列された撮像素子を用いた撮像装置において、この特性を利用して、ある色のフィルターが配された画素における他の 2つの色の情報を、この画素の色情報力推測することで、色情報の補間処理を行うことは公知である。本実施例では、 2つの緑色の画像情報に対して赤色及び青色の各画像情報力画素ピッチの半分の奇数倍にほぼ相当する量だけずれているので、上記の色情報の補間処理を適用することができる。このようにして、各色情報を高解像度化した後に重ね合わせる (合成する)ことで、高解像度のカラー画像を得た。

[0091] レンズアレイ 700のレンズ配置を図 9Aに示す。図 9Aでは、 4つのレンズのうち、力ラーフイノレター 800a, 800b, 800c【こ対応する 3つのレンズ (jl匿【こ、 401a, 401b, 4 01cとする）のみを図示している。これら 3つのレンズの光軸位置を精密に測定したところ、レンズ 401bの光軸とレンズ 401cの光軸とを結ぶ直線 212を X軸と平行に設定すると、レンズ 401bの光軸に対するレンズ 401aの光軸の X軸方向のずれ量は、 X軸方向及び Y軸方向の画素ピッチ p 1 , p 2を、ずれも p (p 1 = p2 = p = 2 m)としたとき、 0. 4 X p ( = 0. 8 m)であった。この状態力ら、レンズアレイ 700を撮像素子 704に対して時計回り方向に 7. 5 X 10—⁴radだけ回転させると、図 9Bに示すように、レンズ 4 01bの光軸に対するレンズ 401cの光軸の Y軸方向のずれ量は 1. 5 X p ( = 3. O ^ m )となり、レンズ 401bの光軸に対するレンズ 401aの光軸の X軸方向のずれ量は 1. 5 25 X p ( = 3. 05 m)となった。すなわち、両ずれ量を、画素ピッチの半分の奇数倍にほぼ設定することができた。

[0092] 100個のレンズアレイのレンズの光軸の位置をそれぞれ測定したところ、設計位置に対して ± 2 mの範囲のバラツキがあった。これらのレンズアレイを撮像装置に組み込みレンズアレイの撮像素子に対する回転角度を調整した。実施例 1と同様に限界解像度の評価を行った。 1つのレンズのみで撮影した 800画素 (X軸方向） X 600 画素 (Y軸方向）の画像の限界解像度は、 X軸方向及び Y軸方向ともに 550TV本であった。一方、 4つの撮像領域で得た 4つの画像情報を合成して得たカラー画像の限界解像度は、 X軸方向及び Y軸方向ともに、いずれのレンズアレイを用いた場合であっても常に 800〜900TV本であった。

[0093] なお、カラーフィルターの配置は上記の例に限定されない。たとえば、 800a, 800c を緑色の波長帯域の光を透過させるカラーフィルター、 800bを赤色の波長帯域の光を透過させるカラーフィルター、 800dを青色の波長帯域の光を透過させるカラーフィルターとしてもよい。

[0094] (比較例 1)

本比較例 1では、上記の実施例 2において、 4つのレンズを、その光軸が一辺 dが 2 mmの正方形の各頂点にほぼ位置するように配置した。これ以外は、撮像装置の構成及び画像情報の処理は実施例 2と同一とした。

[0095] 図 9Aに示すように、レンズ 401bの光軸とレンズ 401cの光軸とを結ぶ直線 212を X 軸と平行に設定したとき、レンズ 401bの光軸に対するレンズ 401aの光軸の X軸方向のずれ量が、 X軸方向及び Y軸方向の画素ピッチ pi, p2^ ^ ^¾p (pl =p2=p = 2 /ζ πι)としたとき、 0. 4 X p ( = 0. 8 /z m)であった。この場合、レンズアレイ 700を撮像素子 704に対してどのように回転させても、レンズ 401bの光軸に対するレンズ 4 01 aの光軸の X軸方向のずれ量、及びレンズ 401bの光軸に対するレンズ 401cの光軸の Y軸方向のずれ量力ともに 0. 5 X p±0. 2 X pの範囲内に同時に入るように調整することはできな力つた。

[0096] 実施例 2と同様に限界解像度の評価を行った。 4つの撮像領域で得た 4つの画像情報を合成して得たカラー画像の限界解像度は、 X軸方向と Y軸方向とで異なる場合が多ぐ例えば、撮像素子 704に対するレンズアレイ 700の回転角度がある値のときに、 X軸方向で 900TV本、 Y軸方向で 600TV本と、 Y軸方向において高解像度化が達成されて、なかった。

[0097] これは、以下の理由による。本比較例 1ではレンズの光軸間隔 dl, d2が相等しいために、撮像素子 704に対してレンズアレイ 700をいくら回転させても、レンズ 401bの光軸に対するレンズ 401aの光軸の X軸方向のずれ量、及びレンズ 401bの光軸に対するレンズ 401cの光軸の Y軸方向のずれ量が同じになる。従って、レンズアレイの成型誤差状態によっては両ずれ量を画素ピッチの半分の奇数倍にほぼ設定することができなヽ場合がある力である。

[0098] (実施の形態 3)

本実施の形態では、被写体距離の測定と画像の高解像度化とが両立された撮像装置を提供する。

[0099] 図 16Aで説明したように、複眼方式の撮像装置では、被写体距離の違いによる視差は、一対のレンズの光軸を結ぶ直線方向に生じる。これに対して、本発明では、一対のレンズの光軸を結ぶ直線に対して垂直な方向に画素ずらし配置をして、画像の高解像度化を実現している。このように、本発明では、視差が生じる方向と画素ずらし配置の方向とが異なるため、被写体距離 (即ち視差量)の測定と画像の高解像度ィ匕とを両立することができる。

[0100] 本実施の形態では、視差量は、基準とされる画像 (基準画像)を複数のブロック〖こ分割し、各ブロックが比較される画像 (被比較画像）内のどの部分と相関が最も大きいかを実施の形態 1で説明したのと同様に調べることによって求める。本発明の画素ずらし配置によって、基準画像に対して被比較画像は、一対のレンズの光軸を結ぶ直線に対して垂直な方向に移動する。従って、通常の複眼方式の撮像装置での距離測定方法と同様に、一対のレンズの光軸を結ぶ直線に沿って画像の探索を行うと、相関が悪ぐ視差量を高精度で検出することが困難となりやすい。しかし、画素ずらし配置による画素ずらし量だけ、一対のレンズの光軸を結ぶ直線に対して垂直方向にずれた直線に沿って画像の探索を行えば、本発明の画素ずらし配置による影響が補正され、視差量の検出精度を向上させることができる。従って、本発明の画素ずらし配置の下で、被写体距離を高精度に測定することができる。

[0101] (実施例 3)

実施の形態 3に対応した実施例を示す。本実施例 3は、被写体距離の測定と高解像度画像の撮影とを両立させるものである。

[0102] 図 10Aは、実施例 3の撮像装置の光軸と平行な方向に沿って見た平面図、図 10B は図 10Aの 10B— 10B線での矢視断面図である。一対のレンズ 1000a, 1000bを有するレンズアレイ 1000を一体成型した。一対のレンズ 1000a, 1000bの光軸間距離は 3mmとした。レンズアレイ 1000を筒状の鏡筒 1001で保持した。鏡筒 1001の被写体に対向する側の面には、一対のレンズ 1000a, 1000bの位置に対応して 2個の開口 1002を設けた。図 10Aに示すように、光軸と平行な方向に沿って見た鏡筒 1 001の外周面の平面視形状は、一対の直線 1001aを長辺とし、この両端をつなぐ一対の円弧 1001bを短辺とする変形長方形とした。基台 1003の鏡筒 1001と嵌合する部分には、一対の円弧 1001bと同一の曲率を有する曲面 1003bを有する窪み (溝）を形成した。この窪みに沿って鏡筒 1001の中心軸を中心として鏡筒 1001を基台 10 03に対して回転させて、一対のレンズ 1000a, 1000bがそれぞれ形成する一対の被写体像と撮像素子 1004の画素との間に画素ずらし配置が実現されるように調整した。

[0103] 撮像素子 1004を基台 1003上に固定した。撮像素子 1004として、 X軸方向及び Y 軸方向の画素ピッチ pi, p2力ともに 2. の CCDを用いた。鏡筒 1001と基台 10 03との間にスぺーサー 1006を介在させて、レンズの結像面と撮像素子 1004の受光面とを正確に位置合わせした。

[0104] 被写体距離の違いによる視差は、一対のレンズ 1000a, 1000bの光軸を結ぶ直線方向、即ち X軸方向に生じる。従って、一対のレンズ 1000a, 1000bの光軸を結ぶ直線と画素の一方の配列方向とがなす角度 Θを 3. 6 X 10—⁴radに設定した。これにより、画素ずらし量が約 1. 1 mの Y軸方向の画素ずらし配置を実現した。

[0105] 距離測定に色情報は不要である。従って、鏡筒 1001の一対の開口 1002には緑色の波長帯域の光を透過させる波長選択フィルター 1005をそれぞれ設けた。一対のレンズ 1000a, 1000bが結像した 2つの画像を比較して、被写体距離を測定した。

[0106] 一対のレンズ 1000a, 1000bが撮像素子 1004上にそれぞれ形成した一対の画像力も以下のようにして視差量を求めた。即ち、まず、レンズ 1000bによる画像 (被比較画像)の全体を、画像変換により、画素ピッチの半分に相当する量だけ Y軸方向に移動させた。次いで、被比較画像内において、レンズ 1000aによる画像 (基準画像）内のブロックが対応する部分の位置を探索した。基準画像内におけるこのブロックと、被比較画像内におけるこのブロックに対応する部分の位置との X軸方向におけるずれ量 (即ち、視差量)を求め、被写体距離を求めた。

[0107] Y軸方向の画素ずらし配置を行わない以外は本実施例 3と同じである比較例 2の撮像装置を作成した。実施例 3の撮像装置と比較例 2の撮像装置とを、被写体距離の測定精度に関して比較した結果、両者に有意な差は認められな力つた。一方、合成画像の限界解像度に関して比較した結果、実施例 3では比較例 2に比べて 1. 5倍の高解像度画像が得られた。

[0108] 上記の実施例 3では、一対の波長選択フィルター 1005として緑色の波長帯域の光を透過させるフィルターを用いた。しかし、これは一例であって、本発明はこれに限定されず、特定の波長帯域の光を選択的に透過させるフィルターであれば上記と同様の効果が得られる。例えば、一対の波長選択フィルター 1005として赤外光を透過させるフィルターを用いると、夜間においても被写体距離の測定と高解像度画像の撮影とが可能な撮像装置を実現できる。

[0109] (実施例 4)

実施の形態 3に対応した別の実施例を示す。本実施例 4は、被写体距離の測定と高解像度のカラー画像の撮影とを両立させるものである。

[0110] 図 11Aは、実施例 4の撮像装置の光軸と平行な方向に沿って見た平面図、図 11B は図 11Aの 11B— 11B線での矢視断面図である。直径 2. 1mmの一対のレンズ 11 00a, 1100bを有するレンズアレイ 1100を一体成型した。一対のレンズ 1100a, 11 00bの光軸間距離は 3mmとした。レンズアレイ 1100を筒状の鏡筒 1101で保持した。鏡筒 1101の被写体に対向する側の面には、一対のレンズ 1100a, 1100bの位置に対応して 2個の開口 1102を設けた。図 11Aに示すように、光軸と平行な方向に沿つて見た鏡筒 1101の外周面の平面視形状は、一対の直線 1101aを長辺とし、この両端をつなぐ一対の円弧 1101bを短辺とする変形長方形とした。基台 1103の鏡筒 1101と嵌合する部分には、一対の円弧 1101bと同一の曲率を有する曲面 1103bを有する窪み (溝)を形成した。この窪みに沿って鏡筒 1101の中心軸を中心として鏡筒 1101を基台 1103に対して回転させて、一対のレンズ 1100a, 1100b力それぞれ形成する一対の被写体像と撮像素子 1104の画素との間に画素ずらし配置が実現されるように調整した。

[0111] 撮像素子 1104を基台 1103上に固定した。撮像素子 1104として、 X軸方向及び Y 軸方向の画素ピッチ pi, p2力 Sともに 2. の CCDを用いた。鏡筒 1101と基台 11 03との間にスぺーサー 1106を介在させて、レンズの結像面と撮像素子 1104の受光面とを正確に位置合わせした。

[0112] 被写体距離の違いによる視差は、一対のレンズ 1100a, 1100bの光軸を結ぶ直線方向、即ち X軸方向に生じる。従って、一対のレンズ 1100a, 1100bの光軸を結ぶ直線と画素の一方の配列方向とがなす角度 Θを 3. 6 X 10—⁴radに設定した。これにより、画素ずらし量が約 1. 1 mの Y軸方向の画素ずらし配置を実現した。

[0113] レンズ 1100a, 1100bとして、屈折レンズの表面に回折格子を形成し、更に回折格子上にレンズ材料と屈折率が異なる材料カゝらなる層を塗布により形成したレンズ (以下、「塗布層付き屈折回折レンズ」という）を用いた。これにより、比較的小さい口径の単レンズであるにもかかわらず、撮像素子 1104の受光面上に可視光による被写体像を少な、収差で結像させることができた。

[0114] 撮像素子 1104上にカラーフィルター 1105を形成した。図 12Aはレンズ 1100aに対応する撮像領域内の画素上のカラーフィルターの配置を示し、図 12Bはレンズ 11

OObに対応する撮像領域内の画素上のカラーフィルターの配置を示す。図 12A及び図 12Bに示すように、実施例 4では、カラーフィルター 1105として、赤 R、緑 G、青 B のうちのいずれかの色の光を透過するフィルターが画素配置に対応してべィヤー配列されたカラーフィルターを用いた。

[0115] 撮像素子 1104の各画素は、赤、緑、青のうちのいずれかの情報し力得ることができない。しかし、前述のように画像の局所領域では、赤色、緑色、青色の各画像情報間には相関性があることが知られている。この特性を利用して、 3色のカラーフィルターがべィヤー配列された撮像素子を用いた撮像装置にぉヽて、ある色のフィルターが配された画素における他の 2つの色の情報を、この画素の色情報力推測することで、色情報の補間処理を行うことができることが知られている。この公知の手法を用いて、各画素で赤、緑、青の色情報を得た。従って、赤、緑、青の各色について画素ずらし配置を実現できた。赤、緑、青の各色ごとに 2つの撮像領域力も得た単色の画像情報を合成して高解像度画像を得た後、赤、緑、青の高解像度画像を更に合成して高解像度のカラー画像を得た。

[0116] 一方、 2つの撮像領域力得た単色の画像情報から、実施例 3と同様にして被写体距離を求めた。

[0117] このように、本実施例 4により、高解像度のカラー画像の撮影と被写体距離の測定とを両立することができた。

[0118] 上記実施例 4とは異なり、色情報の補間を行うことなく緑色の画像情報を基準として他の色の画像情報を合成し、その後、各画素で色情報の補間を行っても良い。このように合成後に色情報の補間を行う場合、この補間は画素により近い位置の色情報を用いて行うことができる。

[0119] 撮像素子 1104上に設けられるカラーフィルター 1105の色配置は図 12A及び図 1 2Bに示すべィヤー配列に限定されない。三原色の画像情報が得られれば、カラー画像の撮影が可能である。

[0120] 例えば、レンズ 1100aに対応する撮像領域内には図 13Aに示すようにべィヤー配列されたカラーフィルターを設け、レンズ 1100bに対応する撮像領域内には図 13B に示すように緑色の光を透過するフィルターのみを設けても良い。これにより、人の目が最も敏感である緑色の情報をより多く取得することができるので、解像度の高い画像を得ることができる。この場合、レンズ 1100aとしては上記塗布層付き屈折回折レンズを用いることが好まし、。

[0121] あるいは、レンズ 1100aに対応する撮像領域内には図 14Aに示すように緑色の光を透過するフィルターと赤色の光を透過するフィルタ一とが画素配置に対応して巿松模様に配置されたカラーフィルターを設け、レンズ 1100bに対応する撮像領域内には図 14Bに示すように緑色の光を透過するフィルターと青色の光を透過するフィルタ一とが画素配置に対応して巿松模様に配置されたカラーフィルターを設けても良い。このように 1つの撮像領域が受光する色を波長が近い 2色とすることで、赤、緑、青の三原色を受光する場合に比べて、波長の違いによる屈折率の違いがもたらす収差の補正が容易になるので、単レンズの設計が容易になる。

[0122] 以上に説明した実施の形態は、いずれもあくまでも本発明の技術的内容を明らかにする意図のものであって、本発明はこのような具体例にのみ限定して解釈されるものではなぐその発明の精神と請求の範囲に記載する範囲内でいろいろと変更して実施することができ、本発明を広義に解釈すべきである。

産業上の利用可能性

[0123] 本発明の撮像装置の利用分野は特に制限はないが、薄型、小型でありながら高解像度画像を撮像できるので、特に携帯機器搭載用のカメラ等に好ましく利用できる。また、被写体までの距離を測定できることから、車両の周辺監視、セキュリティ、モーシヨンキヤプチヤー、内視鏡などの分野で使用される入力装置にも利用できる。

Claims

請求の範囲

[1] 略同一平面上に配置された複数の撮影光学レンズと、

それぞれが前記複数の撮影光学レンズの各光軸に対して直交する面内に配置された多数の画素を有し、前記複数の撮影光学レンズがそれぞれ結像した複数の被写体像を複数の画像情報に変換する複数の撮像領域と

を備える複眼方式の撮像装置であって、

前記光軸に平行な方向に沿って見たとき少なくとも一対の前記撮影光学レンズが結像した少なくとも一対の被写体像のそれぞれにおける互いに対応する点を結ぶ少なくとも一本の直線が前記画素の配列方向に対して傾斜していることを特徴とする複眼方式の撮像装置。

[2] 前記光軸に平行な方向に沿って見たとき少なくとも一対の前記撮影光学レンズのそれぞれの光軸を結ぶ直線と前記画素の配列方向とがなす角度を 0、前記一対の撮影光学レンズの光軸間隔を d、前記画素の配列方向と垂直な方向の前記画素の配置ピッチを p、正の整数を nとしたとき、

(2n- l) X p/2-p/4< d X sin 0 < (2n— 1) X p/2+p/4

を満足する請求項 1に記載の複眼方式の撮像装置。

[3] 前記複数の撮像光学レンズの各光路上には、所定の波長の光を透過するフィルタ一が設置されて、る請求項 1に記載の複眼方式の撮像装置。

[4] 前記複数の撮影光学レンズは、一体に成型されたレンズアレイである請求項 1に記載の複眼方式の撮像装置。

[5] 前記複数の撮影光学レンズと前記複数の撮像領域とを、前記複数の撮影光学レンズの光軸に対して直交する面内で相対的に回転させる機構を更に備える請求項 1に記載の複眼方式の撮像装置。

[6] 前記複数の撮影光学レンズと前記複数の撮像領域との距離を調整する機構を更に備える請求項 1に記載の複眼方式の撮像装置。

[7] 前記撮影光学レンズの数が少なくとも 3個であり、

前記光軸に平行な方向に沿って見たとき、二対の前記撮影光学レンズのそれぞれの光軸を結ぶ第 1直線及び第 2直線がなす角度がほぼ直角であり、前記光軸に平行な方向に沿って見たとき、前記第 1直線と前記画素の第 1配列方向とがなす角度を Θ 1、前記第 2直線と前記画素の第 2配列方向とがなす角度を Θ 2 、前記第 1直線に沿って配置された一対の前記撮影光学レンズの光軸間隔を dl、前記第 2直線に沿って配置された一対の前記撮影光学レンズの光軸間隔を d2、前記第 1配列方向に垂直な方向に沿った前記画素の配置ピッチを pi、前記第 2配列方向に垂直な方向に沿った前記画素の配置ピッチを p2、正の整数を m, nとしたとき、 (2n- l) X pl/2-pl/4< dl X sin 0 1 < (2n— 1) X pl/2+pl/4 (2m- 1) X p2/2-p2/4< d2 X sin 0 2< (2m— 1) X p2/2+p2/4 を満足する請求項 2に記載の複眼方式の撮像装置。

[8] 前記光軸間隔 dlと前記光軸間隔 d2とが異なる請求項 7に記載の複眼方式の撮像装置。

[9] 前記配置ピッチ piと前記配置ピッチ p2とが異なる請求項 7に記載の複眼方式の撮像装置。

[10] 前記撮影光学レンズ及び前記撮像領域の数が！ヽずれも 4個であり、

前記光軸に平行な方向に沿って見たとき、前記 4個の撮影光学レンズの光軸が略長方形の頂点に配置され、

前記 4個の撮像領域のうち、 1つに入射する光の光路上には青色の波長帯域の光を透過させるフィルターが設けられており、他の 1つに入射する光の光路上には赤色の波長帯域の光を透過させるフィルターが設けられており、残りの 2つに入射する光の光路上には緑色の波長帯域の光を透過させるフィルターが設けられている請求項

7に記載の複眼方式の撮像装置。

[11] 前記 4個の撮像領域が共通する 1つの撮像素子上に形成されており、前記略長方形と前記撮像素子の有効画素領域の形状とがほぼ相似形である請求項 10に記載の複眼方式の撮像装置。