WO2002056604A1 - Dispositif de traitement d'images - Google Patents

Description

明細書

画像処理装置 技術分野

本発明は、 画像処理装置に関し、 例えば、 単板式 CCDイメージセンサ等を用 いて取得した画像信号から、 広ダイナミックレンジのカラー画像信号を生成する 場合に用いて好適な画像処理装置に関する。 背景技術

CCD (Charge Coupled Device)や CMOS (Complementary Mental-Oxide Semiconau ctor)等のような固体撮像素子が、ビデオカメラやディジタルスチルカメラ等の撮 像装置、 F A (Factory Automation)の分野における部品検査装置、 および M E (M edical Electronics)の分野における電子内視鏡等の光計測装置に幅広く利用さ れている。

従来、 固体撮像素子を用いた撮像装置および光計測機器のダイナミックレンジ を向上させるために、 画素毎に異なる感度で計測した光強度信号を合成する方法 が知られている。 以下、 そのような第 1乃至第 4の従来方法について説明する。 第 1の従来方法としては、 光学的に複数の透過率の異なる光軸に分岐させた入 射光をそれぞれの光軸上に配置させた固体撮像素子で計測する方法を挙げること ができる。 この方法は、 特開平 8 _ 2 2 3 4 9 1号公報等に開示されている。 し かしながら、 第 1の方法では、 複数の固体撮像素子および光を分岐させる複雑な 光学系が必要となるので、 省コスト化ゃ省スペース化の面で不利である問題があ つた。

第 2の従来方法としては、 1つの固体撮像素子を用い、 その露光時間を複数に 分割して複数枚の画像を撮像した後、 それらを合成する方法を挙げることができ る。 この方法は、 特開平 8— 3 3 1 4 6 1号公報等に開示されている。 しかしな がら、 第 2の方法では、 異なる感度で計測された情報は異なる時刻に撮像された ものであり、 かつ、 異なる時間幅で撮像されているので、 光強度が時々刻々と変 化するような動的なシーンを正しく撮像できないという問題があった。

第 3の従来方法としては、 1つの固体撮像素子を用い、 固体撮像素子の撮像面 で互いに隣接する複数の受光素子を 1組として、 受光素子の 1組を出力画像の 1 画素に対応させるようにし、 1組を構成する複数の受光素子の感度をそれぞれ異 なるように設定して撮像する方法を挙げることができる。 この方法は、 米国特許 第 5 7 8 9 7 3 7号公報に開示されている。 固体撮像素子を構成する受光素子の それぞれの感度を変化させる方法としては、 各受光素子を透過率の異なるフィル タで覆う方法がある。 また、 特開 2 0 0 0— 6 9 4 9 1号公報には、 第 3の従来 方法をカラー画像に適応する技術が開示されている。

第 3の従来方法によれば、 第 1の従来方法において問題であった省コスト化ゃ 省スペース化の面で有利となる。 また、 第 2の従来方法において問題であった動 的シーンを正しく撮像できないことを解決することができる。 しかしながら、 第 3の従来方法では、 隣接する'複数の受光素子を 1組として出力画像の 1画素に対 応させるので、 出力画素の解像度を確保するためには、 出力画像の画素数の数倍 の受光素子から成る撮像素子が必要であり、 ュニットセルサイズが大きくなる課 題があった。

第 4の従来方法としては、 通常のダイナミックレンジを有する撮像素子に、 出 力画像の 1画素に対応する 1つの受光素子毎、 その露出が異なるような仕組みを 施して撮像し、 得られた画像信号に所定の画像処理を施して広ダイナミックレン ジの画像信号を生成する方法を挙げることができる。 受光素子毎の露出が異なる ような仕組みは、受光素子毎に光の透過率や開口率を変えたりすることによって、 空間的な感度のパターンをつくることにより実現する。 この方法は、 文献 「S. K. Nayar and T. Mitsunaga, High Dynamic Range Imaging '- Spatially Varying Pix el Exposures , Proc. of Computer Vision and Pattern Recognition 2000, Vol. 1, pp. 472-479, June, 2000」 に開示されている。

第 4の従来方法では、 各受光素子は 1種類の感度だけを有する。 よって、 撮像 された画像の各画素は本来の撮像素子が有するダイナミックレンジの情報しか取 得することができないが、 得られた画像信号に所定の画像処理を施し、 全ての画 素の感度が均一になるようにすることによって、 結果的にダイナミックレンジが 広い画像を生成することができる。また、全ての受光素子が同時に露光するので、 動きのある被写体を正しく撮像することができる。 さらに、 1つの受光素子が出 力画像の 1画素に対応しているので、 ュ-ットセルサイズが大きくなる問題も生 じない。

上述したように、 第 4の従来方法は、 第 1乃至第 3の従来方法の問題を解決す ることが可能である。 しかしながら、 第 4の従来方法は、 モノクロ画像を生成す ることを前提としたものであり、 カラー画像を生成することについては、 その技 術が確立されていない課題があった。 具体的には、 画素毎に色や感度が異なる画 像から、 全ての画素について、 全ての色成分の画像信号を生成し、 かつ、 感度を 均一化する技術は従来確立されていない課題があつた。 発明の開示

本発明はこのような状況に鑑みてなされたものであり、 画素毎に色や感度が異 なる色 ·感度モザイク画像を用いて、 各画素の感度特性が均一化されており、 か つ、 各画素が複数の色成分の全ての色成分を有する復元画像を生成できるように することを目的とする。

本発明の第 1の画像処理装置は、 各画素が複数の色成分のうちのいずれかの色 成分、および光強度に対する複数の感度特性のうちのいずれかの感度特性を有し、 かつ、 同一の色成分および感度特性を有する複数の画素が格子状に配置されると ともに、 感度特性に拘わらず、 同一の色成分を有する複数の画素が格子状に配置 された色■感度モザイク画像に基づき、各画素の感度が均一化されており、かつ、 各画素が複数の色成分の全ての色成分を有する復元画像を復元する復元手段を含 むことを特徴とする。

前記復元手段は、 色 ·感度モザイク画像の感度特性の配列を示す感度モザイク パターン情報、 およぴ色 ·感度モザイク画像の色成分の配列を示す色モザイクパ ターン情報に基づき、 色 ·感度モザイク画像に対応する輝度画像を生成する輝度 画像生成手段と、 感度モザイクパターン情報、 色モザイクパターン情報、 および 輝度画像に基づき、 色 ·感度モザイク画像に対応する単色画像を生成する複数の 単色画像生成手段とを含むことができる。

前記輝度画像生成手段は、 色 ·感度モザイク画像の各画素に対応する色成分の 推定値を算出する複数の推定手段と、 複数の推定手段がそれぞれ算出した複数の 推定値を用いて、 色 ·感度モザイク画像の各画素に対応する輝度候補値を算出す る輝度候補値算出手段とを含むことができる。

前記推定手段は、 複数の感度特性にそれぞれ対応する複数の推定値候補を算出 し、 複数の推定値候補を加算して、 その和に生じている感度特性の非線形性を補 償することによって推定値を算出するようにすることができる。

前記輝度画像生成手段は、 輝度候補値のノィズ成分を除去して輝度値を生成す るノイズ除去手段をさらに含むことができる。

前記単色画像生成手段は、 感度モザイクパターン情報、 および色モザイクパタ ーン情報に基づき、 色 ·感度モザイク画像に対応する単色画像候捕を生成する単 色画像候補生成手段と、 輝度画像に基づき、 単色画像候補を修正して単色画像を 生成する修正手段とを含むことができる。

前記単色画像候補生成手段は、 複数の感度特性にそれぞれ対応する複数の単色 候補値を算出し、 複数の単色候補値を加算して、 その和に生じている感度特性の 非線形性を補償することにより、 単色画像候補の画素値を算出して単色画像候補 を生成するようにすることができる。

前記単色画像候補生成手段は、 方向選択的平滑化処理を用いて、 色 ·感度モザ イク画像に対応する単色画像候補を生成するようにすることができる。

本発明の第 1の画像処理装置は、 被写体を撮像し、 色 ·感度モザィク画像を生 成する撮像手段をさらに含むことができる。

前記復元手段は、 色 ·感度モザイク画像の感度特性の配列を示す感度モザィク パターン情報に基づき、 各画素が有する感度特性を均一化する感度特性均一化手 段と、 色 ·感度モザイク画像の色成分の配列を示す色モザイクパターン情報に基 づき、 各画素の色成分を補間する色補間手段とを含むことができる。

前記感度特性均一化手段は、 感度モザイクパターン情報、 および色モザイクパ ターン情報に基づき、 色■感度モザイク画像の各画素が有する感度特性を均一化 して色モザイク画像を生成するようにすることができ、 前記色補間手段は、 色モ ザィクパターン情報に基づき、 色モザィク画像の各画素の色成分を補間して復元 画像を生成するようにすることができる。

前記感度特性均一化手段は、 感度モザイクパターン情報、 および色モザイクパ ターン情報に基づき、 色■感度モザイク画像の各画素が有する色成分の種類を変 更することなく、 その感度特性を均一化して色モザィク画像を生成するようにす ることができる。

前記感度特性均一化手段は、 感度モザイクパターン情報、 および色モザイクパ ターン情報に基づき、 色■感度モザイク画像の各画素が有する感度特性を均一化 して色モザイク画像を生成し、 色モザイクパターン情報を更新するようにするこ とができる。

前記感度均一化手段は、 感度モザイクパターン情報に基づき、 色 ·感度モザィ ク画像の各画素が有する色成分を補償する補償手段と、 感度モザイクパターン情 報に基づき、 色 ·感度モザイク画像の各画素が有する色成分の有効性を判別する 判別手段と、 判別手段の判別結果に対応して、 補償手段が補償した各画素が有す る色成分を補間処理によって修正する修正手段とを含むことができる。

前記感度均一化手段は、 感度モザイクパターン情報に基づき、 色 ·感度モザィ ク画像の推定画素値を算出する算出手段と、 算出手段が算出した推定画素値を捕 正する補正手段とを含むことができる。

前記色補間手段は、 感度モザイクパターン情報、 および色モザイクパターン情 報に基づき、 色 '感度モザイク画像の各画素に対し、 その感度特性を変更するこ となく、 全ての色成分を捕間して各色成分の感度モザイク画像を生成するように することができ、 前記感度特性均一化手段は、 感度モザイクパターン情報に基づ き、 感度モザイク画像の各画素が有する感度特性を均一化して復元画像を生成す るようにすることができる。

前記色補間手段は、 色■感度モザイク画像から同一の感度特性を有する画素を 抽出する抽出手段と、 抽出手段が抽出した各画素に対し、 全ての色成分を補間す る全色成分捕間手段と、全色成分補間手段が全ての色成分を補間した画素のうち、 同一の色成分を有し、 かつ、 異なる感度特性を有する画素を合成して感度モザィ ク画像を生成する合成手段とを含むことができる。

本発明の第 1の画像処理方法は各画素が複数の色成分のうちのいずれかの色成 分、 および光強度に対する複数の感度特性のうちのいずれかの感度特性を有し、 かつ、 同一の色成分および感度特性を有する複数の画素が格子状に配置されると ともに、 感度特性に拘わらず、 同一の色成分を有する複数の画素が格子状に配置 された色'感度モザイク画像に基づき、各画素の感度が均一化されており、かつ、 各画素が複数の色成分の全ての色成分を有する復元画像を復元する復元ステップ を含むことを特徴とする。

前記復元ステップは、 色 ·感度モザイク画像の感度特性の配列を示す感度モザ イクパターン情報、 および色 ·感度モザイク画像の色成分の配列を示す色モザィ クパターン情報に基づき、 色 ·感度モザイク画像に対応する輝度画像を生成する 輝度画像生成ステツプと、感度モザィクパターン情報、色モザィクパターン情報、 および輝度画像に基づき、 色 ·感度モザイク画像に対応する単色画像を生成する 複数の単色画像生成ステップとを含むことができる。

前記輝度画像生成ステップは、 色 ·感度モザイク画像の各画素に対応する色成 分の推定値を算出する複数の推定ステップと、 複数の推定ステップの処理でそれ ぞれ算出された複数の推定値を用いて、 色 ·感度モザイク画像の各画素に対応す る輝度候補値を算出する輝度候補値算出ステップとを含むことができる。

前記推定ステップの処理は、 複数の感度特性にそれぞれ対応する複数の推定値 候補を算出し、 複数の推定値候補を加算して、 その和に生じている感度特性の非 線形性を補償することによって推定値を算出するようにすることができる。

前記輝度画像生成ステップは、 輝度候補値のノイズ成分を除去して輝度値を生 成するノィズ除去ステツプをさらに含むことができる。

前記単色画像生成ステップは、 感度モザイクパターン情報、 およぴ色モザイク パターン情報に基づき、 色 ·感度モザイク画像に対応する単色画像候補を生成す る単色画像候補生成ステップと、 輝度画像に基づき、 単色画像候補を修正して単 色画像を生成する修正ステップとを含むことができる。

前記単色画像候補生成ステップの処理は、 複数の感度特性にそれぞれ対応する 複数の単色候補値を算出し、 複数の単色候補値を加算して、 その和に生じている 感度特性の非線形性を補償することにより、 単色画像候補の画素値を算出して単 色画像候補を生成するようにすることができる。

前記単色画像候補生成ステップの処理は、方向選択的平滑化処理を用いて、色 - 感度モザイク画像に対応する単色画像候補を生成するようにすることができる。 本発明の第 1の画像処理方法は、 被写体を撮像し、 色 '感度モザイク画像を生 成する撮像ステップをさらに含むことができる。

前記復元ステップは、 色 ·感度モザイク画像の感度特性の配列を示す感度モザ イクパターン情報に基づき、 各画素が有する感度特性を均一化する感度特性均一 化ステップと、 色 ·感度モザイク画像の色成分の配列を示す色モザイクパターン 情報に基づき、各画素の色成分を補間する色補間ステップとを含むことができる。 前記感度特性均一化ステップの処理は、 感度モザイクパターン情報、 および色 モザイクパターン情報に基づき、 色■感度モザイク画像の各画素が有する感度特 性を均一化して色モザイク画像を生成し、 色補間ステップの処理は、 色モザイク パターン情報に基づき、 色モザイク画像の各画素の色成分を補間して復元画像を 生成するようにすることができる。

前記感度特性均一化ステップの処理は、 感度モザイクパターン情報、 およぴ色 モザイクパターン情報に基づき、 色■感度モザイク画像の各画素が有する色成分 の種類を変更することなく、 その感度特性を均一化して色モザイク画像を生成す るようにすることができる。

前記感度特性均一化ステップの処理は、 感度モザイクパターン情報、 およぴ色 モザイクパターン情報に基づき、 色 ·感度モザイク画像の各画素が有する感度特 性を均一化して色モザイク画像を生成し、 色モザィクパターン情報を更新するよ うにすることができる。

前記感度均一化ステップは、 度モザイクパターン情報に基づき、 色 ·感度モザ イク画像の各画素が有する色成分を補償する補償ステップと、 感度モザイクパタ ーン情報に基づき、 色■感度モザイク画像の各画素が有する色成分の有効性を判 別する判別ステップと、 判別手段の判別結果に対応して、 補償ステップの処理で 補償された各画素が有する色成分を補間処理によって修正する修正ステップとを 含むことができる。

前記感度均一化ステップは、 感度モザイクパターン情報に基づき、 色 '感度モ ザイク画像の推定画素値を算出する算出ステップと、 算出ステップの処理で算出 された推定画素値を補正する補正ステップとを含むことができる。

前記色捕間ステップの処理は、 感度モザイクパターン情報、 および色モザイク パターン情報に基づき、 色 ·感度モザイク画像の各画素に対し、 その感度特性を 変更することなく、 全ての色成分を補間して各色成分の感度モザィク画像を生成 するようにすることができ、 前記感度特性均一化ステップの処理は、 感度モザィ クパターン情報に基づき、 感度モザイク画像の各画素が有する感度特性を均一化 して復元画像を生成するようにすることができる。

前記色補間ステップは、 色 '感度モザイク画像から同一の感度特性を有する画 素を抽出する抽出ステップと、 抽出ステップの処理で抽出された各画素に対し、 全ての色成分を補間する全色成分補間ステップと、 全色成分補間ステップの処理 で全ての色成分が捕間された画素のうち、 同一の色成分を有し、 かつ、 異なる感 度特性を有する画素を合成して感度モザイク画像を生成する合成ステップとを含 むことができる。

本発明の第 1の記録媒体のプログラムは、 各画素が複数の色成分のうちのいず れかの色成分、 および光強度に対する複数の感度特性のうちのいずれかの感度特 性を有し、 かつ、 同一の色成分および感度特性を有する複数の画素が格子状に配 置されるとともに、 感度特性に拘わらず、 同一の色成分を有する複数の画素が格 子状に配置された色 ·感度モザイク画像に基づき、 各画素の感度が均一化されて おり、 かつ、 各画素が複数の色成分の全ての色成分を有する復元画像を復元する 復元ステップを含むことを特徴とする。

前記復元ステップは、 色■感度モザイク画像の感度特性の配列を示す感度モザ イクパターン情報、 および色■感度モザイク画像の色成分の配列を示す色モザィ クパターン情報に基づき、 色■感度モザイク画像に対応する輝度画像を生成する 輝度画像生成ステツプと、感度モザィクパターン情報、色モザィクパターン情報、 および輝度画像に基づき、 色■感度モザイク画像に対応する単色画像を生成する 複数の単色画像生成ステップとを含むことができる。

前記輝度画像生成ステップは、 色 ·感度モザイク画像の各画素に対応する色成 分の推定値を算出する複数の推定ステップと、 複数の推定ステップの処理でそれ ぞれ算出された複数の '推定値を用いて、 色■感度モザイク画像の各画素に対応す る輝度候補値を算出する輝度候補値算出ステップとを含むことができる。

前記推定ステップの処理は、 複数の感度特性にそれぞれ対応する複数の推定値 候捕を算出し、 複数の推定値候補を加算して、 その和に生じている感度特性の非 線形性を補償することによって推定値を算出するようにすることが.できる。 前記輝度画像生成ステップは、 輝度候補値のノイズ成分を除去して輝度値を生 成するノイズ除去ステップをさらに含むことができる。

前記単色画像生成ステップは、 感度モザイクパターン情報、 および色モザイク パターン情報に基づき、 色 ·感度モザイク画像に対応する単色画像候補を生成す る単色画像候補生成ステップと、 輝度画像に基づき、 単色画像候補を修正して単 色画像を生成する修正ステップとを含むことができる。

前記単色画像候補生成ステップの処理は、 複数の感度特性にそれぞれ対応する 複数の単色候補値を算出し、 複数の単色候補値を加算して、 その和に生じている 感度特性の非線形性を捕償することにより、 単色画像候補の画素値を算出して単 色画像候補を生成するようにすることができる。

前記単色画像候補生成ステップの処理は、方向選択的平滑化処理を用いて、色 - 感度モザイク画像に対応する単色画像候補を生成するようにすることができる。 本発明の第 1の記録媒体のプログラムは、 被写体を撮像し、 色 ·感度モザィク 画像を生成する処理を制御する撮像制御ステップをさらに含むことができる。 前記復元ステップは、 色 ·感度モザイク画像の感度特性の配列を示す感度モザ イクパターン情報に基づき、 各画素が有する感度特性を均一化する感度特性均一 化ステップと、 色 '感度モザイク画像の色成分の配列を示す色モザイクパターン 情報に基づき、各画素の色成分を補間する色補間ステップとを含むことができる。 前記感度特性均一化ステップの処理は、 感度モザイクパターン情報、 および色 モザイクパターン情報に基づき、 色 ·感度モザイク画像の各画素が有する感度特 性を均一化して色モザイク画像を生成し、 色補間ステップの処理は、 色モザイク パターン情報に基づき、 色モザイク画像の各画素の色成分を補間して復元画像を 生成するようにすることができる。

前記感度特性均一化ステップの処理は、 感度モザイクパターン情報、 およぴ色 モザイクパターン情報に基づき、 色 ·感度モザイク画像の各画素が有する色成分 の種類を変更することなく、 その感度特性を均一化して色モザイク画像を生成す るようにすることができる。

前記感度特性均一化ステップの処理は、 感度モザイクパターン情報、 およぴ色 モザイクパターン情報に基づき、 色 ·感度モザイク画像の各画素が有する感度特 性を均一化して色モザイク画像を生成し、 色モザイクパターン情報を更新するよ うにすることができる。

前記感度均一化ステップは、 度モザイクパターン情報に基づき、 色 '感度モザ イク画像の各画素が有する色成分を補償する補償ステップと、 感度モザイクパタ ーン情報に基づき、 色■感度モザイク画像の各画素が有する色成分の有効性を判 別する判別ステップと、 判別手段の判別結果に対応して、 補償ステップの処理で 補償された各画素が有する色成分を補間処理によって修正する修コ 含むことができる。

前記感度均一化ステップは、 感度モザイクパターン情報に基づき、 色 '感度モ ザイク画像の推定画素値を算出する算出ステップと、 算出ステップの処理で算出 された推定画素値を補正する補正ステップとを含むことができる。

前記色捕間ステップの処理は、 感度モザイクパターン情報、 およぴ色モザイク パターン情報に基づき、 色 '感度モザイク画像の各画素に対し、 その感度特性を 変更することなく、 全ての色成分を補間して各色成分の感度モザイク画像を生成 するようにすることができ、 前記感度特性均一化ステップの処理は、 感度モザィ クパターン情報に基づき、 感度モザイク画像の各画素が有する感度特性を均一化 して復元画像を生成するようにすることができる。

前記色補間ステップは、 色 ·感度モザイク画像から同一の感度特性を有する画 素を抽出する抽出ステップと、 抽出ステツプの処理で抽出された各画素に対し、 全ての色成分を補間する全色成分補間ステップと、 全色成分補間ステップの処理 で全ての色成分が補間された画素のうち、 同一の色成分を有し、 かつ、 異なる感 度特性を有する画素を合成して感度モザイク画像を生成する合成ステップとを含 むことができる。

本発明の第 1のプログラムは、 各画素が複数の色成分のうちのいずれかの色成 分、 および光強度に対する複数の感度特性のうちのいずれかの感度特性を有し、 かつ、 同一の色成分および感度特性を有する複数の画素が格子状に配置されると ともに、 感度特性に拘わらず、 同一の色成分を有する複数の画素が格子状に配置 された色'感度モザィク画像に基づき、各画素の感度が均一化されており、かつ、 各画素が複数の色成分の全ての色成分を有する復元画像を復元する復元ステップ をコンピュータに実行させることを特徴とする。

前記復元ステップは、 色 ·感度モザイク画像の感度特性の配列を示す感度モザ イクパターン情報、 および色 ·感度モザイク画像の色成分の配列を示す色モザィ クパターン情報に基づき、 色■感度モザイク画像に対応する輝度画像を生成する 輝度画像生成ステツプと、感度モザィクパターン情報、色モザィクパターン情報、 および輝度画像に基づき、 色，感度モザイク画像に対応する単色画像を生成する 複数の単色画像生成ステップとを含むことができる。

前記輝度画像生成ステップは、 色 ·感度モザイク画像の各画素に対応する色成 分の推定値を算出する複数の推定ステップと、 複数の推定ステップの処理でそれ ぞれ算出された複数の推定値を用いて、 色 ·感度モザイク画像の各画素に対応す る輝度候補値を算出する輝度候補値算出ステップとを含むことができる。

前記推定ステップの処理は、 複数の感度特性にそれぞれ対応する複数の推定値 候補を算出し、 複数の推定値候補を加算して、 その和に生じている感度特性の非 線形性を補償することによって推定値を算出するようにすることができる。

前記輝度画像生成ステップは、 輝度候補値のノィズ成分を除去して輝度値を生 成するノィズ除去ステップをさらに含むことができる。

前記単色画像生成ステップは、 感度モザイクパターン情報、 および色モザイク パターン情報に基づき、 色■感度モザイク画像に対応する単色画像候補を生成す る単色画像候補生成ステップと、 輝度画像に基づき、 単色画像候補を修正して単 色画像を生成する修正ステップとを含むことができる。

前記単色画像候補生成ステップの処理は、 複数の感度特性にそれぞれ対応する 複数の単色候捕値を算出し、 複数の単色候補値を加算して、 その和に生じている 感度特性の非線形性を補償することにより、 単色画像候補の画素値を算出して単 色画像候補を生成するようにすることができる。

前記単色画像候補生成ステップの処理は、方向選択的平滑化処理を用いて、色 - 感度モザィク画像に対応する単色画像候補を生成するようにすることができる。 本発明の第 1のプログラムは、 被写体を撮像し、 色 ·感度モザイク画像を生成 する処理を制御する撮像制御ステップをさらに含むことができる。

前記復元ステップは、 色■感度モザイク画像の感度特性の配列を示す感度モザ イクパターン情報に基づき、 各画素が有する感度特性を均一化する感度特性均一 化ステップと、 色 .感度モザイク画像の色成分の配列を示す色モザイクパターン 情報に基づき、各画素の色成分を補間する色補間ステップとを含むことができる。 前記感度特性均一化ステップの処理は、 感度モザイクパターン情報、 および色 モザイクパターン情報に基づき、 色 ·感度モザイク画像の各画素が有する感度特 性を均一化して色モザイク画像を生成し、 色補間ステップの処理は、 色モザイク パターン情報に基づき、 色モザイク画像の各画素の色成分を補間して復元画像を 生成するようにすることができる。

前記感度特性均一化ステップの処理は、 感度モザイクパターン情報、 および色 モザイクパターン情報に基づき、 色 ·感度モザイク画像の各画素が有する色成分 の種類を変更することなく、 その感度特性を均一化して色モザィク画像を生成す るようにすることができる。

前記感度特性均一化ステップの処理は、 感度モザイクパターン情報、 および色 モザイクパターン情報に基づき、 色 ·感度モザイク画像の各画素が有する感度特 性を均一化して色モザイク画像を生成し、 色モザイクパターン情報を更新するよ うにすることができる。

前記感度均一化ステップは、 度モザイクパターン情報に基づき、 色■感度モザ イク画像の各画素が有する色成分を補償する補償ステップと、 感度モザイクパタ ーン情報に基づき、 色 ·感度モザイク画像の各画素が有する色成分の有効性を判 別する判別ステップと、 判別手段の判別結果に対応して、 捕償ステップの処理で 補償された各画素が有する色成分を補間処理によって修正する修正ステップとを 含むことができる。

前記感度均一化ステップは、 感度モザイクパターン情報に基づき、 色 .感度モ ザイク画像の推定画素値を算出する算出ステップと、 算出ステップの処理で算出 された推定画素値を補正する補正ステップとを含むことができる。

前記色補間ステップの処理は、 感度モザイクパターン情報、 および色モザイク パターン情報に基づき、 色 ·感度モザイク画像の各画素に対し、 その感度特性を 変更することなく、 全ての色成分を補間して各色成分の感度モザィク画像を生成 するようにすることができ、 前記感度特性均一化ステップの処理は、 感度モザィ クパターン情報に基づき、 感度モザイク画像の各画素が有する感度特性を均一化 して復元画像を生成するようにすることができる。

前記色補間ステップは、 色 ·感度モザイク画像から同一の感度特性を有する画 素を抽出する抽出ステップと、 抽出ステップの処理で抽出された各画素に対し、 全ての色成分を補間する全色成分捕間ステップと、 全色成分補間ステップの処理 で全ての色成分が補間された画素のうち、 同一の色成分を有し、 かつ、 異なる感 度特性を有する画素を合成して感度モザイク画像を生成する合成ステップとを含 むことができる。

本発明の第 2の画像処理装置は、 各画素が複数の色成分のうちのいずれかの色 成分、および光強度に対する複数の感度特性のうちのいずれかの感度特性を有し、 かつ同一の色成分および感度特性を有する複数の画素が格子状に配置されるとと もに、 色成分に拘わらず、 同一の感度特性を有する複数の画素が格子状に配置さ れ、 さらに、 任意の画素と任意の画素の上下左右に隣接する 4画素の合計 5画素 の中には全ての色成分が存在する色 ·感度モザイク画像に基づき、 各画素の感度 が均一化されており、 かつ、 各画素が複数の色成分の全ての色成分を有する復元 画像を復元する復元手段を含むことを特徴とする。

前記復元手段は、 色 ·感度モザイク画像の感度特性の配列を示す感度モザイク パターン情報、 および色 '感度モザイク画像の色成分の配列を示す色モザイクパ ターン情報に基づき、 色■感度モザイク画像に対応する輝度画像を生成する輝度 画像生成手段と、 感度モザイクパターン情報、 色モザイクパターン情報、 および 輝度画像に基づき、 色 ·感度モザイク画像に対応する単色画像を生成する複数の 単色画像生成手段とを含むことができる。

前記輝度画像生成手段は、 色 ·感度モザイク画像の各画素に対応する色成分の 推定値を算出する複数の推定手段と、 複数の推定手段がそれぞれ算出した複数の 推定値を用いて、 色■感度モザイク画像の各画素に対応する輝度候補値を算出す る輝度候補値算出手段とを含むことができる。

前記推定手段は、 複数の感度特性にそれぞれ対応する複数の推定値候補を算出 し、 複数の推定値候補を加算して、 その和に生じている感度特性の非線形性を捕 償することによって推定値を算出するようにすることができる。

前記輝度画像生成手段は、 輝度候補値のノィズ成分を除去して輝度値を生成す るノイズ除去手段をさらに含むことができる。

前記単色画像生成手段は、 感度モザイクパターン情報、 および色モザイクパタ ーン情報に基づき、 色 ·感度モザイク画像に対応する単色画像候補を生成する単 色画像候補生成手段と、 輝度画像に基づき、 単色画像候補を修正して単色画像を 生成する修正手段とを含むことができる。

前記単色画像候補生成手段は、 複数の感度特性にそれぞれ対応する複数の単色 候捕値を算出し、 複数の単色候補値を加算して、 その和に生じている感度特性の 非線形性を補償することにより、 単色画像候補の画素値を算出して単色画像候補 を生成するようにすることができる。

前記単色画像候補生成手段は、 方向選択的平滑化処理を用いて、 色■感度モザ イク画像に対応する単色画像候補を生成するようにすることができる。

本発明の第 2の画像処理装置は、 被写体を撮像し、 色■感度モザイク画像を生 成する撮像手段をさらに含むことができる。

前記復元手段は、 色 ·感度モザイク画像の感度特性の配列を示す感度モザイク パターン情報に基づき、 各画素が有する感度特性を均一化する感度特性均一化手 段と、 色 ·感度モザイク画像の色成分の配列を示す色モザイクパターン情報に基 づき、 各画素の色成分を補間する色補間手段とを含むことができる。

前記感度特性均一化手段は、 感度モザイクパターン情報、 および色モザイクパ ターン情報に基づき、 色 '感度モザイク画像の各画素が有する感度特性を均一化 して色モザイク画像を生成するようにすることができ、 前記色補間手段は、 色モ ザイクパターン情報に基づき、 色モザイク画像の各画素の色成分を補間して復元 画像を生成するようにすることができる。

前記感度特性均一化手段は、 感度モザイクパターン情報、 および色モザイクパ ターン情報に基づき、 色 ·感度モザイク画像の各画素が有する色成分の種類を変 更することなく、 その感度特性を均一化して色モザイク画像を生成するようにす ることができる。

前記感度特性均一化手段は、 感度モザイクパターン情報、 および色モザイクパ ターン情報に基づき、 色 ·感度モザイク画像の各画素が有する感度特性を均一化 して色モザイク画像を生成し、 色モザイクパターン情報を更新するようにするこ とができる。

前記感度均一化手段は、 感度モザイクパターン情報に基づき、 色■感度モザィ ク画像の各画素が有する色成分を補償する補償手段と、 感度モザイクパターン情 報に基づき、 色 ·感度モザイク画像の各画素が有する色成分の有効性を判別する 判別手段と、 判別手段の判別結果に対応して、 補償手段が補償した各画素が有す る色成分を補間処理によって修正する修正手段とを含むことができる。

前記感度均一化手段は、 感度モザイクパターン情報に基づき、 色■感度モザィ ク画像の推定画素値を算出する算出手段と、 算出手段が算出した推定画素値を補 正する補正手段とを含むことができる。

前記色補間手段は、 感度モザイクパターン情報、 および色モザイクパターン情 報に基づき、 色■感度モザイク画像の各画素に対し、 その感度特性を変更するこ -となく、 全ての色成分を補間して各色成分の感度モザイク画像を生成するように することができ、 前記感度特性均一化手段は、 感度モザイクパターン情報に基づ き、 感度モザイク画像の各画素が有する感度特性を均一化して復元画像を生成す るようにすることができる。.

前記色補間手段は、 色■感度モザイク画像から同一の感度特性を有する画素を 抽出する抽出手段と、 抽出手段が抽出した各画素に対し、 全ての色成分を補間す る全色成分補間手段と、全色成分補間手段が全ての色成分を補間した画素のうち、 同一の色成分を有し、 かつ、 異なる感度特性を有する画素を合成して感度モザィ ク画像を生成する合成手段とを含むことができる。

本発明の第 2の画像処理方法は、 各画素が複数の色成分のうちのいずれかの色 成分、および光強度に対する複数の感度特性のうちのいずれかの感度特性を有し、 かつ同一の色成分および感度特性を有する複数の画素が格子状に配置されるとと もに、 色成分に拘わらず、 同一の感度特性を有する複数の画素が格子状に配置さ れ、 さらに、 任意の画素と任意の画素の上下左右に隣接する 4画素の合計 5画素 の中には全ての色成分が存在する色■感度モザイク画像に基づき、 各画素の感度 が均一化されており、 かつ、 各画素が複数の色成分の全ての色成分を有する復元 画像を復元する復元ステップを含むことを特徴とする。

前記復元ステップは、 色 ·感度モザイク画像の感度特性の配列を示す感度モザ イクパターン情報、 および色 '感度モザイク画像の色成分の配列を示す色モザィ クパターン情報に基づき、 色 ·感度モザイク画像に対応する輝度画像を生成する 輝度画像生成ステップと、感度モザィクパターン情報、色モザィクパターン情報、 および輝度画像に基づき、 色■感度モザイク画像に対応する単色画像を生成する 複数の単色画像生成ステップとを含むことができる。

前記輝度画像生成ステップは、 色 ·感度モザイク画像の各画素に対応する色成 分の推定値を算出する複数の推定ステップと、 複数の推定ステップの処理でそれ ぞれ算出された複数の推定値を用いて、 色 ·感度モザイク画像の各画素に対応す る輝度候補値を算出する輝度候補値算出ステップとを含むことができる。

前記推定ステップの処理は、 複数の感度特性にそれぞれ対応する複数の推定値 候補を算出し、 複数の推定値候補を加算して、 その和に生じている感度特性の非 線形性を補償することによって推定値を算出するようにすることができる。 前記輝度画像生成ステップは、 輝度候補値のノイズ成分を除去して輝度値を生 成するノイズ除去ステップをさらに含むことができる。

前記単色画像生成ステップは、 感度モザイクパターン情報、 および色モザイク パターン情報に基づき、 色 ·感度モザイク画像に対応する単色画像候補を生成す る単色画像候補生成ステップと、 輝度画像に基づき、 単色画像候補を修正して単 色画像を生成する修正ステップとを含むことができる。

前記単色画像候補生成ステップの処理は、 複数の感度特性にそれぞれ対応する 複数の単色候補値を算出し、 複数の単色候補値を加算して、 その和に生じている 感度特性の非線形性を補償することにより、 単色画像候補の画素値を算出して単 色画像候補を生成するようにすることができる。

前記単色画像候補生成ステップの処理は、方向選択的平滑化処理を用いて、色 - 感度モザイク画像に対応する単色画像候補を生成するようにすることができる。 本発明の第 2の画像処理方法は、 被写体を撮像し、 色 ·感度モザイク画像を生 成する撮像ステップをさらに含むことができる。

前記復元ステップは、 色 ·感度モザイク画像の感度特性の配列を示す感度モザ イクパターン情報に基づき、 各画素が有する感度特性を均一化する感度特性均一 化ステップと、 色 ·感度モザイク画像の色成分の配列を示す色モザイクパターン 情報に基づき、各画素の色成分を補間する色補間ステップとを含むことができる。 前記感度特性均一化ステップの処理は、 感度モザイクパターン情報、 および色 モザイクパターン情報に基づき、 色 ·感度モザイク画像の各画素が有する感度特 性を均一化して色モザイク画像を生成するようにすることができ、 前記色捕間ス テツプの処理は、 色モザイクパターン情報に基づき、 色モザイク画像の各画素の 色成分を補間して復元画像を生成するようにすることができる。

前記感度特性均一化ステップの処理は、 感度モザイクパターン情報、 および色 モザイクパターン情報に基づき、 色 ·感度モザイク画像の各画素が有する色成分 の種類を変更することなく、 その感度特性を均一化して色モザィク画像を生成す るようにすることができる。

前記感度特性均一化ステップの処理は、 感度モザイクパターン情報、 および色 モザイクパターン情報に基づき、 色 ·感度モザイク画像の各画素が有する感度特 性を均一化して色モザィク画像を生成し、 色モザィクパターン情報を更新するよ うにすることができる。

前記感度均一化ステップは、 感度モザイクパターン情報に基づき、 色 '感度モ ザイク画像の各画素が有する色成分を補償する補償ステップと、 感度モザイクパ ターン情報に基づき、 色 ·感度モザイク画像の各画素が有する色成分の有効性を 判別する判別ステップと、 判別手段の判別結果に対応して、 補償ステップの処理 で捕償された各画素が有する色成分を捕間処理によつて修正する修正ステツプと を含むことができる。

前記感度均一化ステップは、 感度モザイクパターン情報に基づき、 色 ·感度モ ザイク画像の推定画素値を算出する算出ステップと、 算出ステップの処理で算出 された推定画素値を補正する補正ステップとを含むことができる。

前記色補間ステップの処理は、 感度モザイクパターン情報、 およぴ色モザイク パターン情報に基づき、 色 '感度モザイク画像の各画素に対し、 その感度特性を 変更することなく、 全ての色成分を補間して各色成分の感度モザィク画像を生成 するようにすることができ、 前記感度特性均一化ステップの処理は、 感度モザィ クパターン情報に基づき、 感度モザイク画像の各画素が有する感度特性を均一化 して復元画像を生成するようにすることができる。

前記色補間ステップは、 色 ·感度モザイク画像から同一の感度特性を有する画 素を抽出する抽出ステップと、 抽出ステップの処理で抽出された各画素に対し、 全ての色成分を補間する全色成分補間ステップと、 全色成分補間ステップの処理 で全ての色成分が補間された画素のうち、 同一の色成分を有し、 かつ、 異なる感 度特性を有する画素を合成して感度モザイク画像を生成する合成ステップとを含 むことができる。

本発明の第 2の記録媒体のプログラムは、 各画素が複数の色成分のうちのいず れかの色成分、 および光強度に対する複数の感度特性のうちのいずれかの感度特 性を有し、 かつ同一の色成分および感度特性を有する複数の画素が格子状に配置 されるとともに、 色成分に拘わらず、 同一の感度特性を有する複数の画素が格子 状に配置され、 さらに、 任意の画素と任意の画素の上下左右に隣接する 4画素の 合計 5画素の中には全ての色成分が存在する色 ·感度モザイク画像に基づき、 各 画素の感度が均一化されており、 かつ、 各画素が複数の色成分の全ての色成分を 有する復元画像を復元する復元ステップを含むことを特徴とする。

前記復元ステップは、 色 ·感度モザイク画像の感度特性の配列を示す感度モザ イクパターン情報、 および色■感度モザイク画像の色成分の配列を示す色モザィ クパターン情報に基づき、 色■感度モザイク画像に対応する輝度画像を生成する 輝度画像生成ステツプと、感度モザィクパターン情報、色モザィクパターン情報、 および輝度画像に基づき、 色 ·感度モザイク画像に対応する単色画像を生成する 複数の単色画像生成ステップとを含むことができる。

前記輝度画像生成ステップは、 色 ·感度モザイク画像の各画素に対応する色成 分の推定値を算出する複数の推定ステップと、 複数の推定ステップの処理でそれ ぞれ算出された複数の推定値を用いて、 色 '感度モザイク画像の各画素に対応す る輝度候補値を算出する輝度候補値算出ステップとを含むことができる。

前記推定ステップの処理は、 複数の感度特性にそれぞれ対応する複数の推定値 候補を算出し、 複数の推定値候補を加算して、 その和に生じている感度特性の非 線形性を補償することによって推定値を算出するようにすることができる。

前記輝度画像生成ステップは、 輝度候補値のノィズ成分を除去して輝度値を生 成するノイズ除去ステップをさらに含むことができる。

前記単色画像生成ステップは、 感度モザイクパターン情報、 および色モザイク パターン情報に基づき、 色 ·感度モザイク画像に対応する単色画像候補を生成す る単色画像候補生成ステップと、 輝度画像に基づき、 単色画像候補を修正して単 色画像を生成する修正ステップとを含むことができる。

前記単色画像候補生成ステップの処理は、 複数の感度特性にそれぞれ対応する 複数の単色候補値を算出し、 複数の単色候補値を加算して、 その和に生じている 感度特性の非線形性を補償することにより、 単色画像候補の画素値を算出して単 色画像候補を生成するようにすることができる。

前記単色画像候補生成ステップの処理は、方向選択的平滑化処理を用いて、色 - 感度モザイク画像に対応する単色画像候補を生成するようにすることができる。 本発明の第 2の記録媒体のプログラムは、 被写体を撮像し、 色 '感度モザイク 画像を生成する処理を制御する撮像制御ステップをさらに含むことができる。 前記復元ステップは、 色 ·感度モザイク画像の感度特性の配列を示す感度モザ イクパターン情報に基づき、 各画素が有する感度特性を均一化する感度特性均一 化ステップと、 色■感度モザイク画像の色成分の配列を示す色モザイクパターン 情報に基づき、各画素の色成分を補間する色補間ステップとを含むことができる。 前記感度特性均一化ステップの処理は、 感度モザイクパターン情報、 および色 モザイクパターン情報に基づき、 色 ·感度モザイク画像の各画素が有する感度特 性を均一化して色モザイク画像を生成するようにすることができ、 前記色補間ス テツプの処理は、 色モザイクパターン情報に基づき、 色モザイク画像の各画素の 色成分を補間して復元画像を生成するようにすることができる。

前記感度特性均一化ステップの処理は、 感度モザイクパターン情報、 およぴ色 モザイクパターン情報に基づき、 色■感度モザイク画像の各画素が有する色成分 の種類を変更することなく、 その感度特性を均一化して色モザイク画像を生成す るようにすることができる。

前記感度特性均一化ステップの処理は、 感度モザイクパターン情報、 および色 モザイクパターン情報に基づき、 色 ·感度モザイク画像の各画素が有する感度特 性を均一化して色モザイク画像を生成し、 色モザィクパターン情報を更新するよ うにすることができる。

前記感度均一化ステップは、 感度モザイクパターン情報に基づき、 色 '感度モ ザイク画像の各画素が有する色成分を補償する補償ステップと、 感度モザイクパ ターン情報に基づき、 色■感度モザイク画像の各画素が有する色成分の有効性を 判別する判別ステップと、 判別手段の判別結果に対応して、 補償ステップの処理 で補償された各画素が有する色成分を捕間処理によつて修正する修正ステツプと を含むことができる。

前記感度均一化ステップは、 感度モザイクパターン情報に基づき、 色 ·感度モ ザイク画像の推定画素値を算出する算出ステップと、 算出ステップの処理で算出 された推定画素値を補正する補正ステップとを含むことができる。

前記色補間ステップの処理は、 感度モザイクパターン情報、 および色モザイク パターン情報に基づき、 色 '感度モザイク画像の各画素に対し、 その感度特性を 変更することなく、 全ての色成分を補間して各色成分の感度モザィク画像を生成 するようにすることができ、 前記感度特性均一化ステップの処理は、 感度モザィ クパターン情報に基づき、 感度モザイク画像の各画素が有する感度特性を均一化 して復元画像を生成するようにすることができる。

前記色捕間ステップは、 色 ·感度モザイク画像から同一の感度特性を有する画 素を抽出する抽出ステップと、 抽出ステップの処理で抽出された各画素に対し、 全ての色成分を補間する全色成分補間ステップと、 全色成分補間ステップの処理 で全ての色成分が補間された画素のうち、 同一の色成分を有し、 かつ、 異なる感 度特性を有する画素を合成して感度モザイク画像を生成する合成ステップとを含 むことができる。

本発明の第 2のプログラムは、 各画素が複数の色成分のうちのいずれかの色成 分、 および光強度に対する複数の感度特性のうちのいずれかの感度特性を有し、 かつ同一の色成分および感度特性を有する複数の画素が格子状に配置されるとと もに、 色成分に拘わらず、 同一の感度特性を有する複数の画素が格子状に配置さ れ、 さらに、 任意の画素と任意の画素の上下左右に隣接する 4画素の合計 5画素 の中には全ての色成分が存在する色 ·感度モザイク画像に基づき、 各画素の感度 が均一化されており、 かつ、 各画素が複数の色成分の全ての色成分を有する復元 画像を復元する復元ステップをコンピュータに実行させることを特徴とする。 前記復元ステップは、 色 ·感度モザイク画像の感度特性の配列を示す感度モザ イクパターン情報、 およぴ色 ·感度モザイク画像の色成分の配列を示す色モザィ クパターン情報に基づき、 色 ·感度モザイク画像に対応する輝度画像を生成する 輝度画像生成ステップと、感度モザイクパターン情報、色モザイクパターン情報、 および輝度画像に基づき、 色 ·感度モザイク画像に対応する単色画像を生成する 複数の単色画像生成ステップとを含むことができる。

前記輝度画像生成ステップは、 色 ·感度モザイク画像の各画素に対応する色成 分の推定値を算出する複数の推定ステップと、 複数の推定ステップの処理でそれ ぞれ算出された複数の推定値を用いて、 色 ·感度モザイク画像の各画素に対応す る輝度候補値を算出する輝度候補値算出ステップとを含むことができる。 前記推定ステップの処理は、 複数の感度特性にそれぞれ対応する複数の推定値 候補を算出し、 複数の推定値候補を加算して、 その和に生じている感度特性の非 線形性を補償することによって推定値を算出するようにすることができる。

前記輝度画像生成ステップは、 輝度候補値のノィズ成分を除去して輝度値を生 成するノイズ除去ステップをさらに含むことができる。

前記単色画像生成ステップは、 感度モザイクパターン情報、 および色モザイク パターン情報に基づき、 色 ·感度モザイク画像に対応する単色画像候捕を生成す る単色画像候補生成ステップと、 輝度画像に基づき、 単色画像候補を修正して単 色画像を生成する修正ステップとを含むことができる。

前記単色画像候補生成ステップの処理は、 複数の感度特性にそれぞれ対応する 複数の単色候補値を算出し、 複数の単色候補値を加算して、 その和に生じている 感度特性の非線形性を補償することにより、 単色画像候補の画素値を算出して単 色画像候補を生成するようにすることができる。

前記単色画像候補生成ステップの処理は、方向選択的平滑化処理を用いて、色 - 感度モザイク画像に対応する単色画像候補を生成するようにすることができる。 本発明の第 2のプログラムは、 被写体を撮像し、 色 '感度モザイク画像を生成 する処理を制御する撮像制御ステップをさらに含むことができる。

前記復元ステップは、 色■感度モザイク画像の感度特性の配列を示す感度モザ イクパターン情報に基づき、 各画素が有する感度特性を均一化する感度特性均一 化ステップと、 色 ·感度モザイク画像の色成分の配列を示す色モザイクパターン 情報に基づき、各画素の色成分を補間する色補間ステップとを含むことができる。 前記感度特性均一化ステップの処理は、 感度モザイクパターン情報、 および色 モザイクパターン情報に基づき、 色 ·感度モザィク画像の各画素が有する感度特 性を均一化して色モザイク画像を生成するようにすることができ、 前記色補間ス テツプの処理は、 色モザイクパターン情報に基づき、 色モザイク画像の各画素の 色成分を補間して復元画像を生成するようにすることができる。

前記感度特性均一化ステップの処理は、 感度モザイクパターン情報、 およぴ色 モザイクパターン情報に基づき、 色 ·感度モザイク画像の各画素が有する色成分 の種類を変更することなく、 その感度特性を均一化して色モザィク画像を生成す るようにすることができる。 '

前記感度特性均一化ステップの処理は、 感度モザイクパターン情報、 および色 モザイクパターン情報に基づき、 色 ·感度モザイク画像の各画素が有する感度特 性を均一化して色モザイク画像を生成し、 色モザイクパターン情報を更新するよ うにすることができる。

前記感度均一化ステップは、 感度モザイクパターン情報に基づき、 色 '感度モ ザイク画像の各画素が有する色成分を補償する補償ステップと、 感度モザイクパ ターン情報に基づき、 色 ·感度モザイク画像の各画素が有する色成分の有効性を 判別する判別ステップと、 判別手段の判別結果に対応して、 補償ステップの処理 で補償された各画素が有する色成分を捕間処理によつて修正する修正ステップと を含むことができる。

前記感度均一化ステップは、 感度モザイクパターン情報に基づき、 色 '感度モ ザイク画像の推定画素値を算出する算出ステップと、 算出ステップの処理で算出 された推定画素値を補正する補正ステップとを含むことができる。

前記色捕間ステップの処理は、 感度モザイクパターン情報、 および色モザイク パターン情報に基づき、 色 ·感度モザイク画像の各画素に対し、 その感度特性を 変更することなく、 全ての色成分を補間して各色成分の感度モザィク画像を生成 するようにすることができ、 前記感度特性均一化ステップの処理は、 感度モザィ クパターン情報に基づき、 感度モザイク画像の各画素が有する感度特性を均一化 して復元画像を生成するようにすることができる。

前記色補間ステップは、 色 ·感度モザイク画像から同一の感度特性を有する画 素を抽出する抽出ステップと、 抽出ステップの処理で抽出された各画素に対し、 全ての色成分を補間する全色成分補間ステップと、 全色成分補間ステップの処理 で全ての色成分が捕間された画素のうち、 同一の色成分を有し、 かつ、 異なる感 度特性を有する画素を合成して感度モザイク画像を生成する合成ステップとを含 むことができる。

本発明の第 3の画像処理装置は、 色■感度モザイク画像の感度特性の配列を示 す感度モザイクパターン情報に基づき、 各画素が有する感度特性を均一化する感 度特性均一化手段と、 色 ·感度モザイク画像の色成分の配列を示す色モザイクパ ターン情報に基づき、 各画素の色成分を補間する色補間手段とを含むことを特徴 とする。

前記感度特性均一化手段は、 感度モザイクパターン情報、 および色モザイクパ ターン情報に基づき、 色 ·感度モザイク画像の各画素が有する感度特性を均一化 して色モザイク画像を生成するようにすることができ、 前記色補間手段は、 色モ ザイクパターン情報に基づき、 色モザイク画像の各画素の色成分を補間して復元 画像を生成するようにすることができる。

前記感度特性均一化手段は、 感度モザイクパターン情報、 およぴ色モザイクパ ターン情報に基づき、 色 ·感度モザイク画像の各画素が有する色成分の種類を変 更することなく、 その感度特性を均一化して色モザィク画像を生成するようにす ることができる。

前記感度特性均一化手段は、 感度モザイクパターン情報、 およぴ色モザイクパ ターン情報に基づき、 色，感度モザイク画像の各画素が有する感度特性を均一化 して色モザィク画像を生成し、 色モザィクパターン情報を更新するようにするこ とができる。

前記感度均一化手段は、 感度モザイクパターン情報に基づき、 色 ·感度モザィ ク画像の各画素が有する色成分を補償する補償手段と、 感度モザイクパターン情 報に基づき、 色 ·感度モザイク画像の各画素が有する色成分の有効性を判別する 判別手段と、 判別手段の判別結果に対応して、 補償手段が補償した各画素が有す る色成分を補間処理によって修正する修正手段とを含むことができる。

前記感度均一化手段は、 感度モザイクパターン情報に基づき、 色 ·感度モザィ ク画像の推定画素値を算出する算出手段と、 算出手段が算出した推定画素値を補 正する補正手段とを含むことができる。 前記色補間手段は、 感度モザイクパターン情報、 および色モザイクパターン情 報に基づき、 色 ·感度モザイク画像の各画素に対し、 その感度特性を変更するこ となく、 全ての色成分を補間して各色成分の感度モザイク画像を生成するように することができ、 前記感度特性均一化手段は、 感度モザイクパターン情報に基づ き、 感度モザイク画像の各画素が有する感度特性を均一化して復元画像を生成す るようにすることができる。

前記色補間手段は、 色 ·感度モザイク画像から同一の感度特性を有する画素を 抽出する抽出手段と、 抽出手段が抽出した各画素に対し、 全ての色成分を補間す る全色成分補間手段と、全色成分補間手段が全ての色成分を補間した画素のうち、 同一の色成分を有し、 かつ、 異なる感度特性を有する画素を合成して感度モザィ ク画像を生成する合成手段とを含むことができる。

本発明の第 3の画像処理装置は、 被写体を撮像し、 色■感度モザイク画像を生 成する撮像手段をさらに含むことができる。

本発明の第 3の画像処理方法は、 色 ·感度モザイク画像の感度特性の配列を示 す感度モザイクパターン情報に基づき、 各画素が有する感度特性を均一化する感 度特性均一化ステップと、 色■感度モザイク画像の色成分の配列を示す色モザィ クパターン情報に基づき、 各画素の色成分を補間する色補間ステップとを含むこ とを特徴とする。

前記感度特性均一化ステップの処理は、 感度モザイクパターン情報、 および色 モザイクパターン情報に基づき、 色 .感度モザイク画像の各画素が有する感度特 性を均一化して色モザイク画像を生成するようにすることができ、 前記色補間ス テツプの処理は、 色モザイクパターン情報に基づき、 色モザイク画像の各画素の 色成分を補間して復元画像を生成するようにすることができる。

前記感度特性均一化ステップの処理は、 感度モザイクパターン情報、 および色 モザイクパターン情報に基づき、 色 .感度モザイク画像の各画素が有する色成分 の種類を変更することなく、 その感度特性を均一化して色モザイク画像を生成す るようにすることができる。 前記感度特性均一化ステップの処理は、 感度モザイクパターン情報、 および色 モザイクパターン情報に基づき、 色 ·感度モザイク画像の各画素が有する感度特 性を均一化して色モザイク画像を生成し、 色モザイクパターン情報を更新するよ うにすることができる。

前記感度均一化ステップは、 感度モザイクパターン情報に基づき、 色 '感度モ ザイク画像の各画素が有する色成分を補償する補償ステップと、 感度モザイクパ ターン情報に基づき、 色 ·感度モザイク画像の各画素が有する色成分の有効性を 判別する判別ステップと、 判別ステップの処理での判別結果に対応して、 補償ス テツプの処理で補償された各画素が有する色成分を補間処理によって修正する修 正ステップとを含むことができる。

前記感度均一化ステップは、 感度モザイクパターン情報に基づき、 色 ·感度モ ザイク画像の推定画素値を算出する算出ステップと、 算出ステップの処理で算出 された推定画素値を補正する補正ステップとを含むことができる。

前記色捕間ステップの処理は、 感度モザイクパターン情報、 および色モザイク パターン情報に基づき、 色 ·感度モザイク画像の各画素に対し、 その感度特性を 変更することなく、 全ての色成分を補間して各色成分の感度モザイク画像を生成 するようにすることができ、 前記感度特性均一化ステップの処理は、 感度モザィ クパターン情報に基づき、 感度モザイク画像の各画素が有する感度特性を均一化 して復元画像を生成するようにすることができる。

前記色補間ステップは、 色 '感度モザイク画像から同一の感度特性を有する画 素を抽出する抽出ステップと、 抽出ステップの処理で抽出された各画素に対し、 全ての色成分を補間する全色成分補間ステップと、 全色成分補間ステップの処理 で全ての色成分が補間された画素のうち、 同一の色成分を有し、 かつ、 異なる感 度特性を有する画素を合成して感度モザイク画像を生成する合成ステップとを含 むことができる。

本発明の第 3の画像処理方法は、 被写体を撮像し、 色 ·感度モザイク画像を生 成する撮像ステップをさらに含むことができる。 本発明の第 3の記録媒体のプログラムは、 色 ·感度モザイク画像の感度特性の 配列を示す感度モザイクパターン情報に基づき、 各画素が有する感度特性を均一 化する感度特性均一化ステップと、 色 ·感度モザイク画像の色成分の配列を示す 色モザイクパターン情報に基づき、 各画素の色成分を捕間する色補間ステップと を含むことを特徴とする。

前記感度特性均一化ステップの処理は、 感度モザイクパターン情報、 および色 モザイクパターン情報に基づき、 色■感度モザイク画像の各画素が有する感度特 性を均一化して色モザイク画像を生成するようにすることができ、 前記色捕間ス テツプの処理は、 色モザイクパターン情報に基づき、 色モザイク画像の各画素の 色成分を補間して復元画像を生成するようにすることができる。

前記感度特性均一化ステップの処理は、 感度モザイクパターン情報、 および色 モザイクパターン情報に基づき、 色■感度モザイク画像の各画素が有する色成分 の種類を変更することなく、 その感度特性を均一化して色モザィク画像を生成す るようにすることができる。

前記感度特性均一化ステップの処理は、 感度モザイクパターン情報、 および色 モザイクパターン情報に基づき、 色■感度モザイク画像の各画素が有する感度特 性を均一化して色モザイク画像を生成し、 色モザイクパターン情報を更新するよ うにすることができる。

前記感度均一化ステップは、 感度モザイクパターン情報に基づき、 色 .感度モ ザイク画像の各画素が有する色成分を補償する補償ステップと、 感度モザイクパ ターン情報に基づき、 色 ·感度モザイク画像の各画素が有する色成分の有効性を 判別する判別ステップと、 判別ステップの処理での判別結果に対応して、 補償ス テップの処理で補償された各画素が有する色成分を補間処理によつて修正する修 正ステップとを含むことができる。

前記感度均一化ステップは、 感度モザイクパターン情報に基づき、 色 .感度モ ザイク画像の推定画素値を算出する算出ステップと、 算出ステップの処理で算出 された推定画素値を補正する補正ステップとを含むことができる。 前記色補間ステップの処理は、 感度モザイクパターン情報、 および色モザイク パターン情報に基づき、 色 ·感度モザイク画像の各画素に対し、 その感度特性を 変更することなく、 全ての色成分を補間して各色成分の感度モザィク画像を生成 するようにすることができ、 前記感度特性均一化ステップの処理は、 感度モザィ クパターン情幸 に基づき、 感度モザイク画像の各画素が有する感度特性を均一化 して復元画像を生成するようにすることができる。

前記色補間ステップは、 色 ·感度モザイク画像から同一の感度特性を有する画 素を抽出する抽出ステップと、 抽出ステップの処理で抽出された各画素に対し、 全ての色成分を補間する全色成分補間ステップと、 全色成分補間ステップの処理 で全ての色成分が補間された画素のうち、 同一の色成分を有し、 かつ、 異なる感 度特性を有する画素を合成して感度モザイク画像を生成する合成ステップとを含 むことができる。

本発明の第 3の記録媒体のプログラムは、 被写体を撮像し、 色 ·感度モザイク 画像を生成する処理を制御する撮像制御ステップをさらに含むことができる。 本発明の第 3のプログラムは、 色 .感度モザイク画像の感度特性の配列を示す 感度モザイクパターン情報に基づき、 各画素が有する感度特性を均一化する感度 特性均一化ステップと、 色 ·感度モザイク画像の色成分の配列を示す色モザイク パターン情報に基づき、 各画素の色成分を補間する色補間ステップとをコンビュ ータに実行させることを特徴とする。

前記感度特性均一化ステップの処理は、 感度モザイクパターン情報、 およぴ色 モザイクパターン情報に基づき、 色 ·感度モザイク画像の各画素が有する感度特 性を均一化して色モザィク画像を生成するようにすることができ、 前記色捕間ス テツプの処理は、 色モザイクパターン情報に基づき、 色モザイク画像の各画素の 色成分を補間して復元画像を生成するようにすることができる。

前記感度特性均一化ステップの処理は、 感度モザイクパターン情報、 および色 モザイクパターン情報に基づき、 色 ·感度モザイク画像の各画素が有する色成分 の種類を変更することなく、 その感度特性を均一化して色モザィク画像を生成す るようにすることができる。

前記感度特性均一化ステップの処理は、 感度モザイクパターン情報、 および色 モザイクパターン情報に基づき、 色 ·感度モザイク画像の各画素が有する感度特 性を均一化して色モザィク画像を生成し、 色モザィクパターン情報を更新するよ うにすることができる。

前記感度均一化ステップは、 感度モザイクパターン情報に基づき、 色 ·感度モ ザィク画像の各画素が有する色成分を補償する補償ステツプと、 感度モザィクパ ターン情報に基づき、 色 ·感度モザイク画像の各画素が有する色成分の有効性を 判別する判別ステップと、 判別ステップの処理での判別結果に対応して、 補償ス テップの処理で補償された各画素が有する色成分を補間処理によつて修正する修 正ステップとを含むことができる。

前記感度均一化ステップは、 感度モザイクパターン情報に基づき、 色 '感度モ ザイク画像の推定画素値を算出する算出ステップと、 算出ステップの処理で算出 された推定画素値を補正する補正ステップとを含むことができる。

前記色補間ステップの処理は、 感度モザイクパターン情報、 および色モザイク パターン情報に基づき、 色 ·感度モザイク画像の各画素に対し、 その感度特性を 変更することなく、 全ての色成分を補間して各色成分の感度モザィク画像を生成 するようにすることができ、 前記感度特性均一化ステップの処理は、 感度モザィ クパターン情報に基づき、 感度モザイク画像の各画素が有する感度特性を均一化 して復元画像を生成するようにすることができる。

前記色補間ステップは、 色 ·感度モザイク画像から同一の感度特性を有する画 素を抽出する抽出ステップと、 抽出ステツプの処理で抽出された各画素に対し、 全ての色成分を補間する全色成分補間ステップと、 全色成分補間ステップの処理 で全ての色成分が捕間された画素のうち、 同一の色成分を有し、 かつ、 異なる感 度特性を有する画素を合成して感度モザイク画像を生成する合成ステップとを含 むことができる。

本発明の第 3のプログラムは、 被写体を撮像し、 色 '感度モザイク画像を生成 する処理を制御する撮像制御ステップをさらに含むことができる。

本発明の第 4の画像処理装置は、 色 ·感度モザイク画像の感度特性の配列を示 す感度モザイクパターン情報、 および色 ·感度モザイク画像の色成分の配列を示 す色モザイクパターン情報に基づき、 色■感度モザイク画像に対応する輝度画像 を生成する輝度画像生成手段と、 感度モザイクパターン情報、 色モザイクパター ン情報、 および輝度画像に基づき、 色 ·感度モザイク画像に対応する単色画像を 生成する複数の単色画像生成手段とを含むことを特徴とする。

前記輝度画像生成手段は、 色■感度モザイク画像の各画素に対応する色成分の 推定値を算出する複数の推定手段と、 複数の推定手段がそれぞれ算出した複数の 推定値を用いて、 色■感度モザイク画像の各画素に対応する輝度候補値を算出す る輝度候補値算出手段とを含むことができる。

前記推定手段は、 複数の感度特性にそれぞれ対応する複数の推定値候補を算出 し、 複数の推定値候補を加算して、 その和に生じている感度特性の非線形性を捕 償することによって推定値を算出するようにすることができる。

前記輝度画像生成手段は、 輝度候補値のノイズ成分を除去して輝度値を生成す るノイズ除去手段をさらに含むことができる。

前記単色画像生成手段は、 感度モザイクパターン情報、 および色モザイクパタ ーン情報に基づき、 色■感度モザイク画像に対応する単色画像候補を生成する単 色画像候補生成手段と、 輝度画像に基づき、 単色画像候補を修正して単色画像を 生成する修正手段とを含むことができる。

前記単色画像候補生成手段は、 複数の感度特性にそれぞれ対応する複数の単色 候補値を算出し、 複数の単色候補値を加算して、 その和に生じている感度特性の 非線形性を補償することにより、 単色画像候補の画素値を算出して単色画像候補 を生成するようにすることができる。

前記単色画像候補生成手段は、 方向選択的平滑化処理を用いて、 色■感度モザ イク画像に対応する単色画像候補を生成するようにすることができる。

本発明の第 4の画像処理装置は、 被写体を撮像し、 色 '感度モザイク画像を生 成する撮像手段をさらに含むことができる。

本発明の第 4の画像処理方法は、 色■感度モザイク画像の感度特性の配列を示 す感度モザイクパターン情報、 および色■感度モザイク画像の色成分の配列を示 す色モザイクパターン情報に基づき、 色 ·感度モザイク画像に対応する輝度画像 を生成する輝度画像生成ステップと、 感度モザイクパターン情報、 色モザイクパ ターン情報、 および輝度画像に基づき、 色 ·感度モザイク画像に対応する単色画 像を生成する複数の単色画像生成ステップとを含むことを特徴とする。

前記輝度画像生成ステップは、 色■感度モザイク画像の各画素に対応する色成 分の推定値を算出する複数の推定ステップと、 複数の推定ステップの処理でそれ ぞれ算出された複数の推定値を用いて、 色 '感度モザイク画像の各画素に対応す る輝度候補値を算出する輝度候補値算出ステップとを含むことができる。

前記推定ステップの処理は、 複数の感度特性にそれぞれ対応する複数の推定値 候補を算出し、 複数の推定値候補を加算して、 その和に生じている感度特性の非 線形性を捕償することによって推定値を算出するようにすることができる。

前記輝度画像生成ステップは、 輝度候補値のノイズ成分を除去して輝度値を生 成するノイズ除去ステップをさらに含むことができる。

前記単色画像生成ステップは、 感度モザイクパターン情報、 および色モザイク パターン情報に基づき、 色■感度モザイク画像に対応する単色画像候補を生成す る単色画像候補生成ステップと、 輝度画像に基づき、 単色画像候補を修正して単 色画像を生成する修正ステップとを含むことができる。

前記単色画像候補生成ステップの処理は、 複数の感度特性にそれぞれ対応する 複数の単色候補値を算出し、 複数の単色候補値を加算して、 その和に生じている 感度特性の非線形性を補償することにより、 単色画像候補の画素値を算出して単 色画像候補を生成するようにすることができる。

前記単色画像候補生成ステップの処理は、方向選択的平滑化処理を用いて、色 - 感度モザィク画像に対応する単色画像候補を生成するようにすることができる。 本 明の第 4の画像処理方法は、 被写体を撮像し、 色 ·感度モザイク画像を生 成する撮像ステップをさらに含むことができる。

本発明の第 4の記録媒体のプログラムは、 色 ·感度モザイク画像の感度特性の 配列を示す感度モザイクパターン情報、 およぴ色 '感度モザイク画像の色成分の 配列を示す色モザイクパターン情報に基づき、 色 ·感度モザイク画像に対応する 輝度画像を生成する輝度画像生成ステップと、 感度モザイクパターン情報、 色モ ザイクパターン情報、 および輝度画像に基づき、 色 '感度モザイク画像に対応す る単色画像を生成する複数の単色画像生成ステップとを含むことを特徴とする。 前記輝度画像生成ステップは、 色 ·感度モザイク画像の各画素に対応する色成 分の推定値を算出する複数の推定ステツプと、 複数の推定ステップの処理でそれ ぞれ算出された複数の推定値を用いて、 色，感度モザイク画像の各画素に対応す る輝度候補値を算出する輝度候補値算出ステップとを含むことができる。

前記推定ステップの処理は、 複数の感度特性にそれぞれ対応する複数の推定値 候補を算出し、 複数の推定値候補を加算して、 その和に生じている感度特性の非 線形性を補償することによって推定値を算出するようにすることができる。

前記輝度画像生成ステップは、 輝度候補値のノイズ成分を除去して輝度値を生 成するノイズ除去ステップをさらに含むことができる。

前記単色画像生成ステップは、 感度モザイクパターン情報、 および色モザイク パターン情報に基づき、 色■感度モザイク画像に対応する単色画像候補を生成す る単色画像候補生成ステップと、 輝度画像に基づき、 単色画像候補を修正して単 色画像を生成する修正ステップとを含むことができる。

前記単色画像候補生成ステップの処理は、 複数の感度特性にそれぞれ対応する 複数の単色候補値を算出し、 複数の単色候補値を加算して、 その和に生じている 感度特性の非線形性を補償することにより、 単色画像候補の画素値を算出して単 色画像候補を生成するようにすることができる。

前記単色画像候補生成ステップの処理は、方向選択的平滑化処理を用いて、色 · 感度モザイク画像に対応する単色画像候補を生成するようにすることができる。 本発明の第 4の記録媒体のプログラムは、 被写体を撮像し、 色 .感度モザイク 画像を生成する処理を制御する撮像制御ステツプをさらに含むことができる。 本発明の第 4のプログラムは、 色 ·感度モザイク画像の感度特性の配列を示す 感度モザイクパターン情報、 および色■感度モザイク画像の色成分の配列を示す 色モザイクパターン情報に基づき、 色■感度モザイク画像に対応する輝度画像を 生成する輝度画像生成ステップと、 感度モザイクパターン情報、 色モザイクパタ ーン情報、 および輝度画像に基づき、 色 ·感度モザイク画像に対応する単色画像 を生成する複数の単色画像生成ステップとをコンピュータに実行させることを特 徴とする。

前記輝度画像生成ステップは、 色 ·感度モザイク画像の各画素に対応する色成 分の推定値を算出する複数の推定ステップと、 複数の推定ステップの処理でそれ ぞれ算出された複数の推定値を用いて、 色■感度モザイク画像の各画素に対応す る輝度候補値を算出する輝度候補値算出ステップとを含むことができる。

前記推定ステップの処理は、 複数の感度特性にそれぞれ対応する複数の推定値 候補を算出し、 複数の推定値候補を加算して、 その和に生じている感度特性の非 線形性を捕償することによって推定値を算出するようにすることができる。

前記輝度画像生成ステップは、 輝度候補値のノイズ成分を除去して輝度値を生 成するノイズ除去ステップをさらに含むことができる。

前記単色画像生成ステップは、 感度モザイクパターン情報、 および色モザイク パターン情報に基づき、 色 ·感度モザイク画像に対応する単色画像候補を生成す る単色画像候補生成ステップと、 輝度画像に基づき、 単色画像候補を修正して単 色画像を生成する修正ステップとを含むことができる。

前記単色画像候補生成ステップの処理は、 複数の感度特性にそれぞれ対応する 複数の単色候補値を算出し、 複数の単色候補値を加算して、 その和に生じている 感度特性の非線形性を補償することにより、 単色画像候補の画素値を算出して単 色画像候補を生成するようにすることができる。

前記単色画像候補生成ステップの処理は、方向選択的平滑化処理を用いて、色 · 感度モザイク画像に対応する単色画像候補を生成するようにすることができる。 本発明の第 4のプログラムは、 被写体を撮像し、 色 '感度モザイク画像を生成 する処理を制御する撮像制御ステップをさらに含むことができる。

本発明の第 1の画像処理装置および方法、 並びにプログラムにおいては、 各画 素が複数の色成分のうちのいずれかの色成分、 および光強度に対する複数の感度 特性のうちのいずれかの感度特性を有し、 かつ、 同一の色成分おょぴ感度特性を 有する複数の画素が格子状に配置されるとともに、 感度特性に拘わらず、 同一の 色成分を有する複数の画素が格子状に配置された色 ·感度モザイク画像に基づき、 各画素の感度が均一化されており、 かつ、 各画素が複数の色成分の全ての色成分 を有する復元画像が復元される。

本発明の第 2の画像処理装置および方法、 並びにプログラムにおいては、 各画 素が複数の色成分のうちのいずれかの色成分、 および光強度に対する複数の感度 特性のうちのいずれかの感度特性を有し、 かつ同一の色成分おょぴ感度特性を有 する複数の画素が格子状に配置されるとともに、 色成分に拘わらず、 同一の感度 特性を有する複数の画素が格子状に配置され、 さらに、 任意の画素と任意の画素 の上下左右に隣接する 4画素の合計 5画素の中には全ての色成分が存在する色 - 感度モザイク画像に基づき、 各画素の感度が均一化されており、 かつ、 各画素が 複数の色成分の全ての色成分を有する復元画像が復元される。

本発明の第 3の画像処理装置および方法、 並びにプログラムにおいては、 色 感度モザイク画像の感度特性の配列を示す感度モザイクパターン情報に基づき、 各画素が有する感度特性が均一化され、 色 '感度モザイク画像の色成分の配列を 示す色モザイクパターン情報に基づき、 各画素の色成分が補間される。

本発明の第 4の画像処理装置および方法、 並びにプログラムにおいては、 色 ' 感度モザイク画像の感度特性の配列を示す感度モザイクパターン情報、 および 色 ·感度モザイク画像の色成分の配列を示す色モザイクパターン情報に基づき、 色 ·感度モザイク画像に対応する輝度画像が生成され、 感度モザイクパターン情 報、 色モザイクパターン情報、 および輝度画像に基づき、 色 .感度モザイク画像 に対応する単色画像が生成される。 図面の簡単な説明

図 1は、 本発明を適用したディジタルスチルカメラの構成例を示すプロック図 である。

図 2は、 ディジタルスチルカメラの動作の概要を説明する図である。

図 3は、 被写体の一例を示す図である。

図 4は、 図 3に対応する色 ·感度モザイク画像の一例を示す図である。

図 5は、 色 '感度モザイクパターン P 1を示す図である。

図 6は、 色 ·感度モザイクパターン P 2を示す図である。

図 7は、 色 ·感度モザイクパターン P 3を示す図である。

図 8は、 色 -感度モザイクパターン P 4を示す図である。

図 9は、 色 '感度モザイクパターン P 5を示す図である。

図 1 0は、 色 '感度モザイクパターン P 6を示す図である。

図 1 1は、 色 ·感度モザイクパターン P 7を示す図である。

図 1 2は、 色 '感度モザイクパターン P 8を示す図である。

図 1 3は、 色 .感度モザイクパターン P 9を示す図である。

図 1 4は、 色 '感度モザイクパターン P 1 0を示す図である。

図 1 5は、 色 '感度モザイクパターン P 1 1を示す図である。

図 1 6は、 色 '感度モザイクパターン P 1 2を示す図である。

図 1 7は、 色■感度モザイクパターン P 1 3を示す図である。

図 1 8は、 色 '感度モザイクパターン P 1 4を示す図である。

図 1 9は、 CCDイメージセンサ 4の受光素子の断面を示す図である。

図 2 0は、 感度のモザイク配列を光学的に実現する方法を説明するための図で ある。

図 2 1は、 感度のモザイク配列を光学的に実現する方法を説明するための図で あ ·ο。

図 2 2は、 感度のモザイク配列を光学的に実現する方法を説明するための図で ある。

図 2 3は、 感度のモザイク配列を電子的に実現する第 1の方法を説明するため の図である。

図 2 4は、 感度のモザイク配列を電子的に実現する第 2の方法を説明するため の図である。

図 2 5は、 O R型の電極構造を示す図である。

図 2 6は、 O R型の電極構造の断面を示す図である。

図 2 7は、 AND型の電極構造を示す図である。

図 2 8は、 色 .感度モザイクパターン P 1を実現する O R型の電極構造と AND 型の電極構造の組み合わせを示す図である。

図 2 9は、 色 .感度モザイクパターン P 2を実現する O R型の電極構造と AND 型の電極構造の組み合わせを示す図である。

図 3 0は、 色 '感度モザイクパターン P 3を実現する O R型の電極構造と AND 型の電極構造の組み合わせを示す図である。

図 3 1は、 色 ·感度モザイクパターン P 4を実現する O R型の電極構造と AND 型の電極構造の組み合わせを示す図である。

図 3 2は、 色■感度モザイクパターン P 5を実現する O R型の電極構造と AND 型の電極構造の組み合わせを示す図である。

図 3 3は、 画素の位置座標の定義を説明するための図である。

図 3 4は、 第 1のデモザイク処理の概要を説明するための図である。

図 3 5は、 第 1のデモザイク処理における第 1の感度均一化処理の概要を説明 するための図である。

図 3 6は、 第 1のデモザイク処理における第 1の感度均一化処理の概要を説明 するための図である。

図 3 7は、 第 1のデモザイク処理における第 1の感度均一化処理の概要を説明 するための図である。

図 3 8は、 第 1のデモザイク処理における第 2の感度均一化処理の概要を説明 するための図である。

図 3 9は、 第 1のデモザイク処理における第 2の感度均一化処理の概要を説明 するための図である。

図 4 0は、 第 2のデモザイク処理の概要を説明するための図である。

図 4 1は、 第 2のデモザイク処理における第 1の感度均一化処理の概要を説明 するための図である。

図 4 2は、 第 2のデモザイク処理における第 1の感度均一化処理の概要を説明 するための図である。

図 4 3は、 第 2のデモザィク処理における第 2の感度均一化処理の概要を説明 するための図である。

図 4 4は、 第 2のデモザイク処理における第 2の感度均一化処理の概要を説明 するための図である。

図 4 5は、 画像処理部 7の第 1の構成例を示すプロック図である。

図 4 6は、 感度均一化部 5 1の第 1の構成例を示すブロック図である。

図 4 7は、 色補間部 5 2の構成例を示すプロック図である。

図 4 8は、 色差画像生成部 7 2の構成例を示すブロック図である。

図 4 9は、 輝度画像生成部 7 4の構成例を示すブロック図である。

図 5 0は、 画像処理部 7の第 1の構成例による第 1のデモザイク処理を説明す るフローチヤ一トである。

図 5 1は、 感度均一化部 5 1の第 1の構成例による第 1の感度均一化処理を説 明するフローチヤ一トである。

図 5 2は、 ステップ S 1 1の感度補償処理を説明するフローチャートである。 図 5 3は、ステップ S 1 2の有効性判別処理を説明するフローチャートである。 図 5 4は、 ステップ S 1 3の欠落補間処理を説明するフローチャートである。 図 5 5は、 ステップ S 2の色補間処理を説明するフローチャートである。

図 5 6は、 ステップ S 5 2の第 1の色差画像生成処理を説明するフローチヤ一 トである。 図 5 7は、ステップ S 5 3の輝度画像生成処理を説明するローチャートである。 図 5 8は、ステップ S 5 4の色空間変換処理を説明するフローチャートである。 図 5 9は、 感度均一化部 5 1の第 2の構成例を示すプロック図である。

図 6 0は、 感度均一化部 5 1の第 2の構成例による第 2の感度均一化処理を説 明するフローチャートである。

図 6 1は、 ステップ S 1 0 3の補間処理を説明するフローチヤ一トである。 図 6 2は、 第 2の色差画像生成処理を説明するフローチヤ一トである。

図 6 3は、 ステップ S 1 2 3の画像勾配べクトル演算処理を説明するフローチ ヤートである。

図 6 4は、 画像処理部 7の第 2の構成例を示すブロック図である。

図 6 5は、 感度均一化部 1 1 1の第 1の構成例を示すブロック図である。

図 6 6は、欠落捕間部 1 2 4の欠落補間処理を説明するフローチャートである。 図 6 7は、 感度均一化部 1 1 1の第 2の構成例を示すプロック図である。

図 6 8は、 感度均一化部 1 1 1の第 2の構成例による第 2のデモザイク処理に おける第 2の感度均一化処理を説明するフローチャートである。

図 6 9は、 ステップ S 1 6 3の補間色決定処理を説明するフローチャートであ る。

図 7 0は、 第 3のデモザイク処理の概要を説明するための図である。

図 7 1は、 第 3のデモザイク処理における感度別色捕間処理の概要を説明する ための図である。

図 7 2は、 第 3のデモザイク処理における感度別色捕間処理の概要を説明する ための図である。

図 7 3は、 画像処理部 7の第 3の構成例を示すプロック図である。

図 7 4は、 感度別色補間部 1 5 1の構成例を示すプロック図である。

図 7 5は、 感度均一化部 1 5 2の構成例を示すブロック図である。

図 7 6は、 画像処理部 7の第 3の構成例による第 3のデモザイク処理を説明す るフローチヤ一トである。 図 7 7は、 ステップ S 1 8 1の感度別色補間処理を説明するフローチャートで ある。

図 7 8は、 ステップ S 1 9 3の抽出処理を説明するための図である。

図 7 9は、 ステップ S 1 9 3の抽出処理を説明するための図である。

図 8 0は、 ステップ S 1 8 2の感度均一化処理を説明するフローチャートであ る。

図 8 1は、 ステップ S 2 0 3の局所和算出処理において用いるフィルタ係数の 例を示す図である。

図 8 2は、 画像処理部 7の打 1 4の構成例を示すブロック図である。

図 8 3は、 輝度画像生成部 1 8 1の第 1の構成例を示すプロック図である。 図 8 4は、 単色画像生成部 1 8 2の構成例を示すブロック図である。

図 8 5は、 画像処理部 7の第 4の構成例による第 4のデモザイク処理を説明す るフローチヤ一トである。

図 8 6は、 輝度画像生成部 1 8 1の輝度画像生成処理を説明するフローチヤ一 トである。

図 8 7は、 推定部 1 9 1の R成分推定処理を説明するフローチャートである。 図 8 8は、 R， B成分用補間フィルタ係数の一例を示す図である。

図 8 9は、 G成分用補間フィルタ係数の一例を示す図である。

図 9 0は、 合成感度補償 LUTについて説明するための図である。

図 9 1は、 合成感度補償 LUTについて説明するための図である。

図 9 2は、 合成感度補償 LUTについて説明するための図である。

図 9 3は、 ノイズ除去部 1 9 8のノイズ除去処理を説明するフローチヤ一トで ある。

図 9 4は、 ノイズ除去部 1 9 8の方向選択的平滑化処理を説明するフローチヤ ートである。

図 9 5は、 単色画像生成部 1 8 2の単色画像生成処理を説明するフローチヤ一 トである。 図 9 6は、 比率値算出部 2 0 2の比率値算出処理を説明するフローチヤ一トで ある。

図 9 7は、 平滑化フィルタ係数の一例を示す図である。

図 9 8は、 輝度画像生成部 1 8 1の第 2の構成例を示すプロック図である。 図 9 9は、 推定部 2 1 1による R G B成分の推定処理を説明するフローチヤ一 トである。

図 1 0 0は、 推定画素値 C 0補間処 Sに用いる画素の配置を示す図である。 図 1 0 1は、 推定画素値 C 0補間処理を説明するフローチャートである。 図 1 0 2は、 推定画素値 C 1捕間処理に用いる画素の配置を示す図である。 図 1 0 3は、 推定画素値 C 1捕間処理を説明するフローチャートである。 図 1 0 4 Aは、 推定画素値 C 2補間処理に用いる画素の配置を示す図である。 図 1 0 4 Bは、 推定画素値 C 2補間処理に用いる画素の配置を示す図である。 図 1 0 5は、 推定画素値 C 2補間処理を説明するフローチャートである。 図 1 0 6は、 推定画素値 C 3補間処理に用いる画素の配置を示す図である。 図 1 0 7は、 推定画素値 C 3捕間処理を説明するフローチャートである。 図 1 0 8は、 補間部 2 0 1一 Rによる R候補画像生成処理を説明するフローチ ヤートである。

図 1 0 9は、 補間部 2 0 1一 Bによる B候補画像生成処理を説明するフローチ ヤートである。

図 1 1 0は、 補間部 2 0 1— Gによる G候補画像生成処理を説明するブローチ ヤートである。

図 1 1 1は、 画像処理部 7の第 5の構成例を示すプロック図である。 発明を実施するための最良の形態

図 1は、 本発明の一実施の形態であるディジタルスチルカメラの構成例を示し ている。当該ディジタルスチルカメラは、大別して光学系、信号処理系、記録系、 表示系、 および制御系から構成される。 光学系は、 被写体の光画像を集光するレンズ 1、 光画像の光量を調整する絞り 2、 および、 集光された光画像を光電変換して広ダイナミックレンジの電気信号 に変換する CCDイメージセンサ 4から構成される。

信号処理系は、 CCD イメージセンサ 4からの電気信号をサンプリングすること によってノイズを低減させる相関 2重サンプリング回路 （CDS) 5、相関 2重サン プリング回路 5が出力するアナ口グ信号をディジタル信号に変換する A/Dコン バータ 6、 AZDコンバータ 6から入力されるディジタル信号に所定の画像処理 を施す画像処理部 7から構成される。 なお、 画像処理部 7が実行する処理の詳細 については後述する。

記録系は、 画像処理部 7が処理した画像信号を符号化してメモリ 9に記録し、 また、 読み出して復号し、画像処理部 7に供給する CODEC (Corapression/Decompre ssion) 8 , および、 画像信号を記憶するメモリ 9から構成される。

表示系は、 画像処理部 7が処理した画像信号をアナログ化する D ZAコンバー タ 1 0、 アナログ化された画像信号を後段のディスプレイ 1 2に適合する形式の ビデオ信号にエンコードするビデオエンコーダ 1 1、 および、 入力されるビデオ 信号に対応する画像を表示することにより ファインダと して機能する LCD (Liquid Crystal Display)等よりなるディスプレイ 1 2から構成される。 制御系は、 CCD イメージセンサ 4乃至画像処理部 7の動作タイミングを制御す るタイミングジェネレータ （T G ) 3、 ユーザがシャッタタイミングやその他の コマンドを入力する操作入力部 1 3、 および、 ドライブ 1 5を制御して磁気ディ スク 1 6、 光ディスク 1 7、 光磁気ディスク 1 8、 または半導体メモリ 1 9に記 憶されている制御用プログラムを読み出し、 読み出した制御用プログラム、 操作 入力部 1 3から入力されるユーザからのコマンド等に基づいてディジタルスチル カメラの全体を制御する CPU (Central Processing Unit)などよりなる制御部 1 4 から構成される。

当該ディジタルスチルカメラにおいて、 被写体の光学画像 （入射光） は、 レン ズ 1および絞り 2を介して CCDイメージセンサ 4に入射され、 CCDィメージセン サ 4によって光電変換され、 得られた電気信号は、 相関 2重サンプリング回路 5 によってノイズが除去され、 A/ Dコンバータ 6によってディジタル化された後、 画像処理部 7が内蔵する画像メモリに一時格納される。

なお、 通常の状態では、 タイミングジェネレータ 3による信号処理系に対する 制御により、 画像処理部 7が内蔵する画像メモリには、 一定のフレームレートで 絶えず画像信号が上書きされるようになされている。 画像処理部 7が内蔵する画 像メモリの画像信号は、 D / Aコンバータ 1 0によってアナログ信号に変換され、 ビデオエンコーダ 1 1によってビデオ信号に変換されて対応する画像がディスプ レイ 1 2に表示される。

ディスプレイ 1 2は、 当該ディジタルスチルカメラのファインダの役割も担つ ている。 ユーザが操作入力部 1 3に含まれるシャツタポタンを押下した場合、 制 御部 1 4は、 タイミングジェネレータ 3に対し、 シャツタポタンが押下された直 後の画像信号を取り込み、 その後は画像処理部 7の画像メモリに画像信号が上書 きされないように信号処理系を制御させる。 その後、 画像処理部 7の画像メモリ に書き込まれた画像データは、 C0DEC 8によって符号化されてメモリ 9に記録され る。 以上のようなディジタルスチルカメラの動作によって、 1枚の画像データの 取り込みが完了する。

次に、 当該ディジタルスチルカメラの動作の概要について、 図 2を参照して説 明する。 当該ディジタルスチルカメラは、 CCD イメージセンサ 4を中心とする光 学系の撮像処理によって、 被写体を画素毎に異なる色と感度で撮像し、 色と感度 がモザイク状になった画像 （以下、 色■感度モザイク画像と記述し、 その詳細は 後述する） を得る。 その後、 画像処理部 7を中心とする信号処理系により、 撮像 処理によって得られた画像が、 各画素が全ての色成分を有し、 かつ、 均一の感度 を有する画像に変換される。 以下、 色 ·感度モザイク画像を、 各画素が全ての色 成分を有し、 かつ、 均一の感度を有する画像に変換させる画像処理部 7を中心と する信号処理系の処理を、 デモザイク処理とも記述する。

例えば、 図 3に示すような被写体を撮影した場合、 撮像処理によって図 4に示 すような色 '感度モザィク画像が得られ、 画像処理によつて各画素が全ての色成 分と均一の感度を有する画像に変換される。 すなわち、 図 4に示す色 ·感度モザ イク画像から図 3に示す被写体の元の色を復元する。

次に、 色 ·感度モザイク画像を構成する画素の色成分および感度の配列パター ン （以下、 色 ·感度モザイクパターンと記述する） P 1乃至 1 4を図 5乃至図 1 8に示す。なお、色 ·感度モザイクパターンを構成する色の組み合わせとしては、 R (赤）、 G (緑）、 および B (青） からなる 3色の組合せの他、 Y (黄）、 M (マ ゼンタ）、 C (シアン）、 および G (緑） からなる 4色の組合せがある。 感度の段 階としては、 S 0および S 1から成る 2段階の他、感度 S 2を追加した 3段階や、 さらに、 感度 S 3を追加した 4段階がある。 なお、 図 5乃至図 1 8においては、 各正方形が 1画素に対応しており、 英文字がその色を示し、 英文字の添え字とし て数字がその感度を示している。 例えば、 G。と表示された画素は、 色が G (緑） であって感度が S 0であることを示している。 また、 感度については数字が大き いほど、 より高感度であるとする。

色■感度モザイクパターン P 1乃至 P 1 4は、 以下に示す第 1乃至第 4の特徴 によって分類することができる。

第 1の特徴は、 同一の色および感度を有する画素に注目した場合、 それらが格 子状に配列されており、 かつ、 感度に拘わらず同一の色を有する画素に注目した 場合、 それらが格子状に配列されていることである。 第 1の特徴について、 図 5 に示す色■感度モザイクパターン P 1を参照して説明する。

図 5の.色 ·感度モザイクパターン P 1において、 感度に拘わらず色が Rである 画素に注目した場合、 図面を右回りに 4 5度だけ回転させた状態で見れば明らか なように、 それらは、 水平方向には 2 ^{1 / 2}の間隔で、 垂直方向には 2 ^{3 / 2}の間隔 で格子状の配置されている。 また、 感度に拘わらず色が Bである画素に注目した 場合、 それらも同様に配置されている。 感度に拘わらず色が Gである画素に注目 した場合、 それらは、 水平方向および垂直方向に 2 ^{1 / 2}の間隔で格子状の配置さ れている。 第 1の特徴は、 図 5に示す色 ·感度モザイクパターン P 1の他、 色 ·感度モザ イクパターン p 2， P 4 , P 6 , P 8 , P 9 , P 1 0 , P 1 1 , P 1 3が有して いる。

第 2の特徴は、 同一の色および感度を有する画素に注目した場合、 それらが格 子状に配列されており、 かつ、 色に拘わらず同一の感度を有する画素に注目した 場合、 それらが格子状に配列されており、 かつ、 任意の画素に注目した場合、 そ の画素とその上下左右に位置する 4画素の合計 5画素が有する色の中に、 当該 色 ·感度モザイクパターンに含まれる全ての色が含まれることである。

第 2の特徴は、 図 7に示す色 '感度モザイクパターン P 3の他、 色 '感度モザ イクパターン P 5， P 7 , P 8 , P 9 , P 1 2 , P 1 4が有している。

第 3の特徴は、 第 1の特徴を有しており、 さらに、 3種類の色が用いられてい て、 それらがべィャ（Bayer)配列をなしていることである。 第 3の特徴について、 図 6に示す色■感度モザイクパターン P 2を参照して説明する。

図 6の色 '感度モザイクパターン P 2において、 感度に拘わらず色が Gである 画素に注目した場合、 それらは 1画素おきに市松状に配置されている。 感度に拘 わらず色が Rである画素に注目した場合、 それらは 1ラインおきに配置されてい る。 また、 感度に拘わらず色が Bである画素に注目した場合も同様に、 1ライン おきに配置されている。 したがって、 このパターン P 2は、 画素の色だけに注目 すれば、 べィャ配列であるといえる。

なお、 第 3の特徴は、 図 6の色 '感度モザイクパターン P 2の他、 色 '感度モ ザイクパターン P 1 0 , P 1 1が有している。

第 4の特徴は、 第 2の特徴を有しており、 さらに、 同一の感度を有する画素に 注目した場合、 それらの配列がべィャ配列をなしていることである。 第 4の特徴 について、 図 7に示す色■感度モザイクパターン P 3を参照して説明する。

図 7の色 .感度モザイクパターン P 3において、 感度 S 0の画素だけに注目し た場合、 図面を斜め 4 5度だけ傾けて見れば明らかなように、 それらは 2 ^{1 2}の 間隔を空けてべィャ配列をなしている。 また、 感度 S 1の画素だけに注目した場 合も同様に、 それらはべィャ配列をなしている。

なお、 第 4の特徴は、 図 7の色 .感度モザイクパターン P 3の他、 色 .感度モ ザイクパターン P 5 , P 1 2が有している。

ところで、 以下、 図 5乃至図 1 8に示した色 ·感度モザイクパターン P 1乃至 P 1 4に関連し、 画素の感度に拘わらず色だけに注目して 「色のモザイク配列」 と記述する。 また、 色に拘わらず感度だけに注目して 「感度のモザイク配列」 と 記述する。

次に、 CCD イメージセンサ 4において上述した色 ·感度モザイクパターンを実 現する方法について説明する。

色 '感度モザイクパターンのうち、 色のモザイク配列については、 CCD ィメー ジセンサ 4の受光素子の上面に、 画素毎に異なる色の光だけを透過させるオンチ ップカラーフィルタを配置することによって実現する。

色 ·感度モザイクパターンのうち、 感度のモザイク配列については、 光学的な 方法、 または電子的な方法によって実現する。

感度のモザイク配列を光学的に実現する方法について説明する。図 1 9は、 CCD イメージセンサ 4の受光素子の断面を示している。 受光素子の上部表面には、 ォ ンチップレンズ 2 1が形成されている。 オンチップレンズ 2 1は、 図面上方から の入射光がフォトダイオード （P D ) 2 3に集光されるようになされている。 ォ ンチップカラーフィルタ 2 2は、 入射光の波長帯域を制限する （特定の波長帯域 だけを透過させる）。受光素子の下部には、 ウェハ中にフォトダイオード 2 3が形 成されている。 フォトダイオード 2 3は、 入力された光量に対応して電荷を生じ る。 フォトダイオード 2 1の両脇には、 垂直レジスタ 2 6が形成されている。 垂 直レジスタ 2 6の上部には、 垂直レジスタ 2 1を駆動する垂直レジスタ駆動電極 2 5が配線されている。

垂直レジスタ 2 6は、 フォトダイオード 2 3で生じた電荷を転送する領域であ るので、 そこで電荷が生じることがないように、 垂直レジスタ 2 6と垂直レジス タ駆動電極 2 5はシールド 2 4によって遮光されている。 シールド 2 4は、 フォ トダイォード 2 3の上部だけが開口しており、 その開口部分を入射光が通過して フォトダイォード 2 3に到達するようになされている。

以上説明したように構成される CCDイメージセンサ 4を利用して、 各受光素子 の感度を変えることができる （フォトダイオード 2 3に対する入射光量を変化さ せることができる）。

例えば、 図 2 0に示すように、 オンチップレンズ 2 1の設置の有無により、 集 光される光量を変化させることができる。 また、 例えば図 2 1に示すように、 ォ ンチップカラーフィルタ 2 2の上方 (または下方) にニュートラルデンシティフ ィルタ 3 1を設置することにより、 光の透過率を変えることができる。 また、 例 えば図 2 2に示すように、 シールド 2 4の開口部分の面積を変化させることによ り、 フォトダイオード 2 3に対する入射光量を変化させることができる。

次に、感度のモザイク配列を電子的に実現する 2種類の方法について説明する。 例えば、 隣接する 2つの受光素子 （第 1および第 2の受光素子） に対し、 制御 のタイミングを違えることにより、 2つの受光素子を異なる感度に設定する第 1 の方法について、 図 2 3を参照して説明する。

図 2 3の第 1段目は、 CCD イメージセンサ 4の露光期間を示している。 同図の 第 2段目は、 電荷掃き出しを指令するパルス電圧のタイミングを示している。 同 図の第 3段目は、 電荷転送を指令する制御電圧が与えられるタイミングを示して いる。 同図の第 4段目は、 第 1の受光素子に対し、 電荷読み出しを指令するパル ス電圧のタイミングを示している。 同図の第 5段目は、 電荷掃き出しパルス電圧 および電荷読み出しパルス電圧が与えられることに対応して第 1の受光素子に蓄 積される電荷量の変化を示している。同図の第 6段目は、第 2の受光素子に対し、 電荷読み出しを指令するパルス電圧のタイミングを示している。 同図の第 7段目 は、 電荷掃き出しパルス電圧および電荷読み出しパルス電圧が与えられることに 対応して第 2の受光素子に蓄積される電荷量の変化を示している。

感度のモザィク配列を電子的に実現する第 1の方法において、 電荷掃き出しパ ルス電圧は、 第 1および第 2の受光素子に対し共通して、 露光期間以外において は、 フォ トダイオード 2 3から電荷を掃き出しさせる （リセットさせる） ように 供給され、 露光期間中においては、 所定のタイミングで 1回だけ電荷をリセット するために供給される。

電荷転送電圧は、 露光期間以外においては、 第 1および第 2の受光素子に対し 共通して垂直レジスタ 2 6に電荷を転送させるための波形電圧が供給され、 露光 期間中においては、 垂直レジスタ 2 6からの電荷の転送が停止されるように電荷 転送電圧は供給されない。

電荷読み出しパルス電圧は、 各受光素子に対して異なるタイミングで供給され る。 第 1の受光素子に対しては、 露光期間中の電荷掃き出しパルス電圧の供給タ イミング （同図の第 2段目） の直前に、 1回目の電荷読み出しパルス電圧が供給 され、露光期間中の終了の直前に 2回目の電荷読み出しパルス電圧が供給される。 その結果、 第 1の受光素子からは、 1回目おょぴ 2回目の電荷読み出しパルス 電圧の供給タイミングのそれぞれにおける第 1の受光素子の蓄積電荷量が垂直レ ジスタ 2 6に読み出される。 なお、 露光期間中は垂直レジスタ 2 6の電荷の転送 は停止されているので、 それら 2回の読み出し電荷量が垂直レジスタ 2 6内で加 算され、 露光期間終了後に同じフレームのデータとして垂直レジスタ 2 6から転 送されるようになされている。

一方、 第 2の受光素子に対しては、 露光期間中の電荷掃き出しパルス電圧の供 給タイミングの直前に 1回だけ電荷読み出しパルス電圧が供給される。その結果、 第 2の受光素子からは、 1回だけの電荷読み出しパルス電圧の供給タイミングに おける第 2の受光素子の蓄積電荷量が垂直レジスタ 2 6に読み出される。 なお、 露光期間中は垂直レジスタ 2 3の電荷の転送は停止されているので、 第 2の受光 素子から読み出された蓄積電荷は、 露光期間終了後に、 第 1の受光素子から読み 出された蓄積電荷と同じフレームのデータとして垂直レジスタ 2 6から転送され るようになされている。

以上のように、 第 1の受光素子と第 2の受光素子とに対する制御タイミングを それぞれ違えることにより、 同じ露光期間中に第 1の受光素子殻読み出される蓄 積電荷量と、 第 2の受光素子から読み出される蓄積電荷量、 すなわち感度が異な るように設定することができる。

ところで、 感度のモザイク配列を電子的に実現する第 1の方法では、 受光素子 によっては露光期間中の全域にわたる被写体の情報を計測できないという点が問 題である。

次に、 感度のモザイク配列を電子的に実現する第 2の方法について、 図 2 4を 参照して説明する。 同図の第 1乃至 6段目はそれぞれ、 図 2 3の第 1乃至 6段目 と同様に、 CCD イメージセンサ 4の露光期間、 電荷掃き出しを指令するパルス電 圧のタイミング、 電荷転送を指令する制御電圧が与えられるタイミング、 第 1の 受光素子に対して電荷読み出しを指令するパルス電圧のタイミング、 電荷掃き出 しパルス電圧および電荷読み出しパルス電圧が与えられることに対応して第 1の 受光素子に蓄積される電荷量の変化、 第 2の受光素子に対する電荷読み出しを指 令するパルス電圧のタイミング、 電荷掃き出しパルス電圧および電荷読み出しパ ルス電圧が与えられることに対応して第 2の受光素子に蓄積される電荷量の変化 を示している。

感度のモザイク配列を電子的に実現する第 2の方法においては、 露光期間中に おいて、 電荷掃き出しパルス電圧および電荷読み出しパルス電圧が複数回繰り返 して供給される。

すなわち、 電荷掃き出しパルス電圧については、 第 1および第 2の受光素子に 対し共通して露光期間中において、 1回目の電荷掃き出しパルス電圧と 2回目の 電荷掃き出しパルス電圧の組が複数回供給される。 電荷読み出しパルス電圧につ いては、 第 1の受光素子に対しては、 1回目おょぴ 2回目の電荷掃き出しパルス 電圧の組毎に、 1回目の電荷掃き出しパルス電圧の直前に 1回目の電荷読み出し パルス電圧が供給され、 2回目の電荷掃き出しパルス電圧の直前に 2回目の電荷 読み出しパルス電圧が供給される。 一方、 第 2の受光素子に対しては、 電荷掃き 出しパルス電圧の組毎に、 1回目の電荷掃き出しパルス電圧の直前に 1回だけ電 荷読み出しパルス電圧が供給される。 その結果、 第 1の受光素子からは、 1回目おょぴ 2回目の電荷掃き出しパルス 電圧の組毎に、 1回目の電荷読み出しパルス電圧の供給タイミングにおける第 1 の受光素子の蓄積電荷量と、 2回目の電荷読み出しパルス電圧の供給タイミング における第 1の受光素子の蓄積電荷量が読み出される。 なお、 露光期間中は、 垂 直レジスタ 2 6の電荷の転送が停止されているので、 これら組ごとに 2回ずつ読 み出された電荷量は、 垂直レジスタ 2 6で加算される。 第 2の受光素子からは、 1回目および 2回目の電荷掃き出しパルス電圧の組毎に 1回だけ供給される電荷 読み出しパルス電圧の供給タイミングにおける第 2の受光素子の蓄積電荷量が読 み出される。 これら組ごとに 1回ずつ読み出された電荷量は、 垂直レジスタ 2 6 で加算される。

以上説明したような感度のモザイク配列を電子的に実現する第 2の方法では、 露光期間において電荷の読み出しを複数回繰り返すので、 露光期間中の全域にわ たる被写体の情報を計測することが可能となる。

なお、 上述した感度のモザィク配列を電子的に実現する第 1および第 2の方法 に関連し、 一般的に、 CCD イメージセンサ 4の読み出し制御は、 水平ライン毎に 配線される垂直レジスタ駆動電極 2 5に印加される。 例えば、 図 5に示した色 - 感度モザイクパターン P 1のように、 水平ライン毎に感度が変わるような感度の モザイク配列を実現するためには、 その電極構造を利用すればよいので、 ライン ごとに異なる読み出しパルス電圧がかけられるような若干の改良をおこなえばよ い。 さらに、 3相駆動の垂直レジスタを持つプログレッシブスキャンの CCDィメ ージセンサにおいては、 その電極構造を工夫することによって、 2段階感度によ る任意のモザイク配列を電子的に実現できる。

図 2 5は、 2段階の感度を有する感度のモザイク配列を実現するために用いる 電極配線による垂直転送用ポリシリコン電極の第 1の電極構造を示している。 図 2 6は、 図 2 5の図中の線分 a a， における CCDイメージセンサの断面図を示し ている。 第 1相垂直レジスタ駆動電極 4 2および第 2相垂直レジスタ駆動電極 4 3は、 同じ水平ライン上で隣接する画素の電極と連結しているので、 同一水平ラ ィン上の電極は同期して駆動される。一方、第 3相垂直レジスタ駆動電極 4 4は、 同じ垂直ライン上で隣接する画素の電極と連結しているので、 同一垂直ライン上 の電極は同期して駆動される。 また、 第 2相垂直レジスタ駆動電極 4 3およぴ第 3相垂直レジスタ駆動電極 4 4は、 対応するフォトダィォ一ド 2 3に隣接する読 み出しゲ一ト 4 1上にもかかるようになされている。

したがって、 第 2相垂直レジスタ駆動電極 4 3、 または第 3相垂直レジスタ駆 動電極 4 4に読み出しパルスを印加した場合、 読み出しゲ一ト 4 1のバリアを一 時的に取り除き、 対応するフォトダイォ一ド 2 3に蓄積されている電荷を垂直レ ジスタ 2 6に転送することが可能である。 以下、 図 2 5および図 2 6に示した電 極構造を O R型の電極構造と記述する。

図 2 7は、 2段階の感度を有する感度のモザイク配列を実現するために用いる 電極配線による垂直転送用ポリシリコン電極の第 2の電極構造を示している。 図 2 7の図中の線分 a a， における CCDイメージセンサの断面も、 図 2 6に示した 断面図と同様である。 すなわち、 第 2の電極構造においても、 第 1の電極構造と 同様に、 第 1相垂直レジスタ駆動電極 4 2および第 2相垂直レジスタ駆動電極 4 3は、 同じ水平ライン上で隣接する画素の電極と連結しているので、 同一水平ラ イン上の電極は同期して駆動される。 第 3相垂直レジスタ駆動電極 4 4は、 第 1 の電極構造と同様に、 同じ垂直ライン上で隣接する画素の電極と連結しているの で、 同一垂直ライン上の電極は同期して駆動される。

しかしながら、 第 3相垂直レジスタ駆動電極 4 4が対応するフォトダイオード 2 3に隣接する読み出しゲート 4 1上において、 当該フォトダイォード 2 3の辺 縁部分に沿って配置され、 次いでそれに隣接するように第 2相垂直レジスタ駆動 電極 4 3の細長く加工された部分が読み出しゲート 4 1にかかるようになされて いる点が第 1の電極構造と異なる。

したがって、 第 2相垂直レジスタ駆動電極 4 3および第 3相垂直レジスタ駆動 電極 4 4のうち、 一方だけに読み出しパルスを印加した場合、 読み出しゲート 4 1のパリアを取り除くことができない。読み出しグート 4 1のバリアを取り除き、 フォトダイォ一ド 2 3に蓄積されている電荷を垂直レジスタ 2 6に転送するため には、 第 2相垂直レジスタ駆動電極 4 3と第 3相垂直レジスタ駆動電極 4 4に同 時に読み出しパルスを印加する必要がある。以下、図 2 7に示した電極構造を AND 型の電極構造と記述する。 ，

以上説明した O R型の電極構造と AND型の電極構造を 1つの CCDイメージセン サ内で組み合わせて使うことにより、 2段階感度による任意のモザイク配列をつ くることができる。例えば、図 5に示した色'感度モザイクパターン P 1のうち、 感度のモザイク配列を実現するためには、 図 2 8に示すように O R型の電極構造 と AND型の電極構造を組み合わせればよい。

図 5と図 2 8を比較すれば明らかなように、 2段階の感度 S O , S Iのうち、 低感度 S 0の画素には AND型の電極構造を採用し、 高感度 S 1の画素には O R型 の電極構造を採用するようにする。 このように O R型と AND型の電極構造を組み 合わせて構成した CCDイメージセンサ 4に対し、 その第 2相垂直レジスタ駆動電 極 4 3に読み出しパルス電圧を印加すれば、 O R型の画素だけで電荷読み出しが おこなわれ、 第 2相垂直レジスタ駆動電極 4 3および第 3相垂直レジスタ駆動電 極 4 4に同時に読みだしパルス電圧を印加すれば、 O R型と AND型の両方、 すな わち全ての画素で電荷読み出しがおこなわれるようになる。

なお、 第 2相垂直レジスタ駆動電極 4 3、 および第 3相垂直レジスタ駆動電極 4 4に対するパルス電圧の供給タイミングは、 図 2 3 (または図 2 4 ) に示した 制御タイミングのうち、 同図（D )の 1回目の電荷読み出しパルス電圧の供給タイ ミングと、 同図（F )の電荷読み出しパルス電圧の供給タイミングにおいて、 第 2 相および第 3相の両方を駆動し、 同図（D )の 2回目の電荷読み出しパルス電圧の 供給タイミングにおいて第 2相だけを駆動するようにすれば、 O R型の電極構造 の画素は高感度 S 1となり、 AND型の電極構造の画素は低感度 S 0となる。

同様の方法により、 その他の 2段階の感度を有する感度のモザイク配列をつく ることができる。 例えば、 図 6に示した色 '感度モザイクパターン P 2のうち、 感度のモザイクパターンを実現するためには、 O R型と AND型を図 2 9に示すよ うに組み合わせる。 図 7に示した色■感度モザイクパターン P 3のうち、 感度の モザイクパターンを実現するためには、 OR型と AND型を図 30に示すように組 み合わせる。 図 8に示した色 '感度モザイクパターン P 4のうち、 感度のモザィ クパターンを実現するためには、 〇R型と AND型を図 3 1に示すように組み合わ せる。 図 9に示した色 .感度モザイクパターン P 5のうち、 感度のモザイクパタ ーンを実現するためには、 OR型と AND型を図 3 2に示すように組み合わせる。 次に、 画像処理部 7を中心とする画像処理系のデモザイク処理について説明す るが、 その前に、 以下の説明において用いる画素の位置座標の定義について、 図 33を参照して説明する。

図 3 3は、 画像上の画素の位置を示す座標系 （x， y ) を示している。 すなわ ち、 画像の左下端を （0， 0) とし、 画像の右上端を （x_max， y_{ma x}) とする。 図中に口で表されている各画素は、 長さ 1の横幅と縦幅を有し、 格子上に配列さ れている。 従って、 例えば、 左下端の画素の中心の座標は、 （0. 5, 0. 5) で あり、 右上端の画素の中心の座標は （x_{ma x}—0. 5, y_{ma x}- 0. 5) である。 また、 以下の説明において、 口で表されている各画素に対して位相が縦横に半画 素ずれた画像データ （図中に翁で表される位置の画素データ） を利用する場合が あるが、 例えば、 左下端の画素に対して縦横に半画素だけ位相がずれた画像デー タの座標は （1， 1) である。

次に、 図 34は、 画像処理部 7を中心とする画像処理系の第 1のデモザイク処 理の概要を示している。

第 1のデモザイク処理は、 図 34に示すように、 撮像系の処理によって得られ た色■感度モザイク画像の画素の色を変更することなく、 感度を均一化して色モ ザイク画像を生成する感度均一化処理と、 色■感度モザイク画像 Mの各画素の R GB成分を復元する色補正処理から成る。

第 1のデモザイク処理における第 1の感度均一化処理の概要について、 図 3 5 乃至図 37を参照して説明する。 図 3 5乃至図 3 7は、 処理される画像の所定の 1ラインの画素配列を示している。 X0は、 色成分が X (例えば、 R (赤）） であ り、 感度が 2段階 S O , S 1のうちの S 0であることを示し、 X Iは、 色成分が Xであり、 感度が 2段階 S O , S 1のうちの S 1であることを示し、 Y Oは、 色 成分が Y (例えば、 G (緑)） であり、 感度が 2段階 S 0 , S 1のうちの S Oであ ることを示し、 Y 1は、 色成分が Yであり、 感度が 2段階 S 0 ， S 1のうちの S 1であることを示している。 感度 S Oの画素は、 入射光の強度を所定の割合で減 衰させて測光し、 感度 S 1の画素は、 入射光の強度を減衰させることなく測光す る。 また、 同図の横軸は画素のライン上の位置を示しており、 縦棒の長さは対応 する画素の画素値を示している。

第 1のデモザイク処理における第 1の感度均一化処理は、 2段階の処理に分別 することができる。 図 3 5は、 第 1の感度均一化処理を施される前の色 '感度モ ザイク画像の所定の 1ラインの画素の画素値を示している。 なお、 曲線 Xは、 入 射光の色 Xの強度分布を示し、 曲線 Yは、 色 Yの強度分布を示している。

閾値 0 _Hは、 CCDイメージセンサ 4の飽和レベルを示し、入射光の強度が閾値 0 _Hを越える場合、 その強度を正確に測定することができず、 その測定値は閾値 0 _H と等しい値となる。 閾値 0 は、 CCDイメージセンサ 4のノイズレベルを示してお り、 入射光の強度が閾値 0 !_よりも小さい場合も、 その強度を正確に測定するこ とができず、 その測定値は閾値 0 と等しい値となる。

有効性判別結果は、 各画素が入射光の強度を正確に測定できたか否かを示す情 報、 すなわち、 測定された各画素の画素値が有効 V (Valid)であるか、 無効 I (Invalid)であるかを示す情報である。

第 1の感度均一化処理の 1段階目の処理により、 感度 S 0の画素の画素値は、 感度 S 1に対する感度 S 0の相対的比率を用いてスケーリングされる。 感度 S 1 の画素の画素値はスケーリングされない。 図 3 6は、 第 1の感度均一化処理の 1 段階目の処理を施した結果を示している。 1段階目の処理が施された状態では、 同図に示すように、 有効性判別結果が有効である画素は、 スケーリングによって 本来の光強度が復元されるが、 無効である画素は、 本来の光強度が復元されてい ない。 そこで、 第 1の感度均一化処理の 2段階目の処理では、 無効である画素の画素 値を、 その近傍の同じ色の有効な画素の画素値を用いて補間する。 図 3 7は、 第 1の感度均一化処理の 2段階目の処理を施した結果を示している。 例えば、 図 3 7の中央の無効であって色 Yの画素は、 近傍の有効な色 Yの画素の画素値を用い て生成される補間曲線 Y 'に従って補間される。

次に、 第 1のデモザイク処理における第 2の感度均一化処理の概要について、 図 3 5、 図 3 8、 および図 3 9を参照して説明する。 第 2の感度均一化処理も、 2段階の処理に分別することができる。 第 2の感度均一化処理が施される前の 色 -感度モザイク画像の所定の 1ラインの画素の画素値は、 図 3 5と同様である とする。

第 2の感度均一化処理の 1段階目の処理により、 各画素の色を変更することな く、 感度 S Oでの画素値と、 感度 S 1での画素値が推定される。 例えば、 色 で あって感度 S 0の画素については、 感度 S 0での画素値はそのまま用いられ、 感 度 S 1での推定値が近傍に存在する色 Xであって感度 S 1の画素の画素値を用い て補間される。 図 3 8は、 第 2の感度均一化処理の 1段階目の処理を施した結果 を示している。 同図に示すように、 1段階目の処理が施されたことにより、 各画 素は、 元の色の感度 S 0の画素値と、 感度 S 1の画素値を有している。

第 2の感度均一化処理の 2段階目の処理では、 画素毎に感度 S 0の画素値と、 感度 S 1の画素値が合成されて感度が均一化される。 図 3 9は、 第 2の感度均一 化処理の 2段階目の処理を施した結果を示している。

次に、 図 4 0は、 画像処理部 7を中心とする画像処理系の第 2のデモザイク処 理の概要を示している。

第 2のデモザイク処理は、 図 4 0に示すように、 撮像系の処理によって得られ た色 ·感度モザイク画像の画素の色を、 感度均一化のために最適な色に変更して 感度を均一化し、 色モザイク画像を生成する感度均一化処理と、 色 .感度モザィ ク画像 Mの各画素の R G B成分を復元する色補正処理から成る。

第 2のデモザイク処理における第 1の感度均一化処理の概要について、図 3 5、 図 4 1および図 4 2を参照して説明する。

第 2のデモザイク処理における第 1の感度均一化処理も、 2段階の処理に分別 することができる。 第 1の感度均一化処理が施される前の色 ·感度モザイク画像 の所定の 1ラインの画素の画素値は、 図 3 5と同様であるとする。

第 2のデモザイク処理における第 1の感度均一化処理の 1段階目の処理により、 感度 S 0の画素の画素値は、 感度 S 1に対する感度 S 0の相対的比率を用いてス ケーリングされる。感度 S 1の画素の画素値はスケーリングされない。図 4 1は、 第 1の感度均一化処理の 1段階目の処理を施した結果を示している。 1段階目の 処理が施された状態では、 同図に示すように、 有効性判別結果が有効 Vである画 素は、スケーリングによって本来の光強度が復元される力 無効 Iである画素は、 本来の光強度が復元されていない。

そこで、 第 2のデモザイク処理における第 1の感度均一化処理の 2段階目の処 理では、 無効である画素の画素値を、 その色に拘わらず近傍の有効な画素の画素 値を用いて補間する。 図 4 2は、 第 1の感度均一化処理の 2段階目の処理を施し た結果を示している。 例えば、 図 4 1の中央の無効であって色 Yの画素は、 図 4 2に示すように、 当該画素に隣接する有効な色 Xの画素の画素値を用いて生成さ れる補間曲線 X 'に基づいて色 Xの画素値が捕間される。

次に、 第 2のデモザイク処理における第 2の感度均一化処理の概要について、 図 3 5、 図 4 3、 および図 4 4を参照して説明する。 第 2のデモザイク処理にお ける第 2の感度均一化処理も、 2段階の処理に分別することができる。 第 2の感 度均一化処理が施される前の色■感度モザイク画像の所定の 1ラインの画素の画 素値は、 図 3 5と同様であるとする。

第 2のデモザイク処理における第 2の感度均一化処理の 1段階目の処理では、 各画素に対し、 色に拘わらずより近くに位置する近傍の画素の画素値が用いられ て感度 S Oでの画素値と、 感度 S 1での画素値が推定される。 例えば、 色 Xの画 素の推定値として、 当該画素に隣接する画素が色 Yである場合、 色 Yの感度 S 1 での推定値と、 感度 S 1での画素値が補間される。 図 4 3は、 第 2の感度均一化 処理の 1段階目の処理を施した結果を示している。 同図に示すように、 1段階目 の処理が施されたこと より、 各画素は、 元の色に拘わらず隣接した画素の色に 変更されて、 感度 S Oでの画素値と、 感度 S 1での画素値を有している。

第 2のデモザィク処理における第 2の感度均一化処理の 2段階目の処理では、 画素毎に感度 S 0の画素値と、 感度 S 1の画素値が合成されて感度が均一化され る。 図 4 4は、 第 2の感度均一化処理の 2段階目の処理を施した結果を図 4 4に 示す。

次に、 第 1のデモザイク処理を主に実行する画像処理部 7の第 1の構成例につ いて、 図 4 5を参照して説明する。 以下、 特に断りがある場合を除き、 色 .感度 モザイク画像は、 図 6の色 '感度モザイクパターン P 2である、 すなわち、 画素 の色は 3原色 R G Bのうちのいずれかの色であり、 感度は S 0 , S 1のうちの一 方であるとする。 ただし、 以下に説明する構成や動作は、 R G B以外の 3色から 成る色■感度モザイク画像や、 4色から成る色■感度モザイク画像に適用するこ とも可能である。

画像処理部 7の第 1の構成例において、撮像系からの色'感度モザイク画像は、 感度均一化部 5 1に供給される。 色 '感度モザイク画像の色モザイク配列を示す 色モザイクパターン情報は、 感度均一化部 5 1、 および色捕間部 5 2に供給され る。 色 ·感度モザイク画像の感度モザイク配列を示す感度モザイクパターン情報 は、 感度均一化部 5 1に供給される。

感度均一化部 5 1は、 色モザイクパターン情報および感度モザイクパターン情 報に基づき、 色 ·感度モザイク画像に感度均一化処理を施すことによって、 各画 素の色が変更されずに感度が均一化された色モザィク画像 Mを生成し、 色補間部 5 2に出力する。

色捕間部 5 2は、 感度均一化部 5 1からの色モザイク画像 Mに対し、 色モザィ クパターン情報を用いる色補間処理を施すことによって出力画像 R , G , Bを生 成する。

なお、 色モザイクパターン情報は、 色 '感度モザイク画像の各画素の色の種類 (いまの場合、 R， G， Bのいずれかの色） を示す情報であり、 画素位置をイン デッタスとして、 その画素が有する色成分の情報を取得できるようになされてい る。

感度モザィクパターン情報は、色 ·感度モザィク画像の各画素の感度の種類（い まの場合、 S 0または S 1 )を示す情報であり、画素位置をインデックスとして、 その画素の感度の情報を取得できるようになされている。

図 4 6は、 感度均一化部 5 1の第 1の構成例を示している。 当該第 1の構成例 は、 図 3 5乃至図 3 7を参照して説明した第 1の感度均一化処理を実行する感度 均一化部 5 1の構成例である。

感度均一化部 5 1の第 1の構成例において、 撮像系からの色 .感度モザイク画 像は、 感度補償部 6 1および有効性判別部 6 3に供給される。 色モザイクパター ン情報は、 欠落補間部 6 4に供給される。 感度モザイクパターン情報は、 感度補 償部 6 1および有効性判別部 6 3に供給される。

感度補償部 6 1は、 相対感度値 LUT 6 2から得られる相対感度値 Sに基づき、 色■感度モザイク画像に感度補償を施して欠落補間部 6 4に出力する。 相対感度 値 LUT 6 2は、 画素の感度をインデックスとして、 相対感度値 Sを出力するルツ クアップテーブルである。

有効性判別部 6 3は、 色 ·感度モザイク画像の各画素の画素値を、 飽和レベル の閾値 0 Hおよびノイズレベルの Θ _Lと比較することによって画素値の有効性を 判別し、 その結果を判別情報として欠落補間部 6 4に供給する。 判別情報には、 各画素の画素値について、 有効（Valid)、 または無効（Invalid)を示す情報が記述 されている。

欠落補間部 6 4は、 有効性判別部 6 3からの判別情報に基づき、 感度補償され た色 ·感度モザイク画像に欠落補間処理を施すことによって色モザイク画像 Mを 生成し、 後段の色補間部 5 2に出力する。 ·

図 4 7は、 色補間部 5 2の構成例を示している。 色補間部 5 2において、 感度 均一化部 5 1からの色モザイク画像 Mは、 階調変換部 7 1に供給される。 色モザ イクパターン情報は、 色差画像生成部 72, 73、 および輝度画像生成部 74に 供給される。

階調変換部 7 1は、 色モザイク画像 Mに対して階調変換処理を施し、 得られる 変調色モザィク画像 M gを色差画像生成部 72， 73、 および輝度画像生成部 7 4に供給する。 階調変換処理としては、 具体的には γ乗のべき算関数による変換 等を用いる。

色差画像生成部 72は、 変調色モザイク画像 Mgを用い、 全ての画素が色差 C (=R— G) 成分を有する色差画像 Cを生成して輝度画像生成部 74および色空 間変換部 75に供給する。 色差画像生成部 73は、 変調色モザイク画像 Mgを用 い、 全ての画素が色差 D (=B-G) 成分を有する色差画像 Dを生成して輝度画 像生成部 74および色空間変換部 15に供給する。 輝度画像生成部 74は、 変調 モザイク画像 Mg、 色差信号 C, Dを用いて輝度画像 Lを生成し、 色空間変換部 75に供給する。

色空間変換部 75は、 色差画像 C, D、 および輝度画像 Lに色空間変換処理を 施し、 得られる変調画像 （各画素がそれぞれ RGB成分を有する画像） を階調逆 変換部 76乃至 78に供給する。

階調逆変換部 76は、 色空間変換部 75からの R成分の画素値を （ 1 / γ ) 乗 することにより、 階調変換部 71における階調変換の逆変換を施して出力画像 R を得る。 階調逆変換部 77は、 色空間変換部 75からの G成分の画素値を （1/ γ) 乗することにより、 階調変換部 7 1における階調変換の逆変換を施して出力 画像 Gを得る。 階調逆変換部 78は、 色空間変換部 75からの Β成分の画素値を il/y) 乗することにより、 階調変換部 7 1における階調変換の逆変換を施し て出力画像 Bを得る。

なお、 感度均一化部 5 1から供給される色モザイク画像 Mがべィャ配列を成し ている場合、 色補間部 5 2において、 例えば、 特開昭 6 1 - 501424号公報 等に開示されている従来の方法を用いて色補間処理を実行するようにしてもよい _c 図 48は、 色差画像生成部 72の構成例を示している。 色差画像生成部 72に おいて、 階調変換部 7 1からの変調色モザイク画像 M gは平滑化部 8 1， 8 2に 供給される。 色モザイクパターン情報も平滑化部 8 1， 8 2に供給される。 平滑化部 8 1は、 各画素に対し、 R成分を有する近傍の画素の画素値を用いて 当該画素の R成分を補間することにより、 平滑化された R成分の画像 R ' を生成 して減算器 8 3に供給する。 平滑化部 8 2は、 各画素に対し、 G成分を有する近 傍の画素の画素値を用いて当該画素の G成分を補間することにより、 平滑化され た G成分の画像 G， を生成して減算器 8 3に供給する。

減算器 8 3は、 平滑化部 8 1からの平滑化される R成分の画像 R ' の画素値か ら、 平滑化部 8 2からの平滑化される G成分の画像 G， の対応する画素の画素値 を減算することにより、 色差画像 Cを生成して色空間変換部 7 5に供給する。 なお、 色差画像生成部 7 3の同様に構成されている。

図 4 9は、 輝度画像生成部 7 4の構成例を示している。 輝度画像生成部 7 4を 構成する輝度算出部 9 1は、 階調変換部 7 1からの変調色モザイク画像 M g、 色 差画像生成部 7 2からの色差画像 C、 色差画像生成部 7 3からの色差画像 D、 お よび色モザイクパターン情報に基づいて各画素の輝度候捕値を算出し、 各画素の 輝度候補値からなる輝度候補値画像 L cをノィズ除去部 9 2に出力する。

ノイズ除去部 9 2は、 輝度候補値画像 L cの各画素値 （輝度候補値） に平滑化 成分 （後述） を合成することによってノイズを除去し、 得られる輝度画像 Lを色 空間変換部 7 5に出力する。

次に、 図 4 5に示した画像処理部 7の第 1の構成例による第 1のデモザイク処 理について、 図 5 0にフローチャートを参照して説明する。

ステップ S 1において、 感度均一化部 5 1は、 色モザイクパターン情報および 感度モザイクパターン情報に基づき、 色 ·感度モザイク画像に感度均一化処理を 施し、 得られた色モザイク画像 Mを色補間部 5 2に出力する。

図 4 6に示した感度均一化部 5 1の第 1の構成例による第 1の感度均一化処理 の詳細について、 図 5 1のフローチヤ一トを参照して説明する。

ステップ S 1 1において、 感度補償部 6 1は、 入力された色 '感度モザイク画 像に感度補償処理を施し、 感度補償された色 ·感度モザイク画像を欠落補間部 6 4に供給する。

感度補償処理の詳細について、 図 5 2のフローチャートを参照して説明する。 ステップ S 2 1において、 感度補償部 6 1は、 色 ·感度モザイク画像の全ての画 素を注目画素としたか否かを判定し、 全ての画素を注目画素としていないと判定 した場合、ステップ S 2 2に進む。ステップ S 2 2において、感度補償部 6 1は、 色 ·感度モザイク画像の左下の画素から右上の画素まで、 順次 1画素ずつ注目画 素に決定する。

ステップ S 2 3において、 感度補償部 6 1は、 感度モザイクパターン情報を参 照することにより、 注目画素の感度 （3 0または3 1 ) を取得し、 さらに、 相対 感度値 LUT 6 2を参照することによって注目画素の感度に対応する相対感度値 S を取得する。

ステップ S 2 4において、 感度補償部 6 1は、 色 ·感度モザイク画像の注目画 素の画素値を相対感度値 Sで除算することにより、その画素値の感度を補償する。 感度が補償された画素値は、 感度補償された色 ·感度モザイク画像の画素値とさ れる。

処理は、 ステップ S 2 1に戻り、 全ての画素を注目画素としたと判定されるま で、ステップ S 2 1乃至 S 2 4の処理が繰り返される。ステップ S 2 1において、 全ての画素を注目画素としたと判定された場合、 処理は図 5 1のステップ S 1 2 にリターンする。

ステップ S 1 2において、 有効性判別部 6 3は、 色 ·感度モザイク画像に有効 性判別処理を施すことにより、 各画素の画素値の有効性を示す判別情報を生成し て欠落補間部 6 4に供給する。 なお、 ステップ S 1 2の有効判別処理は、 ステツ プ S 6 1の感度補償処理を平行して実行するようにしてもよい。

有効性判別処理の詳細について、図 5 3のフローチャートを参照して説明する。 ステップ S 3 1において、 有効性判別部 6 3は、 色 ·感度モザイク画像の全ての 画素を注目画素としたか否かを判定し、 全ての画素を注目画素としていないと判 定した場合、 ステップ S 3 2に進む。 ステップ S 3 2において、 有効性判別部 6 3は、 色 ·感度モザイク画像の左下の画素から右上の画素まで、 順次 1画素ずつ 注目画素に決定する。

ステップ S 3 3において、 有効性判別部 6 3は、 色 '感度モザイク画像の注目 画素の画素値が、 ノイズレベルの閾値 Θ _Lと飽和レベルの閾値 θ _Hの範囲内である か否かを判定し、 閾値の範囲内であると判定した場合、 ステップ S 3 4に進む。 ステップ S 3 4において、 有効性判別部 6 3は、 注目画素の判別情報を有効と する。 処理はステップ S 3 1に戻る。

ステップ S 3 3において、 色 ·感度モザイク画像の注目画素の画素値が閾値の 範囲内ではないと判定した場合、 ステップ S 3 5に進む。 ステップ S 3 5におい て、 有効性判別部 6 3は、 色 ·感度モザイク画像の注目画素の画素値が、 飽和レ ベルの閾値 θ _H以上であるか否かを判定し、飽和レベルの閾値 0 _H以上であると判 定した場合、 ステップ S 3 6に進む。

ステップ S 3 6において、 有効性判別部 6 3は、 感度モザイクパターン情報を 参照することにより、 注目画素が感度 S 0であるか否かを判定し、 感度 S Oであ ると判定した場合、 ステップ S 3 4に進み、 注目画素が感度 S 0ではないと判定 した場合、 ステップ S 3 7に進む。

ステップ S 3 7において、 有効性判別部 6 3は、 注目画素の判別情報を無効と する。 処理はステップ S 3 1に戻る。

ステップ S 3 5において、 色 '感度モザイク画像の注目画素の画素値が飽和レ ベルの閾値 0 _H以上ではないと判定した場合、 ステップ S 3 8に進む。 ステップ S 3 8において、 有効性判別部 6 3は、 感度モザイクパターン情報を参照するこ とにより、 注目画素が感度 S 1であるか否かを判定し、 感度 S 1であると判定し た場合、 ステップ S 3 4に進み、 注目画素が感度 S 1ではないと判定した場合、 ステップ S 3 7に進む。

その後、 ステップ S 3 1において、 全ての画素を注目画素としたと判定される まで、ステップ S 3 1乃至 3 8の処理が繰り返される。ステップ S 3 1において、 全ての画素を注目画素としたと判定された場合、 処理は図 5 1のステップ S 1 3 にリターンする。

ステップ S 1 3において、 欠落補間部 6 4は、 有効性判別部 6 3からの判別情 報に基づき、 感度補償された色■感度モザイク画像に欠落補間処理を施し、 得ら れた色モザイク画像 Mを色補間部 5 2に供給する。

欠落補間処理の詳細について、 図 5 4のフローチヤ一トを参照して説明する。 ステップ S 4 1において、 欠落補間部 6 4は、 感度補償された色 '感度モザイク 画像の全ての画素を注目画素としたか否かを判定し、 全ての画素を注目画素とし ていないと判定した場合、 ステップ S 4 2に進む。 ステップ S 4 2において、 欠 落補間部 6 4は、 感度補償された色■感度モザイク画像の左下の画素から右上の 画素まで、 順次 1画素ずつ注目画素に決定する。

ステップ S 4 3において、 欠落捕間部 6 4は、 注目画素の判別情報が無効であ るか否かを判定し、 注目画素の判別情報が無効であると判定した場合、 ステップ S 4 4に進む。

ステップ S 4 4において、 欠落補間部 6 4は、 色モザイクパターン情報を参照 することにより、 注目画素の色の種類 （いまの場合、 R G Bのうちのいずれかの 色） を判別し、 注目画素の近傍の画素 （例えば、 注目画素を中心とする 5 X 5画 素） のうち、 注目画素と同じ色であって、 かつ、 判別情報が有効である画素を検 出し、 検出した画素 （以下、 参照画素と記述する） の画素値を抽出する。

ステップ S 4 5において、 欠落補間部 6 4は、 参照画素の注目画素に対する相 対的な位置に対応して予め設定されているフィルタ係数を、 参照画素の数だけ取 得する。 ステップ S 4 6において、 欠落補間部 6 4は、 各参照画素の画素値と、 対応するフィルタ係数を乗算し、 それらの積の総和を演算する。 さらに、 その積 の総和を、 用いたフィルタ係数の総和で除算して、 その商を色モザイク画像 Mの 注目画素の画素値とする。

処理は、 ステップ S 4 1に戻り、 全ての画素を注目画素としたと判定されるま で、 ステップ S 4 1乃至 4 6の処理が繰り返される。 ステップ S 4 1において、 全ての画素を注目画素としたと判定された場合、 処理は図 5 0のステップ S 2に リターンする。

以上説明したステップ S 1の感度均一化処理によつて得られた色モザィク画像 Mに対し、 ステップ S 2において、 色補間部 5 2は、 色モザイクパターン情報に 基づいて色補間処理を施すことにより、 出力画像 R， G， Bを生成する。

色捕間処理の詳細について、 図 5 5のフローチャートを参照して説明する。 ス テツプ S 5 1において、 階調変換部 7 1は、 色モザイク画像 Mに対して階調変調 処理を施す （具体的には、 変調色モザイク画像 M gの各画素値を γ乗する） こと により、 変調色モザイク画像 M gを生成して色差画像生成部 7 2， 7 3、 および 輝度画像生成部 7 4に供給する。

ステップ S 5 2において、 色差画像生成部 7 2は、 階調変換部 7 1からの変調 色モザイク画像 M gを用いて色差画像 Cを生成し、 輝度画像生成部 7 4および色 空間変換部 7 5に供給する。 一方、 色差画像生成部 7 3は、 階調変換部 7 1から の変調色モザイク画像 M gを用いて色差画像 Dを生成し、 輝度画像生成部 7 4お よび色空間変換部 7 5に供給する。

色差画像生成部 7 2が色差画像 Cを生成する第 1の処理について、 図 5 6のフ ローチャートを参照して説明する。 ステップ S 6 1において、 平滑化部 8 1， 8 2は、 変調色モザイク画像 M gの全ての画素を注目画素としたか否かを判定し、 全ての画素を注目画素としていないと判定した場合、 ステップ S 6 2に進む。 ス テツプ S 6 2において、 平滑化部 8 1 , 8 2は、 変調色モザイク画像 M gの左下 の画素から右上の画素まで、 順次 1画素ずつ注目画素に決定する。

ステップ S 6 3において、 平滑化部 8 1は、 色モザイクパターン情報を参照す ることにより、 注目画素の近傍の画素 （例えば、 注目画素を中心とする 5 X 5画 素） のうち、 R成分を有する画素を検出し、 検出した画素 （以下、 参照画素と記 述する） の画素値を抽出する。 一方、 平滑化部 8 2も同様に、 色モザイクパター ン情報を参照することにより、 注目画素の近傍の画素のうち、 G成分を有する画 素を検出し、 検出した画素の画素値を抽出する。 ステップ S 6 4において、 平滑化部 8 1は、 R成分を有する参照画素の注目画 素に対する相対的な位置に対応して予め設定されているフィルタ係数を、 参照画 素の数だけ取得する。 一方、 平滑化部 8 2も同様に、 G成分を有する参照画素の 注目画素に対する相対的な位置に対応して予め設定されているフィルタ係数を、 参照画素の。数だけ取得する。

ステップ S 6 5において、 平滑化部 8 1は、 R成分を有する各参照画素の画素 値と、対応するフィルタ係数とを乗算し、それらの積の総和を演算する。さらに、 その積の総和を、 用いたフィルタ係数の総和で除算して、 その商を平滑化された R成分だけの画像 R ' の注目画素に対応する画素値とする。 一方、 平滑化部 8 2 も同様に、 G成分を有する各参照画素の画素値と、 対応するフィルタ係数とを乗 算し、 それらの積の総和を演算する。 さらに、 その積の総和を、 用いたフィルタ 係数の総和で除算して、 その商を平滑化された G成分だけの画像 G ' の注目画素 に対応する画素値とする。

ステップ S 6 6において、 減算器 8 3は、 平滑化部 8 1からの平滑化された R 成分だけの画像 R ' の注目画素に対応する画素値から、 平滑化部 8 2からの平滑 化された G成分だけの画像 G， の注目画素に対応する画素値を減算し、 その差を 色差画像 Cの注目画素に対応する画素値とする。

処理は、 ステップ S 6 1に戻り、 全ての画素を注目画素としたと判定されるま で、 ステップ S 6 1乃至 6 6の処理が繰り返される。 ステップ S 6 1において、 全ての画素を注目画素としたと判定された場合、 処理は図 5 5のステップ S 5 3 にリターンする。

なお、 色差画像生成部 7 3が色差画像 Dを生成する処理は、 上述した色差画像 生成部 7 2が色差画像 Cを生成する第 1の処理と同様であるので、 その説明は省 略する。

ステップ S 5 3において、 輝度画像生成部 7 4は、 変調モザイク画像 M g、 色 差信号 C， Dを用いて輝度画像 Lを生成し、 色空間変換部 7 5に供給する。 輝度画像生成部 7 4の輝度画像生成処理の詳細について、 図 5 7のフローチヤ ートを参照して説明する。 ステップ S 7 1において、 輝度算出部 9 1は、 変調色 モザイク画像 Mgの全ての画素を注目画素としたか否かを判定し、 全ての画素を 注目画素としていないと判定した場合、 ステップ S 72に進む。 ステップ S 72 において、 輝度算出部 9 1は、 変調色モザイク画像 Mgの左下の画素から右上の 画素まで、 順次 1画素ずつ注目画素に決定する。

ステップ S 73において、 輝度算出部 9 1は、 色モザイクパターン情報を参照 して、 注目画素の色の種類 （いまの場合、 RGBのいずれかの色） を判定する。 ステップ S 73において、 注目画素の色の種類が Rであると判定された場合、 処理はステップ S 74に進む。 ステップ S 74において、 輝度算出部 9 1は、 変 調色モザイク画像 Mg、 および色差信号 C， Dの注目画素に対応する画素値を次 式（ 1 )に適用して、輝度候補画像 L cの注目画素に対応する画素値を算出する。

L c = 3Mg - 2 C + D · · ■ ( 1 ) ステップ S 73において、 注目画素の色の種類が Gであると判定された場合、 処理はステップ S 7 5に進む。 ステップ S 7 5において、 輝度算出部 9 1は、 変 調色モザイク画像 Mg、 および色差信号 C, Dの注目画素に対応する画素値を次 式 （2) に適用して輝度候補画像 L cの注目画素に対応する画素値を算出する。

L c = 3Mg + C+D ■ ■ - (2) ステップ S 73において、 注目画素の色の種類が Bであると判定された場合、 処理はステップ S 76に進む。 ステップ S 76において、 輝度算出部 9 1は、 変 調色モザイク画像 Mg、およぴ色差信号 C, Dの注目画素に対応する画素値 Mg，

C， Dを次式 （3) に適用して輝度候補画像 L cの注目画素に対応する画素値を 算出する。

L c = 3Mg +C- 2D · · · (3) なお、 式 （1) 乃至 （3) において、 L c, Mg , C, Dは、 それぞれ、 注目 画素に対応する輝度候補画像 L c、 変調色モザイク画像 Mg、 色差信号 C、 色差 画像 Dの画素値である。

処理はステップ S 7 1に戻り、全ての画素を注目画素としたと判定されるまで、 ステップ S 7 1乃至 S 76の処理が繰り返される。 ステップ S 7 1において、 全 ての画素を注目画素としたと判定された場合、 処理はステップ S 7 7に進む。 以上説明したステップ S 7 1乃至 S 76の処理によって生成された輝度候補画 像し cはノイズ除去部 9 2に供給される。

ステップ S 77において、 ノイズ除去部 92は、 変調色モザイク画像 Mgの全 ての画素を注目画素としたか否かを判定し、 全ての画素を注目画素としていない と判定した場合、 ステップ S 78に進む。 ステップ S 78において、 ノイズ除去 部 92は、 変調色モザイク画像 Mgの左下の画素から右上の画素まで、 順次 1画 素ずつ注目画素に決定する。

ステップ S 7 9において、 ノイズ除去部 92は、 注目画素の上下左右に位置す る画素の画素値 （輝度候補値） を次式 （4) に適用して、 注目画素に対応する勾 配▽ (グラディエント） を算出する。 なお、 勾配▽は、 画像の水平方向と垂直方 向の 1次微係数を要素とするベク トルである。 また、 注目画素の上下左右に位置 する画素の画素値（輝度候補値） を、それぞれ L c (U)， L c (D)， L c (L)， L c (R) とする。

勾配▽= (L c (R) —L c (L), L c (U) — L c (D)) · ■ · (4) ステップ S 80において、 ノイズ除去部 92は、 注目画素の上下左右に位置す る画素の画素値 （輝度候補値） を次式 （5)， (6) に適用して、 注目画素に対応 する水平方向の平滑化成分 Hhと垂直方向の平滑化成分 Hvを算出する。

Hh = (L c (L) + L c (R)) / 2 · · · (5)

H v = (L c (U) + L c (D)) /2 · · · (6) ステップ S 8 1において、 ノイズ除去部 92は、 ステップ S 79で算出した注 目画素に対応する勾配▽の絶対値 II V IIに対応して、 水平方向の平滑化寄与率 w hと垂直方向の平滑化寄与率 w Vを算出する。

具体的には、勾配▽の絶対値が 0よりも大きい場合、次式（7)に示すように、 正規化した勾配 VZIIV IIとベク トル （1， 0) との内積の絶対値を 1から減算 して水平方向の平滑化寄与率 whを得る。 また、 次式 （8) に示すように、 正規 化した勾配▽/ I!▽ IIとベク トル （o, 1) との内積の絶対値を 1から減算して 垂直方向の平滑化寄与率 W Vを得る。

wh = 1 - I (νκιι ν II , (1， o)) I · ■ · (7) wv = l- I (V/|| v II , (0, 1)) I · ' · (8) 勾配▽の絶対値が 0である場合、 水平方向の平滑化寄与率 whおよび垂直方向 の平滑化寄与率 wvを、 それぞれ 0. 5とする。

ステップ S 8 2において、 ノイズ除去部 92は、 次式 （9) を用いて注目画素 に対応する輝度画像 Lの画素値 （輝度値） を算出する。

L = L c + (wh - Hh+wv · Ην) / (wh+wv) · · · ( 9 ) なお、 式 （9) において、 L c, Lは、 それぞれ、 注目画素に対応する輝度候補 画像 L c、 輝度画像 Lの画素値である。

処理はステップ S 77に戻り、全ての画素を注目画素としたと判定されるまで、 ステップ S 7 7乃至 S 8 2の処理が繰り返される。 ステップ S 77において、 全 ての画素を注目画素としたと判定された場合、 処理は図 5 5のステップ S 54に リターンする。

ステップ S 54において、 色空間変換部 75は、 色差画像 C, D、 および輝度 画像 Lに色空間変換処理を施すことにより、 各画素がそれぞれ RGB成分を有す る変調画像を生成して階調逆変換部 76乃至 78に供給する。

色空間変換処理の詳細について、図 58のフローチャートを参照して説明する。 ステップ S 9 1において、 色空間変換部 75は、 輝度画像 L (色差画像 C、 また は色差画像 Dでもよい） の全ての画素を注目画素としたか否かを判定し、 全ての 画素を注目画素としていないと判定した場合、 ステップ S 92に進む。 ステップ S 92において、 色空間変換部 75は、 輝度画像 Lの左下の画素から右上の画素 まで、 順次 1画素ずつ注目画素に決定する。

ステップ S 9 3において、 色空間変換部 75は、 注目画素に対応する輝度画像 L、 色差画像 C、 および色差画像 Dの画素値を次式 （10)， （1 1)， （1 2) に 適用して、 注目画素に対応する変調画像の R成分の値 R g、 G成分の値 G g、 B 成分の値 B gを算出する。

R g = (L+ 2 C-D) /3 · ' · (1 0) G g= (L-C-D) /3 · ' · (1 1) B g = (L-C+ 2D) /3 - - - (1 2) なお、 式 （1 0) 乃至 （1 2) において、 L， C, Dは、 それぞれ、 注目画素 に対応する輝度画像 L、 色差信号 C、 色差画像 Dの画素値である。

処理はステップ S 9 1に戻り、全ての画素を注目画素としたと判定されるまで、 ステップ S 9 1乃至 S 9 3の処理が繰り返される。 ステップ S 91において、 全 ての画素を注目画素としたと判定された場合、 処理は図 5 5のステップ S 5 5に リターンする。

ステップ S 5 5において、 階調逆変換部 76は、 色空間変換部 75から供給さ れた変調画像の各画素の R成分に対し、 ステップ S 5 1の階調変換処理に対応す る階調逆変換処理を施すこと （具体的には、 画素値を ΐΖγ乗すること） によつ て出力画像 Rを生成する。 同様に、 階調逆変換部 77は、 色空間変換部 75から 供給された変調画像の各画素の G成分に対し、 ステップ S 5 1の階調変換処理に 対応する階調逆変換処理を施すことによって出力画像 Gを生成する。 階調逆変換 部 78は、 色空間変換部 75から供給された変調画像の各画素の Β成分に対し、 ステップ S 5 1の階調変換処理に対応する階調逆変換処理を施すことによって出 力画像 Βを生成する。以上説明したような色補間処理によって、出力画像 R， G, BGが生成される。

以上により、 図 4 5に示した画像処理部 7の第 1の構成例による第 1のデモザ イク処理についての説明を終了する。

次に、 図 46に示した感度均一化部 5 1の第 2の構成例の代わりに用いること ができる感度均一化部 5 1の第 2の構成例について、図 5 9を参照して説明する。 当該第 2の構成例は、 図 3 5、 図 3 8、 およぴ図 3 9を参照して説明した第 1 のデモザイク処理における第 2の感度均一化処理を感度均一化部 5 1が実行する ための構成例である。 以下、 色 '感度モザイク画像は、 図 1 4の色 '感度モザイクパターン P 1 0、 図 1 5の色■感度モザイクパターン P 1等のように、 画素の色は 3原色 R G Bのう ちのいずれかの色であり、 感度は 4段階 S 0， S I , S 2 , S 3のうちのいずれ かの感度であるとして説明する。 ただし、 以下に説明する構成や動作は、 R G B 以外の 3色から成る色 ·感度モザイク画像や、 4色から成る色 ·感度モザイク画 像に適用することも可能である。 また、 感度が 2段階、 または 3段階である色 感度モザイクパターンに適用することが可能である。

感度均一化部 5 1の第 2の構成例において、 撮像系からの色 ·感度モザイク画 像、 色モザイクパターン情報、 および感度モザイクパターン情報は、 補間部 1 0 1一 1乃至 1 0 1— 4に供給される。

補間部 1 0 1 _ 1は、 色 ·感度モザイク画像の各画素の色を変更せずに感度 S 0の補間処理を施し、 得られる感度 S 0に対応する補間値を加算器 1 0 2に出力 する。 補間部 1 0 1— 2は、 色 ·感度モザイク画像の各画素の色を変更せずに感 度 S 1の補間処理を施し、 得られる感度 S 1に対応する補間値を加算器 1 0 2に 出力する。 捕間部 1 0 1— 3は、 色 '感度モザイク画像の各画素の色を変更せず に感度 S 2の補間処理を施し、 得られる感度 S 2に対応する補間値を加算器 1 0 2に出力する。 補間部 1 0 1— 4は、 色 ·感度モザイク画像の各画素の色を変更 せずに感度 S 3の補間処理を施し、 得られる感度 S 3に対応する補間値を加算器 1 0 2に出力する。

加算器 1 0 2は、 補間部 1 0 1— 1乃至 1 0 1— 4から入力される感度 S 0乃 至 S 3の補間値を画素毎に加算し、 その和を色モザイク候補画像の画素値として 合成感度補償部 1 0 3に供給する。

合成感度補償部 1 0 3は、 加算器 1 0 2から供給される色モザイク候補画像の 画素値を合成感度補償 LUT 1 0 4に照らし合わせ、 得られる値を画素値とする色 モザイク画像 Mを生成して色補間部 5 2に供給する。合成感度補償 LUT 1 0 4は、 色モザイク候補画像の画素値をインデックスとして、 色モザイク画像 Mの画素値 を取得できるようになされている。 図 5 9に示した感度均一化部 5 1の第 2の構成例による、 第 1のデモザイク処 理における第 2の感度均一化処理について、 図 60のフローチヤ一トを参照して 説明する。

ステップ S 1 0 1において、 捕間部 1 0 1— 1乃至 10 1— 4は、 色 '感度モ ザイク画像の全ての画素を注目画素としたか否かを判定し、 全ての画素を注目画 素としていないと判定した場合、 ステップ S 10 2に進む。 ステップ S 102に おいて、 捕間部 1 0 1— 1乃至 1 0 1— 4は、 色 '感度モザィク画像の左下の画 素から右上の画素まで、 順次 1画素ずつ注目画素に決定する。

ステップ S 1 03において、 捕間部 10 1— 1乃至 10 1— 4は、 色 '感度モ ザイク画像の各画素の色を変更せずに補間処理を施すことにより、 それぞれ感度 S O, S 1 , S 2、 または感度 S 3に対応する捕間値を生成して加算器 1 02に 出力する。

補間部 1 0 1— 1による感度 S 0の補間処理について、 図 6 1のフローチヤ一 トを参照して説明する。 ステップ S 1 1 1において、 補間部 101— 1は、 色 - 感度モザイク画像の注目画素の近傍に位置する画素 （例えば、 注目画素を中心と する 5 X 5画素） のうち、 色が注目画素と同じであり、 かつ、 感度が S Oである 画素を検出し、検出した画素（以下、参照画素と記述する）の画素値を抽出する。 ステップ S 1 1 2において、 補間部 10 1— 1は、 検出した参照画素の注目画素 に対する相対的な位置に対応して予め設定されているフィルタ係数を、 参照画素 の数だけ取得する。 ステップ S 1 1 3において、 補間部 10 1— 1は、 各参照画 素の画素値と、対応するフィルタ係数とを乗算し、それらの積の総和を演算する。 さらに、 その積の総和を、 用いたフィルタ係数の総和で除算して、 その商を注目 画素の感度 S 0に対応する捕間値とする。処理は図 60のステップ S 60に戻る。 なお、補間部 10 1— 2乃至 1 0 1—3による感度 S 1乃至 S 3の補間処理は、 上述した捕間部 1 0 1— 1による感度 S Oの補間処理と同様であるので、 その説 明は省略する。

ステップ S 1 04において、 加算器 10 2は、 補間部 10 1— 1乃至 1 0 1— 4から入力される注目画素に対応する感度 S 0乃至 S 3の補間値を加算し、 その 和を、 注目画素に対応する色モザイク候補画像の画素値として合成感度補償部 1 0 3に供給する。

ステップ S 1 0 5は、 合成感度補償部 1 0 3は、 加算器 1 0 2から供給された 色モザイク候補画像の画素値を合成感度補償 LUT 1 0 4に照らし合わせ、 得られ た値を注目画素に対応する色モザイク画像 Mの画素値とする。

処理は、 ステップ S 1 0 1に戻り、 全ての画素を注目画素としたと判定される まで、 ステップ S 1 0 1乃至 1 0 5の処理が繰り返される。 ステップ S 1 0 1に おいて、 全ての画素を注目画素としたと判定された場合、 第 1のデモザイク処理 における第 2の感度均一化処理は終了される。

なお、 第 2の感度均一化処理後においては、 図 5 5のフローチャートを参照し て上述した色補間処理が実行される。

次に、 上述した色差画像 Cを生成する第 1の処理 （図 5 6 ) の代わりに、 色差 画像生成部 7 2が実行可能な色差画像 Cを生成する第 2の処理について、 図 6 2 のフローチャートを参照して説明する。

ステップ S 1 2 1において、 平滑化部 8 1 , 8 2は、 変調色モザイク画像 M g の全ての画素を注目画素としたか否かを判定し、 全ての画素を注目画素としてい ないと判定した場合、 ステップ S 1 2 2に進む。 ステップ S 1 2 2において、 平 滑化部 8 1 , 8 2は、変調色モザイク画像 M gの左下の画素から右上の画素まで、 順次 1画素ずつ注目画素に決定する。

ステップ S 1 2 3において、 平滑化部 8 1は、 注目画素に対応する画像勾配べ クトル gを演算する。

画像勾配べク トル演算処理の詳細について、 図 6 3のフローチャートを参照し て説明する。 当該画像勾配ベクトル演算処理においては、 色モザイク画像 M gの 全ての画素のうち、 所定の 1種類の色の画素だけを用いて画像勾配ベク トル gを 演算する。

なお、 所定の 1種類の色の選択は任意であるが、 例えば、 色モザイク画像 M g の色モザイクパターンがべィャ配列をなしている場合、 G成分を有する画素は、 R成分を有する画素や B成分を有する画素に比較して 2倍存在するので、 1種類 の色を Gとすることが理にかなつている。 したがって、 以下、 色モザイク画像 M gの色モザイクパターンがべィャ配列をなしており、 かつ、 所定の 1種類の色を Gに選択したとして仮定して説明を継続する。

ステップ S 1 4 1において、 平滑化部 8 1は、 注目画素の色が Gであるか否か を判定し、 注目画素の色が Gであると判定した場合、 ステップ S 1 4 2に進む。 この場合、 注目画素の上下左右に位置する 4画素の色は Gではなく、 かつ、 注目 画素の斜め方向に隣接する 4画素の色が Gである。

ステップ S 1 4 2において、 平滑化部 8 1は、 注目画素の上下左右に位置する 4画素にそれぞれ対応する G成分の値 G (U), G (D)， G (L)， G (R) を、 注目画素の左上に隣接する G成分を有する画素の画素値 G (LU)、注目画素の左 下に隣接する G成分を有する画素の画素値 G (LD)、注目画素の右上に隣接する G成分を有する画素の画素値 G (RU)、 および、注目画素の右下に隣接する G成 分を有する画素の画素値 G (RD) を次式 （1 3) 乃至次式 （1 6 ) に適用して 補間する。

G (U) = (G (LU) +G (RU)) / 2 ■ · ■ ( 1 3 )

G (D) = (G (LD) +G (RD)) / 2 · · - ( 1 4)

G (L) = (G (LU) +G (LD)) / 2 · ■ ■ ( 1 5 ) G (R) = (G (RU) +G (RD)) / 2 . · · ( 1 6) ステップ S 1 4 3において、 平滑化部 8 1は、 注目画素の上下左右に位置する 4画素にそれぞれ対応する G成分の値 G (U), G (D), G (L)， G (R) を、 次式 （1 7) 乃至次式 （1 9 ) に適用してべクトル g ' を算出し、 次式 （2 0) のように正規化して勾配べク トル gを算出する。

g h = G (R) — G (L) ■ · ■ ( 1 7) g v =G (U) -G (D) · ■ ■ ( 1 8 ) g ' = ( g h , g v ) - - - ( 1 9) g = g， / II g， II ■ ■ · ( 2 0 ) なお、 ステップ S 1 4 1において、 注目画素の色が Gではないと判定された場 合、 処理はステップ S 1 4 4に進む。 この場合、 注目画素の上下左右に位置する 4画素の色は Gである。

ステップ S 1 4 4において、 注目画素の上下左右に位置する 4画素の画素値を 取得して、 それぞれを値 G (U)， G ( D ) , G ( L ) , G ( R ) に代入する。 以上のように注目画素に対応する画像勾配ベク トル gを演算する。 なお、 色モ ザイク画像 M gの色モザイクパターンがべィャ配列をなしていない場合において も、 類似した処理によって画像勾配べク トル gを演算することができる。

処理は図 6 2のステップ S 1 2 4にリターンする。

ステップ S 1 2 4において、 平滑化部 8 1は、 色モザイクパターン情報を参照 することにより、 注目画素の近傍の画素 (例えば、 注目画素を中心とする 5 X 5 画素） のうち、 R成分を有する画素を検出し、 検出した画素 （以下、 参照画素と 記述する） の画素値を抽出する。 一方、 平滑化部 8 2も同様に、 色モザイクパタ ーン情報を参照することにより、 注目画素の近傍の画素のうち、 G成分を有する 画素を検出し、 検出した画素の画素値を抽出する。

ステップ S 1 2 5において、 平滑化部 8 1は、 注目画素から R成分を有する各 参照画素までの位置ベク トル nをそれぞれ算出して正規化する。 一方、 平滑化部 8 2も同様に、 注目画素から G成分を有する各参照画素までの位置べク トル nを それぞれ算出して正規化する。

ステップ S 1 2 6において、 平滑化部 8 1は、 次式 （2 1 ) に示すように、 R 成分を有する参照画素毎に、 注目画素の勾配べク トル gと位置べク トル nとの内 積の絶対値を 1から除算し、 その差の p乗を演算することにより、 当該参照画素 に対する重要度 ωを算出する。 一方、 平滑化部 8 2も同様に、 G成分を有する参 照画素毎に重要度 ωを算出する。 ここで、 ρは、 方向選択の先鋭度を調整するた めの定数であり、 予め設定されている。 ω = ( 1— i ( n， g ) I ■ · . ( 2 1 ) ステップ S 1 2 7において、 平滑化部 8 1は、 R成分を有する参照画素の注目 画素に対する相対的な位置に対応して予め設定されているフィルタ係数を、 参照 画素の数だけ取得する。 一方、 平滑化部 8 2も同様に、 G成分を有する参照画素 の注目画素に対する相対的な位置に対応して予め設定されているフィルタ係数を、 参照画素の数だけ取得する。

ステップ S 1 2 8において、 平滑化部 8 1は、 R成分を有する各参照画素の画 素値と、 対応するフィルタ係数および重要度 ωを乗算し、 それらの積の総和を演 算する。 さらに、 各参照画素に対応するフィルタ係数と重要度 ωとを乗算し、 そ れらの積の総和を演算する。 一方、 平滑化部 8 2も同様に、 G成分を有する各参 照画素の画素値と、 対応するフィルタ係数および重要度 ωを乗算し、 それらの積 の総和を演算する。 さらに、 各参照画素に対応するフィルタ係数と重要度 ωとを 乗算し、 それらの積の総和を演算する。

ステップ S 1 2 9において、 平滑化部 8 1は、 ステップ S 1 2 8で演算した R 成分を有する各参照画素の画素値、 対応するフィルタ係数、 および重要度 ωの積 の総和を、 各参照画素に対応するフィルタ係数おょぴ重要度 ωの積の総和で除算 して、 その商を平滑化された R成分だけの画像 R ' の注目画素に対応する画素値 とする。 一方、 平滑化部 8 2も同様に、 平滑化部 8 2は、 ステップ S 1 2 8で演 算した G成分を有する各参照画素の画素値、 対応するフィルタ係数、 および重要 度 ωの積の総和を、 各参照画素に対応するフィルタ係数および重要度 ωの積の総 和で除算して、 その商を平滑化された G成分だけの画像 G ' の注目画素に対応す る画素値とする。

ステップ S 1 3 0において、 減算器 8 3は、 平滑化部 8 1からの平滑化された R成分だけの画像 R， の注目画素に対応する画素値から、 平滑化部 8 2からの平 滑化された G成分だけの画像 G ' の注目画素に対応する画素値を減算し、 その差 を色差画像 Cの注目画素の画素値とする。

処理は、 ステップ S 1 2 1に戻り、 全ての画素を注目画素としたと判定される まで、 ステップ S 1 2 1乃至 1 3 0の処理が繰り返される。 ステップ S 1 2 1に おいて、 全ての画素を注目画素としたと判定された場合、 当該色差画像生成処理 を終了して、 図 5 5のステップ S 5 3にリターンする。

なお、 色差画像生成部 7 3が色差画像 Dを生成する処理は、 上述した色差画像 生成部 7 2が色差画像 Cを生成する第 2の処理と同様であるので、 その説明は省 略する。

色差画像 Cを生成する第 2の処理では、 画像内の物体の輪郭を検出し、 輪郭に 平行して平滑化を実行するようにしたので、 色差画像 Cを生成する第 1の処理に 比較して色モアレの発生を抑止するこができる。

次に、 第 2のデモザイク処理を主に実行する画像処理部 7の第 2の構成例につ いて、 図 6 4を参照して説明する。 画像処理部 7の第 2の構成例において、 撮像 系からの色 ·感度モザイク画像、 色 ·感度モザイク画像の色モザイク配列を示す 色モザイクパターン情報、 および色 ·感度モザイク画像の感度モザイク配列を示 す感度モザイクパターン情報は、 感度均一化部 1 1 1に供給される。

感度均一化部 1 1 1は、 色モザイクパターン情報および感度モザイクパターン 情報に基づき、 色■感度モザイク画像に感度均一化処理を施し、 得られる感度が 均一化された色モザイク画像 Mを色補間部 5 2に出力する。 ただし、 得られる色 モザイク画像 Mの色モザイク配列は、 元の色■感度モザイク画像の色モザイク配 列とは必ずしも同じではないので、 感度均一化部 1 1 1は、 色モザイクパターン 情報を更新して色補間部 1 1 2に供給する。

色捕間部 1 1 2は、 感度均一化部 1 1 1からの色モザイク画像 Mに対し、 図 4 5の色補間部 5 2と同様に、 色モザイクパターン情報を用いる色補間処理を施す ことによって出力画像 R , G , Bを生成する。

図 6 5は、 感度均一化部 1 1 1の第 1の構成例を示している。 当該第 1の構成 例は、 図 3 5、 図 4 1および図 4 2を参照して説明した第 2のデモザイク処理に おける第 1の感度均一化処理を実行する感度均一化部 1 1 1の構成例である。 感度均一化部 1 1 1の第 1の構成例において、 撮像系からの色 .感度モザイク 画像は、 感度補償部 1 2 1および有効性判別部 1 2 3に供給される。 色モザイク パターン情報は、欠落補間部 1 2 4に供給される。感度モザイクパターン情報は、 感度補償部 1 2 1および有効性判別部 1 2 3に供給される。

感度補償部 1 2 1は、 相対感度値 LUT 1 2 2から得られる相対感度値 Sに基づ き、 色 '感度モザイク画像に感度補償を施して欠落補間部 1 2 4に出力する。 相 対感度値 LUT 1 2 2は、 画素の感度をインデックスとして、 相対感度値 Sを出力 するノレックアツプテ一ブルである。

有効性判別部 1 2 3は、 色 ·感度モザイク画像の各画素の画素値を、 飽和レべ ルの閾値 6 Hおよびノイズレベルの 0 _Lと比較することによつて画素値の有効性 を判別し、 その結果を判別情報として欠落補間部 1 2 4に供給する。 判別情報に は、 各画素の画素値について有効または無効を示す情報が記述されている。

欠落補間部 1 2 4は、 有効性判別部 1 2 3からの判別情報に基づき、 感度補償 された色 ·感度モザイク画像の全画素のうち、 判別情報が有効である画素の画素 値はそのまま用い、 判別情報が無効である画素に対しては、 感度補償された色 - 感度モザイク画像のなかに最も多く存在する色を有する画素の画素値を用いて、 その色成分の画素値を補間する。 このように、 最も多く存在する色を有する画素 の画素値を用いることによって、 より高周波成分が復元し易くなる。 さらに、 欠 落補間部 1 2 4は、 生成した色モザイク画像 Mの色モザイク配列に対応して色モ ザイクパターン情報を更新し、 色補間部 1 1 2に出力する。

次に、 図 6 4に示した画像処理部 7の第 2の構成例が主に実行する第 2のデモ ザイク処理について説明するが、 その大部分は、 上述した第 1のデモザイク処理 と同様である。 よって、上述した第 1のデモザイク処理と異なる処理、すなわち、 感度均一化部 1 1 1を構成する欠落補間部 1 2 4の欠落補間処理について、 図 6 6のフローチャートを参照して説明する。 以下、 色 ·感度モザイク画像のなかに は G成分を有する画素が最も多く存在すると仮定する。 ただし、 他の色成分を有 する画素が最も多く存在する場合においても同様に処理することができる。

ステップ S 1 5 1において、 欠落補間部 1 2 4は、 感度補償された色 ·感度モ ザイク画像の全ての画素を注目画素としたか否かを判定し、 全ての画素を注目画 素としていないと判定した場合、 ステップ S 1 5 2に進む。 ステップ S 1 5 2に おいて、 欠落補間部 1 2 4は、 感度補償された色 ·感度モザイク画像の左下の画 素から右上の画素まで、 順次 1画素ずつ注目画素に決定する。

ステップ S 1 5 3において、 欠落補間部 1 2 4は、 注目画素の判別情報が無効 であるか否かを判定し、 注目画素の判別情報が無効であると判定した場合、 ステ ップ S 1 5 4に進む。

ステップ S 1 5 4において、 欠落補間部 1 2 4は、 色モザイクパターン情報を 参照し、 注目画素の近傍の画素 （例えば、 注目画素を中心とする 5 X 5画素） の うち、 G成分を有する画素であって、かつ、判別情報が有効である画素を検出し、 検出した画素 （以下、 参照画素と記述する） の画素値を抽出する。 また、 欠落補 間部 1 2 4は、 参照画素の注目画素に対する相対的な位置に対応して予め設定さ れているフィルタ係数を、 参照画素の数だけ取得する。 さらに、 欠落補間部 1 2 4は、 各参照画素の画素値と、 対応するフィルタ係数を乗算し、 それらの積の総 和を演算する。さらに、その積の総和を、用いたフィルタ係数の総和で除算して、 その商を色モザイク画像 Mの注目画素の画素値とする。

ステップ S 1 5 5において、 欠落補間部 1 2 4は、 色モザイクパターン情報に おける注目画素の色を Gに更新する。

なお、 ステップ S 1 5 3において、 注目画素の判別情報が無効ではないと判定 された場合、 ステップ S 1 5 4、 およびステップ S 1 5 5の処理はスキップされ る。

処理は、 ステップ S 1 5 1に戻り、 全ての画素を注目画素としたと判定される まで、 ステップ S 1 5 1乃至 1 5 5の処理が繰り返される。 ステップ S 1 5 1に おいて、 全ての画素を注目画素としたと判定された場合、 当該欠落捕間処理は終 了され、 得られた色モザイク画像 M、 および更新された色モザイクパターン情報 は、 後段の色補間部 1 1 2に供給される。

次に、 図 6 5に示した感度均一化部 1 1 1の第 1の構成例の代わりに用いるこ とができる感度均一化部 1 1 1の第 2の構成例について、 図 6 7を参照して説明 する。

当該第 2の構成例は、 図 3 5、 図 4 3、 およぴ図 4 4を参照して説明した第 2 のデモザイク処理における第 2の感度均一化処理を感度均一化部 1 1 1が実行す るための構成例である。

以下、 色■感度モザイク画像は、 図 1 4の色 '感度モザイクパターン P 1 0、 図 1 5の色 '感度モザイクパターン P 1等のように、 画素の色は 3原色 R G Bの うちのいずれかの色であり、 感度は 4段階 S 0 , S 1 , S 2 , S 3のうちのいず れかの感度であるとして説明する。 ただし、 以下に説明する構成や動作は、 R G B以外の 3色から成る色 ·感度モザイク画像や、 4色から成る色 ·感度モザイク 画像に適用することも可能である。また、感度が 2段階、または 3段階である色 - 感度モザイクパターンに適用することが可能である。

感度均一化部 1 1 1の第 2の構成例において、 撮像系からの色 ·感度モザイク 画像、 色モザイクパターン情報、 および感度モザイクパターン情報は、 補間部 1 3 2 _ 1乃至 1 3 2— 4に供給される。 色モザイクパターン情報は、 補間色決定 部 1 3 1にも供給される。

補間色決定部 1 3 1は、 色モザイクパターン情報に基づき、 補間部 1 3 2— 1 乃至 1 3 2— 3で補間する補間値の色 （補間色） を指定する。 また、 補間色決定 部 1 3 1は、 補間色の決定に対応して色モザイクパターン情報を更新する。

捕間部 1 3 1— 1は、補間色決定部 1 3 1からの補間色の指定に対応して、色- 感度モザイク画像に感度 S 0の補間処理を施し、 得られる感度 S 0に対応する補 間値を加算器 1 3 3に出力する。 補間部 1 3 1— 2は、 補間色決定部 1 3 1から の補間色の指定に対応して、色'感度モザイク画像に感度 S 1の補間処理を施し、 得られる感度 S 1に対応する補間値を加算器 1 3 3に出力する。 補間部 1 3 1— 3は、 補間色決定部 1 3 1からの補間色の指定に対応して、 色■感度モザィク画 像に感度 S 2の補間処理を施し、 得られる感度 S 2に対応する補間値を加算器 1 3 3に出力する。 捕間部 1 3 1—4は、 補間色決定部 1 3 1からの捕間色の指定 に対応して、 色 ·感度モザイク画像に感度 S 3の補間処理を施し、 得られる感度 S 3に対応する補間値を加算器 1 3 3に出力する。

加算器 1 3 3は、 補間部 1 3 2— 1乃至 1 3 2— 4から入力される感度 S 0乃 至 S 3の補間値を画素毎に加算し、 その和を色モザイク候補画像の画素値として 合成感度補償部 1 3 4に供給する。

合成感度補償部 1 3 4は、 加算器 1 3 3から供給される色モザイク候補画像の 画素値を合成感度補償 LUT 1 3 5に照らし合わせ、 得られる値を画素値とする色 モザイク画像を生成して色補間部 1 1 2に供給する。合成感度補償 LUT 1 3 5は、 色モザイク候補画像の画素値をインデックスとして、 色 ·感度モザイク画像 Mの 画素値を取得できるようになされている。

図 6 7に示した感度均一化部 1 1 1の第 2の構成例による、 第 2のデモザイク 処理における第 2の感度均一化処理について、 図 6 8のフローチヤ一トを参照し て説明する。

ステップ S 1 6 1において、 補間部 1 3 2— 1乃至 1 3 2— 4は、 色 '感度モ ザイク画像の全ての画素を注目画素としたか否かを判定し、 全ての画素を注目画 素としていないと判定した場合、 ステップ S 1 6 2に進む。 ステップ S 1 6 2に おいて、 捕間部 1 3 2 _ 1乃至 1 3 2— 4は、 色 '感度モザイク画像の左下の画 素から右上の画素まで、 順次 1画素ずつ注目画素に決定する。

ステップ S 1 6 3において、 補間色決定部 1 3 1は、 色モザイクパターン情報 に基づく補間色決定処理を実行し、 得られた注目画素の補間色を捕間部 1 3 2— 1乃至 1 3 2— 4に通知する。

補間色決定部 1 3 1の補間色決定処理の詳細について、 図 6 9のフローチヤ一 トを参照して説明する。 なお、 当該補間色決定処理は、 注目画素により近傍の画 素を用いて注目画素の画素値を補間することを目的とし、 色 ·感度モザイク画像 の色モザイク配列がべィャ配列をなしていると仮定する。

ステップ S 1 7 1において、 補間色決定部 1 3 1は、 色モザイクパターン情報 を参照することにより、 注目画素の色を判定する。 ステップ S 1 7 1において、 注目画素の色が Gであると判定ざれた場合、 ステ ップ S 1 7 2に進む。 この場合、 注目画素の斜め方向に隣接する 4画素の色も G である。 ステップ S 1 7 2において、 捕間色決定部 1 3 1は、 注目画素の補間色 を Gに決定し、 補間部 1 3 2— 1乃至 1 3 2— 4に通知する。 さらに、 補間色決 定部 1 3 1は、 注目画素に対応する色モザイクパターン情報を Gに更新する。 ステップ S 1 7 1において、 注目画素の色が Rであると判定された場合、 ステ ップ S 1 7 3に進む。 この場合、 注目画素の斜め方向に隣接する 4画素の色は B である。 ステップ S 1 7 3において、 補間色決定部 1 3 1は、 注目画素の捕間色 を Bに決定し、 補間部 1 3 2— 1乃至 1 3 2 _ 4に通知する。 さらに、 補間色決 定部 1 3 1は、 注目画素に対応する色モザイクパターン情報を Bに更新する。 ステップ S 1 7 1において、 注目画素の色が Bであると判定された場合、 ステ ップ S 1 7 4に進む。 この場合、 注目画素の斜め方向に隣接する 4画素の色は R である。 ステップ S 1 7 4において、 補間色決定部 1 3 1は、 注目画素の補間色 を Rに決定し、 補間部 1 3 2 _ 1乃至 1 3 2— 4に通知する。 さらに、 補間色決 定部 1 3 1は、 注目画素に対応する色モザイクパターン情報を Rに更新する。 以上説明した補間色決定処理によれば、 色モザイク配列がべィャ配列をなす 色■感度モザイク画像の Rと Bを入れ替えるように、 注目画素の捕間色を指定す るので、 更新された色モザイクパターン情報もべィャ配列をなすことが維持され る。

処理は図 6 8のステップ S 1 6 4にリターンする。ステップ S 1 6 4において、 補間部 1 3 2— 1乃至 1 3 2— 4は、 捕間色決定部 1 3 1からの補間色の指定に 対応し、色 ·感度モザィク画像に補間処理を施すことにより、それぞれ感度 S 0， S l， S 2、 または感度 S 3に対応する補間値を生成して加算器 1 3 3に出力す る。

具体的には、 例えば、 補間部 1 3 2 _ 1は、 色 ·感度モザイク画像の注目画素 の近傍に位置する画素 （例えば、 注目画素を中心とする 5 X 5画素） のうち、 補 間色指定部 1 3 1から指定された色を有し、 かつ、 感度が S 0である画素を検出 し、 検出した画素 （以下、 参照画素と記述する） の画素値を抽出する。 また、 捕 間部 1 3 2— 1は、 検出した参照画素の注目画素に対する相対的な位置に対応し て予め設定されているフィルタ係数を、 参照画素の数だけ取得する。 さらに、 補 間部 1 3 2— 1は、 各参照画素の画素値と、 対応するフィルタ係数とを乗算し、 それらの積の総和を演算する。 さらに、 その積の総和を、 用いたフィルタ係数の 総和で除算して、 その商を注目画素の感度 S 0に対応する補間値とする。

なお、補間部 1 3 2— 2乃至 1 3 2— 3による感度 S 1乃至 S 3の補間処理は、 上述した補間部 1 3 2— 1による感度 S 0の補間処理と同様であるので、 その説 明は省略する。

ステップ S 1 6 5において、 加算器 1 3 3は、 捕間部 1 3 2— 1乃至 1 3 2— 4から入力される注目画素に対応する感度 S 0乃至 S 3の補間値を加算し、 その 和を注目画素に対応する色モザイク候補画像の画素値として合成感度補償部 1 3 3に供給する。

ステップ S 1 6 6は、 合成感度補償部 1 3 4は、 加算器 1 3 3から供給された 色モザイク候補画像の画素値を合成感度補償 LUT 1 3 5に照らし合わせ、 得られ た値を注目画素に対応する色モザイク画像 Mの画素値とする。

処理は、 ステップ S 1 6 1に戻り、 全ての画素を注目画素としたと判定される まで、 ステップ S 1 6 1乃至 1 6 6の処理が繰り返される。 ステップ S 1 6 1に おいて、 全ての画素を注目画素としたと判定された場合、 第 2のデモザイク処理 における第 2の感度均一化処理は終了される。

なお、 第 2のデモザイク処理における第 2の感度均一化処理により得られた色 モザイク画像 Mに対しては、 色補間部 1 1 2によって色補間処理が施されるが、 その処理は図 5 5のフローチヤ一トを参照して上述した色補間処理と同様である ので説明は省略する。

次に、 図 7 0は、 画像処理部 7を中心とする画像処理系の第 3のデモザイク処 理の概要を示している。

第 3のデモザイク処理は、 図 7 0に示すように、 撮像部の処理によって得られ た色 ·感度モザイク画像の画素の感度を変更することなく、 各画素の R G B成分 を補間して R成分の感度モザイク画像 MsR、 G成分の感度モザイク画像 MsG、およ び B成分の感度モザイク画像 MsBを生成する感度別色補間処理と、 R成分の感度 モザイク画像、 G成分の感度モザイク画像、 および B成分の感度モザイク画像の それぞれの感度を均一化して出力画像 R , G , Bを生成する感度均一化処理から 成る。

第 3のデモザイク処理における感度別色補間処理は、 色 ·感度モザイク画像か ら同一の感度の画素だけを抽出する抽出処理と、 抽出処理で抽出された画素の R G B成分の画素値を捕間する色補間処理と、 色補間処理で補間された画素値を R G B成分毎に合成して感度モザイク画像を生成する揷入処理からなる。

例えば、 抽出処理では、 色■感度モザイク画像から、 感度 S 1の画素だけが抽 出されて、画素が市松状に配置された色モザイク画像 McS lが生成される。色補間 処理では、色モザイク画像 McSlから、感度 S 1であって R成分を有する画素が巿 松状に配置された画像 Rsl、 感度 S 1であって G成分を有する画素が巿松状に配 置された画像 Gsl、 および感度 S 1であって B成分を有する画素が巿松状に配置 された画像 Bs lが生成される。

例えば、 揷入処理では、 色補間処理によって生成された画像 RS0 と、 画像 RS1 が組み合わされて、 感度モザイク画像 MsRが生成される。

次に、 第 3のデモザイク処理を主に実行する画像処理部 7の第 3の構成例につ いて、 図 7 3を参照して説明する。

画像処理部 7の第 3の構成例において、撮像系からの色'感度モザィク画像は、 感度別色補間部 1 5 1に供給される。 色 ·感度モザイク画像の色モザイク配列を 示す色モザイクパターン情報は、 感度別色補間部 1 5 1に供給される。 色 '感度 モザイク画像の感度モザイク配列を示す感度モザイクパターン情報は、 感度別色 補間部 1 5 1、 および感度均一化部 1 5 2乃至 1 5 4に供給される。

なお、以下、特に断りがある場合を除き、 色 ·感度モザイク画像は、 図 7の色 - 感度モザイクパターン P 3であるとする。 すなわち、 画素の色は 3原色 R G Bの うちのいずれかの色であり、 感度は S 0， S 1のうちの一方であって、 さらに、 色に拘わらず感度 S 0の画素だけに注目すれば、 それらは格子状 （市松状） に配 置されている。 同様に、 感度 S 1の画素の格子状 （市松状） に配置されている。 ただし、 以下に説明する構成や動作は、 R G B以外の 3色から成る色，感度モ ザイク画像や、 4色から成る色-感度モザイク画像に適用することも可能である。 感度別色補間部 1 5 1は、 色 ·感度モザイク画像に感度別色補間処理を施し、 得られる R成分の感度モザイク画像 MsR、 G成分の感度モザイク画像 MsG、および B成分の感度モザイク画像 MsBを、 それぞれ対応する感度均一化部 1 5 2乃至 1 5 4に供給する。

感度均一化部 1 5 2は、 R成分の感度モザィク画像 MsRに感度均一化処理を施 すことによって出力画像 Rを生成する。 感度均一化部 1 5 3は、 G成分の感度モ ザイク画像 MsGに感度均一化処理を施すことによって出力画像 Gを生成する。 感 度均一化部 1 5 4は、 B成分の感度モザイク画像 MsBに感度均一化処理を施すこ とによって出力画像 Bを生成する。

図 7 4は、 感度別色補間部 1 5 1の構成例を示している。 感度別色補間部 1 5 1において、 色 ·感度モザイク画像、 色モザイクパターン情報、 および感度モザ イクパターン情報は、 抽出部 1 6 1に供給される。

抽出部 1 6 1は、 色 ·感度モザイク画像に対して、 感度 S i (いまの場合、 i = 0， 1 ) の抽出処理を施し、 得られる感度 S iの画素からなる色モザイク画像 McSiを色補間部 1 6 2に供給する。 なお、 色モザイク画像 McSiは、 元の色■感 度モザイク画像の X y座標系とは異なる s t座標系を用いて表現されるで画像で ある （詳細は図 7 8および図 7 9を参照して後述する）。 また、 抽出部 1 6 1は、 色モザイク画像 McSi の色モザイク配列を示す感度 S iの色モザイクパターン情 報を生成し、 色補間部 1 6 2に供給する。 さらに、 抽出部 1 6 1は、 色モザイク 画像 McSiと元の色'感度モザイク画像との位置関係を保持する感度 S iの元位置 情報を生成し、 挿入部 1 6 3乃至 1 6 5に供給する。

色補間部 1 6 2は、抽出部 1 6 1からの色モザイク画像 McSiの全画素の R G B 成分を補間し、 得られる画像 Rsi, Gsi , Bsiをそれぞれ対応する揷入部 1 6 3乃 至 1 6 5に供給する。画像 Rsiは、色モザイク画像 McSiの各画素に対応する R成 分の画素値からなる画像である。画像 Gsiは、色モザイク画像 McSiの各画素に対 応する G成分の画素値からなる画像である。 画像 Bsi は、 色モザイク画像 McSi の各画素に対応する B成分の画素値からなる画像である。 また、 画像 Rsi, Gsi , Bsiは、 色モザイク画像 McSiと同じ座標系によって表現される。 なお、 色補間部 1 6 2は、 図 4 7に示した色補間部 5 2の構成例と同様に構成される。

揷入部 1 6 3は、抽出部 1 6 1から供給される感度 S iの元位置情報に基づき、 色捕間部 1 6 2から感度の種類の数だけ供給される R成分の画像 Rsiを組み合わ せて感度モザイク画像 MsRを生成し、 感度均一化部 1 5 2に供給する。 挿入部 1 6 4は、 抽出部 1 6 1から供給される感度 S iの元位置情報に基づき、 色補間部 1 6 2から感度の種類の数だけ供給される G成分の画像 Gsiを組み合わせて感度 モザイク画像 MsGを生成し、 感度均一化部 1 5 3に供給する。 揷入部 1 6 5は、 抽出部 1 6 1から供給される感度 S iの元位置情報に基づき、 色補間部 1 6 2か ら感度の種類の数だけ供給される B成分の画像 Bsiを組み合わせて感度モザイク 画像 MsBを生成し、 感度均一化部 1 5 4に供給する。

図 7 5は、 感度均一化部 1 5 2の構成例を示している。 感度均一化部 1 5 2に おいて、 感度別色補間部 1 5 1の揷入部 1 6 3から供給される感度モザイク画像 MsR は、 局所和算出部 1 7 1に供給される。 局所和算出部 1 7 1は、 感度モザィ ク画像 MsRの各画素に対し、 その近傍の画素を用いる局所和算出処理を施し、 得 られる各画素に対応する局所和を合成感度補償部 1 7 2に供給する。 合成感度補 儻部 1 7 2は、 合成感度補償 LUT 1 7 3に局所和を照らし合わせて対応する補償 値を取得し、 捕償値を画素値として出力画像 Rを生成する。 合成感度補償 LUT 1 7 3は、 局所和をインデックスとして、 対応する捕償値を供給するようになされ ている。

なお、 感度均一化部 1 5 3， 1 5 4の構成例は、 図 7 5に示した感度均一化部 1 5 2の構成例と同様であるので、 その説明は省略する。 次に、 図 7 3に示した画像処理部 7の第 3の構成例による第 3のデモザイク処 理について、 図 7 6にフローチヤ一トを参照して説明する。

ステップ S 1 8 1において、 感度別色捕間部 1 5 1は、 色 ·感度モザイク画像 に感度別色補間処理を施すことにより、 R成分の感度モザイク画像 MsR、 G成分 の感度モザイク画像 MsG、 および B成分の感度モザイク画像 MsBを生成し、 それ ぞれ対応する感度均一化部 1 5 2乃至 1 5 4に供給する。

感度別色補間部 1 5 1の感度別色補間処理の詳細について、 図 7 7のフローチ ヤートを参照して説明する。 ステップ S 1 9 1において、 抽出部 1 6 1は、 感度 モザイクパターン情報に含まれる全ての感度 （いまの場合、 3 0ぉょび3 1 ) を 指定したか否かを判定し、 全ての感度を指定していないと判定した場合、 ステツ プ S 1 9 2に進む。

ステップ S 1 9 2において、 抽出部 1 6 1は、 感度モザイクパターン情報に含 まれる全ての感度のうちの 1種類の感度を指定する。 指定された感度を S i とす る。

ステップ S 1 9 3において、 抽出部 1 6 1は、 色 .感度モザイク画像の全ての 画素のうち、 感度 S iの画素だけを抽出し、 感度 Siの色モザイク画像 McSiを生 成して色補間部 1 6 2に供給する。さらに、抽出部 1 6 1は、色モザイク画像 McSi と元の色 ·感度モザイク画像との位置関係を保持する感度 S iの元位置情報を生 成し、 揷入部 1 6 3乃至 1 6 5に供給する。 また、 抽出部 1 6 1は、 色モザイク 画像 McSiの色モザイク配列を示す感度 S iの色モザイクパターン情報を生成し、 色補間部 1 6 2に供給する。

ステップ S 1 9 3の処理の詳細について、 図 7 8および図 7 9を参照して説明 する。

抽出される感度 S iの画素は元の色 ·感度モザイク画像の画素間隔では抽出さ れないので、 生成される感度 Siの色モザイク画像 McSiは、 元の色 .感度モザィ ク画像とは画素間隔、 原点、 向きが異なる格子に形成される。 そこで、 抽出部 6 1は、色モザイク画像 McSiを生成すると同時に、元の色'感度モザイク画像の座 標系と、色モザイク画像 McSiの座標系との対応関係を元に、画素毎に元の位置の 情報を参照できる元位置情報を生成する。

元の色'感度モザイク画像と生成する色モザイク画像 McSiの座標系の対応関係 は、 図 78または図 79に示すとおりである。 同図において、 元の色 .感度モザ イク画像は X y座標系で表示され、色モザイク画像 McSiは s t座標系で表示され ている。 また、 色 ·感度モザイク画像の画は感度 S 0の画素を示し、 色 '感度モ ザイク画像の口は感度 S 1の画素を示している。 このように X y座標系に対して 斜めに設定した s t座標系を用いることにより、 元の色 '感度モザイク画像にお いて市松状に配置された感度 S iの画素を、 等間隔格子の画素配置として抽出で きるようになされている。

図 78を参照して、 色 ·感度モザイク画像の画で示される感度 S 0の画素を抽 出する場合について説明する。 例えば、 図中の画素 Aは、 元の色■感度モザイク 画像を表現する X y座標系では （x _A， y_A) であり、 生成される色モザイク画像 McSiを表現する s t座標系では （ s _A， t_A) である。 （s_A, t _A) と （x_A， y _A) は、 次式 （22) に示すような対応関係がある。

s A⁼ { ( X _A— 1 ) + y _A} / 2

t A= {(x_{ma x}- 1 -x_A) +y_A} /2 · ■ ■ (22) 抽出部 1 6 1は、 元の色 '感度モザイク画像の感度 S 0の画素の座標 （x_A, y_A) を式 （22) に適用して、 色モザイク画像 McSiでの座標 （s_A， t_A) を算 出し、その座標に当該画素の値を用いて色モザイク画像 McSiを生成する。同時に、 感度 S 0の元位置情報には、 座標 （s_A, t _A) に対応して座標 （x_A， y_A) を格 納する。

図 79を参照して、 色 ·感度モザイク画像の口で示される感度 S 1の画素を抽 出する場合について説明する。 例えば、 図中の画素 Bは、 元の色 ·感度モザイク 画像を表現する X y座標系では （x_B， y_B) であり、 生成される色モザイク画像 McSiを表現する _s t座標系では （ s _B， t である。 （ s t と （x_B， y _B) は、 次式 （23) に示すような対応関係がある。 S B= ( χ B+ y _B) Z ²

t_B= {(x_{ma x}- i -x_B) +y_B} /2 - - - (23) 抽出部 1 6 1は、 元の色 '感度モザイク画像の感度 S 1の画素の座標 （x_B， y_B) を式 （22) に適用して、 色モザイク画像 McSiでの座標 （s _B, t _B) を算 出し、その座標に当該画素の値を用いて色モザイク画像 McSiを生成する。同時に、 感度 S 1の元位置情報には、 座標 （s _B， t _B) に対応して座標 （x_B， y _B) を格 納する。

図 7 7に戻り、 ステップ S 1 94において、 色捕間部 1 6 2は、 抽出部 1 6 1 からの色モザイク画像 McSiの全画素の RGB成分を補間して、 画像 Rsi, Gsi, Bsi を生成し、 それぞれ対応する揷入部 1 63乃至 1 6 5に供給する。 なお、 色 補間部 16 2の処理の詳細については、 図 55を参照して説明した色補間部 5 2 の色捕間処理と同様であるので、 その説明は省略する。

処理はステップ S 1 9 1に戻り、 感度モザイクパターン情報に含まれる全ての 感度を指定したと判定されるまで、 ステップ S 1 9 1乃至 S 1 94に処理が繰り 返される。 ステップ S 1 9 1において、 感度モザイクパターン情報に含まれる全 ての感度を指定したと判定された場合、 処理はステップ S 1 9 5に進む。

ステップ S 1 95において、 揷入部 1 6 3は、 抽出部 1 6 1から供給された全 ての元位置情報に基づき、 色補間部 1 6 2から感度の種類の数だけ供給された R 成分の画像 Rsi (いまの場合、画像 RsOと画像 Rsl) を組み合わせて感度モザイク 画像 MsRを生成し、 感度均一化部 1 5 2に供給する。 同様に、 揷入部 1 64は、 感度モザイク画像 MsGを生成して感度均一化部 1 53に供給し、揷入部 1 6 5は、 感度モザイク画像 MsBを生成して感度均一化部 1 54に供給する。

処理は図 76のステップ S 1 8 2にリターンする。ステップ S 1 82において、 感度均一化部 1 5 2は、 R成分の感度モザイク画像 MsRに感度均一化処理を施す ことによって出力画像 Rを生成する。 感度均一化部 1 5 3は、 G成分の感度モザ イク画像 MsGに感度均一化処理を施すことによって出力画像 Gを生成する。 感度 均一化部 1 54は、 B成分の感度モザィク画像 MsBに感度均一化処理を施すこと によって出力画像 Bを生成する。

感度均一化部 1 5 2の感度均一化処理について、 図 8 0のフローチヤ一トを参 照して説明する。 ステップ S 2 0 1において、 局所和算出部 1 7 1は、 R成分の 感度モザイク画像 MsRの全ての画素を注目画素としたか否かを判定し、 全ての画 素を注目画素としていないと判定した場合、 ステップ S 2 0 2に進む。 ステップ S 2 0 2において、 局所和算出部 1 7 1は、 感度モザイク画像 MsRの左下の画素 から右上の画素まで、 順次 1画素ずつ注目画素に決定する。

ステップ S 2 0 3において、 局所和算出部 1 7 1は、 注目画素に対応する局所 和を算出し、 合成感度補償部 1 7 2に供給する。 具体的には、 注目画素を中心と する 5 X 5画素 （以下、 参照画素と記述する） の画素値が抽出され、 それらの画 素値と、 参照画素の注目画素に対する相対的な位置に対応して予め設定されてい る図 8 1に示すようなフィルタ係数とがそれぞれ乗算され、 それらの積の総和が 演算される。 さらに、 その積の総和が、 2 5個のフィルタ係数の総和で除算され て、 その商が注目画素に対応する局所和とされる。

ステップ S 2 0 4において、 合成感度補償部 1 7 2は、 合成感度補償 LUT 1 7 3に局所和を照らし合わせて対応する補償値を取得し、 補償値を注目画素に対応 する出力画像 Rの画素値とする。

処理は、 ステップ S 2 0 1に戻り、 全ての画素を注目画素としたと判定される まで、 ステップ S 2 0 1乃至 2 0 4の処理が繰り返される。 ステップ S 2 0 1に おいて、 全ての画素を注目画素としたと判定された場合、 感度均一化処理は終了 され、 図 7 6にリターンする。

なお、 感度均一化部 1 5 3， 1 5 4も、 感度均一化部 1 5 2の感度均一化処理 と平行して同様の感度均一化処理を実行するが、 その詳細な説明は省略する。 以上、 画像処理部 7の第 3の構成例による第 3のデモザィク処理の説明を終了 する。

次に、 画像処理部 7を中心とする画像処理系の第 4のデモザイク処理の概要に ついて説明する。 第 4のデモザイク処理は、 撮像部の処理によって得られた色■感度モザイク画 像から輝度画像を生成する輝度画像生成処理、 および、 色 ·感度モザイク画像と 輝度画像を用いて出力画像 R， G , Bを生成する単色画像処理から成る。

図 8 2は、 第 4のデモザイク処理を主に実行する画像処理部 7の第 4の構成例 を示している。

画像処理部 7の第 4の構成例において、 撮像系からの色 ·感度モザイク画像、 色-感度モザィク画像の色モザィク配列を示す色モザィクパターン情報、およぴ、 色 ·感度モザイク画像の感度モザイク配列を示す感度モザイクパターン情報は、 輝度画像生成部 1 8 1、 並びに単色画像生成部 1 8 2乃至 1 8 4に供給される。 なお、以下、特に断りがある場合を除き、 色.感度モザイク画像は、 図 6の色 - 感度モザイクパターン P 2であるとする。 すなわち、 画素の色は 3原色 R G Bの うちのいずれかの色であり、 感度は S 0， S 1のうちの一方であって、 さらに、 感度に拘わらず色だけに注目すれば、 それらはべィャ配列をなしている。

ただし、 以下に説明する構成や動作は、 R G B以外の 3色から成る色 .感度モ ザイク画像や、 4色から成る色 '感度モザィク画像に適用することも可能である。 輝度画像生成部 1 8 1は、 供給される色 ·感度モザイク画像に対して輝度画像 生成処理を施し、 得られる輝度画像を単色画像生成部 1 8 2乃至 1 8 4に供給す る。

単色画像生成部 1 8 2は、 供給される色 ·感度モザイク画像および輝度画像を 用いて出力画像 Rを生成する。 単色画像生成部 1 8 3は、 供給される色 ·感度モ ザイク画像および輝度画像を用いて出力画像 Gを生成する。 単色画像生成部 1 8 4は、 供給される色■感度モザイク画像および輝度画像を用いて出力画像 Bを生 成する。

図 8 3は、 輝度画像生成部 1 8 1の第 1の構成例を示している。 輝度画像生成 部 1 8 1の第 1の構成例において、 色 .感度モザイク画像、 色モザイクパターン 情報、 および感度モザイクパターン情報は、 推定部 1 9 1乃至 1 9 3に供給され る。 推定部 1 9 1は、 色 ·感度モザイク画像に対して R成分推定処理を施し、 得ら れる各画素に対する R成分の推定値 R' を乗算器 1 94に供給する。 推定部 1 9 2は、 色 ·感度モザイク画像に対して G成分推定処理を施し、 得られる各画素に 対する G成分の推定値 G' を乗算器 1 95に供給する。 推定部 19 3は、 色 -感 度モザイク画像に対して B成分推定処理を施し、 得られる各画素に対する B成分 の推定値 B' を乗算器 1 96に供給する。

乗算器 1 94は、 推定部 1 9 1から供給される推定値 R' に、 色バランス係数 k_Rを乗算し、 その積を加算器 1 9 7に出力する。 乗算器 1 95は、 推定部 1 9 2から供給される推定値 G' に、 色パランス係数 k_cを乗算し、 その積を加算器 1 97に出力する。乗算器 1 9 6は、推定部 1 9 3から供給される推定値 B 'に、 色バランス係数 k_Bを乗算し、 その積を加算器 1 9 7に出力する。

加算器 1 97は、 乗算器 1 94から入力される積 R' · k_R、 乗算器 1 9 5から 入力される積 G，- k_G、および乗算器 1 96から入力される積 Β'· k_Bを加算し、 その和を画素値とする輝度候補画像を生成してノイズ除去部 1.98に供給する。 ここで、 色バランス係数 k_R, k_G, k_Bは、 予め設定されている値であり、 例 えば、 k_R= 0. 3、 k_G= 0. 6、 k_B= 0. 1である。 なお、 色バランス係数 k_R， k_G, k_Bの値は、 基本的には輝度候補値として輝度変化に相関がある値を 算出することができればよい。 したがって、 例えば、 k_R=k_G=k_Bとしてもよ い。

ノイズ除去部 1 98は、 加算器 1 9 7から供給される輝度候補画像に対してノ ィズ除去処理を施し、 得られる輝度画像を単色画像生成部 1 8 2乃至 1 84に供 給する。

図 84は、 単色画像生成部 1 8 2の構成例を示している。 単色画像生成部 1 8 2において、 色 '感度モザイク画像、 色モザイクパターン情報、 および感度モザ イクパターン情報は、 補間部 20 1に供給される。 輝度画像は、 比率算出部 20 2、 および乗算器 203に供給される。

補間部 20 1は、 色 .感度モザイク画像に補間処理を施し、 得られる全ての画 素が R成分の画素値を有する R候補画像を比率値算出部 202に出力する。 比率 値算出部 202は、 R候補画像と輝度画像の対応する画素間の強度比率の低周波 成分 （以下、 単に強度比率と記述する） を算出し、 さらに、 各画素に対応する強 度比率を示す比率値情報を生成して乗算器 203に供給する。

乗算器 203は、 輝度画像の各画素の画素値に、 対応する強度比率を乗算し、 その積を画素値とする出力画像 Rを生成する。

なお、 単色画像生成部 1 8 3， 1 84の構成例も同様であるので、 その説明は 省略する。

次に、 画像処理部 7の第 4の構成例による第 4のデモザイク処理について、 図 85のフローチャートを参照して説明する。

ステップ S 2 1 1において、 輝度画像生成部 1 8 1は、 色 '感度モザイク画像 に輝度画像生成処理を施すことによって輝度画像を生成し、 単色画像生成部 18 2乃至 1 84に供給する。

輝度画像生成部 1 8 1の輝度画像生成処理について、 図 86のフローチヤ一ト を参照して説明する。

ステップ S 2 2 1において、 推定部 1 9 1乃至 1 9 3は、 色 '感度モザイク画 像の全ての画素を注目画素としたか否かを判定し、 全ての画素を注目画素として いないと判定した場合、 ステップ S 2 22に進む。 ステップ S 22 2において、 推定部 1 9 1乃至 1 93は、 色 '感度モザイク画像の左下の画素から右上の画素 まで、 順次 1画素ずつ注目画素に決定する。

ステップ S 2 23において、 推定部 1 9 1は、 色 '感度モザイク画像に対して R成分推定処理を施すことにより、 注目画素に対応する推定値 R' を推定し、 乗 算器 1 94に供給する。 推定部 1 92は、 色 '感度モザイク画像に対して G成分 推定処理を施すことにより、 注目画素に対応する推定値 G' を推定し、 乗算器 1 94に供給する。 推定部 1 93は、 色 ·感度モザイク画像に対して B成分推定処 理を施すことにより、 注目画素に対応する推定値 B' を推定し、 乗算器 1 94に 供給する。 推定部 1 9 1の R成分推定処理について、 図 8 7のフローチヤ一トを参照して 説明する。 ステップ S 2 3 1において、 推定部 1 9 1は、 色モザイクパターン情 報および感度モザイクパターン情報を参照することにより、 注目画素の近傍の画 素 （例えば、 注目画素を中心とする 1 5 X 1 5画素） のうち、 R成分を有し、 か つ、 感度 S 0である画素を検出し、 検出した画素 （以下、 参照画素と記述する） の画素値を抽出する。

ステップ S 2 3 2において、 推定部 1 9 1は、 参照画素の注目画素に対する相 対的な位置に対応し、 図 8 8に示すような予め設定されている R成分用補間フィ ルタ係数を参照画素の数だけ取得し、 各参照画素の画素値と対応するフィルタ係 数を乗算し、 それらの積の総和を演算する。 さらに、 その積の総和を、 用いた R 成分用補間フィルタ係数の総和で除算して第 1の商を取得する。

ステップ S 2 3 3において、 推定部 1 9 1は、 色モザイクパターン情報および感 度モザイクパターン情報を参照することにより、注目画素の近傍の画素（例えば、 注目画素を中心とする 1 5 X 1 5画素） のうち、 R成分を有し、 かつ、 感度 S 1 である画素を検出し、 検出した画素 （以下、 参照画素と記述する） の画素値を抽 出する。

ステップ S 2 3 4において、 推定部 1 9 1は、 参照画素の注目画素に対する相 対的な位置に対応し、 R成分用補間フィルタ係数を参照画素の数だけ取得し、 各 参照画素の画素値と対応するフィルタ係数を乗算し、 それらの積の総和を演算す る。 さらに、 その積の総和を、 用いた補間フィルタ係数の総和で除算して第 2の 商を取得する。

ステップ S 2 3 5において、 推定部 1 9 1は、 ステップ S 2 3 2で取得した第 1の商と、 ステップ S 2 3 4で取得した第 2の商を加算する。 ステップ S 2 3 6 において、 推定部 1 9 1は、 ステップ S 2 3 5で演算した第 1の商と第 2の商の 和を、 内蔵する合成感度補償 LUT (後述） に照らし合わせることにより、 感度特 性を補償した補償値を取得する。 取得した補償値は、 注目画素に対応する推定値 R， とされる。 処理は図 8 6のステップ S 2 2 4にリターンする。 なお、 推定部 1 9 2の G成分推定処理、 および推定部 1 9 3の B成分推定処理 は、 推定部 1 9 1の R成分推定処理と同様であるので、 その説明は省略する。 た だし、 推定部 1 9 2の G成分推定処理においては、 注目画素を中心とする 7 X 7 画素のなかから参照画素を検出するようにし、 さらに、 図 8 9に示す G成分用補 間フィルタ係数を用いることにする。

ここで、 推定部 1 9 1が用いる合成感度補償 LUTについて、 図 9 0乃至図 9 2 を参照して説明する。 図 9 0は、 感度 S 0の画素の特性曲線 bと、 感度 S 1の画 素の特性曲線 aを示しており、 横軸は入射光の強度、 縦軸は画素値を示す。 同図 において、 高感度の感度 S 1は、 低簡素の感度 S 0に対して 4倍の感度を有して いる。

当該推定処理では、 図 9 0の特性曲線 bに示すような特性で測定された感度 S 0の画素から算出された第 1の商と、 同図の特性曲線 aに示すような特性で測定 された感度 S 1の画素を用いて算出された第 2の商とが加算されている。従って、 第 1の商と第 2の商の和は、 図 9 1の特性曲線 cに示すように、 感度 S Oと感度 S 1の特性が合成された特性を有することになる。

この合成された特性曲線 cは、 低輝度から高輝度にわたる広ダイナミックレン ジの特性となるが、 図 9 1に示すように折れ線となっているので、 感度特性曲線 cの逆特性曲線を用いることにより、 元のリユアな特性を復元するようにする。 具体的には、 図 9 2に示すように、 第 1の商と第 2の商の和を、 図 9 1の感度特 性曲線 cの逆特性曲線 dに適用して非線形性を補償するようにする。

すなわち、 合成感度補償 LUTは、 図 9 2の逆特性曲線 dをルックアップテープ ル化したものである。

図 8 6の説明に戻る。 ステップ S 2 2 4において、 乗算器 1 9 4は、 推定部 1 9 1から供給された推定値 R， に色バランス係数 k _Rを乗算し、 その積を加算器 1 9 7に出力する。 乗算器 1 9 5は、 推定部 1 9 2から供給された推定値 G ' に 色バランス係数 k _Gを乗算し、 その積を加算器 1 9 7に出力する。 乗算器 1 9 6 は、 推定部 1 9 3から供給された推定値 B， に色バランス係数 k _Bを乗算し、 そ の積を加算器 1 97に出力する。 加算器 1 97は、 乗算器 1 94から入力された 積 R' ■ k_R、 乗算器 1 9 5から入力された積 G' ■ k_G、 および乗算器 1 96から 入力された積 B' · k_Bを加算し、 その和を注目画素に対応する輝度候補画像の画 素値 （輝度候補値） とする。

処理は、 ステップ S 2 2 1に戻り、 全ての画素を注目画素としたと判定される まで、 ステップ S 22 1乃至 224の処理が繰り返される。 ステップ S 221に おいて、 全ての画素を注目画素としたと判定された場合、 ステップ S 2 25にす すむ。 なお、 ステップ S 22 1乃至 224の処理によって生成された輝度候補画 像はノイズ除去部 1 98に供給される。

ステップ S 225において、 ノイズ除去部 1 9 8は、 加算器 1 9 7から供給さ れる輝度候捕画像にノィズ除去処理を施すことによつて輝度画像を生成し、 単色 画像生成部 1 8 2乃至 1 84に供給する。

ノイズ除去部 1 98のノイズ除去処理について、 図 9 3のフローチヤ一トを参 照して説明する。 ステップ S 24 1において、 ノイズ除去部 1 98は、 輝度候補 画像の全ての画素を注目画素としたか否かを判定し、 全ての画素を注目画素とし ていないと判定した場合、ステップ S 242に進む。ステップ S 242において、 ノイズ除去部 1 98は、 輝度候補画像の左下の画素から右上の画素まで、 順次 1 画素ずつ注目画素に決定する。

ステップ S 243において、 ノイズ除去部 1 9 8は、 注目画素の上下左右に位 置する画素の画素値 （輝度候補値） を取得し、 取得した注目画素の上下左右に位 置する画素輝度候補値を、 それぞれ変数 a 3， a 0, a 1 , a 2に代入する。 ステップ S 244において、 ノイズ除去部 1 98は、 方向選択的平滑化処理を 実行することにより、 注目画素に対応する平滑化値を取得する。

ノイズ除去部 1 98の方向選択的平滑化処理について、 図 94のフローチヤ一 トを参照して説明する。 ステップ S 25 1において、 ノイズ除去部 1 9 8は、 次 式 （24) に適用して、 注目画素に対応する輝度勾配ベク トル gを算出する。 輝度勾配ベク トル g= (a 2- a l , a 3- a O) - - - (24) ステップ S 2 5 2において、 ノイズ除去部 1 9 8は、 輝度勾配ベクトル gの大 きさ （絶対値） II V IIを演算する。

ステップ S 2 5 3において、 ノイズ除去部 1 9 8は、 変数 a 0乃至 a 3を次式 ( 2 5 ), ( 2 6 ) に適用して、 注目画素に対応する水平方向の平滑化成分 H hと 垂直方向の平滑化成分 H vを演算する。

Hh = ( a 1 + a 2) /2 · - - ( 2 5 )

H V = ( a 3 + a 0) / 2 · - - ( 2 6 ) ステップ S 2 5 4において、 ノイズ除去部 1 9 8は、 輝度勾配べクトル gの絶 対値 II g IIに対応して、 水平方向の重要度 whと垂直方向の重要度 wvを演算す る。

具体的には、 輝度勾配べク トル gの絶対値 II g IIが 0よりも大きい場合、 次式 ( 2 7)に示すように、正規化した輝度勾配べクトノレ gZli g IIとべクトル（1， 0) との内積の絶対値を 1から減算して水平方向の重要度 w hを得る。 また、 次 式（2 8)に示すように、正規化した輝度勾配べク トル gZ II g IIとべクトル（ 0 , 1) との内積の絶対値を 1から減算して垂直方向の重要度 w vを得る。

wh= l - I (g/ || g II , ( 1， ο)) I · ■ · ( 2 7) w v = l - I (g/|| g II , (o, D) I ■ ■ · ( 2 8 ) 輝度勾配べク トル gの絶対値 li g IIが oである場合、 水平方向の平滑化寄与率 whおよび垂直方向の平滑化寄与率 w Vを、 それぞれ 0. 5とする。

ステップ S 2 5 5において、 ノイズ除去部 1 9 8は、 次式 （2 9 ) を用いて注 目画素に対応する平滑化値ひを演算する。

a = (w h - Hh +w v - H v) / (w h +w v) · · - ( 2 9) 処理は図 9 3のステップ S 2 4 5に戻る。 ステップ S 2 4 5において、 ノイズ 除去部 1 9 8は、 注目画素の画素値 （輝度候補値） と、 ステップ S 2 4 4で演算 した注目画素に対応する平滑化値 αの平均値を演算し、 当該平均値を注目画素に 対応する輝度画像の画素値 （輝度値） とする。

処理はステップ S 2 4 1に戻り、 全ての画素を注目画素としたと判定されるま で、 ステップ S 2 4 1乃至 S 2 4 5の処理が繰り返される。 ステップ S 2 4 1に おいて、 全ての画素を注目画素としたと判定された場合、 ノイズ除去処理は終了 されて、 すなわち、 輝度画像生成処理も終了されて、 図 8 5のステップ S 2 1 2 にリターンする。

ステップ S 2 1 2において、 単色画像生成部 1 8 2乃至 1 8 4は、 供給された 色 -感度モザイク画像および輝度画像を用い、 それぞれ出力画像 R , G , Bを生 成する。

単色画像生成部 1 8 2の第 1の単色画像生成処理について、 図 9 5のフローチ ヤートを参照して説明する。

ステップ S 2 6 1において、 補間部 2 0 1は、 色■感度モザイク画像に補間処 理を施すことによって、 全ての画素が R成分の画素値を有する R候補画像を生成 し、 比率値算出部 2 0 2に出力する。

なお、 補間部 2 0 1の補間処理は、 図 8 7のフローチャートを参照して上述し た輝度画像生成部 1 8 1を構成する推定部 1 9 1の R成分推定処理と同様である ので、 その説明は省略する。

ステップ S 2 6 2において、 比率値算出部 2 0 2は、 比率値算出処理を施すこ とによって強度比率を算出し、 さらに、 各画素に対応する強度比率を示す比率値 情報を生成して乗算器 2 0 3に供給する。

比率値算出部 2 0 2の比率値算出処理について、 図 9 6のフローチヤ一トを参 照して説明する。 ステップ S 2 7 1において、 比率値算出部 2 0 2は、 R候補画 像の全ての画素を注目画素としたか否かを判定し、 全ての画素を注目画素として いないと判定した場合、 ステップ S 2 7 2に進む。 ステップ S 2 7 2において、 比率値算出部 2 0 2は、 R候補画像の左下の画素から右上の画素まで、 順次 1画 素ずつ注目画素に決定する。

ステップ S 2 7 3において、 比率値算出部 2 0 2は、 注目画素の近傍に位置す る画素 （例えば、 注目画素を中心とする 7 X 7画素） を参照画素し、 それらの画 素値 （R成分の単色候補値） を取得する。 また、 比率値算出部 2 0 2は、 参照画 素と同じ座標に位置する輝度画像の画素値 （輝度値） を抽出する。

ステップ S 2 7 4において、 比率値算出部 2 0 2は、 参照画素の注目画素に対 する相対的な位置に対応し、 図 9 7に示すように予め設定されている平滑化フィ ルタ係数を参照画素の数だけ取得する。

ステップ S 2 7 5において、 比率値算出部 2 0 2は、 各参照画素の R成分の単 色候捕値に対応する平滑化フィルタ係数を乗算し、 その積を対応する輝度値で除 算して、 それらの商の総和を演算する。 さらに、 その商の総和を、 用いた平滑化 フィルタ係数の総和で除算して、 その商を注目画素に対応する強度比率として、 比率値情報を生成する。

処理はステップ S 2 7 1に戻り、 R候補画像の全ての画素を注目画素としたと 判定されるまで、 ステップ S 2 7 1乃至 S 2 7 5の処理が繰り返される。 ステツ プ S 2 7 1において、 R候補画像の全ての画素を注目画素としたと判定された場 合、 生成された比率値情報が乗算器 2 0 3に供給されて、 処理は図 9 5のステツ プ S 2 6 3にリターンする。

ステップ S 2 6 3において、 乗算器 2 0 3は、 輝度画像の各画素の画素値に、 対応する強度比率を乗算し、 その積を画素値とする出力画像 Rを生成する。

なお、 単色画像生成部 1 8 2の第 1の単色画像生成処理と同時に、 単色画像生 成部 1 8 3 , 1 8 4も、 同様の処理を実行する。

以上、 画像処理部 7の第 4の構成例による第 4のデモザイク処理の説明を終了 する。

次に、 図 9 8は、 輝度画像生成部 1 8 1の第 2の構成例を示している。 輝度画 像生成部 1 8 1の第 2の構成例は、 図 8 3に示した輝度画像生成部 1 8 1の第 1 の構成例における推定部 1 9 1乃至 1 9 3を、 推定部 2 1 1で置換したものであ る。

輝度画像生成部 1 8 1の第 2の構成例において、 色■感度モザイク画像、 色モ ザイクパターン情報、 および感度モザイクパターン情報は、 推定部 2 1 1に供給 される。 推定部 2 1 1は、 色■感度モザイク画像に対して成分推定処理を施し、 得られ る各画素に対する R成分の推定値 R '、 G成分の推定値 G '、 および B成分の推定 値 B ' を、 対応する乗算器 1 9 4乃至 1 9 6に供給する。

なお、 輝度画像生成部 1 8 1の第 2の構成例をなす乗算器 1 9 4乃至ノイズ除 去部 1 9 8は、 同一の番号を附した図 8 3に示した輝度画像生成部 1 8 1の第 1 の構成例をなす乗算器 1 9 4乃至ノイズ除去部 1 9 8と同様であるので、 その説 明は省略する。

次に、 推定部 2 1 1による R G B成分の推定処理について、 図 9 9のフローチ ヤートを参照して説明する。 なお、 当該 R G B成分の推定処理は、 図 8 6のステ ップ S 2 2 3における処理として、 図 8 7を参照して上述した R成分推定処理に 代えて実行可能な処理である。 したがって、 既に色 ·感度モザイク画像の注目画 素は推定部 2 1 1によって決定されているとして、 ステップ S 2 8 1以降の処理 を説明する。

ステップ S 2 8 1において、 推定部 2 1 1は、 図 1 0 0に示すような注目画素 を中心とする 4画素の画素値を用いる推定画素値 C 0補間処理によって、 注目画 素に対応する推定画素値 C 0を算出する。 推定画素値 C 0補間処理について、 図 1 0 1のフローチヤ一トを参照して説明する。

ステップ S 2 9 1において、 推定部 2 1 1は、 図 1 0 0に示すように、 〇で表 される注目画素に対して 1画素分の間隔を空けて上下左右に位置する 4画素の画 素値を、 それぞれ変数 a 3 , a 0 , a 1 , a 2に代入して、 図 9 4を参照して上 述した方向選択的平滑化処理に適用することによって平滑化値 aを演算する。 このように、 指定した画素の上下左右方向に位置する 4画素の画素値を、 それ ぞれ変数 a 3， a O， a 1 , a 2に代入して、 図 9 4を参照して上述した方向選 択的平滑化処理に適用することによって平滑化値 _αを演算する処理を、 以下、 指 定した画素に対応する垂直方向選択的平滑化処理と定義する。

ステップ S 2 9 2において、 推定部 2 1 1は、 ステップ S 2 9 1で得た平滑化 値ひを注目画素の画素値に加算して、その和を注目画素の推定画素値 C 0とする。 処理は図 9 9のステップ S 2 8 2にリターンする。

ステップ S 2 8 2において、 推定部 2 1 1は、 図 1 0 2に示すような注目画素 を中心とする 1 2画素を用いる推定画素値 C 1補間処理によって、 注目画素に対 応する推定画素値 C 1を算出する。 推定画素値 C 1捕間処理について、 図 1 0 3 のフローチャートを参照して説明する。

ステップ S 3 0 1において、 推定部 2 1 1は、 注目画素の色が Gであるか否か を判定し、 注目画素の色が Gであると判定した場合、 ステップ S 3 0 2に進む。 ステップ S 3 0 2において、 推定部 2 1 1は、 図 1 0 2に示すように、 〇で表さ れる注目画素に対して左下、 左上、 右下、 右上に隣接して位置する 4画素の画素 値を、 それぞれ変数 a 0， a 1 , a 2， a 3に代入して、 図 9 4を参照して上述 した方向選択的平滑化処理に適用することによって平滑化値 aを演算する。 このように、 指定した画素の左下、 左上、 右下、 右上方向に位置する 4画素の 画素値を、 それぞれ変数 a 0 , a 1 , a 2 , a 3に代入して、 図 9 4を参照して 上述した方向選択的平滑化処理に適用することによって平滑化値 _αを演算する処 理を、 以下、 指定した画素に対応する斜め方向選択的平滑化処理と定義する。 ステップ S 3 0 3にいて、 推定部 2 1 1は、 ステップ S 3 0 2で得た平滑化値 αに 2を乗算して、 その積を注目画素の推定画素値 C 1とする。 処理は図 9 9の ステップ S 2 8 3にリターンする。

なお、 ステップ S 3 0 1において、 注目画素の色が Gではないと判定された場 合、 処理はステップ S 3 0 4に進む。

ステップ S 3 0 4において、 推定部 2 1 1は、 注目画素の左上に隣接する画素 を中心として 1画素分の間隔を空けて位置する 4画素を用い、 垂直方向選択的平 滑化処理を実行して平滑化値 αを算出し、 変数 a 1に代入する。 ステタブ S 3 0 5において、 推定部 2 1 1は、 注目画素の右下に隣接する画素を中心として 1画 素分の間隔を空けて位置する 4画素を用い、 垂直方向選択的平滑化処理を実行し て平滑化値ひを算出し、 変数 a 2に代入する。 ステップ S 3 0 6において、 推定 部 2 1 1は、 注目画素の左下に隣接する画素の画素値を変数 a 0に代入し、 注目 画素の右上に隣接する画素の画素値を変数 a 3に代入する。

ステップ S 307において、 推定部 2 1 1は、 ステップ S 304乃至 S 306 で値を設定した変数 a 0， a 1 , a 2, a 3を、 図 94を参照して上述した方向 選択的平滑化処理に適用して平滑化値 αを演算し、その値を平滑化値 α'とする。 ステップ S 308において、 推定部 21 1は、 注目画素の左下に隣接する画素 を中心として 1画素分の間隔を空けて位置する 4画素を用い、 垂直方向選択的平 滑化処理を実行して平滑化値 aを算出し、 変数 a 0に代入する。 ステップ S 30 9において、 推定部 21 1は、 注目画素の右上に隣接する画素を中心として 1画 素分の間隔を空けて位置する 4画素を用い、 垂直方向選択的平滑化処理を実行し て平滑化値 αを算出し、 変数 a 3に代入する。 ステップ S 3 1 0において、 推定 部 2 1 1は、 '注目画素の左上に隣接する画素の画素値を変数 a 1に代入し、 注目 画素の右下に隣接する画素の画素値を変数 _a 2に代入する。

ステップ S 3 1 1において、 推定部 2 1 1は、 ステップ S 308乃至 S 3 10 で値を設定した変数 a O, a 1 , a 2 , a 3を、 図 94を参照して上述した方向 選択的平滑化処理に適用して平滑化値 αを演算し、その値を平滑化値 α ' 'とする。 ステップ S 3 1 2において、 推定部 2 1 1は、 ステップ S 307で得た平滑化 値 α ' と、 ステップ S 3 1 1で得た平滑化値ひ'' をカロ算し、 その和を注目画素に 対応する推定画素値 C 1とする。 処理は図 9 9のステップ S 283にリターンす る。

ステップ S 28 3において、 推定部 21 1は、 図 1 04 Αに示すような注目画 素を中心とする 4画素、 または図 104 Bに示すような注目画素を中心とする 8 画素を用いる推定画素値 C 2補間処理によって、 注目画素に対応する推定画素値 C 2を算出する。 推定画素値 C 2捕間処理について、 図 105のフローチャート を参照して説明する。

ステップ S 3 2 1において、 推定部 21 1は、 注目画素の色が Gであるか否か を判定し、 注目画素の色が Gであると判定した場合、 ステップ S 3 22に進む。 ステップ S 3 22において、 推定部 21 1は、 注目画素の上に隣接する画素を 中心として 1画素分の間隔を空けて位置する 4画素を用い、 垂直方向選択的平滑 化処理を実行して平滑化値 _αを算出し、 平滑化値 _α ' とする。

ステップ S 3 2 3において、 推定部 2 1 1は、 注目画素の下に隣接する画素を 中心として 1画素分の間隔を空けて位置する 4画素を用い、 垂直方向選択的平滑 化処理を実行して平滑化値 αを算出し、 平滑化値 とする。

ステップ S 3 2 4において、 推定部 2 1 1は、 注目画素の下に隣接する画素の 画素値と、 ステップ S 3 2 2で得た平滑化値ひ ， との平均値と、 注目画素の上に 隣接する画素の画素値と、ステップ S 3 2 3で得た平滑化値ひ ' ' との平均値とを 加算して、 その和を注目画素に対応する推定画素値 C 2とする。 処理は図 9 9の ステップ S 2 8 4にリターンする。

なお、 ステップ S 3 2 1において、 注目画素の色が Gではないと判定された場 合、 処理はステツプ S 3 2 5に進む。

ステップ S 3 2 5において、 推定部 2 1 1は、 注目画素の左に隣接する画素を 中心として斜め方向に隣接して位置する 4画素を用い、 斜め方向選択的平滑化処 理を実行して平滑化値ひを算出し、 変数 a 1に代入する。 ステップ S 3 2 6にお いて、 推定部 2 1 1は、 注目画素の右に隣接する画素を中心として斜め方向に隣 接して位置する 4画素を用い、 斜め方向選択的平滑化処理を実行して平滑化値 α を算出し、 変数 a 2に代入する。 ステップ S 3 2 7において、 推定部 2 1 1は、 注目画素の下に隣接する画素の画素値を変数 a 0に代入し、 注目画素の上に隣接 する画素の画素値を変数 a 3に代入する。

ステップ S 3 2 8において、 推定部 2 1 1は、 ステップ S 3 2 5乃至 S 3 2 7 で値を設定した変数 a 0 ， a 1 , a 2 , a 3を、 図 9 4を参照して上述した方向 選択的平滑化処理に適用して平滑化値 αを演算し、その値を平滑化値 cx 'とする。 ステップ S 3 2 9において、 推定部 2 1 1は、 注目画素の下に隣接する画素を 中心として斜め方向に隣接して位置する 4画素を用い、 斜め方向選択的平滑化処 理を実行して平滑化値 αを算出し、 変数 a 0に代入する。 ステップ S 3 3 0にお いて、 推定部 2 1 1は、 注目画素の上に隣接する画素を中心として斜め方向に隣 接して位置する 4画素を用い、 斜め方向選択的平滑化処理を実行して平滑化値 α を算出し、 変数 a 3に代入する。 ステップ S 3 3 1において、 推定部 2 1 1は、 注目画素の左に隣接する画素の画素値を変数 a 1に代入し、 注目画素の右に隣接 する画素の画素値を変数 _a 2に代入する。

ステップ S 3 3 2において、 推定部 2 1 1は、 ステップ S 3 2 9乃至 S 3 3 1 で値を設定した変数 a O ， a 1 , a 2 , a 3を、 図 9 4を参照して上述した方向 選択的平滑化処理に適用して平滑化値 αを演算し、その値を平滑化値 α，'とする。 ステップ S 3 3 3において、 推定部 2 1 1は、 ステップ S 3 2 8で得た平滑化 値 α ' と、 ステップ S 3 3 2で得た平滑化値 を加算し、 その和を注目画素に 対応する推定画素値 C 2とする。 処理は図 9 9のステップ S 2 8 4にリターンす る。

ステップ S 2 8 4において、 推定部 2 1 1は、 図 1 0 6に示すような注目画素 を中心とする 8画素を用いる推定画素値 C 3補間処理によって、 注目画素に対応 する推定画素値 C 3を算出する。 推定画素値 C 3補間処理について、 図 1 0 7の フローチャートを参照して説明する。

ステップ S 3 4 1において、 推定部 2 1 1は、 注目画素の色が Gであるか否か を判定し、 注目画素の色が Gであると判定した場合、 ステップ S 3 4 2に進む。 ステップ S 3 4 2において、 推定部 2 1 1は、 注目画素の右に隣接する画素を 中心として 1画素分の間隔を空けて位置する 4画素を用い、 垂直方向選択的平滑 化処理を実行して平滑化値ひを算出し、 平滑化値 a ' とする。

ステップ S 3 4 3において、 推定部 2 1 1は、 注目画素の左に隣接する画素を 中心として 1画素分の間隔を空けて位置する 4画素を用い、 垂直方向選択的平滑 化処理を実行して平滑化値ひを算出し、 平滑化値ひ ' ' とする。

ステップ S 3 4 4において、 推定部 2 1 1は、 注目画素の左に隣接する画素の 画素値と、 ステップ S 3 4 2で得た平滑化値ひ ' との平均値と、 注目画素の右に 隣接する画素の画素値と、ステップ S 3 4 3で得た平滑化値 ' ' との平均値とを 加算して、 その和を注目画素に対応する推定画素値 C 3とする。 処理は図 9 9の ステップ S 28 5にリターンする。

なお、ステップ S 34 1において、注目画素の色が Gであると判定された場合、 処理はステップ S 345に進む。 ステップ S 345において、 推定部 2 1 1は、 注目画素に対応する推定画素値 C 3を 0とする。 処理は図 9 9のステップ S 28 5にリターンする。

ステップ S 285において、 推定部 21 1は、 色モザイクパターン情報および 感度モザイクパターン情報を参照して、 注目画素の色と感度を判別し、 その判別 結果に対応して、 ステップ S 28 1乃至 S 284で得た注目画素に対応する推定 画素値 C O乃至 C 3を、 内蔵する合成感度補償 LUT (図 90乃至図 9 2を参照し て上述した合成感度補償 LUTと同様のもの） に適用して、 推定値 R'， G'， B' を算出する。

すなわち、 注目画素の色が Gであって、 かつ、 感度 S Oである場合、 推定画素 値 C 2を合成感度補償 LUTに適用した値 LUT (C 2) が推定値 R' とされ、 推定 画素値 C 0+C 1の平均値を合成感度補償 LUTに適用した値 LUT((C 0 + C 1 /) 2)) が推定値 G' とされ、 推定画素値 C 3を合成感度補償 LUTに適用した値 LUT (C 3) が推定値 B' とされる。

注目画素の色が Gであって、 かつ、 感度 S 1である場合、 推定画素値 C 3を合 成感度補償 LUTに適用した値 LUT (C 3) が推定値 R' とされ、 推定画素値 C O + C 1の平均値を合成感度補償 LUTに適用した値 LUT ((C 0 +C 1Z) 2)) が 推定値 G' とされ、 推定画素値 C 2を合成感度補償 LUTに適用した値 LUT (C 2) が推定値 B' とされる。

注目画素の色が Rである場合、 推定画素値 C 0を合成感度補償 LUTに適用した 値 LUT (C O) が推定値 R' とされ、推定画素値 C 2の平均値を合成感度補償 LUT に適用した値 LUT (C 2) が推定値 G' とされ、 推定画素値 C 1を合成感度補償 LUTに適用した値 LUT (C 1) が推定値 B' とされる。

注目画素の色が Bである場合、 推定画素値 C 1を合成感度補償 LUTに適用した 値 LUT (C 1) が推定値 R' とされ、推定画素値 C 2の平均値を合成感度補償 LUT に適用した値 LUT ( C 2 ) が推定値 G ' とされ、 推定画素値 C 0を合成感度補償

LUTに適用した値 LUT ( C O ) が推定値 B， とされる。

以上のように、 推定部 2 1 1による R G B成分の推定処理では、 方向選択的平 滑化処理を利用して生成された推定画素値 C 0乃至 C 3が用いられるので、 画像 信号の解像度劣化が抑止される。

以上、 推定部 2 1 1による R G B成分の推定処理の説明を終了する。

ところで上述した説明においては、 画像処理部 7の第 4の構成例の単色画像生 成部 1 8 3、 1 8 4は、 図 8 4に示した単色画像生成部 1 8 2の構成例と同様に 構成されており、 図 9 5を参照して説明した単色画像生成部 1 8 2の単色画像生 成処理 （図 9 5 ) と同様の処理を実行するとしたが、 単色画像生成部 1 8 2乃至

1 8 4は、 単色画像生成処理に含まれる単色候補画像生成処理 （図 9 5のステツ プ S 2 6 1 ) に代えて、 それぞれに最適化された独自の処理を実行することも可 能である。

ステップ S 2 6 1の単色候補画像生成処理に代えて単色画像生成部 1 8 2が実 行する R候補画像生成処理について、 図 1 0 8のフローチャートを参照して説明 する。 なお、 説明の便宜上、 単色画像生成部 1 8 2を構成する補間部 2 0 1を補 間部 2 0 1一 Rと記述する。

ステップ S 3 5 1において、 補間部 2 0 1— Rは、 色 ·感度モザイク画像の全 ての画素を 1回目の注目画素としたか否かを判定し、 全ての画素を 1回目の注目 画素としていないと判定した場合、 ステップ S 3 5 2に進む。 ステップ S 3 5 2 において、 補間部 2 0 1— Rは、 色 '感度モザイク画像の左下の画素から右上の 画素まで、 順次 1画素ずつ 1回目の注目画素に決定する。

ステップ S 3 5 3において、 補間部 2 0 1— Rは、 1回目の注目画素の色が R であるか否かを判定し、 Rであると判定した場合、 ステップ S 3 5 4に進む。 ス テツプ S 3 5 4において、 捕間部 2 0 1— Rは、 1回目の注目画素を中心として 1画素分の間隔を空けて上下左右に位置する 4画素を用い、 垂直方向選択的平滑 化処理を実行して平滑化値 αを算出する。 ステップ S 3 5 5において、 補間部 2 0 1—Rは、 1回目の注目画素の画素値と、 ステップ S 3 5 4で算出した平滑化 値ひとの和を、 内蔵する合成感度補償 LUT (図 9 0乃至図 9 2を参照して上述し た合成感度補償 LUTと同様のもの） に適用し、 得られた値を R候補画像の 1回目 の注目画素に対応する画素値とする。 処理はステップ S 3 5 1に戻る。

なお、 ステップ S 3 5 3において、 1回目の注目画素の色が Rではない判定さ れた場合、 ステップ S 3 5 4およびステップ S 3 5 5はスキップされ、 ステップ S 3 5 1に戻る。

その後、 ステップ S 3 5 1において、 色 '感度モザイク画像の全ての画素を 1 回目の注目画素としたと判定されるまで、 ステップ S 3 5 1乃至 S 3 5 5の処理 が繰り返され、 ステップ S 3 5 1において、 色 '感度モザイク画像の全ての画素 を 1回目の注目画素としたと判定された場合、 処理はステップ S 3 5 6に進む。 ステップ S 3 5 6において、 捕間部 2 0 1—Rは、 色 '感度モザイク画像の全 ての画素を 2回目の注目画素としたか否かを判定し、 全ての画素を 2回目の注目 画素としていないと判定した場合、 ステップ S 3 5 7に進む。 ステップ S 3 5 7 において、 補間部 2 0 1— Rは、 色 '感度モザイク画像の左下の画素から右上の 画素まで、 順次 1画素ずつ 2回目の注目画素に決定する。

ステップ S 3 5 8において、 補間部 2 0 1—Rは、 2回目の注目画素の色が B であるか否かを判定し、 Bであると判定した場合、 ステップ S 3 5 9に進む。 ス テツプ S 3 5 9において、 補間部 2 0 1—Rは、 2回目の注目画素を中心として 斜め方向に隣接して位置する 4画素を用い、 斜め方向選択的平滑化処理を実行し て平滑化値ひを算出する。 ステップ S 3 6 0において、 補間部 2 0 1—Rは、 ス テツプ S 3 5 9で算出した平滑化値ひを R候補画像の 2回目の注目画素に対応す る画素値とする。 処理はステップ S 3 5 6に戻る。

なお、 ステップ S 3 5 8において、 2回目の注目画素の色が Bではない判定さ れた場合、 ステップ S 3 5 9およびステップ S 3 6 0はスキップされ、 ステップ S 3 5 6に戻る。

その後、 ステップ S 3 5 6において、 色 '感度モザイク画像の全ての画素を 2 回目の注目画素としたと判定されるまで、 ステップ S 3 5 6乃至 S 3 6 0の処理 が繰り返され、 ステップ S 3 5 6において、 色 '感度モザイク画像の全ての画素 を 2回目の注目画素としたと判定された場合、 処理はステップ S 3 5 1に進む。 ステップ S 3 6 1において、 色 ·感度モザイク画像の全ての画素を 3回目の注 目画素としたか否かを判定し、 全ての画素を 3回目の注目画素としていないと判 定した場合、 ステップ S 3 6 2に進む。 ステップ S 3 6 2において、 補間部 2 0 1一 Rは、 色 ·感度モザイク画像の左下の画素から右上の画素まで、 順次 1画素 ずつ 3回目の注目画素に決定する。

ステップ S 3 6 3において、 補間部 2 0 1— Rは、 3回目の注目画素の色が G であるか否かを判定し、 Gであると判定した場合、 ステップ S 3 6 4に進む。 ス テツプ S 3 6 4において、 補間部 2 0 1— Rは、 3回目の注目画素を中心として 上下左右に隣接して位置する 4画素を用い、 垂直方向選択的平滑化処理を実行し て平滑化値ひを算出する。 ステップ S 3 6 5において、 補間部 2 0 1—Rは、 ス テツプ S 3 6 4で算出した平滑化値 _αを R候補画像の 3回目の注目画素に対応す る画素値とする。 処理はステップ S 3 6 1に戻る。

なお、 ステップ S 3 6 3において、 3回目の注目画素の色が Gではない判定さ れた場合、 ステップ S 3 6 4およびステップ S 3 6 5はスキップされ、 ステップ S 3 5 1に戻る。

その後、 ステップ S 3 6 1において、 色 '感度モザイク画像の全ての画素を 3 回目の注目画素としたと判定されるまで、 ステップ S 3 6 1乃至 S 3 6 5の処理 が繰り返され、 ステップ S 3 6 1において、 色 '感度モザイク画像の全ての画素 を 3回目の注目画素としたと判定された場合、 当該 R候補画像生成処理は終了さ れる。

単色画像生成部 1 8 4が実行する Β候補画像生成処理について、 図 1 0 9のフ ローチャートを参照して説明する。 なお、 説明の便宜上、 単色候補画像生成部 1 8 2の補間部 2 0 1に相当する単色画像生成部 1 8 4の構成要素を捕間部 2 0 1 一 Βと記述する。 ステップ S 3 7 1において、 補間部 2 0 1— Bは、 色 '感度モザイク画像の全 ての画素を 1回目の注目画素としたか否かを判定し、 全ての画素を 1回目の注目 画素としていないと判定した場合、 ステップ S 3 7 2に進む。 ステップ S 3 7 2 において、 補間部 2 0 1— Bは、 色 ·感度モザイク画像の左下の画素から右上の 画素まで、 順次 1画素ずつ 1回目の注目画素に決定する。

ステップ S 3 7 3において、 捕間部 2 0 1— Bは、 1回目の注目画素の色が B であるか否かを判定し、 Bであると判定した場合、 ステップ S 3 7 4に進む。 ス テツプ S 3 7 4において、 補間部 2 0 1— Bは、 1回目の注目画素を中心として 1画素分の間隔を空けて上下左右に位置する 4画素を用い、 垂直方向選択的平滑 化処理を実行して平滑化値ひを算出する。 ステップ S 3 7 5において、 補間部 2 0 1— は、 1回目の注目画素の画素値と、 ステップ S 3 7 4で算出した平滑化 ィ直 との和を、 内蔵する合成感度補償 LUT (図 9 0乃至図 9 2を参照して上述し た合成感度補償 LUTと同様のもの） に適用し、 得られた値を B候補画像の 1回目 の注目画素に対応する画素値とする。 処理はステップ S 3 7 1に戻る。

なお、 ステップ S 3 7 3において、 1回目の注目画素の色が Bではない判定さ れた場合、 ステップ S 3 7 4およびステップ S 3 7 5はスキップされ、 ステップ S 3 7 1に戻る。

その後、 ステップ S 3 7 1において、 色 ·感度モザイク画像の全ての画素を 1 回目の注目画素としたと判定されるまで、 ステップ S 3 7 1乃至 S 3 7 5の処理 が繰り返され、 ステップ S 3 7 1において、 色 '感度モザイク画像の全ての画素 を 1回目の注目画素としたと判定された場合、 処理はステップ S 3 7 6に進む。 ステップ S 3 7 6において、 補間部 2 0 1—Bは、 色■感度モザイク画像の全 ての画素を 2回目の注目画素としたか否かを判定し、 全ての画素を 2回目の注目 画素としていないと判定した場合、 ステップ S 3 7 7に進む。 ステップ S 3 7 7 において、 捕間部 2 0 1— Bは、 色 .感度モザイク画像の左下の画素から右上の 画素まで、 順次 1画素ずつ 2回目の注目画素に決定する。

ステップ S 3 7 8において、 補間部 2 0 1— Bは、 2回目の注目画素の色が R であるか否かを判定し、 Rであると判定した場合、 ステップ S 3 7 9に進む。 ス テツプ S 3 7 9において、 補間部 2 0 1— Bは、 2回目の注目画素を中心として 斜め方向に隣接して位置する 4画素を用い、 斜め方向選択的平滑化処理を実行し て平滑化値 αを算出する。 ステップ S 3 8 0において、 補間部 2 0 1— Βは、 ス テツプ S 3 7 9で算出した平滑化値 _αを Β候補画像の 2回目の注目画素に対応す る画素値とする。 処理はステップ S 3 7 6に戻る。

なお、 ステップ S 3 7 8において、 2回目の注目画素の色が Rではない判定さ れた場合、 ステップ S 3 7 9およびステップ S 3 8 0はスキップされ、 ステップ S 3 7 6に戻る。

その後、 ステップ S 3 7 6において、 色 '感度モザイク画像の全ての画素を 2 回目の注目画素としたと判定されるまで、 ステップ S 3 7 6乃至 S 3 8 0の処理 が繰り返され、 ステップ S 3 7 6において、 色 '感度モザイク画像の全ての画素 を 2回目の注目画素としたと判定された場合、 処理はステップ S 3 8 1に進む。 ステップ S 3 8 1において、 色■感度モザイク画像の全ての画素を 3回目の注 目画素としたか否かを判定し、 全ての画素を 3回目の注目画素としていないと判 定した場合、 ステップ S 3 8 2に進む。 ステップ S 3 8 2において、 補間部 2 0 1一 Βは、 色 ·感度モザイク画像の左下の画素から右上の画素まで、 順次 1画素 ずつ 3回目の注目画素に決定する。

ステップ S 3 8 3において、 捕間部 2 0 1—Βは、 3回目の注目画素の色が G であるか否かを判定し、 Gであると判定した場合、 ステップ S 3 8 4に進む。 ス テツプ S 3 8 4において、 補間部 2 0 1—Βは、 3回目の注目画素を中心として 上下左右に隣接して位置する 4画素を用い、 垂直方向選択的平滑化処理を実行し て平滑化値ひを算出する。 ステップ S 3 8 5において、 補間部 2 0 1— Βは、 ス テツプ S 3 8 4で算出した平滑化値ひを Β候補画像の 3回目の注目画素に対応す る画素値とする。 処理はステップ S 3 8 1に戻る。

なお、 ステップ S 3 8 3において、 3回目の注目画素の色が Gではない判定さ れた場合、 ステップ S 3 8 4およびステップ S 3 8 5はスキップされ、 ステップ S 3 8 1に戻る。

その後、 ステップ S 3 8 1において、 色 '感度モザイク画像の全ての画素を 3 回目の注目画素としたと判定されるまで、 ステップ S 3 8 1乃至 S 3 8 5の処理 が繰り返され、 ステップ S 3 8 1において、 色 -感度モザイク画像の全ての画素 を 3回目の注目画素としたと判定された場合、 当該 B候補画像生成処理は終了さ れる。

単色画像生成部 1 8 3が実行する G候補画像生成処理について、 図 1 1 0のフ ローチャートを参照して説明する。 なお、 説明の便宜上、 単色候補画像生成部 1

8 2の補間部 2 0 1に相当する単色画像生成部 1 8 3の構成要素を補間部 2 0 1 _ Gと記述する。

ステップ S 3 9 1において、 補間部 2 0 1— Gは、 色■感度モザイク画像の全 ての画素を 1回目の注目画素としたか否かを判定し、 全ての画素を 1回目の注目 画素としていないと判定した場合、 ステップ S 3 9 2に進む。 ステップ S 3 9 2 において、 捕間部 2 0 1— Gは、 色 '感度モザイク画像の左下の画素から右上の 画素まで、 順次 1画素ずつ 1回目の注目画素に決定する。

ステップ S 3 9 3において、 補間部 2 0 1— Gは、 1回目の注目画素の色が G であるか否かを判定し、 Gであると判定した場合、 ステップ S 3 9 4に進む。 ス テツプ S 3 9 4において、 補間部 2 0 1— Gは、 1回目の注目画素を中心として 斜め方向に隣接して位置する 4画素を用い、 斜め方向選択的平滑化処理を実行し て平滑化値 αを算出する。 ステップ S 3 9 5において、 補間部 2 0 1—Gは、 1 回目の注目画素の画素値と、 ステップ S 3 9 4で算出した平滑化値 αとの和を、 内蔵する合成感度補償 LUT (図 9 0乃至図 9 2を参照して上述した合成感度補償 LUT と同様のもの） に適用し、 得られた値を G候捕画像の 1回目の注目画素に対 応する画素値とする。 処理はステップ S 3 9 1に戻る。

なお、 ステップ S 3 9 3において、 1回目の注目画素の色が Gではない判定さ れた場合、 ステップ S 3 9 4およびステップ S 3 9 5はスキップされ、 ステップ S 3 9 1に戻る。 その後、 ステップ S 3 9 1において、 色 '感度モザイク画像の全ての画素を 1 回目の注目画素としたと判定されるまで、 ステップ S 3 9 1乃至 S 3 9 5の処理 が繰り返され、 ステップ S 3 9 1において、 色 '感度モザイク画像の全ての画素 を 1回目の注目画素としたと判定された場合、 処理はステップ S 3 9 6に進む。 ステップ S 3 9 6において、 補間部 2 0 1— Gは、 色 '感度モザイク画像の全 ての画素を 2回目の注目画素としたか否かを判定し、 全ての画素を 2回目の注目 画素としていないと判定した場合、 ステップ S 3 9 7に進む。 ステップ S 3 9 7 において、 補間部 2 0 1—Gは、 色 '感度モザイク画像の左下の画素から右上の 画素まで、 順次 1画素ずつ 2回目の注目画素に決定する。

ステップ S 3 9 8において、 補間部 2 0 1—Gは、 2回目の注目画素の色が G であるか否かを判定し、 Gではないと判定した場合、 ステップ S 3 9 9に進む。 ステップ S 3 9 9において、 補間部 2 0 1— Gは、 2回目の注目画素を中心とし て上下左右に隣接して位置する 4画素を用い、 垂直方向選択的平滑化処理を実行 して平滑化値ひを算出する。 ステップ S 4 0 0において、 補間部 2 0 1— Gは、 ステップ S 3 9 9で算出した平滑化値 αを G候補画像の 2回目の注目画素に対応 する画素値とする。 処理はステップ S 3 9 6に戻る。

なお、 ステップ S 3 9 8において、 2回目の注目画素の色が Rである判定され た場合、 ステップ S 3 9 9およびステップ S 4 0 0はスキップされ、 ス ップ S 3 9 6に戻る。

その後、 ステップ S 3 9 6において、 色 '感度モザイク画像の全ての画素を 2 回目の注目画素としたと判定されるまで、 ステップ S 3 9 6乃至 S 4 0 0の処理 が操り返され、 ステップ S 3 9 6において、 色 -感度モザイク画像の全ての画素 を 2回目の注目画素としたと判定された場合、 当該 R候補画像生成処理は終了さ れる。

ところで、 上述したように、 第 4のデモザイク処理では、 色 ·感度モザイク画 像像から、 輝度画像と単色画像を生成し、 その後、 輝度と色成分との相関性を利 用して、 全色を復元することにより、 全ての画素が均一の感度で全ての色成分を 復元するようにしたが、 最初に生成する輝度画像は、 復元する色情報に相関があ つて、 高解像度で復元できる信号であれば、 偏った分光特性をもっていてもかま わない。例えば、色'感度モザイク画像の色モザイク配列がべィャ配列のように、 Rの画素や Bの画素に比較して Gの画素が 2倍存在する特性を利用して、 輝度画 像の代わりに G成分の画像を生成し、 Gと R、または Gと Bの相関性を利用して、 R成分の画像と B成分の画像を生成するようにしてもよい。

そのような処理を実行するために、 図 1 1 0に示すように、 画像処理部 7を構 成してもよい。 輝度画像生成部 2 2 1は、 画像処理部 7の第 4の構成例における 単色画像生成部 1 8 2の補間部 2 0 1 (図 8 4 ) の処理と同様の処理を実行する ことによって出力画像 Gを生成する。 単色画像生成部 2 2 2， 2 2 3は、 それぞ れ、 画像処理部 7の第 4の構成例における単色画像生成部 1 8 2 , 1 8 4と同様 の処理を実行することによって、 出力画像 Rまたは出力画像 Bを生成する。

以上、 第 1乃至第 4のデモザイク処理を実行する画像処理部 7の構成例に関す る説明を終了する。

なお、上述した一連の処理は、ハードウエアにより実行させることもできるが、 ソフトウエアにより実行させることもできる。 一連の処理をソフトウェアにより 実行させる場合には、 そのソフトウェアを構成するプログラムが、 専用のハード ウェアに組み込まれているコンピュータ、 または、 各種のプログラムをインスト ールすることで、 各種の機能を実行することが可能な、 例えば汎用のパーソナル コンピュータなどに、 記録媒体からインストールされる。

この記録媒体は、 図 1に示すように、 コンピュータとは別に、 ユーザにプログ ラムを提供するために配布される、 プログラムが記録されている磁気ディスク 1 6 (フロッピディスクを含む）、光ディスク 1 7 (CD-ROM (Compact Disc-Read Only Memory)、 DVD (Digital Versatile Disc)を含む）、光磁気ディスク 1 8 (MD (Mini Disc)を含む）、 もしくは半導体メモリ 1 9などよりなるパッケージメディアによ り構成されるだけでなく、 コンピュータに予め組み込まれた状態でユーザに提供 される、 プログラムが記録されている ROMやハードディスクなどで構成される。 なお、 本明細書において、 記録媒体に記録されるプログラムを記述するステツ プは、 記載された順序に従って時系列的に行われる処理はもちろん、 必ずしも時 系列的に処理されなくとも、 並列的あるいは個別に実行される処理をも含むもの である。 産業上の利用可能性

以上のように、 本発明によれば、 各画素の感度が均一化されており、 かつ、 各 画素が複数の色成分の全ての色成分を有する復元画像を生成することが可能とな る。

Claims

請求の範囲

1 . 各画素が複数の色成分のうちのいずれかの色成分、 および光強度に対する 複数の感度特性のうちのいずれかの感度特性を有し、 かつ、 同一の色成分および 感度特性を有する複数の画素が格子状に配置されるとともに、 感度特性に拘わら ず、 同一の色成分を有する複数の画素が格子状に配置された色 ·感度モザイク画 像に基づき、 各画素の感度が均一化されており、 かつ、 各画素が前記複数の色成 分の全ての色成分を有する復元画像を復元する復元手段を

含むことを特徴とする画像処理装置。

2 . 前記復元手段は、

前記色'感度モザィク画像の感度特性の配列を示す感度モザィクパターン情報、 および前記色■感度モザイク画像の色成分の配列を示す色モザイクパターン情報 に基づき、 前記色■感度モザイク画像に対応する輝度画像を生成する輝度画像生 成手段と、

前記感度モザイクパターン情報、 前記色モザイクパターン情報、 および前記輝 度画像に基づき、 前記色 ·感度モザイク画像に対応する単色画像を生成する複数 の単色画像生成手段と

を含むことを特徴とする請求の範囲第 1項に記載の画像処理装置。

3 . 前記輝度画像生成手段は、

前記色■感度モザイク画像の各画素に対応する色成分の推定値を算出する複数 の推定手段と、

前記複数の推定手段がそれぞれ算出した複数の前記推定値を用いて、 前記色 - 感度モザイク画像の各画素に対応する輝度候補値を算出する輝度候補値算出手段 と

を含むことを特徴とする請求の範囲第 2項に記載の画像処理装置。

4 . 前記推定手段は、 前記複数の感度特性にそれぞれ対応する複数の推定値候 補を算出し、 前記複数の推定値候補を加算して、 その和に生じている前記感度特 性の非線形性を補償することによって前記推定値を算出する ことを特徴とする請求の範囲第 3項に記載の画像処理装置。

5 . 前記輝度画像生成手段は、

前記輝度候補値のノィズ成分を除去して輝度値を生成するノィズ除去手段を さらに含むことを特徴とする請求の範囲第 3項に記載の画像処理装置。

6 . 前記単色画像生成手段は、

前記感度モザイクパターン情報、および前記色モザイクパターン情報に基づき、 前記色■感度モザイク画像に対応する単色画像候補を生成する単色画像候補生成 手段と、

前記輝度画像に基づき、 前記単色画像候補を修正して前記単色画像を生成する 修正手段と

を含むことを特徴とする請求の範囲第 2項に記載の画像処理装置。

7 . 前記単色画像候補生成手段は、 前記複数の感度特性にそれぞれ対応する複 数の単色候捕値を算出し、 前記複数の単色候補値を加算して、 その和に生じてい る前記感度特性の非線形性を補償することにより、 前記単色画像候補の画素値を 算出して前記単色画像候補を生成する

ことを特徴とする請求の範囲第 6項に記載の画像処理装置。

8 . 前記単色画像候補生成手段は、 方向選択的平滑化処理を用いて、 前記色 感度モザイク画像に対応する前記単色画像候補を生成する

ことを特徴とする請求の範囲第 6項に記載の画像処理装置。 ' 9 . 被写体を撮像し、 前記色 ·感度モザイク画像を生成する撮像手段を

さらに含むことを特徴とする請求の範囲第 1項に記載の画像処理装置。

1 0 . 前記復元手段は、

前記色■感度モザイク画像の感度特性の配列を示す感度モザイクパターン情報 に基づき、 各画素が有する感度特性を均一化する感度特性均一化手段と、

前記色■感度モザイク画像の色成分の配列を示す色モザイクパターン情報に基 づき、 各画素の色成分を補間する色補間手段と

を含むことを特徴とする請求の範囲第 1項に記載の画像処理装置。

1 1 . 前記感度特性均一化手段は、 前記感度モザイクパターン情報、 および前 記色モザイクパターン情報に基づき、 前記色 ·感度モザイク画像の各画素が有す る感度特性を均一化して色モザイク画像を生成し、

前記色補間手段は、 前記色モザイクパターン情報に基づき、 前記色モザイク画 像の各画素の色成分を補間して前記復元画像を生成する

ことを特徴とする請求の範囲第 1 0項に記載の画像処理装置。

1 2 . 前記感度特性均一化手段は、 前記感度モザイクパターン情報、 および前 記色モザイクパターン情報に基づき、 前記色 ·感度モザイク画像の各画素が有す る色成分の種類を変更することなく、 その感度特性を均一化して前記色モザィク 画像を生成する

ことを特徴とする請求の範囲第 1 1項に記載の画像処理装置。

1 3 . 前記感度特性均一化手段は、 前記感度モザイクパターン情報、 および前 記色モザイクパターン情報に基づき、 前記色■感度モザイク画像の各画素が有す る感度特性を均一化して前記色モザイク画像を生成し、 前記色モザイクパターン 情報を更新する

ことを特徴とする請求の範囲第 1 1項に記載の画像処理装置。

1 4 . 前記感度均一化手段は、

前記感度モザイクパターン情報に基づき、 前記色■感度モザイク画像の各画素が 有する色成分を補償する補償手段と、

前記感度モザイクパターン情報に基づき、 前記色 ·感度モザイク画像の各画素 が有する色成分の有効性を判別する判別手段と、

前記判別手段の判別結果に対応して、 前記補償手段が補償した各画素が有する 色成分を補間処理によつて修正する修正手段と

を含むことを特徴とする請求の範囲第 1 1項に記載の画像処理装置。

1 5 . 前記感度均一化手段は、

前記感度モザイクパターン情報に基づき、 前記色 ·感度モザイク画像の推定画 素値を算出する算出手段と、 前記算出手段が算出した前記推定画素値を補正する補正手段と を含むことを特徴とする請求の範囲第 1 1項に記載の画像処理装置。

1 6 . 前記色補間手段は、 前記感度モザイクパターン情報、 および前記色モザ イクパターン情報に基づき、 前記色■感度モザイク画像の各画素に対し、 その感 度特性を変更することなく、 全ての色成分を補間して各色成分の感度モザイク画 像を生成し、

前記感度特性均一化手段は、 前記感度モザイクパターン情報に基づき、 前記感 度モザイク画像の各画素が有する感度特性を均一化して前記復元画像を生成する ことを特徴とする請求の範囲第 1 0項に記載の画像処理装置。

1 7 . 前記色補間手段は、

前記色 ·感度モザイク画像から同一の感度特性を有する画素を抽出する抽出手 段と、

前記抽出手段が抽出した各画素に対し、 全ての色成分を補間する全色成分補間 手段と、

前記全色成分補間手段が全ての色成分を補間した画素のうち、 同一の色成分を 有し、 かつ、 異なる感度特性を有する画素を合成して前記感度モザイク画像を生 成する合成手段と

を含むことを特徴とする請求の範囲第 1 6項に記載の画像処理装置。

1 8 . 各画素が複数の色成分のうちのいずれかの色成分、 および光強度に対す る複数の感度特性のうちのいずれかの感度特性を有し、 かつ、 同一の色成分およ ぴ感度特性を有する複数の画素が格子状に配置されるとともに、 感度特性に拘わ らず、 同一の色成分を有する複数の画素が格子状に配置された色 ·感度モザイク 画像に基づき、 各画素の感度が均一化されており、 かつ、 各画素が前記複数の色 成分の全ての色成分を有する復元画像を復元する復元ステップを

含むことを特徴とする画像処理方法。

1 9 . 前記復元ステップは、

前記色'感度モザイク画像の感度特性の配列を示す感度モザイクパターン情報、 および前記色 ·感度モザイク画像の色成分の配列を示す色モザイクパターン情報 に基づき、 前記色 ·感度モザイク画像に対応する輝度画像を生成する輝度画像生 成ステップと、

前記感度モザイクパターン情報、 前記色モザイクパターン情報、 および前記輝 度画像に基づき、 前記色，感度モザイク画像に対応する単色画像を生成する複数 の単色画像生成ステップと

を含むことを特徴とする請求の範囲第 1 8項に記載の画像処理方法。

2 0 . 前記輝度画像生成ステツプは、

前記色 ·感度モザイク画像の各画素に対応する色成分の推定値を算出する複数 の推定ステップと、

前記複数の推定ステップの処理でそれぞれ算出された複数の前記推定値を用い て、 前記色 ·感度モザイク画像の各画素に対応する輝度候補値を算出する輝度候 補値算出ステップと

を含むことを特徴とする請求の範囲第 1 9項に記載の画像処理方法。

2 1 . 前記推定ステップの処理は、 前記複数の感度特性にそれぞれ対応する複 数の推定値候補を算出し、 前記複数の推定値候補を加算して、 その和に生じてい る前記感度特性の非線形性を補償することによって前記推定値を算出する

ことを特徴とする請求の範囲第 2 0項に記載の画像処理方法。

2 2 . 前記輝度画像生成ステップは、

前記輝度候補値のノィズ成分を除去して輝度値を生成するノィズ除去ステップ を

さらに含むことを特徴とする請求の範囲第 2 0項に記載の画像処理方法。

2 3 . 前記単色画像生成ステップは、

前記感度モザイクパターン情報、および前記色モザイクパターン情報に基づき、 前記色■感度モザイク画像に対応する単色画像候補を生成する単色画像候補生成 ステップと、

前記輝度画像に基づき、 前記単色画像候補を修正して前記単色画像を生成する を含むことを特徴とする請求の範囲第 1 9項に記載の画像処理方法。

2 4 . 前記単色画像候補生成ステップの処理は、 前記複数の感度特性にそれぞ れ対応する複数の単色候補値を算出し、 前記複数の単色候補値を加算して、 その 和に生じている前記感度特性の非線形性を補償することにより、 前記単色画像候 補の画素値を算出して前記単色画像候補を生成する

ことを特徴とする請求の範囲第 2 3項に記載の画像処理方法。

2 5 . 前記単色画像候補生成ステップの処理は、 方向選択的平滑化処理を用い て、 前記色 ·感度モザイク画像に対応する前記単色画像候補を生成する

ことを特徴とする請求の範囲第 2 3項に記載の画像処理方法。

2 6 . 被写体を撮像し、 前記色 ·感度モザイク画像を生成する撮像ステップを さらに含むことを特徴とする請求の範囲第 1 8項に記載の画像処理方法。 2 7 . 前記復元ステップは、

前記色 ·感度モザイク画像の感度特性の配列を示す感度モザイクパターン情報 に基づき、 各画素が有する感度特性を均一化する感度特性均一化ステップと、 前記色 ·感度モザイク画像の色成分の配列を示す色モザイクパターン情報に基 づき、 各画素の色成分を補間する色補間ステップと

を含むことを特徴とする請求の範囲第 1 8項に記載の画像処理方法。

2 8 . 前記感度特性均一化ステップの処理は、前記感度モザイクパターン情報、 および前記色モザイクパターン情報に基づき、 前記色 ·感度モザイク画像の各画 素が有する感度特性を均一化して色モザイク画像を生成し、

前記色補間ステップの処理は、 前記色モザイクパターン情報に基づき、 前記色 モザィク画像の各画素の色成分を補間して前記復元画像を生成する

ことを特徴とする請求の範囲第 2 7項に記載の画像処理方法。

2 9 . 前記感度特性均一化ステップの処理は、前記感度モザイクパターン情報、 および前記色モザイクパターン情報に基づき、 前記色■感度モザイク画像の各画 素が有する色成分の種類を変更することなく、 その感度特性を均一化して前記色 モザイク画像を生成する

ことを特徴とする請求の範囲第 2 8項に記載の画像処理方法。

3 0 . 前記感度特性均一化ステップの処理は、前記感度モザイクパターン情報、 および前記色モザイクパターン情報に基づき、 前記色 '感度モザイク画像の各画 素が有する感度特性を均一化して前記色モザイク画像を生成し、 前記色モザイク パターン情報を更新する

ことを特徴とする請求の範囲第 2 8項に記載の画像処理方法。

3 1 . 前記感度均一化ステップは、

前記感度モザイクパターン情報に基づき、 前記色 ·感度モザイク画像の各画素が 有する色成分を補償する補償ステップと、

前記感度モザイクパターン情報に基づき、 前記色 ·感度モザイク画像の各画素 が有する色成分の有効性を判別する判別ステップと、

前記判別手段の判別結果に対応して、 前記補償ステップの処理で補償された各 画素が有する色成分を補間処理によって修正する修正ステップと

を含むことを特徴とする請求の範囲第 2 8項に記載の画像処理方法。

3 2 . 前記感度均一化ステップは、

前記感度モザイクパターン情報に基づき、 前記色 ·感度モザイク画像の推定画 素値を算出する算出ステップと、

前記算出ステップの処理で算出された前記推定画素値を補正する補正ステップ と

を含むことを特徴とする請求の範囲第 2 8項に記載の画像処理方法。

3 3 . 前記色補間ステップの処理は、 前記感度モザイクパターン情報、 および 前記色モザイクパターン情報に基づき、 前記色■感度モザイク画像の各画素に対 し、 その感度特性を変更することなく、 全ての色成分を補間して各色成分の感度 モザイク画像を生成し、

前記感度特性均一化ステップの処理は、 前記感度モザイクパターン情報に基づ き、 前記感度モザイク画像の各画素が有する感度特性を均一化して前記復元画像 を生成する

ことを特徴とする請求の範囲第 2 6項に記載の画像処理方法。

3 4 . 前記色捕間ステップは、

前記色■感度モザイク画像から同一の感度特性を有する画素を抽出する抽出ス テツプと、

前記抽出ステップの処理で抽出された各画素に対し、 全ての色成分を補間する 全色成分補間ステップと、

前記全色成分捕間ステップの処理で全ての色成分が補間された画素のうち、 同 一の色成分を有し、 かつ、 異なる感度特性を有する画素を合成して前記感度モザ イク画像を生成する合成ステップと

を含むことを特徴とする請求の範囲第 3 3項に記載の画像処理方法。

3 5 . 各画素が複数の色成分のうちのいずれかの色成分、 および光強度に対す る複数の感度特性のうちのいずれかの感度特性を有し、 かつ、 同一の色成分およ ぴ感度特性を有する複数の画素が格子状に配置されるとともに、 感度特性に拘わ らず、 同一の色成分を有する複数の画素が格子状に配置された色■感度モザイク 画像に基づき、 各画素の感度が均一化されており、 かつ、 各画素が前記複数の色 成分の全ての色成分を有する復元画像を復元する復元ステップを

含むことを特徴とするコンピュータが読み出し可能なプログラムが記録されて いる記録媒体。

3 6 . 前記復元ステップは、

前記色'感度モザイク画像の感度特性の配列を示す感度モザイクパターン情報、 および前記色 ·感度モザイク画像の色成分の配列を示す色モザイクパターン情報 に基づき、 前記色 ·感度モザイク画像に対応する輝度画像を生成する輝度画像生 成ステップと、

前記感度モザイクパターン情報、 前記色モザイクパターン情報、 および前記輝 度画像に基づき、 前記色 ·感度モザイク画像に対応する単色画像を生成する複数 の単色画像生成ステップと を含むことを特徴とするコンピュータが読み出し可能なプログラムが記録され ている請求の範囲第 3 5項に記載の記録媒体。

3 7 . 前記輝度画像生成ステップは、

前記色 ·感度モザイク画像の各画素に対応する色成分の推定値を算出する複数 の推定ステップと、

前記複数の推定ステップの処理でそれぞれ算出された複数の前記推定値を用い て、 前記色 ·感度モザイク画像の各画素に対応する輝度候補値を算出する輝度候 補値算出ステップと

を含むことを特徴とするコンピュータが読み出し可能なプログラムが記録され ている請求の範囲第 3 6項に記載の記録媒体。

3 8 . 前記推定ステップの処理は、 前記複数の感度特性にそれぞれ対応する複 数の推定値候補を算出し、 前記複数の推定値候補を加算して、 その和に生じてい る前記感度特性の非線形性を補償することによって前記推定値を算出する

ことを特徴とするコンピュータが読み出し可能なプログラムが記録されている 請求の範囲第 3 7項に記載の記録媒体。

3 9 . 前記輝度画像生成ステップは、

前記輝度候補値のノィズ成分を除去して輝度値を生成するノィズ除去ステップ を

さらに含むことを特徴とするコンピュータが読み出し可能なプログラムが記録 されている請求の範囲第 3 7項に記載の記録媒体。

4 0 . 前記単色画像生成ステップは、

前記感度モザイクパターン情報、および前記色モザイクパターン情報に基づき、 前記色 ·感度モザイク画像に対応する単色画像候補を生成する単色画像候補生成 ステップと、

前記輝度画像に基づき、 前記単色画像候補を修正して前記単色画像を生成する 修正ステップと

を含むことを特徴とするコンピュータが読み出し可能なプログラムが記録され ている請求の範囲第 3 6項に記載の記録媒体。

4 1 . 前記単色画像候補生成ステップの処理は、 前記複数の感度特性にそれぞ れ対応する複数の単色候補値を算出し、 前記複数の単色候補値を加算して、 その 和に生じている前記感度特性の非線形性を補償することにより、 前記単色画像候 補の画素値を算出して前記単色画像候補を生成する

ことを特徴とするコンピュータが読み出し可能なプログラムが記録されている 請求の範囲第 4 0項に記載の記録媒体。

4 2 . 前記単色画像候補生成ステップの処理は、 方向選択的平滑化処理を用い て、 前記色■感度モザイク画像に対応する前記単色画像候補を生成する

ことを特徴とするコンピュータが読み出し可能なプログラムが記録されている 請求の範囲第 4 0項に記載の記録媒体。

4 3 . 被写体を撮像し、 前記色，感度モザイク画像を生成する処理を制御する 撮像制御ステップを · さらに含むことを特徴とするコンピュータが読み出し可能なプログラムが記録 されている請求の範囲第 3 5項に記載の記録媒体。

4 4 . 前記復元ステップは、

前記色■感度モザイク画像の感度特性の配列を示す感度モザイクパターン情報 に基づき、 各画素が有する感度特性を均一化する感度特性均一化ステップと、 前記色 ·感度モザイク画像の色成分の配列を示す色モザイクパターン情報に基 づき、 各画素の色成分を補間する色補間ステップと

を含むことを特徴とするコンピュータが読み出し可能なプログラムが記録され ている請求の範囲第 3 5項に記載の記録媒体。

4 5 . 前記感度特性均一化ステップの処理は、前記感度モザイクパターン情報、 および前記色モザイクパターン情報に基づき、 前記色■感度モザイク画像の各画 素が有する感度特性を均一化して色モザイク画像を生成し、

前記色補間ステップの処理は、 前記色モザイクパターン情報に基づき、 前記色 画像の各画素の色成分を補間して前記復元画像を生成する ことを特徴とするコンピュータが読み出し可能なプログラムが記録されている 請求の範囲第 4 4項に記載の記録媒体。

4 6 . 前記感度特性均一化ステップの処理は、前記感度モザイクパターン情報、 および前記色モザイクパターン情報に基づき、 前記色 ·感度モザイク画像の各画 素が有する色成分の種類を変更することなく、 その感度特性を均一化して前記色 モザイク画像を生成する

ことを特徴とするコンピュータが読み出し可能なプログラムが記録されている 請求の範囲第 4 5項に記載の記録媒体。

4 7 . 前記感度特性均一化ステップの処理は、前記感度モザイクパターン情報、 および前記色モザイクパターン情報に基づき、 前記色 '感度モザイク画像の各画 素が有する感度特性を均一化して前記色モザィク画像を生成し、 前記色モザィク パターン情報を更新する

ことを特徴とするコンピュータが読み出し可能なプログラムが記録されている 請求の範囲第 4 5項に記載の記録媒体。

4 8 . 前記感度均一化ステップは、

前記感度モザイクパターン情報に基づき、 前記色 ·感度モザイク画像の各画素が 有する色成分を補償する補償ステップと、

前記感度モザイクパターン情報に基づき、 前記色 ·感度モザイク画像の各画素 が有する色成分の有効性を判別する判別ステップと、

前記判別手段の判別結果に対応して、 前記補償ステップの処理で補償された各 画素が有する色成分を補間処理によつて修正する修正ステップと

を含むことを特徴とするコンピュータが読み出し可能なプログラムが記録され ている請求の範囲第 4 5項に記載の記録媒体。

4 9 . 前記感度均一化ステップは、

前記感度モザイクパターン情報に基づき、 前記色 '感度モザイク画像の推定画 素値を算出する算出ステップと、

前記算出ステップの処理で算出された前記推定画素値を補正する捕正ステップ と

を含むことを特徴とするコンピュータが読み出し可能なプログラムが記録され ている請求の範囲第 4 5項に記載の記録媒体。

5 0 . 前記色捕間ステップの処理は、 前記感度モザイクパターン情報、 および 前記色モザイクパターン情報に基づき、 前記色 ·感度モザイク画像の各画素に対 し、 その感度特性を変更することなく、 全ての色成分を補間して各色成分の感度 モザイク画像を生成し、

前記感度特性均一化ステップの処理は、 前記感度モザイクパターン情報に基づ き、 前記感度モザイク画像の各画素が有する感度特性を均一化して前記復元画像 を生成する

ことを特徴とするコンピュータが読み出し可能なプログラムが記録されている 請求の範囲第 4 4項に記載の記録媒体。

5 1 . 前記色補間ステップは、

前記色 ·感度モザイク画像から同一の感度特性を有する画素を抽出する抽出ス テツプと、

前記抽出ステップの処理で抽出された各画素に対し、 全ての色成分を捕間する 全色成分補間ステップと、

前記全色成分補間ステップの処理で全ての色成分が補間された画素のうち、 同 一の色成分を有し、 かつ、 異なる感度特性を有する画素を合成して前記感度モザ イク画像を生成する合成ステップと

を含むことを特徴とするコンピュータが読み出し可能なプログラムが記録され ている請求の範囲第 5 0項に記載の記録媒体。

5 2 . 各画素が複数の色成分のうちのいずれかの色成分、 および光強度に対す る複数の感度特性のうちのいずれかの感度特性を有し、 かつ、 同一の色成分およ ぴ感度特性を有する複数の画素が格子状に配置されるとともに、 感度特性に拘わ らず、 同一の色成分を有する複数の画素が格子状に配置された色 ·感度モザィク 画像に基づき、 各画素の感度が均一化されており、 かつ、 各画素が前記複数の色 成分の全ての色成分を有する復元画像を復元する復元ステップを コンピュータに実行させるプログラム。

5 3 . 前記復元ステップは、

前記色'感度モザイク画像の感度特性の配列を示す感度モザイクパターン情報、 および前記色 ·感度モザイク画像の色成分の配列を示す色モザイクパターン情報 に基づき、 前記色 ·感度モザイク画像に対応する輝度画像を生成する輝度画像生 成ステップと、

前記感度モザイクパターン情報、 前記色モザイクパターン情報、 および前記輝 度画像に基づき、 前記色 ·感度モザイク画像に対応する単色画像を生成する複数 の単色画像生成ステップと

を含むことを特徴とする請求の範囲第 5 2項に記載のプログラム。

5 4 . 前記輝度画像生成ステップは、

前記色 ·感度モザイク画像の各画素に対応する色成分の推定値を算出する複数 の推定ステップと、

前記複数の推定ステップの処理でそれぞれ算出された複数の前記推定値を用い て、 前記色 ·感度モザイク画像の各画素に対応する輝度候補値を算出する輝度候 補値算出ステップと

を含むことを特徴とする請求の範囲第 5 3項に記載のプログラム。

5 5 . 前記推定ステップの処理は、 前記複数の感度特性にそれぞれ対応する複 数の推定値候補を算出し、 前記複数の推定値候補を加算して、 その和に生じてい る前記感度特性の非線形性を補償することによって前記推定値を算出する ことを特徴とする請求の範囲第 5 4項に記載のプログラム。

5 6 . 前記輝度画像生成ステップは、

前記輝度候補値のノィズ成分を除去して輝度値を生成するノィズ除去ステップ を

さらに含むことを特徴とする請求の範囲第 5 4項に記載のプログラム。

5 7 . 前記単色画像生成ステップは、 前記感度モザィクパターン情報、および前記色モザィクパターン情報に基づき、 前記色 ·感度モザイク画像に対応する単色画像候補を生成する単色画像候補生成 ステップと、

前記輝度画像に基づき、 前記単色画像候補を修正して前記単色画像を生成する 修正ステップと

を含むことを特徴とする請求の範囲第 5 3項に記載のプログラム。

5 8 . 前記単色画像候補生成ステップの処理は、 前記複数の感度特性にそれぞ れ対応する複数の単色候補値を算出し、 前記複数の単色候補値を加算して、 その 和に生じている前記感度特性の非線形性を補償することにより、 前記単色画像候 補の画素値を算出して前記単色画像候補を生成する

ことを特徴とする請求の範囲第 5 7項に記載のプログラム。

5 9 . 前記単色画像候補生成ステップの処理は、 方向選択的平滑化処理を用い て、 前記色 ·感度モザイク画像に対応する前記単色画像候補を生成する

ことを特徴とする請求の範囲第 5 7項に記載のプログラム。

6 0 . 被写体を撮像し、 前記色 '感度モザイク画像を生成する処理を制御する 撮像制御ステップを

さらに含むことを特徴とする請求の範囲第 5 2項に記載のプログラム。

6 1 . 前記復元ステップは、

前記色 ·感度モザイク画像の感度特性の配列を示す感度モザイクパターン情報 に基づき、 各画素が有する感度特性を均一化する感度特性均一化ステップと、 前記色 ·感度モザイク画像の色成分の配列を示す色モザイクパターン情報に基 づき、 各画素の色成分を補間する色補間ステップと

を含むことを特徴とする請求の範囲第 5 2項に記載のプログラム。

6 2 . 前記感度特性均一化ステップの処理は、前記感度モザイクパターン情報、 および前記色モザイクパターン情報に基づき、 前記色 '感度モザイク画像の各画 素が有する感度特性を均一化して色モザイク画像を生成し、

前記色補間ステップの処理は、 前記色モザイクパターン情報に基づき、 前記色 画像の各画素の色成分を補間して前記復元画像を生成する

ことを特徴とする請求の範囲第 6 1項に記載のプログラム。

6 3 . 前記感度特性均一化ステップの処理は、前記感度モザイクパターン情報、 および前記色モザイクパターン情報に基づき、 前記色 ·感度モザイク画像の各画 素が有する色成分の種類を変更することなく、 その感度特性を均一化して前記色 モザイク画像を生成する

ことを特徴とする請求の範囲第 6 2項に記載のプロダラム。

6 4 . 前記感度特性均一化ステップの処理は、前記感度モザイクパターン情報、 および前記色モザイクパターン情報に基づき、 前記色 ·感度モザイク画像の各画 素が有する感度特性を均一化して前記色モザイク画像を生成し、 前記色モザイク パターン情報を更新する

ことを特徴とする請求の範囲第 6 2項に記載のプログラム。

6 5 . 前記感度均一化ステップは、

前記感度モザイクパターン情報に基づき、 前記色■感度モザイク画像の各画素が 有する色成分を捕償する補償ステップと、

前記感度モザイクパターン情報に基づき、 前記色 ·感度モザイク画像の各画素 が有する色成分の有効性を判別する判別ステップと、

前記判別手段の判別結果に対応して、 前記補償ステップの処理で補償された各 画素が有する色成分を補間処理によって修正する修正ステップと

を含むことを特徴とする請求の範囲第 6 2項に記載のプログラム。

6 6 . 前記感度均一化ステップは、

前記感度モザイクパターン情報に基づき、 前記色 ·感度モザイク画像の推定画 素値を算出する算出ステップと、

前記算出ステップの処理で算出された前記推定画素値を捕正する捕正ステップ と

を含むことを特徴とする請求の範囲第 6 2項に記載のプログラム。

6 7 . 前記色補間ステップの処理は、 前記感度モザイクパターン情報、 および 前記色モザイクパターン情報に基づき、 前記色 ·感度モザイク画像の各画素に対 し、 その感度特性を変更することなく、 全ての色成分を補間して各色成分の感度 モザイク画像を生成し、

前記感度特性均一化ステップの処理は、 前記感度モザイクパターン情報に基づ き、 前記感度モザイク画像の各画素が有する感度特性を均一化して前記復元画像 を生成する

ことを特徴とする請求の範囲第 6 1項に記載のプログラム。

6 8 . 前記色補間ステップは、

前記色 ·感度モザイク画像から同一の感度特性を有する画素を抽出する抽出ス テツプと、

前記抽出ステップの処理で抽出された各画素に対し、 全ての色成分を補間する 全色成分補間ステップと、

前記全色成分補間ステップの処理で全ての色成分が補間された画素のうち、 同 一の色成分を有し、 かつ、 異なる感度特性を有する画素を合成して前記感度モザ イク画像を生成する合成ステップと

を含むことを特徴とする請求の範囲第 6 7項に記載のプログラム。

6 9 . 各画素が複数の色成分のうちのいずれかの色成分、 および光強度に対す る複数の感度特性のうちのいずれかの感度特性を有し、 かつ同一の色成分おょぴ 感度特性を有する複数の画素が格子状に配置されるとともに、色成分に拘わらず、 同一の感度特性を有する複数の画素が格子状に配置され、 さらに、 任意の画素と 前記任意の画素の上下左右に隣接する 4画素の合計 5画素の中には全ての色成分 が存在する色■感度モザイク画像に基づき、 各画素の感度が均一化されており、 かつ、 各画素が前記複数の色成分の全ての色成分を有する復元画像を復元する復 元手段を

含むことを特徴とする画像処理装置。

7 0 . 前記復元手段は、

前記色'感度モザィク画像の感度特性の配列を示す感度モザィクパターン情報、 および前記色 ·感度モザイク画像の色成分の配列を示す色モザイクパターン情報 に基づき、 前記色■感度モザイク画像に対応する輝度画像を生成する輝度画像生 成手段と、

前記感度モザイクパターン情報、 前記色モザイクパターン情報、 および前記輝 度画像に基づき、 前記色 ·感度モザイク画像に対応する単色画像を生成する複数 の単色画像生成手段と

を含むことを特徴とする請求の範囲第 6 9項に記載の画像処理装置。

7 1 . 前記輝度画像生成手段は、

前記色■感度モザイク画像の各画素に対応する色成分の推定値を算出する複数 の推定手段と、

前記複数の推定手段がそれぞれ算出した複数の前記推定値を用いて、 前記色 - 感度モザイク画像の各画素に対応する輝度候補値を算出する輝度候補値算出手段 と

を含むことを特徴とする請求の範囲第 7 0項に記載の画像処理装置。

7 2 . 前記推定手段は、 前記複数の感度特性にそれぞれ対応する複数の推定値 候補を算出し、 前記複数の推定値候補を加算して、 その和に生じている前記感度 特性の非線形性を補償することによって前記推定値を算出する

ことを特徴とする請求の範囲第 7 1項に記載の画像処理装置。

7 3 . 前記輝度画像生成手段は、

前記輝度候補値のノィズ成分を除去して輝度値を生成するノィズ除去手段を さらに含むことを特徴とする請求の範囲第 7 1項に記載の画像処理装置。

7 4 . 前記単色画像生成手段は、

前記感度モザィクパターン情報、および前記色モザィクパターン情報に基づき、 前記色 ·感度モザイク画像に対応する単色画像候補を生成する単色画像候補生成 手段と、

前記輝度画像に基づき、 前記単色画像候補を修正して前記単色画像を生成する 修正手段と · を含むことを特徴とする請求の範囲第 7 0項に記載の画像処理装置。

7 5 . 前記単色画像候補生成手段は、 前記複数の感度特性にそれぞれ対応する 複数の単色候補値を算出し、 前記複数の単色候補値を加算して、 その和に生じて いる前記感度特性の非線形性を補償することにより、 前記単色画像候補の画素値 を算出して前記単色画像候補を生成する

ことを特徴とする請求の範囲第 7 4項に記載の画像処理装置。

7 6 . 前記単色画像候補生成手段は、方向選択的平滑化処理を用いて、前記色 - 感度モザイク画像に対応する前記単色画像候補を生成する

ことを特徴とする請求の範囲第 7 4項に記載の画像処理装置。

7 7 . 被写体を撮像し、 前記色 ·感度モザイク画像を生成する撮像手段を さらに含むことを特徴とする請求の範囲第 6 9項に記載の画像処理装置。

7 8 . 前記復元手段は、

前記色 ·感度モザイク画像の感度特性の配列を示す感度モザイクパターン情報 に基づき、 各画素が有する感度特性を均一化する感度特性均一化手段と、

前記色 ·感度モザイク画像の色成分の配列を示す色モザイクパターン情報に基 づき、 各画素の色成分を補間する色補間手段と

を含むことを特徴とする請求の範囲第 6 9項に記載の画像処理装置。

7 9 . 前記感度特性均一化手段は、 前記感度モザイクパターン情報、 および前 記色モザイクパターン情報に基づき、 前記色 '感度モザイク画像の各画素が有す る感度特性を均一化して色モザイク画像を生成し、

前記色補間手段は、 前記色モザイクパターン情報に基づき、 前記色モザイク画 像の各画素の色成分を補間して前記復元画像を生成する

ことを特徴とする請求の範囲第 7 8項に記載の画像処理装置。

8 0 . 前記感度特性均一化手段は、 前記感度モザイクパターン情報、 および前 記色モザイクパターン情報に基づき、 前記色 '感度モザイク画像の各画素が有す る色成分の種類を変更することなく、 その感度特性を均一化して前記色モザィク 画像を生成する ことを特徴とする請求の範囲第 7 9項に記載の画像処理装置。

8 1 . 前記感度特性均一化手段は、 前記感度モザイクパターン情報、 および前 記色モザイクパターン情報に基づき、 前記色 ·感度モザイク画像の各画素が有す る感度特性を均一化して前記色モザイク画像を生成し、 前記色モザイクパターン 情報を更新する

ことを特徴とする請求の範囲第 7 9項に記載の画像処理装置。

8 2 . 前記感度均一化手段は、

前記感度モザイクパターン情報に基づき、 前記色 ·感度モザイク画像の各画素が 有する色成分を補償する補償手段と、

前記感度モザイクパターン情報に基づき、 前記色■感度モザイク画像の各画素 が有する色成分の有効性を判別する判別手段と、

前記判別手段の判別結果に対応して、 前記補償手段が補償した各画素が有する 色成分を補間処理によって修正する修正手段と

を含むことを特徴とする請求の範囲第 7 9項に記載の画像処理装置。

8 3 . 前記感度均一化手段は、

前記感度モザイクパターン情報に基づき、 前記色■感度モザイク画像の推定画 素値を算出する算出手段と、

前記算出手段が算出した前記推定画素値を補正する補正手段と

を含むことを特徴とする請求の範囲第 7 9項に記載の画像処理装置。

8 4 . 前記色補間手段は、 前記感度モザイクパターン情報、 および前記色モザ イクパターン情報に基づき、 前記色 ·感度モザイク画像の各画素に対し、 その感 度特性を変更することなく、 全ての色成分を補間して各色成分の感度モザイク画 像を生成し、

前記感度特性均一化手段は、 前記感度モザイクパターン情報に基づき、 前記感 度モザイク画像の各画素が有する感度特性を均一化して前記復元画像を生成する ことを特徴とする請求の範囲第 7 8項に記載の画像処理装置。

8 5 . 前記色補間手段は、 前記色■感度モザイク画像から同一の感度特性を有する画素を抽出する抽出手 段と、

前記抽出手段が抽出した各画素に対し、 全ての色成分を捕間する全色成分補間 手段と、

前記全色成分補間手段が全ての色成分を補間した画素のうち、 同一の色成分を 有し、 かつ、 異なる感度特性を有する画素を合成して前記感度モザイク画像を生 成する合成手段と

を含むことを特徴とする請求の範囲第 8 4項に記載の画像処理装置。

8 6 . 各画素が複数の色成分のうちのいずれかの色成分、 および光強度に対す る複数の感度特性のうちのいずれかの感度特性を有し、 かつ同一の色成分および 感度特性を有する複数の画素が格子状に配置されるとともに、色成分に拘わらず、 同一の感度特性を有する複数の画素が格子状に配置され、 さらに、 任意の画素と 前記任意の画素の上下左右に隣接する 4画素の合計 5画素の中には全ての色成分 が存在する色 ·感度モザイク画像に基づき、 各画素の感度が均一化されており、 かつ、 各画素が前記複数の色成分の全ての色成分を有する復元画像を復元する復 元ステップを

含むことを特徴とする画像処理方法。

8 7 . 前記復元ステップは、

前記色 ·感度モザイク画像の感度特性の配列を示す感度モザイクパターン情報、 および前記色■感度モザイク画像の色成分の配列を示す色モザイクパターン情報 に基づき、 前記色 ·感度モザイク画像に対応する輝度画像を生成する輝度画像生 成ステップと、

前記感度モザイクパターン情報、 前記色モザイクパターン情報、 および前記輝 度画像に基づき、 前記色 ·感度モザイク画像に対応する単色画像を生成する複数 の単色画像生成ステップと

を含むことを特徴とする請求の範囲第 8 6項に記載の画像処理方法。

8 8 . 前記輝度画像生成ステップは、 前記色■感度モザイク画像の各画素に対応する色成分の推定値を算出する複数 の推定ステップと、

前記複数の推定ステップの処理でそれぞれ算出された複数の前記推定値を用い て、 前記色■感度モザイク画像の各画素に対応する輝度候補値を算出する輝度候 補値算出ステップと

を含むことを特徴とする請求の範囲第 8 7項に記載の画像処理方法。

8 9 . 前記推定ステップの処理は、 前記複数の感度特性にそれぞれ対応する複 数の推定値候補を算出し、 前記複数の推定値候補を加算して、 その和に生じてい る前記感度特性の非線形性を補償することによって前記推定値を算出する

ことを特徴とする請求の範囲第 8 8項に記載の画像処理方法。

9 0 . 前記輝度画像生成ステップは、

前記輝度候補値のノィズ成分を除去して輝度値を生成するノィズ除去ステップ を

さらに含むことを特徴とする請求の範囲第 8 8項に記載の画像処理方法。

9 1 . 前記単色画像生成ステップは、

前記感度モザィクパターン情報、および前記色モザィクパターン情報に基づき、 前記色 ·感度モザイク画像に対応する単色画像候捕を生成する単色画像候補生成 ステップと、

前記輝度画像に基づき、 前記単色画像候補を修正して前記単色画像を生成する 修正ステップと

を含むことを特徴とする請求の範囲第 8 7項に記載の画像処理方法。

9 2 . 前記単色画像候補生成ステツプの処理は、 前記複数の感度特性にそれぞ れ対応する複数の単色候補値を算出し、 前記複数の単色候補値を加算して、 その 和に生じている前記感度特性の非線形性を補償することにより、 前記単色画像候 補の画素値を算出して前記単色画像候補を生成する

ことを特徴とする請求の範囲第 9 1項に記載の画像処理方法。

9 3 . 前記単色画像候補生成ステップの処理は、 方向選択的平滑化処理を用い て、 前記色 ·感度モザイク画像に対応する前記単色画像候補を生成する ことを特徴とする請求の範囲第 9 1項に記載の画像処理方法。

9 4 . 被写体を撮像し、 前記色 ·感度モザイク画像を生成する撮像ステップを さらに含むことを特徴とする請求の範囲第 8 6項に記載の画像処理方法。 9 5 . 前記復元ステップは、

前記色 ·感度モザイク画像の感度特性の配列を示す感度モザイクパターン情報 に基づき、 各画素が有する感度特性を均一化する感度特性均一化ステツプと、 前記色 ·感度モザイク画像の色成分の配列を示す色モザイクパターン情報に基 づき、 各画素の色成分を補間する色補間ステップと

を含むことを特徴とする請求の範囲第 8 6項に記載の画像処理方法。

9 6 . 前記感度特性均一化ステップの処理は、前記感度モザイクパターン情報、 および前記色モザイクパターン情報に基づき、 前記色 ·感度モザイク画像の各画 素が有する感度特性を均一化して色モザイク画像を生成し、

前記色補間ステップの処理は、 前記色モザイクパターン情報に基づき、 前記色 モザイク画像の各画素の色成分を補間して前記復元画像を生成する

ことを特徴とする請求の範囲第 9 5項に記載の画像処理方法。

9 7 . 前記感度特性均一化ステップの処理は、前記感度モザイクパターン情報、 および前記色モザイクパターン情報に基づき、 前記色 ·感度モザイク画像の各画 素が有する色成分の種類を変更することなく、 その感度特性を均一化して前記色 モザイク画像を生成する

ことを特徴とする請求の範囲第 9 6項に記載の画像処理方法。

9 8 . 前記感度特性均一化ステップの処理は、前記感度モザイクパターン情報、 および前記色モザイクパターン情報に基づき、 前記色■感度モザイク画像の各画 素が有する感度特性を均一化して前記色モザイク画像を生成し、 前記色モザイク パターン情報を更新する

ことを特徴とする請求の範囲第 9 6項に記載の画像処理方法。

9 9 . 前記感度均一化ステップは、 前記感度モザイクパターン情報に基づき、 前記色 '感度モザイク画像の各画素が 有する色成分を補償する補償ステップと、

前記感度モザイクパターン情報に基づき、 前記色 ·感度モザイク画像の各画素 が有する色成分の有効性を判別する判別ステツプと、

前記判別手段の判別結果に対応して、 前記補償ステップの処理で補償された各 画素が有する色成分を捕間処理によって修正する修正ステップと

を含むことを特徴とする請求の範囲第 9 6項に記載の画像処理方法。

1 0 0 . 前記感度均一化ステップは、

前記感度モザイクパターン情報に基づき、 前記色 ·感度モザイク画像の推定画 素値を算出する算出ステップと、

前記算出ステツプの処理で算出された前記推定画素値を補正する補正ステップ と

を含むことを特徴とする請求の範囲第 9 6項に記載の画像処理方法。

1 0 1 . 前記色捕間ステップの処理は、 前記感度モザイクパターン情報、 およ び前記色モザイクパターン情報に基づき、 前記色■感度モザイク画像の各画素に 対し、 その感度特性を変更することなく、 全ての色成分を補間して各色成分の感 度モザイク画像を生成し、

前記感度特性均一化ステップの処理は、 前記感度モザイクパターン情報に基づ き、 前記感度モザイク画像の各画素が有する感度特性を均一化して前記復元画像 を生成する '

ことを特徴とする請求の範囲第 9 5項に記載の画像処理方法。

1 0 2 . 前記色補間ステップは、

前記色■感度モザイク画像から同一の感度特性を有する画素を抽出する抽出ス テツプと、

前記抽出ステップの処理で抽出された各画素に対し、 全ての色成分を捕間する 全色成分捕間ステップと、

前記全色成分補間ステップの処理で全ての色成分が補間された画素のうち、 同 一の色成分を有し、 かつ、 異なる感度特性を有する画素を合成して前記感度モザ イク画像を生成する合成ステップと

を含むことを特徴とする請求の範囲第 1 0 1項に記載の画像処理方法。

1 0 3 . 各画素が複数の色成分のうちのいずれかの色成分、 および光強度に対 する複数の感度特性のうちのいずれかの感度特性を有し、 かつ同一の色成分およ び感度特性を有する複数の画素が格子状に配置されるとともに、 色成分に拘わら ず、 同一の感度特性を有する複数の画素が格子状に配置され、 さらに、 任意の画 素と前記任意の画素の上下左右に隣接する 4画素の合計 5画素の中には全ての色 成分が存在する色 ·感度モザイク画像に基づき、 各画素の感度が均一化されてお り、 かつ、 各画素が前記複数の色成分の全ての色成分を有する復元画像を復元す る復元ステップを

含むことを特徴とするコンピュータが読み出し可能なプログラムが記録されて いる記録媒体。

1 0 4 . 前記復元ステップは、

前記色'感度モザイク画像の感度特性の配列を示す感度モザイクパターン情報、 および前記色■感度モザイク画像の色成分の配列を示す色モザイクパターン情報 に基づき、 前記色■感度モザイク画像に対応する輝度画像を生成する輝度画像生 成ステップと、

前記感度モザイクパターン情報、 前記色モザイクパターン情報、 および前記輝 度画像に基づき、 前記色 ·感度モザイク画像に対応する単色画像を生成する複数 の単色画像生成ステップと

を含むことを特徴とするコンピュータが読み出し可能なプログラムが記録され ている請求の範囲第 1 0 3項に記載の記録媒体。

1 0 5 . 前記輝度画像生成ステップは、

前記色 ·感度モザイク画像の各画素に対応する色成分の推定値を算出する複数 の推定ステップと、

前記複数の推定ステップの処理でそれぞれ算出された複数の前記推定値を用い て、 前記色 ·感度モザイク画像の各画素に対応する輝度候補値を算出する輝度候 補値算出ステップと

を含むことを特徴とするコンピュータが読み出し可能なプログラムが記録され ている請求の範囲第 1 0 4項に記載の記録媒体。

1 0 6 . 前記推定ステップの処理は、 前記複数の感度特性にそれぞれ対応する 複数の推定値候補を算出し、 前記複数の推定値候補を加算して、 その和に生じて いる前記感度特性の非線形性を補償することによって前記推定値を算出する ことを特徴とするコンピュータが読み出し可能なプログラムが記録されている 請求の範囲第 1 0 5項に記載の記録媒体。

1 0 7 . 前記輝度画像生成ステップは、

前記輝度候補値のノィズ成分を除去して輝度値を生成するノィズ除去ステツプ を

さらに含むことを特徴とするコンピュータが読み出し可能なプログラムが記録 されている請求の範囲第 1 0 5項に記載の記録媒体。

1 0 8 . 前記単色画像生成ステップは、

前記感度モザィクパターン情報、および前記色モザィクパターン情報に基づき、 前記色 ·感度モザイク画像に対応する単色画像候補を生成する単色画像候補生成 ステップと、

前記輝度画像に基づき、 前記単色画像候補を修正して前記単色画像を生成する 修正ステップと

を含むことを特徴とするコンピュータが読み出し可能なプログラムが記録され ている請求の範囲第 1 0 4項に記載の記録媒体。

1 0 9 . 前記単色画像候補生成ステップの処理は、 前記複数の感度特性にそれ ぞれ対応する複数の単色候補値を算出し、 前記複数の単色候補値を加算して、 そ の和に生じている前記感度特性の非線形性を補償することにより、 前記単色画像 候補の画素値を算出して前記単色画像候補を生成する

ことを特徴とするコンピュータが読み出し可能なプログラムが記録されている 請求の範囲第 1 0 8項に記載の記録媒体。

1 1 0 . 前記単色画像候補生成ステップの処理は、 方向選択的平滑化処理を用 いて、 前記色■感度モザイク画像に対応する前記単色画像候補を生成する ことを特徴とするコンピュータが読み出し可能なプログラムが記録されている 請求の範囲第 1 0 8項に記載の記録媒体。

1 1 1 . 被写体を撮像し、 前記色■感度モザイク画像を生成する処理を制御す る撮像制御ステップを

さらに含むことを特徴とするコンピュータが読み出し可能なプログラムが記録 されている請求の範囲第 1 0 3項に記載の記録媒体。

1 1 2 . 前記復元ステップは、

前記色 ·感度モザイク画像の感度特性の配列を示す感度モザイクパターン情報 に基づき、 各画素が有する感度特性を均一化する感度特性均一化ステップと、 前記色■感度モザイク画像の色成分の配列を示す色モザイクパターン情報に基 づき、 各画素の色成分を補間する色補間ステップと

を含むことを特徴とするコンピュータが読み出し可能なプログラムが記録され ている請求の範囲第 1 0 3項に記載の記録媒体。

1 1 3 . 前記感度特性均一化ステップの処理は、 前記感度モザイクパターン情 報、 および前記色モザイクパターン情報に基づき、 前記色 '感度モザイク画像の 各画素が有する感度特性を均一化して色モザィク画像を生成し、

前記色補間ステップの処理は、 前記色モザイクパターン情報に基づき、 前記色 モザィク画像の各画素の色成分を補間して前記復元画像を生成する

ことを特徴とするコンピュータが読み出し可能なプログラムが記録されている 請求の範囲第 1 1 2項に記載の記録媒体。

1 1 4 . 前記感度特性均一化ステップの処理は、 前記感度モザイクパターン情 報、 および前記色モザイクパターン情報に基づき、 前記色 .感度モザイク画像の 各画素が有する色成分の種類を変更することなく、 その感度特性を均一化して前 記色モザイク画像を生成する ことを特徴とするコンピュータが読み出し可能なプログラムが記録されている 請求の範囲第 1 1 3項に記載の記録媒体。

1 1 5 . 前記感度特性均一化ステップの処理は、 前記感度モザイクパターン情 報、 および前記色モザイクパターン情報に基づき、 前記色■感度モザイク画像の 各画素が有する感度特性を均一化して前記色モザイク画像を生成し、 前記色モザ イクパターン情報を更新する

ことを特徴とするコンピュータが読み出し可能なプログラムが記録されている 請求の範囲第 1 1 3項に記載の記録媒体。

1 1 6 . 前記感度均一化ステップは、

前記感度モザイクパターン情報に基づき、 前記色 ·感度モザイク画像の各画素が 有する色成分を補償する捕償ステップと、

前記感度モザイクパターン情報に基づき、 前記色■感度モザイク画像の各画素 が有する色成分の有効性を判別する判別ステップと、

前記判別手段の判別結果に対応して、 前記補償ステップの処理で補償された各 画素が有する色成分を補間処理によって修正する修正ステップと

を含むことを特徴とするコンピュータが読み出し可能なプログラムが記録され ている請求の範囲第 1 1 3項に記載の記録媒体。

1 1 7 . 前記感度均一化ステップは、

前記感度モザイクパターン情報に基づき、 前記色 ·感度モザイク画像の推定画 素値を算出する算出ステップと、

前記算出ステップの処理で算出された前記推定画素値を補正する補正ステップ と

を含むことを特徴とするコンピュータが読み出し可能なプログラムが記録され ている請求の範囲第 1 1 3項に記載の記録媒体。

1 1 8 . 前記色補間ステップの処理は、 前記感度モザイクパターン情報、 およ び前記色モザイクパターン情報に基づき、 前記色■感度モザイク画像の各画素に 対し、 その感度特性を変更することなく、 全ての色成分を補間して各色成分の感 度モザイク画像を生成し、

前記感度特性均一化ステップの処理は、 前記感度モザイクパターン情報に基づ き、 前記感度モザイク画像の各画素が有する感度特性を均一化して前記復元画像 を生成する

ことを特徴とするコンピュータが読み出し可能なプログラムが記録されている 請求の範囲第 1 1 2項に記載の記録媒体。

1 1 9 . 前記色補間ステップは、

前記色■感度モザイク画像から同一の感度特性を有する画素を抽出する抽出ス 前記抽出ステップの処理で抽出された各画素に対し、 全ての色成分を補間する 全色成分補間ステップと、

前記全色成分捕間ステップの処理で全ての色成分が補間された画素のうち、 同 一の色成分を有し、 かつ、 異なる感度特性を有する画素を合成して前記感度モザ イク画像を生成する合成ステップと

を含むことを特徴とするコンピュータが読み出し可能なプログラムが記録され ている請求の範囲第 1 1 8項に記載の記録媒体。

1 2 0 . 各画素が複数の色成分のうちのいずれかの色成分、 およぴ光強度に対 する複数の感度特性のうちのいずれかの感度特性を有し、 かつ同一の色成分およ び感度特性を有する複数の画素が格子状に配置されるとともに、 色成分に拘わら ず、 同一の感度特性を有する複数の画素が格子状に配置され、 さらに、 任意の画 素と前記任意の画素の上下左右に隣接する 4画素の合計 5画素の中には全ての色 成分が存在する色 ·感度モザイク画像に基づき、 各画素の感度が均一化されてお り、 かつ、 各画素が前記複数の色成分の全ての色成分を有する復元画像を復元す る復元ステップを

コンピュータに実行させるプログラム。

1 2 1 . 前記復元ステップは、

前記色'感度モザイク画像の感度特性の配列を示す感度モザイクパターン情報、 および前記色 ·感度モザイク画像の色成分の配列を示す色モザイクパターン情報 に基づき、 前記色 ·感度モザイク画像に対応する輝度画像を生成する輝度画像生 成ステップと、 、

前記感度モザイクパターン情報、 前記色モザイクパターン情報、 および前記輝 度画像に基づき、 前記色 ·感度モザイク画像に対応する単色画像を生成する複数 の単色画像生成ステップと . を含むことを特徴とする請求の範囲第 1 2 0項に記載のプログラム。

1 2 2 . 前記輝度画像生成ステップは、

前記色 ·感度モザイク画像の各画素に対応する色成分の推定値を算出する複数 の推定ステップと、

前記複数の推定ステップの処理でそれぞれ算出された複数の前記推定値を用い て、 前記色 ·感度モザイク画像の各画素に対応する輝度候補値を算出する輝度候 補値算出ステップと

を含むことを特徴とする請求の範囲第 1 2 1項に記載のプログラム。

1 2 3 . 前記推定ステップの処理は、 前記複数の感度特性にそれぞれ対応する 複数の推定値候補を算出し、 前記複数の推定値候補を加算して、 その和に生じて いる前記感度特性の非線形性を補償することによって前記推定値を算出する ことを特徴とする請求の範囲第 1 2 2項に記載のプログラム。

1 2 4 . 前記輝度画像生成ステップは、

前記輝度候補値のノィズ成分を除去して輝度値を生成するノィズ除去ステツプ を

さらに含むことを特徴とする請求の範囲第 1 2 2項に記載のプログラム。

1 2 5 . 前記単色画像生成ステップは、

前記感度モザイクパターン情報、および前記色モザイクパターン情報に基づき、 前記色 ·感度モザイク画像に対応する単色画像候補を生成する単色画像候補生成 ステップと、

前記輝度画像に基づき、 前記単色画像候補を修正して前記単色画像を生成する 修正ステップと

を含むことを特徴とする請求の範囲第 1 2 1項に記載のプログラム。

1 2 6 . 前記単色画像候補生成ステップの処理は、 前記複数の感度特性にそれ それ対応する複数の単色候捕値を算出し、 前記複数の単色候補値を加算して、 そ の和に生じている前記感度特性の非線形性を補償することにより、 前記単色画像 候補の画素値を算出して前記単色画像候補を生成する

ことを特徴とする請求の範囲第 1 2 5項に記載のプログラム。

1 2 7 . 前記単色画像候補生成ステップの処理は、 方向選択的平滑化処理を用 いて、 前記色 ·感度モザイク画像に対応する前記単色画像候補を生成する ことを特徴とする請求の範囲第 1 2 5項に記載のプログラム。

1 2 8 . 被写体を撮像し、 前記色■感度モザイク画像を生成する処理を制御す る撮像制御ステップを

さらに含むことを特徴とする請求の範囲第 1 2 0項に記載のプログラム。

1 2 9 . 前記復元ステップは、

前記色■感度モザイク画像の感度特性の配列を示す感度モザイクパターン情報 に基づき、 各画素が有する感度特性を均一化する感度特性均一化ステップと、 前記色 ·感度モザイク画像の色成分の配列を示す色モザイクパターン情報に基 づき、 各画素の色成分を補間する色補間ステップと

を含むことを特徴とする請求の範囲第 1 2 0項に記載のプログラム。

1 3 0 . 前記感度特性均一化ステップの処理は、 前記感度モザイクパターン情 報、 および前記色モザイクパターン情報に基づき、 前記色 ·感度モザイク画像の 各画素が有する感度特性を均一化して色モザイク画像を生成し、

前記色補間ステップの処理は、 前記色モザイクパターン情報に基づき、 前記色 モザイク画像の各画素の色成分を補間して前記復元画像を生成する

ことを特徴とする請求の範囲第 1 2 9項に記載のプログラム。

1 3 1 . 前記感度特性均一化ステップの処理は、 前記感度モザイクパターン情 報、 および前記色モザイクパターン情報に基づき、 前記色■感度モザイク画像の 各画素が有する色成分の種類を変更することなく、 その感度特性を均一化して前 記色モザイク画像を生成する

ことを特徴とする請求の範囲第 1 3 0項に記載のプログラム。

1 3 2 . 前記感度特性均一化ステップの処理は、 前記感度モザイクパターン情 報、 および前記色モザイクパターン情報に基づき、 前記色 '感度モザイク画像の 各画素が有する感度特性を均一化して前記色モザイク画像を生成し、 前記色モザ イクパターン情報を更新する

ことを特徴とする請求の範囲第 1 3 0項に記載のプログラム。

1 3 3 . 前記感度均一化ステップは、

前記感度モザイクパターン情報に基づき、 前記色 ·感度モザイク画像の各画素が 有する色成分を補償する補償ステップと、

前記感度モザイクパターン情報に基づき、 前記色 ·感度モザイク画像の各画素 が有する色成分の有効性を判別する判別ステツプと、

前記判別手段の判別結果に対応して、 前記補償ステップの処理で捕償された各 画素が有する色成分を補間処理によつて修正する修正ステップと

を含むことを特徴とする請求の範囲第 1 3 0項に記載のプログラム。

1 3 4 . 前記感度均一化ステップは、

前記感度モザイクパターン情報に基づき、 前記色 ·感度モザイク画像の推定画 素値を算出する算出ステップと、

前記算出ステップの処理で算出された前記推定画素値を補正する補正ステップ と

を含むことを特徴とする請求の範囲第 1 3 0項に記載のプログラム。

1 3 5 . 前記色補間ステップの処理は、 前記感度モザイクパターン情報、 およ ぴ前記色モザイクパターン情報に基づき、 前記色 ·感度モザイク画像の各画素に 対し、 その感度特性を変更することなく、 全ての色成分を補間して各色成分の感 度モザイク画像を生成し、

前記感度特性均一化ステップの処理は、 前記感度モザィクパターン情報に基づ き、 前記感度モザイク画像の各画素が有する感度特性を均一化して前記復元画像 を生成する

ことを特徴とする請求の範囲第 1 2 9項に記載のプログラム。

1 3 6 . 前記色補間ステップは、

前記色■感度モザイク画像から同一の感度特性を有する画素を抽出する抽出ス 前記抽出ステップの処理で抽出された各画素に対し、 全ての色成分を補間する 全色成分補間ステップと、

前記全色成分捕間ステップの処理で全ての色成分が補間された画素のうち、 同 一の色成分を有し、 かつ、 異なる感度特性を有する画素を合成して前記感度モザ イク画像を生成する合成ステップと

を含むことを特徴とする請求の範囲第 1 3 5項に記載のプログラム。

1 3 7 . 各画素が複数の色成分のうちのいずれかの色成分を有し、 かつ、 光強 度に対する複数の感度特性のうちのいずれかの感度特性を有する色■感度モザィ ク画像を用いて、 各画素の感度特性が均一化されており、 かつ、 各画素が前記複 数の色成分の全ての色成分を有する復元画像を生成する画像処理装置において、 前記色 ·感度モザイク画像の感度特性の配列を示す感度モザイクパターン情報 に基づき、 各画素が有する感度特性を均一化する感度特性均一化手段と、 前記色 ·感度モザイク画像の色成分の配列を示す色モザイクパターン情報に基 づき、 各画素の色成分を補間する色補間手段と

を含むことを特徴とする画像処理装置。

1 3 8 . 前記感度特性均一化手段は、 前記感度モザイクパターン情報、 および 前記色モザイクパターン情報に基づき、 前記色■感度モザイク画像の各画素が有 する感度特性を均一化して色モザィク画像を生成し、

前記色補間手段は、 前記色モザイクパターン情報に基づき、 前記色モザイク画 像の各画素の色成分を補間して前記復元画像を生成する

ことを特徴とする請求の範囲第 1 3 7に記載の画像処理装置。

1 3 9 . 前記感度特性均一化手段は、 前記感度モザイクパターン情報、 および 前記色モザイクパターン情報に基づき、 前記色 ·感度モザイク画像の各画素が有 する色成分の種類を変更することなく、 その感度特性を均一化して前記色モザィ ク画像を生成する

ことを特徴とする請求の範囲第 1 3 8項に記載の画像処理装置。

1 4 0 . 前記感度特性均一化手段は、 前記感度モザイクパターン情報、 および 前記色モザイクパターン情報に基づき、 前記色■感度モザイク画像の各画素が有 する感度特性を均一化して前記色モザイク画像を生成し、 前記色モザイクパター ン情報を更新する

ことを特徴とする請求の範囲第 1 3 8項に記載の画像処理装置。

1 4 1 . 前記感度均一化手段は、

前記感度モザイクパターン情報に基づき、 前記色■感度モザィク画像の各画素が 有する色成分を補償する補償手段と、

前記感度モザイクパターン情報に基づき、 前記色■感度モザイク画像の各画素 が有する色成分の有効性を判別する判別手段と、

前記判別手段の判別結果に対応して、 前記補償手段が補償した各画素が有する 色成分を補間処理によつて修正する修正手段と

を含むことを特徴とする請求の範囲第 1 3 8項に記載の画像処理装置。

1 4 2 . 前記感度均一化手段は、

前記感度モザイクパターン情報に基づき、 前記色 ·感度モザイク画像の推定画 素値を算出する算出手段と、

前記算出手段が算出した前記推定画素値を補正する補正手段と

を含むことを特徴とする請求の範囲第 1 3 8項に記載の画像処理装置。

1 4 3 . 前記色補間手段は、 前記感度モザイクパターン情報、 および前記色モ ザイクパターン情報に基づき、 前記色 .感度モザイク画像の各画素に対し、 その 感度特性を変更することなく、 全ての色成分を補間して各色成分の感度モザィク 画像を生成し、 前記感度特性均一化手段は、 前記感度モザイクパターン情報に基づき、 前記感 度モザイク画像の各画素が有する感度特性を均一化して前記復元画像を生成する ことを特徴とする請求の範囲第 1 3 7項に記載の画像処理装置。

1 4 4 . 前記色補間手段は、

前記色■感度モザイク画像から同一の感度特性を有する画素を抽出する抽出手 段と、

前記抽出手段が抽出した各画素に対し、 全ての色成分を補間する全色成分補間 手段と、

前記全色成分捕間手段が全ての色成分を補間した画素のうち、 同一の色成分を 有し、 かつ、 異なる感度特性を有する画素を合成して前記感度モザイク画像を生 成する合成手段と

を含むことを特徴とする請求の範囲第 1 4 3項に記載の画像処理装置。

1 4 5 . 被写体を撮像し、 前記色■感度モザイク画像を生成する撮像手段を さらに含むことを特徴とする請求の範囲第 1 3 7項に記載の画像処理装置。 1 4 6 . 各画素が複数の色成分のうちのいずれかの色成分を有し、 かつ、 光強 度に対する複数の感度特性のうちのいずれかの感度特性を有する色■感度モザィ ク画像を用いて、 各画素の感度特性が均一化されており、 かつ、 各画素が前記複 数の色成分の全ての色成分を有する復元画像を生成する画像処理装置の画像処理 方法において、

前記色 ·感度モザイク画像の感度特性の配列を示す感度モザイクパターン情報 に基づき、 各画素が有する感度特性を均一化する感度特性均一化ステップと、 前記色■感度モザイク画像の色成分の配列を示す色モザイクパターン情報に基 づき、 各画素の色成分を補間する色補間ステップと

を含むことを特徴とする画像処理方法。

1 4 7 . 前記感度特性均一化ステップの処理は、 前記感度モザイクパターン情 報、 および前記色モザイクパターン情報に基づき、 前記色 .感度モザイク画像の 各画素が有する感度特性を均一化して色モザイク画像を生成し、 前記色補間ステップの処理は、 前記色モザイクパターン情報に基づき、 前記色 モザイク画像の各画素の色成分を補間して前記復元画像を生成する

ことを特徴とする請求の範囲第 1 4 6に記載の画像処理方法。

1 4 8 . 前記感度特性均一化ステップの処理は、 前記感度モザイクパターン情 報、 および前記色モザイクパターン情報に基づき、 前記色 .感度モザイク画像の 各画素が有する色成分の種類を変更することなく、 その感度特性を均一化して前 記色モザィク画像を生成する

ことを特徴とする請求の範囲第 1 4 7項に記載の画像処理方法。

1 4 9 . 前記感度特性均一化ステップの処理は、 前記感度モザイクパターン情 報、 および前記色モザイクパターン情報に基づき、 前記色 .感度モザイク画像の 各画素が有する感度特性を均一化して前記色モザイク画像を生成し、 前記色モザ イクパターン情報を更新する

ことを特徴とする請求の範囲第 1 4 7項に記載の画像処理方法。

1 5 0 . 前記感度均一化ステップは、

前記感度モザイクパターン情報に基づき、 前記色 '感度モザイク画像の各画素が 有する色成分を補償する補償ステップと、

前記感度モザイクパターン情報に基づき、 前記色 ·感度モザイク画像の各画素 が有する色成分の有効性を判別する判別ステツプと、

前記判別ステップの処理での判別結果に対応して、 前記補償ステップの処理で 補償された各画素が有する色成分を補間処理によって修正する修正ステップと を含むことを特徴とする請求の範囲第 1 4 7項に記載の画像処理方法。

1 5 1 . 前記感度均一化ステップは、

前記感度モザイクパターン情報に基づき、 前記色 ·感度モザイク画像の推定画 素値を算出する算出ステップと、

前記算出ステップの処理で算出された前記推定画素値を補正する補正ステップ と

を含むことを特徴とする請求の範囲第 1 4 7項に記載の画像処理方法。

1 5 2 . 前記色補間ステップの処理は、 前記感度モザイクパターン情報、 およ び前記色モザイクパターン情報に基づき、 前記色■感度モザィク画像の各画素に 対し、 その感度特性を変更することなく、 全ての色成分を補間して各色成分の感 度モザイク画像を生成し、

前記感度特性均一化ステップの処理は、 前記感度モザイクパターン情報に基づ き、 前記感度モザイク画像の各画素が有する感度特性を均一化して前記復元画像 を生成する

ことを特徴とする請求の範囲第 1 4 6項に記載の画像処理方法。

1 5 3 . 前記色捕間ステップは、

前記色 ·感度モザイク画像から同一の感度特性を有する画素を抽出する抽出ス テツプと、

前記抽出ステップの処理で抽出された各画素に対し、 全ての色成分を捕間する 全色成分補間ステップと、

前記全色成分補間ステップの処理で全ての色成分が補間された画素のうち、 同 —の色成分を有し、 かつ、 異なる感度特性を有する画素を合成して前記感度モザ イク画像を生成する合成ステップと

を含むことを特徴とする請求の範囲第 1 5 2項に記載の画像処理方法。

1 5 4 . 被写体を撮像し、 前記色■感度モザイク画像を生成する撮像ステップ を

さらに含むことを特徴とする請求の範囲第 1 4 6項に記載の画像処理方法。

1 5 5 . 各画素が複数の色成分のうちのいずれかの色成分を有し、 かつ、 光強 度に対する複数の感度特性のうちのいずれかの感度特性を有する色 ·感度モザィ ク画像を用いて、 各画素の感度特性が均一化されており、 かつ、 各画素が前記複 数の色成分の全ての色成分を有する復元画像を生成するためのプログラムであつ て、

前記色■感度モザイク画像の感度特性の配列を示す感度モザイクパターン情報 に基づき、 各画素が有する感度特性を均一化する感度特性均一化ステップと、 前記色■感度モザイク画像の色成分の配列を示す色モザイクパターン情報に基 づき、 各画素の色成分を補間する色補間ステップと

を含むことを特徴とするコンピュータが読み出し可能なプログラムが記録され ている記録媒体。

1 5 6 . 前記感度特性均一化ステップの処理は、 前記感度モザイクパターン情 報、 および前記色モザイクパターン情報に基づき、 前記色■感度モザイク画像の 各画素が有する感度特性を均一化して色モザィク画像を生成し、

前記色捕間ステップの処理は、 前記色モザイクパターン情報に基づき、 前記色 モザイク画像の各画素の色成分を補間して前記復元画像を生成する

ことを特徴とするコンピュータが読み出し可能なプログラムが記録されている 請求の範囲第 1 5 5に記載の記録媒体。

1 5 7 . 前記感度特性均一化ステップの処理は、 前記感度モザイクパターン情 報、 および前記色モザイクパターン情報に基づき、 前記色■感度モザイク画像の 各画素が有する色成分の種類を変更することなく、 その感度特性を均一化して前 記色モザイク画像を生成する

ことを特徴とするコンピュータが読み出し可能なプログラムが記録されている 請求の範囲第 1 5 6項に記載の記録媒体。

1 5 8 . 前記感度特性均一化ステップの処理は、 前記感度モザイクパターン情 報、 および前記色モザイクパターン情報に基づき、 前記色 ·感度モザイク画像の 各画素が有する感度特性を均一化して前記色モザイク画像を生成し、 前記色モザ イクパターン情報を更新する

ことを特徴とするコンピュータが読み出し可能なプログラムが記録されている 請求の範囲第 1 5 6項に記載の記録媒体。

1 5 9 . 前記感度均一化ステップは、

前記感度モザイクパターン情報に基づき、 前記色■感度モザイク画像の各画素が 有する色成分を補償する補償ステップと、

前記感度モザイクパターン情報に基づき、 前記色■感度モザイク画像の各画素 が有する色成分の有効性を判別する判別ステップと、

前記判別ステップの処理での判別結果に対応して、 前記補償ステップの処理で 捕償された各画素が有する色成分を補間処理によつて修正する修正ステップと を含むことを特徴とするコンピュータが読み出し可能なプログラムが記録され ている請求の範囲第 1 5 6項に記載の記録媒体。

1 6 0 . 前記感度均一化ステップは、

前記感度モザイクパターン情報に基づき、 前記色 ·感度モザイク画像の推定画 素値を算出する算出ステップと、

前記算出ステップの処理で算出された前記推定画素値を補正する補正ステップ と

を含むことを特徴とするコンピュータが読み出し可能なプログラムが記録され ている請求の範囲第 1 5 6項に記載の記録媒体。

1 6 1 . 前記色補間ステップの処理は、 前記感度モザイクパターン情報、 およ び前記色モザイクパターン情報に基づき、 前記色■感度モザイク画像の各画素に 対し、 その感度特性を変更することなく、 全ての色成分を補間して各色成分の感 度モザイク画像を生成し、

前記感度特性均一化ステップの処理は、 前記感度モザイクパターン情報に基づ き、 前記感度モザイク画像の各画素が有する感度特性を均一化して前記復元画像 を生成する

ことを特徴とするコンピュータが読み出し可能なプログラムが記録されている 請求の範囲第 1 5 5項に記載の記録媒体。

1 6 2 . 前記色補間ステップは、

前記色 ·感度モザイク画像から同一の感度特性を有する画素を抽出する抽出ス テツプと、

前記抽出ステップの処理で抽出された各画素に対し、 全ての色成分を捕間する 全色成分補間ステップと、

前記全色成分補間ステップの処理で全ての色成分が補間された画素のうち、 同 一の色成分を有し、 かつ、 異なる感度特性を有する画素を合成して前記感度モザ イク画像を生成する合成ステップと

を含むことを特徴とするコンピュータが読み出し可能なプログラムが記録され ている請求の範囲第 1 6 1項に記載の記録媒体。

1 6 3 . 被写体を撮像し、 前記色 ·感度モザイク画像を生成する処理を制御す る撮像制御ステップを

さらに含むことを特徴とするコンピュータが読み出し可能なプログラムが記録 されている請求の範囲第 1 5 5項に記載の記録媒体。

1 6 4 . 各画素が複数の色成分のうちのいずれかの色成分を有し、 かつ、 光強 度に対する複数の感度特性のうちのいずれかの感度特性を有する色 ·感度モザィ ク画像を用いて、 各画素の感度特性が均一化されており、 かつ、 各画素が前記複 数の色成分の全ての色成分を有する復元画像を生成するコンピュータに、 前記色 ·感度モザイク画像の感度特性の配列を示す感度モザイクパターン情報 に基づき、 各画素が有する感度特性を均一化する感度特性均一化ステップと、 前記色 ·感度モザイク画像の色成分の配列を示す色モザイクパターン情報に基 づき、 各画素の色成分を補間する色補間ステップと

を実行させるプログラム。

1 6 5 . 前記感度特性均一化ステップの処理は、 前記感度モザイクパターン情 報、 および前記色モザイクパターン情報に基づき、 前記色 .感度モザイク画像の 各画素が有する感度特性を均一化して色モザイク画像を生成し、

前記色補間ステップの処理は、 前記色モザイクパターン情報に基づき、 前記色 モザイク画像の各画素の色成分を補間して前記復元画像を生成する

ことを特徴とする請求の範囲第 1 6 4に記載のプログラム。

1 6 6 . 前記感度特性均一化ステップの処理は、 前記感度モザイクパターン情 報、 および前記色モザイクパターン情報に基づき、 前記色 '感度モザイク画像の 各画素が有する色成分の種類を変更することなく、 その感度特性を均一化して前 記色モザイク画像を生成する ことを特徴とする請求の範囲第 1 6 5項に記載のプログラム。

1 6 7 . 前記感度特性均一化ステップの処理は、 前記感度モザイクパターン情 報、 および前記色モザイクパターン情報に基づき、 前記色 .感度モザイク画像の 各画素が有する感度特性を均一化して前記色モザイク画像を生成し、 前記色モザ イクパターン情報を更新する

ことを特徴とする請求の範囲第 1 6 5項に記載のプログラム。

1 6 8 . 前記感度均一化ステップは、

前記感度モザイクパターン情報に基づき、 前記色■感度モザイク画像の各画素が 有する色成分を補償する補償ステップと、

前記感度モザイクパターン情報に基づき、 前記色 ·感度モザイク画像の各画素 が有する色成分の有効性を判別する判別ステップと、

前記判別ステップの処理での判別結果に対応して、 前記補償ステップの処理で 補償された各画素が有する色成分を補間処理によって修正する修正ステップと を含むことを特徴とする請求の範囲第 1 6 5項に記載のプログラム。

1 6 9 . 前記感度均一化ステップは、

前記感度モザイクパターン情報に基づき、 前記色 '感度モザイク画像の推定画 素値を算出する算出ステップと、

前記算出ステップの処理で算出された前記推定画素値を補正する補正ステップ と

を含むことを特徴とする請求の範囲第 1 6 5項に記載のプログラム。

1 7 0 . 前記色補間ステップの処理は、 前記感度モザイクパターン情報、 およ び前記色モザイクパターン情報に基づき、 前記色■感度モザイク画像の各画素に 対し、 その感度特性を変更することなく、 全ての色成分を補間して各色成分の感 度モザイク画像を生成し、

前記感度特性均一化ステップの処理は、 前記感度モザイクパターン情報に基づ き、 前記感度モザイク画像の各画素が有する感度特性を均一化して前記復元画像 を生成する ことを特徴とする請求の範囲第 1 6 4項に記載のプログラム。

1 7 1 . 前記色補間ステップは、

前記色 ·感度モザイク画像から同一の感度特性を有する画素を抽出する抽出ス テツプと、

前記抽出ステップの処理で抽出された各画素に対し、 全ての色成分を補間する 全色成分補間ステップと、

前記全色成分補間ステップの処理で全ての色成分が補間された画素のうち、 同 一の色成分を有し、 かつ、 異なる感度特性を有する画素を合成して前記感度モザ イク画像を生成する合成ステップと

を含むことを特徴とする請求の範囲第 1 7 0項に記載のプログラム。

1 7 2 . 被写体を撮像し、 前記色 ·感度モザイク画像を生成する処理を制御す る撮像制御ステップを

さらに含むことを特徴とする請求の範囲第 1 6 4項に記載のプログラム。

1 7 3 . 各画素が複数の色成分のうちのいずれかの色成分を有し、 かつ、 光強 度に対する複数の感度特性のうちのいずれかの感度特性を有する色 ·感度モザィ ク画像を用いて、 各画素の感度特性が均一化されており、 かつ、 各画素が前記複 数の色成分の全ての色成分を有する復元画像を生成する画像処理装置において、 前記色'感度モザイク画像の感度特性の配列を示す感度モザイクパターン情報、 および前記色 ·感度モザイク画像の色成分の配列を示す色モザイクパターン情報 に基づき、 前記色，感度モザイク画像に対応する輝度画像を生成する輝度画像生 成手段と、

前記感度モザイクパターン情報、 前記色モザイクパターン情報、 および前記輝 度画像に基づき、 前記色 ·感度モザイク画像に対応する単色画像を生成する複数 の単色画像生成手段と

を含むことを特徴とする画像処理装置。

1 4 . 前記輝度画像生成手段は、

前記色 ·感度モザイク画像の各画素に対応する色成分の推定値を算出する複数 の推定手段と、

前記複数の推定手段がそれぞれ算出した複数の前記推定値を用いて、 前記色 - 感度モザイク画像の各画素に対応する輝度候補値を算出する輝度候補値算出手段 と

を含むことを特徴とする請求の範囲第 1 7 3項に記載の画像処理装置。

1 7 5 . 前記推定手段は、 前記複数の感度特性にそれぞれ対応する複数の推定 値候補を算出し、 前記複数の推定値候補を加算して、 その和に生じている前記感 度特性の非線形性を捕償することによって前記推定値を算出する

ことを特徴とする請求の範囲第 1 7 4項に記載の画像処理装置。

1 7 6 . 前記輝度画像生成手段は、

前記輝度候捕値のノィズ成分を除去して輝度値を生成するノィズ除去手段を さらに含むことを特徴とする請求の範囲第 1 7 4項に記載の画像処理装置。 1 7 7 . 前記単色画像生成手段は、

前記感度モザイクパターン情報、および前記色モザイクパターン情報に基づき、 前記色 ·感度モザイク画像に対応する単色画像候補を生成する単色画像候補生成 手段と、

前記輝度画像に基づき、 前記単色画像候補を修正して前記単色画像を生成する 修正手段と

を含むことを特徴とする請求の範囲第 1 7 3項に記載の画像処理装置。

1 7 8 . 前記単色画像候補生成手段は、 前記複数の感度特性にそれぞれ対応す る複数の単色候補値を算出し、 前記複数の単色候補値を加算して、 その和に生じ ている前記感度特性の非線形性を補償することにより、 前記単色画像侯捕の画素 値を算出して前記単色画像候補を生成する

ことを特徴とする請求の範囲第 1 7 7項に記載の画像処理装置。

1 7 9 . 前記単色画像候捕生成手段は、 方向選択的平滑化処理を用いて、 前記 色 ·感度モザイク画像に対応する前記単色画像候補を生成する

ことを特徴とする請求の範囲第 1 7 7項に記載の画像処理装置。

1 8 0 . 被写体を撮像し、 前記色■感度モザイク画像を生成する撮像手段を さらに含むことを特徴とする請求の範囲第 1 7 3項に記載の画像処理装置。 1 8 1 . 各画素が複数の色成分のうちのいずれかの色成分を有し、 かつ、 光強 度に対する複数の感度特性のうちのいずれかの感度特性を有する色 ·感度モザィ ク画像を用いて、 各画素の感度特性が均一化されており、 かつ、 各画素が前記複 数の色成分の全ての色成分を有する復元画像を生成する画像処理装置の画像処理 方法において、

前記色'感度モザイク画像の感度特性の配列を示す感度モザイクパターン情報、 および前記色 ·感度モザイク画像の色成分の配列を示す色モザイクパターン情報 に基づき、 前記色 ·感度モザイク画像に対応する輝度画像を生成する輝度画像生 成ステップと、

前記感度モザイクパターン情報、 前記色モザイクパターン情報、 および前記輝 度画像に基づき、 前記色■感度モザイク画像に対応する単色画像を生成する複数 の単色画像生成ステップと

を含むことを特徴とする画像処理方法。

1 8 2 . 前記輝度画像生成ステップは、

前記色 ·感度モザイク画像の各画素に対応する色成分の推定値を算出する複数 の推定ステップと、

前記複数の推定ステップの処理でそれぞれ算出された複数の前記推定値を用い て、 前記色■感度モザイク画像の各画素に対応する輝度候補値を算出する輝度候 補値算出ステップと

を含むことを特徴とする請求の範囲第 1 8 1項に記載の画像処理方法。

1 8 3 . 前記推定ステップの処理は、 前記複数の感度特性にそれぞれ対応する 複数の推定値候補を算出し、 前記複数の推定値候補を加算して、 その和に生じて いる前記感度特性の非線形性を補償することによって前記推定値を算出する ことを特徴とする請求の範囲第 1 8 2項に記載の画像処理方法。

1 8 4 . 前記輝度画像生成ステップは、 前記輝度候補値のノィズ成分を除去して輝度値を生成するノィズ除去ステップ を

さらに含むことを特徴とする請求の範囲第 1 8 2項に記載の画像処理方法。 1 8 5 . 前記単色画像生成ステップは、

前記感度モザイクパターン情報、および前記色モザイクパターン情報に基づき、 前記色 ·感度モザイク画像に対応する単色画像候補を生成する単色画像候補生成 ステップと、

前記輝度画像に基づき、 前記単色画像候補を修正して前記単色画像を生成する 修正ステップと

を含むことを特徴とする請求の範囲第 1 8 1項に記載の画像処理方法。

1 8 6 . 前記単色画像候補生成ステップの処理は、 前記複数の感度特性にそれ ぞれ対応する複数の単色候補値を算出し、 前記複数の単色候補値を加算して、 そ の和に生じている前記感度特性の非線形性を補償することにより、 前記単色画像 候補の画素値を算出して前記単色画像候補を生成する

ことを特徴とする請求の範囲第 1 8 5項に記載の画像処理方法。

1 8 7 . 前記単色画像候補生成ステップの処理は、 方向選択的平滑化処理を用 いて、 前記色 ·感度モザイク画像に対応する前記単色画像候補を生成する

ことを特徴とする請求の範囲第 1 8 5項に記載の画像処理方法。

1 8 8 . 被写体を撮像し、 前記色 '感度モザイク画像を生成する撮像ステップ を

さらに含むことを特徴とする請求の範囲第 1 8 1項に記載の画像処理方法。 1 8 9 . 各画素が複数の色成分のうちのいずれかの色成分を有し、 かつ、 光強 度に対する複数の感度特性のうちのいずれかの感度特性を有する色 .感度モザィ ク画像を用いて、 各画素の感度特性が均一化されており、 かつ、 各画素が前記複 数の色成分の全ての色成分を有する復元画像を生成するためのプログラムであつ て、

前記色'感度モザイク画像の感度特性の配列を示す感度モザイクパターン情報、 および前記色 ·感度モザイク画像の色成分の配列を示す色モザイクパターン情報 に基づき、 前記色 ·感度モザイク画像に対応する輝度画像を生成する輝度画像生 成ステップと、

前記感度モザイクパターン情報、 前記色モザイクパターン情報、 および前記輝 度画像に基づき、 前記色 ·感度モザイク画像に対応する単色画像を生成する複数 の単色画像生成ステップと

を含むことを特徴とするコンピュータが読み出し可能なプログラムが記録され ている記録媒体。

1 9 0 . 前記輝度画像生成ステップは、

前記色■感度モザイク画像の各画素に対応する色成分の推定値を算出する複数 の推定ステップと、

前記複数の推定ステップの処理でそれぞれ算出された複数の前記推定値を用い て、 前記色 ·感度モザイク画像の各画素に対応する輝度候補値を算出する輝度候 捕値算出ステップと

を含むことを特徴とするコンピュータが読み出し可能なプログラムが記録され ている請求の範囲第 1 8 9項に記載の記録媒体。

1 9 1 . 前記推定ステップの処理は、 前記複数の感度特性にそれぞれ対応する 複数の推定値候補を算出し、 前記複数の推定値候補を加算して、 その和に生じて いる前記感度特性の非線形性を補償することによって前記推定値を算出する ことを特徴とするコンピュータが読み出し可能なプログラムが記録されている 請求の範囲第 1 9 0項に記載の記録媒体。

1 9 2 . 前記輝度画像生成ステップは、

前記輝度候補値のノィズ成分を除去して輝度値を生成するノィズ除去ステップ を

さらに含むことを特徴とするコンピュータが読み出し可能なプログラムが記録 されている請求の範囲第 1 9 0項に記載の記録媒体。

1 9 3 . 前記単色画像生成」 前記感度モザイクパターン情報、および前記色モザイクパターン情報に基づき、 前記色■感度モザイク画像に対応する単色画像候捕を生成する単色画像候捕生成 ステップと、

前記輝度画像に基づき、 前記単色画像候補を修正して前記単色画像を生成する 修正ステップと

を含むことを特徴とするコンピュータが読み出し可能なプログラムが記録され ている請求の範囲第 1 8 9項に記載の記録媒体。

1 9 4 . 前記単色画像候補生成ステップの処理は、 前記複数の感度特性にそれ ぞれ対応する複数の単色候補値を算出し、 前記複数の単色候補値を加算して、 そ の和に生じている前記感度特性の非線形性を補償することにより、 前記単色画像 候補の画素値を算出して前記単色画像候補を生成する

ことを特徴とするコンピュータが読み出し可能なプログラムが記録されている 請求の範囲第 1 9 3項に記載の記録媒体。

1 9 5 . 前記単色画像候補生成ステップの処理は、 方向選択的平滑化処理を用 いて、 前記色 ·感度モザイク画像に対応する前記単色画像候補を生成する ことを特徴とするコンピュータが読み出し可能なプログラムが記録されている 請求の範囲第 1 9 3項に記載の記録媒体。

1 9 6 . 被写体を撮像し、 前記色 ·感度モザイク画像を生成する処理を制御す る撮像制御ステップを

さらに含むことを特徴とするコンピュータが読み出し可能なプログラムが記録 されている請求の範囲第 1 8 9に記載の記録媒体。

1 9 7 . 各画素が複数の色成分のうちのいずれかの色成分を有し、 かつ、 光強 度に対する複数の感度特性のうちのいずれかの感度特性を有する色 ·感度モザィ ク画像を用いて、 各画素の感度特性が均一化されており、 かつ、 各画素が前記複 数の色成分の全ての色成分を有する復元画像を生成するコンピュータに、

前記色'感度モザィク画像の感度特性の配列を示す感度モザィクパターン情報、 および前記色■感度モザイク画像の色成分の配列を示す色モザイクパターン情報 に基づき、 前記色■感度モザイク画像に対応する輝度画像を生成する輝度画像生 成ステップと、

前記感度モザイクパターン情報、 前記色モザイクパターン情報、 および前記輝 度画像に基づき、 前記色，感度モザイク画像に対応する単色画像を生成する複数 の単色画像生成ステップと

を実行させるプログラム。

1 9 8 . 前記輝度画像生成ステップは、

前記色 ·感度モザイク画像の各画素に対応する色成分の推定値を算出する複数 の推定ステップと、

前記複数の推定ステップの処理でそれぞれ算出された複数の前記推定値を用い て、 前記色 ·感度モザイク画像の各画素に対応する輝度候補値を算出する輝度候 捕値算出ステップと

を含むことを特徴とする請求の範囲第 1 9 7項に記載のプログラム。

1 9 9 . 前記推定ステップの処理は、 前記複数の感度特性にそれぞれ対応する 複数の推定値候補を算出し、 前記複数の推定値候補を加算して、 その和に生じて いる前記感度特性の非線形性を補償することによって前記推定値を算出する ことを特徴とする請求の範囲第 1 9 8項に記載のプログラム。

2 0 0 . 前記輝度画像生成ステップは、

前記輝度候補値のノィズ成分を除去して輝度値を生成するノィズ除去ステツプ を

さらに含むことを特徴とする請求の範囲第 1 9 8項に記載のプログラム。

2 0 1 . 前記単色画像生成ステップは、

前記感度モザイクパターン情報、および前記色モザイクパターン情報に基づき、 前記色 ·感度モザイク画像に対応する単色画像候補を生成する単色画像候補生成 ステップと、

前記輝度画像に基づき、 前記単色画像候補を修正して前記単色画像を生成する 修正ステップと を含むことを特徴とする請求の範囲第 1 9 7項に記載のプログラム。

2 0 2 . 前記単色画像候補生成ステップの処理は、 前記複数の感度特性にそれ ぞれ対応する複数の単色候補値を算出し、 前記複数の単色候補値を加算して、 そ の和に生じている前記感度特性の非線形性を補償することにより、 前記単色画像 候捕の画素値を算出して前記単色画像候補を生成する

ことを特徴とする請求の範囲第 2 0 1項に記載のプログラム。

2 0 3 . 前記単色画像候補生成ステップの処理は、 方向選択的平滑化処理を用 いて、 前記色 ·感度モザイク画像に対応する前記単色画像候補を生成する ことを特徴とする請求の範囲第 2 0 1項に記載のプログラム。

2 0 4 . 被写体を撮像し、 前記色 ·感度モザイク画像を生成する処理を制御す る撮像制御ステップを

さらに含むことを特徴とする請求の範囲第 1 9 7項に記載のプログラム。