WO2004072898A1

WO2004072898A1 - 信号処理装置および方法、並びにプログラム

Info

Publication number: WO2004072898A1
Application number: PCT/JP2004/001488
Authority: WO
Inventors: Tetsujiro Kondo; Junichi Ishibashi; Takashi Sawao; Takahiro Nagano; Naoki Fujiwara; Toru Miyake; Seiji Wada
Original assignee: Sony Corporation
Priority date: 2003-02-13
Filing date: 2004-02-12
Publication date: 2004-08-26
Also published as: KR20050098925A; US20070126882A1; CN101175166A; CN101232584A; CN101146183A; CN101330579B; CN101132488A; US20070120855A1; US7668393B2; US7576777B2; US7734113B2; EP1594084A1; EP1594084A4; CN101132488B; US20070268372A1; US7609292B2; US7593594B2; US7595800B2; CN1751321A; CN100350428C

Abstract

本発明は、データが取得された現実世界を考慮し、現実世界の事象に対して、より正確で、より精度の高い処理結果を得ることができるようにする。データ定常性検出部１０１は、第１の次元を有する現実世界の画像が射影され、現実世界の画像の定常性の一部が欠落した第１の次元よりも少ない第２の次元の入力画像の、欠落した現実世界の画像の定常性に対応するデータの定常性を検出する。実世界推定部１０２は、データ定常性検出部１０１により検出されたデータの定常性に基づいて、欠落した現実世界の画像の定常性を推定することにより、現実世界の画像を推定する。本発明は、入力画像に比較してより高解像度の出力画像を出力する画像処理装置に適用できる。

Description

明細書

信号処理装置および方法、並びにプログラム技術分野

本発明は、信号処理装置おょぴ方法、並びにプログラムに関し、特に、データが取得された現実世界を考慮した信号処理装置および方法、並びにプログラムに関する。背景技術

実世界（現実世界）における事象をセンサで検出し、センサが出力するサンプリングデータを処理する技術が広く利用されている。例えば、実世界をイメージセンサで撮像し、画像データであるサンプリングデータを処理する画像処理技術が広く利用されている。

また、特開 2 0 0 1— 2 5 0 1 1 9号公報においては、第 1の次元を有する現実世界の信号である第 1の信号をセンサによって検出することにより得た、第 1 の次元に比較し次元が少ない第 2の次元を有し、第 1の信号に対する歪を含む第 2の信号を取得し、第 2の信号に基づく信号処理を行うことにより、第 2の信号に比して歪の軽減された第 3の信号を生成することが開示されている。

しかしながら、第 1の次元を有する現実世界の信号である第 1の信号が射影されることにより取得される、現実世界の信号の定常性の一部が欠落した第 1の次元よりも少ない第 2の次元の第 2の信号には、欠落した現実世界の信号の定常性に対応するデータの定常性を有していることを考慮して第 2の信号から第 1の信号を推定する信号処理はこれまで考えられていなかった。発明の開示

本発明はこのような状況に鑑みてなされたものであり、データが取得された現実世界を考慮し、現実世界の事象に対して、より正確で、より精度の高い処理結果を得ることができるようにすることを目的とする。

本発明の信号処理装置は、第 1の次元を有する現実世界の信号である第 1の信号が射影され、現実世界の信号の定常性の一部が欠落した第 1の次元よりも少ない第 2の次元の第 2の信号の、欠落した現実世界の信号の定常性に対応するデータの定常性を検出するデータ定常性検出手段と、データ定常性検出手段により検出されたデータの定常性に基づいて、欠落した現実世界の信号の定常性を推定することにより第 1の信号を推定する実世界推定手段とを含むことを特徴とする。データ定常性検出手段は、それぞれ時空間積分効果を有する複数の検出素子に、第 1の信号である現実世界の光信号が射影されることにより取得された、第 2の信号である、現実世界の光信号の定常性の一部が欠落した複数の画素からなる画像データにおけるデータの定常性を検出し、実世界推定手段は、データ定常性検出手段により検出されたデータの定常性に基づき、現実世界の光信号を表す第 1 の関数を近似する第 2の関数を生成するようにすることができる。

実世界推定手段は、データ定常性検出手段により検出されたデータの定常性に基づき、画像データの時空間方向のうち少なくとも 1次元方向の位置に対応する画素の画素値が、少なくとも 1次元方向の積分効果により取得された画素値であるとして画像データを近似することにより、現実世界の光信号を表す第 1の関数を近似する第 2の関数を生成するようにすることができる。

実世界推定手段は、データ定常性検出手段により検出されたデータの定常性に対応して、画像データの時空間方向のうち 1次元方向の位置に対応する画素の画素値が、 1次元方向の積分効果により取得された画素値であるとして画像データを近似することにより、現実世界の光信号を表す第 1の関数を近似する第 2の関数を生成するようにすることができる。

実世界推定手段は、定常性検出手段により検出されたデータの定常性に対応する基準点からの少なくとも 1次元方向に沿った所定距離に対応する各画素の画素値が、少なくとも 1次元方向の積分効果により取得された画素値であるとして画像データを近似することにより、現実世界の光信号を表す第 1の関数を近似する第 2の関数を生成するようにすることができる。

信号処理装置は、実世界推定手段により生成された第 2の関数を、少なくとも 1次元方向の所望の単位で積分することにより所望の大きさの画素に対応する画素値を生成する画素値生成手段をさらに設けることができる。

画素値生成手段は、第 2の関数を少なくとも 1次元方向の各画素に対応する単位で積分することにより画素値を生成し、信号処理装置は、画素値生成手段により生成された画素値と、画像データを構成する複数の画素の画素値との差分値を検出し、差分値に応じて第 2の関数を選択的に出力する出力手段をさらに設けることができる。

実世界推定手段は、データ定常性検出手段により検出されたデータの定常性に対応して、画像データの時空間方向のうち少なくとも 2次元方向の位置に対応する画素の画素値が、少なくとも 2次元方向の積分効果により取得された画素値であるとして画像データを多項式で近似することにより、現実世界の光信号を表す第 1の関数を近似する第 2の関数を生成するようにすることができる。

実世界推定手段は、定常性検出手段により検出されたデータの定常性に対応する基準点からの少なくとも 2次元方向に沿った所定距離に対応する画素の画素値カ、少なくとも 2次元方向の積分効果により取得された画素値であるとして画像データを多項式で近似することにより、現実世界の光信号を表す第 1の関数を近似する第 2の関数を生成するようにすることができる。

信号処理装置は、実世界推定手段により生成された第 2の関数を、少なくとも 2次元方向の所望の単位で積分することにより所望の大きさの画素に対応する画素値を生成する画素値生成手段をさらに設けることができる。

本発明の信号処理方法は、第 1の次元を有する現実世界の信号である第 1の信号が射影され、現実世界の信号の定常性の一部が欠落した第 1の次元よりも少ない第 2の次元の第 2の信号の、欠落した現実世界の信号の定常性に対応するデータの定常性を検出するデータ定常性検出ステップと、データ定常性検出ステップにおいて検出されたデータの定常性に基づいて、欠落した現実世界の信号の定常性を推定することにより第 1の信号を推定する実世界推定ステップとを含むことを特徴とする。

本発明のプログラムは、第 1の次元を有する現実世界の信号である第 1の信号が射影され、現実世界の信号の定常性の一部が欠落した第 1の次元よりも少ない第 2の次元の第 2の信号の、欠落した現実世界の信号の定常性に対応するデータの定常性を検出するデータ定常性検出ステップと、データ定常性検出ステップにおいて検出されたデータの定常性に基づいて、欠落した現実世界の信号の定常性を推定することにより第 1の信号を推定する実世界推定ステップとをコンビユータに実行させることを特徴とする。図面の簡単な説明

図 1は、本発明の原理を示す図である。

図 2は、信号処理装置の構成の例を示すプロック図である。

図 3は、信号処理装置を示すブロック図である。

図 4は、従来の信号処理装置の処理の原理を説明する図である。

図 5は、信号処理装置の処理の原理を説明する図である。

図 6は、本発明の原理をより具体的に説明する図である。

図 7は、本発明の原理をより具体的に説明する図である。

図 8は、イメージセンサ上の画素の配置の例を説明する図である。

図 9は、 CCDである検出素子の動作を説明する図である。

図 1 0は、画素 D乃至画素 Fに対応する検出素子に入射される光と、画素値との関係を説明する図である。

図 1 1は、時間の経過と、 1つの画素に対応する検出素子に入射される光と、画素値との関係を説明する図である。

図 1 2は、実世界の線状の物の画像の例を示す図である。

図 1 3は、実際の撮像により得られた画像データの画素値の例を示す図である _t 図 1 4は、画像データの模式図である。図 1 5は、背景とは異なる色であって、単色の、直線状の縁を有する物の実世界 1の画像の例を示す図である。

図 1 6は、実際の撮像により得られた画像データの画素値の例を示す図である。図 1 7は、画像データの模式図である。

図 1 8は、本発明の原理を説明する図である。

図 1 9は、本発明の原理を説明する図である。

図 2 0は、高解像度データの生成の例を説明する図である。

図 2 1は、モデルによる近似を説明する図である。

図 2 2は、 M個のデータによるモデルの推定を説明する図である。

図 2 3は、実世界の信号とデータとの関係を説明する図である。

図 2 4は、式を立てるときに注目するデータの例を示す図である。

図 2 5は、式を立てる場合における、実世界における 2つの物体に対する信号および混合領域に属する値を説明する図である。

図 2 6は、式（1 8 ) 、式（1 9 ) 、および式（2 2 ) で表される定常性を説明する図である。

図 2 7は、データから抽出される、 M個のデータの例を示す図である。

図 2 8は、データである画素値が取得された領域を説明する図である。

図 2 9は、画素の時空間方向の位置の近似を説明する図である。

図 3 0は、データにおける、時間方向および 2次元の空間方向の実世界の信号の積分を説明する図である。

図 3 1は、空間方向により解像度の高い高解像度データを生成するときの、積分の領域を説明する図である。

図 3 2は、時間方向により解像度の高い高解像度データを生成するときの、積分の領域を説明する図である。

図 3 3は、動きボケを除去した高解像度データを生成するときの、積分の領域を説明する図である。

図 3 4は、時間空間方向により解像度の高い高解像度データを生成するときの、積分の領域を説明する図である。

図 3 5は、入力画像の元の画像を示す図である。

図 3 6は、入力画像の例を示す図である。

図 3 7は、従来のクラス分類適応処理を適用して得られた画像を示す図である。図 3 8は、細線の領域を検出した結果を示す図である。

図 3 9は、信号処理装置から出力された出力画像の例を示す図である。

図 4 0は、信号処理装置による、信号の処理を説明するフローチャートである。図 4 1は、データ定常性検出部の構成を示すブロック図である。

図 4 2は、背景の前に細線がある実世界の画像を示す図である。

図 4 3は、平面による背景の近似を説明する図である。

図 4 4は、細線の画像が射影された画像データの断面形状を示す図である。図 4 5は、細線の画像が射影された画像データの断面形状を示す図である。図 4 6は、細線の画像が射影された画像データの断面形状を示す図である。図 4 7は、頂点の検出および単調増減領域の検出の処理を説明する図である。図 4 8は、頂点の画素値が閾値を超え、隣接する画素の画素値が閾値以下である細線領域を検出する処理を説明する図である。

図 4 9は、図 4 8の点線 AA'で示す方向に並ぶ画素の画素値を表す図である。図 5 0は、単調増減領域の連続性の検出の処理を説明する図である。

図 5 1は、平面での近似により定常成分を抽出した画像の例を示す図である。図 5 2は、単調減少している領域を検出した結果を示す図である。

図 5 3は、連続性が検出された領域を示す図である。

図 5 4は、連続性が検出された領域の画素値を示す図である。

図 5 5は、細線の画像が射影された領域の検出の他の処理の例を示す図である。図 5 6は、定常性検出の処理を説明するフローチャートである。

図 5 7は、時間方向のデータの定常性を検出の処理を説明する図である。

図 5 8は、非定常成分抽出部の構成を示すプロック図である。

図 5 9は、棄却される回数を説明する図である。図 6 0は、入力画像の例を示す図である。

図 6 1は、棄却をしないで平面で近似した結果得られる標準誤差を画素値とした画像を示す図である。

図 6 2は、棄却をして平面で近似した結果得られる標準誤差を画素値とした画像を示す図である。

図 6 3は、棄却された回数を画素値とした画像を示す図である。

図 6 4は、平面の空間方向 Xの傾きを画素値とした画像を示す図である。

図 6 5は、平面の空間方向 Yの傾きを画素値とした画像を示す図である。

図 6 6は、平面で示される近似値からなる画像を示す図である。

図 6 7は、平面で示される近似値と画素値との差分からなる画像を示す図である。

図 6 8は、非定常成分の抽出の処理を説明するフローチヤ一トである。

図 6 9は、定常成分の抽出の処理を説明するフローチャートである。

図 7 0は、定常成分の抽出の他の処理を説明するフローチャートである。

図 7 1は、定常成分の抽出のさらに他の処理を説明するフローチャートである _c 図 7 2は、データ定常性検出部の他の構成を示すプロック図である。

図 7 3は、データの定常性を有する入力画像におけるァクティビティを説明する図である。

図 7 4は、ァクティビティを検出するためのプロックを説明する図である。図 7 5は、アクティビティに対するデータの定常性の角度を説明する図である c 図 7 6は、データ定常性検出部のより詳細な構成を示すブロック図である。図 7 7は、画素の組を説明する図である。

図 7 8は、画素の組の位置とデータの定常性の角度との関係を説明する図である。

図 7 9は、データの定常性の検出の処理を説明するフローチャートである。図 8 0は、時間方向および空間方向のデータの定常性の角度を検出するとき、抽出される画素の組を示す図である。図 8 1は、デ'ータ定常性検出部のより詳細な他の構成を示すブロック図である。図 8 2は、設定された直線の角度の範囲に応じた数の画素からなる画素の組を説明する図である。

図 8 3は、設定された直線の角度の範囲を説明する図である。

図 8 4は、設定された直線の角度の範囲と、画素の組の数、および画素の組毎の画素の数を説明する図である。

図 8 5は、画素の組の数おょぴ画素の組毎の画素の数を説明する図である。図 8 6は、画素の組の数おょぴ画素の組毎の画素の数を説明する図である。図 8 7は、画素の組の数および画素の組毎の画素の数を説明する図である。図 8 8は、画素の組の数および画素の組毎の画素の数を説明する図である。図 8 9は、画素の組の数および画素の組毎の画素の数を説明する図である。図 9 0は、画素の組の数おょぴ画素の組毎の画素の数を説明する図である。図 9 1は、画素の組の数および画素の組毎の画素の数を説明する図である。図 9 2は、画素の組の数および画素の組毎の画素の数を説明する図である。図 9 3は、データの定常性の検出の処理を説明するフローチャートである。図 9 4は、データ定常性検出部のさらに他の構成を示すプロック図である。図 9 5は、データ定常性検出部のより詳細な構成を示すプロック図である。図 9 6は、ブロックの例を説明する図である。

図 9 7は、注目ブロックと参照プロックとの、画素値の差分の絶対値の算出の処理を説明する図である。

図 9 8は、注目画素の周辺の画素の位置と、角度 Θを有する直線との空間方向 Xの距離を説明する図である。

図 9 9は、シフト量 yと角度 0との関係を示す図である。

図 1 0 0は、シフト量 γに対する、注目画素の周辺の画素の位置と、注目画素を通り、角度 0を有する直線との空間方向 Xの距離を示す図である。

図 1 0 1は、注目画素を通り、空間方向 Xの軸に対して角度 0の直線との距離が最小の参照プロックを示す図である。 T JP2004/001488

9

図 1 0 2は、検出するデータの定常性の角度の範囲を 1 Z 2にする処理を説明する図である。

図 1 0 3は、データの定常性の検出の処理を説明するフローチャートである。図 1 0 4は、間方向および空間方向のデータの定常性の角度を検出するとき、抽出されるブロックを示す図である。

図 1 0 5は、入力画像のコンポーネント信号を基に、データの定常性の検出の処理を実行するデータ定常性検出部の構成を示すプロック図である。

図 1 0 6は、入力画像のコンポーネント信号を基に、データの定常性の検出の処理を実行するデータ定常性検出部の構成を示すブロック図である。

図 1 0 7は、データ定常性検出部のさらに他の構成を示すブロック図である。図 1 0 8は、入力画像における、基準軸を基準としたデータの定常性の角度を説明する図である。

図 1 0 9は、入力画像における、基準軸を基準としたデータの定常性の角度を説明する図である。

図 1 1 0は、入力画像における、基準軸を基準としたデータの定常性の角度を説明する図である。

図 1 1 1は、入力画像における、画素の空間方向の位置に対する、画素値の変化と、回帰直線との関係を示す図である。

図 1 1 2は、回帰直線 Aと、例えば、基準軸である空間方向 Xを示す軸との角度を説明する図である。

図 1 1 3は、領域の例を示す図である。

図 1 1 4は、図 1 0 7で構成が示されるデータ定常性検出部による、データの定常性の検出の処理を説明するフローチャートである。

図 1 1 5は、データ定常性検出部のさらに他の構成を示すプロック図である。図 1 1 6は、入力画像における、画素の空間方向の位置に対する、画素値の変化と、回帰直線との関係を示す図である。

図 1 1 7は、標準偏差とデータの定常性を有する領域との関係を説明する図で 4 001488

10

ある。

図 1 1 8は、領域の例を示す図である。 ' 図 1 1 9は、図 1 1 5で構成が示されるデータ定常性検出部による、データの定常性の検出の処理を説明するフローチヤ一トである。

図 1 2 0は、図 1 1 5で構成が示されるデータ定常性検出部による、データの定常性の検出の他の処理を説明するフローチヤ一トである。

図 1 2 1は、本発明を適用した細線、または、 2値エッジの角度をデータ定常性情報として検出するデータ定常性検出部の構成を示すプロック図である。

図 1 2 2は、データ定常性情報の検出方法を説明する図である。

図 1 2 3は、データ定常性情報の検出方法を説明する図である。

図1 2 4は、図 1 2 1のデータ定常性検出部のより詳細な構成を示す図である。図 1 2 5は、水平■垂直判定処理を説明する図である。

図 1 2 6は、水平 ·垂直判定処理を説明する図である。

図 1 2 7 Aは、現実世界の細線とセンサにより撮像される細線の関係を説明する図である。

図 1 2 7 Bは、現実世界の細線とセンサにより撮像される細線の関係を説明する図である。

図 1 2 7 Cは、現実世界の細線とセンサにより撮像される細線の関係を説明する図である。

図 1 2 8 Aは、現実世界の画像の細線と背景の関係を説明する図である。

図 1 2 8 Bは、現実世界の画像の細線と背景の関係を説明する図である。

図 1 2 9 Aは、センサにより撮像された画像の細線と背景の関係を説明する図である。

図 1 2 9 Bは、センサにより撮像された画像の細線と背景の関係を説明する図である。

図 1 3 O Aは、センサにより撮像された画像の細線と背景の関係の例を説明する図である。図 1 3 O Bは、センサにより撮像された画像の細線と背景の関係の例を説明する図である。

図 1 3 1 Aは、現実世界の画像の細線と背景の関係を説明する図である。

図 1 3 1 Bは、現実世界の画像の細線と背景の関係を説明する図である。

図 1 3 2 Aは、センサにより撮像された画像の細線と背景の関係を説明する図である。

図 1 3 2 Bは、センサにより撮像された画像の細線と背景の関係を説明する図である。

図 1 3 3 Aは、センサにより撮像された画像の細線と背景の関係の例を説明する図である。

図 1 3 3 Bは、センサにより撮像された画像の細線と背景の関係の例を説明する図である。

図1 3 4は、細線の角度を求めるためのモデルを示す図である。

図 1 3 5は、細線の角度を求めるためのモデルを示す図である。

図 1 3 6 Aは、注目画素に対応するダイナミックレンジブロックの画素値の最大値と最小値を説明する図である。

図 1 3 6 Bは、注目画素に対応するダイナミックレンジブ口ックの画素値の最大値と最小値を説明する図である。

図 1 3 7 Aは、細線の角度の求め方を説明する図である。

図 1 3 7 Bは、細線の角度の求め方を説明する図である。

図 1 3 7 Cは、細線の角度の求め方を説明する図である。

図1 3 8は、細線の角度の求め方を説明する図である。

図 1 3 9は、抽出プロックとダイナミックレンジブ口ックを説明する図である _c 図 1 4 0は、最小自乗法の解法を説明する図である。

図 1 4 1は、最小自乗法の解法を説明する図である。

図 1 4 2 Aは、 2値エッジを説明する図である。

図 1 4 2 Bは、 2値エッジを説明する図である。 04 001488

12

図 1 4 2 Cは、 2値エッジを説明する図である。

図 1 4 3 Aは、センサにより撮像された画像の 2値エッジを説明する図である。図 1 4 3 Bは、センサにより撮像された画像の 2値エッジを説明する図である。図 1 4 4 Aは、センサにより撮像された画像の 2値エッジの例を説明する図である。

図 1 4 4 Bは、センサにより撮像された画像の 2値ェッジの例を説明する図である。

図 1 4 5 Aは、センサにより撮像された画像の 2値エッジを説明する図である。図 1 4 5 Bは、センサにより撮像された画像の 2値エッジを説明する図である。図 1 4 6は、 2値エッジの角度を求めるためのモデルを示す図である。

図 1 4 7 Aは、 2値エッジの角度を求める方法を説明する図である。

図 1 4 7 Bは、 2値エッジの角度を求める方法を説明する図である。

図 1 4 7 Cは、 2値エッジの角度を求める方法を説明する図である。

図 1 4 8は、 2値エッジの角度を求める方法を説明する図である。

図 1 4 9は、細線、または、 2値エッジの角度をデータ定常性と検出する処理を説明するフローチヤ一トである。

図 1 5 0は、データ抽出処理を説明するフローチャートである。

図 1 5 1は、正規方程式への足し込み処理を説明するフローチャートである。図 1 5 2 Aは、本発明を適用して求めた細線の傾きと、相関を用いて求めた細線の角度とを比較する図である。

図 1 5 2 Bは、本発明を適用して求めた細線の傾きと、相関を用いて求めた細線の角度とを比較する図である。

図 1 5 3 Aは、本発明を適用して求めた 2値エッジの傾きと、相関を用いて求めた細線の角度とを比較する図である。

図 1 5 3 Bは、本発明を適用して求めた 2値エッジの傾きと、相関を用いて求めた細線の角度とを比較する図である。

図 1 5 4は、本発明を適用した混合比をデータ定常性情報として検出するデー 2004/001488

13

タ定常性検出部の構成を示すブロック図である。

図 1 5 5 Aは、混合比の求め方を説明する図である。

図 1 5 5 Bは、混合比の求め方を説明する図である。

図 1 5 5 Cは、混合比の求め方を説明する図である。

図1 5 6は、混合比をデータ定常性と検出する処理を説明するフローチャートである。

図 1 5 7は、正規方程式への足し込み処理を説明するフローチャートである。図 1 5 8 Aは、細線の混合比の分布例を示す図である。

図 1 5 8 Bは、細線の混合比の分布例を示す図である。

図 1 5 9 Aは、 2値エッジの混合比の分布例を示す図である。

図 1 5 9 Bは、 2値エッジの混合比の分布例を示す図である。

図 1 6 0は、混合比の直線近似を説明する図である。

図 1 6 1 Aは、物体の動きをデータ定常性情報として求める方法を説明する図である。

図 1 6 1 Bは、物体の動きをデータ定常性情報として求める方法を説明する図である。

図 1 6 2 Aは、物体の動きをデータ定常性情報として求める方法を説明する図である。

図 1 6 2 Bは、物体の動きをデータ定常性情報として求める方法を説明する図である。

図 1 6 3 Aは、物体の動きによる混合比をデータ定常性情報として求める方法を説明する図である。 ' 図 1 6 3 Bは、物体の動きによる混合比をデータ定常性情報として求める方法を説明する図である。

図 1 6 3 Cは、物体の動きによる混合比をデータ定常性情報として求める方法を説明する図である。

図 1 6 4は、物体の動きによる混合比をデータ定常性情報として求める際の混合比の直線近似を説明する図である。

図 1 6 5は、本発明を適用した処理領域をデータ定常性情報として検出するデータ定常性検出部の構成を示すプロック図である。

図 1 6 6は、図 1 6 5のデータ定常性検出部による定常性の検出の処理を説明するフローチャートである。

図 1 6 7は、図 1 6 5のデータ定常性検出部による定常性の検出の処理の積分範囲を説明する図である。

図 1 6 8は、図 1 6 5のデータ定常性検出部による定常性の検出の処理の積分範囲を説明する図である。

図 1 6 9は、本発明を適用した処理領域をデータ定常性情報として検出するデ一タ定常性検出部のその他の構成を示すブロック図である。

図 1 7 0は、図 1 6 9のデータ定常性検出部による定常性の検出の処理を説明するフローチヤ一トである。

図 1 7 1は、図 1 6 9のデータ定常性検出部による定常性の検出の処理の積分範囲を説明する図である。

図 1 7 2は、図 1 6 9のデータ定常性検出部による定常性の検出の処理の積分範囲を説明する図である。

図 1 7 3は、実世界推定部 1 0 2の構成を示すプロック図である。

図 1 7 4は、実世界の信号における、細線の幅を検出する処理を説明する図である。

図 1 7 5は、実世界の信号における、細線の幅を検出する処理を説明する図である。

図1 7 6は、実世界の信号における、細線の信号のレベルを推定する処理を説明する図である。

図 1 7 7は、実世界の推定の処理を説明するフローチャートである。

図1 7 8は、実世界推定部の他の構成を示すプロック図である。

図 1 7 9は、境界検出部の構成を示すブロック図である。 04 001488

15

図 1 8 0は、分配比の算出の処理を説明する図である。

図 1 8 1は、分配比の算出の処理を説明する図である。

図 1 8 2は、分配比の算出の処理を説明する図である。

図 1 8 3は、単調増減領域の境界を示す回帰直線の算出の処理を説明する図である。

図 1 8 4は、単調増減領域の境界を示す回帰直線の算出の処理を説明する図である。

図 1 8 5は、実世界の推定の処理を説明するフローチャートである。

図 1 8 6は、境界検出の処理を説明するフローチヤ一トである。

図 1 8 7は、空間方向の微分値を実世界推定情報として推定する実世界推定部の構成を示すプロック図である。

図 1 8 8は、図 1 8 7の実世界推定部による実世界推定の処理を説明するフロ一チヤ一トである。

図 1 8 9は、参照画素を説明する図である。

図 1 9 0は、空間方向の微分値を求める位置を説明する図である。

図 1 9 1は、空間方向の微分値とシフト量の関係を説明する図である。

図 1 9 2は、空間方向の傾きを実世界推定情報として推定する実世界推定部の構成を示すプロック図である。

図 1 9 3は、図 1 9 2の実世界推定部による実世界推定の処理を説明するフロ一チャートである。

図1 9 4は、空間方向の傾きを求める処理を説明する図である。

図 1 9 5は、空間方向の傾きを求める処理を説明する図である。

図 1 9 6は、フレーム方向の微分値を実世界推定情報として推定する実世界推定部の構成を示すプロック図である。

図 1 9 7は、図 1 9 6の実世界推定部による実世界推定の処理を説明するフロ一チヤ一トである。

図 1 9 8は、参照画素を説明する図である。 1488

16

図1 9 9は、フレーム方向の微分値を求める位置を説明する図である。

図 2 0 0は、フレーム方向の微分値とシフト量の関係を説明する図である。図 2 0 1は、フレーム方向の傾きを実世界推定情報として推定する実世界推定部の構成を示すプロック図である。

図 2 0 2は、図 2 ◦ 1の実世界推定部による実世界推定の処理を説明するフロ一チャートである。

図 2 0 3は、フレーム方向の傾きを求める処理を説明する図である。

図 2 0 4は、フレーム方向の傾きを求める処理を説明する図である。

図 2 0 5は、図 3の実世界推定部の実施の形態の一例である、関数近似手法の原理を説明する図である。

図 2 0 6は、センサが C C Dとされる場合の積分効果を説明する図である。図 2 0 7は、図 2 0 6のセンサの積分効果の具体的な例を説明する図である。図 2 0 8は、図 2 0 6のセンサの積分効果の具体的な他の例を説明する図である。

図 2 0 9は、図 2 0 7で示される細線含有実世界領域を表した図である。図 2 1 0は、図 3の実世界推定部の実施の形態の一例の原理を、図 2 0 5の例と対比させて説明する図である。

図 2 1 1は、図 2 0 7で示される細線含有データ領域を表した図である。図 2 1 2は、図 2 1 1の細線含有データ領域に含まれる各画素値のそれぞれをグラフ化した図である。

図 2 1 3は、図 2 1 2の細線含有データ領域に含まれる各画素値を近似した近似関数をグラフ化した図である。

図 2 1 4は、図 2 0 7で示される細線含有実世界領域が有する空間方向の定常性を説明する図である。

図 2 1 5は、図 2 1 1の細線含有データ領域に含まれる各画素値のそれぞれをグラフ化した図である。

図 2 1 6は、図 2 1 5で示される入力画素値のそれぞれを、所定のシフト量だけシフトさせた状態を説明する図である。

図 2 1 7は、空間方向の定常性を考慮して、図 2 1 2の細線含有データ領域に含まれる各画素値を近似した近似関数をグラフ化した図である。

図 2 1 8は、空間混合領域を説明する図である。

図 2 1 9は、空間混合領域における、実世界の信号を近似した近似関数を説明する図である。

図 2 2 0は、センサの積分特性と空間方向の定常性の両方を考慮して、図 2 1 2の細線含有データ領域に対応する実世界の信号を近似した近似関数をグラフ化した図である。

図 2 2 1は、図 2 0 5で示される原理を有する関数近似手法のうちの、 1次多項式近似手法を利用する実世界推定部の構成例を説明するプロック図である。図 2 2 2は、図' 2 2 1の構成の実世界推定部が実行する実世界の推定処理を説明するフローチヤ一トである。

図 2 2 3は、タップ範囲を説明する図である。

図 2 2 4は、空間方向の定常性を有する実世界の信号を説明する図である。図 2 2 5は、センサが C C Dとされる場合の積分効果を説明する図である。図 2 2 6は、断面方向距離を説明する図である。

図 2 2 7は、図 2 0 5で示される原理を有する関数近似手法のうちの、 2次多項式近似手法を利用する実世界推定部の構成例を説明するプロック図である。図 2 2 8は、図 2 2 7の構成の実世界推定部が実行する実世界の推定処理を説明するフローチャートである。

図 2 2 9は、タップ範囲を説明する図である。

図 2 3 0は、時空間方向の定常性の方向を説明する図である。

図 2 3 1は、センサが C C Dとされる場合の積分効果を説明する図である。図 2 3 2は、空間方向の定常性を有する実世界の信号を説明する図である。図 2 3 3は、時空間方向の定常性を有する実世界の信号を説明する図である。図 2 3 4は、図 2 0 5で示される原理を有する関数近似手法のうちの、 3次元 4 001488

18

関数近似手法を利用する実世界推定部の構成例を説明するプロック図である。図 2 3 5は、図 2 3 4の構成の実世界推定部が実行する実世界の推定処理を説明するフローチヤ一トである。

図 2 3 6は、図 3の画像生成部の実施の形態の一例である、再積分手法の原理を説明する図である。

図 2 3 7は、入力画素と、その入力画素に対応する、実世界の信号を近似する近似関数の例を説明する図である。

図 2 3 8は、図 2 3 7で示される近似関数から、図 2 3 7で示される 1つの入力画素における、高解像度の 4つの画素を創造する例を説明する図である。図 2 3 9は、図 2 3 6で示される原理を有する再積分手法のうちの、 1次元再積分手法を利用する画像生成部の構成例を説明するプロック図である。

図 2 4 0は、図 2 3 9の構成の画像生成部が実行する画像の生成処理を説明するフローチヤ一トである。

図 2 4 1は、入力画像の元の画像の例を表す図である。

図 2 4 2は、図 2 4 1の画像に対応する画像データの例を表す図である。図 2 4 3は、入力画像の例を表す図である。

図 2 4 4は、図 2 4 3の画像に対応する画像データの例を表す図である。図 2 4 5は、入力画像に対して従来のクラス分類適応処理を施して得られる画像の例を表す図である。

図 2 4 6は、図 2 4 5の画像に対応する画像データの例を表す図である。図 2 4 7は、入力画像に対して本発明の 1次元再積分手法の処理を施して得られる画像,の例を表す図である。

図 2 4 8は、図 2 4 7の画像に対応する画像データの例を表す図である。図 2 4 9は、空間方向の定常性を有する実世界の信号を説明する図である。図 2 5 0は、図 2 3 6で示される原理を有する再積分手法のうちの、 2次元再積分手法を利用する画像生成部の構成例を説明するブロック図である。

図 2 5 1は、断面方向距離を説明する図である。 2004/001488

19

図 2 5 2は、図 2 5 0の構成の画像生成部が実行する画像の生成処理を説明するフローチヤ一トである。

図 2 5 3は、入力画素の一例を説明する図である。

図 2 5 4は、 2次元再積分手法により、図 2 5 3で示される 1つの入力画素における、高解像度の 4つの画素を創造する例を説明する図である。

図 2 5 5は、時空間方向の定常性の方向を説明する図である。

図 2 5 6は、図 2 3 6で示される原理を有する再積分手法のうちの、 3次元再積分手法を利用する画像生成部の構成例を説明するプロック図である。

図 2 5 7は、図 2 5 6の構成の画像生成部が実行する画像の生成処理を説明するフローチャートである。

図 2 5 8は、本発明を適用した画像生成部のその他の構成を示すプロック図である。 ' 図 2 5 9は、図 2 5 8の画像生成部による画像の生成の処理を説明するフローチヤ一トである。

図 2 6 0は、入力画素から 4倍密度の画素を生成する処理を説明する図である。図 2 6 1は、画素値を示す近似関数とシフト量との関係を示す図である。

図 2 6 2は、本発明を適用した画像生成部のその他の構成を示すブロック図である。

図 2 6 3は、図 2 6 2の画像生成部による画像の生成の処理を説明するフローチャートである。

図 2 6 4は、入力画素から 4倍密度の画素を生成する処理を説明する図である。図 2 6 5は、画素値を示す近似関数とシフト量との関係を示す図である。

図 2 6 6は、図 3の画像生成部の実施の形態の一例である、クラス分類適応処理補正手法の 1次元再積分手法を利用する画像生成部の構成例を説明するプロック図である。

図 2 6 7は、図 2 6 6の画像生成部のクラス分類適応処理部の構成例を説明するプロック図である。 2004/001488

20

図 2 6 8は、図 2 6 6のクラス分類適応処理部と、クラス分類適応処理補正部が使用する係数を学習により決定する学習装置の構成例を示すプロック図である。図 2 6 9は、図 2 6 8のクラス分類適応処理用学習部の詳細な構成例を説明するプロック図である。

図 2 70は、図 2 6 7のクラス分類適応処理部の処理結果の例を示す図である。図 2 7 1は、図 2 70の予測画像と HD画像の差分画像を示す図である。

図 2 7 2は、図 2 7 1で示される領域に含まれる X方向に連続した 6個の HD 画素のうちの、図中左から 4個の HD画素に対応する、図 2 7 0の HD画像の具体的な画素値、 SD画像の具体的な画素値、および、実際の波形（実世界の信号）のそれぞれをプロットしたものを示す図である。

図 2 7 3は、図 2 70の予測画像と HD画像の差分画像を示す図である。

図 2 74は、図 2 7 3で示される領域に含まれる X方向に連続した 6個の HD 画素のうちの、図中左から 4個の HD画素に対応する、図 2 7 0の HD画像の具体的な画素値、 SD画像の具体的な画素値、および、実際の波形（実世界の信号）のそれぞれをプロットしたものを示す図である。

図 2 7 5は、図 2 7 2乃至図 2 74に示される内容に基づいて得られた知見を説明する図である。

図 2 7 6は、図 2 6 6の画像生成部のクラス分類適応処理補正部の構成例を説明するプロック図である。

図 2 7 7は、図 2 6 8のクラス分類適応処理補正用学習部の詳細な構成例を説明するプロック図である。

図 2 7 8は、画素内傾斜を説明する図である。

図 2 7 9は、図 2 7 0の SD画像と、その SD画像の各画素の画素内傾斜を画素値とする特徴量画像を示す図である。

図 2 8 0は、画素内傾斜の算出方法を説明する図である。

図 2 8 1は、画素内傾斜の算出方法を説明する図である。

図 2 8 2は、図 2 6 6の構成の画像生成部が実行する画像の生成処理を説明するフローチヤ一トである。

図 2 8 3は、図 2 8 2の画像の生成処理の入力画像クラス分類適応処理の詳細を説明するフローチャートである。

図 2 84は、図 2 8 2の画像の生成処理のクラス分類適応処理の補正処理の詳細を説明するフローチャートである。

図 2 8 5は、クラスタップの配置例を説明する図である。

図 2 8 6は、クラス分類の一例を説明する図である。

図 2 8 7は、予測タップ配置例を説明する図である。

図 2 8 8は、図 2 6 8の学習装置の学習処理を説明するフローチヤ一トである。図 2 8 9は、図 2 8 8の学習処理のクラス分類適応処理用学習処理の詳細を説明するフローチヤ一トである。

図 2 9 0は、図 2 8 8の学習処理のクラス分類適応処理補正用学習処理の詳細を説明するフローチャートである。

図 2 9 1は、図 2 7 0の予測画像と、その予測画像に捕正画像を加算した画像 (図 2 6 6の画像生成部により生成される画像）を表した図である。

図 2 9 2は、図 1の信号処理装置の実施の形態の他の例である、併用手法を利用する信号処理装置の第 1の構成例を説明するプロック図である。

図 2 9 3は、図 2 9 2の信号処理装置の、クラス分類適応処理を実行する画像生成部の構成例を説明するプロック図である。

図 2 94は、図 2 9 3の画像生成部に対する学習装置の構成例を説明するプロック図である。

図 2 9 5は、図 2 9 2の構成の信号処理装置が実行する信号の処理を説明するフローチヤ一トである。

図 2 9 6は、図 2 9 5の信号の処理のクラス分類適応処理の実行処理の詳細を説明するフローチャートである。

図 2 9 7は、図 2 9 4の学習装置の学習処理を説明するフローチャートである。図 2 9 8は、図 1の信号処理装置の実施の形態の他の例である、併用手法を利用する信号処理装置の第 2の構成例を説明するプロック図である。

図 2 9 9は、図 2 9 6の構成の信号処理装置が実行する信号の処理を説明するフローチヤ一トである。

図 3 0 0は、図 1の信号処理装置の実施の形態の他の例である、併用手法を利用する信号処理装置の第 3の構成例を説明するプロック図である。

図 3 0 1は、図 2 9 8の構成の信号処理装置が実行する信号の処理を説明するフローチャートである。

図 3 0 2は、図 1の信号処理装置の実施の形態の他の例である、併用手法を利用する信号処理装置の第 4の構成例を説明するプロック図である。

図 3 0 3は、図 3 0 0の構成の信号処理装置が実行する信号の処理を説明するフローチヤ一トである。

図 3 0 4は、図 1の信号処理装置の実施の形態の他の例である、併用手法を利用する信号処理装置の第 5の構成例を説明するプロック図である。

図 3 0 5は、図 3 0 2の構成の信号処理装置が実行する信号の処理を説明するフローチャートである。

図 3 0 6は、データ定常性検出部の他の実施の形態の構成を示すブロック図である。

図 3 0 7は、図 3 0 6のデータ定常性検出部によるデータの定常性の検出処理を説明するフローチヤ一トである。発明を実施するための最良の形態

図 1は、本発明の原理を表している。同図で示されるように、空間、時間、おょぴ質量などの次元を有する実世界 1の事象（現象）は、センサ 2により取得され、データ化される。実世界 1の事象とは、光（画像）、音声、圧力、温度、質量、濃度、明るさ/暗さ、またはにおいなどをいう。実世界 1の事象は、時空間方向に分布している。例えば、実世界 1の画像は、実世界 1の光の強度の時空間方向の分布である。 4 001488

23

センサ 2に注目すると、空間、時間、および質量の次元を有する実世界 1の事象のうち、センサ 2が取得可能な、実世界 1の事象が、センサ 2により、データ 3に変換される。センサ 2によって、実世界 1の事象を示す情報が取得されるとも言える。

すなわち、センサ 2は、実世界 1の事象を示す情報を、データ 3に変換する。空間、時間、および質量などの次元を有する実世界 1の事象（現象）を示す情報である信号がセンサ 2により取得され、データ化されるとも言える。

以下、実世界 1における、画像、音声、圧力、温度、質量、濃度、明るさ Z暗さ、またはにおいなどの事象の分布を、実世界 1の事象を示す情報である信号とも称する。また、実世界 1の事象を示す情報である信号を、単に、実世界 1の信号とも称する。本明細書において、信号は、現象おょぴ事象を含み、送信側に意思がないものも含むものとする。

センサ 2から出力されるデータ 3 (検出信号）は、実世界 1の事象を示す情報を、実世界 1に比較して、より低い次元の時空間に射影して得られた情報である。例えば、動画像の画像データであるデータ 3は、実世界 1の 3次元の空間方向および時間方向の画像が、 2次元の空間方向、および時間方向からなる時空間に射影されて得られた情報である。また、例えば、データ 3がデジタルデータであるとき、データ 3は、サンプリングの単位に応じて、丸められている。データ 3力 S アナ口グデータであるとき、データ 3において、ダイナミックレンジに応じて、情報が圧縮されているか、またはリミッタなどにより、情報の一部が削除されている。

このように、所定の次元を有する実世界 1の事象を示す情報である信号をデータ 3 (検出信号）に射影することにより、実世界 1の事象を示す情報の一部が欠落する。すなわち、センサ 2が出力するデータ 3において、実世界 1の事象を示す情報の一部が欠落している。

しかしながら、射影により実世界 1の事象を示す情報の一部が欠落しているものの、データ 3は、実世界 1の事象（現象）を示す情報である信号を推定するための有意情報を含んでいる。

本発明においては、実世界 1の情報である信号を推定するための有意情報として、データ 3に含まれる定常性を有する情報を利用する。定常性は、新たに定義する概念である。

ここで、実世界 1に注目すると、実世界 1の事象は、所定の次元の方向に一定の特徴を含む。例えば、実世界 1の物体（有体物）において、空間方向または時間方向に、形状、模様、若しくは色彩などが連続するか、または形状、模様、若しくは色彩などのパターンが繰り返す。

従って、実世界 1の事象を示す情報には、所定の次元の方向に一定の特徴が含まれることになる。

より具体的な例を挙げれば、糸、紐、またはロープなどの線状の物体.は、長さ方向の任意の位置において、断面形状が同じであるという長さ方向、すなわち空間方向に一定の特徴を有する。長さ方向の任意の位置において、断面形状が同じであるという空間方向に一定の特徴は、線状の物体が長いという特徴から生じる。従って、線状の物体の画像は、長さ方向の任意の位置において、断面形状が同じであるという長さ方向、すなわち空間方向に一定の特徴を有している。

また、空間方向に広がりを有する有体物である、単色の物体は、部位にかかわらず、同一の色を有するという空間方向に一定の特徴を有していると言える。同様に、空間方向に広がりを有する有体物である、単色の物体の画像は、部位にかかわらず、同一の色を有するという空間方向に一定の特徴を有している。このように、実世界 1 (現実世界）の事象は、所定の次元の方向に一定の特徴を有しているので、実世界 1の信号は、所定の次元の方向に一定の特徴を有する _c 本明細書において、このような所定の次元の方向に一定の特徴を定常性と称する。実世界 1 (現実世界）の信号の定常性とは、実世界 1 (現実世界）の事象を示す信号が有している、所定の次元の方向に一定の特徴をいう。

実世界 1 (現実世界）には、このような定常性が無数に存在する。

次に、データ 3に注目すると、データ 3は、センサ 2により、所定の次元を有する実世界 1の事象を示す情報である信号が射影されたものであるので、実世界の信号の定常性に対応する定常性を含んでいる。データ 3は、実世界の信号の定常性が射影された定常性を含んでいるとも言える。

しかしながら、上述したように、センサ 2が出力するデータ 3において、実世界 1の情報の一部が欠落しているので、データ 3から、実世界 1 (現実世界）の信号に含まれる定常性の一部が欠落してしまう。

換言すれば、データ 3は、データの定常性として、実世界 1 (現実世界）の信号の定常性の中の、一部の定常性を含む。データの定常性とは、データ 3が有している、所定の次元の方向に一定の特徴である。

本発明においては、実世界 1の事象を示す情報である信号を推定するための有意情報として、データ 3が有する、データの定常性が利用される。

例えば、本発明においては、データの定常性を利用して、データ 3を信号処理することで、欠落した、実世界 1の事象を示す情報が生成される。

なお、本発明においては、実世界 1の事象を示す情報である信号の次元の、長さ（空間）、時間、および質量のうち、空間方向または時間方向の定常性が利用される。

図 1に戻り、センサ 2は、例えば、デジタルスチルカメラ、またはビデオカメラなどで構成され、実世界 1の画像を撮像し、得られたデータ 3である画像データを信号処理装置 4に出力する。センサ 2は、例えば、サーモグラフィ装置、または光弾性を利用した圧力センサなどとすることができる。

信号処理装置 4は、例えば、パーソナルコンピュータなどで構成される。信号処理装置 4は、例えば、図 2で示されるように構成される。 CPU

(Central Proces sing Uni t) 2 1は、 ROM (Read Only Memory) 2 2、または記憶部 2 8に記憶されているプログラムに従って各種の処理を実行する。 RAM (Random Acces s Memory) 2 3には、 CPU 2 1が実行するプログラムやデータなどが適宜記憶される。これらの CPU 2 1、 ROM 2 2 , および RAM 2 3は、バス 2 4により相互に接続されている。 1488

26

CPU 2 1にはまた、バス 2 4を介して入出力ィンタフェース 2 5が接続されている。入出力インタフェース 2 5には、キーボード、マウス、マイクロホンなどよりなる入力部 2 6、ディスプレイ、スピーカなどよりなる出力部 2 7が接続されている。 CPU 2 1は、入力部 2 6から入力される指令に対応して各種の処理を実行する。そして、 CPU 2 1は、処理の結果得られた画像や音声等を出力部 2 7 に出力する。

入出力ィンタフェース 2 5に接続されている記憶部 2 8は、例えばハードディスクなどで構成され、 CPU 2 1が実行するプログラムや各種のデータを記憶する。通信部 2 9は、インターネット、その他のネットワークを介して外部の装置と通信する。この例の場合、通信部 2 9はセンサ 2の出力するデータ 3を取り込む取得部として働く。

また、通信部 2 9を介してプログラムを取得し、記憶部 2 8に記憶してもよい。入出力インタフェース 2 5に接続されているドライブ 3 0は、磁気ディスク 5

1、光ディスク 5 2、光磁気ディスク 5 3、或いは半導体メモリ 5 4などが装着されたとき、それらを駆動し、そこに記録されているプログラムやデータなどを取得する。取得されたプログラムやデータは、必要に応じて記憶部 2 8に転送され、記憶される。

図 3は、信号処理装置 4を示すプロック図である。

なお、信号処理装置 4の各機能をハードウェアで実現する力 \ ソフトウェアで実現するかは問わない。つまり、本明細書の各ブロック図は、ハードウェアのブ口ック図と考えても、ソフトウェアによる機能プロック図と考えても良い。

図 3に構成を示す信号処理装置 4においては、データ 3の一例である画像データが入力され、入力された画像データ（入力画像）からデータの定常性が検出される。次に、検出されたデータの定常性から、センサ 2により取得された実世界 1の信号が推定される。そして、推定された実世界 1の信号を基に、画像が生成され、生成された画像（出力画像）が出力される。すなわち、図 3は、画像処理装置である信号処理装置 4の構成を示す図である。信号処理装置 4に入力された入力画像（データ 3の一例である画像データ）は、データ定常性検出部 1 0 1および実世界推定部 1 0 2に供給される。

データ定常性検出部 1 0 1は、入力画像からデータの定常性を検出して、検出した定常性を示すデータ定常性情報を実世界推定部 1 0 2および画像生成部 1 0 3に供給する。データ定常性情報は、例えば、入力画像における、データの定常性を有する画素の領域の位置、データの定常性を有する画素の領域の方向（時間方向および空間方向の角度または傾き）、またはデータの定常性を有する画素の領域の長さなどを含む。データ定常性検出部 1 0 1の構成の詳細は、後述する。実世界推定部 1 0 2は、入力画像、およびデータ定常性検出部 1 0 1から供給されたデータ定常性情報を基に、実世界 1の信号を推定する。すなわち、実世界推定部 1 0 2は、入力画像が取得されたときセンサ 2に入射された、実世界の信号である画像を推定する。実世界推定部 1 0 2は、実世界 1の信号の推定の結果を示す実世界推定情報を画像生成部 1 0 3に供給する。実世界推定部 1 0 2の構成の詳細は、後述する。

画像生成部 1 0 3は、実世界推定部 1 0 2から供給された、推定された実世界 1の信号を示す実世界推定情報を基に、実世界 1の信号により近似した信号を生成して、生成した信号を出力する。または、画像生成部 1 0 3は、データ定常性検出部 1 0 1から供給されたデータ定常性情報、および実世界推定部 1 0 2から供給された、推定された実世界 1の信号を示す実世界推定情報を基に、実世界 1 の信号により近似した信号を生成して、生成した信号を出力する。

すなわち、画像生成部 1 0 3は、実世界推定情報を基に、実世界 1の画像により近似した画像を生成して、生成した画像を出力画像として出力する。または、画像生成部 1 0 3は、データ定常性情報および実世界推定情報を基に、実世界 1 の画像により近似した画像を生成して、生成した画像を出力画像として出力する。例えば、画像生成部 1 0 3は、実世界推定情報を基に、推定された実世界 1の画像を所望の空間方向または時間方向の範囲で積分することにより、入力画像に比較して、空間方向または時間方向により高解像度の画像を生成して、生成した画像を出力画像として出力する。例えば、画像生成部 1 0 3は、外挿補間により、画像を生成して、生成した画像を出力画像として出力する。

画像生成部 1 0 3の構成の詳細は、後述する。

次に、図 4乃至図 7を参照して、本発明の原理を説明する。

図 4は、従来の信号処理装置 1 2 1における処理の原理を説明する図である。従来の信号処理装置 1 2 1は、データ 3を処理の基準とすると共に、データ 3を処理の対象として、高解像度化などの処理を実行する。従来の信号処理装置 1 2 1においては、実世界 1が考慮されることはなく、データ 3が最終的な基準となり、データ 3に含まれている情報以上の情報を出力として得ることはできない。また、従来の信号処理装置 1 2 1において、データ 3に存在する、センサ 2による歪み（実世界 1の情報である信号とデータ 3との差）は全く考慮されないので、従来の信号処理装置 1 2 1は、歪みを含んだままの信号を出力することになる。さらに、信号処理装置 1 2 1の処理の内容によっては、データ 3に存在する、センサ 2による歪みがさらに増幅されて、増幅された歪みを含むデータが出力されることになる。

このように、従来の信号処理においては、データ 3が取得された実世界 1 (の信号）そのものが考慮されることはなかった。換言すれば、従来の信号処理においては、データ 3に含まれている情報の枠内で実世界 1を捉えていたので、データ 3に含まれている情報および歪みにより、信号処理の限界が決定される。なお、本出願人は、実世界 1を考慮した信号処理を別途提案しているが、後述する定常性を考慮していなかった。

これに対して、本発明の信号処理においては、実世界 1 (の信号）そのものを明確に考慮して、処理が実行される。

図 5は、本発明に係る信号処理装置 4における処理の原理を説明する図である。実世界 1の事象を示す情報である信号をセンサ 2が取得し、センサ 2が、実世界 1の情報である信号を射影したデータ 3を出力する点では、従来と同様である。

しかしながら、本発明においては、センサ 2により取得された、実世界 1の事象を示す情報である信号が明確に考慮される。すなわち、データ 3が、センサ 2 による歪み（実世界 1の情報である信号とデータ 3との差）を含むことを意識して信号処理がなされる。

このようにすることで、本発明の信号処理においては、データ 3に含まれている情報および歪みにより処理の結果が限定されることがなく、例えば、従来に比較して、実世界 1の事象に対して、より正確で、より精度の高い処理結果を得ることができるようになる。すなわち、本発明によれば、センサ 2に入力された、実世界 1の事象を示す情報である信号に対して、より正確で、より精度の高い処理結果を得ることができるようになる。

図 6および図 7は、本発明の原理をより具体的に説明する図である。

図 6で示されるように、例えば、画像である、実世界 1の信号が、レンズ、または光学 LPF (Low Pas s Fi lter) などでなる光学系 1 4 1により、センサ 2の —例である CCD (Charge Coupl ed Device) の受光面に結像される。センサ 2の一例である CCDは、積分特性を有しているので、 CCDから出力されるデータ 3には、実世界 1の画像との差が生じることになる。センサ 2の積分特性の詳細については、後述する。

本発明の信号処理においては、 CCDにより取得された実世界 1の画像と、 CCD により撮像され、出力されたデータ 3との関係が明確に考慮される。すなわち、データ 3と、センサ 2で取得された実世界の情報である信号との関係が明確に考盧される。

より具体的には、図 7で示されるように、信号処理装置 4は、モデル 1 6 1を用いて、実世界 1を近似（記述）する。モデル 1 6 1は、例えば、 N個の変数で表現される。より正確には、モデル 1 6 1は、実世界 1の信号を近似（記述）する。

モデル 1 6 1を予測するために、信号処理装置 4は、データ 3から、 M個のデータ 1 6 2を抽出する。データ 3から、 M個のデータ 1 6 2を抽出するとき、信号処理装置 4は、データ 3に含まれるデータの定常性を利用する。換言すれば、信号処理装置 4は、データ 3に含まれるデータの定常性を基に、モデル 1 6 1を予測するためのデータ 1 6 2を抽出する。結果的に、モデル 1 6 1は、データの定常性に拘束されることになる。

すなわち、モデル 1 6 1は、センサ 2で取得されたとき、データ 3においてデータの定常性を生じさせる、定常性（所定の次元の方向に一定の特徴）を有する実世界 1の事象（を示す情報（信号））を近似する。

ここで、データ 1 6 2の数 Mが、モデルの変数の数 N以上であれば、 M個のデータ 1 6 2から、 N個の変数で表現されるモデル 1 6 1を予測することができる。このように、実世界 1 (の信号）を近似（記述）するモデル 1 6 1を予測することにより、信号処理装置 4は、実世界 1の情報である信号を考慮することができる。

次に、センサ 2の積分効果について説明する。

画像を撮像するセンサ 2である、 CCDまたは CMOS (Complementary Metal- Oxide Semiconductor) センサなどのイメージセンサは、現実世界を撮像するとき、現実世界の情報である信号を 2次元のデータに投影する。イメージセンサの各画素は、いわゆる受光面（受光領域）として、それぞれ所定の面積を有する。所定の面積を有する受光面に入射した光は、画素毎に、空間方向および時間方向に積分され、各画素に対して 1つの画素値に変換される。

図 8乃至図 1 1を参照して、画像の空間的時間的な積分について説明する。イメージセンサは、現実世界の対象物（オブジェクト）を撮像し、撮像の結果得られた画像データを 1フレーム単位で出力する。すなわち、イメージセンサは、実世界 1の対象物で反射された光である、実世界 1の信号を取得し、データ 3を出力する。

例えば、イメージセンサは、 1秒間に 3 0フレームからなる画像データを出力する。この場合、イメージセンサの露光時間は、 1 3 0秒とすることができる。露光時間は、イメージセンサが入射された光の電荷への変換を開始してから、入射された光の電荷への変換を終了するまでの期間である。以下、露光時間をシャッタ時間とも称する。

図 8は、イメージセンサ上の画素の配置の例を説明する図である。図 8中において、 A乃至 Iは、個々の画素を示す。画素は、画像データにより表示される画像に対応する平面上に配置されている。 1つの画素に対応する 1つの検出素子は、イメージセンサ上に配置されている。イメージセンサが実世界 1の画像を撮像するとき、 1つの検出素子は、画像データを構成する 1つの画素に対応する 1つの画素値を出力する。例えば、検出素子の空間方向 Xの位置（X座標）は、画像データにより表示される画像上の横方向の位置に対応し、検出素子の空間方向 Yの位置（Y座標）は、画像データにより表示される画像上の縦方向の位置に対応する。

実世界 1の光の強度の分布は、 3次元の空間方向、および時間方向に広がりを有するが、イメージセンサは、 2次元の空間方向、および時間方向で、実世界 1 の光を取得し、 2次元の空間方向、および時間方向の光の強度の分布を表現するデータ 3を生成する。

図 9で示されるように、例えば、 CCDである検出素子は、シャツタ時間に対応する期間、受光面（受光領域）（検出領域）に入力された光を電荷に変換して、変換された電荷を蓄積する。光は、 3次元の空間上の位置、および時刻により、強度が決定される実世界 1の情報（信号）である。実世界 1の光の強度の分布は、 3次元の空間上の位置 x，y、およぴ、並びに時刻 tを変数とする関数

F (x，y， z, t)で表すことができる。

CCDである検出素子に蓄積される電荷の量は、 2次元の空間上の広がりを有する受光面の全体に入射された光の強さと、光が入射されている時間にほぼ比例する。検出素子は、シャツタ時間に対応する期間において、受光面の全体に入射された光から変換された電荷を、既に蓄積されている電荷に加えていく。すなわち、検出素子は、シャツタ時間に対応する期間、 2次元の空間上の広がりを有する受光面の全体に入射される光を積分して、積分された光に対応する量の電荷を蓄積する。検出素子は、空間（受光面）および時間（シャツタ時間）に対して、積分 1488

32

効果があるとも言える。

検出素子に蓄積された電荷は、図示せぬ回路により、電圧値に変換され、電圧値はさらにデジタルデータなどの画素値に変換されて、データ 3として出力される。従って、イメージセンサから出力される個々の画素値は、実世界 1の情報 (信号）の時間的空間的に広がりを有するある部分を、シャツタ時間の時間方向および検出素子の受光面の空間方向について積分した結果である、 1次元の空間に射影した値を有する。

すなわち、 1つの画素の画素値は、 F (x，y，t)の積分で表される。 F (x，y，t)は、検出素子の受光面における、光の強度の分布を表す関数である。例えば、画素値 Pは、式（1 ) で表される。

^F(x，y' ^{t ) dx d}y ^dt

• · · ( 1 )

式（1 ) において、 _Xl は、検出素子の受光面の左側の境界の空間座標（X座標）である。 χ₂ は、検出素子の受光面の右側の境界の空間座標（X座標）である。式（1 ) において、 _Ylは、検出素子の受光面の上側の境界の空間座標（Y 座標）である。 y₂は、検出素子の受光面の下側の境界の空間座標（Y座標）である。また、 ^ は、入射された光の電荷への変換を開始した時刻である。 t₂ は、入射された光の電荷への変換を終了した時刻である。

なお、実際には、イメージセンサから出力される画像データの画素値は、例えばフレーム全体として、そのゲインが補正されている。

画像データの各画素値は、イメージセンサの各検出素子の受光面に入射した光の積分値であり、イメージセンサに入射された光のうち、検出素子の受光面よりも微小な実世界 1の光の波形は、積分値としての画素値に隠されてしまう。

以下、本明細書において、所定の次元を基準として表現される信号の波形を単に波形とも称する。

このように、実世界 1の画像は、画素を単位として、空間方向および時間方向 1488

33

に積分されてしまうので、画像データにおいては、実世界 1の画像の定常性の一部が欠落し、実世界 1の画像の定常性の他の一部のみが画像データに含まれることになる。または、画像データには、実世界 1の画像の定常性から変化してしまつた定常性が含まれることがある。

積分効果を有するイメージセンサにより撮像された画像の、空間方向の積分効果についてさらに説明する。

図 1 0は、画素 D乃至画素 Fに対応する検出素子に入射される光と、画素値との関係を説明する図である。図 1 0の F (x)は、空間上（検出素子上）の空間方向 Xの座標 X を変数とする、実世界 1の光の強度の分布を表す関数の例である。言い換えれば、 F (x)は、空間方向 Yおよび時間方向に一定である場合の、実世界 1の光の強度の分布を表す関数の例である。図 1 0において、 Lは、画素 D乃至画素 Fに対応する検出素子の受光面の空間方向 Xの長さを示す。

1つの画素の画素値は、 F (x)の積分で表される。例えば、画素 Eの画素値 P は、式（2 ) で表される。

P = £² F (x) dx

" ^χ1

• · · ( 2 )

式（2 ) において、 _Xl は、画素 Εに対応する検出素子の受光面の左側の境界の空間方向 Xの空間座標である。 x₂は、画素 Eに対応する検出素子の受光面の右側の境界の空間方向 Xの空間座標である。

同様に、積分効果を有するイメージセンサにより撮像された画像の、時間方向の積分効果についてさらに説明する。

図 1 1は、時間の経過と、 1つの画素に対応する検出素子に入射される光と、画素値との関係を説明する図である。図 1 1の F (t)は、時刻 tを変数とする、実世界 1の光の強度の分布を表す関数である。言い換えれば、 F (t)は、空間方向 Yおよび空間方向 Xに一定である場合の、実世界 1の光の強度の分布を表す関数の例である。 t_s は、シャツタ時間を示す。フレーム #n_lは、フレーム #nに対して時間的に前のフレームであり、フレーム¾+1は、フレーム #nに対して時間的に後のフレームである。すなわち、フレーム #n- 1、フレーム #n、およびフレーム #η+1は、フレーム #η_1、フレーム #η、およびフレーム #η+1の順で表示される。

なお、図 1 1で示される例において、シャツタ時間 t_s とフレーム間隔とが同一でめる。

1つの画素の画素値は、 F (t)の積分で表される。例えば、フレームの画素の画素値 pは、式（3 ) で表される。

P = /'² F (t) dx

-1

· · · ( 3 )

式（3 ) において、は、入射された光の電荷への変換を開始した時刻である。 t₂ は、入射された光の電荷への変換を終了した時刻である。

以下、センサ 2による空間方向の積分効果を単に空間積分効果と称し、センサ 2による時間方向の積分効果を単に時間積分効果と称する。また、空間積分効果または時間積分効果を単に積分効果とも称する。

次に、積分効果を有するイメージセンサにより取得されたデータ 3に含まれるデータの定常性の例について説明する。

図 1 2は、実世界 1の線状の物（例えば、細線）の画像、すなわち光の強度の分布の例を示す図である。図 1 2において、図中の上側の位置は、光の強度（レベル）を示し、図中の右上側の位置は、画像の空間方向の一方向である空間方向 Xの位置を示し、図中の右側の位置は、画像の空間方向の他の方向である空間方向 Yの位置を示す。

実世界 1の線状の物の画像には、所定の定常性が含まれる。すなわち、図 1 2 で示される画像は、長さ方向の任意の位置において、断面形状（長さ方向に直交する方向の位置の変化に対するレベルの変化）が同じであるという定常性を有する。図 1 3は、図 1 2で示される画像に対応する、実際の撮像により得られた画像データの画素値の例を示す図である。

図 1 4は、図 1 3に示す画像データの模式図である。

図 1 4で示される模式図は、イメージセンサの画素の並ぴ（画素の縦または横の並び）とずれた方向に延びる、各画素の受光面の長さ Lよりも短い径の線状の物の画像を、イメージセンサで撮像して得られた画像データの模式図である。図 1 4で示される画像データが取得されたときにイメージセンサに入射された画像は、図 1 2の実世界 1の線状の物の画像である。

図 1 4において、図中の上側の位置は、画素値を示し、図中の右上側の位置は、画像の空間方向の一方向である空間方向 Xの位置を示し、図中の右側の位置は、画像の空間方向の他の方向である空間方向 Yの位置を示す。図 1 4における画素値を示す方向は、図 1 2におけるレベルの方向に対応し、図 1 4における空間方向 X、および空間方向 Yは、図 1 2における方向と同じである。

各画素の受光面の長さしょりも短い径の線状の物の画像を、イメージセンサで撮像した場合、撮像の結果得られる画像データにおいて、線状の物は、模式的に、例えば、斜めにずれて並ぶ、複数の所定の長さの円弧形状（かまぼこ型）で表される。各円弧形状は、ほぼ同じ形状である。 1つの円弧形状は、縦に 1列の画素の上、または横に 1列の画素の上に形成される。例えば、図 1 4における 1 つの円弧形状は、縦に 1列の画素の上に形成される。

このように、例えば、イメージセンサで撮像されて取得された画像データにおいては、実世界 1の線状の物の画像が有していた、長さ方向の任意の位置において、空間方向 Yにおける断面形状が同じであるという定常性が失われている。また、実世界 1の線状の物の画像が有していた定常性は、縦に 1列の画素の上、または横に 1列の画素の上に形成された、同じ形状である円弧形状が一定の間隔で並ぶという定常性に変化していると言える。

図 1 5は、背景とは異なる色であって、単色の、直線状の縁を有する物の実世界 1の画像、すなわち光の強度の分布の例を示す図である。図 1 5において、図 P T/JP2004/001488

36

中の上側の位置は、光の強度（レベル）を示し、図中の右上側の位置は、画像の空間方向の一方向である空間方向 Xの位置を示し、図中の右側の位置は、画像の空間方向の他の方向である空間方向 Yの位置を示す。

背景とは異なる色の、直線状の緣を有する物の実世界 1の画像には、所定の定常性が含まれる。すなわち、図 1 5で示される画像は、縁の長さ方向の任意の位置において、断面形状（縁に直交する方向の位置の変化に対するレベルの変化）が同じであるという定常性を有する。

図 1 6は、図 1 5で示される画像に対応する、実際の撮像により得られた画像データの画素値の例を示す図である。図 1 6で示されるように、画像データは、画素を単位とした画素値からなるので、階段状になる。

図 1 7は、図 1 6に示す画像データの模式図である。

図 1 7で示される模式図は、イメージセンサの画素の並び（画素の縦または横の並び）とずれた方向に縁が延びる、背景とは異なる色であって、単色の、直線状の縁を有する物の実世界 1の画像を、イメージセンサで撮像して得られた画像データの模式図である。図 1 7で示される画像データが取得されたときにィメージセンサに入射された画像は、図 1 5で示される、背景とは異なる色であって、単色の、直線状の縁を有する物の実世界 1の画像である。

図 1 7において、図中の上側の位置は、画素値を示し、図中の右上側の位置は、画像の空間方向の一方向である空間方向 Xの位置を示し、図中の右側の位置は、画像の空間方向の他の方向である空間方向 Yの位置を示す。図 1 7における画素値を示す方向は、図 1 5におけるレベルの方向に対応し、図 1 7における空間方向 X、および空間方向 Yは、図 1 5における方向と同じである。

背景とは異なる色であって、単色の、直線状の縁を有する物の実世界 1の画像を、イメージセンサで撮像した場合、撮像の結果得られる画像データにおいて、直線状の縁は、模式的に、例えば、斜めにずれて並ぶ、複数の所定の長さのつめ (pawl) 形状で表される。各つめ形状は、ほぼ同じ形状である。 1つのつめ形状は、縦に 1列の画素の上、または横に 1列の画素の上に形成される。例えば、 T JP2004/001488

37

図 1 7において、 1つのつめ形状は、縦に 1列の画素の上に形成される。

このように、例えば、イメージセンサで撮像されて取得された画像データにおいては、背景とは異なる色であって、単色の、直線状の縁を有する物の実世界 1 の画像が有していた、縁の長さ方向の任意の位置において、断面形状が同じであるという定常性が失われている。また、背景とは異なる色であって、単色の、直線状の縁を有する物の実世界 1の画像が有していた定常性は、縦に 1列の画素の上、または横に 1列の画素の上に形成された、同じ形状であるつめ形状が一定の間隔で並ぶという定常性に変化していると言える。

データ定常性検出部 1 0 1は、このような、例えば、入力画像であるデータ 3 が有するデータの定常性を検出する。例えば、データ定常性検出部 1 0 1は、所定の次元の方向に一定の特徴を有する領域を検出することにより、データの定常性を検出する。例えば、データ定常性検出部 1 0 1は、図 1 4で示される、同じ円弧形状が一定の間隔で並ぶ領域を検出する。また、例えば、データ定常性検出部 1 0 1は、図 1 7で示される、同じつめ形状が一定の間隔で並ぶ領域を検出する。

また、データ定常性検出部 1 0 1は、同様の形状の並び方を示す、空間方向の角度（傾き）を検出することにより、データの定常性を検出する。

また、例えば、データ定常性検出部 1 0 1は、空間方向および時間方向の同様の形状の並び方を示す、空間方向および時間方向の角度（動き）を検出することにより、データの定常性を検出する。 '

さらに、例えば、データ定常性検出部 1 0 1は、所定の次元の方向に一定の特徴を有する領域の長さを検出することにより、データの定常性を検出する。

以下、背景とは異なる色であって、単色の、直線状の縁を有する物の実世界 1 の画像がセンサ 2により射影されたデータ 3の部分を 2値エッジとも称する。次に、本発明の原理をさらに具体的に説明する。

図 1 8で示されるように、従来の信号処理においては、データ 3から、例えば、所望の高解像度データ 1 8 1が生成される。 T JP2004/001488

38

これに対して、本発明に係る信号処理においては、データ 3から、実世界 1が推定され、推定の結果に基づいて、高解像度データ 1 8 1が生成される。すなわち、図 1 9で示されるように、実世界 1が、データ 3から推定され、高解像度データ 1 8 1力データ 3を考慮して、推定された実世界 1から高解像度データ 1 8 1が生成される。

実世界 1から高解像度データ 1 8 1を生成するためには、実世界 1とデータ 3 との関係を考慮する必要がある。例えば、実世界 1が、 CCDであるセンサ 2により、データ 3に射影されるとどうなるかが考慮される。

CCDであるセンサ 2は、上述したように、積分特性を有する。すなわち、データ 3の 1つの単位（例えば、画素値）は、実世界 1の信号をセンサ 2の検出素子 (例えば、 CCD) の検出領域（例えば、受光面）で積分することにより算出することができる。

これを高解像度データ 1 8 1について当てはめると、仮想的な高解像度のセンサが実世界 1の信号をデータ 3に射影する処理を、推定された実世界 1に適用することにより、高解像度データ 1 8 1を得ることができる。

換言すれば、図 2 0で示されるように、データ 3から実世界 1の信号を推定できれば、実世界 1の信号を、仮想的な高解像度のセンサの検出素子の検出領域毎に（時空間方向に）積分することにより、高解像度データ 1 8 1に含まれる 1つの値を得ることができる。

例えば、センサ 2の検出素子の検出領域の大きさに比較して、実世界 1の信号の変化が、より小さいとき、データ 3は、実世界 1の信号の小さい変化を表すことができない。そこで、データ 3から推定された実世界 1の信号を、実世界 1の信号の変化に比較して、より小さい領域毎に（時空間方向に）積分することにより、実世界 1の信号の小さい変化を示す高解像度データ 1 8 1を得ることができる。

すなわち、仮想的な高解像度のセンサの各検出素子について、推定された実世界 1の信号を検出領域で積分することにより、高解像度データ 1 8 1を得ること T/JP2004/001488

39

ができる。

本発明において、画像生成部 1 0 3は、例えば、仮想的な高解像度のセンサの各検出素子の時空間方向の領域で、推定された実世界 1の信号を積分することにより、高解像度データ 1 8 1を生成する。

次に、データ 3から、実世界 1を推定するために、本発明においては、データ 3と実世界 1との関係、定常性、およびデータ 3における空間混合が利用される。ここで、混合とは、データ 3において、実世界 1における 2つの物体に対する信号が混合されて 1つの値となることをいう。

空間混合とは、センサ 2の空間積分効果による、 2つの物体に対する信号の空間方向の混合をいう。

実世界 1そのものは、無限の数の事象からなり、従って、実世界 1そのものを、例えば、数式で表現するためには、無限の数の変数が必要になる。データ 3から、実世界 1の全ての事象を予測することはできない。

同様に、データ 3から、実世界 1の信号の全てを予測することはできない。そこで、図 2 1で示されるように、本発明においては、実世界 1の信号のうち、定常性を有し、 ·関数 f (X, y, z, t)で表すことができる部分に注目し、関数

f (x，y，z，t)で表すことができる、定常性を有する実世界 1の信号の部分が、 N 個の変数で表現されるモデル 1 6 1で近似される。そして、図 2 2で示されるように、モデル 1 6 1力データ 3の中の、 M個のデータ 1 6 2から予測される。

M個のデータ 1 6 2からモデル 1 6 1の予測を可能にするには、第 1に、モデル 1 6 1を、定常性に基づいて、 N個の変数で表し、第 2に、センサ 2の積分特性に基づいて、 N個の変数で表現されるモデル 1 6 1と M個のデータ 1 6 2との関係を示す、 N個の変数を使用した式を立てることが必要である。モデル 1 6 1 1 定常性に基づいて、 Ν個の変数で表されているので、 Ν個の変数で表現されるモデル 1 6 1と Μ個のデータ 1 6 2との関係を示す、 Ν個の変数を使用した式は、定常性を有する実世界 1の信号の部分と、データの定常性を有するデータ 3 の部分との関係を記述しているとも言える。 4 001488

40

換言すれば、 N個の変数で表現されるモデル 1 6 1で近似される、定常性を有する実世界 1の信号の部分は、データ 3において、データの定常性を生じさせる。データ定常性検出部 1 0 1は、定常性を有する実世界 1の信号の部分によって、データの定常性が生じたデータ 3の部分、およびデータの定常性が生じた部分の特徴を検出する。

例えば、図 2 3で示されるように、背景とは異なる色であって、単色の、直線状の縁を有する物の実世界 1の画像において、図 2 3中 Aで示す、注目する位置における縁は、傾きを有している。図 2 3の Bの矢印は、縁の傾きを示す。所定の縁の傾きは、基準となる軸に対する角度または基準となる位置に対する方向で表すことができる。例えば、所定の縁の傾きは、空間方向 Xの座標軸と、縁との角度で表すことができる。例えば、所定の縁の傾きは、空間方向 Xの長さおょぴ空間方向 Yの長さで示される方向で表すことができる。

背景とは異なる色であって、単色の、直線状の縁を有する物の実世界 1の画像 1 センサ 2で取得されて、データ 3が出力されたとき、データ 3において、実世界 1の画像における、縁の注目する位置（A) に対する、図 2 3中 A ' で示す位置に、縁に対応するつめ形状が並び、実世界 1の画像の縁の傾きに対応する、図 2 3中 B，で示す傾きの方向に、縁に対応するつめ形状が並ぶ。

N個の変数で表現されるモデル 1 6 1は、このような、データ 3において、データの定常性を生じさせる、実世界の 1の信号の部分を近似する。

N個の変数で表現されるモデル 1 6 1と M個のデータ 1 6 2との関係を示す、 N個の変数を使用した式を立てるとき、データ 3において、データの定常性が生じている部分の値を利用する。

この場合において、図 2 4で示される、データ 3において、データの定常性が生じ、混合領域に属する値に注目して、実世界 1の信号を積分した値が、センサ 2の検出素子が出力する値に等しいとして、式が立てられる。例えば、データの定常性が生じている、データ 3における複数の値について、複数の式を立てることができる。 T JP2004/001488

41

図 2 4において、 Aは、縁の注目する位置を示し、 A ' は、実世界 1の画像における、縁の注目する位置（A) に対する、画素（の位置）を示す。

ここで、混合領域とは、データ 3において、実世界 1における 2つの物体に対する信号が混合されて 1つの値となっているデータの領域をいう。例えば、背景とは異なる色であって、単色の、直線状の縁を有する物の実世界 1の画像に対するデータ 3において、直線状の緣を有する物に対する画像、および背景に対する画像が積分されている画素値は、混合領域に属する。

図 2 5は、式を立てる場合における、実世界 1における 2つの物体に対する信号おょぴ混合領域に属する値を説明する図である。

図 2 5中の左側は、センサ 2の 1つの検出素子の検出領域で取得される、空間方向 Xおよび空間方向 Yに所定の広がりを有する、実世界 1における 2つの物体に対する実世界 1の信号を示す。図 2 5中の右側は、図 2 5中の左側に示す実世界 1の信号がセンサ 2の 1つの検出素子によって射影された、データ 3の 1つの画素の画素値 Pを示す。すなわち、センサ 2の 1つの検出素子によって取得された、空間方向 Xおよび空間方向 Yに所定の広がりを有する、実世界 1における 2 つの物体に対する実世界 1の信号が射影された、データ 3の 1つの画素の画素値 Pを示す。

図 2 5の Lは、実世界 1における 1つの物体に対する、図 2 5の白い部分の実世界 1の信号のレベルを示す。図 2 5の Rは、実世界 1における他の 1つの物体に対する、図 2 5の斜線で表される部分の実世界 1の信号のレベルを示す。ここで、混合比ひは、センサ 2の 1つの検出素子の、空間方向 Xおよび空間方向 Yに所定の広がりを有する検出領域に入射された、 2つの物体に対する信号

(の面積）の割合を示す。例えば、混合比ひは、センサ 2の 1つの検出素子の検出領域の面積に対する、空間方向 Xおよび空間方向 Yに所定の広がりを有する、センサ 2の 1つの検出素子の検出領域に入射された、レベル Lの信号の面積の割合を示す。

この場合において、レベル L、レベル R、および画素値 Pの関係は、式（4 ) で表すことができる。

a X L + ( 1 - α ) X R = Ρ ■ ■ ■ ( 4 ) なお、レベル Rは、注目している画素の右側に位置している、データ 3の画素の画素値とすることができる場合があり、レベル Lは、注目している画素の左側に位置している、デタ 3の画素値とすることができる場合がある。

また、混合比 αおよび混合領域は、空間方向と同様に、時間方向を考慮することができる。例えば、センサ 2に対して撮像の対象となる実世界 1の物体が移動しているとき、時間方向に、センサ 2の 1つの検出素子の検出領域に入射される、 2つの物体に対する信号の割合は変化する。センサ 2の 1つの検出素子の検出領域に入射された、時間方向に割合が変化する、 2つの物体に対する信号は、センサ 2の検出素子によって、データ 3の 1つの値に射影される。

センサ 2の時間積分効果による、 2つの物体に対する信号の時間方向の混合を時間混合と称する。

データ定常性検出部 1 0 1は、例えば、実世界 1における 2つの物体に対する実世界 1の信号が射影された、データ 3における画素の領域を検出する。データ定常性検出部 1 0 1は、例えば、実世界 1の画像の縁の傾きに対応する、データ 3における傾きを検出する。

そして、実世界推定部 1 0 2は、例えば、データ定常性検出部 1 0 1で検出された、所定の混合比 αを有する画素の領域、および領域の傾きを基に、 Ν個の変数で表現されるモデル 1 6 1と Μ個のデータ 1 6 2との関係を示す、 Ν個の変数を使用した式を立てて、立てた式を解くことにより、実世界 1の信号を推定する。さらに、具体的な実世界 1の推定について説明する。

関数 F (x, y, _Z，t)で表される実世界の信号のうち、空間方向 Zの断面（センサ 2の位置）における関数 F (x, y，t)で表される実世界の信号を、空間方向 Xにおける位置 x、空間方向 Yにおける位置 y、および時刻 tで決まる

近似関数 f ( , y, t) で近似することを考える。.

ここで、センサ 2の検出領域は、空間方向 Xおよび空間方向 Yに広がりを有する。換言すれば、近似関数 f (x, y,t) は、センサ 2で取得される、空間方向および時間方向に広がりを有する実世界 1の信号を近似する関数である。

センサ 2による実世界 1の信号の射影によって、データ 3の値 P(x，y，t)が得られるものとする。データ 3の値 P(x, y, ΐ)は、例えば、イメージセンサであるセンサ 2が出力する、画素値である。

ここで、センサ 2による射影を定式化できる場合、近似関数 f (x, y, t) を射影して得られた値を射影関数 S (x, y,t) と表すことができる。

射影関数 S (x, y, t) を求める上で、以下に示す問題がある。

第 1に、一般的に、実世界 1の信号を表す関数 F(x，y,z,t)は、無限の次数の関数となりうる。

第 2に、たとえ、実世界の信号を関数として記述できたとしても、センサ 2の射影を介した、射影関数 S (x, y, t) を定めることは、一般的にはできない。すなわち、センサ 2による射影の動作、言い換えればセンサ 2の入力信号と出力信号との関係を知らないので、射影関数 S (x,y, t) を定めることはできない。

第 1の問題点に対して、実世界 1の信号を近似する関数 f(x，y，t)を記述可能な関数（例えば、有限次数の関数）である関数 fi (x,y,t) および変数 ^ の積和で表現することを考える。

また、第 2の問題点に対して、センサ 2による射影を定式化することで、関数 fi (x，y，t) の記述から、関数 Si (x,y,t) を記述することができる。

すなわち、実世界 1の信号を近似する関数 f(x，y，t)を関数 (x,y,t) および変数の積和で表現すると、式（5) が得られる。

N

f (X, y, t) = ∑ Wjf j (x, y, t)

i=1

• · · (5)

例えば、式（6) で示されるように、センサ 2の射影を定式化することにより、式（5) から、データ 3と実世界の信号の関係を式（7) のように定式化することができる。 4001488

44

Sj (x, y, t) = Jjf f j (x, y, t)dxdydt

(6)

N

Pj(xj, yj, j) = ∑ WjSjCxj.yj, tj)

• · · (7)

式（7) において、 jは、データのインデックスである。

式（7) の N個の変数（i = l乃至 N) が共通である M個のデータ群（j=l乃至 M) が存在すれば、式（8) を満たすので、データ 3から実世界のモデル 1 6 1を求めることができる。

N≤M · · ■ (8)

Nは、実世界 1を近似するモデル 1 6 1を表現する変数の数である。 Mは、データ 3に含まれるデータ 1 6 2の数である。

実世界 1の信号を近似する関数 f(x，y，t)を式（5) で表すことにより、 _Wi として変数の部分を独立させることができる。このとき、 iは、そのまま変数の数を示すことになる。また、で示される関数の形を独立させることができ、として所望の関数を利用することができるようになる。

従って、関数の形に依存せず、変数 ^ の数 Nを定義でき、変数^ の数 N とデータの数 Mとの関係で変数 ^ を求めることができる。

すなわち、以下の 3つを用いることで、データ 3から実世界 1を推定することができるようになる。

第 1に、 N個の変数を定める、すなわち、式（5) を定める。これは、定常性を用いて実世界 1を記述することにより可能になる。例えば、断面が多項式で表され、同じ断面形状が一定方向に続く、というモデル 1 6 1で実世界 1の信号を記述することができる。

第 2に、例えば、センサ 2による射影を定式化して、式（7) を記述する。例えば、実世界 2の信号の積分を行った結果がデータ 3であると定式化する。第 3に、 M個のデータ 1 6 2を集めて、式（8) を満足させる。例えば、データ定常性検出部 1 0 1で検出された、データの定常性を有する領域から、データ 1 6 2が集められる。例えば、定常性の一例である、一定の断面が続く領域のデータ 1 6 2が集められる。

このように、式（5) によって、データ 3と実世界 1との関係を記述し、 M個のデータ 1 6 2を集めることで、式（8) を満たすことにより、実世界 1を推定することができる。

より具体的には、 N=Mのとき、変数の数 Nと式の数 Mが等しいので、連立方程式を立てることにより、変数を求めることができる。

また、 N<Mのとき、様々な解法を適用できる。例えば、最小自乗法により、変数を求めることができる。

ここで、最小自乗法による解法について、詳細に記載する。

まず、式（7) に従って、実世界 1からデータ 3を予測する式（9) を示す。

N

P'jCXj.yj, tj) = ∑ WjSj j, yj, tj)

i=1

• · · (9)

式（9) において、 P'j (_Xj,_{yj >} tj) は、予測値である。

予測値 P'と実測値 Pとの差分自乗和 Eは、式（1 0) で表される。

M

2

= ∑ (P_j(Xj, y_j,tj)-P^,j(Xj,yj, tj))

• ■ · (1 0)

差分自乗和 Eが最小になるように、変数 ^ が求められる。従って、各変数 w_k による式（1 0) の偏微分値は 0とされる。すなわち、式（1 1) が成り立つ。

¾ = "2 ∑ WiS_k (xj, y_jf ） (Pj (xj, tj) - 1 WiSi (x_j( yj,tj)) = 0

• · · ( 1 1)

式（1 1 ) から式（1 2) が導かれる。 M N M

∑ (S_k(Xj₍yj,tj)∑ WjSjCXj.yj.tj)) = ∑ S_k(Xj,yj,tj)Pj(Xj,yj,tj) j=l i=1 j=i

• · · ( 1 2)

式（1 2) が K=l乃至 Nで成り立つとき、最小自乗法による解が得られる, のときの正規方程式は、式（1 3 ) で示される。

• ( 1 4)

W2

W_N

( 1 5) P T/JP2004/001488

47

(1 6)

式（14) 乃至式（1 6) から、式（1 3) は、 S_MATW_MAT=P_MAT と表すことができる。

式（1 3) において、 Si は、実世界 1の射影を表す。式（1 3) において、 Pj は、データ 3を表す。式（1 3) において、 _Wi は、実世界 1の信号の特徴を記述し、求めようとする変数である。

従って、式（1 3) にデータ 3を入力し、行列解法などにより W_MAT を求めることで、実世界 1を推定することが可能になる。すなわち、式（1 7) を演算することにより、実世界 1を推定することができるようになる。

A T ~S_M A T ^A M A T , , , (丄 7/^| なお、 S_MAT が正則でない場合、 S_MATの転置行列を利用して、 W_MAT を求めることができる。

実世界推定部 10 2は、例えば、式（1 3) にデータ 3を入力し、行列解法などにより _AT を求めることで、実世界 1を推定する。

ここで、さらにより具体的な例を説明する。例えば、実世界 1の信号の断面形状、すなわち位置の変化に対するレベルの変化を、多項式で記述する。実世界 1 の信号の断面形状が一定で、実世界 1の信号の断面が等速で移動すると仮定する _c そして、センサ 2による実世界 1の信号からデータ 3への射影を、実世界 1の信号の時空間方向の 3次元で積分で定式化する。

実世界 1の信号の断面形状が、等速で移動するとの仮定から、式（1 8) および式（1 9) が得られる。 T細 04/001488

48 dx

dt ^{= Vx}

■ · · ( 1 8) dt — ^Vy

• · - (1 9)

ここで、 v_xおよび v_yは、一定である。

実世界 1の信号の断面形状は、式（1 8) および式（1 9) を用いることで、式（2 0) と表される。

f (x' ,y' )=f (x+v_xt,y+v_yt) · · · (2 0)

センサ 2による実世界 1の信号からデータ 3への射影を、実世界 1の信号の時空間方向の 3次元で積分で定式化すれば、式（2 1) が得られる。

S(x, y,t) =

= £X^e/t!^ef(x+vx^t'y^+vy^t)dxdy^dt

• · · (2 1 )

式（2 1) において、 S(x，y, t)は、空間方向 Xについて、位置 x_s から位置 x_e まで、空間方向 Yについて、位置 y_sから位置 y_eまで、時間方向 tについて、時刻から時刻 t_e までの領域、すなわち時空間の直方体で表される領域の積分値を示す。

式（2 1 ) を定めることができる所望の関数 f(x'，y')を用いて、式（1 3) を解けば、実世界 1の信号を推定することができる。

以下では、関数 f (x'，y')の一例として、式（2 2) に示す関数を用いることとする。

f (X , y ) =w, x +w。 v +w₃

= , (x+v_xt)+w₂ (y+v_yt)+ ₃ · · ■ (2 2)

すなわち、実世界 1の信号が、式（1 8) 、式（1 9) 、および式（2 2) で表される定常性を含むと仮定している。これは、図 2 6で示されるように、一定の形状の断面が、時空間方向に移動していることを示す。

式 (2 1 ) に、式（2 2) を代入することにより、式（2 3) が得られる。

S(x,y，t) = Γ_χ f f_t f(x -v_xt,y+v_yt)dxdydt

= Volume (-^ ( x_e+x_s+v_x ( t_e+t_s) )

= w₀S₀(x, y， t)+w S₁ (x, y, t) +w₂S₂(x, y, t)

· · · (2 3)

ただし、

Volume (x_e - x_s ) (y_e - y_s ) (t_e - t_s )

5₀ (x, y， t)二 Volume/2 X (x_e +x_s +v_x (t_e +t_s ) )

51 (x, y, t) =Volume/2 X (y_e +y_s +v_y (t_e +t_s ) )

S₂ (x, y, t)=l

である。

図 2 7は、データ 3から抽出される、 M個のデータ 1 6 2の例を示す図である _c 例えば、 2 7個の画素値が、データ 1 6 2として抽出され、抽出された画素値が、

Pj (X, y, t)とされる。この場合、 jは、 0乃至 2 6である。

図 2 7に示す例において、 nである時刻 tの注目する位置に対応する画素の画素値が Pi ₃ (x，y，t)であり、データの定常性を有する画素の画素値の並ぶ方向

(例えば、データ定常性検出部 1 0 1で検出された、同じ形状であるつめ形状が並ぶ方向） 1S P₄ (x, y，t)、 P₁₃ (x, y，t)、および P₂₂ (x, y， t)を結ぶ方向であるとき、 nである時刻 tにおける、画素値 P_g ^，1;)乃至？₁₇ ( 7，1:)、 nより時間的に前である、 n-1である時刻 tにおける、画素値 P。， y，t)乃至 P₈ (x，y, t), および nより時間的に後である、 n+1である時刻 1:における、画素値

P₁₈ ( ，7，1：)乃至？₂₆ (x，y，t)が抽出される。 T/JP2004/001488

50

ここで、センサ 2であるイメージセンサから出力された、データ 3である画素値が取得された領域は、図 2 8で示されるように、時間方向および 2次元の空間方向に広がりを有する。そこで、例えば、図 2 9で示されるように、画素に対応する直方体（画素値が取得された領域）の重心を、画素の時空間方向の位置として使用することができる。図 2 9中の丸は、重心を示す。

2 7個の画素値 P。（x，y, t)乃至 P_{2 6} (x，y, t)、および式（2 3 ) から、式（1 3 ) を生成し、 Wを求めることで、実世界 1を推定することが可能になる。

このように、実世界推定部 1 0 2は、例えば、 2 7個の画素値 P。（X, y，t)乃至 P_{2 6} (x，y，t)、およぴ式（2 3 ) から、式（1 3 ) を生成し、 W を求めることで、実世界 1の信号を推定する。

なお、関数 fi ( , y, t) として、ガウス関数、またはシグモイド関数などを利用することができる。

図 3 0乃至図 3 4を参照して、推定された実世界 1の信号から、データ 3に対応する、より高解像度の高解像度データ 1 8 1を生成する処理の例について説明する。

図 3 0で示されるように、データ 3は、時間方向および 2次元の空間方向に実世界 1の信号が積分された値を有する。例えば、センサ 2であるイメージセンサから出力された、データ 3である画素値は、検出素子に入射された光である、実世界 1の信号が、時間方向に、検出時間であるシャツタ時間で積分され、空間方向に、検出素子の受光領域で積分された値を有する。

これに対して、図 3 1で示されるように、空間方向により解像度の高い髙解像度データ 1 8 1は、推定された実世界 1の信号を、時間方向に、データ 3を出力したセンサ 2の検出時間と同じ時間で積分するとともに、空間方向に、データ 3 を出力したセンサ 2の検出素子の受光領域に比較して、より狭い領域で積分することにより、生成される。

なお、空間方向により解像度の高い高解像度データ 1 8 1を生成する場合において、推定された実世界 1の信号が積分される領域は、データ 3を出力したセン 8

51

サ 2の検出素子の受光領域と全く無関係に設定することができる。例えば、高解像度データ 1 8 1に、データ 3に対して、空間方向に整数倍の解像度を持たせることは勿論、 5 / 3倍など、データ 3に対して、空間方向に有理数倍の解像度を持たせることができる。

また、図 3 2で示されるように、時間方向により解像度の高い高解像度データ

1 8 1は、推定された実世界 1の信号を、空間方向に、データ 3を出力したセンサ 2の検出素子の受光領域と同じ領域で積分するとともに、時間方向に、データ

3を出力したセンサ 2の検出時間に比較して、より短い時間で積分することにより、生成される。

なお、時間方尚により解像度の高い高解像度データ 1 8 1を生成する場合において、推定された実世界 1の信号が積分される時間は、データ 3を出力したセンサ 2の検出素子のシャツタ時間と全く無関係に設定することができる。例えば、高解像度データ 1 8 1に、データ 3に対して、時間方向に整数倍の解像度を持たせることは勿論、 7 / 4倍など、データ 3に対して、時間方向に有理数倍の解像度を持たせることができる。

図 3 3で示されるように、動きボケを除去した高解像度データ 1 8 1は、推定された実世界 1の信号を、時間方向に積分しないで、空間方向にのみ積分することにより、生成される。

さらに、図 3 4で示されるように、時間方向および空間方向により解像度の高い高解像度データ 1 8 1は、推定された実世界 1の信号を、空間方向に、データ 3を出力したセンサ 2の検出素子の受光領域に比較して、より狭い領域で積分するとともに、時間方向に、データ 3を出力したセンサ 2の検出時間に比較して、より短い時間で積分することにより、生成される。

この場合において、推定された実世界 1の信号が積分される領域および時間は、データ 3を出力したセンサ 2の検出素子の受光領域およびシャッタ時間と全く無関係に設定することができる。

このように、画像生成部 1 0 3は、例えば、推定された実世界 1の信号を所望の時空間の領域で積分することにより、時間方向、または空間方向に、より高解像度のデータを生成する。

以上のように、実世界 1の信号を推定することにより、実世界 1の信号に対してより正確で、時間方向、または空間方向に、より高解像度のデータを生成することができる。

図 3 5乃至図 3 9を参照して、本発明に係る信号処理装置 4の、入力画像の例と、処理の結果の例を示す。

図 3 5は、入力画像の元の画像を示す図である。図 3 6は、入力画像の例を示す図である。図 3 6で示される入力画像は、図 3 5で示される画像の 2 X 2の画素からなるプロックに属する画素の画素値の平均値を、 1つの画素の画素値として生成された画像である。すなわち、入力画像は、図 3 5で示される画像に、センサの積分特性を模した、空間方向の積分を適用することにより得られた画像である。

図 3 5で示される元の画像において、上下方向から、ほぼ 5度時計方向に傾いた細線の画像が含まれている。同様に、図 3 6で示される入力画像において、上下方向から、ほぼ 5度時計方向に傾いた細線の画像が含まれている。

図 3 7は、図 3 6で示される入力画像に、従来のクラス分類適応処理を適用して得られた画像を示す図である。ここで、クラス分類適応処理は、クラス分類処理と適応処理とからなり、クラス分類処理によって、データを、その性質に基づいてクラス分けし、各クラスごとに適応処理を施すものである。適応処理では、例えば、低画質または標準画質の画像が、所定のタップ係数を用いてマッピング (写像）されることにより、高画質の画像に変換される。

図 3 7で示される画像において、細線の画像が、図 3 5の元の画像とは異なるものになっていることがわかる。

図 3 8は、データ定常性検出部 1 0 1による、図 3 6の例で示される入力画像から細線の領域を検出した結果を示す図である。図 3 8において、白い領域は、細線の領域、すなわち、図 1 4で示される円弧形状が並んでいる領域を示す。図 3 9は、図 3 6で示される画像を入力画像として、本発明に係る信号処理装置 4から出力された出力画像の例を示す図である。図 3 9で示されるように、本発明に係る信号処理装置 4によれば、図 3 5で示される元の画像の細線の画像により近い画像を得ることができる。

図 4 0は、本発明に係る信号処理装置 4による、信号の処理を説明するフローチヤ一トである。

ステップ S 1 0 1において、データ定常性検出部 1 0 1は、定常性の検出の処理を実行する。データ定常性検出部 1 0 1は、データ 3である入力画像に含まれているデータの定常性を検出して、検出したデータの定常性を示すデータ定常性情報を実世界推定部 1 0 2および画像生成部 1 0 3に供給する。

データ定常性検出部 1 0 1は、現実世界の信号の定常性に対応するデータの定常性を検出する。ステップ S 1 0 1の処理において、データ定常性検出部 1 0 1 により検出されるデータの定常性は、データ 3に含まれる、実世界 1の画像の定常性の一部であるか、または、実世界 1の信号の定常性から変化してしまった定常性である。

例えば、データ定常性検出部 1 0 1は、所定の次元の方向に一定の特徴を有する領域を検出することにより、データの定常性を検出する。また、例えば、データ定常性検出部 1 0 1は、同様の形状の並び方を示す、空間方向の角度（傾き）を検出することにより、データの定常性を検出する。

ステップ S 1 0 1における、定常性の検出の処理の詳細は、後述する。

なお、データ定常性情報は、データ 3の特徴を示す特徴量として利用することができる。

ステップ S 1 0 2において、実世界推定部 1 0 2は、実世界の推定の処理を実行する。すなわち、実世界推定部 1 0 2は、入力画像、およびデータ定常性検出部 1 0 1から供給されたデータ定常性情報を基に、実世界 1の信号を推定する。例えば、ステップ S 1 0 2の処理において、実世界推定部 1 0 2は、実世界 1を近似（記述）するモデル 1 6 1を予測することにより、実世界 1の信号を推定す 4 001488

54

る。実世界推定部 1 0 2は、推定された実世界 1の信号を示す実世界推定情報を画像生成部 1 0 3に供給する。

例えば、実世界推定部 1 0 2は、線状の物の幅を予測することにより、実世界

1の信号を推定する。また、例えば、実世界推定部 1 0 2は、線状の物の色を示すレベルを予測することにより、実世界 1の信号を推定する。

ステップ S 1 0 2における、実世界の推定の処理の詳細は、後述する。

なお、実世界推定情報は、データ 3の特徴を示す特徴量として利用することができる。

ステップ S 1 0 3において、画像生成部 1 0 3は、画像の生成の処理を実行して、処理は終了する。すなわち、画像生成部 1 0 3は、実世界推定情報を基に、画像を生成して、生成した画像を出力する。または、画像生成部 1 0 3は、データ定常性情報および実世界推定情報を基に、画像を生成して、生成した画像を出力する。

例えば、ステップ S 1 0 3の処理において、画像生成部 1 0 3は、実世界推定情報を基に、生成された現実世界の光信号を近似する関数を空間方向に積分することにより、入力画像に比較して、空間方向により高解像度の画像を生成して、生成した画像を出力する。例えば、画像生成部 1 0 3は、実世界推定情報を基に、生成された現実世界の光信号を近似する関数を時空間方向に積分することにより、入力画像に比較して、時間方向および空間方向により高解像度の画像を生成して、生成した画像を出力する。ステップ S 1 0 3における、画像の生成の処理の詳細は、後述する。

このように、本発明に係る信号処理装置 4は、データ 3からデータの定常性を検出し、検出したデータの定常性を基に、実世界 1を推定する。そして、信号処理装置 4は、推定された実世界 1を基に、より実世界 1に近似した信号を生成する。

以上のように、現実世界の信号を推定して処理を実行するようにした場合には、正確で、精度の高い処理結果を得ることができるようになる。 T/JP2004/001488

55

また、第 1の次元を有する現実世界の信号である第 1の信号が射影され、現実世界の信号の定常性の一部が欠落した第 1の次元よりも少ない第 2の次元の第 2 の信号の、欠落した現実世界の信号の定常性に対応するデータの定常性を検出し、検出されたデータの定常性に基づいて、欠落した現実世界の信号の定常性を推定することにより第 1の信号を推定するようにした場合には、現実世界の事象に対して、より正確で、より精度の高い処理結果を得ることができるようになる。次に、データ定常性検出部 1 0 1の構成の詳細について説明する。

図 4 1は、データ定常性検出部 1 0 1の構成を示すブロック図である。

図 4 1に構成を示すデータ定常性検出部 1 0 1は、細線である対象物を撮像したとき、対象物の有する断面形状が同じであるという定常性から生じた、データ 3に含まれるデータの定常性を検出する。すなわち、図 4 1に構成を示すデータ定常性検出部 1 0 1は、細線である実世界 1の画像の有する、長さ方向の任意の位置において、長さ方向に直交する方向の位置の変化に対する光のレベルの変化が同じであるという定常性から生じた、データ 3に含まれるデータの定常性を検出する。

より具体的には、図 4 1に構成を示すデータ定常性検出部 1 0 1は、細線の画像を空間積分効果を有するセンサ 2で撮像して得られたデータ 3に含まれる、斜めにずれて隣接して並ぶ、複数の所定の長さの円弧形状（かまぼこ型）が配置される領域を検出する。

データ定常性検出部 1 0 1は、データ 3である入力画像から、データの定常性を有する細線の画像が射影された画像データの部分（以下、定常成分とも称する）以外の画像データの部分（以下、非定常成分と称する）を抽出し、抽出された非定常成分と入力画像とから、実世界 1の細線の画像が射影された画素を検出し、入力画像における、実世界 1の細線の画像が射影された画素からなる領域を検出する。

非定常成分抽出部 2 0 1は、入力画像から非定常成分を抽出して、入力画像と共に、抽出された非定常成分を示す非定常成分情報を頂点検出部 2 0 2および単調增減検出部 2 0 3に供給する。

例えば、図 4 2で示されるように、ほぼ一定の光のレベルの背景の前に細線がある実世界 1の画像がデータ 3に射影されたとき、図 4 3で示されるように、非定常成分抽出部 2 0 1は、データ 3である入力画像における背景を平面で近似することにより、背景である非定常成分を抽出する。図 4 3において、実線は、データ 3の画素値を示し、点線は、背景を近似する平面で示される近似値を示す。図 4 3において、 Aは、細線の画像が射影された画素の画素値を示し、 P Lは、背景を近似する平面を示す。

このように、データの定常性を有する画像データの部分における、複数の画素の画素値は、非定常成分に対して不連続となる。

非定常成分抽出部 2 0 1は、実世界 1の光信号である画像が射影され、実世界 1の画像の定常性の一部が欠落した、データ 3である画像データの複数の画素の画素値の不連続部を検出する。

非定常成分抽出部 2 0 1における非定常成分の抽出の処理の詳細は、後述する。頂点検出部 2 0 2および単調増減検出部 2 0 3は、非定常成分抽出部 2 0 1から供給された非定常成分情報を基に、入力画像から非定常成分を除去する。例えば、頂点検出部 2 0 2および単調増減検出部 2 0 3は、入力画像の各画素のうち、背景の画像のみが射影された画素の画素値を 0に設定することにより、入力画像から非定常成分を除去する。また、例えば、頂点検出部 2 0 2および単調増減検出部 2 0 3は、入力画像の各画素の画素値から、平面 P Lで近似される値を引き算することにより、入力画像から非定常成分を除去する。

入力画像から背景を除去することができるので、頂点検出部 2 0 2乃至連続性検出部 2 0 4は、細線が射影された画像データの部分のみを処理の対象とすることができ、頂点検出部 2 0 2乃至連続性検出部 2 0 4における処理がより容易になる。

なお、非定常成分抽出部 2 0 1は、入力画像から非定常成分を除去した画像データを頂点検出部 2 0 2および単調増減検出部 2 0 3に供給するようにしてもよレ、o

以下に説明する処理の例において、入力画像から非定常成分が除去された画像データ、すなわち、定常成分を含む画素のみからなる画像データが対象となる。ここで、頂点検出部 2 0 2乃至連続性検出部 2 0 4が検出しょうとする、細線の画像が射影された画像データについて説明する。

図 4 2で示される細線の画像が射影された画像データの空間方向 Yの断面形状 (空間方向の位置の変化に対する画素値の変化）は、光学 LPFがないとした場合、センサ 2であるイメージセンサの空間積分効果から、図 4 4に示す台形、または図 4 5に示す三角形となることが考えられる。しかしながら、通常のィメージセンサは、光学 LPFを備え、イメージセンサは、光学 LPFを通過した画像を取得し、取得した画像をデータ 3に射影するので、現実には、細線の画像データの空間方向 Yの断面形状は、図 4 6に示すようなガウス分布に類似した形状となる。

頂点検出部 2 0 2乃至連続性検出部 2 0 4は、細線の画像が射影された画素であって、同じ断面形状（空間方向の位置の変化に対する画素値の変化）が画面の上下方向に一定の間隔で並ぶものからなる領域を検出して、さらに、実世界 1の細線の長さ方向に対応した、領域の繋がりを検出することにより、データの定常性を有する領域である、細線の画像が射影された画素からなる領域を検出する。すなわち、頂点検出部 2 0 2乃至連続性検出部 2 0 4は、入力画像における、縦に 1列の画素の上に、円弧形状（かまぼこ型）が形成される領域を検出し、検出された領域が横方向に隣接して並んでいるか否かを判定して、実世界 1の信号である細線の画像の長さ方向に対応した、円弧形状が形成される領域の繋がりを検出する。

また、頂点検出部 2 0 2乃至連続性検出部 2 0 4は、細線の画像が射影された画素であって、同じ断面形状が画面の左右方向に一定の間隔で並ぶものからなる領域を検出して、さらに、実世界 1の細線の長さ方向に対応した、検出された領域の繋がりを検出することにより、データの定常性を有する領域である、細線の T JP2004/001488

58

画像が射影された画素からなる領域を検出する。すなわち、頂点検出部 2 0 2乃至連続性検出部 2 0 4は、入力画像における、横に 1列の画素の上に、円弧形状が形成される領域を検出し、検出された領域が縦方向に隣接して並んでいるか否かを判定して、実世界 1の信号である細線の画像の長さ方向に対応した、円弧形状が形成される領域の繋がりを検出する。

まず、細線の画像が射影された画素であって、画面の上下方向に同じ円弧形状が一定の間隔で並ぶものからなる領域を検出する処理を説明する。

頂点検出部 2 0 2は、周囲の画素に比較して、より大きい画素値を有する画素、すなわち頂点を検出し、頂点の位置を示す頂点情報を単調増減検出部 2 0 3に供給する。画面の上下方向に 1列に並ぶ画素を対象とした場合、頂点検出部 2 0 2 は、画面の上側に位置する画素の画素値、および画面の下側に位置する画素の画素値に比較して、より大きい画素値を有する画素を頂点として検出する。頂点検出部 2 0 2は、 1つの画像、例えば、 1つのフレームの画像から、 1または複数の頂点を検出する。

1つの画面には、フレームまたはフィールドが含まれる。以下の説明において、同様である。

例えば、頂点検出部 2 0 2は、 1フレームの画像からまだ注目画素とされていない画素の中から注目画素を選択し、注目画素の画素値と、注目画素の上側の画素の画素値とを比較し、注目画素の画素値と、注目画素の下側の画素の画素値とを比較して、上側の画素の画素値より大きい画素値を有し、下側の画素の画素値より大きい画素値を有する注目画素を検出して、検出された注目画素を頂点とする。頂点検出部 2 0 2は、検出された頂点を示す頂点情報を単調増減検出部 2 0 3に供給する。

頂点検出部 2 0 2が、頂点を検出しない場合もある。例えば、 1つの画像の画素の画素値が全て同じ値であるとき、または、 1若しくは 2の方向に対して画素値が減少しているとき、頂点は検出されない。この場合、細線の画像は、画像データに射影されていない。単調増減検出部 2 0 3は、頂点検出部 2 0 2から供給された、頂点の位置を示す頂点情報を基に、頂点検出部 2 0 2で検出された頂点に対して上下方向に 1列に並ぶ画素であって、細線の画像が射影された画素からなる領域の候補を検出し、頂点情報と共に、検出した領域を示す領域情報を連続性検出部 2 0 4に供給する。

より具体的には、単調増減検出部 2 0 3は、頂点の画素値を基準として、単調減少している画素値を有する画素からなる領域を、細線の画像が射影された画素からなる領域の候補として検出する。単調減少とは、頂点からの距離がより長い画素の画素値が、頂点からの距離が短い画素の画素値に比較して、より小さいことをヽう。

また、単調増減検出部 2 0 3は、頂点の画素値を基準として、単調増加している画素値を有する画素からなる領域を、細線の画像が射影された画素からなる領域の候補として検出する。単調増加とは、頂点からの距離がより長い画素の画素値が、頂点からの距離が短い画素の画素値に比較して、より大きいことをいう。以下、単調増加している画素値を有する画素からなる領域についての処理は、単調減少している画素値を有する画素からなる領域についての処理と同様なので、その説明は省略する。細線の画像が射影された画素であって、画面の横方向に同じ円弧形状が一定の間隔で並ぶものからなる領域を検出する処理における、単調増加している画素値を有する画素からなる領域についての処理も、単調減少している画素値を有する画素からなる領域についての処理と同様なので、その説明は省略する。

例えば、単調増減検出部 2 0 3は、頂点に対して縦に 1列に各画素について、各画素の画素値と、上側の画素の画素値との差分、および下側の画素の画素値との差分を求める。そして、単調増減検出部 2 0 3は、差分の符号が変化する画素を検出することにより、画素値が単調減少している領域を検出する。

さらに、単調増減検出部 2 0 3は、画素値が単調減少している領域から、頂点の画素値の符号を基準として、頂点の画素値の符号と同じ符号の画素値を有する画素からなる領域を、細線の画像が射影された画素からなる領域の候補として検出する。

例えば、単調増減検出部 2 0 3は、各画素の画素値の符号と、上側の画素の面素値の符号および下側の画素の画素値の符号とを比較し、画素値の符号が変化する画素を検出することにより、画素値が単調減少している領域から、頂点と同じ符号の画素値を有する画素からなる領域を検出する。

このように、単調増減検出部 2 0 3は、上下方向に並び、頂点に対して画素値が単調減少し、頂点と同じ符号の画素値を有する画素からなる領域を検出する。図 4 7は、空間方向 Yの位置に対する画素値から、細線の画像が射影された画素の領域を検出する、頂点の検出および単調増減領域の検出の処理を説明する図である。

図 4 7乃至図 4 9において、 Pは、頂点を示す。図 4 1で構成が示されるデータ定常性検出部 1 0 1の説明において、 Pは、頂点を示す。

頂点検出部 2 0 2は、各画素の画素値と、これに空間方向 Yに隣接する画素の画素値とを比較して、空間方向 Yに隣接する 2つの画素の画素値より大きい画素値を有する画素を検出することにより、頂点 Pを検出する。

頂点 Pと、頂点 Pの空間方向 Yの両側の画素とからなる領域は、頂点 Pの画素値に対して、空間方向 Yの両側の画素の画素値が単調に減少する単調減少領域である。図 4 7において、 Aで示す矢印、および Bで示す矢印は、頂点 Pの両側に存在する単調減少領域を示す。

単調增減検出部 2 0 3は、各画素の画素値と、その画素に空間方向 Yに隣接する画素の画素値との差分を求めて、差分の符号が変化する画素を検出する。単調増減検出部 2 0 3は、検出された、差分の符号が変化する画素と、その手前側

(頂点 P側）の画素との境界を、細線の画像が射影された画素からなる細線領域の境界とする。

図 4 7において、差分の符号が変化する画素と、その手前側（頂点 P側）の画素との境界である細線領域の境界は Cで示される。

さらに、単調増減検出部 2 0 3は、単調減少領域において、各画素の画素値の符号と、その画素に空間方向 Yに隣接する画素の画素値の符号とを比較し、画素値の符号が変化する画素を検出する。単調増減検出部 2 0 3は、検出された、画素値の符号が変化する画素と、その手前側（頂点 Ρ側）の画素との境界を細線領域の境界とする。

図 4 7において、画素値の符号が変化する画素と、その手前側（頂点 Ρ側）の画素との境界である細線領域の境界は Dで示される。

図 4 7で示されるように、細線の画像が射影された画素からなる細線領域 F は、細線領域の境界 Cと、細線領域の境界 Dとに挟まれる領域とされる。

単調増減検出部 2 0 3は、このような単調増減領域からなる細線領域 Fの中から、予め定めた閾値より長い細線領域 F、すなわち、閾値より多い数の画素を含む細線領域 Fを求める。例えば、閾値が 3であるとき、単調増減検出部 2 0 3は、 4つ以上の画素を含む細線領域 Fを検出する。

さらに、このように検出された細線領域 Fの中から、単調増減検出部 2 0 3 は、頂点 Pの画素値、および頂点 Pの右側の画素の画素値、および頂点 Pの左側の画素の画素値を、それぞれ閾値と比較し、頂点 Pの画素値が閾値を超え、頂点 Pの右側の画素の画素値が閾値以下であり、頂点 Pの左側の画素の画素値が閾値以下である頂点 Pが属する細線領域 Fを検出し、検出された細線領域 F を細線の画像の成分を含む画素からなる領域の候補とする。

言い換えれば、頂点 Pの画素値が閾値以下であるか、頂点 Pの右側の画素の画素値が閾値を超えるか、または頂点 Pの左側の画素の画素値が閾値を超える頂点 Pが属する細線領域 Fは、細線の画像の成分を含まないと判定され、細線の画像の成分を含む画素からなる領域の候補から除去される。

すなわち、図 4 8で示されるように、単調增減検出部 2 0 3は、頂点 Pの画素値を閾値と比較すると共に、頂点 Pに対して、空間方向 X (点線 AA'で示す方向）に隣接する画素の画素値を、閾値と比較し、頂点 P の画素値が閾値を超え、空間方向 Xに隣接する画素の画素値が閾値以下である、頂点 Pが属する細線領域 Fを検出する。 2004/001488

62

図 4 9は、図 4 8の点線 AA'で示す空間方向 Xに並ぶ画素の画素値を表す図である。頂点 Pの画素値が閾値 T h _sを超え、頂点 Pの空間方向 Xに隣接する画素の画素値が、閾値 T h _s以下である、頂点 Pが属する細線領域 Fは、細線の成分を含む。

なお、単調増減検出部 2 0 3は、背景の画素値を基準として、頂点 Pの画素値と背景の画素値との差分を閾値と比較すると共に、頂点 Pに対して、空間方向 Xに隣接する画素の画素値と背景の画素値との差分を、閾値と比較し、頂点？の画素値と背景の画素値との差分が閾値を超え、空間方向 Xに隣接する画素の画素値と背景の画素値との差分が閾値以下である、頂点 Pが属する細線領域 Fを検出するようにしてもよい。

単調増減検出部 2 0 3は、頂点 Pを基準として、画素値が単調減少し、画素値の符号が頂点 Pと同じである画素からなる領域であって、その頂点 Pが閾値を超え、頂点 Pの右側の画素の画素値が閾値以下であり、頂点 Pの左側の画素の画素値が閾値以下であるものを示す単調増減領域情報を連続性検出部 2 0 4に供給する。

画面の上下方向に 1列に並ぶ画素であって、細線の画像が射影されたものからなる領域を検出する場合において、単調増減領域情報により示される領域に属する画素は、上下方向に並び、細線の画像が射影された画素を含む。すなわち、単調増減領域情報により示される領域は、画面の上下方向に 1列に並ぶ画素であつて、細線の画像が射影されたものからなる領域を含む。

このように、頂点検出部 2 0 2および単調増減検出部 2 0 3は、細線の画像が射影された画素において、空間方向 Yの画素値の変化が、ガウス分布に類似するという性質を利用して、細線の画像が射影された画素からなる定常領域を検出する。

連続性検出部 2 0 4は、単調増減検出部 2 0 3から供給された単調増減領域情報で示される、上下方向に並ぶ画素からなる領域のうち、横方向に隣接している画素を含む領域、すなわち、相似した画素：の変化を有し、縦方向に重複している領域を、連続している領域として検出し、頂点情報、およぴ検出された連続している領域を示すデータ定常性情報を出力する。データ定常性情報は、単調増減領域情報、および領域の繋がりを示す情報などを含んでいる。

細線が射影された画素において、円弧形状が隣接するように一定の間隔で並ぶので、検出された連続している領域は、細線が射影された画素を含んでいる。検出された連続している領域が、細線が射影された、円弧形状が隣接するように一定の間隔で並ぶ画素を含むので、検出された連続している領域を定常領域とし、連続性検出部 2 0 4は、検出された連続している領域を示すデータ定常性情報を出力する。

すなわち、連続性検出部 2 0 4は、長さ方向に連続するという、実世界 1の細線の画像の定常性から生じた、細線を撮像して得られたデータ 3における、円弧形状が隣接するように一定の間隔で並ぶ定常性を利用して、頂点検出部 2 0 2および単調増減検出部 2 0 3において検出された領域の候補をさらに絞り込む。図 5 0は、単調増減領域の連続性を検出の処理を説明する図である。

図 5 0に示すように、連続性検出部 2 0 4は、画面の縦方向に 1列に並ぶ画素からなる細線領域 Fについて、横方向に隣接する画素を含んでいるとき、 2つの単調増減領域の間に連続性があるとし、横方向に隣接する画素を含んでいないとき、 2つの細線領域 Fの間に連続性がないとする。例えば、画面の縦方向に 1列に並ぶ画素からなる細線領域は、画面の縦方向に 1列に並ぶ画素からなる細線領域 F。の画素と横方向に隣接する画素を含んでいるとき、細線領域 F₀ と連続しているとされる。画面の縦方向に 1列に並ぶ画素からなる細線領域 F。は、画面の縦方向に 1列に並ぶ画素からなる細線領域の画素と横方向に隣接する画素を含んでいるとき、細線領域と連続しているとされる。

このように、頂点検出部 2 0 2乃至連続性検出部 2 0 4により、画面の上下方向に 1列に並ぶ画素であって、細線の画像が射影されたものからなる領域が検出される。

頂点検出部 2 0 2乃至連続性検出部 2 0 4は、上述したように、画面の上下方向に 1列に並ぶ画素であって、細線の画像が射影されたものからなる領域を検出し、さらに、画面の左右方向に 1列に並ぶ画素であって、細線の画像が射影されたものからなる領域を検出する。

なお、処理の順序は、本発明を限定するものではなく、並列に実行するようにしても良いことは当然である。

すなわち、頂点検出部 2 0 2は、画面の左右方向に 1列に並ぶ画素を対象として、画面の左側に位置する画素の画素値、および画面の右側に位置する画素の画素値に比較して、より大きい画素値を有する画素を頂点として検出し、検出した頂点の位置を示す頂点情報を単調増減検出部 2 0 3に供給する。頂点検出部 2 0 2は、 1つの画像、例えば、 1フレームの画像から、 1または複数の頂点を検出する。

例えば、頂点検出部 2 0 2は、 1フレームの画像からまだ注目画素とされていない画素の中から注目画素を選択し、注目画素の画素値と、注目画素の左側の画素の画素値とを比較し、注目画素の画素値と、注目画素の右側の画素の画素値とを比較して、左側の画素の画素値より大きい画素値を有し、右側の画素の画素値より大きい画素値を有する注目画素を検出して、検出された注目画素を頂点とする。頂点検出部 2 0 2は、検出された頂点を示す頂点情報を単調増減検出部 2 0 3に供給する。

頂点検出部 2 0 2が、頂点を検出しない場合もある。

単調増減検出部 2 0 3は、頂点検出部 2 0 2で検出された頂点に対して左右方向に 1列に並ぶ画素であって、細線の画像が射影された画素からなる領域の候補を検出し、頂点情報と共に、検出した領域を示す単調増減領域情報を連続性検出部 2 0 4に供給する。

より具体的には、単調増減検出部 2 0 3は、頂点の画素値を基準として、単調減少している画素値を有する画素からなる領域を、細線の画像が射影された画素からなる領域の候補として検出する。

例えば、単調増減検出部 2 0 3は、頂点に対して横に 1列の各画素について、 04 001488

65

各画素の画素値と、左側の画素の画素値との差分、および右側の画素の画素値との差分を求める。そして、単調増減検出部 2 0 3は、差分の符号が変化する画素を検出することにより、画素値が単調減少している領域を検出する。

例えば、単調増減検出部 2 0 3は、各画素の画素値の符号と、左側の画素の画素値の符号または右側の画素の画素値の符号とを比較し、画素値の符号が変化する画素を検出することにより、画素値が単調減少している領域から、頂点と同じ符号の画素値を有する画素からなる領域を検出する。

このように、単調増減検出部 2 0 3は、左右方向に並び、頂点に対して画素値が単調減少し、頂点と同じ符号の画素値を有する画素からなる領域を検出する。単調增減検出部 2 0 3は、このような単調増減領域からなる細線領域の中から、予め定めた閾値より長い細線領域、すなわち、閾値より多い数の画素を含む細線領域を求める。

さらに、このように検出された細線領域の中から、単調増減検出部 2 0 3は、頂点の画素値、および頂点の上側の画素の画素値、および頂点の下側の画素の画素値を、それぞれ閾値と比較し、頂点の画素値が閾値を超え、頂点の上側の画素の画素値が閾値以下であり、頂点の下側の画素の画素値が閾値以下である頂点が属する細線領域を検出し、検出された細線領域を細線の画像の成分を含む画素からなる領域の候補とする。

言い換えれば、頂点の画素値が閾値以下であるか、頂点の上側の画素の画素値が閾値を超えるか、または頂点の下側の画素の画素値が閾値を超える頂点が属する細線領域は、細線の画像の成分を含まないと判定され、細線の画像の成分を含む画素からなる領域の候補から除去される。

なお、単調增減検出部 2 0 3は、背景の画素値を基準として、頂点の画素値と背景の画素値との差分を閾値と比較すると共に、頂点に対して、上下方向に隣接する画素の画素値と背景の画素値との差分を、閾値と比較し、頂点の画素値と背景の画素値との差分が閾値を超え、上下方向に隣接する画素の画素値と背景の画素値との差分が閾値以下である、検出された細線領域を細線の画像の成分を含む画素からなる領域の候補とするようにしてもよい。

単調増減検出部 2 0 3は、頂点を基準として、画素値が単調減少し、画素値の符号が頂点と同じである画素からなる領域であって、その頂点が閾値を超え、頂点の右側の画素の画素値が閾値以下であり、頂点の左側の画素の画素値が閾値以下であるものを示す単調増減領域情報を連続性検出部 2 0 4に供給する。

画面の左右方向に 1列に並ぶ画素であって、細線の画像が射影されたものからなる領域を検出する場合において、単調増減領域情報により示される領域に属する画素は、左右方向に並び、細線の画像が射影された画素を含む。すなわち、単調増減領域情報により示される領域は、画面の左右方向に並ぶ 1列の画素であつて、細線の画像が射影されたものからなる領域を含む。

連続性検出部 2 0 4は、単調増減検出部 2 0 3から供給された単調増減領域情報で示される、左右方向に並ぶ画素からなる領域のうち、縦方向に隣接している画素を含む領域、すなわち、相似した画素値の変化を有し、横方向に重複している領域を、連続している領域として検出し、頂点情報、およぴ検出された連続している領域を示すデータ定常性情報を出力する。データ定常性情報は、領域の繋がりを示す情報を含んでいる。

すなわち、連続性検出部 2 0 4は、長さ方向に連続するという、実世界 1の細 T/JP2004/001488

67

線の画像の定常性から生じた、細線を撮像して得られたデータ 3における、円弧形状が隣接するように一定の間隔で並ぶ定常性を利用して、頂点検出部 2 0 2および単調増減検出部 2 0 3において検出された領域の侯捕をさらに絞り込む。図 5 1は、平面での近似により定常成分を抽出した画像の例を示す図である。図 5 2は、図 5 1に示す画像から頂点を検出し、単調減少している領域を検出した結果を示す図である。図 5 2において、白で示される部分が、検出された領域である。

図 5 3は、図 5 2に示す画像から、隣接している領域の連続性を検出して、連続性が検出された領域を示す図である。図 5 3において、白で示される部分が、連続性が検出された領域である。連続性の検出により、領域がさらに特定されていることがわかる。

図 5 4は、図 5 3に示す領域の画素値、すなわち、連続性が検出された領域の画素値を示す図である。

このように、データ定常性検出部 1 0 1は、入力画像であるデータ 3に含まれている定常性を検出することができる。すなわち、データ定常性検出部 1 0 1は、細線である実世界 1の画像がデータ 3に射影されることにより生じた、データ 3 に含まれるデータの定常性を検出することができる。データ定常性検出部 1 0 1 は、データ 3から、細線である実世界 1の画像が射影された画素からなる領域を検出する。

図 5 5は、定常性検出部 1 0 1における、細線の画像が射影された、定常性を有する領域の検出の他の処理の例を示す図である。定常性検出部 1 0 1は、図 5 5に示すように、各画素について、隣接する画素との画素値の差分の絶対値を計算する。計算された差分の絶対値は、画素に対応させて、配置される。例えば、図 5 5に示すように、画素値がそれぞれ P0、 Pl、 P2である画素が並んでいるとき、定常性検出部 1 0 1は、差分 dO=PO- P 1および差分 dl=P l- P2を計算する。さらに、定常性検出部 1 0 1は、差分 doおよび差分 dlの絶対値を算出する。画素値 P0、 Pl、および P2に含まれている非定常性成分が同一であるとき、差 1488

68

分 dOおよび差分 dlには、細線の成分に対応した値のみが設定されることになる。

従って、定常性検出部 1 0 1は、画素に対応させて配置されている差分の絶対値のうち、隣り合う差分の値が同一であるとき、その 2つの差分の絶対値に対応する画素（2つの差分の絶対値に挟まれた画素）に細線の成分が含まれていると判定する。なお、定常性検出部 1 0 1は、画素に対応させて配置されている差分の絶対値のうち、隣り合う差分の値が同一である場合、差分の絶対値が所定の閾値より小さいとき、その 2つの差分の絶対値に対応する画素（2つの差分の絶対値に挟まれた画素）に細線の成分が含まれていないと判定する。

定常性検出部 1 0 1においては、このような、簡便な方法で細線を検出することもできる。

図 5 6は、定常性検出の処理を説明するフローチャートである。

ステップ S 2 0 1において、非定常成分抽出部 2 0 1は、入力画像から、細線が射影された部分以外の部分である非定常成分を抽出する。非定常成分抽出部 2 0 1は、入力画像と共に、抽出された非定常成分を示す非定常成分情報を頂点検出部 2 0 2および単調増減検出部 2 0 3に供給する。非定常成分の抽出の処理の詳細は、後述する。

ステップ S 2 0 2において、頂点検出部 2 0 2は、非定常成分抽出部 2 0 1から供給された非定常成分情報を基に、入力画像から非定常成分を除去し、入力画像に定常成分を含む画素のみを残す。さらに、ステップ S 2 0 2において、頂点検出部 2 0 2は、頂点を検出する。

すなわち、頂点検出部 2 0 2は、画面の縦方向を基準として、処理を実行する場合、定常成分を含む画素について、各画素の画素値と、上側および下側の画素の画素値とを比較して、上側の画素の画素値および下側の画素の画素値より大きい画素値を有する画素を検出することにより、頂点を検出する。また、ステップ S 2 0 2において、頂点検出部 2 0 2は、画面の横方向を基準として、処理を実行する場合、定常成分を含む画素について、各画素の画素値と、右側および左側の画素の画素値とを比較して、右側の画素の画素値および左側の画素の画素値より大きい画素値を有する画素を検出することにより、頂点を検出する。

頂点検出部 2 0 2は、検出した頂点を示す頂点情報を単調増減検出部 2 0 3に供給する。

ステップ S 2 0 3において、単調増減検出部 2 0 3は、非定常成分抽出部 2 0 1から供給された非定常成分情報を基に、入力画像から非定常成分を除去し、入力画像に定常成分を含む画素のみを残す。さらに、ステップ S 2 0 3において、単調増減検出部 2 0 3は、頂点検出部 2 0 2から供給された、頂点の位置を示す頂点情報を基に、頂点に対する単調増減を検出することにより、データの定常性を有する画素からなる領域を検出する。

単調増減検出部 2 0 3は、画面の縦方向を基準として、処理を実行する場合、頂点の画素値、および頂点に対して縦に 1列に並ぶ画素の画素値を基に、縦に並ぶ 1列の画素であって、 1つの細線の画像が射影された画素からなる単調増減を検出することにより、データの定常性を有する画素からなる領域を検出する。すなわち、ステップ S 2 0 3において、単調増減検出部 2 0 3は、画面の縦方向を基準として、処理を実行する場合、頂点および頂点に対して縦に 1列に並ぶ画素について、各画素の画素値と、上側または下側の画素の画素値との差分を求めて、差分の符号が変化する画素を検出する。また、単調増減検出部 2 0 3は、頂点および頂点に対して縦に 1列に並ぶ画素について、各画素の画素値の符号と、その画素の上側または下側の画素の画素値の符号とを比較し、画素値の符号が変化する画素を検出する。さらに、単調増減検出部 2 0 3は、頂点の画素値、並びに頂点の右側および左側の画素の画素値を、閾値と比較し、頂点の画素値が閾値を超え、右側および左側の画素の画素値が閾値以下である画素からなる領域を検出する。

単調増減検出部 2 0 3は、このように検出された領域を単調増減領域として、単調増減領域を示す単調増減領域情報を連続性検出部 2 0 4に供給する。

また、単調増減検出部 2 0 3は、画面の横方向を基準として、処理を実行する 1488

70

場合、頂点の画素値、および頂点に対して横に 1列に並ぶ画素の画素値を基に、横に並ぶ 1列の画素であって、 1つの細線の画像が射影された画素からなる単調増減を検出することにより、データの定常性を有する画素からなる領域を検出する。すなわち、ステップ S 2 0 3において、単調増減検出部 2 0 3は、画面の横方向を基準として、処理を実行する場合、頂点および頂点に対して横に 1列に並ぶ画素について、各画素の画素値と、左側または右側の画素の画素値との差分を求めて、差分の符号が変化する画素を検出する。また、単調増減検出部 2 0 3は、頂点および頂点に対して横に 1列に並ぶ画素について、各画素の画素値の符号と、その画素の左側または右側の画素の画素値の符号とを比較し、画素値の符号が変化する画素を検出する。さらに、単調増減検出部 2 0 3は、頂点の画素値、並びに頂点の上側および下側の画素の画素値を、閾値と比較し、頂点の画素値が閾値を超え、上側および下側の画素の画素値が閾値以下である画素からなる領域を検出する。

ステップ S 2 0 4において、単調増減検出部 2 0 3は、全画素の処理が終了したか否かを判定する。例えば、非定常成分抽出部 2 0 1は、入力画像の 1つの画面（例えば、フレームまたはフィールドなど）の全画素について、頂点を検出し、単調増減領域を検出したか否かを判定する。

ステップ S 2 0 4において、全画素の処理が終了していない、すなわち、頂点の検出および単調増減領域の検出の処理の対象とされていない画素がまだあると判定された場合、ステップ S 2 0 2に戻り、頂点の検出および単調増減領域の検出の処理の対象とされていない画素から処理の対象となる画素を選択して、頂点の検出および単調増減領域の検出の処理を繰り返す。

ステップ S 2 0 4において、全画素の処理が終了した、すなわち、全ての画素を対象として頂点および単調増減領域が検出されたと判定された場合、ステップ S 2 0 5に進み、連続性検出部 2 0 4は、単調増減領域情報を基に、検出された領域の連続性を検出する。例えば、連続性検出部 2 0 4は、単調増減領域情報で示される、画面の縦方向に 1列に並ぶ画素からなる単調増減領域について、横方向に隣接する画素を含んでいるとき、 2つの単調増減領域の間に連続性があるとし、横方向に隣接する画素を含んでいないとき、 2つの単調増減領域の間に連続性がないとする。例えば、連続性検出部 2 0 4は、単調増減領域情報で示される、画面の横方向に 1列に並ぶ画素からなる単調増減領域について、縦方向に隣接する画素を含んでいるとき、 2つの単調増減領域の間に連続性があるとし、縦方向に隣接する画素を含んでいないとき、 2つの単調増減領域の間に連続性がないとする。

連続性検出部 2 0 4は、検出された連続している領域をデータの定常性を有する定常領域とし、頂点の位置および定常領域を示すデータ定常性情報を出力する。データ定常性情報は、領域の繋がりを示す情報を含んでいる。連続性検出部 2 0 4から出力されるデータ定常性情報は、実世界 1の細線の画像が射影された画素からなる、定常領域である細線領域を示す。

ステップ S 2 0 6において、定常性方向検出部 2 0 5は、全画素の処理が終了したか否かを判定する。すなわち、定常性方向検出部 2 0 5は、入力画像の所定のフレームの全画素について、領域の連続性を検出した力否かを判定する。

ステップ S 2 0 6において、全画素の処理が終了していない、すなわち、領域の連続性の検出の処理の対象とされていない画素がまだあると判定された場合、ステップ S 2 0 5に戻り、領域の連続性の検出の処理の対象とされていない画素から処理の対象となる画素を選択して、領域の連続性の検出の処理を繰り返す。ステップ S 2 0 6において、全画素の処理が終了した、すなわち、全ての画素を対象として領域の連続性が検出されたと判定された場合、処理は終了する。このように、入力画像であるデータ 3に含まれている定常性が検出される。すなわち、細線である実世界 1の画像がデータ 3に射影されることにより生じた、データ 3に含まれるデータの定常性が検出され、データ 3から、細線である実世界 1の画像が射影された画素からなる、データの定常性を有する領域が検出される。 "

なお、図 4 1で構成が示されるデータ定常性検出部 1 0 1は、データ 3のフレームから検出されたデータの定常性を有する領域を基に、時間方向のデータの定常性を検出することができる。

例えば、図 5 7に示すように、連続性検出部 2 0 4は、フレームにおいて、検出されたデータの定常性を有する領域、フレーム ίίη - 1において、検出されたデータの定常性を有する領域、およびフレーム #η+1において、検出されたデータの定常性を有する領域を基に、領域の端部を結ぶことにより、時間方向のデータの定常性を検出する。

フレーム #η- 1は、フレーム #ηに対して時間的に前のフレームであり、フレーム #η+ 1は、フレーム #ηに対して時間的に後のフレームである。すなわち、フレーム #η_1、フレーム #η、およびフレーム #η+1 は、フレーム #η- 1、フレーム、およびフレーム #η+1の順で表示される。

より具体的には、図 5 7において、 Gは、フレーム #ηにおいて、検出されたデータの定常性を有する領域、フレーム #η - 1において、検出されたデータの定常性を有する領域、およびフレーム ίίη+lにおいて、検出されたデータの定常性を有する領域のそれぞれの一端を結ぶことにより得られた動きべクトルを示し、 G ' は、検出されたデータの定常性を有する領域のそれぞれの他の一端を結ぶことにより得られた動きベクトルを示す。動きべクトル Gおよび動きべクトル G ' は、時間方向のデータの定常性の一例である。

さらに、図 4 1で構成が示されるデータ定常性検出部 1 0 1は、データの定常性を有する領域の長さを示す情報を、データ定常性情報として出力することがでさる。

図 5 8は、データの定常性を有しない画像データの部分である非定常成分を平面で近似して、非定常成分を抽出する、非定常成分抽出部 2 0 1の構成を示すブロック図である。

図 5 8に構成を示す非定常成分抽出部 2 0 1は、入力画像から所定の数の画素でなるブロックを抽出し、ブロックと平面で示される値との誤差が所定の閾値未満になるように、ブロックを平面で近似して、非定常成分を抽出する。

入力画像は、ブロック抽出部 2 2 1に供給されるとともに、そのまま出力される。

ブロック抽出部 2 2 1は、入力画像から、所定の数の画素からなるブロックを抽出する。例えば、ブロック抽出部 2 2 1は、 7 X 7の画素からなるブロックを抽出し、平面近似部 2 2 2に供給する。例えば、プロック抽出部 2 2 1は、抽出されるブロックの中心となる画素をラスタスキャン順に移動させ、順次、入力画像からプロックを抽出する。

平面近似部 2 2 2は、プロックに含まれる画素の画素値を所定の平面で近似する。例えば、平面近似部 2 2 2は、式（2 4 ) で表される平面でプロックに含まれる画素の画素値を近似する。

z=ax+by+c · ■ ■ ( 2 4 ) 式（2 4 ) において、 Xは、画素の画面上の一方の方向（空間方向 X ) の位置を示し、 yは、画素の画面上の他の一方の方向（空間方向 Y ) の位置を示す。 z は、平面で示される近似値を示す。 a は、平面の空間方向 Xの傾きを示し、 b は、平面の空間方向 Yの傾きを示す。式（2 4 ) において、 cは、平面のオフセット (切片）を示す。

例えば、平面近似部 2 2 2は、回帰の処理により、傾き a、傾き b、およびォフセット cを求めることにより、式（2 4 ) で表される平面で、ブロックに含まれる画素の画素値を近似する。平面近似部 2 2 2は、棄却を伴う回帰の処理により、傾き a、傾き b、およびオフセット cを求めることにより、式（2 4 ) で表される平面で、プロックに含まれる画素の画素値を近似する。

例えば、平面近似部 2 2 2は、最小自乗法により、プロックの画素の画素値に対して、誤差が最小となる式（2 4 ) で表される平面を求めることにより、平面でプロックに含まれる画素の画素値を近似する。

なお、平面近似部 2 2 2は、式（2 4 ) で表される平面でブロックを近似すると説明したが、式（2 4 ) で表される平面に限らず、より高い自由度をもった関数、例えば、 n次（nは、任意の整数）の多項式で表される面でブロックを近似するようにしてもよい。

繰り返し判定部 2 2 3は、プロックの画素値を近似した平面で示される近似値と、ブロックの対応する画素の画素値との誤差を計算する。式（2 5 ) は、プロックの画素値を近似した平面で示される近似値と、プロックの対応する画素の画素値 zi との差分である誤差 eiを示す式である。

= Z j -2 = Zj - (a j +Dy j +c)

• · · ( 2 5 ) 式（2 5 ) において、 zハット（zにを付した文字を zハットと記述する。以下、本明細書において、同様に記載する。）は、プロックの画素値を近似した平面で示される近似値を示し、 a ノヽットは、ブロックの画素値を近似した平面の空間方向 Xの傾きを示し、 bハットは、ブロックの画素値を近似した平面の空間方向 Yの傾きを示す。式（2 5 ) において、 cハットは、ブロックの画素値を近似した平面のオフセット（切片）を示す。

繰り返し判定部 2 2 3は、式（2 5 ) で示される、近似値とブロックの対応する画素の画素値との誤差 ei力最も大きい画素を棄却する。このようにすることで、細線が射影された画素、'すなわち定常性を有する画素が棄却されることになる。繰り返し判定部 2 2 3は、棄却した画素を示す棄却情報を平面近似部 2 2 2に供給する。

さらに、繰り返し判定部 2 2 3は、標準誤差を算出して、標準誤差が、予め定めた近似終了判定用の閾値以上であり、プロックの画素のうち、半分以上の画素が棄却されていないとき、繰り返し判定部 2 2 3は、平面近似部 2 2 2に、プロックに含まれる画素のうち、棄却された画素を除いた画素を対象として、平面による近似の処理を繰り返させる。

定常性を有する画素が棄却されるので、棄却された画素を除いた画素を対象として平面で近似をすることにより、平面は、非定常成分を近似することになる。繰り返し判定部 2 2 3は、標準誤差が、近似終了判定用の閾値未満であるとき、または、ブロックの画素のうち、半分以上の画素が棄却されたとき、平面による近似を終了する。

5 X 5の画素からなるブロックについて、標準誤差 e_s は、例えば、式（2 6 ) で算出される。 e_s =∑ (_{2 i} -z) / (n-3)

=∑ { (Zj - ½Xi +byi +6) } / ( n - 3)

• - - ( 2 6 ) ここで、 nは、画素の数である。

なお、繰り返し判定部 2 2 3は、標準誤差に限らず、ブロックに含まれる全ての画素についての誤差の 2乗の和を算出して、以下の処理を実行するようにしてもよい。

ここで、ラスタスキャン方向に 1画素ずつずれたブロックを平面で近似するとき、図 5 9に示すように、図中黒丸で示す、定常性を有する画素、すなわち細線の成分を含む画素は、複数回棄却されることになる。

繰り返し判定部 2 2 3は、平面による近似を終了したとき、プロックの画素値を近似した平面を示す情報（式（2 4 ) の平面の傾きおよび切片）を、非定常成分情報として出力する。

なお、繰り返し判定部 2 2 3は、画素毎の棄却された回数と予め定めた閾値とを比較して、棄却された回数が閾値以上である画素を定常成分を含む画素であるとして、定常成分を含む画素を示す情報を定常成分情報として出力するようにしてもよい。この場合、頂点検出部 2 0 2乃至定常性方向検出部 2 0 5は、定常成分情報で示される、定常成分を含む画素を対象として、それぞれの処理を実行する。

図 6 0乃至図 6 7を参照して、非定常成分抽出の処理の結果の例を説明する。図 6 0は、細線が含まれる画像から、元の画像の 2 X 2の画素の画素値の平均値を画素値として生成した入力画像の例を示す図である。

図 6 1は、図 6 0で示される画像を、棄却をしないで平面で近似した結果得られる標準誤差を画素値とした画像を示す図である。，図 6 1で示される例において、注目している 1つの画素に対する 5 X 5の画素からなるブロックを平面で近似した。図 6 1において、白い画素はより大きい画素値、すなわち、より大きい標準誤差を有する画素であり、黒い画素はより小さい画素値、すなわち、より小さい標準誤差を有する画素である。

図 6 1から、棄却をしないで平面で近似した結果得られる標準誤差を画素値とした場合、非定常部の周辺に広く、大きな値が求められていることが確認できる。図 6 2乃至図 6 7で示される例において、注目している 1つの画素に対する 7 X 7の画素からなるプロックを平面で近似した。 7 X 7の画素からなるプロックを平面で近似する場合、 1つの画素が 4 9のブロックに繰り返し含まれることになるので、定常成分を含む画素は、最も多くて 4 9回、棄却されることになる。図 6 2は、図 6 0で示される画像を、棄却をして平面で近似したとき、得られる標準誤差を画素値とした画像である。

図 6 2において、白い画素はより大きい画素値、すなわち、より大きい標準誤差を有する画素であり、黒い画素はより小さい画素値、すなわち、より小さい標準誤差を有する画素である。棄却をしない場合に比較して、棄却をした場合、全体として、標準誤差がより小さくなることがわかる。

図 6 3は、図 6 0で示される画像を、棄却をして平面で近似したとき、棄却された回数を画素値とした画像を示す図である。図 6 3において、白い画素はより大きい画素値、すなわち、棄却された回数がより多い画素であり、黒い画素はより小さい画素値、すなわち、棄却された回数がより少ない画素である。

図 6 3から、細線の画像が射影された画素は、より多く棄却されていること力わかる。棄却された回数を画素値とした画像を用いて、入力画像の非定常部をマスクする画像を生成することも可能である。

図 6 4は、ブロックの画素値を近似した平面の空間方向 Xの傾きを画素値とした画像を示す図である。図 6 5は、プロックの画素値を近似した平面の空間方向 Yの傾きを画素値とした画像を示す図である。

図 6 6は、ブロックの画素値を近似した平面で示される近似値からなる画像を示す図である。図 6 6で示される画像からは、細線が消えていることがわかる。図 6 7は、図 6 0で示される、元の画像の 2 X 2の画素のプロックの平均値を画素の画素値として生成した画像と、図 6 6で示される、平面で示される近似値からなる画像との差分からなる画像を示す図である。図 6 7の画像の画素値は、非定常成分が除去されるので、細線の画像が射影された値のみを含む。図 6 7からもわかるように、元の画素値と近似した平面で示される近似値との差分からなる画像では、元の画像の定常成分がうまく抽出できていることが確認できる。棄却された回数、ブロックの画素の画素値を近似する平面の空間方向 Xの傾き、プロックの画素の画素値を近似する平面の空間方向 Yの傾き、プロックの画素の画素値を近似する平面で示される近似値、および誤差 eiは、入力画像の特徴量としても利用することができる。

図 6 8は、ステップ S 2 0 1に対応する、図 5 8に構成を示す非定常成分抽出部 2 0 1による、非定常成分の抽出の処理を説明するフローチャートである。ステップ S 2 2 1において、ブロック抽出部 2 2 1は、入力画素から、所定の数の画素からなるプロックを抽出し、抽出したブロックを平面近似部 2 2 2に供給する。例えば、ブロック抽出部 2 2 1は、入力画素から、まだ、選択されていない画素のうち、 1つの画素を選択し、選択された画素を中心とする 7 X 7の画素からなるブロックを抽出する。例えば、ブロック抽出部 2 2 1は、ラスタスキャン順に画素を選択することができる。

ステップ S 2 2 2において、平面近似部 2 2 2は、抽出されたブロックを平面で近似する。平面近似部 2 2 2は、例えば、回帰の処理により、抽出されたプロックの画素の画素値を、平面で近似する。例えば、平面近似部 2 2 2は、回帰の処理により、抽出されたプロックの画素のうち、棄却された画素を除いた画素の画素値を、平面で近似する。ステップ S 2 2 3において、繰り返し判定部 2 2 3 は、繰り返し判定を実行する。例えば、ブロックの画素の画素値と近似した平面の近似値とから標準誤差を算出し、棄却された画素の数を力ゥントすることにより、繰り返し判定を実行する。

ステップ S 2 2 4において、繰り返し判定部 2 2 3は、標準誤差が閾値以上であるか否かを判定し、標準誤差が閾値以上であると判定された場合、ステップ S 2 2 5に進む。

なお、ステップ S 2 2 4において、繰り返し判定部 2 2 3は、ブロックの画素のうち、半分以上の画素が棄却されたか否か、および標準誤差が閾値以上であるか否かを判定し、ブロックの画素のうち、半分以上の画素が棄却されておらず、標準誤差が閾値以上であると判定された場合、ステップ S 2 2 5に進むようにしてもよい。

ステップ S 2 2 5において、繰り返し判定部 2 2 3は、プロックの画素毎に、画素の画素値と近似した平面の近似値との誤差を算出し、誤差が最も大きい画素を棄却し、平面近似部 2 2 2に通知する。手続きは、ステップ S 2 2 2に戻り、棄却された画素を除いた、ブロックの画素を対象として、平面による近似の処理および繰り返し判定の処理が繰り返される。

ステップ S 2 2 5において、ラスタスキャン方向に 1画素ずつずれたブロックがステップ S 2 2 1の処理で抽出される場合、図 5 9に示すように、細線の成分を含む画素（図中の黒丸で示す）は、複数回棄却されることになる。

ステップ S 2 2 4において、標準誤差が閾値以上でないと判定された場合、ブ口ックが平面で近似されたので、ステップ S 2 2 6に進む。

なお、ステップ S 2 2 4において、繰り返し判定部 2 2 3は、プロックの画素のうち、半分以上の画素が棄却されたか否か、および標準誤差が閾値以上であるか否かを判定し、ブロックの画素のうち、半分以上の画素が棄却されたか、または標準誤差が閾値以上でないと判定された場合、ステップ S 2 2 5に進むようにステップ S 2 2 6において、繰り返し判定部 2 2 3は、プロックの画素の画素値を近似する平面の傾きおよび切片を、非定常成分情報として出力する。

ステップ S 2 2 7において、ブロック抽出部 2 2 1は、入力画像の 1つの画面の全画素について処理を終了したか否かを判定し、まだ処理の対象となってない画素があると判定された場合、ステップ S 2 2 1に戻り、まだ処理の対象となつていない画素からブロックを抽出して、上述した処理を繰り返す。

ステップ S 2 2 7において、入力画像の 1つの画面の全画素について、処理を終了したと判定された場合、処理は終了する。

このように、図 5 8に構成を示す非定常成分抽出部 2 0 1は、入力画像から非定常成分を抽出することができる。非定常成分抽出部 2 0 1が入力画像の非定常成分を抽出するので、頂点検出部 2 0 2および単調増減検出部 2 0 3は、入力画像と、非定常成分抽出部 2 0 1で抽出された非定常成分との差分を求めることにより、定常成分を含む差分を対象として処理を実行することができる。

なお、平面による近似の処理において算出される、棄却した場合の標準誤差、棄却しない場合の標準誤差、画素の棄却された回数、平面の空間方向 Xの傾き (式（2 4 ) における aハット）、平面の空間方向 Yの傾き（式（2 4 ) における bハット）、平面で置き換えたときのレベル（式（2 4 ) における cハツト）、および入力画像の画素値と平面で示される近似値との差分は、特徴量として利用することができる。

図 6 9は、ステップ S 2 0 1に対応する非定常成分の抽出の処理に代わる、図 5 8に構成を示す非定常成分抽出部 2 0 1による、定常成分の抽出の処理を説明するフローチャートである。ステップ S 2 4 1乃至ステップ S 2 4 5の処理は、ステップ S 2 2 1乃至ステップ S 2 2 5の処理と同様なので、その説明は省略する。

ステップ S 2 4 6において、繰り返し判定部 2 2 3は、平面で示される近似値と入力画像の画素値との差分を、入力画像の定常成分として出力する。すなわち、繰り返し判定部 2 2 3は、平面による近似値と、真値である画素値との差分を出力する。なお、繰り返し判定部 2 2 3は、平面で示される近似値と入力画像の画素値との差分が、所定の閾値以上である画素の画素値を、入力画像の定常成分として出力するようにしてもよい。

ステップ S 2 4 7の処理は、ステップ S 2 2 7の処理と同様なので、その説明は省略する。

平面が非定常成分を近似しているので、非定常成分抽出部 2 0 1は、入力画像の各画素の画素値から、画素値を近似する平面で示される近似値を引き算することにより、入力画像から非定常成分を除去することができる。この場合、頂点検出部 2 0 2乃至連続性検出部 2 0 4は、入力画像の定常成分、すなわち細線の画像が射影された値のみを処理の対象とすることができ、頂点検出部 2 0 2乃至連続性検出部 2 0 4における処理がより容易になる。

図 7 0は、ステップ S 2 0 1に対応する非定常成分の抽出の処理に代わる、図 5 8に構成を示す非定常成分抽出部 2 ◦ 1による、定常成分の抽出の他の処理を説明するフローチヤ一トである。ステップ S 2 6 1乃至ステップ S 2 6 5の処理は、ステップ S 2 2 1乃至ステップ S 2 2 5の処理と同様なので、その説明は省略する。

ステップ S 2 6 6において、繰り返し判定部 2 2 3は、画素毎の、棄却の回数を記憶し、ステップ S 2 6 2に戻り、処理を繰り返す。

ステップ S 2 6 4において、標準誤差が閾値以上でないと判定された場合、ブロックが平面で近似されたので、ステップ S 2 6 7に進み、繰り返し判定部 2 2 3は、入力画像の 1つの画面の全画素について処理を終了したか否かを判定し、まだ処理の対象となってない画素があると判定された場合、ステップ S 2 6 1に戻り、まだ処理の対象となっていない画素についてプロックを抽出して、上述した処理を繰り返す。

ステップ S 2 6 7において、入力画像の 1つの画面の全画素について、処理を終了したと判定された場合、ステップ S 2 6 8に進み、繰り返し判定部 2 2 3は、まだ選択されていない画素から 1つの画素を選択し、選択された画素について、棄却の回数が、閾値以上であるか否かを判定する。例えば、繰り返し判定部 2 2 3は、ステップ S 2 6 8において、選択された画素について、棄却の回数が、予め記憶している閾値以上であるか否かを判定する。

ステップ S 2 6 8において、選択された画素について、棄却の回数が、閾値以上であると判定された場合、選択された画素が定常成分を含むので、ステップ S 2 6 9に進み、繰り返し判定部 2 2 3は、選択された画素の画素値（入力画像における画素値）を入力画像の定常成分として出力し、ステップ S 2 7 0に進む。ステップ S 2 6 8において、選択された画素について、棄却の回数が、閾値以上でないと判定された場合、選択された画素が定常成分を含まないので、ステツプ S 2 6 9の処理をスキップして、手続きは、ステップ S 2 7 0に進む。すなわち、棄却の回数が、閾値以上でないと判定された画素は、画素値が出力されない。なお、棄却の回数が、閾値以上でないと判定された画素について、繰り返し判定部 2 2 3は、 0を設定した画素値を出力するようにしてもよい。

ステップ S 2 7 0において、操り返し判定部 2 2 3は、入力画像の 1つの画面の全画素について、棄却の回数が閾値以上であるか否かの判定の処理を終了したか否かを判定し、全画素について処理を終了していないと判定された場合、まだ処理の対象となってない画素があるので、ステップ S 2 6 8に戻り、まだ処理の対象となっていない画素から 1つの画素を選択して、上述した処理を繰り返す。ステップ S 2 7 0において、入力画像の 1つの画面の全画素について処理を終了したと判定された場合、処理は終了する。

このように、非定常成分抽出部 2 0 1は、定常成分情報として、入力画像の画素のうち、定常成分を含む画素の画素値を出力することができる。すなわち、非定常成分抽出部 2 0 1は、入力画像の画素のうち、細線の画像の成分を含む画素の画素値を出力することができる。

図 7 1は、ステップ S 2 0 1に対応する非定常成分の抽出の処理に代わる、図 5 8に構成を示す非定常成分抽出部 2 0 1による、定常成分の抽出のさらに他の処理を説明するフローチヤ一トである。ステップ S 2 8 1乃至ステップ S 2 8 8 の処理は、ステップ S 2 6 1乃至ステップ S 2 6 8の処理と同様なので、その説明は省略する。

ステップ S 2 8 9において、繰り返し判定部 2 2 3は、平面で示される近似値と、選択された面素の画素値との差分を入力画像の定常成分として出力する。すなわち、繰り返し判定部 2 2 3は、入力画像から非定常成分を除去した画像を定常性情報として出力する。

ステップ S 2 9 0の処理は、ステップ S 2 7◦の処理と同様なので、その説明は省略する。

このように、非定常成分抽出部 2 0 1は、入力画像から非定常成分を除去した画像を定常性情報として出力することができる。

以上のように、現実世界の光信号が射影され、現実世界の光信号の定常性の一部が欠落した、第 1の画像データの複数の画素の画素値の不連続部を検出し、検出された不連続部からデータの定常性を検出し、検出されたデータの定常性を基に、現実世界の光信号の定常性を推定することにより光信号を近似するモデル (関数）を生成し、生成された関数に基づき第 2の画像データを生成するようにした場合、現実世界の事象に対して、より正確で、より精度の高い処理結果を得ることができるようになる。

図 7 2は、データ定常性検出部 1 0 1の他の構成を示すブロック図である。図 7 2に構成を示すデータ定常性検出部 1 0 1においては、注目している画素である注目画素について、入力画像の空間方向に対する画素値の変化、すなわち入力画像の空間方向のァクテイビティが検出され、検出されたァクティビティに応じて、注目画素および基準軸を基準とした角度毎に、垂直方向に 1列または水平方向に 1列の所定の数の画素からなる画素の組が、複数抽出され、抽出された画素の組の相関が検出され、相関に基づいて、入力画像における、基準軸を基準としたデータの定常性の角度が検出される。

データの定常性の角度とは、基準軸と、データ 3が有している、一定の特徴が繰り返し現れる所定の次元の方向とがなす角度をいう。一定の特徴が繰り返し現 PC觀麵纏

83

れるとは、例えば、データ 3における位置の変化に対する値の変化、すなわち断面形状が同じである場合などをいう。

基準軸は、例えば、空間方向 Xを示す軸（画面の水平方向）、または空間方向 Yを示す軸（画面の垂直方向）などとすることができる。

入力画像は、アクティビティ検出部 4 0 1およびデータ選択部 4 0 2に供給される。

ァクティビティ検出部 4 0 1は、入力画像の空間方向に対する画素値の変化、すなわち空間方向のァクティビティを検出して、検出した結果を示すァクティビティ情報をデータ選択部 4 0 2および定常方向導出部 4 0 4に供給する。

例えば、アクティビティ検出部 4 0 1は、画面の水平方向に対する画素値の変化、および画面の垂直方向に対する画素値の変化を検出し、検出された水平方向に対する画素値の変化および垂直方向に対する画素値の変化を比較することにより、垂直方向に対する画素値の変化に比較して、水平方向に対する画素値の変化が大きいか、または水平方向に対する画素値の変化に比較して、垂直方向に対する画素値の変化が大きいかを検出する。

アクティビティ検出部 4 0 1は、検出の結果である、垂直方向に対する画素値の変化に比較して、水平方向に対する画素値の変化が大きいことを示すか、または水平方向に対する画素値の変化に比較して、垂直方向に対する画素値の変化が大きいことを示すァクティビティ情報をデータ選択部 4 0 2および定常方向導出部 4 0 4に供給する。

垂直方向に対する画素値の変化に比較して、水平方向に対する画素値の変化が大きい場合、例えば、図 7 3で示されるように、垂直方向に 1列の画素に円弧形状（かまぼこ型）またはつめ形状が形成され、円弧形状またはつめ形状が垂直により近い方向に繰り返して形成されている。すなわち、垂直方向に対する画素値の変化に比較して、水平方向に対する画素値の変化が大きい場合、基準軸を空間方向 Xを示す軸とすると、入力画像における、基準軸を基準としたデータの定常性の角度は、 4 5度乃至 9 0度のいずれかの値である。水平方向に対する画素値の変化に比較して、垂直方向に対する画素値の変化が大きい場合、例えば、水平方向に 1列の画素に円弧形状またはつめ形状が形成され、円弧形状またはつめ形状が水平方向により近い方向に繰り返して形成されている。すなわち、水平方向に対する画素値の変化に比較して、垂直方向に対する画素値の変化が大きい場合、基準軸を空間方向 Xを示す軸とすると、入力画像における、基準軸を基準としたデータの定常性の角度は、 0度乃至 45度のいずれかの値である。

例えば、アクティビティ検出部 40 1は、図 74で示される、注目画素を中心とした 3 X 3の 9つの画素からなるプロックを入力画像から抽出する。ァクティビティ検出部 40 1は、縦に隣接する画素についての画素値の差分の和、および横に隣接する画素についての画素値の差分の和を算出する。横に隣接する画素についての画素値の差分の和 h_{di ff} は、式（27) で求められる。

h_{dif f} =∑ (P_{i + 1}，厂 j) · ■ · (27) 同様に、縦に隣接する画素についての画素値の差分の和 v_{di ff} は、式（2 8) で求められる。

d i f f ∑ (P -Pi, :) (28) 式（27) および式（28) において、 Pは、画素値を示し、 iは、画素の横方向の位置を示し、 jは、画素の縦方向の位置を示す。

ァクティビティ検出部 40 1は、算出された横に隣接する画素についての画素値の差分の和 h_{di f f} および縦に隣接する画素についての画素値の差分の和 v_{di f f} を比較して、入力画像における、基準軸を基準としたデータの定常性の角度の範囲を判定するようにしてもよい。すなわち、この場合、アクティビティ検出部 4 0 1は、空間方向の位置に対する画素値の変化で示される形状が水平方向に繰り返して形成されているか、垂直方向に繰り返して形成されているかを判定する。例えば、横に 1列の画素上に形成された円弧についての横方向の画素値の変化は、縦方向の画素値の変化に比較して大きく、横に 1列の画素上に形成された円弧についての縦方向の画素値の変化は、横方向の画素値の変化に比較して大きく、データの定常性の方向、すなわち、データ 3である入力画像が有している、一定の特徴の所定の次元の方向の変化は、データの定常性に直交する方向の変化に比較して小さいと言える。言い換えれば、データの定常性の方向の差分に比較して、データの定常性の方向に直交する方向（以下、非定常方向とも称する）の差分は大きい。

例えば、図 7 5に示すように、アクティビティ検出部 4 0 1は、算出された横に隣接する画素についての画素値の差分の和 h_{d i f f} および縦に隣接する画素についての画素値の差分の和 v_{d i f f} を比較して、横に隣接する画素についての画素値の差分の和 h_{d i f f} が大きい場合、基準軸を基準としたデータの定常性の角度が、 4 5度乃至 1 3 5度のいずれかの値であると判定し、縦に隣接する画素についての画素値の差分の和 v_{d i f f} が大きい場合、基準軸を基準としたデータの定常性の角度が、 0度乃至 4 5度のいずれかの値、または 1 3 5度乃至 1 8 0度のいずれかの値であると判定する。

例えば、アクティビティ検出部 4 0 1は、判定の結果を示すアクティビティ情報をデータ選択部 4 0 2および定常方向導出部 4 0 4に供給する。

なお、アクティビティ検出部 4 0 1は、 5 X 5の 2 5の画素からなるプロック、または 7 X 7の 4 9の画素からなるプロックなど、任意の大きさのプロックを抽出して、アクティビティを検出することができる。

データ選択部 4 0 2は、入力画像の画素から注目画素を順に選択し、ァクティビティ検出部 4 0 1から供給されたアクティビティ情報を基に、注目画素おょぴ基準軸を基準とした角度毎に、垂直方向に 1列または水平方向に 1列の所定の数の画素からなる画素の組を、複数抽出する。

例えば、アクティビティ情報が垂直方向に対する画素値の変化に比較して、水平方向に対する画素値の変化が大きいことを示しているとき、データの定常性の角度が、 4 5度乃至 1 3 5度のいずれかの値なので、データ選択部 4 0 2は、注目画素および基準軸を基準とした 4 5度乃至 1 3 5度の範囲の所定の角度毎に、垂直方向に 1列の所定の数の画素からなる画素の組を、複数抽出する。ァクティビティ情報が水平方向に対する画素値の変化に比較して、垂直方向に対する画素値の変化が大きいことを示しているとき、データの定常性の角度が、 0度乃至 4 5度または 1 3 5度乃至 1 8 0度のいずれかの値なので、データ選択部 4 0 2は、注目画素および基準軸を基準とした 0度乃至 4 5度または 1 3 5度乃至 1 8 0度の範囲の所定の角度毎に、水平方向に 1列の所定の数の画素からなる画素の組を、複数抽出する。

また、例えば、データの定常性の角度が 4 5度乃至 1 3 5度のいずれかの値であることを、アクティビティ情報が示しているとき、データ選択部 4 0 2は、注目画素および基準軸を基準とした 4 5度乃至 1 3 5度の範囲の所定の角度毎に、垂直方向に 1列の所定の数の画素からなる画素の組を、複数抽出する。

データの定常性の角度が 0度乃至 4 5度または 1 3 5度乃至 1 8 0度のいずれかの値であることを、アクティビティ情報が示しているとき、データ選択部 4 0 2は、注目画素および基準軸を基準とした 0度乃至 4 5度または 1 3 5度乃至 1 8 0度の範囲の所定の角度毎に、水平方向に 1列の所定の数の画素からなる画素の組を、複数抽出する。

データ選択部 4 0 2は、抽出した画素からなる複数の組を誤差推定部 4 0 3に供給する。

誤差推定部 4 0 3は、抽出した画素からなる複数の組について、角度毎に、画素の組の相関を検出する。

例えば、誤差推定部 4 0 3は、 1つの角度に対応する、垂直方向に 1列の所定の数の画素からなる画素の複数の組について、画素の組における対応する位置の画素の画素値の相関を検出する。誤差推定部 4 0 3は、 1つの角度に対応する、水平方向に 1列の所定の数の画素からなる画素の複数の組について、組における対応する位置の画素の画素値の相関を検出する。

誤差推定部 4 0 3は、検出した相関を示す相関情報を定常方向導出部 4 0 4に供給する。誤差推定部 4 0 3は、相関を示す値として、データ選択部 4 0 2から供給された、注目画素を含む組の画素の画素値と、他の組における対応する位置の画素の画素値の差分の絶対値の和を算出し、差分の絶対値の和を相関情報として定常方向導出部 4 0 4に供給する。

定常方向導出部 4 0 4は、誤差推定部 4 0 3から供給された相関情報に基いて、欠落した実世界 1の光信号の定常性に対応する、入力画像における、基準軸を基準としたデータの定常性の角度を検出し、角度を示すデータ定常性情報を出力する。例えば、定常方向導出部 4 0 4は、誤差推定部 4 0 3から供給された相関情報に基いて、データの定常性の角度として、最も相関の強い画素の組に対する角度を検出し、検出された最も相関の強い画素の組に対する角度を示すデータ定常性情報を出力する。

以下の説明において、適宜、 0度乃至 9 0度の範囲（いわゆる第 1象限）のデータの定常性の角度を検出するものとして説明する。

図 7 6は、図 7 2に示すデータ定常性検出部 1 0 1のより詳細な構成を示すブ口ック図である。

データ選択部 4 0 2は、画素選択部 4 1 1一 1乃至画素選択部 4 1 1一 Lを含む。誤差推定部 4 0 3は、推定誤差算出部 4 1 2— 1乃至推定誤差算出部 4 1 2 一 Lを含む。定常方向導出部 4 0 4は、最小誤差角度選択部 4 1 3を含む。

まず、アクティビティ情報で示される、データの定常性の角度が 4 5度乃至 1 3 5度のいずれかの値であるときの画素選択部 4 1 1 - 1乃至画素選択部 4 1 1 一 Lの処理を説明する。

画素選択部 4 1 1一 1乃至画素選択部 4 1 1一 Lは、空間方向 Xを示す軸を基準軸として、注目画素を通る、それぞれ異なる所定の角度の直線を設定する。画素選択部 4 1 1一 1乃至画素選択部 4 1 1一 Lは、注目画素が属する縦に 1列の画素の列に属する画素であって、注目画素の上側の所定の数の画素、および注目画素の下側の所定の数の画素、並びに注目画素を画素の組として選択する。

例えば、図 7 7で示されるように、画素選択部 4 1 1一 1乃至画素選択部 4 1 1一 Lは、注目画素が属する縦に 1列の画素の列に属する画素から、注目画素を中心として 9つの画素を画素の組として選択する。図 7 7において、マス目状の 1つの四角（1つのマス目）は、 1つの画素を示す。図 7 7において、中央に示す丸は、注目画素を示す。

画素選択部 4 1 1一 1乃至画素選択部 4 1 1 _ Lは、注目画素が属する縦に 1 列の画素の列の、左側の縦に 1列の画素の列に属する画素であって、それぞれに設定された直線に最も近い位置の画素を選択する。図 7 7において、注目画素の左下側の丸は、選択された画素の例を示す。そして、画素選択部 4 1 1一 1乃至画素選択部 4 1 1一 Lは、注目画素が属する縦に 1列の画素の列の、左側の縦に 1列の画素の列に属する画素であって、選択された画素の上側の所定の数の画素、および選択された画素の下側の所定の数の画素、並びに選択された画素を画素の組として選択する。

例えば、図 7 7で示されるように、画素選択部 4 1 1一 1乃至画素選択部 4 1 1一 Lは、注目画素が属する縦に 1列の画素の列の、左側の縦に 1列の画素の列に属する画素から、直線に最も近い位置の画素を中心として 9つの画素を画素の組として選択する。

画素選択部 4 1 1一 1乃至画素選択部 4 1 1一 Lは、注目画素が属する縦に 1 列の画素の列の、左側に 2つめの縦に 1列の画素の列に属する画素であって、それぞれに設定された直線に最も近い位置の画素を選択する。図 7 7において、最も左側の丸は、選択された画素の例を示す。そして、画素選択部 4 1 1一 1乃至画素選択部 4 1 1一 Lは、注目画素が属する縦に 1列の画素の列の、左側に 2つめの縦に 1列の画素の列に属する画素であって、選択された画素の上側の所定の数の画素、および選択された画素の下側の所定の数の画素、並びに選択された画素を画素の組として選択する。

例えば、図 7 7で示されるように、画素選択部 4 1 1一 1乃至画素選択部 4 1 1一 Lは、注目画素が属する縦に 1列の画素の列の、左側に 2つめの縦に 1列の画素の列に属する画素から、直線に最も近い位置の画素を中心として 9つの画素を画素の組として選択する。

画素選択部 4 1 1一 1乃至画素選択部 4 1 1一 Lは、注目画素が属する縦に 1 列の画素の列の、右側の縦に 1列の画素の列に属する画素であって、それぞれに設定された直線に最も近い位置の画素を選択する。図 7 7において、注目画素の右上側の丸は、選択された画素の例を示す。そして、画素選択部 4 1 1— 1乃至画素選択部 4 1 1一 Lは、注目画素が属する縦に 1列の画素の列の、右側の縦に 1列の画素の列に属する画素であって、選択された画素の上側の所定の数の画素、および選択された画素の下側の所定の数の画素、並びに選択された画素を画素の組として選択する。

例えば、図 7 7で示されるように、画素選択部 4 1 1一 1乃至画素選択部 4 1 1一 Lは、注目画素が属する縦に 1列の画素の列の、右側の縦に 1列の画素の列に属する画素から、直線に最も近い位置の画素を中心として 9つの画素を画素の組として選択する。

画素選択部 4 1 1 - 1乃至画素選択部 4 1 1一 Lは、注目画素が属する縦に 1 列の画素の列の、右側に 2つめの縦に 1列の画素の列に属する画素であって、それぞれに設定された直線に最も近い位置の画素を選択する。図 7 7において、最も右側の丸は、このように選択された画素の例を示す。そして、画素選択部 4 1 1— 1乃至画素選択部 4 1 1—Lは、注目画素が属する縦に 1列の画素の列の、右側に 2つめの縦に 1列の画素の列に属する画素であって、選択された画素の上側の所定の数の画素、および選択された画素の下側の所定の数の画素、並びに選択された画素を画素の組として選択する。

例えば、図 7 7で示されるように、画素選択部 4 1 1 - 1乃至画素選択部 4 1 1一 Lは、注目画素が属する縦に 1列の画素の列の、右側に 2つめの縦に 1列の画素の列に属する画素から、直線に最も近い位置の画素を中心として 9つの画素を画素の組として選択する。

このように、画素選択部 4 1 1— 1乃至画素選択部 4 1 1 _ Lは、それぞれ、画素の組を 5つ選択する。

画素選択部 4 1 1一 1乃至画素選択部 4 1 1一 Lは、互いに異なる角度（に設定された直線）についての、画素の組を選択する。例えば、画素選択部 4 1 1 - 1は、 4 5度についての、画素の組を選択し、画素選択部⁴ 1 1一 ²は、 4 7 . 5度についての、画素の組を選択し、画素選択部 4 1 1一 3は、 5 0度についての、画素の組を選択する。画素選択部 4 1 1 - 1乃至画素選択部 4 1 1一 Lは、 5 2 . 5度から 1 3 5度までの、 2 . 5度毎の角度についての、画素の組を選択する。

なお、画素の組の数は、例えば、 3つ、または 7つなど、任意の数とすることができ、本発明を限定するものではない。また、 1つの組として選択された画素の数は、例えば、 5つ、または 1 3など、任意の数とすることができ、本発明を限定するものではない。

なお、画素選択部 4 1 1一 1乃至画素選択部 4 1 1一 Lは、縦方向に所定の範囲の画素から、画素の組を選択するようにすることができる。例えば、画素選択部 4 1 1一 1乃至画素選択部 4 1 1一 Lは、縦方向に 1 2 1個の画素（注目画素に対して、上方向に 6 0画素、下方向に 6 0画素）から、画素の組を選択する。この場合、データ定常性検出部 1 0 1は、空間方向 Xを示す軸に対して、 8 8 . 0 9度まで、データの定常性の角度を検出することができる。

画素選択部 4 1 1一 1は、選択した画素の組を推定誤差算出部 4 1 2— 1に供給し、画素選択部 4 1 1一 2は、選択した画素の組を推定誤差算出部 4 1 2 - 2 に供給する。同様に、画素選択部 4 1 1一 3乃至画素選択部 4 1 1一 Lのそれぞれは、選択した画素の組を推定誤差算出部 4 1 2— 3乃至推定誤差算出部 4 1 2 一 Lのそれぞれに供給する。

推定誤差算出部 4 1 2— 1乃至推定誤差算出部 4 1 2— Lは、画素選択部 4 1 1一 1乃至画素選択部 4 1 1—Lのいずれかから供給された、複数の組における対応する位置の画素の画素値の相関を検出する。例えば、推定誤差算出部 4 1 2 一 1乃至推定誤差算出部 4 1 2— Lは、相関を示す値として、画素選択部 4 1 1 一 1乃至画素選択部 4 1 1一 Lのいずれかから供給された、注目画素を含む組の画素の画素値と、他の組における対応する位置の画素の画素値の差分の絶対値の和を算出する。より具体的には、推定誤差算出部 4 1 2— 1乃至推定誤差算出部 4 1 2— Lは、画素選択部 4 1 1一 1乃至画素選択部 4 1 1一 Lのいずれかから供給された、注目画素を含む組の画素の画素値と、注目画素の左側の縦に 1列の画素の列に属する画素からなる組の画素の画素値とを基に、最も上の画素の画素値の差分を算出し、上から 2番目の画素の画素値の差分を算出するように、上の画素から順に画素値の差分の絶対値を算出して、さらに、算出された差分の絶対値の和を算出する。推定誤差算出部 4 1 2— 1乃至推定誤差算出部 4 1 2— Lは、画素選択部 4 1 1一 1乃至画素選択部 4 1 1一 Lのいずれかから供給された、注目画素を含む組の画素の画素値と、注目画素の左に 2つめの縦に 1列の画素の列に属する画素からなる組の画素の画素値とを基に、上の画素から順に画素値の差分の絶対値を算出して、算出された差分の絶対値の和を算出する。

そして、推定誤差算出部 4 1 2— 1乃至推定誤差算出部 4 1 2— Lは、画素選択部 4 1 1 - 1乃至画素選択部 4 1 1一 Lのいずれかから供給された、注目画素を含む組の画素の画素値と、注目画素の右側の縦に 1列の画素の列に属する画素からなる組の画素の画素値とを基に、最も上の画素の画素値の差分を算出し、上から 2番目の画素の画素値の差分を算出するように、上の画素から順に画素値の差分の絶対値を算出して、さらに、算出された差分の絶対値の和を算出する。推定誤差算出部 4 1 2— 1乃至推定誤差算出部 4 1 2— Lは、画素選択部 4 1 1一 1乃至画素選択部 4 1 1一 Lのいずれかから供給された、注目画素を含む組の画素の画素値と、注目画素の右に 2つめの縦に 1列の画素の列に属する画素からなる組の画素の画素値とを基に、上の画素から順に画素値の差分の絶対値を算出して、算出された差分の絶対値の和を算出する。

推定誤差算出部 4 1 2 _ 1乃至推定誤差算出部 4 1 2— Lは、このように算出された画素値の差分の絶対値の和を全て加算して、画素値の差分の絶対値の総和を算出する。

推定誤差算出部 4 1 2— 1乃至推定誤差算出部 4 1 2— Lは、検出された相関を示す情報を、最小誤差角度選択部 4 1 3に供給する。例えば、推定誤差算出部 4 1 2— 1乃至推定誤差算出部 4 1 2— Lは、算出された画素値の差分の絶対値の総和を最小誤差角度選択部 4 1 3に供給する。

なお、推定誤差算出部 4 1 2— 1乃至推定誤差算出部 4 1 2— Lは、画素値の差分の絶対値の和に限らず、画素値の差分の自乗の和、または画素値を基にした相関係数など他の値を相関値として算出するようにすることができる。

最小誤差角度選択部 4 1 3は、互いに異なる角度についての、推定誤差算出部 4 1 2— 1乃至推定誤差算出部 4 1 2— Lにおいて検出された相関に基いて、欠落した実世界 1の光信号である画像の定常性に対応する、入力画像における、基準軸を基準としたデータの定常性の角度を検出する。すなわち、最小誤差角度選択部 4 1 3は、互いに異なる角度についての、推定誤差算出部 4 1 2— 1乃至推定誤差算出部 4 1 2— Lにおいて検出された相関に基いて、最も強い相関を選択し、選択された相関が検出された角度を、基準軸を基準としたデータの定常性の角度とすることにより、入力画像における、基準軸を基準としたデータの定常性の角度を検出する。

例えば、最小誤差角度選択部 4 1 3は、推定誤差算出部 4 1 2 - 1乃至推定誤差算出部 4 1 2— Lから供給された、画素値の差分の絶対値の総和のうち、最小の総和を選択する。最小誤差角度選択部 4 1 3は、選択された総和が算出された画素の組について、注目画素に対して、左側に 2つめの縦に 1列の画素の列に属する画素であって、直線に最も近い位置の画素の位置、および、注目画素に対して、右側に 2つめの縦に 1列の画素の列に属する画素であって、直線に最も近い位置の画素の位置を参照する。

図 7 7で示されるように、最小誤差角度選択部 4 1 3は、注目画素の位置に対する、参照する画素の位置の縦方向の距離 Sを求める。最小誤差角度選択部 4 1 3は、図 7 8で示すように、式（2 9 ) から、欠落した実世界 1の光信号の定常性に対応する、画像データである入力画像における、基準軸である空間方向 X を示す軸を基準としたデータの定常性の角度 0を検出する。

0 =tan— ¹ (s/2) · ■ · ( 2 9 ) 次に、アクティビティ情報で示される、データの定常性の角度が 0度乃至 4 5 度おょぴ 1 3 5度乃至 1 8 0度のいずれかの値であるときの画素選択部 4 1 1 - 1乃至画素選択部 4 1 1一 Lの処理を説明する。

画素選択部 4 1 1一 1乃至画素選択部 4 1 1一 Lは、空間方向 Xを示す軸を基準軸として、注目画素を通る、所定の角度の直線を設定し、注目画素が属する横に 1列の画素の列に属する画素であって、注目画素の左側の所定の数の画素、おょぴ注目画素の右側の所定の数の画素、並びに注目画素を画素の組として選択する。

画素選択部 4 1 1 - 1乃至画素選択部 4 1 1一 Lは、注目画素が属する横に 1 列の画素の列の、上側の横に 1列の画素の列に属する画素であって、それぞれに設定された直線に最も近い位置の画素を選択する。そして、画素選択部 4 1 1 - 1乃至画素選択部 4 1 1一 Lは、注目画素が属する横に 1列の画素の列の、上側の横に 1列の画素の列に属する画素であって、選択された画素の左側の所定の数の画素、および選択された画素の右側の所定の数の画素、並びに選択された画素を画素の組として選択する。

画素選択部 4 1 1— 1乃至画素選択部 4 1 1一 Lは、注目画素が属する横に 1 列の画素の列の、上側に 2つめの横に 1列の画素の列に属する画素であって、それぞれに設定された直線に最も近い位置の画素を選択する。そして、画素選択部 4 1 1一 1乃至画素選択部 4 1 1 _ Lは、注目画素が属する横に 1列の画素の列の、上側に 2つめの横に 1列の画素の列に属する画素であって、選択された画素の左側の所定の数の画素、および選択された画素の右側の所定の数の画素、並びに選択された画素を画素の組として選択する。

画素選択部 4 1 1一 1乃至画素選択部 4 1 1一 Lは、注目画素が属する横に 1 列の画素の列の、下側の横に 1列の画素の列に属する画素であって、それぞれに設定された直線に最も近い位置の画素を選択する。そして、画素選択部 4 1 1一 1乃至画素選択部 4 1 1一 Lは、注目画素が属する横に 1列の画素の列の、下側の横に 1列の画素の列に属する画素であって、選択された画素の左側の所定の数の画素、および選択された画素の右側の所定の数の画素、並びに選択された画素を画素の組として選択する。

画素選択部 4 1 1一 1乃至画素選択部 4 1 1一 Lは、注目画素が属する横に 1 列の画素の列の、下側に 2つめの横に 1列の画素の列に属する画素であって、それぞれに設定された直線に最も近い位置の画素を選択する。そして、画素選択部 4 1 1一 1乃至画素選択部 4 1 1一 Lは、注目画素が属する横に 1列の画素の列の、下側に 2つめの横に 1列の画素の列に属する画素であって、選択された画素の左側の所定の数の画素、および選択された画素の右側の所定の数の画素、並びに選択された画素を画素の組として選択する。

このように、画素選択部 4 1 1 _ 1乃至画素選択部 4 1 1一 Lは、それぞれ、画素の組を 5つ選択する。

画素選択部 4 1 1— 1乃至画素選択部 4 1 1一 Lは、互いに異なる角度についての、画素の組を選択する。例えば、画素選択部 4 1 1一 1は、 0度についての、画素の組を選択し、画素選択部 4 1 1一 2は、 2 . 5度についての、画素の組を選択し、画素選択部 4 1 1— 3は、 5度についての、画素の組を選択する。画素選択部 4 1 1一 1乃至画素選択部 4 1 1—Lは、 7 . 5度から 4 5度おょぴ 1 3 5度から 1 8 0度までの、 2 . 5度毎の角度についての、画素の組を選択する。画素選択部 4 1 1一 1は、選択した画素の組を推定誤差算出部 4 1 2— 1に供給し、画素選択部 4 1 1一 2は、選択した画素の組を推定誤差算出部 4 1 2 - 2 に供給する。同様に、画素選択部 4 1 1一 3乃至画素選択部 4 1 1一 Lのそれぞれは、選択した画素の組を推定誤差算出部 4 1 2— 3乃至推定誤差算出部 4 1 2 一 Lのそれぞれに供給する。

推定誤差算出部 4 1 2— 1乃至推定誤差算出部 4 1 2— Lは、画素選択部 4 1 1一 1乃至画素選択部 4 1 1一 Lのいずれかから供給された、複数の組における対応する位置の画素の画素値の相関を検出する。推定誤差算出部 4 1 2— 1乃至推定誤差算出部 4 1 2— Lは、検出された相関を示す情報を、最小誤差角度選択部 4 1 3に供給する。最小誤差角度選択部 4 1 3は、推定誤差算出部 4 1 2— 1乃至推定誤差算出部 4 1 2— Lにおいて検出された相関に基いて、欠落した実世界 1の光信号である画像の定常性に対応する、入力画像における、基準軸を基準としたデータの定常性の角度を検出する。

次に、図 7 9のフローチャートを参照して、ステップ S 1 0 1の処理に対応する、図 7 2で構成が示されるデータ定常性検出部 1 0 1による、データの定常性の検出の処理を説明する。

ステップ S 4 0 1において、ァクティビティ検出部 4 0 1およびデータ選択部

4 0 2は、入力画像から、注目している画素である注目画素を選択する。ァクテイビティ検出部 4 0 1およびデータ選択部 4 0 2は、同一の注目画素を選択する。例えば、アクティビティ検出部 4 0 1およびデータ選択部 4 0 2は、入力画像から、ラスタスキャン順に、注目画素を選択する。

ステップ S 4 0 2において、アクティビティ検出部 4 0 1は、注目画素に対するアクティビティを検出する。例えば、アクティビティ検出部 4 0 1は、注目画素を中心とした所定の数の画素からなるプロックの縦方向に並ぶ画素の画素値の差分および横方向に並ぶ画素の画素値の差分を基に、ァクティビティを検出する。ァクティビティ検出部 4 0 1は、注目画素に対する空間方向のァクティビティを検出して、検出した結果を示すァクティビティ情報をデータ選択部 4 0 2および定常方向導出部 4 0 4に供給する。

ステップ S 4 0 3において、データ選択部 4 0 2は、注目画素を含む画素の列から、注目画素を中心とした所定の数の画素を、画素の組として選択する。例えば、データ選択部 4 0 2は、注目画素が属する縦または横に 1列の画素の列に属する画素であって、注目画素の上側または左側の所定の数の画素、および注目画素の下側または右側の所定の数の画素、並びに注目画素を画素の組として選択する。

ステップ S 4 0 4において、データ選択部 4 0 2は、ステップ S 4 0 2の処理で検出されたアクティビティを基にした、所定の範囲の角度毎に、所定の数の画素の列から、それぞれ所定の数の画素を、画素の組として選択する。例えば、データ選択部 4 0 2は、所定の範囲の角度を有し、空間方向 Xを示す軸を基準軸として、注目画素を通る直線を設定し、注目画素に対して、横方向または縦方向に 1列または 2列離れた画素であって、直線に最も近い画素を選択し、選択された画素の上側または左側の所定の数の画素、および選択された画素の下側または右側の所定の数の画素、並びに線に最も近い選択された画素を画素の組として選択する。データ選択部 4 0 2は、角度毎に、画素の組を選択する。

データ選択部 4 0 2は、選択した画素の組を誤差推定部 4 0 3に供給する。ステップ S 4 0 5において、誤差推定部 4 0 3は、注目画素を中心とした画素の組と、角度毎に選択した画素の組との相関を計算する。例えば、誤差推定部 4 0 3は、角度毎に、注目画素を含む組の画素の画素値と、他の組における対応する位置の画素の画素値の差分の絶対値の和を算出する。

角度毎に選択された、画素の組の相互の相関を基に、データの定常性の角度を検出するようにしてもよい。

誤差推定部 4 0 3は、算出された相関を示す情報を、定常方向導出部 4 0 4に供給する。

ステップ S 4 0 6において、定常方向導出部 4 0 4は、ステップ S 4 0 5の処理で算出された相関を基に、相関が最も強い画素の組の位置から、欠落した実世界 1の光信号の定常性に対応する、画像データである入力画像における、基準軸を基準としたデータの定常性の角度を検出する。例えば、定常方向導出部 4 0 4 は、画素値の差分の絶対値の総和のうち、最小の総和を選択し、選択された総和が算出された画素の組の位置から、データの定常性の角度 0を検出する。

定常方向導出部 4 0 4は、検出したデータの定常性の角度を示すデータ定常性情報を出力する。

ステップ S 4 0 7において、データ選択部 4 0 2は、全ての画素の処理を終了したか否かを判定し、全ての画素の処理を終了していないと判定された場合、ステツプ S 4 0 1に戻り、まだ注目画素として選択されていない画素から注目画素 JP2004/001488

97

を選択して、上述した処理を繰り返す。

ステップ S 4 0 7において、全ての画素の処理を終了したと判定された場合、処理は終了する。

このように、データ定常性検出部 1 0 1は、欠落した実世界 1の光信号の定常性に対応する、画像データにおける、基準軸を基準としたデータの定常性の角度を検出することができる。

なお、図 7 2で構成が示されるデータ検出部 1 0 1は、注目しているフレームである注目フレームの、注目している画素である注目画素について、入力画像の空間方向のアクティビティを検出し、検出されたアクティビティに応じて、注目画素おょぴ空間方向の基準軸を基準とした角度、並びに動きベクトル毎に、注目フレームおよび注目フレームの時間的に前または後ろのフレームのそれぞれから、垂直方向に 1列または水平方向に 1列の所定の数の画素からなる画素の組を、複数抽出し、抽出された画素の組の相関を検出し、相関に基づいて、入力画像における、時間方向および空間方向のデータの定常性の角度を検出するようにしてもよい。

例えば、図 8 0に示すように、データ選択部 4 0 2は、検出されたァクテイビティに応じて、注目画素および空間方向の基準軸を基準とした角度、並びに動きベクトル毎に、注目フレームであるフレーム #n、フレーム #n- 1、およびフレーム #n+ lのそれぞれから、垂直方向に 1列または水平方向に 1列の所定の数の画素からなる画素の組を、複数抽出する。

フレーム -1は、フレーム #nに対して時間的に前のフレームであり、フレーム #n+lは、フレーム #nに対して時間的に後のフレームである。すなわち、フレーム #n_ l、フレーム #n、およびフレーム #n+l は、フレーム #n- 1、フレーム、およぴフレームの順で表示される。

誤差推定部 4 0 3は、抽出した画素からなる複数の組について、 1つの角度および 1つの動きべクトル毎に、画素の組の相関を検出する。定常方向導出部 4 0 4は、画素の組の相関に基づいて、欠落した実世界 1の光信号の定常性に対応する、入力画像における、時間方向および空間方向のデータの定常性の角度を検出し、角度を示すデータ定常性情報を出力する。

図 8 1は、図 7 2に示すデータ定常性検出部 1 0 1のより詳細な他の構成を示すブロック図である。図 7 6に示す場合と同様の部分には、同一の番号を付してあり、その説明は省略する。

データ選択部 4 0 2は、画素選択部 4 2 1— 1乃至画素選択部 4 2 1— Lを含む。誤差推定部 4 0 3は、推定誤差算出部 4 2 2— 1乃至推定誤差算出部 4 2 2 一 Lを含む。

図 8 1で示すデータ定常性検出部 1 0 1においては、角度の範囲に対する数の画素からなる、画素の組であって、角度の範囲に対する数の組が抽出されて、抽出された画素の組の相関が検出され、検出された相関に基づいて、入力画像における、基準軸を基準としたデータの定常性の角度が検出される。

まず、アクティビティ情報で示される、データの定常性の角度が^{4 5}度乃至 1 3 5度のいずれかの値であるときの画素選択部 4 2 1 - 1乃至画素選択部 4 2 1 —Lの処理を説明する。

図 8 2の左側に示すように、図 7 6で示されるデータ定常性検出部 1 0 1においては、設定された直線の角度によらず、一定の数の画素からなる画素の組が抽出されるのに対して、図 8 1で示されるデータ定常性検出部 1 0 1においては、図 8 2の右側に示すように、設定された直線の角度の範囲に応じた数の画素からなる画素の組が抽出される。また、図 8 1で示されるデータ定常性検出部 1 0 1 においては、画素の組が、設定された直線の角度の範囲に応じた数だけ抽出される。

画素選択部 4 2 1— 1乃至画素選択部 4 2 1— Lは、 4 5度乃至 1 3 5度の範囲の、空間方向 Xを示す軸を基準軸として、注目画素を通る、それぞれ互いに異なる所定の角度の直線を設定する。

画素選択部 4 2 1 - 1乃至画素選択部 4 2 1— Lは、注目画素が属する縦に 1 列の画素の列に属する画素であって、それぞれに設定された直線の角度の範囲に応じた数の、注目画素の上側の画素、および注目画素の下側の画素、並びに注目画素を画素の組として選択する。

画素選択部 4 2 1一 1乃至画素選択部 4 2 1— Lは、注目画素が属する縦に 1 列の画素の列に対して、画素を基準とした横方向に所定の距離にある、左側および右側の縦に 1列の画素の列に属する画素であって、それぞれに設定された直線に最も近い位置の画素を選択し、選択された画素に対して縦に 1列の画素から、設定された直線の角度の範囲に応じた数の、選択された画素の上側の画素、および選択された画素の下側の画素、並びに選択された画素を画素の組として選択する。

すなわち、画素選択部 4 2 1— 1乃至画素選択部 4 2 1— Lは、設定された直線の角度の範囲に応じた数の画素を、画素の組として選択する。画素選択部 4 2 1一 1乃至画素選択部 4 2 1— Lは、設定された直線の角度の範囲に応じた数の、画素の組を選択する。

例えば、空間方向 Xに対してほぼ 4 5度の角度に位置する、検出素子の検出領域の幅とほぼ同じ幅の細線の画像がセンサ 2で撮像された場合、細線の画像は、空間方向 Yに 1列に並ぶ 3つの画素に円弧形状が形成されるように、データ 3に射影される。これに対して、空間方向 Xに対してほぼ垂直に位置する、検出素子の検出領域の幅とほぼ同じ幅の細線の画像がセンサ 2で撮像された場合、細線の画像は、空間方向 Yに 1列に並ぶ、多数の画素に円弧形状が形成されるように、データ 3に射影される。

画素の組に同じ数の画素が含まれるとすると、細線が空間方向 Xに対してほぼ 4 5度の角度に位置する場合、画素の組において、細線の画像が射影された画素の数が少なくなり、分解能が低下することになる。逆に、細線が空間方向 Xに対してほぼ垂直に位置する場合、画素の組において、細線の画像が射影された画素のうちの、一部の画素について処理が実行されることになり、正確さが低下する恐れがある。

そこで、細線の画像が射影された画素がほぼ同等になるように、画素選択部 4 2 1 - 1乃至画素選択部 4 2 1— Lは、設定する直線が空間方向 Xに対して 4 5 度の角度により近いとき、それぞれ画素の組に含まれる画素の数を少なくして、画素の組の数を多くし、設定する直線が空間方向 Xに対して垂直により近い場合、それぞれの画素の組に含まれる画素の数を多くして、画素の組の数を少なくするように、画素おょぴ画素の組を選択する。

例えば、図 8 3および図 8 4で示されるように、画素選択部 4 2 1— 1乃至画素選択部 4 2 1— Lは、設定された直線の角度が、 4 5度以上 6 3 . 4度未満の範囲（図 8 3およぴ図 8 4において、 Aで示す範囲）にあるとき、注目画素に対して、縦に 1列の画素の列から、注目画素を中心とした 5つの画素を画素の組として選択すると共に、注目画素に対して、横方向に 5画素以内の距離にある、左側および右側の縦に 1列の画素の列に属する画素から、それぞれ、 5つの画素を画素の組として選択する。

すなわち、画素選択部 4 2 1— 1乃至画素選択部 4 2 1— Lは、設定された直線の角度が、 4 5度以上 6 3 . 4度未満の範囲にあるとき、入力画像から、それぞれ 5つの画素からなる、 1 1の画素の組を選択する。この場合において、設定された直線に最も近い位置の画素として、選択される画素は、注目画素に対して、縦方向に 5画素乃至 9画素離れた位置にある。

図 8 4において、列の数は、注目画素の左側または右側の、画素の組として画素が選択される画素の列の数を示す。図 8 4において、 1列の画素の数は、注目画素に対して、縦に 1列の画素の列、または注目画素の左側または右側の列から、画素の組として選択される画素の数を示す。図 8 4において、画素の選択範囲は、注目画素に対する、設定された直線に最も近い位置の画素として、選択される画素の縦方向の位置を示す。

図 8 5で示されるように、例えば、画素選択部 4 2 1— 1は、設定された直線の角度が、 4 5度であるとき、注目画素に対して、縦に 1列の画素の列から、注目画素を中心とした 5つの画素を画素の組として選択すると共に、注目画素に対して、横方向に 5画素以内の距離にある、左側おょぴ右側の縦に 1列の画素の列に属する画素から、それぞれ、 5つの画素を画素の組として選択する。すなわち、画素選択部 4 2 1— 1は、入力画像から、それぞれ 5つの画素からなる、 1 1の画素の組を選択する。この場合において、設定された直線に最も近い位置の画素として、選択される画素のうち、注目画素から最も遠い位置にある画素は、注目画素に対して、縦方向に 5画素離れた位置にある。

なお、図 8 5乃至図 9 2において、点線で表された四角（点線で仕切られた 1 つのマス目）は、 1つの画素を示し、実線で表された四角は、画素の組を示す。図 8 5乃至図 9 2において、注目画素の空間方向 Xの座標を 0とし、注目画素の空間方向 Yの座標を 0とした。

また、図 8 5乃至図 9 2において、斜線で表された四角は、注目画素または設定された直線に最も近い位置の画素を示す。図 8 5乃至図 9 2において、太線で表された四角は、注目画素を中心として選択された画素の組を示す。

図 8 6で示されるように、例えば、画素選択部 4 2 1— 2は、設定された直線の角度が、 6 0 . 9度であるとき、注目画素に対して、縦に 1列の画素の列から、注目画素を中心とした 5つの画素を画素の組として選択すると共に、注目画素に対して、横方向に 5画素以内の距離にある、左側および右側の縦に 1列の画素の列に属する画素から、それぞれ、 5つの画素を画素の組として選択する。すなわち、画素選択部 4 2 1— 2は、入力画像から、それぞれ 5つの画素からなる、 1 1の画素の組を選択する。この場合において、設定された直線に最も近い位置の画素として、選択される画素のうち、注目画素から最も遠い位置にある画素は、注目画素に対して、縦方向に 9画素離れた位置にある。

例えば、図 8 3および図 8 4で示されるように、画素選択部 4 2 1— 1乃至画素選択部 4 2 1— Lは、設定された直線の角度が、 6 3 . 4度以上 7 1 . 6度未満の範囲（図 8 3およぴ図 8 4において、 Bで示す範囲）にあるとき、注目画素に対して、縦に 1列の画素の列から、注目画素を中心とした 7つの画素を画素の組として選択すると共に、注目画素に対して、横方向に 4画素以内の距離にある、左側おょぴ右側の縦に 1列の画素の列に属する画素から、それぞれ、 7つの画素を画素の組として選択する。

すなわち、画素選択部 4 2 1— 1乃至画素選択部 4 2 1— Lは、設定された直線の角度が、 6 3 . 4度以上 7 1 . 6度未満の範囲囲にあるとき、入力画像から、それぞれ 7つの画素からなる、 9つの画素の組を選択する。この場合において、設定された直線に最も近い位置の画素の縦方向の位置は、注目画素に対して、 8 画素乃至 1 1画素である。

図 8 7で示されるように、例えば、画素選択部 4 2 1— 3は、設定された直線の角度が、 6 3 . 4度であるとき、注目画素に対して、縦に 1列の画素の列から、注目画素を中心とした 7つの画素を画素の組として選択すると共に、注目画素に対して、横方向に 4画素以内の距離にある、左側おょぴ右側の縦に 1列の画素の列に属する画素から、それぞれ、 7つの画素を画素の組として選択する。すなわち、画素選択部 4 2 1— 3は、入力画像から、それぞれ 7つの画素からなる、 9 つの画素の組を選択する。この場合において、設定された直線に最も近い位置の画素として、選択される画素のうち、注目画素から最も遠い位置にある画素は、注目画素に対して、縦方向に 8画素離れた位置にある。

また、図 8 8で示されるように、例えば、画素選択部 4 2 1— 4は、設定された直線の角度が、 7 0 . 0度であるとき、注目画素に対して、縦に 1列の画素の列から、注目画素を中心とした 7つの画素を画素の組として選択すると共に、注目画素に対して、横方向に 4画素以内の距離にある、左側および右側の縦に 1列の画素の列に属する画素から、それぞれ、 7つの画素を画素の組として選択する。すなわち、画素選択部 4 2 1— 4は、入力画像から、それぞれ 7つの画素からなる、 9つの画素の組を選択する。この場合において、設定された直線に最も近い位置の画素として、選択される画素のうち、注目画素から最も遠い位置にある画素は、注目画素に対して、縦方向に 1 1画素離れた位置にある。

例えば、図 8 3およぴ図 8 4で示されるように、画素選択部 4 2 1— 1乃至画素選択部 4 2 1— Lは、設定された直線の角度が、 7 1 . 6度以上 7 6 . 0度未満の範囲（図 8 3およぴ図 8 4において、 Cで示す範囲）にあるとき、注目画素に対して、縦に 1列の画素の列から、注目画素を中心とした 9つの画素を画素の組として選択すると共に、注目画素に対して、横方向に 3画素以内の距離にある、左側おょぴ右側の縦に 1列の画素の列に属する画素から、それぞれ、 9つの画素を画素の組として選択する。

すなわち、画素選択部 4 2 1— 1乃至画素選択部 4 2 1— Lは、設定された直線の角度が、 7 1 . 6度以上 7 6 . 0度未満の範囲にあるとき、入力画像から、それぞれ 9つの画素からなる、 7つの画素の組を選択する。この場合において、設定された直線に最も近い位置の画素の縦方向の位置は、注目画素に対して、 9 画素乃至 1 1画素である。

図 8 9で示されるように、例えば、画素選択部 4 2 1— 5は、設定された直線の角度が、 7 1 . 6度であるとき、注目画素に対して、縦に 1列の画素の列から、注目画素を中心とした 9つの画素を画素の組として選択すると共に、注目画素に対して、横方向に 3画素以内の距離にある、左側および右側の縦に 1列の画素の列に属する画素から、それぞれ、 9つの画素を画素の組として選択する。すなわち、画素選択部 4 2 1— 5は、入力画像から、それぞれ 9つの画素からなる、 7 つの画素の組を選択する。この場合において、設定された直線に最も近い位置の画素として、選択される画素のうち、注目画素から最も遠い位置にある画素は、注目画素に対して、縦方向に 9画素離れた位置にある。

また、図 9 0で示されるように、例えば、画素選択部 4 2 1— 6は、設定された直線の角度が、 7 4 . 7度であるとき、注目画素に対して、縦に 1列の画素の列から、注目画素を中心とした 9つの画素を画素の組として選択すると共に、注目画素に対して、横方向に 3画素以内の距離にある、左側および右側の縦に 1列の画素の列に属する画素から、それぞれ、 9つの画素を画素の組として選択する。すなわち、画素選択部 4 2 1— 6は、入力画像から、それぞれ 9つの画素からなる、 7つの画素の組を選択する。この場合において、設定された直線に最も近い位置の画素として、選択される画素のうち、注目画素から最も遠い位置にある画素は、注目画素に対して、縦方向に 1 1画素離れた位置にある。例えば、図 8 3およぴ図 8 4で示されるように、画素選択部 4 2 1 _ 1乃至画素選択部 4 2 1— Lは、設定された直線の角度が、 7 6 . 0度以上 8 7 . 7度以下の範囲（図 8 3および図 8 4において、 Dで示す範囲）にあるとき、注目画素に対して、縦に 1列の画素の列から、注目画素を中心とした 1 1の画素を画素の組として選択すると共に、注目画素に対して、横方向に 2画素以内の距離にある、左側おょぴ右側の縦に 1列の画素の列に属する画素から、それぞれ、 1 1の画素を画素の組として選択する。すなわち、画素選択部 4 2 1 - 1乃至画素選択部 4 2 1— Lは、設定された直線の角度が、 7 6 . 0度以上 8 7 . 7度以下の範囲にあるとき、入力画像から、それぞれ 1 1の画素からなる、 5つの画素の組を選択する。この場合において、設定された直線に最も近い位置の画素の縦方向の位置は、注目画素に対して、 8画素乃至 5 0画素である。

図 9 1で示されるように、例えば、画素選択部 4 2 1— 7は、設定された直線の角度が、 7 6 . 0度であるとき、注目画素に対して、縦に 1列の画素の列から、注目画素を中心とした 1 1の画素を画素の組として選択すると共に、注目画素に対して、横方向に 2画素以内の距離にある、左側および右側の縦に 1列の画素の列に属する画素から、それぞれ、 1 1の画素を画素の組として選択する。すなわち、画素選択部 4 2 1— 7は、入力画像から、それぞれ 1 1の画素からなる、 5 つの画素の組を選択する。この場合において、設定された直線に最も近い位置の画素として、選択される画素のうち、注目画素から最も遠い位置にある画素は、注目画素に対して、縦方向に 8画素離れた位置にある。

また、図 9 2で示されるように、例えば、画素選択部 4 2 1— 8は、設定された直線の角度が、 8 7 . 7度であるとき、注目画素に対して、縦に 1列の画素の列から、注目画素を中心とした 1 1の画素を画素の組として選択すると共に、注目画素に対して、横方向に 2画素以内の距離にある、左側おょぴ右側の縦に 1列の画素の列に属する画素から、それぞれ、 1 1の画素を画素の組として選択する。すなわち、画素選択部 4 2 1— 8は、入力画像から、それぞれ 1 1の画素からなる、 5の画素の組を選択する。この場合において、設定された直線に最も近い位置の画素として、選択される画素のうち、注目画素から最も遠い位置にある画素は、注目画素に対して、縦方向に 5 0画素離れた位置にある。

このように、画素選択部 4 2 1— 1乃至画素選択部 4 2 1— Lは、それぞれ、角度の範囲に対応した所定の数の画素からなる、角度の範囲に対応した所定の数の画素の組を選択する。

画素選択部 4 2 1— 1は、選択した画素の組を推定誤差算出部 4 2 2— 1に供給し、画素選択部 4 2 1— 2は、選択した画素の組を推定誤差算出部 4 2 2 - 2 に供給する。同様に、画素選択部 4 2 1— 3乃至画素選択部 4 2 1— Lのそれぞれは、選択した画素の組を推定誤差算出部 4 2 2— 3乃至推定誤差算出部 4 2 2 一 Lのそれぞれに供給する。

推定誤差算出部 4 2 2— 1乃至推定誤差算出部 4 2 2— Lは、画素選択部 4 2 1一 1乃至画素選択部 4 2 1一 Lのいずれかから供給された、複数の組における対応する位置の画素の画素値の相関を検出する。例えば、推定誤差算出部 4 2 2 一 1乃至推定誤差算出部 4 2 2— Lは、画素選択部 4 2 1一 1乃至画素選択部 4 2 1— Lのいずれかから供給された、注目画素を含む画素の組の画素の画素値と、他の画素の組における対応する位置の画素の画素値の差分の絶対値の和を算出し、注目画素を含む画素の組以外の画素の組に含まれる画素の数で、算出された和を割り算する。算出された和を、注目画素を含む組以外の組に含まれる画素の数で、割り算するのは、設定された直線の角度に応じて選択される画素の数が異なるので、相関を示す値を正規化するためである。

推定誤差算出部 4 2 2— 1乃至推定誤差算出部 4 2 2— Lは、検出された相関を示す情報を、最小誤差角度選択部 4 1 3に供給する。例えば、推定誤差算出部

4 2 2— 1乃至推定誤差算出部 4 2 2— Lは、正規化された画素値の差分の絶対値の和を最小誤差角度選択部 4 1 3に供給する。

次に、アクティビティ情報で示される、データの定常性の角度が 0度乃至 4 5 度おょぴ 1 3 5度乃至 1 8 0度のいずれかの値であるときの画素選択部 4 2 1 -

1乃至画素選択部 4 2 1— Lの処理を説明する。画素選択部 4 2 1 - 1乃至画素選択部 4 2 1— Lは、 0度乃至 4 5度または 1 3 5度乃至 1 8 0度の範囲の、空間方向 Xを示す軸を基準軸として、注目画素を通る、それぞれ互いに異なる所定の角度の直線を設定する。

画素選択部 4 2 1一 1乃至画素選択部 4 2 1— Lは、注目画素が属する横に 1 列の画素の列に属する画素であって、設定された直線の角度の範囲に応じた数の、注目画素の左側の画素、および注目画素の右側の画素、並びに注目画素を画素の組として選択する。

画素選択部 4 2 1一 1乃至画素選択部 4 2 1— Lは、注目画素が属する横に 1 列の画素の列に対して、画素を基準とした縦方向に所定の距離にある、上側およぴ下側の横に 1列の画素の列に属する画素であって、設定された直線に最も近い位置の画素を選択し、選択された画素に対して横に 1列の画素から、設定された直線の角度の範囲に応じた数の、選択された画素の左側の画素、および選択された画素の右側の画素、並びに選択された画素を画素の組として選択する。

画素選択部 4 2 1— 1は、選択した画素の組を推定誤差算出部 4 2 2— 1に供給し、画素選択部 4 2 1— 2は、選択した画素の組を推定誤差算出部 4 2 2 - 2 に供給する。同様に、画素選択部 4 2 1一 3乃至画素選択部 4 2 1— Lのそれぞれは、選択した画素の組を推定誤差算出部 4 2 2— 3乃至推定誤差算出部 4 2 2 —Lのそれぞれに供給する。

推定誤差算出部 4 2 2— 1乃至推定誤差算出部 4 2 2— Lは、画素選択部 4 2 1一 1乃至画素選択部 4 2 1一 Lのいずれかから供給された、複数の組における対応する位置の画素の画素値の相関を検出する。

推定誤差算出部 4 2 2— 1乃至推定誤差算出部 4 2 2— Lは、検出された相関を示す情報を、最小誤差角度選択部 4 1 3に供給する。次に、図 9 3のフローチャートを参照して、ステップ S 1 0 1の処理に対応する、図 8 1で構成が示されるデータ定常性検出部 1 0 1による、データの定常性の検出の処理を説明する。

ステップ S 4 2 1およびステップ S 4 2 2の処理は、ステップ S 4 0 1およびステップ S 4 0 2の処理と同様なので、その説明は省略する。

ステップ S 4 2 3において、データ選択部 4 0 2は、ステップ S 4 2 2の処理で検出されたァクティビティに対する所定の範囲の角度毎に、注目画素を含む画素の列から、注目画素を中心とした、角度の範囲に対して定めた数の画素を、画素の組として選択する。例えば、データ選択部 4 0 2は、注目画素が属する縦または横に 1列の画素の列に属する画素であって、設定する直線の角度に対して、角度の範囲により定めた数の、注目画素の上側または左側の画素、および注目画素の下側または右側の画素、並びに注目画素を画素の組として選択する。

ステップ S 4 2 4において、データ選択部 4 0 2は、ステップ S 4 2 2の処理で検出されたアクティビティを基にした、所定の範囲の角度毎に、角度の範囲に対して定めた数の画素の列から、角度の範囲に対して定めた数の面素を、画素の組として選択する。例えば、データ選択部 4 0 2は、所定の範囲の角度を有し、空間方向 Xを示す軸を基準軸として、注目画素を通る直線を設定し、注目画素に対して、横方向または縦方向に、設定する直線の角度の範囲に対して所定の範囲だけ離れた画素であって、直線に最も近い画素を選択し、選択された画素の上側または左側の、設定する直線の角度の範囲に対する数の画素、および選択された画素の下側または右側の、設定する直線の角度の範囲に対する数の画素、並びに選択された線に最も近い画素を画素の組として選択する。データ選択部 4 0 2は、角度毎に、画素の組を選択する。

データ選択部 4 0 2は、選択した画素の組を誤差推定部 4 0 3に供給する。ステップ S 4 2 5において、誤差推定部 4 0 3は、注目画素を中心とした画素の組と、角度毎に選択した画素の組との相関を計算する。例えば、誤差推定部 4 0 3は、注目画素を含む組の画素の画素値と、他の組における対応する位置の画素の画素値の差分の絶対値の和を算出し、他の組に属する画素の数で、画素値の差分の絶対値の和を割り算することにより、相関を計算する。

ステップ S 4 2 6およぴステツプ S 4 2 7の処理は、ステップ S 4 0 6およびステップ S 4 0 7の処理と同様なので、その説明は省略する。

このように、データ定常性検出部 1 0 1は、欠落した実世界 1の光信号の定常性に対応する、画像データにおける、基準軸を基準としたデータの定常性の角度を、より正確に、より精度良く検出することができる。図 8 1に構成を示すデータ定常性検出部 1 0 1は、特に、データの定常性の角度が 4 5度付近である場合において、細線の画像が射影された、より多くの画素の相関を評価することができるので、より精度良くデータの定常性の角度を検出することができる。

なお、図 8 1で構成が示されるデータ定常性検出部 1 0 1においても、注目しているフレームである注目フレームの、注目している画素である注目画素について、入力画像の空間方向のアクティビティを検出し、検出されたアクティビティに応じて、注目画素および空間方向の基準軸を基準とした角度、並びに動きべクトル毎に、注目フレームおよび注目フレームの時間的に前または後ろのフレームのそれぞれから、垂直方向に 1列または水平方向に 1列の、空間的な角度の範囲に対して定めた数の画素からなる画素の組を、空間的な角度の範囲に対して定めた数だけ抽出し、抽出された画素の組の相関を検出し、相関に基づいて、入力画像における、時間方向および空間方向のデータの定常性の角度を検出するように図 9 4は、データ定常性検出部 1 0 1のさらに他の構成を示すプロック図である。

図 9 4に構成を示すデータ定常性検出部 1 0 1においては、注目している画素である注目画素について、所定の数の画素からなる、注目画素を中心としたプロックと、注目画素の周辺の、それぞれ、所定の数の画素からなる複数のブロックが抽出され、注目画素を中心としたプロックと周辺のプロックとの相関が検出され、相関に基づいて、入力画像における、基準軸を基準としたデータの定常性の角度が検出される。

データ選択部 4 4 1は、入力画像の画素から注目画素を順に選択し、注目画素を中心とした、所定の数の画素からなるブロック、および、注目画素の周辺の、所定の数の画素からなる複数のプロックを抽出し、抽出したプロックを誤差推定部 4 4 2に供給する。

例えば、データ選択部 4 4 1は、注目画素を中心とした 5 X 5画素からなるブロック、注目画素の周辺から、注目画素おょぴ基準軸を基準とした所定の角度の範囲毎に、 5 X 5画素からなる 2つのプロックを抽出する。

誤差推定部 4 4 2は、データ選択部 4 4 1から供給された、注目画素を中心としたブロックと、注目画素の周迈のブロックとの相関を検出して、検出した相関を示す相関情報を定常方向導出部 4 4 3に供給する。

例えば、誤差推定部 4 4 2は、角度の範囲毎に、注目画素を中心とした 5 X 5 画素からなるブロックと、 1つの角度の範囲に対応する、 5 X 5画素からなる 2 つのプロックとについて、画素値の相関を検出する。

定常性方向導出部 4 4 3は、誤差推定部 4 4 2から供給された相関情報に基いて、相関の最も強い、注目画素の周辺のブロックの位置から、欠落した実世界 1 の光信号の定常性に対応する、入力画像における、基準軸を基準としたデータの定常性の角度を検出し、角度を示すデータ定常性情報を出力する。例えば、定常方向導出部 4 4 3は、誤差推定部 4 4 2から供給された相関情報に基いて、注目画素を中心とした 5 X 5画素からなるプロックに対して最も相関の強い、 5 X 5 画素からなる 2つのブロックに対する角度の範囲を、データの定常性の角度として検出し、検出された角度を示すデータ定常性情報を出力する。

図 9 5は、図 9 4に示すデータ定常性検出部 1 0 1のより詳細な構成を示すブ口ック図である。

データ選択部 44 1は、画素選択部 4 6 1— 1乃至画素選択部 4 6 1— Lを含む。誤差推定部 44 2は、推定誤差算出部 4 6 2— 1乃至推定誤差算出部 4 6 2 一 Lを含む。定常方向導出部 44 3は、最小誤差角度選択部 4 6 3を含む。

例えば、データ選択部 44 1には、画素選択部 46 1 - 1乃至画素選択部 4 6 1一 8が設けられる。例えば、誤差推定部 44 2には、推定誤差算出部 4 6 2— 1乃至推定誤差算出部 4 6 2— 8が設けられる。

画素選択部 4 6 1 - 1乃至画素選択部 4 6 1一 Lのそれぞれは、注目画素を中心とした、所定の数の画素からなるブロック、並びに注目画素および基準軸を基準とした所定の角度の範囲に対応した、所定の数の画素からなる 2つのプロックを抽出する。

図 9 6は、画素選択部 46 1 - 1乃至画素選択部 4 6 1— Lにより抽出される、 5 X 5画素のプロックの例を説明する図である。図 9 6における中央の位置は、注目画素の位置を示す。

なお、 5 X 5画素のブロックは、一例であって、ブロックに含まれる画素の数は、本発明を限定するものではない。

例えば、画素選択部 4 6 1— 1は、注目画素を中心とした、 5 X 5画素のプロックを抽出すると共に、 0度乃至 1 8. 4度および 1 6 1. 6度乃至 1 8 0. 0 度の範囲に対応した、注目画素に対して、右側に 5画素移動した位置にある画素を中心とした、 5 X 5画素のブロック（図 9 6中 Aで示す）を抽出し、注目画素に対して、左側に 5画素移動した位置にある画素を中心とした、 5 X 5画素のブロック（図 9 6中 A' で示す）を抽出する。画素選択部 4 6 1— 1は、抽出した、 5 X 5画素の 3つのプロックを推定誤差算出部 4 6 2 - 1に供給する。

画素選択部 4 6 1— 2は、注目画素を中心とした、 5 X 5画素のブロックを抽出すると共に、 1 8. 4度乃至 3 3. 7度の範囲に対応した、注目画素に対して、右側に 1 0画素移動し、上側に 5画素移動した位置にある画素を中心とした、 5 X 5画素のブロック（図 9 6中 Bで示す）を抽出し、注目画素に対して、左側に 1 0画素移動し、下側に 5画素移動した位置にある画素を中心とした、 5 X 5画素のプロック（図 9 6中 B' で示す）を抽出する。画素選択部 46 1— 2は、抽出した、 5 X 5画素の 3つのプロックを推定誤差算出部 4 6 2 - 2に供給する。画素選択部 4 6 1— 3は、注目画素を中心とした、 5 X 5画素のブロックを抽出すると共に、 3 3. 7度乃至 5 6. 3度の範囲に対応した、注目画素に対して、右側に 5画素移動し、上側に 5画素移動した位置にある画素を中心とした、 5 X 5画素のブロック（図 9 6中 Cで示す）を抽出し、注目画素に対して、左側に 5 画素移動し、下側に 5画素移動した位置にある画素を中心とした、 5 X 5画素のブロック（図 9 6中 C，で示す）を抽出する。画素選択部 4 6 1— 3は、抽出した、 5 X 5画素の 3つのプロックを推定誤差算出部 4 6 2— 3に供給する。

画素選択部 4 6 1— 4は、注目画素を中心とした、 5 X 5画素のブロックを抽出すると共に、 5 6. 3度乃至 7 1. 6度の範囲に対応した、注目画素に対して、右側に 5画素移動し、上側に 1 0画素移動した位置にある画素を中心とした、 5 X 5画素のプロック（図 9 6中 Dで示す）を抽出し、注目画素に対して、左側に 5画素移動し、下側に 1 0画素移動した位置にある画素を中心とした、 5 X 5画素のブロック（図 9 6中 D' で示す）を抽出する。画素選択部 4 6 1— 4は、抽出した、 5 X 5画素の 3つのプロックを推定誤差算出部 4 6 2— 4に供給する。画素選択部 4 6 1— 5は、注目画素を中心とした、 5 X 5画素のブロックを抽出すると共に、 7 1. 6度乃至 1 0 8. 4度の範囲に対応した、注目画素に対して、上側に 5画素移動した位置にある画素を中心とした、 5 X 5画素のプロック (図 9 6中 Eで示す）を抽出し、注目画素に対して、下側に 5画素移動した位置にある画素を中心とした、 5 X 5画素のブロック（図 9 6中 E' で示す）を抽出する。画素選択部 4 6 1— 5は、抽出した、 5 X 5画素の 3つのブロックを推定誤差算出部 4 6 2— 5に供給する。

画素選択部 4 6 1— 6は、注目画素を中心とした、 5 X 5画素のブロックを抽出すると共に、 1 0 8. 4度乃至 1 2 3. 7度の範囲に対応した、注目画素に対して、左側に 5画素移動し、上側に 1 0画素移動した位置にある画素を中心とした、 5 X 5画素のブロック（図 9 6中 Fで示す）を抽出し、注目画素に対して、右側に 5画素移動し、下側に 1 0画素移動した位置にある画素を中心とした、 5 X 5画素のブロック（図 9 6中 F' で示す）を抽出する。画素選択部 4 6 1— 6 は、抽出した、 5 X 5画素の 3つのブロックを推定誤差算出部 46 2— 6に供給する。

画素選択部 4 6 1— 7は、注目画素を中心とした、 5 X 5画素のブロックを抽出すると共に、 1 2 3. 7度乃至 1 4 6. 3度の範囲に対応した、注目画素に対して、左側に 5画素移動し、上側に 5画素移動した位置にある画素を中心とした、 5 X 5画素のブロック（図 9 6中 Gで示す）を抽出し、注目画素に対して、右側に 5画素移動し、下側に 5画素移動した位置にある画素を中心とした、 5 X 5画素のブロック（図 9 6中 G' で示す）を抽出する。画素選択部 4 6 1— 7は、抽出した、 5 X 5画素の 3つのプロックを推定誤差算出部 4 6 2 - 7に供給する。画素選択部 4 6 1— 8は、注目画素を中心とした、 5 X 5画素のブロックを抽出すると共に、 1 4 6. 3度乃至 1 6 1. 6度の範囲に対応した、注目画素に対して、左側に 1 0画素移動し、上側に 5画素移動した位置にある画素を中心とした、 5 X 5画素のブロック（図 9 6中 Hで示す）を抽出し、注目画素に対して、右側に 1 0画素移動し、下側に 5画素移動した位置にある画素を中心とした、 5 X 5画素のブロック（図 9 6中 H' で示す）を抽出する。画素選択部 4 6 1— 8 は、抽出した、 5 X 5画素の 3つのブロックを推定誤差算出部 4 6 2— 8に供給する。

以下、注目画素を中心とした、所定の数の画素からなるブロックを注目プロックと称する。

以下、注目画素および基準軸を基準とした所定の角度の範囲に対応した、所定の数の画素からなるプロックを参照プロックと称する。

このように、画素選択部 4 6 1— 1乃至画素選択部 4 6 1— 8は、例えば、注目画素を中心として、 2 5 X 2 5画素の範囲から、注目ブロックおよび参照プロックを抽出する。推定誤差算出部 4 6 2 - 1乃至推定誤差算出部 4 6 2— Lは、画素選択部 4 6 1一 1乃至画素選択部 4 6 1— Lから供給された、注目プロックと、 2つの参照プロックとの相関を検出して、検出した相関を示す相関情報を最小誤差角度選択部 4 6 3に供給する。

例えば、推定誤差算出部 4 6 2— 1は、注目画素を中心とした、 5 X 5画素からなる注目ブロックと、 0度乃至 1 8 . 4度および 1 6 1 . 6度乃至 1 8 0 . 0 度の範囲に対応して抽出された、注目画素に対して、右側に 5画素移動した位置にある画素を中心とした、 5 X 5画素の参照プロックとについて、注目ブロックに含まれる画素の画素値と、参照プロックに含まれる画素の画素値との差分の絶対値を算出する。

この場合において、推定誤差算出部 4 6 2— 1は、図 9 7に示されるように、注目プロックの中央の画素と参照ブロックの中央の画素とが重なる位置を基準として、画素値の差分の絶対値の算出に、注目画素の画素値が使用されるように、参照ブロックに対して、注目ブロックの位置を、左側に 2画素乃至右側に 2画素のいずれか、上側に 2画素乃至下側に 2画素のいずれか移動させた場合に重なる位置となる画素の画素値の差分の絶対値を算出する。すなわち、注目ブロックと参照ブロックとの 2 5種類の位置における、対応する位置の画素の画素値の差分の絶対値が算出される。言い換えれば、画素値の差分の絶対値が算出される場合において、相対的に移動される注目プロックおよび参照ブロックとからなる範囲は、 9 X 9画素である。

図 9 7において、四角は、画素を示し、 Aは、参照ブロックを示し、 Bは、注目ブロックを示す。図 9 7において、太線は、注目画素を示す。すなわち、図 9 7は、参照プロックに対して、注目プロックが右側に 2画素、および上側に 1画素移動した場合の例を示す図である。

さらに、推定誤差算出部 4 6 2— 1は、注目画素を中心とした、 5 X 5画素からなる注目プロックと、 0度乃至 1 8 . 4度および 1 6 1 . 6度乃至 1 8 0 . 0 度の範囲に対応して抽出された、注目画素に対して、左側に 5画素移動した位置にある画素を中心とした、 5 X 5画素の参照ブロックとについて、注目ブロックに含まれる画素の画素値と、参照プロックに含まれる画素の画素値との差分の絶対値を算出する。

そして、推定誤差算出部 4 6 2— 1は、算出された差分の絶対値の和を求めて、差分の絶対値の和を、相関を示す相関情報として最小誤差角度選択部 4 6 3に供給する。

推定誤差算出部 4 6 2— ²は、 5 X 5画素からなる注目ブロックと、 1 8 . 4 度乃至 3 3 . 7度の範囲に対応して抽出された、 5 X 5画素の 2つの参照ブロックとについて、画素値の差分の絶対値を算出し、さらに、算出された差分の絶対値の和を算出する。推定誤差算出部 4 6 2— 1は、算出された差分の絶対値の和を、相関を示す相関情報として最小誤差角度選択部 4 6 3に供給する。

同様に、推定誤差算出部 4 6 2— 3乃至推定誤差算出部⁴ 6 2— 8のそれぞれは、 5 X 5画素からなる注目ブロックと、所定の角度の範囲に対応して抽出された、 5 X 5画素の 2つの参照ブロックとについて、画素値の差分の絶対値を算出し、さらに、算出された差分の絶対値の和を算出する。推定誤差算出部 4 6 2— 3乃至推定誤差算出部 4 6 2— 8のそれぞれは、算出された差分の絶対値の和を、相関を示す相関情報として最小誤差角度選択部 4 6 3に供給する。

最小誤差角度選択部 4 6 3は、推定誤差算出部 4 6 2 - 1乃至推定誤差算出部 4 6 2 - 8から供給された、相関情報としての画素値の差分の絶対値の和のうち、最も強い相関を示す、最小の値が得られた参照ブロックの位置から、 2つの参照プロックに対する角度をデータの定常性の角度として検出し、検出された角度を示すデータ定常性情報を出力する。

ここで、参照プロックの位置と、データの定常性の角度の範囲との関係について説明する。

実世界の信号を近似する近似関数 f (X) を n次の一次元多項式で近似した場合、近似関数 f (x) は、式（3 0 ) で表すことができる。 f (x) = WQX^W^"^-1 + · · , +W_n_iX+W_N

i=0

- · · (30)

近似関数 f (x) で近似される実世界 1の信号の波形が、空間方向 Yに対して一定の傾き（角度）を有する場合、式（30) における、 Xを x+y yとすることにより得られた式（31) で、実世界 1の信号を近似する近似関数（x, y) は、表現される。 f (x, y) = w₀(x+ry)ⁿ (x+ry)^n_1 +· · · +w_n_-, (x+ry) +w_n

= ∑ Wi (x+ry)ⁿ"

i=0

• · · (31)

γは、空間方向 Yの位置の変化に対する、空間方向 Xの位置の変化の割合を示す。以下、 γをシフト量とも称する。

図 98は、注目画素の位置と、角度 0を有する直線との空間方向 Xの距離を 0 としたとき、すなわち、注目画素を直線が通るときの、注目画素の周辺の画素の位置と、角度 0を有する直線との空間方向 Xの距離を示す図である。ここで、画素の位置は、画素の中心の位置である。また、位置と直線との距離は、位置が直線に対して左側にあるとき、負の値で示され、位置が直線に対して右側にあるとき、正の値で示される。

例えば、注目画素の右側に隣接する画素の位置、すなわち空間方向 Xの座標 X が 1増加する位置と、角度 Θを有する直線との空間方向 Xの距離は、 1であり、注目画素の左側に隣接する画素の位置、すなわち空間方向 Xの座標 Xが 1減少する位置と、角度 0を有する直線との空間方向 Xの距離は、一 1である。注目画素の上側に隣接する画素の位置、すなわち空間方向 Υの座標 yが 1増加する位置と、角度 Θを有する直線との空間方向 Xの距離は、 - γであり、注目画素の下側に隣接する画素の位置、すなわち空間方向 Υの座標 yが 1減少する位置と、角度 Θを有する直線との空間方向 Xの距離は、 γである。

角度 0が 4 5度を超え、 9 0度未満であり、シフト量 γ力 S、 0を超え、 1未満であるとき、シフト量 yと角度 6 との間には、 y = l/tan 0の関译式が成り立つ。図 9 9は、シフト量 γと角度 6との関係を示す図である。

ここで、シフト量 γの変化に対する、注目画素の周辺の画素の位置と、注目画素を通り、角度 0を有する直線との空間方向 Xの距離の変化に注目する。

図 1 0 0は、シフト量 γに対する、注目画素の周辺の画素の位置と、注目画素を通り、角度 Θを有する直線との空間方向 Xの距離を示す図である。図 1 0 0において、右上がりの一点鎖線は、シフト量 γに対する、注目画素の下側に隣接する画素の位置と直線との空間方向 Xの距離を示し、左下がりの一点鎖線は、シフト量 γに対する、注目画素の上側に隣接する画素の位置と直線との空間方向 Xの距離を示す。

図 1 0 0において、右上がりの二点鎖線は、シフト量 γに対する、注目画素から、 2画素下側で、 1画素左側に位置する画素の位置と直線との空間方向 Xの距離を示し、左下がりの二点鎖線は、シフト量 γに対する、注目画素から、 2画素上側で、 1画素右側に位置する画素の位置と直線との空間方向 Xの距離を示す。図 1 0 0において、右上がりの三点鎖線は、シフト量 0/に対する、注目画素から、 1画素下側で、 1画素左側に位置する画素の位置と直線との空間方向 Xの距離を示し、左下がりの三点鎖線は、シフト量 γに対する、注目画素から、 1画素上側で、 1画素右側に位置する画素の位置と直線との空間方向 Xの距離を示す。図 1 0 0から、シフト量 γに対して、距離が最も小さい画素がわかる。

すなわち、シフト量 γが 0乃至 1 / 3であるとき、注目画素の上側に隣接する画素および注目画素の下側に瞵接する画素から、直線までの距離が最小である。すなわち、角度 Θが 7 1 . 6度乃至 9 0度であるとき、注目画素の上側に隣接する画素および注目画素の下側に隣接する画素から、直線までの距離が最小である。シフト量" yが 1/3乃至 2 Z 3であるとき、注目画素に対して、 2画素上側で、 1画素右側に位置する画素、および注目画素に対して、 2画素下側で、 1画素左側に位置する画素から、直線までの距離が最小である。すなわち、角度 6が 5 6. 3度乃至 7 1. 6度であるとき、注目画素に対して、 2画素上側で、 1画素右側に位置する画素、および注目画素に対して、 2画素下側で、 1画素左側に位置する画素から、直線までの距離が最小である。

また、シフト量 γが 2/3乃至 1であるとき、注目画素に対して、 1画素上側で、 1画素右側に位置する画素、および注目画素に対して、 1画素下側で、 1画素左側に位置する画素から、直線までの距離が最小である。すなわち、角度 6が 4 5度乃至 5 6. 3度であるとき、注目画素に対して、 1画素上側で、 1画素右側に位置する画素、および注目画素に対して、 1画素下側で、 1画素左側に位置する画素から、直線までの距離が最小である。

角度 0が 0度から 4 5度までの範囲の直線と画素との関係も、同様に考えることができる。

図 9 8に示す画素を、注目プロックおよび参照プロックに置き換えて、参照プ口ックと直線との空間方向 Xの距離を考えることができる。

図 1 0 1に、注目画素を通り、空間方向 Xの軸に対して角度 0の直線との距離が最小の参照プロ Vクを示す。

図 1 0 1における A乃至 Hおよび A' 乃至 H' は、図 9 6における A乃至 Hおょぴ A' 乃至 H' の参照プロックを示す。

すなわち、注目画素を通り、空間方向 Xの軸を基準とした、 0度乃至 1 8. 4 度および 1 6 1. 6度乃至 1 8 0. 0度のいずれかの角度 6を有する直線と、 A 乃至 Hおよび A' 乃至 H' の参照プロックのそれぞれとの空間方向 Xの距離のうち、直線と Aおよび A' の参照ブロックとの距離が最小となる。従って、逆に考えれば、注目ブロックと、 Aおよび A' の参照プロックとの相関が最も強いとき、注目プロックと、 Aおよび A' の参照ブロックとを結ぶ方向に、一定の特徴が繰り返し現れているので、データの定常性の角度は、 0度乃至 1 8. 4度および 1 6 1. 6度乃至 1 8 0. 0度の範囲にあると言える。

注目画素を通り、空間方向 Xの軸を基準とした、 1 8. 4度乃至 3 3. 7度のいずれかの角度 0を有する直線と、 A乃至 Hおよび A ' 乃至 H' の参照ブロックのそれぞれとの空間方向 Xの距離のうち、直線と Bおよび B，の参照ブロックとの距離が最小となる。従って、逆に考えれば、注目プロックと、 Bおよび B，の参照ブロックとの相関が最も強いとき、注目ブロックと、 Bおよび B，の参照ブロックとを結ぶ方向に、一定の特徴が繰り返し現れているので、データの定常性の角度は、 1 8. 4度乃至 3 3. 7度の範囲にあると言える。

注目画素を通り、空間方向 Xの軸を基準とした、 3 3. 7度乃至 5 6. 3度のいずれかの角度 0を有する直線と、 A乃至 Hおよび A，乃至 H' の参照プロックのそれぞれとの空間方向 Xの距離のうち、直線と Cおよび C' の参照ブロックとの距離が最小となる。従って、逆に考えれば、注目ブロックと、 Cおよび c，の参照プロックとの相関が最も強いとき、注目ブロックと、 Cおよび C' の参照ブロックとを結ぶ方向に、一定の特徴が繰り返し現れているので、データの定常性の角度は、 3 3. 7度乃至 5 6. 3度の範囲にあると言える。

注目画素を通り、空間方向 Xの軸を基準とした、 5 6. 3度乃至 7 1. 6度のいずれかの角度 0を有する直線と、 A乃至 Hおよび A ' 乃至 H' の参照ブロックのそれぞれとの空間方向 Xの距離のうち、直線と Dおよび D' の参照ブロックとの距離が最小となる。従って、逆に考えれば、注目ブロックと、 Dおよび D，の参照プロックとの相関が最も強いとき、注目ブロックと、 Dおよび D' の参照プロックとを結ぶ方向に、一定の特徴が繰り返し現れているので、データの定常性の角度は、 5 6. 3度乃至 7 1. 6度の範囲にあると言える。

注目画素を通り、空間方向 Xの軸を基準とした、 7 1. 6度乃至 1 0 8. 4度のいずれかの角度 6を有する直線と、 A乃至 Hおよび A' 乃至 H' の参照プロックのそれぞれとの空間方向 Xの距離のうち、直線と Eおよび E' の参照ブロックとの距離が最小となる。従って、逆に考えれば、注目プロックと、 Eおよび E' の参照プロックとの相関が最も強いとき、注目ブロックと、 Eおよび E' の参照ブロックとを結ぶ方向に、一定の特徴が繰り返し現れているので、データの定常性の角度は、 7 1. 6度乃至 1 0 8. 4度の範囲にあると言える。

注目画素を通り、空間方向 Xの軸を基準とした、 1 0 8. 4度乃至 1 2 3. 7 度のいずれかの角度 0を有する直線と、 A乃至 Hおよび A' 乃至 H' の参照プロックのそれぞれとの空間方向 Xの距離のうち、直線と Fおよび F' の参照ブロックとの距離が最小となる。従って、逆に考えれば、注目ブロックと、 Fおよび F' の参照ブロックとの相関が最も強いとき、注目ブロックと、 Fおよび F，の参照ブロックとを結ぶ方向に、一定の特徴が繰り返し現れているので、データの定常性の角度は、 1 0 8. 4度乃至 1 2 3. 7度の範囲にあると言える。

注目画素を通り、空間方向 Xの軸を基準とした、 1 2 3. 7度乃至 1 4 6. 3 度のいずれかの角度 0を有する直線と、 A乃至 Hおよび A，乃至 H，の参照ブロックのそれぞれとの空間方向 Xの距離のうち、直線と Gおよび G' の参照ブロックとの距離が最小となる。従って、逆に考えれば、注目ブロックと、 Gおよび G，の参照プロックとの相関が最も強いとき、注目ブロックと、 Gおよび G，の参照ブロックとを結ぶ方向に、一定の特徴が繰り返し現れているので、データの定常性の角度は、 1 2 3. 7度乃至 1 46. 3度の範囲にあると言える。

注目画素を通り、空間方向 Xの軸を基準とした、 1 4 6. 3度乃至 1 6 1. 6 度のいずれかの角度 0を有する直線と、 A乃至 Hおよび A' 乃至 H，の参照プロックのそれぞれとの空間方向 Xの距離のうち、直線と Hおよび H，の参照プロックとの距離が最小となる。従って、逆に考えれば、注目プロックと、 Hおよび H' の参照プロックとの相関が最も強いとき、注目ブロックと、 Hおよび H' の参照プロックとを結ぶ方向に、一定の特徴が繰り返し現れているので、データの定常性の角度は、 1 4 6. 3度乃至 1 6 1. 6度の範囲にあると言える。

このように、データ定常性検出部 1 0 1は、注目ブロックと参照ブロックとの相関を基に、データの定常性の角度を検出することができる。

なお、図 9 4に構成を示すデータ定常性検出部 1 0 1においては、データの定常性の角度の範囲をデータ定常性情報として出力するようにしても良く、データの定常性の角度の範囲を示す代表値をデータ定常性情報として出力するようにしても良い。例えば、データの定常性の角度の範囲の中央値を代表値とすることができる。

さらに、図 9 4に構成を示すデータ定常性検出部 1 0 1は、相関が最も強い参照ブロックの周辺の参照ブロックの相関を利用することにより、検出するデータの定常性の角度の範囲を 1 Z 2に、すなわち、検出するデータの定常性の角度の分解能を 2倍にすることができる。

例えば、注目ブロックと、 Eおよび E，の参照ブロックとの相関が最も強いとき、最小誤差角度選択部 4 6 3は、図 1 0 2で示されるように、注目プロックに対する、 Dおよび D ' の参照ブロックの相関と、注目ブロックに対する、 Fおよび F ' の参照ブロックの相関とを比較する。注目プロックに対する、 Dおよび D，の参照プロックの相関が、注目ブロックに対する、 Fおよび F，の参照プロックの相関に比較して、強い場合、最小誤差角度選択部 4 6 3は、データの定常性の角度に、 7 1 . 6度乃至 9 0度の範囲を設定する。また、この場合、最小誤差角度選択部 4 6 3は、データの定常性の角度に、代表値として 8 1度を設定するようにしてもよい。

注目ブロックに対する、 Fおよび F ' の参照ブロックの相関が、注目ブロックに対する、 Dおよび D，の参照プロックの相関に比較して、強い場合、最小誤差角度選択部 4 6 3は、データの定常性の角度に、 9 0度乃至 1 0 8 . 4度の範囲を設定する。また、この場合、最小誤差角度選択部 4 6 3は、データの定常性の角度に、代表値として 9 9度を設定するようにしてもよい。

最小誤差角度選択部 4 6 3は、同様の処理で、他の角度の範囲についても、検出するデータの定常性の角度の範囲を 1 Z 2にすることができる。

尚、図 1 0 2を参照して説明した手法を、簡易 1 6方位検出手法とも称する。このように、図 9 4に構成を示すデータ定常性検出部 1 0 1は、簡単な処理で、より範囲の狭い、データの定常性の角度を検出することができる。

次に、図 1 0 3のフローチャートを参照して、ステップ S 1 0 1の処理に対応する、図 9 4で構成が示されるデータ定常性検出部 1 0 1による、データの定常性の検出の処理を説明する。

ステップ S 4 4 1において、データ選択部 4 4 1は、入力画像から、注目している画素である注目画素を選択する。例えば、データ選択部 4 4 1は、入力画像から、ラスタスキャン順に、注目画素を選択する。

ステップ S 4 4 2において、データ選択部 4 4 1は、注目画素を中心とする所定の数の画素からなる注目プロックを選択する。例えば、データ選択部 4 4 1は、注目画素を中心とする 5 X 5画素からなる注目プロックを選択する。

ステップ S 4 4 3において、データ選択部 4 4 1は、注目画素の周辺の所定の位置の所定の数の画素からなる参照ブロックを選択する。例えば、データ選択部 4 4 1は、注目画素および基準軸を基準とした所定の角度の範囲毎に、注目プロックの大きさを基準とした、所定の位置の画素を中心とする 5 X 5画素からなる参照プロックを選択する。

データ選択部 4 4 1は、注目ブロックおよぴ参照ブロックを誤差推定部 4 4 2 に供給する。

ステップ S 4 4 4において、誤差推定部 4 4 2は、注目画素おょぴ基準軸を基準とした所定の角度の範囲毎に、注目ブロックと、角度の範囲に対応した参照ブロックとの相関を計算する。誤差推定部 4 4 2は、算出された相関を示す相関情報を定常方向導出部 4 4 3に供給する。

ステップ S 4 4 5において、定常方向導出部 4 4 3は、注目ブロックに対して、相関が最も強い参照プロックの位置から、欠落した実世界 1の光信号である画像の定常性に対応する、入力画像における、基準軸を基準としたデータの定常性の角度を検出する。

定常方向導出部 4 4 3は、検出したデータの定常性の角度を示すデータ定常性情報を出力する。

ステップ S 4 4 6において、データ選択部 4 4 1は、全ての画素の処理を終了したか否かを判定し、全ての画素の処理を終了していないと判定された場合、ステツプ S 4 4 1に戻り、まだ注目画素として選択されていない画素から注目画素を選択して、上述した処理を繰り返す。

ステップ S 4 4 6において、全ての画素の処理を終了したと判定された場合、処理は終了する。

このように、図 9 4に構成を示すデータ定常性検出部 1 0 1は、より簡単な処理で、欠落した実世界 1の光信号の定常性に対応する、画像データにおける、基準軸を基準としたデータの定常性の角度を検出することができる。また、図 9 4 に構成を示すデータ定常性検出部 1 0 1は、入力画像の中の、比較的狭い範囲の画素の画素値を使用して、データの定常性の角度を検出することができるので、入力画像にノイズ等が含まれていても、より正確にデータの定常性の角度を検出することができる。

なお、図 9 4で構成が示されるデータ検出部 1 0 1は、注目しているフレームである注目フレームの、注目している画素である注目画素について、注目フレームから、所定の数の画素からなる、注目画素を中心としたブロックと、注目画素の周辺の、それぞれ、所定の数の画素からなる複数のブロックとを抽出すると共に、注目フレームに対して時間的に前または後ろのフレームから、所定の数の画素からなる、注目画素に対応する位置の画素を中心としたブロックと、注目画素に対応する位置の画素の周辺の、それぞれ、所定の数の画素からなる複数のプロックとを抽出し、注目画素を中心としたプロックと空間的または時間的に周辺のブロックとの相関を検出し、相関に基づいて、入力画像における、時間方向および空間方向のデータの定常性の角度を検出するようにしてもよい。

例えば、図 1 0 4に示すように、データ選択部 4 4 1は、注目フレームであるフレーム #nから注目画素を順に選択し、フレームおから、注目画素を中心とした、所定の数の画素からなるブロック、および、注目画素の周辺の、所定の数の画素からなる複数のプロックを抽出する。また、データ選択部 4 4 1は、フレーム to- 1およびフレーム +1のそれぞれから、注目画素の位置に対応する位置の画素を中心とした、所定の数の画素からなるブロック、および、注目画素の位置に対応する位置の画素の周辺の、所定の数の画素からなる複数のプロックを抽出する。データ選択部 4 4 1は、抽出したプロックを誤差推定部 4 4 2に供給する。誤差推定部 4 4 2は、データ選択部 4 4 1から供給された、注目画素を中心としたブロックと、空間的または時間的に周辺のブロックとの相関を検出して、検出した相関を示す相関情報を定常方向導出部 4 4 3に供給する。定常性方向導出部 4 4 3は、誤差推定部 4 4 2から供給された相関情報に基いて、相関の最も強い、空間的または時間的に周辺のブロックの位置から、欠落した実世界 1の光信号の定常性に対応する、入力画像における、時間方向および空間方向のデータの定常性の角度を検出し、角度を示すデータ定常性情報を出力する。

また、データ定常性検出部 1 0 1は、入力画像のコンポーネント信号を基に、データの定常性の検出の処理を実行することができる。

図 1 0 5は、入力画像のコンポーネント信号を基に、データの定常性の検出の処理を実行するデータ定常性検出部 1 0 1の構成を示すプロック図である。

データ定常性検出部 4 8 1— 1乃至 4 8 1— 3のそれぞれは、上述した、または後述するデータ定常性検出部 1 0 1と同様の構成を有し、入力画像のコンポ一ネント信号のそれぞれを処理の対象として、上述した、または後述する処理を実行する。

データ定常性検出部 4 8 1— 1は、入力画像の第 1のコンポーネント信号を基に、データの定常性を検出し、第 1のコンポーネント信号から検出されたデータの定常性を示す情報を決定部 4 8 2に供給する。例えば、データ定常性検出部 4 8 1— 1は、入力画像の輝度信号を基に、データの定常性を検出し、輝度信号から検出されたデータの定常性を示す情報を決定部 4 8 2に供給する。

データ定常性検出部 4 8 1— 2は、入力画像の第 2のコンポーネント信号を基に、データの定常性を検出し、第 2のコンポーネント信号から検出されたデータの定常性を示す情報を決定部 4 8 2に供給する。例えば、データ定常性検出部 4 8 1— 2は、入力画像の色差信号である I信号を基に、データの定常性を検出し、 I信号から検出されたデータの定常性を示す情報を決定部 4 8 2に供給する。データ定常性検出部 4 8 1— 3は、入力画像の第 3のコンポーネント信号を基に、データの定常性を検出し、第 3のコンポーネント信号から検出されたデータの定常性を示す情報を決定部 4 8 2に供給する。例えば、データ定常性検出部 4 8 1— 2は、入力画像の色差信号である Q信号を基に、データの定常性を検出し、 Q信号から検出されたデータの定常性を示す情報を決定部 4 8 2に供給する。決定部 4 8 2は、データ定常性検出部 4 8 1— 1乃至 4 8 1— 3から供給された、各コンポーネント信号から検出されたデータの定常性を示す情報を基に、入力画像における最終的なデータの定常性を検出して、検出したデータの定常性を示すデータ定常性情報を出力する。

例えば、決定部 4 8 2は、データ定常性検出部 4 8 1— 1乃至 4 8 1— 3から供給された、各コンポーネント信号から検出されたデータの定常性のうち、最大のデータの定常性を最終的なデータの定常性とする。また、例えば、決定部 4 8 2は、データ定常性検出部 4 8 1— 1乃至 4 8 1 _ 3から供給された、各コンポ一ネント信号から検出されたデータの定常性のうち、最小のデータの定常性を最終的なデータの定常性とする。

さらに、例えば、決定部 4 8 2は、データ定常性検出部 4 8 1 _ 1乃至 4 8 1 一 3から供給された、各コンポーネント信号から検出されたデータの定常性の平均値を最終的なデータの定常性とする。決定部 4 8 2は、データ定常性検出部 4 8 1一 1乃至 4 8 1— 3から供給された、各コンポーネント信号から検出されたデータの定常性のメディアン（中央値）を最終的なデータの定常性とするようにしてもよい。

また、例えば、決定部 4 8 2は、外部から入力された信号を基に、データ定常性検出部 4 8 1 - 1乃至 4 8 1 - 3から供給された、各コンポーネント信号から検出されたデータの定常性のうち、外部から入力された信号で指定されるデータの定常性を最終的なデータの定常性とする。決定部 4 8 2は、データ定常性検出部 4 8 1一 1乃至 4 8 1一 3から供給された、各コンポーネント信号から検出されたデータの定常性のうち、予め定めたデータの定常性を最終的なデータの定常性とするようにしてもよい。

なお、決定部 4 8. 2は、データ定常性検出部 4 8 1— 1乃至 4 8 1— 3から供給された、各コンポーネント信号のデータの定常性の検出の処理で求めた誤差を基に、最終的なデータの定常性を決定するようにしてもよい。データの定常性の検出の処理で求められる誤差については、後述する。

図 1 0 6は、入力画像のコンポーネント信号を基に、データの定常性の検出の処理を実行するデータ定常性検出部 1 0 1の他の構成を示す図である。

コンポーネント処理部 4 9 1は、入力画像のコンポーネント信号を基に、 1つの信号を生成し、データ定常性検出部 4 9 2に供給する。例えば、コンポーネント処理部 4 9 1は、入力画像の各コンポーネント信号における値を、画面上で同じ位置の画素について、加算することにより、コンポーネント信号の値の和からなる信号を生成する。

例えば、コンポーネント処理部 4 9 1は、入力画像の各コンポーネント信号における画素値を、画面上で同じ位置の画素について、平均することにより、コンポーネント信号の画素値の平均値からなる信号を生成する。

データ定常性検出部 4 9 2は、コンポーネント処理部 4 9 1から供給された、信号を基に、入力画像における、データの定常性を検出し、検出したデータの定常性を示すデータ定常性情報を出力する。

データ定常性検出部 4 9 2は、上述した、または後述するデータ定常性検出部 1 0 1と同様の構成を有し、コンポーネント処理部 4 9 1から供給された信号を対象として、上述した、または後述する処理を実行する。

このように、データ定常性検出部 1 0 1は、コンポーネント信号を基に、入力画像のデータの定常性を検出することにより、入力画像にノイズなどが含まれていても、より正確に、データの定常性を検出することができる。例えば、データ定常性検出部 1 0 1は、コンポーネント信号を基に、入力画像のデータの定常性を検出することにより、より正確に、データの定常性の角度（傾き）、混合比、またはデータの定常性を有する領域を検出することができる。なお、コンポーネント信号は、輝度信号および色差信号に限らず、 RGB信号、または YUV信号など他の方式のコンポーネント信号であつても良い。

以上のように、現実世界の光信号が射影され、現実世界の光信号の定常性の一部が欠落した画像データの、欠落した現実世界の光信号の定常性に対応するデータの定常性の、基準軸に対する角度を検出し、検出された角度に基づいて、欠落した現実世界の光信号の定常性を推定することにより光信号を推定するようにした場合、現実世界の事象に対して、より正確で、より精度の高い処理結果を得ることができるようになる。

また、現実世界の光信号が複数の検出素子に射影されることにより取得された、現実世界の光信号の定常性の一部が欠落した画像データの注目している注目画素および基準軸を基準とした角度毎に、所定の数の画素からなる画素の組であって、複数の組を抽出し、角度毎に抽出された、複数の組における対応する位置の画素の画素値の相関を検出し、検出された相関に基いて、欠落した現実世界の光信号の定常性に対応する、画像データにおける、基準軸を基準としたデータの定常性の角度を検出し、検出された画像データにおける基準軸に対するデータの定常性の角度に基づいて、欠落した現実世界の光信号の定常性を推定することにより光信号を推定するようにした場合、現実世界の事象に対して、より正確で、より精度の高い処理結果を得ることができるようになる。

図 1 0 7は、データ定常性検出部 1 0 1のさらに他の構成を示すブロック図である。

図 1 0 7に示されるデータ定常性検出部 1 0 1においては、現実世界の光信号が射影され、現実世界の光信号の定常性の一部が欠落した画像データの注目している画素である注目画素に対応する領域が選択され、注目画素の画素値と、選択された領域に属する画素の画素値との相関値が閾値以上である画素に、相関値に基づく度数が設定されることにより、領域に属する画素の度数が検出され、検出された度数に基いて回帰線を検出することにより、欠落した現実世界の光信号の定常性に対応する、画像データのデータの定常性が検出される。フレームメモリ 5 0 1は、入力画像をフレーム単位で記憶し、記憶されているフレームを構成する画素の画素値を画素取得部 5 0 2に供給する。フレームメモリ 5 0 1は、 1つのページに入力画像の現在のフレームを記憶し、他のページに記憶している、現在のフレームに対して 1つ前（過去）のフレームの画素の画素値を画素取得部 5 0 2に供給し、入力画像のフレームの切り換えの時刻において、ページを切り換えることにより、画素取得部 5 0 2に、動画である入力画像のフレームの画素の画素値を供給することができる。

画素取得部 5 0 2は、フレームメモリ 5 0 1から供給された画素の画素値を基に、注目している画素である注目画素を選択し、選択された注目画素に対応する、所定の数の画素からなる領域を選択する。例えば、画素取得部 5 0 2は、注目画素を中心とする 5 X 5画素からなる領域を選択する。

画素取得部 5 0 2が選択する領域の大きさは、本発明を限定するものではない。画素取得部 5 0 2は、選択した領域の画素の画素値を取得して、選択した領域の画素の画素値を度数検出部 5 0 3に供給する。

度数検出部 5 0 3は、画素取得部 5 0 2から供給された、選択された領域の画素の画素値を基に、注目画素の画素値と、選択された領域に属する画素の画素値との相関値が閾値以上である画素に、相関値に基づく度数を設定することにより、領域に属する画素の度数を検出する。度数検出部 5 0 3における、相関値に基づく度数の設定の処理の詳細は、後述する。

度数検出部 5 0 3は、検出した度数を回帰直線演算部 5 0 4に供給する。

回帰直線演算部 5 0 4は、度数検出部 5 0 3から供給された度数に基づいて、回帰線を演算する。例えば、回帰直線演算部 5 0 4は、度数検出部 5 0 3から供給された度数に基づいて、回帰直線を演算する。また、例えば、回帰直線演算部 5 0 4は、度数検出部 5 0 3から供給された度数に基づいて、所定の曲線である回帰線を演算する。回帰直線演算部 5 0 4は、演算された回帰線おょぴ演算の結果を示す演算結果パラメータを角度算出部 5 0 5に供給する。演算パラメータが示す演算の結果には、後述する変動および共変動などが含まれる。角度算出部 5 0 5は、回帰直線演算部 5 0 4から供給された演算結果パラメ一タで示される、回帰線に基づいて、欠落した現実世界の光信号の定常性に対応する、画像データである入力画像のデータの定常性を検出する。例えば、角度算出部 5 0 5は、回帰直線演算部 5 0 4から供給された演算結果パラメータで示される、回帰直線に基づいて、欠落した実世界 1の光信号の定常性に対応する、入力画像における、基準軸を基準としたデタの定常性の角度を検出する。角度算出部 5 0 5は、入力画像における、基準軸を基準としたデータの定常性の角度を示すデータ定常性情報を出力する。

図 1 0 8乃至図 1 1 0を参照して、入力画像における、基準軸を基準としたデータの定常性の角度について説明する。

図 1 0 8において、丸は、 1つの画素を示し、 2重丸は、注目画素を示す。丸の色は、画素の画素値の概略を示し、より明るい色は、より大きい画素値を示す。例えば、黒は、 3 0である画素値を示し、白は、 1 2 0である画素値を示す。図 1 0 8で示される画素からなる画像を人間が見た場合、画像を見た人間は、斜め右上方向に直線が伸びていると認識することができる。

図 1 0 7に構成を示すデータ定常性検出部 1 0 1は、図 1 0 8で示される画素からなる入力画像を入力したとき、斜め右上方向に直線が伸びていることを検出する。

図 1 0 9は、図 1 0 8で示される画素の画素値を数値で表した図である。丸は、 1つの画素を示し、丸の中の数値は、画素値を示す。

例えば、注目画素の画素値は、 1 2 0であり、注目画素の上側の画素の画素値は、 1 0 0であり、注目画素の下側の画素の画素値は、 1 0 0である。また、注目画素の左側の画素の画素値は、 8 0であり、注目画素の右側の画素の画素値は、 8 0である。同様に、注目画素の左下側の画素の画素値は、 1 0 0であり、注目画素の右上側の画素の画素値は、 1 0 0である。注目画素の左上側の画素の画素値は、 3 0であり、注目画素の右下側の画素の画素値は、 3 0である。

図 1 0 7に構成を示すデータ定常性検出部 1 0 1は、図 1 0 9で示される入力画像に対して、図 1 1 0で示されるように、回帰直線 Aを引く。

図 1 1 1は、入力画像における、画素の空間方向の位置に対する、画素値の変化と、回帰直線 Aとの関係を示す図である。データの定常性を有する領域における画素の画素値は、例えば、図 1 1 1に示すように、山脈状に変化している。図 1 0 7に構成を示すデータ定常性検出部 1 0 1は、データの定常性を有する領域における画素の画素値を重みとして、最小自乗法により回帰直線 Aを引く。データ定常性検出部 1 0 1により求められた回帰直線 Aは、注目画素の周辺におけるデータの定常性を表現している。

入力画像における、基準軸を基準としたデータの定常性の角度は、図 1 1 ²で示されるように、回帰直線 Aと、例えば、基準軸である空間方向 Xを示す軸との角度 0を求めることにより、検出される。

次に、図 1 0 7に構成を示すデータ定常性検出部 1 0 1における、回帰直線の具体的な算出方法について説明する。

度数検出部 5 0 3は、例えば、画素取得部 5 0 2から供給された、注目画素を中心とする、空間方向 Xに 9画素、空間方向 Yに 5画素、計 4 5画素からなる領域の画素の画素値から、領域に属する画素の座標に対応する度数を検出する。例えば、度数検出部 5 0 3は、式（3 2 ) で示される演算により、度数を算出することにより、領域に属する、座標 i Jj ) の度数 j を検出する。

- - - ( 3 2 )

式（3 2 ) において、 P。，。は、注目画素の画素値を示し、 Pi , j は、座標 (_Xi , _yj ) の画素の画素値を示す。 Thは、閾値を示す。

iは、領域内における、空間方向 Xの画素の順番を示し、 l≤i ^ kである。 j は、領域内における、空間方向 Yの画素の順番を示し、 l≤j≤lである。

kは、領域における、空間方向 Xの画素の数を示し、 1は、領域における、空間方向 Yの画素の数を示す。例えば、領域が、空間方向 Xに 9画素、空間方向 Y に 5画素、計 4 5画素からなるとき、 Kは、 9であり、 1は、 5である。

図 1 1 3は、画素取得部 5 0 2において取得される領域の例を示す図である。図 1 1 3において、点線の四角は、 1つの画素を示す。

例えば、図 1 1 3で示されるように、領域が、空間方向 Xについて、注目画素を中心とした 9画素、空間方向 Yについて、注目画素を中心とした 5画素からなり、注目画素の座標（x, y) が（0，0) であるとき、領域の左上の画素の座標 (x, y) は、（-4， 2) であり、領域の右上の画素の座標（x，y) は、（4, 2) であり、領域の左下の画素の座標（x，y) は、（-4， -2) であり、領域の右下の画素の座標（x，y) は、（4，- 2) である。

領域の左側の画素の、空間方向 Xにおける、画素の順番 iは、 1であり、領域の右側の画素の、空間方向 Xにおける、画素の順番 iは、 9である。領域の下側の画素の、空間方向 Yにおける、画素の順番 jは、 1であり、領域の上側の画素の、空間方向 Yにおける、画素の順番 jは、 5である。

すなわち、注目画素の座標（x₅ , y₃ ) を（0，0) としたとき、領域の左上の画素の座標（，7₅ ) は、（-4, 2) であり、領域の右上の画素の座標（x₉，y₅ ) は、 (4, 2) であり、領域の左下の画素の座標（_Χι , _Υι ) は、（-4, -2) であり、領域の右下の画素の座標（x^ yj は、（⁴，- 2) である。

度数検出部 5 0 3は、式（3 2 ) において、相関値として、注目画素の画素値と、領域に属する画素の画素値との差分の絶対値を算出するので、実世界 1の細線の画像が射影された、入力画像における、データの定常性を有する領域のみならず、背景とは異なる色であって、単色の、直線状の縁を有する物の実世界 1の画像が射影された、入力画像における、 2値エッジのデータの定常性を有する領域における、画素値の空間的な変化の特徴を示す度数を検出することができる。なお、度数検出部 5 0 3は、画素の画素値との差分の絶対値に限らず、相関係数など他の相関値を基に、度数を検出するようにしてもよい。

また、式（3 2 ) において、指数関数を適用しているのは、画素値の差に対して、度数に大きく差をつけるためであり、他の関数を適用するようにしてもよい。閾値 Thは、任意の値とすることができる。例えば、閾値 Thは、 30とすることができる。

このように、度数検出部 503は、選択された領域に属する画素の画素値との相関値が閾値以上である画素に、相関値に基づく度数を設定することにより、領域に属する画素の度数を検出する。

また、例えば、度数検出部 503は、式（33) で示される演算により、度数を算出することにより、領域に属する、座標（Xi,yj) の度数 L_{i ; j} を検出する _c

_L |"255- |P。,。-P_U| (|P_0i0-P |)≤Th)

l' to (|Po,o-Pi,jD>T )

• · - (3 3)

座標（_Xi,_yj) における度数を Li, j (l≤i≤k, l≤j≤l) としたとき、座標 _Xi における、空間方向 Yの度数 Li,」の和 _qi は、式（34) で表され、座標 yj における、空間方向 Xの度数；の和 hj は、式（35) で表される。 qs = ∑ L I,

j=1

(34)

• · · (3 5)

度数の総和 uは、式（3 6) で表される。 k I

u = ∑ ∑ L, j

i=1 j=i ^{, J}

= ∑ j

j=1

(3 6) 図 1 1 3で示される例において、注目画素の座標の度数 L₅, ₃は、 3であり、注目画素の上側の画素の座標の度数 L₅， ₄ は、 1であり、注目画素の右上側の画素の座標の度数 L₆, ₄は、 4であり、注目画素に対して、 2画素上側であって、 1画素右側の画素の座標の度数 L₆, ₅ は、 2であり、注目画素に対して、 ²画素上側であって、 2画素右側の画素の座標の度数 L₇, ₅は、 3である。また、注目画素の下側の画素の座標の度数 L₅, ₂ は、 2であり、注目画素の左側の画素の座標の度数 L₄, ₃ は、 1であり、注目画素の左下側の画素の座標の度数 L₄， ₂ は、 3であり、注目画素に対して、 1画素下側であって、 2画素左側の画素の座標の度数 L₃,₂ は、 2であり、注目画素に対して、 2画素下側であって、 2画素左側の画素の座標の度数 L₃, は、 4である。図 1 1 3で示される領域の他の画素の座標の度数は、 0であり、図 1 1 3において、 0である度数の記載は省略する。図 1 1 3で示される領域において、空間方向 Yの度数の和 ¾ は、 iが 1である度数 Lが全て 0なので、 0であり、は、 iが²である度数 Lが全て 0なので、 0である。 q₃ は、度数 L₃， ₂ が 2であり、度数 L₃, が 4なので、 6である。同様に、 q₄は、 4であり、 q₅は、 6であり、 q₆ は、 6であり、 q₇ は、 3であり、 q₈ は、 0であり、 q₉ は、 0である。

図 1 1 3で示される領域において、空間方向 Xの度数の和は、度数 L_{3i l} が 4なので、 4である。 h₂は、度数 L₃, ₂が 2であり、度数 L₄,₂が 3であり、度数 L_{5> 2} が 2なので、 7である。同様に、 h₃ は、 4であり、 h₄ は、 5であり、 h₅ は、 5である。

図 1 1 3で示される領域において、度数の総和 uは、 25である。

空間方向 Yの度数 1^, j の和に、座標 Xi を乗じた結果を加算した和 T_x は、式（3 7) で表される。

T_x = q₁x₁+q₂x₂+'''+C|_kx_k

k

= ∑ Qj j

• · · (37) 空間方向 Xの度数 Li, j の和に、座標 _yj を乗じた結果を加算した和 T_y は、式（3 7) で表される。

T_y = h₁y₁+h₂y₂H--- -+h,y| = ∑ hjYj

j=1

• · · (38)

例えば、図 1 1 3で示される領域において、 ₁ が 0であり、 _Xl がー 4なので、 q_lXl は 0であり、 q₂ が 0であり、 x₂ が一 3なので、 ¾ x₂ は 0である。同様に、 q₃が 6であり、 x₃がー 2なので、 q₃x₃は一 1 2であり、 ¾が 4であり、 x₄力 S 一 1なので、は、一 4であり、が 6であり、 x₅が 0なので、 q₅x₅は 0 である。同様に、 q₆が 6であり、 x₆が 1なので、 q₆x₆は 6であり、 q₇が 3であり、 x₇が 2なので、 q₇x₇は 6であり、 q₈が 0であり、 x₈が 3なので、 q₈ x₈ は 0であり、 q₉ が 0であり、 x₉が 4なので、 q₉ Xg は 0である。従って、 x_L 乃至 q₉x₉の和である T_xは、一 4である。

例えば、図 1 1 3で示される領域において、が 4であり、 _yi がー 2なので、 h_x y_x は一 8であり、 h₂が 7であり、 y₂が一 1なので、 h₂ y₂ は一 7である。同様に、 h₃が 4であり、 y₃が 0なので、 h₃ y₃ は 0であり、 h₄が 5であり、 y₄力 S 1なので、 h₄ y₄ は、 5であり、 h_sカ 5であり、 y₅が 2なので、 h₅y₅ は 1 0である。従って、乃至 h₅y₅の和である T_yは、 0である。

また、 Qi を以下のように定義する。

Qi = .∑ LjjYj

」=ι

· · · (39) xの変動 S_x は、式（40) で表される。

(40) _yの変動 S_y は、式（41) で表される,

き

(45) ただし、正しい回帰直線を求めるための必要条件は、度数し jカ、回帰直線 01488

135 に対して、ガウス分布状に、分布していることである。逆に言えば、度数検出部 5 0 3は、度数 Li,」がガウス分布するように、領域の画素の画素値を度数 Li, j に変換する必要がある。

回帰直線演算部 5 04は、式（44) および式（4 5) で示される演算を実行して、回帰直線を求める。

角度算出部 5 0 5は、式（4 6) に示す演算により、回帰直線の傾き aを、基準軸である空間方向 Xの軸に対する角度 0に変換する。

Θ二 tan— ¹ (a) ■ ■ ■ (4 6) なお、回帰直線演算部 5 0 4が所定の曲線である回帰線を演算する場合、角度算出部 5 0 5は、基準軸に対する、注目画素の位置における回帰線の角度 Θを求める。

ここで、画素毎にデータの定常性を検出するためには、切片 bは、不要である。そこで、式（4 7) に示す 1次の回帰直線を求めることを考える。

y=ax · ■ · (4 7) この場合、回帰直線演算部 5 0 4は、最小自乗法により、傾き aを式（4 8) で求めることができる。

k I

∑ ∑ ^LiJ^xiyj

ι=1 j=1

∑ CijXi

• · · (4 8) 図 1 1 4のフローチヤ一トを参照して、ステップ S 1 0 1の処理に対応する、図 1 0 7で構成が示されるデータ定常性検出部 1 0 1による、データの定常性の検出の処理を説明する。

ステップ S 5 ◦ 1において、画素取得部 5 0 2は、まだ注目画素とされていない画素の中から注目画素を選択する。例えば、画素取得部 5 0 2は、ラスタスキヤン順に、注目画素を選択する。ステップ S 5 0 2において、画素取得部 5 0 2 は、注目画素を中心とする領域に含まれる画素の画素値を取得し、取得した画素の画素値を度数検出部 5 0 3に供給する。例えば、画素取得部 5 0 2は、注目画素を中心とした、 9 X 5画素からなる領域を選択し、領域に含まれる画素の画素値を取得する。

ステップ S 5 0 3において、度数検出部 5 0 3は、領域に含まれる画素の画素値を度数に変換することにより、度数を検出する。例えば、度数検出部 5 0 3は、式（3 2 ) に示される演算により、画素値を度数 Li . j に変換する。この場合において、度数 Li , jがガウス分布するように、領域の画素の画素値が度数 L_{i ;} j に変換される。度数検出部 5 0 3は、変換された度数を回帰直線演算部 5 0 4に供給する。

ステップ S 5 0 4において、回帰直線演算部 5 0 4は、度数検出部 5 0 3から供給された度数を基に、回帰線を求める。例えば、回帰直線演算部 5 0 4は、度数検出部 5 0 3から供給された度数を基に、回帰直線を求める。より具体的には、回帰直線演算部 5 0 4は、式（4 4 ) および式（4 5 ) で示される演算を実行して、回帰直線を求める。回帰直線演算部 5 0 4は、算出された結果である回帰直線を示す演算結果パラメータを角度算出部 5 0 5に供給する。

ステップ S 5 0 5において、角度算出部 5 0 5は、基準軸に対する回帰直線の角度を算出することにより、欠落した現実世界の光信号の定常性に対応する、画像データのデータの定常性を検出する。例えば、角度算出部 5 0 5は、式（4 6 ) に示す演算により、回帰直線の傾き aを、基準軸である空間方向 Xの軸に対する角度 0に変換する。角度算出部 5 0 5は、基準軸に対する回帰直線の角度を示すデータ定常性情報を出力する。

なお、角度算出部 5 0 5は、傾き aを示すデータ定常性情報を出力するようにしてもよレヽ。

ステップ S 5 0 6において、画素取得部 5 0 2は、全ての画素の処理を終了したか否かを判定し、全ての画素の処理を終了していないと判定された場合、ステップ S 5 0 1に戻り、まだ注目画素として選択されていない画素から注目画素を選択して、上述した処理を繰り返す。

ステップ S 5 0 6において、全ての画素の処理を終了したと判定された場合、処理は終了する。

このように、図 1 0 7に構成を示すデータ定常性検出部 1 0 1は、欠落した実世界 1の光信号の定常性に対応する、画像データにおける、基準軸を基準としたデータの定常性の角度を検出することができる。

特に、図 1 0 7に構成を示すデータ定常性検出部 1 0 1は、比較的狭い領域の画素の画素値を基に、画素以下の角度を求めることができる。

以上のように、現実世界の光信号が射影され、現実世界の光信号の定常性の一部が欠落した画像データの注目している画素である注目画素に対応する領域を選択し、注目画素の画素値と、選択された領域に属する画素の画素値との相関値が閾値以上である画素に、相関値に基づく度数を設定することにより、領域に属する画素の度数を検出し、検出された度数に基いて回帰線を検出することにより、欠落した現実世界の光信号の定常性に対応する、画像データのデータの定常性を検出し、検出された画像データのデータの定常性に基いて、欠落した現実世界の光信号の定常性を推定することにより光信号を推定するようにした場合、現実世界の事象に対して、より正確で、より精度の高い処理結果を得ることができるようになる。

なお、図 1 0 7に構成を示すデータ定常性検出部 1 0 1は、注目画素の属する注目フレームと、注目フレームの時間的に前後のフレームについて、所定の領域に属する画素の画素値を度数に変換し、度数を基に、回帰平面を求めるようにすれば、空間方向のデータの定常性の角度と共に、時間方向のデータの定常性の角度を検出することができる。

図 1 1 5は、データ定常性検出部 1 0 1のさらに他の構成を示すブロック図である。

図 1 1 5に示されるデータ定常性検出部 1 0 1においては、現実世界の光信号が射影され、現実世界の光信号の定常性の一部が欠落した画像データの注目している画素である注目画素に対応する領域が選択され、注目画素の画素値と、選択された領域に属する画素の画素値との相関値が閾値以上である画素に、相関値に基づく度数が設定されることにより、領域に属する画素の度数が検出され、検出された度数に基いて回帰線を検出することにより、欠落した現実世界の光信号の定常性に対応する、画像データにおけるデータの定常性を有する領域を検出する。フレームメモリ 6 0 1は、入力画像をフレーム単位で記憶し、記憶されているフレームを構成する画素の画素値を画素取得部 6 0 2に供給する。フレームメモリ 6 0 1は、 1つのページに入力画像の現在のフレームを記憶し、他のページに記憶している、現在のフレームに対して 1つ前（過去）のフレームの画素の画素値を画素取得部 6 0 2に供給し、入力画像のフレームの切り換えの時刻において、ページを切り換えることにより、画素取得部 6 0 2に、動画である入力画像のフレームの画素の画素値を供給することができる。

画素取得部 6 0 2は、フレームメモリ 6 0 1から供給された画素の画素値を基に、注目している画素である注目画素を選択し、選択された注目画素に対応する、所定の数の画素からなる領域を選択する。例えば、画素取得部 6 0 2は、注目画素を中心とする 5 X 5画素からなる領域を選択する。

画素取得部 6 0 2が選択する領域の大きさは、本発明を限定するものではない。画素取得部 6 0 2は、選択した領域の画素の画素値を取得して、選択した領域の画素の画素値を度数検出部 6 0 3に供給する。

度数検出部 6 0 3は、画素取得部 6 0 2から供給された、選択された領域の画素の画素値を基に、注目画素の画素値と、選択された領域に属する画素の画素値との相関値が閾値以上である画素に、相関値に基づく度数を設定することにより、領域に属する画素の度数を検出する。度数検出部 6 0 3における、相関値に基づく度数の設定の処理の詳細は、後述する。

度数検出部 6 0 3は、検出した度数を回帰直線演算部 6 0 4に供給する。

回帰直線演算部 6 0 4は、度数検出部 6 0 3から供給された度数に基づいて、回帰線を演算する。例えば、回帰直線演算部 6 0 4は、度数検出部 6 0 3から供給された度数に基づいて、回帰直線を演算する。また、例えば、回帰直線演算部 6 0 4は、度数検出部 6 0 3から供給された度数に基づいて、所定の曲線である回帰線を演算する。回帰直線演算部 6 0 4は、演算された回帰線およぴ演算の結果を示す演算結果パラメータを領域算出部 6 0 5に供給する。演算パラメータが示す演算の結果には、後述する変動および共変動などが含まれる。

領域算出部 6 0 5は、回帰直線演算部 6 0 4から供給された演算結果パラメ一タで示される、回帰線に基づいて、欠落した現実世界の光信号の定常性に対応する、画像データである入力画像においてデータの定常性を有する領域を検出する。図 1 1 6は、入力画像における、画素の空間方向の位置に対する、画素値の変化と、回帰直線 Aとの関係を示す図である。データの定常性を有する領域における画素の画素値は、例えば、図 1 1 6に示すように、山脈状に変化している。図 1 1 5に構成を示すデータ定常性検出部 1 0 1は、データの定常性を有する領域における画素の画素値を重みとして、最小自乗法により回帰直線 Aを引く。データ定常性検出部 1 0 1により求められた回帰直線 Aは、注目画素の周辺におけるデータの定常性を表現している。

回帰直線を引くということは、ガウス関数を前提とした近似を意味する。図 1 1 7に示すように、図 1 1 5に構成を示すデータ定常性検出部 1 0 1は、例えば、標準偏差を求めることで、細線の画像が射影された、データ 3における領域の、おおよその幅を知ることができる。また、例えば、図 1 1 5に構成を示すデータ定常性検出部 1 0 1は、相関係数を基に、細線の画像が射影された、データ 3における領域の、おおよその幅を知ることができる。

次に、図 1 1 5に構成を示すデータ定常性検出部 1 0 1における、回帰直線の具体的な算出方法について説明する。

度数検出部 6 0 3は、例えば、画素取得部 6 0 2から供給された、注目画素を中心とする、空間方向 Xに 9画素、空間方向 Yに 5画素、計 4 5画素からなる領域の画素の画素値から、領域に属する画素の座標に対応する度数を検出する。例えば、度数検出部 6 0 3は、式（4 9 ) で示される演算により、度数を算出することにより、領域に属する、座標（x_{i > yj}) の度数し j を検出する。

(0.050 (255- 1 P₀， ₀— P_u I ) - 1 ) ( I P₀,。-P_u I )≤Th )

• · · (4 9)

式（4 9) において、 P。，。は、注目画素の画素値を示し、 Pi， j は、座標

(Xi,yj) の画素の画素値を示す。 Thは、閾値を示す。

iは、領域内における、空間方向 Xの画素の順番を示し、 l≤i^kである。 j は、領域内における、空間方向 Yの画素の順番を示し、である。

図 1 1 8は、画素取得部 6 0 2において取得される領域の例を示す図である。図 1 1 8において、点線の四角は、 1つの画素を示す。

例えば、図 1 1 8で示されるように、領域が、空間方向 Xについて、注目画素を中心とした 9画素、空間方向 Yについて、注目画素を中心とした 5画素からなり、注目画素の座標（x,y) が（0，0) であるとき、領域の左上の画素の座標

(x，y) は、（-4， 2) であり、領域の右上の画素の座標（x，y) は、（4， 2) であり、領域の左下の画素の座標（X, y) は、（-4,-2) であり、領域の右下の画素の座標（x，y) は、（4，- ²) である。

すなわち、注目画素の座標（x₅,y₃) を（0,0) としたとき、領域の左上の画素の座標（， ₅) は、（-4,2) であり、領域の右上の画素の座標（x₉，y₅) は、 (4, 2) であり、領域の左下の画素の座標（x^yj は、（-4， -2) であり、領域の右下の画素の座標（x^yj は、（4，- 2) である。麵麵 ₄₈₈

141

度数検出部 6 0 3は、式（4 9 ) において、相関値として、注目画素の画素値と、領域に属する画素の画素値との差分の絶対値を算出するので、実世界 1の細線の画像が射影された、入力画像における、データの定常性を有する領域のみならず、背景とは異なる色であって、単色の、直線状の縁を有する物の実世界 1の画像が射影された、入力画像における、 2値エッジのデータの定常性を有する領域における、画素値の空間的な変化の特徴を示す度数を検出することができる。なお、度数検出部 6 0 3は、画素の画素値との差分の絶対値に限らず、相関係数など他の相関値を基に、度数を検出するようにしてもよい。

また、式（4 9 ) において、指数関数を適用しているのは、画素値の差に対して、度数に大きく差をつけるためであり、他の関数を適用するようにしてもよい。閾値 Thは、任意の値とすることができる。例えば、閾値 Thは、 3 0とすることができる。

このように、度数検出部 6 0 3は、選択された領域に属する画素の画素値との相関値が閾値以上である画素に、相関値に基づく度数を設定することにより、領域に属する画素の度数を検出する。

また、例えば、度数検出部 6 0 3は、式（5 0 ) で示される演算により、度数を算出することにより、領域に属する、座標（』）の度数 1^ ,」を検出する _c し

• · · ( 5 0 )

座標（Xi，_yj ) における度数を Li ,」 (l≤i≤k, l≤j≤l ) としたとき、座標 _Xi における、空間方向 Yの度数し j の和 _qi は、式（5 1 ) で表され、座標 _yj における、空間方向 Xの度数 Li , · の和 hj は、式（5 2 ) で表される。 q i 一 J= lし i , j

• · · ( 5 1 ) k

hj = ∑ L_u

^J i=1

• · · (5 2)

度数の総和 uは、式（5 3) で表される。 k I

u = ∑ ∑ L, j

i=1 j=1

k

= ∑ Q\

=」

· · ■ (5 3)

図 1 1 8で示される例において、注目画素の座標の度数 L₅， ₃ は、 3であり、注目画素の上側の画素の座標の度数 L₅, ₄ は、 1であり、注目画素の右上側の画素の座標の度数 L₆, ₄は、 4であり、注目画素に対して、 2画素上側であって、 1画素右側の画素の座標の度数 L₆, ₅ は、 2であり、注目画素に対して、 2画素上側であって、 2画素右側の画素の座標の度数 L₇, ₅は、 3である。また、注目画素の下側の画素の座標の度数 L₅, ₂ は、 2であり、注目画素の左側の画素の座標の度数 L₄, ₃ は、 1であり、注目画素の左下側の画素の座標の度数 L₄, ₂ は、 3であり、注目画素に対して、 1画素下側であって、 2画素左側の画素の座標の度数 L₃,₂は、 2であり、注目画素に対して、 2画素下側であって、 2画素左側の画素の座標の度数 L₃, i は、 4である。図 1 1 8で示される領域の他の画素の座標の度数は、 0であり、図 1 1 8において、 0である度数の記載は省略する。図 1 1 8で示される領域において、空間方向 Yの度数の和は、 iが 1である度数 Lが全て 0なので、 0であり、 q₂は、 iが²である度数 Lが全て 0なので、 0である。 q₃ は、度数 L₃, ₂ が 2であり、度数 L₃, _t が 4なので、 6である, 同様に、は、 4であり、 q₅は、 6であり、 q₆ は、 6であり、 q₇ は、 3であり. q₈は、 0であり、は、 0である。図 1 18で示される領域において、空間方向 Xの度数の和 ^ は、度数 L_{3> 1} が 4なので、 4である。 h₂は、度数 L₃,₂が 2であり、度数 L₄，₂が 3であり、度数 L₅, ₂ が 2なので、 7である。同様に、 h₃ は、 4であり、 h₄ は、 5であり、 h_s は、 5である。

図 1 1 8で示される領域において、度数の総和 uは、 25である。

空間方向 Yの度数 Li,』の和に、座標 _Xi を乗じた結果を加算した和 T_x は、式（54) で表される。

T_x = q₁x₁+q₂x₂+''.+c|_kx_k

• · · (54)

空間方向 Xの度数 Li, j の和 hj に、座標 _yj を乗じた結果を加算した和 T_y は、式（5 5) で表される。

T_y = h_ly₁+h₂y₂+-"+h|y|

J=1

• · · (55)

例えば、図 1 1 8で示される領域において、が 0であり、 _Xl がー 4なので、 q_lXl は 0であり、 q₂ が 0であり、 x₂ が一 3なので、 q₂ x₂ は 0である。同様に、 q₃が 6であり、 x₃が一 2なので、 q₃ x₃は一 1 2であり、 q₄が 4であり、 x₄カ一 1なので、 q₄x₄ は、一 4であり、 q₅が 6であり、 x₅が 0なので、 q₅ x₅ は 0 である。同様に、 q₆が 6であり、 X₆が 1なので、 q₆x₆ は 6であり、 q₇ が 3であり、 x₇が 2なので、 q₇x₇ は 6であり、 q₈が 0であり、 x₈が 3なので、 q₈ x₈ は 0であり、 ¾ が 0であり、 x₉が 4なので、 q₉x₉は 0である。従って、乃至 q₉x₉の和である T_x は、一4である。

例えば、図 1 1 8で示される領域において、が 4であり、 _Yl がー 2なので、 h_lYl は _ 8であり、 h₂ が 7であり、 y₂がー 1なので、 h₂y₂は一 7である。同様に、 h₃が 4であり、 y₃が 0なので、 h₃ y₃は 0であり、 h₄が 5であり、 y₄が 1なので、 h₄y₄は、 5であり、 h₅が 5であり、 y₅が 2なので、 h₅y₅ は 1 0である。従って、 h_{i yi}乃至 h₅y₅の和である T_yは、 0である。

また、 Qi を以下のように定義する。

(5 6)

Xの変動 S_x は、式（5 7) で表される

S_x = ∑ cijXi— T;zu

i=1

(5 7) yの変動 S_Y は、式（5 8) で表される ₍

(5 8) 共変動 S_xv は、式（5 9) で表される,

S_xy = ∑ ∑ L_uXjy厂 T_xT_yzu

ι=1 J=l

• · · (5 9) 式（6 0) に示す 1次の回帰直線を求めることを考える。

y=ax+b · · · (6 0) 傾き aおよび切片 bは、最小自乗法により、以下のように求めることができる。

∑ k - 2 i i X

y

• · · (6 2) ただし、正しい回帰直線を求めるための必要条件は、度数， j力回帰直線に対して、ガウス分布状に、分布していることである。逆に言えば、度数検出部 6 0 3は、度数 jがガウス分布するように、領域の画素の画素値を度数， j に変換する必要がある。

回帰直線演算部 6 04は、式（6 1 ) および式（6 2) で示される演算を実行して、回帰直線を求める。

また、画素毎にデータの定常性を検出するためには、切片 b は、不要である _c そこで、式（6 3) に示す 1次の回帰直線を求めることを考える。

y=ax · ■ ■ 、 6 3ノこの場合、回帰直線演算部 6 04は、最小自乗法により、傾き aを式（6 4) で求めることができる。

k a = i=1 ■ · · (64)

データの定常性を有する領域を特定する第 1の手法においては、式（60) に示す回帰直線の推定誤差が利用される。

yの変動 S_y._xは、式（65) で示される演算で求められる。

= S_y-aS_xy

• · · (65) 推定誤差の分散は、変動を用いて、式（66) で示される演算で求められる。

V_y._x = S_y._x/(u-2)

= (S_y— aS_xy) (u - 2)

• · · (66) よって、標準偏差は、以下の式で導出される。

- · · (6 7) ただし、標準偏差は、細線の画像が射影された領域を対象とする場合、細線の幅に値する量なので、一概に、標準偏差が大きいことをもって、データの定常を有する領域ではないという判断をすることはできない。しかしながら、例えば、クラス分類適応処理が破綻するのは、データの定常を有する領域の中でも、細線の幅が狭い部分なので、クラス分類適応処理が破綻する可能性が大きい領域を検出するために、標準偏差を用いて検出された領域を示す情報を利用することができる。

領域算出部 605は、式（6 7) で示される演算により、標準偏差を算出して、標準偏差を基に、入力画像における、データの定常性を有する領域を算出する。例えば、領域算出部 605は、標準偏差に所定の係数を乗じて距離を求め、回帰 PC漏 00傷 1488

147

直線から、求めた距離以内の領域を、データの定常性を有する領域とする。例えば、領域算出部 6 0 5は、回帰直線を中心として、回帰直線から標準偏差以内の距離の領域を、データの定常性を有する領域として算出する。

第 2の手法においては、度数の相関をデータの定常を有する領域の検出に用いる。

相関係数のは、 Xの変動 S_x、 yの変動 S_y、および共変動 S_{x y} を基に、式 ( 6 8 ) で示される演算で求めることができる。

rxy ⁼ S_x -γ _xS_y

• · · ( 6 8 ) 相関には、正の相関と負の相関があるので、領域算出部 6 0 5は、相関係数 r_{x y} の絶対値を求めて、相関係数 r_{x y} の絶対値が 1に近いほど、相関が強いと判定する。より具体的には、領域算出部 6 0 5は、閾値と、相関係数 r_{x y} の絶対値とを比較し、相関係数 r_{x y} の絶対値が閾値以上である領域を、データの定常性を有する領域として検出する。

図 1 1 9のフローチャートを参照して、ステップ S 1 0 1の処理に対応する、図 1 1 5で構成が示されるデータ定常性検出部 1 0 1による、データの定常性の検出の処理を説明する。

ステップ S 6 0 1において、画素取得部 6 0 2は、まだ注目画素とされていない画素の中から注目画素を選択する。例えば、画素取得部 6 0 2は、ラスタスキヤン順に、注目画素を選択する。ステップ S 6 0 2において、画素取得部 6 0 2 は、注目画素を中心とする領域に含まれる画素の画素値を取得し、取得した画素の画素値を度数検出部 6 0 3に供給する。例えば、画素取得部 6 0 2は、注目画素を中心とした、 9 X 5画素からなる領域を選択し、領域に含まれる画素の画素値を取得する。

ステップ S 6 0 3において、度数検出部 6 0 3は、領域に含まれる画素の画素値を度数に変換することにより、度数を検出する。例えば、度数検出部 6 0 3は、式（4 9 ) で示される演算により、画素値を度数に変換する。この場合において、度数 Li , jがガウス分布状に分布するように、領域の画素の画素値が度数 Li , j に変換される。度数検出部 6 0 3は、変換された度数を回帰直線演算部 6 0 4に供給する。

ステップ S 6 0 4において、回帰直線演算部 6 0 4は、度数検出部 5 0 3から供給された度数を基に、回帰線を求める。例えば、回帰直線演算部 6 0 4は、度数検出部 6 0 3から供給された度数を基に、回帰直線を求める。より具体的には、回帰直線演算部 6 0 4は、式（6 1 ) および式（6 2 ) で示される演算を実行して、回帰直線を求める。回帰直線演算部 6 0 4は、算出された結果である回帰直線を示す演算結果パラメータを領域算出部 6 0 5に供給する。

ステップ S 6 0 5において、領域算出部 6 0 5は、回帰直線についての標準偏差を算出する。例えば、領域算出部 6 0 5は、式（6 7 ) に示す演算により、回帰直線に対する標準偏差を算出する。

ステップ S 6 0 6において、領域算出部 6 0 5は、標準偏差から、入力画像における、データの定常性を有する領域を特定する。例えば、領域算出部 6 0 5は、標準偏差に所定の係数を乗じて距離を求め、回帰直線から、求めた距離以内の領域を、データの定常性を有する領域として特定する。

領域算出部 6 0 5は、データの定常性を有する領域を示すデータ定常性情報を出力する。

ステップ S 6 0 7において、画素取得部 6 0 2は、全ての画素の処理を終了したか否かを判定し、全ての画素の処理を終了していないと判定された場合、ステップ S 6 0 1に戻り、まだ注目画素として選択されていない画素から注目画素を選択して、上述した処理を繰り返す。

ステップ S 6 0 7において、全ての画素の処理を終了したと判定された場合、処理は終了する。

図 1 2 0のフローチャートを参照して、ステップ S 1 0 1の処理に対応する、図 1 1 5で構成が示されるデータ定常性検出部 1 0 1による、データの定常性の検出の他の処理を説明する。ステップ S 6 2 1乃至ステップ S 6 2 4の処理は、ステップ S 6 ◦ 1乃至ステップ S 6 0 4の処理と同様なので、その説明は省略する。

ステップ S 6 2 5において、領域算出部 6 0 5は、回帰直線についての相関係数を算出する。例えば、領域算出部 6 0 5は、式（6 8 ) で示される演算により、回帰直線に対する相関係数を算出する。

ステップ S 6 2 6において、領域算出部 6 0 5は、相関係数から、入力画像における、データの定常性を有する領域を特定する。例えば、領域算出部 6 0 5は、予め記憶している閾値と相関係数の絶対値とを比較し、相関係数の絶対値が閾値以上である領域を、データの定常性を有する領域として特定する。

ステップ S 6 2 7の処理は、ステップ S 6 0 7の処理と同様なので、その説明は省略する。

このように、図 1 1 5に構成を示すデータ定常性検出部 1 0 1は、欠落した実世界 1の光信号の定常性に対応する、画像データにおける、データの定常性を有する領域を検出することができる。

以上のように、現実世界の光信号が射影され、現実世界の光信号の定常性の一部が欠落した画像データの注目している画素である注目画素に対応する領域を選択し、注目画素の画素値と、選択された領域に属する画素の画素値との相関値が閾値以上である画素に、相関値に基づく度数を設定することにより、領域に属する画素の度数を検出し、検出された度数に基いて回帰線を検出することにより、欠落した現実世界の光信号の定常性に対応する、画像データにおけるデータの定常性を有する領域を検出し、検出された画像データのデータの定常性に基づいて、欠落した現実世界の光信号の定常性を推定することにより光信号を推定するよう · にした場合、現実世界の事象に対して、より正確で、より精度の高い処理結果を得ることができるようになる。

図 1 2 1は、データ定常性検出部 1 0 1のその他の実施の形態の構成を示して T/JP2004/001488

150

いる。

図 1 2 1のデータ定常性検出部 1 0 1は、データ選択部 7 0 1、データ足し込み部 7 0 2、および、定常方向導出部 7 0 3より構成される。

データ選択部 7 0 1は、入力画像の各画素を注目画素として、その注目画素毎に対応する画素の画素値データを選択して、データ足し込み部 7 0 2に出力する。データ足し込み部 7 0 2は、データ選択部 7 0 1より入力されたデータに基づいて、最小自乗法における足し込み演算を行い、足し込み演算結果を定常方向導出部 7 0 3に出力する。このデータ足し込み部 7 0 2による足し込み演算とは、後述する最小自乗法の演算に用いるサメーションの項における演算であり、その演算結果は、定常性の角度を検出するための画像データの特徴であると言える。定常方向導出部 7 0 3は、データ足し込み部 7 0 2より入力された足し込み演算結果から定常方向、すなわち、データの定常性が有する基準軸からの角度（例えば、細線、または 2値エッジなどの傾き、または方向）を演算し、これをデータ定常性情報として出力する。

次に、図 1 2 2を参照して、データ定常性検出部 1 0 1における定常性（方向、または、角度）を検出する動作の概要について説明する。尚、図 1 2 2，図 1 2 3中、図 6，図 7における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。

図 1 2 2で示されるように、実世界 1の信号（例えば、画像）は、光学系 1 4 1 (例えば、レンズ、または LPF (Low Pass Fi l ter) などからなる）により、センサ 2 (例えば、 CCD (Charge Coupl ed Device) 、または、 CMOS

(Complementary Metal-Oxi de Semi conductor) など) の受光面に結像される _c センサ 2は、例えば、 CCDや CMOSのような積分特性を有する素子から構成される。このような構成により、センサ 2から出力されるデータ 3から得られる画像は、実世界 1の画像とは異なる画像となる（実世界 1の画像とは差が生じることになる）。

そこで、データ定常性検出部 1 0 1は、図 1 2 3で示されるように、モデル 7 0 5を用いて、実世界 1を近似式により近似的に記述して、その近似式からデータ定常性を抽出する。モデル 7 0 5は、例えば、 N個の変数で表現される。より正確には、モデル 7 0 5は、実世界 1の信号を近似（記述）する。

データ定常性検出部 1 0 1は、モデノレ 7 0 5を予測するために、データ 3から、 M個のデータ 7 0 6を抽出する。その結果、モデル 7 0 5は、データの定常性に拘束されることになる。

すなわち、モデル 7 0 5は、センサ 2で取得されたとき、データ 3においてデータのデータ定常性を生じさせる、定常性（所定の次元の方向に一定の特徴）を有する実世界 1の事象（を示す情報（信号））を近似する。

ここで、データ 7 0 6の数 Mが、モデル 7 0 5の変数の数 N以上であれば、 M 個のデータ 7 0 6から、 N個の変数で表現されるモデル 7 0 5を予測することができる。

さらに、データ定常性検出部 1 0 1は、実世界 1 (の信号）を近似（記述）するモデル 7 0 5を予測することにより、実世界 1の情報である信号に含まれるデータ定常性を、例えば、細線や 2値エッジの方向（傾き、または、所定の方向を軸としたときの軸とのなす角度）として導出し、データ定常性情報として出力する。

次に、図 1 2 4を参照して、入力画像より細線の方向（角度）をデータ定常性情報として出力するデータ定常性検出部 1 0 1について説明する。

データ選択部 7 0 1は、水平 ·垂直判定部 7 1 1、および、データ取得部 7 1 2から構成されている。水平 ·垂直判定部 7 1 1は、注目画素とその周辺の画素間の画素値の差分から、入力画像の細線の水平方向に対する角度が、水平方向に近い細線か、垂直方向に近い細線かを判定し、判定結果をデータ取得部 7 1 2、および、データ足し込み部 7 0 2にそれぞれ出力する。

より詳細には、例えば、この手法という意味で、他の手法でもよい。例えば、簡易 1 6方位検出手法をここで使用してもよい。図 1 2 5で示されるように、水平 -垂直判定部 7 1 1は、注目画素と、その注目画素に隣接する画素間の差分 (画素間の画素値の差分）のうち、水平方向の画素間の差分（アクティビティ）の和（hdiff) と、垂直方向の画素間の差分（アクティビティ）の和の差分

(vdiff) を求めて、注目画素が垂直方向に隣接する画素間との差分の和が大きいか、または、水平方向に隣接する画素間との差分の和が大きいかを判定する。ここで、図 1 2 5においては、各マス目が画素を示し、図中の中央の画素が注目画素である。また、図中の点線の矢印で示す画素間の差分が、水平方向の画素間の差分であり、その和が hdiff で示される。さらに、図中の実線の矢印で示す画素間の差分が、垂直方向の画素間の差分であり、その和が vdiff で示される。このように求められた水平方向の画素間の画素値の差分和 hdiff と、垂直方向の画素間の画素値の差分和 vdiff に基づいて、水平 ·垂直判定部 7 1 1は、 (hdiff- vdiff) が正であれば、垂直方向よりも水平方向の画素間の画素値の変化（アクティビティ）が大きいので、図 1 2 6で示されるように、水平方向に対する角度が 0 (0度度≤ 0≤180度度）で示される場合、 4⁵度度 < Θ l³5度度、すなわち、垂直方向に近い角度の細線に属している画素であると判定し、逆に負であれば垂直方向の画素間の画素値の変化（アクティビティ）が大きいので、 0度度≤ θ < 45度度、または、 135度度く Θ 度度、すなわち、水平方向に近い角度の細線に属している画素であると判定する（細線が続く方向（角度）に存在する画素は、いずれも細線を表現する画素であるので、その画素間の変化 (アクティビティ）は小さくなるはずである）。

また、水平 ·垂直判定部 7 1 1は、入力画像の各画素を識別するカウンタ（図示せず）を備えており、適宜必要に応じて使用する。

尚、図 1 2 5においては、注目画素を中心として、 3画素 X 3画素の範囲における垂直方向と水平方向の画素間の画素値の差分の和を比較して、細線が垂直方向に近いか、または、水平方向に近いかを判定する例について説明したが、それ以上の画素数を用いて同様の手法で細線の方向を判定するようにしてもよく、例えば、注目画素を中心として 5画素 X 5画素や、 7画素 X 7画素など、それ以上の画素数のプロックに基づいて判定するようにしてもよい。 PC觀麵纏

153

データ取得部 7 1 2は、水平 ·垂直判定部 7 1 1より入力された細線の方向の判定結果に基づいて、注目画素に対応する水平方向に並ぶ複数の画素からなるブロック単位、または、垂直方向に並ぶ複数の画素のプロック単位で画素値を読み出し（取得し）、読み出した（取得した）注目画素毎に対応する複数の画素間における、水平，垂直方向判定部 7 1 1の判定結果の方向に隣接する画素間の差分データとともに、所定の画素数のブロックに含まれる画素から、画素値の最大値と最小値のデータをデータ足し込み部 7 0 2に出力する。尚、以下においては、データ取得部 7 1 2により、注目画素に対応して取得される複数の画素のプロックを取得プロックと称する（取得ブロックは、例えば、後述する図 1 3 9で示される複数の画素（各マス目で示される）のうち、黒線の正方形が示された画素を注目画素とするとき、その上下 3画素分と、左右 1画素分の合計 1 5画素などである）。

データ足し込み部 7 0 2の差分足し込み部 7 2 1は、データ選択部 7 0 1より入力された差分データを検出し、データ選択部 7 0 1の水平 '垂直判定部 7 1 1 より入力される水平方向、または、垂直方向の判定結果に基づいて、後述する最小自乗法の解法に必要な足し込み処理を実行し、その足し込み結果を定常方向導出部 7 0 3に出力する。より具体的には、複数の画素のうち水平 ·垂直判定部 7 1 1による判定方向に隣接する画素 i と画素（ i + 1 ) の画素間の画素値の差分データを yiとし、注目画素に対応する取得ブロックが n個の画素から構成された場合、差分足し込み部 7 2 1は、水平方向、または、垂直方向毎に（y 1 ) ² + ( y 2 ) 2 + ( y 3 ) ² + . ■ 'を足し込んで演算し、定常方向導出部 7 0 3 に出力する。

MaxMin取得部 7 2 2は、データ選択部 7 0 1より入力される注目画素に対応する取得ブロックに含まれる各画素毎に設定されるプロック（以下、ダイナミツクレンジプロックと称する（ダイナミックレンジプロックは、後述する図 1 3 9 で示される取得プロックの画素のうち、例えば、画素 pix l 2について、黒の実線で囲まれている、ダイナミックレンジブロック B 1で示される、画素 pix l 2 の上下 3画素分の合計 7画素などである））に含まれる画素の画素値の最大値と最小値を取得すると、その差分からダイナミックレンジ Dri (取得ブロック内の i番目の画素に対応する、ダイナミックレンジプロックに含まれる画素の画素値の最大値と最小値の差分）を演算（検出）して、差分足し込み部 7 2 3に出力する。

差分足し込み部 7 2 3は、 MaxMin取得部 7 2 2より入力されたダイナミックレンジ Dri と、データ選択部 7 0 1より入力された差分データを検出し、 ·検出したダイナミックレンジ Dri と差分データに基づいて、データ選択部 7 0 1の水平 ·垂直判定部 7 1 1より入力される水平方向、または、垂直方向毎に、ダイナミックレンジ Dri と差分データ y iを乗じた値を足し込んで、演算結果を定常方向導出部 7 0 3に出力する。すなわち、差分足し込み部 7 2 3が出力する演算結果は、水平方向、または、垂直方向毎に y 1 X Dr l + y 2 X Dr 2 + y 3 X Dr 3 + · ■ · となる。

定常方向導出部 7 0 3の定常方向演算部 7 3 1は、データ足し込み部 7 0 2より入力されてくる、水平方向、または、垂直方向毎の足し込み演算結果に基づいて、細線の角度（方向）を演算し、演算された角度を定常性情報として出力する。ここで、細線の方向（細線の傾き、または、角度）の演算方法について説明する。

図 1 2 7 Aで示されるような入力画像中の白線により囲まれる部分を拡大すると、細線（図中、右上がりで、かつ斜め方向の白線）は、実際には、図 1 2 7 B で示されるように表示されている。すなわち、現実世界においては、図 1 2 7 C で示されるように、画像は、細線のレベル（図 1 2 7 C中では濃度の薄い斜線部）と背景レベルの 2種類のレベルが境界を形成し、その他のレベルが存在しない状態となる。これに対して、センサ 2により撮像された画像、すなわち、画素単位で撮像された画像は、図 1 2 7 Bで示されるように、その積分効果により背景レベルと細線レベルとが空間的に混合した画素が、その比率（混合比）を一定のパターンで変化するように縦方向に配置された複数の画素からなるプロックが細線方向に繰り返して配置されたような画像となる。尚、図 1 2 7 Bにおいて、各正方形状のマス目は、 CCDの 1画素を示し、各辺の長さを d_CCDであるものとする。また、マス目は、格子状に塗りつぶされた部分が背景のレベルに相当する画素値の最小値であり、その他の斜線状に塗りつぶされた部分は、斜線の密度が低くなるに連れて画素値が高くなるものとする（従って、斜線のない白色のマス目が画素値の最大値となる）。

図 1 2 8 Aで示されるように、現実世界の背景上に細線が存在する場合、現実世界の画像は、図 1 2 8 Bで示されるように、横軸にレベル、縦軸にそのレベルに対応する部分の画像上の面積を示すと、画像中の背景に相当する面積と、細線に相当する部分の面積との、画像上における占有面積の関係が示される。

同様にして、センサ 2で撮像された画像は、図 1 2 9 Aで示されるように、背景レベルの画素の中に、縦に並んだ背景レベルと '細線レベルとが混合した画素が、その混合比を所定のパターンで変化させながら縦方向に配置されたブロックが、細線の存在する方向に繰り返して配置されたような画像となるため、図 1 2 9 B で示すように、背景のレベルとなる領域（背景領域）と、細線のレベルの中間のレベルをとる、背景と細線が空間的に混合した結果生じる画素からなる空間混合領域が存在する。ここで、図 1 2 9 Bにおいて縦軸は、画素数であるが、 1画素の面積は（d_CCD) となるため、図 1 2 9 Bの画素値のレベルと画素数の関係は、画素値のレベルと面積の分布の関係と同様であるといえる。

これは、図 1 3 O Aの実際の画像中の白線で囲まれる部分（3 1画素 X 3 1画素の画像）においても、図 1 3 0 Bで示されるように同様の結果が得られる。すなわち、図 1 3 O Aで示される背景部分（図 1 3 O A中では、黒色に見える部分）は、図 1 3 0 Bで示されるように、画素値レベルの低い（画素値が 2 0付近の）画素が多く分布しており、これらの変化の少ない部分が、背景領域の画像を形成する。これに対して、図 1 3 0 Bの画素値レベルが低くない部分、すなわち、画素値レベルが 4 0付近乃至 1 6 0付近に分布する画素は、細線の画像を形成する、空間混合領域に属する画素であり、各画素値毎の画素数は少ないが、広い画素値の範囲に分布している。

ところで、現実世界の画像における背景と細線のそれぞれのレベルは、例えば、図 1 3 1 Aで示される矢印方向（Y座標方向）に見ると、図 1 3 1 Bで示されるように変化することになる。すなわち、矢印の起点から細線までの背景領域では、比較的レベルの低い背景レベルとなり、細線の領域では、レベルの高い細線のレベルとなり、細線領域を通過して再ぴ背景領域に戻ると、レベルの低い背景のレベルとなる。結果として、細線領域のみが高いレベルとなるパルス状の波形となる。

これに対して、センサ 2で撮像された画像のうち、図 1 3 1 A中の矢印の向きに対応する、図 1 3 2 Aの空間方向 X==X 1上の画素（図 1 3 2Aにおいては、黒丸で示されている画素）の画素値と、その画素の空間方向 Yの関係は、図 1 3 2 Bに示されるようになる。尚、図 1 3 2 Aにおいて、右上がりの 2本の白線の間が、現実世界の画像上における細線を示している。

すなわち、図 1 3 2 Bで示されるように、図 1 3 2 A中の中央の画素に対応する画素が最も高い画素値をとるため、各画素の画素値は、空間方向 Yの位置が、図中の下部から中央の画素に向かうに連れて高くなり、中央の位置を通過すると、徐々に減少することになる。結果として、図 1 3 2 Bで示すように、山型の波形が形成される。また、図 1 3 2 Aの空間方向 X = X O, X 2に対応する各画素の画素値の変化は、空間方向 Yのピーク位置が、細線の傾きに応じてずれるものの、同様の外形となる。

例えば、図 1 3 3 Aで示されるような、実際にセンサ 2により撮像された画像における場合においても、図 1 3 3 Bで示されるように、同様の結果が得られる。すなわち、図 1 3 3 Bは、図 1 3 3 Aの画像中の白線で囲まれる範囲の細線付近の画素値を所定の空間方向 X (図中では、 X= 5 6 1 , 5 6 2， 5 6 3) 毎の、空間方向 Yに対応した画素値の変化を示している。このように、実際のセンサ 2 により撮像された画像においても、 X= 5 6 1においては、 Y= 7 3 0付近で、 Χ= 5 6 2においては、 Υ= 7 0 5付近で、 Χ= 5 6 3においては、 Υ= 6 8 5 2004/001488

157

付近で、それぞれピークとなる山型の波形となっている。

このように、現実世界の画像の細線付近のレベルの変化を示す波形はパルス状の波形となるのに対して、センサ 2により撮像された画像の画素値の変化を示す波形は山型の波形となる。

すなわち、換言すれば、現実世界の画像のレベルは、図 1 3 1 Bで示されるような波形になるべきところが、センサ 2により撮像されることにより、撮像された画像は、図 1 3 2 Bで示されるように、その変化に歪が生じて、現実世界の画像とは異なる（現実世界の情報が欠落した）波形に変化していると言える。そこで、このセンサ 2により撮像された画像から、現実世界の画像の定常性情報を取得するため、センサ 2より取得された画像のデータから現実世界を近似的に記述するためのモデル（図 1 2 3のモデル 7 0 5に相当する）を設定する。例えば、細線の場合、図 1 3 4で示されるように、現実世界の画像を設定する。すなわち、図中左部の背景部分のレベルを B 1、図中右側の背景部分のレベルを B 2、細線部分のレベルを L、細線の混合比を o;、細線の幅を W、細線の水平方向に対する角度を 0としてパラメータを設定し、モデル化して、現実世界を近似的に表現する関数を設定し、各パラメータを求めることにより現実世界を近似的に表現する近似関数を求め、その近似関数から細線の方向（傾き、または、基準軸に対する角度）を求める。

このとき、背景領域は、左部、および、右部は、同一であるものとして近似することができるので、図 1 3 5で示されるように、統一して B ( = B 1 = B 2 ) とする。また、細線の幅を 1画素以上であるものとする。このように設定された現実世界をセンサ 2で撮像するとき、撮像された画像は、図 1 3 6 Aで示されるように撮像されることになる。尚、図 1 3 6 Aにおいて、右上がりの 2本の白線の間が、現実世界の画像上における細線を示している。

すなわち、現実世界の細線上の位置に存在する画素は、細線のレベルに最も近レ、レベルとなり、垂直方向（空間方向 Yの方向）に対して細線から離れるに従つて画素値が減少し、細線領域に接することのない位置に存在する画素の画素値、すなわち、背景領域の画素は、背景レベルの画素値となる。このとき、細線領域と背景領域に跨る位置に存在する画素の画素値は、背景レベルの画素値 Bと、細線レベルの画素値 Lが、混合比 aで混合された画素値となっている。

このように、撮像された画像の各画素を注目画素とした場合、データ取得部 7 1 2は、その注目画素に対応する取得ブロックの画素を抽出し、その抽出した取得プロックを構成する画素毎に、ダイナミックレンジブロックを抽出し、そのダイナミックレンジプロックを構成する画素のうちの最大値となる画素値をとる画素と、最小値となる画素値をとる画素とを抽出する。すなわち、図 1 3 6 Aで示すように、取得ブロック中の所定の画素（図中の 1マスの中に黒の実線で正方形が記述された画素 pix4) に対応したダイナミックレンジブロックの画素（例えば、図中の黒の実線で囲まれた画素 pix l乃至 7の 7画素） ) が抽出された場合、その各画素に対応する現実世界の画像は、図 1 3 6 Bで示されるようになる。すなわち、図 1 3 6 Bで示されるように、画素 pixlは、左部の略 1/8の面積を占める部分が背景領域となり、右部の略 7Z 8の面積を占める部分が細線領域となる。画素 pix2は、略全領域が細線領域となる。画素 pix3は、左部の略 7/8の面積を占める部分が細線領域となり、右部 1 / 8の面積を占める部分が細線領域となる。画素 pix4は、左部の略 2/ 3の面積を占める部分が細線領域となり、右部の略 1 /3の面積を占める部分が背景領域となる。画素 pix5は、左部の略 1Z3の面積を占める部分が細線領域となり、右部の略 2 Z 3の面積を占める部分が背景領域となる。画素 pix6は、左部の略 1/8の面積を占める部分が細線領域となり、右部の略 7Z8の面積を占める部分が背景領域となる。さらに、画素 pix7は、全体が背景領域となる。

結果として、図 1 3 6 Aおよぴ図 1 3 6 Bで示されるダイナミックレンジブ口ックの各画素 pix 1乃至 7の画素値は、細線領域と背景領域の面積の比率に対応した混合比で、背景レベルと細線レベルが混合された画素値となる。すなわち、背景レベル：前景レベルの混合比は、画素 pixlが略 1 ： 7、画素 pix 2が略 0 : 1、画素 pix 3が略 1 ： 7、画素 pix 4が略 1 : 2、画素 pix 5が略 2 : 1、画素 pix6が略 7 ： 1、および、画素 pix7が略 1 ： 0となる。

従って、抽出されたダイナミックレンジブ口ックの画素 pixl乃至 7の各画素の画素値は、画素 pix2が最も高く、次いで画素 pixl , 3が続き、以下画素値が高い順に画素 pix4, 5， 6, 7となる。従って、図 1 3 6 Bで示される場合、最大値は、画素 pix 2の画素値であり、最小値は、画素 pix 7の画素値となる。また、図 1 3 7 Aで示されるように、細線の方向は、画素値の最大値をとる画素が連続する方向であると言えるので、この最大値をとる画素が配置された方向が細線の方向となる。

ここで、細線の方向を示す傾き G_{f l} は、空間方向 Xの単位距離に対する、空間方向 Yへの変化（距離の変化）の比であるので、図 1 3 7 Aで示されるような場合、図中の空間方向 Xへの 1画素の距離に対する、空間方向 Yの距離が傾き G_{f l} となる。

空間方向 XO乃至 X 2の各々の空間方向 Yに対する画素値の変化は、図 1 3 7 Bで示されるように、各空間方向 X毎に所定の間隔で山型の波形が繰り返されることになる。上述のように、センサ 2により撮像された画像において、細線は、最大値をとる画素が連続する方向であるので、各空間方向 Xの最大値となる空間方向 Yの間隔 Sが、細線の傾き G_{f l} となる。すなわち、図 1 3 7 Cで示されるように、水平方向に 1画素の距離に対する垂直方向の変化量が傾き G_{f l} となる。従って、この細線の傾き G_{f l} (水平方向を基準軸としたときの角度に対応する）は、図 1 3 7 Cで示すように、その傾きに対応する水平方向を基準軸とした細線の角度を 0として表現する場合、以下の式（6 9) で示される関係が成立することになる。

Θ =Tan一¹ (G_{f l} ) ( = Tan一¹ (S) )

• · · (6 9) また、図 1 3 5で示されるようなモデルを設定し、さらに、空間方向 Yの画素と画素値の関係が、図 1 3 7 Bで示される山型の波形が、完全な三角波形（立ち上がり、または、立下りが直線的に変化する、二等辺三角形状の波形）であると 1488

160

仮定する場合、図 1 3 8で示すように、所定の注目画素の空間方向 Xにおける、空間方向 Y上に存在する各画素の画素値の最大値を Max= L (ここでは、現実世界の細線のレベルに対応する画素値）、最小値を Min = B (ここでは、現実世界の背景のレベルに対応する画素値）とするとき、以下の式（7 0 ) で示される関係が成立する。

L - B = G_f！ X d_y

• · · ( 7 0 ) ここで、 d_yは、空間方向 Yの画素間の画素値の差分を示す。

すなわち、空間方向の傾き G_{f l} は、大きいほど細線がより垂直なものに近づくため、山型の波形は、底辺の大きな二等辺三角形状の波形となり、逆に、傾き Sが小さいほど底辺の小さな二等辺三角形状の波形となる。この結果、傾き G_{f l}が大きいほど、空間方向 Yの画素間の画素値の差分 d—yは小さく、傾き S が小さいほど、空間方向 Yの画素間の画素値の差分 d_yは大きくなる。

そこで、上述の式（7 0 ) の関係が成立する傾き G _{f l} を求めることにより、細線の基準軸に対する角度 Θを求めることが可能となる。式（7 0 ) は、傾き G _{f l} を変数とする 1変数の関数であるため、注目画素について、周辺の画素間の画素値の（垂直方向の）差分 d_y、並びに、最大値、および、最小値の差分（L 一 B ) を 1組用いれば求めることが可能であるが、上述のように、空間方向 Yの画素値の変化が完全な三角波形であることを前提とした近似式を用いたものであるので、注目画素に対応する抽出プロックの各画素についてダイナミックレンジブロックを抽出し、さらに、その最大値と最小値からダイナミックレンジ Drを求めるとともに、抽出プロックの各画素毎の空間方向 Yの画素間の画素値の差分 d—yを用いて、最小自乗法により統計的に求める。

ここで、最小自乗法による統計的な処理の説明にあたり、まず、抽出ブロック、および、ダイナミックレンジブロックについて、詳細を説明する。

抽出ブロックは、例えば、図 1 3 9で示すように、注目画素（図中の黒の実,線で正方形が描かれているマス目の画素）の、空間方向 Yについて上下 3画素分、空間方向 Xについて、左右 1画素分の合計 1 5画素などでもよい。また、この場合、抽出ブロックの各画素の画素間の画素値の差分 d—yは、例えば、画素 pix l 1に対応する差分が d_y l 1で示されるとき、空間方向 X = X Oの場合、画素 pix 1 1と pix 1 2、 pix 1 2と pix 1 3、 pi 1 3と pix 1 4、 pi 1 5と pix 1 6、 pix l 6と pix l 7の画素間の画素値の差分 d—y 1 1乃至 d— y 1 6が得られることになる。このとき、空間方向 X = X 1， X 2についても、同様にして画素間の画素値の差分が得られる。結果として、この場合、画素間の画素値の差分 d_yは、 1 8個存在することになる。

さらに、抽出ブロックの各画素について、ダイナミックレンジブロックの画素 1 例えば、画素 pix l 1については、水平 ·垂直判定部 7 1 1の判定結果に基づいて、今の場合、垂直方向であると判定されるので、図 1 3 9で示されるように、画素 pix l 1を含めて、垂直方向（空間方向 Y ) の上下方向にそれぞれ 3画素分のダイナミックレンジプロック B 1の範囲の 7画素であるものとすると、このダイナミックレンジプロック B 1の画素の画素値の最大値と最小値を求め、さらに、この最大値と最小値から得られるダイナミックレンジをダイナミックレンジ Dr 1 1とする。同様にして、抽出ブロックの画素 pix l 2については、図 1 3 9中のダイナミックレンジブ口ック B 2の 7画素から同様にしてダイナミックレンジ Dr 1 2を求める。このようにして、抽出プロック内の 1 8個の画素間差分 d— y i と、対応するダイナミックレンジ Dr i との組み合わせに基づいて、最小自乗法を用いて統計的に傾き G _{f l}が求められる。

次に、 1変数の最小自乗法の解法について説明する。尚、ここでは、水平 -垂直判定部 7 1 1の判定結果が垂直方向であったものとする。

1変数の最小自乗法による解法は、例えば、図 1 4 0で示される黒点で示される全ての実測値に対しての距離を最小とする、予測値 Dri_cからなる直線の傾き G _{f l} を求めるものである。そこで、上述の式（7 0 ) で示される関係から以下のような手法により、傾き Sが求められる。

すなわち、上述の式（7 0 ) は、最大値と最小値の差分をダイナミック Drとするとき、以下の式（7 1) で示すように記述される。

Dr=G_f 1 Xd—y

… （7 1) 上述の式（7 1) に、抽出プロックの各画素間についての差分 d—yiを代入することによりダイナミックレンジ Dri_cが求められることになる。従って、各画素について、以下の式（7 2) の関係が満たされることになる。

Dri_c=G_f！ Xd_yi

• · · (7 2) ここで、差分 d_yiは、各画素 iの空間方向 Yの画素間の画素値の差分（例えば、画素 iに対して、上方向、または、下方向に隣接した画素との画素間の画素値の差分であり、 Dri— cは、画素 iについて式（7 0) が成立するときに得られるダイナミックレンジである。

上述のように、ここでいう最小自乗法は、抽出プロックの画素 iのダイナミツクレンジ Dri— cと、図 1 3 6 Aおよび図 1 3 6 Bを参照して説明した方法で得られる、画素 iの実測値となるダイナミックレンジ Dri_r との差分自乗和 Qが. 画像内のすべての画素において最小となるときの傾き G_f t を求める方法である _t 従って、差分自乗和 Qは以下の式（7 3) により求められることになる。

… （7 3) 式（7 3) で示される差分自乗和 Qは、 2次関数であるので、変数 G_{f l} (傾き G_{f l}) について図 1 4 1で示すような下に凸の曲線となるため、傾き G_{f l} カ最小となる G_f i minが最小自乗法の解となる。

式（7 3) で示される差分自乗和 Qは、変数 G_{f l}で微分されると、以下に示す式（74) で示される d Q/d G_f i となる。 = ∑ 2(-d_y_i) (Dr_i_r-G_flxd_y_i)

fl i=1

- · · ( 74) 式（74) 力 0となる G_{f l}が図 1 4 1で示す差分自乗和 Qの最小値をとる G_{f l}minとなるので、式（74) が 0となるときの式を展開することにより、以下の式（7 5) で傾き G_{f l}が求められることになる。

• · · ( 7 5) 上述の式（7 5) は、いわゆる、 1変数（傾き G_{f l}) の正規方程式となる。このようにして、得られた傾き G_{f l} を上述の式（6 9) に代入することにより、細線の傾き G_{f l} に対応する、水平方向を基準軸としたときの細線の角度 0 を得ることができる。

尚、以上の説明においては、注目画素が、水平方向を基準軸としたときの角度 Θが 45度度≤ Θく 135度度の範囲となる細線上の画素である場合の例について説明してきたが、例えば、注目画素が、水平方向を基準軸に対する細線の角度 0 が 0度度 0 <45度度、または、 135度度≤ Θく 108度度となる、水平方向に近い細線上の画素である場合、画素 iに隣接する画素間の画素値の差分は、水平方向に隣接する画素間の画素値の差分 d—x i となり、同様に、画素 iに対応する複数の画素から画素値の最大値、または、最小値を求める際に、抽出するダイナミックレンジブ口ックの画素についても、画素 iに対して水平方向に存在する複数の画素のうちから選択されることになる。この場合の処理については、上述の説明における水平方向と垂直方向の関係が入れ替わるのみであるので、その説明は省略する。

また、同様の手法により、 2値エッジの傾きに対応する角度を求めることも可能である。

すなわち、図 1 4 2 Aで示されるような入力画像中の白線により囲まれる部分を拡大すると、画像中のエッジ部分（図中、黒地の旗に描かれた「十」という白で描かれた文字の下の部分）（以下、このように、 2値のレベルからなる画像上のエッジ部分を 2値エッジとも称する）は、実際には、図 1 4 2 Bで示されるように表示されている。すなわち、現実世界においては、図 1 4 2 Cで示されるように、画像では、第 1のレベル（旗の地のレベル）と、第 2のレベル（文字のレベル（図 1 4 2 C中では濃度の薄い斜線部））との 2種類のレベルからなる境界が形成されており、その他のレベルが存在しない。これに対して、センサ 2により撮像された画像、すなわち、画素単位で撮像された画像は、図 1 4 2 Bで示されるように、第 1のレベルと第 2のレベルとが空間的に混合した画素が、その比率（混合比）を一定のパターンで変化するように縦方向に配置された複数の画素からなるブロックがエッジが構成されている方向に繰り返して配置されたような領域を境とした第 1のレベルの画素が配置される部分と、第 2のレベルの画素が配置される部分とが存在する画像となる。

すなわち、図 1 4 3 Aで示されるように、空間方向 X==X O, X I , X 2について、それぞれの空間方向 Yへの画素値の変化は、図 1 4 3 B中では、各画素値は、図中の下から 2値エッジ（図 1 4 3 A中の右上がりの直線）の境界手前付近までは、所定の最小値の画素値になっているが、 2値エッジの境界手前付近で、画素値が徐々に増大し、エッジを越えると図中の点 P_E において、画素値が所定の最大値となる。より詳細には、空間方向 X-X 0の変化は、図 1 4 3 Bで示されるように、画素値の最小値となる点 P_s を通過した後、徐々に画素値が増大し、画素値の最大値となる点 P 0となる。これに対して、空間方向 X = X Iに対応する各画素の画素値の変化は、空間方向にずれた波形となるため、図 1 4 3 Bで示されるように、画素値の最小値から徐々に画素値が増大する位置が空間方向 Yの正方向にずれて、図中の点 P 1を経由して、画素値の最大値にまで増大する。さらに、空間方向 X = X 2における空間方向 Yの画素値の変化は、空間方向 Yの正の方向にさらにずれ込んだ図中の点 P 2を経由して減少し、画素値の最大値から最小値となる。

これは、実際の画像中の白線で囲まれる部分においても、同様の傾向が見られる。すなわち、図 1 4 4 Aの実際の画像中の白線で囲まれる部分（3 1画素 3 1画素の画像）において、背景部分（図 1 4 4 A中では、黒色に見える部分）は、図 1 4 4 Bで示されるように、画素値の低い（画素値が 9 0付近の）画素数が多く分布しており、これらの変化の少ない部分が、背景領域の画像を形成する。これに対して、図 1 4 4 Bの画素値が低くない部分、すなわち、画素値が 1 0 0付近乃至 2 0 0付近に分布する画素は、文字領域と背景領域との空間混合領域に属する画素の分布であり、各画素値毎の画素数は少ないが、広い画素値の範囲に分布している。さらに、画素値の高い文字領域（図 1 4 4 A中では、白色に見える部分）の画素が、 2 2 0で示される画素値の付近に多く分布している。

この結果、図 1 4 5 Aで示されるエッジ画像における所定の空間方向 Xに対する、空間方向 Yの画素値の変化は、図 1 4 5 Bで示されるようになものとなる。すなわち、図 1 4 5 Bは、図 1 4 5 Aの画像中の白線で囲まれる範囲のエッジ付近の画素値を所定の空間方向 X (図中では、 X = 6 5 8， 6 5 9， 6 6 0 ) 毎の、空間方向 Yに対応した画素値の変化を示している。このように、実際のセンサ 2により撮像された画像においても、 X = 6 5 8において、画素値は、 Y = 3 7 4付近で増大を開始し（図中、黒丸で示される分布）、 Χ = 3 8 2付近で最大画素値に到達する。また、 Χ - 6 5 9においては、空間方向 Υに対して正方向にずれ込んで、画素値は、 Υ = 3 7 8付近で増大を開始し（図中、黒三角で示される分布）、 Χ = 3 8 6付近で最大画素値に到達する。さらに、 Χ = 6 6 0においては、空間方向 Υに対して、さらに、正方向にずれ込んで、画素値は、 Υ = 3 8 2付近で増大を開始し（図中、黒四角で示される分布）、 Χ = 3 9 0付近で最大画素値に到達する。

そこで、このセンサ 2により撮像された画像から、現実世界の画像の定常性情報を取得するため、センサ 2より取得された画像のデータから現実世界を近似的に記述するためのモデルを設定する。例えば、 2値エッジの場合、図 1 4 6で示すように、現実世界の画像を設定する。すなわち、図中左部の背景部分のレベルを V I、図中右側の文字部分のレベルを V 2、 2値エッジ付近の画素間の混合比を Q！、エッジの水平方向に対する角度を Θとしてパラメータを設定し、モデル化して、現実世界を近似的に表現する関数を設定し、各パラメータを求めることにより現実世界を近似的に表現する関数を求め、その近似関数からエッジの方向 (傾き、または、基準軸に対する角度）を求める。

ここで、エッジの方向を示す傾きは、空間方向 Xの単位距離に対する、空間方向 Yへの変化（距離の変化）の比であるので、図 1 4 7 Aで示されるような場合、図中の空間方向 Xへの 1画素の距離に対する、空間方向 Yの距離が傾きとなる。空間方向 X O乃至 X 2の各々の空間方向 Yに対する画素値の変化は、図 1 4 7 Bで示されるように、各空間方向 X毎に所定の間隔で同様の波形が繰り返されることになる。上述のように、センサ 2により撮像された画像において、エッジは、類似した画素値の変化（今の場合、最小値から最大値へと変化する、所定の空間方向 Y上の画素値の変化）が空間的に連続する方向であるので、各空間方向 Xにおいて、空間方向 Yの画素値の変化が開始される位置、または、変化が終了する位置となる空間方向 Yの間隔 Sが、エッジの傾き G _{f e} となる。すなわち、図 1 4 7 Cで示されるように、水平方向に 1画素の距離に対する垂直方向の変化量が傾き G _{f e} となる。

ところで、この関係は、図 1 3 7 A乃至 Cを参照して上述した細線の傾き

G _{f l} における関係と同様である。従って、その関係式についても、同様のものとなる。すなわち、 2値エッジにおける場合の関係式は、図 1 4 8で示すものとなり、背景領域の画素値を V I、文字領域の画素値を V 2、それぞれは最小値、および、最大値となる。また、エッジ付近の画素の混合比をひとし、エッジの傾きを G _{f e} とおけば、成立する関係式は、上述の式（6 9 ) 乃至式（7 1 ) と同様となる（ただし、 G_{f l} は、 G _{f e} に置き換えられる）。

このため、図 1 2 4で示されるデータ定常性検出部 1 0 1は、同様の処理により、細線の傾きに対応する角度、および、エッジの傾きに対応する角度を、データ定常性情報として検出することができる。そこで、以下においては、傾きは、細線の傾きと、 2値エッジの傾きとを総称して、傾き G_f と称する。また、上述の式（7 3 ) 乃至式（7 5 ) の式における傾き G _{f l}は、 G _{f e}であってもよいものであり、結果として、傾き G_f と置き換えて考えるものとする。

次に、図 1 4 9のフローチャートを参照して、データ定常性の検出の処理を説明する。

ステップ S 7 0 1において、水平 ·垂直判定部 7 1 1は、入力画像の各画素を識別する力ゥンタ Tを初期化する。

ステップ S 7 0 2において、水平 ·垂直判定部 7 1 1は、後段の処理に必要なデータの抽出処理を実行する。

ここで、図 1 5 0のフローチャートを参照して、データを抽出する処理について説明する。

ステップ S 7 1 1において、データ選択部 7 0 1の水平■垂直判定部 7 1 1は、各注目画素 Tについて、図 1 2 5を参照して説明したように、水平方向、垂直方向、および対角方向に隣接する 9画素の水平方向に隣接する画素間の画素値の差分（アクティビティ）の和 hdiff と、垂直方向に隣接する画素間の画素値の差分（アクティビティ）の和 Vd!iff とを演算し、さらに、その差分（hdiff— vdi ff) を求め、差分（hdiff— vdiff) 0の場合、その注目画素 Tが、水平方向を基準軸としたとき、その基準軸との角度 Θが 45 度度≤ Θ < 1；35 度度となる、垂直方向に近い細線、または、 2値エッジ付近の画素であるものとみなし、使用する抽出プロックを垂直方向に対応したものとする判定結果をデータ取得部 7 1 2、および、データ足し込み部 7 0 2に出力する。

一方、差分（hdiff— vdiff) く 0の場合、水平 '垂直判定部 7 1 1は、その注目画素が、水平方向を基準軸にしたとき、その基準軸との細線、または、 2値エッジのなす角度 0が 0度度 0 < 45度度、または、 135度度≤ Θ < 180度度となる、水平方向に近い細線、または、エッジ付近の画素であるものとみなし、使用する抽出ブロックを水平方向に対応したものとする判定結果をデータ取得部 7 1 2、および、データ足し込み部 7 0 2に出力する。

すなわち、細線、または、 2値エッジの傾きが垂直方向に近いと言うことは、例えば、図 1 3 1 Aで示されているように、図中の矢印が細線と交差する部分が増えることになるため、垂直方向の画素数を多めにした抽出プロックを設定する (縦長な抽出プロックを設定する）。同様にして、細線の傾きが水平方向に近い場合についても、水平方向の画素数を多めにした抽出プロックを設定するようにする（横長な抽出ブロックを設定する）。このようにすることにより、不要な計算量を增やすことなく、正確な最大値と最小値の演算が可能となる。

ステップ S 7 1 2において、データ取得部 7 1 2は、注目画素について水平 - 垂直判定部 7 1 1より入力される水平方向、または、垂直方向の判定結果に対応した抽出プロックの画素を抽出する。すなわち、例えば、図 1 3 9で示されるように、注目画素を中心として、（水平方向に 3画素） X (垂直方向に 7画素）の合計 2 1画素を抽出ブロックとして抽出し、記憶する。

ステップ S 7 1 3において、データ取得部 7 1 2は、抽出プロックの各画素について、水平 ·垂直判定部 7 1 1の判定結果に対応した方向に対応するダイナミックレンジブロックの画素を抽出し、記憶する。すなわち、図 1 3 9を参照して、上述したように、例えば、抽出ブロックの画素 pix l 1については、今の場合、水平 '垂直判定部 7 1 1の判定結果が垂直方向になるので、データ取得部 7 1 2 は、垂直方向に、ダイナミックレンジブロック B 1を、同様にして、画素 pix l 2は、ダイナミックレンジブロック B 2を抽出する。その他の抽出プロックについても同様にしてダイナミックレンジブ口ックが抽出される。

すなわち、このデータ抽出処理により、所定の注目画素 Tについて、正規方程式の演算に必要な画素の情報がデータ取得部 7 1 2に蓄えられることになる（処理される領域が選択されることになる）。

ここで、図 1 4 9のフローチャートの説明に戻る。

ステップ S 7 0 3において、データ足し込み部 7 0 2は、正規方程式（ここでは、式（7 4 ) ) の演算の各項に必要な値の足し込み処理を実行する。

ここで、図 1 5 1のフローチャ^ "トを参照して、正規方程式への足し込み処理について説明する。

ステップ S 7 2 1において、差分足し込み部 7 2 1は、データ選択部 7 0 1の水平 ·垂直判定部 7 1 1の判定結果に応じて、データ取得部 7 1 2に記憶されている抽出ブロックの画素間の画素値の差分を求め（検出し）、さらに、 2乗（自乗）して足し込む。すなわち、水平 '垂直判定部 7 1 1の判定結果が垂直方向である場合、差分足し込み部 7 2 1は、抽出ブロックの各画素について垂直方向に隣接する画素間の画素値の差分を求めて、さらに 2乗して足し込む。同様にして、水平 .垂直判定部 7 1 1の判定結果が水平方向である場合、差分足し込み部 7 2 1は、抽出プロックの各画素について水平方向に隣接する画素間の画素値の差分を求めて、さらに 2乗して足し込む。結果として、差分足し込み部 7 2 1は、上述の式（7 5 ) の分母となる項の差分の自乗和を生成し、記憶する。

ステップ S 7 2 2において、 MaxMin取得部 7 2 2は、データ取得部 7 1 2に記憶されたダイナミックレンジプロックに含まれる画素の画素値の最大値と最小値を取得し、ステップ S 7 2 3において、その最大値と最小値との差分からダイナミックレンジを求め（検出し）、差分足し込み部 7 2 3に出力する。すなわち、図 1 3 6 Bで示されているような、画素 pix l乃至 7からなる 7画素のダイナミックレンジプロックの場合、 pix 2の画素値が最大値として検出され、 pix 7の画素が最小値として検出され、これらの差分がダイナミックレンジとして求められる。

ステップ S 7 2 4において、差分足し込み部 7 2 3は、データ取得部 7 1 2に記憶されている抽出プロックの画素間のうち、データ選択部 7 0 1の水平 ·垂直判定部 7 1 1の判定結果に対応する方向に隣接する画素間の画素値の差分を求め (検出し）、 MaxMin取得部 7 2 2より入力されたダイナミックレンジを乗じた値を足し込む。すなわち、差分足し込み部 7 2 1は、上述の式（7 5 ) の分子となる項の和を生成し、記憶する。ここで、図 1 4 9のフローチャートの説明に戻る。

ステップ S 7 0 4において、差分足し込み部 7 2 1は、抽出ブロックの全ての画素の画素間の画素値の差分（水平 ·垂直判定部 7 1 1の判定結果に対応する方向に隣接する画素間の画素値の差分）を足し込んだか否かを判定し、例えば、抽出ブロックの全ての画素の画素間の差分を足し込んでいないと判定した場合、その処理は、ステップ S 7 0 2に戻り、それ以降の処理が繰り返される。すなわち、抽出プロックの全ての画素の画素間の画素値の差分が足し込まれたと判定されるまで、ステップ S 7 0 2乃至 S 7 0 4の処理が繰り返される。

ステップ S 7 0 4において、抽出プロックの全ての画素の画素間の画素値の差分が足し込まれたと判定された場合、ステップ S 7 0 5にいて、差分足し込み部 7 2 1 , 7 2 3は、自らで記憶している足し込み結果を定常方向導出部 7 0 3に出力する。

ステップ S 7 0 6において、定常方向演算部 7 3 1は、データ足し込み部 7 0 2の差分足し込み部 7 2 1より入力された、取得プロックの各画素間のうち、水平，垂直判定部 7 1 1により判定された方向に隣接する画素間の画素値の差分の自乗和、差分足し込み部 7 2 3より入力された、取得プロックの各画素間のうち、水平■垂直判定部 7 1 1により判定された方向に隣接する画素間の画素値の差分、および、取得プロックの各画素に対応するダイナミックレンジとの積の和に基づいて、上述の式（7 5 ) で示した正規方程式を解くことにより、最小自乗法を用いて統計的に注目画素のデータ定常性情報である、定常性の方向を示す角度（細線、または、 2値エッジの傾きを示す角度）を演算し、出力する。

ステップ S 7 0 7において、データ取得部 7 1 2は、入力画像の全ての画素について処理が行われたか否かを判定し、例えば、入力画像の全ての画素について処理が行われていない、すなわち、入力画像の全ての画素について、細線、または、 2値エッジの角度の情報を出力していないと判定した場合、ステップ S 7 0 8において、カウンタ Tを 1インクリメントして、その処理は、ステップ S 7 0 2に戻る。すなわち、入力画像のうちの処理しょうとする画素が変更されて、入力画像の全ての画素について処理がなされるまで、ステップ S 7 0 2乃至 S 7 0 8の処理が繰り返されることになる。このカウンタ Tによる画素の変化は、例えば、ラスタスキャンなどであってもよいし、それ以外の規則により順次変化していくものであってもよい。

ステップ S 7 0 7において、入力画像の全ての画素について処理がなされたと判定された場合、ステップ S 7 0 9において、データ取得部 7 1 2は、次の入力画像があるか否かを判定し、次の入力画像があると判定された場合、その処理は、ステップ S 7 0 1に戻り、それ以降の処理が繰り返される。

ステップ S 7 0 9において、次の入力画像はないと判定された場合、その処理は、終了する。

以上の処理により、細線、または、 2値エッジの角度が、定常性情報として検出されて、出力される。

このように統計的処理により得られる細線、または、エッジの傾きの角度は、相関を用いて得られる細線、または、 2値エッジの角度とほぼ一致する。すなわち、図 1 5 2 Aで示すような画像の白線で囲まれる範囲の画像について、細線上の所定の水平方向の座標上の空間方向 Yへの傾きの変化は、図 1 5 2 Bで示されるように、相関を用いた方法により得られる細線の傾きを示す角度（図中の黒丸印）と、図 1 2 4で示されたデータ定常性検出部 1 0 1により統計処理により得られる細線の角度（図中の黒三角印）は、細線近傍の空間方向 Yの座標上で、それぞれがほぼ一致している。尚、図 1 5 2 Bにおいては、図中の黒実線で挟まれた空間方向 Y = 6 8 0乃至 7 3 0が細線上の座標である。

同様にして、図 1 5 3 Αで示すような画像の白線で囲まれる範囲の画像について、 2値エッジ上の所定の水平方向の座標上の空間方向 Yへの傾きの変化は、図 1 5 3 Bで示されるように、相関を用いた方法により得られる 2値エッジの傾きを示す角度（図中の黒丸印）と、図 1 2 4で示されたデータ定常性検出部 1 0 1 により統計処理により得られる 2値エッジの角度（図中の黒三角印）は、細線近傍の空間方向 Yの座標上で、それぞれがほぼ一致している。尚、図 1 5 3 Bにおいては、空間方向 Y == 3 7 6 (付近）乃至 3 8 8 (付近）が細線上の座標であるである。

結果として、図 1 2 4に示されるデータ定常性検出部 1 0 1は、データの定常性として細線、または、 2値エッジの角度を求める際、所定の画素からなるプロックによる相関を用いる方法と異なり、各画素の周辺の情報を用いて、統計的に細線、または、 2値エッジの傾きを示す角度（ここでは、水平方向を基準軸とした角度）を求めることができるので、相関を用いた方法に見られるように、所定の角度の範囲に応じて切り替わることが無いので、全ての細線、または、 2値ェッジの傾きの角度を同一の処理により求めることが可能となるため、処理を簡単なものとすることが可能となる。

また、以上においては、データ定常性検出部 1 0 1は、細線、または、 2値ェッジの所定の基準軸とのなす角度を定常性情報として出力する例について説明してきたが、後段の処理によっては、傾きをそのまま出力する方が、処理効率が向上することも考えられる。そのような場合、データ定常性検出部 1 0 1の定常方向導出部 7 0 3の定常方向演算部 7 3 1は、最小自乗法により求められた細線、または、 2値エッジの傾き G_f を、そのまま定常性情報として出力するようにしてもよい。

さらに、以上においては、式（7 5 ) において、ダイナミックレンジ Dri一 r は、抽出プロックの各画素について求められるものとして演算してきたが、このダイナミックレンジは、ダイナミックレンジブロックを十分に大きく設定することにより、すなわち、多くの注目画素について、その周辺の多くの画素を用いて設定することにより、画像中の画素の画素値の最大値と最小値が、常に選択されることになるはずである。従って、ダイナミックレンジ Dri—rは、抽出プロックの各画素について演算することなく、抽出ブロック中、または、画像データ中の画素の最大値と最小値から得られるダイナミックレンジを固定値として演算するようにしてもよい。

すなわち、以下の式（7 6 ) のように、画素間の画素値の差分のみを足し込むことにより細線の角度 6 (傾き G _f ) を求めるようにしてもよい。このように、ダイナミックレンジを固定することにより、演算処理をより簡素化することができ、高速で処理を行うことが可能となる。

· · · ( 7 6 ) 次に、図 1 5 4を参照して、データ定常性情報として、各画素の混合比を検出するデータ定常性検出部 1 0 1について説明する。

尚、図 1 5 4のデータ定常性検出部 1 0 1においては、図 1 2 4のデータ定常性検出部 1 0 1における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。

図 1 5 4のデータ定常性検出部 1 0 1において、図 1 2 4のデータ定常性検出部 1 0 1と異なるのは、データ足し込み部 7 0 2、および、定常性方向導出部 7 0 3に代えて、データ足し込み部 7 5 1、および、混合比導出部 7 6 1が設けられている点である。

データ足し込み部 7 5 1の MaxMin取得部 7 5 2は、図 1 2 4における

MaxMin取得部 7 2 2と同様の処理を行うものであるが、ダイナミックレンジブロックの各画素の画素値の最大値と最小値を取得し、最大値と最小値の差分（ダイナミックレンジ）を求め、足し込み部 7 5 3 , 7 5 5に出力すると共に、最大値を差分演算部 7 5 4に出力する。

足し込み部 7 5 3は、 MaxMin取得部より入力された値を自乗して、抽出プロックの全ての画素について足し込み、その和を求めて、混合比導出部 7 6 1に出力する。

差分演算部 7 5 4は、データ取得部 7 1 2の取得プロックの各画素について、対応するダイナミックレンジブ口ックの最大値との差分を求めて、足し込み部 7 5 5に出力する。

足し込み部 7 5 5は、取得ブロックの各画素について、 MaxMin取得部 7 5 2 より入力された最大値と最小値の差分 (ダイナミックレンジ) と、差分演算部 7 5 4より入力された取得プロックの各画素の画素値と、対応するダイナミックレンジブロックの最大値との差分と乗じて、その和を求め、混合比導出部 7 6 1に出力する。

混合比導出部 7 6 1の混合比算出部 7 6 2は、データ足し込み部の足し込み部 7 5 3， 7 5 5のそれぞれより入力された、値に基づいて、注目画素の混合比を最小自乗法により統計的に求め、データ定常性情報として出力する。

次に、混合比の導出方法について説明する。

図 1 5 5 Aで示されるように、画像上に細線が存在する場合、センサ 2で撮像された画像は、図 1 5 5 Bで示されるような画像となる。この画像について、図 1 5 5 Bの空間方向 X = X 1上の黒の実線で囲まれた画素について注目する。尚、図 1 5 5 Bの白線ではさまれた範囲は、現実世界における細線領域に対応する位置を示す。この画素の画素値 Mは、背景領域のレベルに対応する画素値 Bと、細線領域のレベルに対応する画素値 Lの中間色となっているはずであり、さらに詳細には、この画素値 P _sは、背景領域と細線領域の面積比で、それぞれのレベルが混合されているはずである。従って、この画素値 P _s は、以下の式（7 7 ) により表現される。

P _s = α Χ Β + ( 1 - a ) X L

• · · ( 7 7 ) ここで、 αは、混合比であり、より具体的には、注目されている画素中の背景領域の占める面積の割合を示すものである。従って、（1一 α ) は、細線領域の占める面積の割合を示しているともいえる。尚、背景領域の画素は、背景に存在するォブジタトの成分とも考えられるので、背景オブジェクト成分とも言える。また、細線領域の画素は、背景ォブジェクトに対して前景ォブジェクトの成分であると考えられるので、前景ォブジュクト成分とも言える。この結果、混合比 αは、式（7 7) を展開することにより、以下の式（7 8) で表現できることになる。

a = (P_s -L) / (B-L)

• · · ( 7 8 ) さらに、今の場合、画素値は、第 1の画素値（画素値 B) の領域と第 2の画素値（画素値 L) の領域とをまたいだ位置に存在することが前提であるので、画素値 Lは、画素値の最大値 Maxで置き換えることができ、さらに、画素値 Bは、画素値の最小値と置き換えることができる。従って、混合比ひは、以下の式（7 9) でも表現することができる。

= (P_s—Max) / (Min— Max)

• · · ( 7 9) 以上の結果、混合比 αは、注目画素についてのダイナミックレンジブロックのダイナミックレンジ（（Min— Max) に相当する）と、注目画素と、ダイナミツクレンジブ口ック内の画素の最大値との差分から求めることが可能となるが、より精度を向上させるため、ここでは、最小自乗法により統計的に混合比 αを求める。

すなわち、上述の式（7 9 ) は、展開すると以下の式（8 0) となる。

( P_s—Max) = a X (Min一 Max

• · · ( 8 0) この式（8 0 ) は、上述の式（7 1 ) と同様の 1変数の最小自乗法の式となる _c すなわち、式（7 1 ) においては、最小自乗法により傾き G_f が求められていた 1 ここでは、混合比 αが求められることになる。従って、以下の式（8 1 ) で示される正規方程式を解くことにより、混合比 αは、統計的に求められる。

• · - ( 8 1 ) ここで、 iは、抽出ブロックの各画素を識別するものである。従って、式（8 1 ) においては、抽出ブロックの画素数は nである。

次に、図 1 5 6のフローチャートを参照して、混合比をデータ定常性としたときのデータ定常性の検出の処理について説明する。

ステップ S 7 3 1において、水平■垂直判定部 7 1 1は、入力画像の各画素を識別するカウンタ Uを初期化する。

ステップ S 7 3 2において、水平■垂直判定部 7 1 1は、後段の処理に必要なデータの抽出処理を実行する。尚、ステップ S 7 3 2の処理は、図 1 5 0のフロ一チャートを参照して説明した処理と同様であるので、その説明は省略する。ステップ S 7 3 3において、データ足し込み部 7 5 1は、正規方程式（ここでは、式（8 1 ) ) の演算の各項に必要な値の足し込み処理を実行する。

ここで、図 1 5 7のフローチャートを参照して、正規方程式への足し込み処理について説明する。

ステップ S 7 5 1において、 MaxMin取得部 7 5 2は、データ取得部 7 1 2に記憶されたダイナミックレンジブ口ックに含まれる画素の画素値の最大値と最小値を取得し、そのうち、最小値を差分演算部 7 5 4に出力する。

ステップ S 7 5 2において、 MaxMin取得部 7 5 2は、その最大値と最小値との差分からダイナミックレンジを求め、差分足し込み部 7 5 3 , 7 5 5に出力する。

ステップ S 7 5 3において、足し込み部 7 5 3は、 MaxMin取得部 7 5 2より入力されたダイナミックレンジ（Max— Min) を自乗して、足し込む。すなわち、足し込み部 7 5 3は、上述の式（8 1 ) の分母に相当する値を足し込みにより生成する。

ステップ S 7 5 4において、差分演算部 7 5 4は、 MaxMin取得部 7 5 2より入力されたダイナミックレンジプロックの最大値と、抽出プロックにおける今現在処理中の画素の画素値との差分を求めて、足し込み部 7 5 5に出力する。ステップ S 7 5 5において、足し込み部 7 5 5は、 MaxMin取得部 7 5 2より入力されたダイナミックレンジと、差分演算部 7 5 4より入力された、今現在処理している画素の画素値と、ダイナミックレンジプロックの画素のうち最大値となる値との差分を乗じて、足し込む。すなわち、足し込み部 7 5 5は、上述の式 ( 8 1 ) の分子の項に相当する値を生成する。

以上のように、データ足し込み部 7 5 1は、足し込み処理により、上述の式 ( 8 1 ) の各項の演算を実行する。

ここで、図 1 5 6のフローチャートの説明に戻る。

ステップ S 7 3 4において、差分足し込み部 7 2 1は、抽出ブロックの全ての画素について、足し込みが終了したか否かを判定し、例えば、抽出ブロックの全ての画素についての足し込み処理が終了していないと判定した場合、その処理は、ステップ S 7 3 2に戻り、それ以降の処理が繰り返される。すなわち、抽出ブロックの全ての画素について、足し込み処理が終了したと判定されるまで、ステツプ S 7 3 2乃至 S 7 3 4の処理が繰り返される。

ステップ S 7 3 4において、抽出ブロックの全ての画素について足し込みが終了したと判定された場合、ステップ S 7 3 5にいて、足し込み部 7 5 3， 7 5 5 は、自らで記憶している足し込み結果を混合比導出部 7 6 1に出力する。

ステップ S 7 3 6において、混合比導出部 7 6 1の混合比算出部 7 6 2は、データ足し込み部 7 5 1の足し込み部 7 5 3， 7 5 5より入力された、ダイナミツクレンジの自乗和、および、抽出ブロックの各画素の画素値とダイナミックレンジブ口ックの最大値との差分と、ダイナミックレンジとを乗じた和に基づいて、上述の式（8 1 ) で示した正規方程式を解くことにより、最小自乗法を用いて統計的に注目画素のデータ定常性情報である、混合比を演算し、出力する。

ステップ S 7 3 7において、データ取得部 7 1 2は、入力画像の全ての画素について処理が行われたか否かを判定し、例えば、入力画像の全ての画素について処理が行われていない、すなわち、入力画像の全ての画素について、混合比を出力していないと判定した場合、ステップ S 7 3 8において、カウンタ Uを 1インクリメントして、その処理は、ステップ S 7 3 2に戻る。

すなわち、入力画像のうちの処理しょうとする画素が変更されて、入力画像の全ての画素について混合比が演算されるまで、ステップ S 7 3 2乃至 S 7 3 8の処理が繰り返されることになる。このカウンタ Uによる画素の変化は、例えば、ラスタスキャンなどであってもよいし、それ以外の規則により順次変化していくものであってもよい。

ステップ S 7 3 7において、入力画像の全ての画素について処理がなされたと判定された場合、ステップ S 7 3 9において、データ取得部 7 1 2は、次の入力画像があるか否かを判定し、次の入力画像があると判定された場合、その処理は、ステップ S 7 3 1に戻り、それ以降の処理が繰り返される。

ステップ S 7 3 9において、次の入力画像はないと判定された場合、その処理は、終了する。

以上の処理により、各画素の混合比が、定常性情報として検出されて、出力される。

以上の手法により、例えば、図 1 5 8 Aで示される画像中の白線内の細線の画像について、所定の空間方向 X ( = 5 6 1 , 5 6 2 , 5 6 3 ) 上の混合比の変化力図 1 5 8 Bに示されている。図 1 5 8 Bで示されるように、水平方向に連続する空間方向 Yの混合比の変化は、それぞれ、空間方向 X = 5 6 3の場合、混合比は、空間方向 Y = 6 6 0付近で立ち上がり、 Υ = 6 8 5付近でピークとなり、 Υ = 7 1 0まで減少する。また、空間方向 Χ = 5 6 2の場合、混合比は、空間方向 Υ = 6 8 0付近で立ち上がり、 Υ = 7 0 5付近でピークとなり、 Υ = 7 3 5まで減少する。さらに、空間方向 Χ = 5 6 1の場合、混合比は、空間方向 Υ = 7 0 5付近で立ち上がり、 Υ = 7 2 5付近でピークとなり、 Υ = 7 5 5まで減少する。このように、図 1 5 8 Βで示されるように、連続する空間方向 Xのそれぞれの混合比の変化は、混合比により変化する画素値の変化（図 1 3 3 Βで示した画素値の変化）と同様の変化であり、周期的に連続していることから、細線近傍の画素の混合比が正確に表現されていることが分かる。また、同様にして、図 1 5 9 Aで示される画像中の白線内の 2値エッジの画像について、所定の空間方向 X (= 6 5 8, 6 5 9 , 6 6 0) 上の混合比の変化が、図 1 5 9 Bに示されている。図 1 5 9 Bで示されるように、水平方向に連続する空間方向 Yの混合比の変化は、それぞれ、空間方向 X= 6 6 0の場合、混合比は、空間方向 Y= 7 5 0付近で立ち上がり、 Υ= 7 6' 5付近でピークとなる。また、 '空間方向 Χ= 6 5 9の場合、混合比は、空間方向 Υ= 7 6 0付近で立ち上がり、 Υ= 7 7 5付近でピークとなる。さらに、空間方向 Χ= 6 5 8の場合、混合比は、空間方向 Υ= 7 7 0付近で立ち上がり、 Υ== 7 8 5付近でピークとなる。

このように、図 1 5 9 Βで示されるように、 2値エッジの混合比の変化は、混合比により変化する画素値の変化（図 1 4 5 Βで示した画素値の変化）と同様の変化とほぼ同様であり、周期的に連続していることから、 2値エッジ近傍の画素値の混合比が正確に表現されていることが分かる。

以上によれば、最小自乗法により統計的にデータ定常性情報として、各画素の混合比を求めることが可能となる。さらに、この混合比に基づいて、各画素の画素値を直接生成することが可能となる。

また、混合比の変化が、定常性を有するものであり、さらに、この混合比の変化が直線的なもので近似すると、以下の式（8 2) で示されるような関係が成立する。

a =m X y + η

· · ■ (8 2) ここで、 mは、混合比が、空間方向 Yに対して変化するときの傾きを示し、また、 nは、混合比 αが直線的に変化するときの切片に相当するものである。すなわち、図 1 6 0で示されるように、混合比を示す直線は、背景領域のレべルに相当する画素値 Βと、細線のレベルに相当するレベル Lの境界を示す直線であり、この場合、空間方向 Υについて単位距離進んだときの混合比の変化量が傾き mとなる。 '

そこで、式（8 2) を、式（7 7) に代入すると以下の式（8 3) が導出される。

M= (mX y + n) X B+ (1— (mX y + n) ) X L

• · · (8 3) さらに、この式（8 3) を展開すると、以下の式（8 4) が導出される。

M— L= (y XB— y XL) Xm+ (B— L) X n

■ · · (8 4) 式（84) においては、第 1項の mが、混合比の空間方向の傾きを示し、第 2 項が混合比の切片を示す項である。従って、上述の式（8 4) の m, nを 2変数の最小自乗法を用いて、正規方程式を生成し、求めるようにすることもできる。しかしながら、混合比の傾き mは、上述した細線や 2値エッジの傾き（上述の傾き G_f) そのものであるので、予め、上述の方法を用いて、細線、または、 2値エッジの傾き G_f を求めた後、その傾きを用いて、式（8 4) に代入することにより、切片の項についての 1変数の関数とし、上述した手法と同様に、 1変数の最小自乗法により求めるようにしてもよレ、。

以上の例においては、空間方向の細線、または、 2値エッジの角度（傾き）、または、混合比をデータ定常性情報として検出するデータ定常性検出部 1 0 1について説明してきたが、例えば、空間内の軸（空間方向 X， Y) のいずれかを、時間方向（フレーム方向） τの軸に置き換えることにより得られる、空間方向における角度に対応するものであってもよい。すなわち、空間内の軸（空間方向 X, Y) のいずれかを、時間方向（フレーム方向） Tの軸に置き換えることにより得られる角度に対応するものとは、物体の動きべクトル（動きべクトルの方向）である。

より具体的には、図 1 6 1 Aで示すように、物体が、時間が進むにつれて空間方向 Yについて、図中の上方向に移動している場合、図中の細線に相当する部分 (図 1 3 1 Aとの比較）には、物体の移動の軌跡が現れることになる。従って、時間方向 Tの細線における傾きは、図 1 6 1 Aにおいては、物体の動く方向（物体の動きを示す角度）を示すもの（動きベクトルの方向と同値のもの）である。従って、現実世界において、図 1 6 1 A中の矢印で示される、所定の時刻におけるフレームでは、図 1 6 1 Bで示すように物体の軌跡となる部分が、物体の（色の）レベルとなり、それ以外の部分が、背景のレベルとなったパルス状の波形となる。

このように、センサ 2により動きのある物体を撮像した場合、図 1 6 2 Aで示されるように、時刻 T 1乃至 T 3におけるフレームの各画素の画素値の分布は、図 1 6 2 Bで示されるように、空間方向 Yに対して、それぞれ山型の波形をとる。この関係は、図 1 3 2 A , 図 1 3 2 Bを参照して、説明した空間方向 X， Yにおける関係と同様であるものと考えることができる。従って、フレーム方向 Tに対して、物体に動きがある場合、上述した細線の傾き、または、 2値エッジの角度 (傾き）の情報と同様の手法により、物体の動きベクトルの方向をデータ定常性情報として求めることも可能である。尚、図 1 6 2 Bにおいては、フレーム方向 T (時間方向 T ) について、各マス目は、 1フレームの画像を構成するシャツタ時間となる。

また、同様にして、図 1 6 3 Aで示されるように、フレーム方向 T毎に、空間方向 Yについて物体に動きがある場合、図 1 6 3 Bで示されるように、所定の時刻 T 1に相当するフレーム上で空間方向 Yに向けて、物体の動きに対応して、各画素値が得られることになる。このとき、例えば、図 1 6 3 Bにおける、黒の実線で囲まれた画素の画素値は、図 1 6 3 Cで示されるように、物体の動きに対応して、背景のレベルと物体のレベルがフレーム方向に混合比 /3で混合している画素値である。

この関係は、図 1 5 5 A，図 1 5 5 B，図 1 5 5 Cを参照して説明した関係と同様である。

さらに、図 1 6 4で示されるように、物体のレベル Oと背景のレベル Bとは、フレーム方向（時間方向）の混合比により直線近似することも可能である。個の関係は、図 1 6 0を参照して説明した空間方向の混合比の直線近似と同様の関係である。従って、空間方向の混合比 αと同様の手法により、時間（フレーム）方向の混合比 /3をデータ定常性情報として求めることも可能である。

また、フレーム方向、または、空間方向のいずれか 1次元を選択して、定常性の角度、または、動きベクトルの方向を求めるようにしてもよいし、同様にして混合比 α， /3を選択的に求めるようにしてもよい。

以上によれば、現実世界の光信号を射影し、現実世界の光信号の定常性の一部が欠落した画像データ内の注目画素に対応する領域を選択し、選択した領域内の、欠落した現実世界の光信号の定常性に対応する画像データの定常性の基準軸に対する角度を検出するための特徴を検出し、検出した特徴に基いて統計的に角度を検出し、検出した画像データの定常性の基準軸に対する角度に基いて、欠落した現実世界の光信号の定常性を推定することにより光信号を推定するようにしたので、定常性の角度（動きべクトルの方向）、または、（時空間の）混合比を求めることが可能となる。

次に、図 1 6 5を参照して、データ定常性情報としてデータ定常性情報を用いた処理を行うべき領域の情報を出力する、データ定常性情報検出部 1 0 1について説明する。

角度検出部 8 0 1は、入力された画像のうち、定常性を有する領域、すなわち、画像上において定常性を有する細線や 2値ェッジを構成する、部分の空間方向の角度を検出し、検出した角度を実世界推定部 8 0 2に出力する。尚、この角度検出部 8 0 1は、図 3におけるデータ定常性検出部 1 0 1と同様のものである。

実世界推定部 8 0 2は、角度検出部 8 0 1より入力されたデータ定常性の方向を示す角度と、入力画像の情報に基づいて実世界を推定する。すなわち、実世界推定部 8 0 2は、入力された角度と、入力画像の各画素から実世界の光信号の強度分布を近似的に記述する近似関数の係数を求めて、求めた係数を実世界の推定結果として誤差演算部 8 0 3に出力する。尚、この実世界推定部 8 0 2は、図 3 における実世界推定部 1 0 2と同様のものである。

誤差演算部 8 0 3は、実世界推定部 8 0 2より入力された係数に基づいて、近似的に記述された現実世界の光の強度分布を示す近似関数を構成し、さらに、この近似関数に基づいて各画素位置に相当する光の強度を積分して、近似関数により推定された光の強度分布から各画素の画素値を生成し、実際に入力された画素値との差分を誤差として比較部 8 0 4に出力する。

比較部 8 0 4は、各画素について誤差演算部 8 0 3より入力された誤差と、予め設定された閾値とを比較することにより、定常性情報を用いた処理を施す画素の存在する処理領域と、非処理領域とを識別して、この定常性情報を用いた処理をする処理領域と非処理領域の識別がなされた領域情報を定常性情報として出力する。

次に、図 1 6 6のフローチャートを参照して、図 1 6 5のデータ定常性検出部

1 0 1による、定常性の検出の処理について説明する。

ステップ S 8 0 1において、角度検出部 8 0 1は、入力された画像を取得し、ステップ S 8 0 2において、定常性の方向を示す角度を検出する。より詳細には、角度検出部 8 0 1は、例えば、水平方向を基準軸としたときの細線、または、 2 値エッジの有する定常性の方向を示す角度を検出して、実世界推定部 8 0 2に出力する。

ステップ S 8 0 3において、実世界推定部 8 0 2は、角度検出部 8 0 1より入力される角度の情報と、入力画像の情報に基づいて、現実世界を表現する関数 F (x)を近似的に記述する、多項式からなる近似関数 f (x)の係数を求めて、誤差演算部 8 0 3に出力する。すなわち、現実世界を表現する近似関数 f (x)は、以下の式（8 5 ) のような 1次元多項式で示される。 f (x) = WQX^W-J X^11-1 + · · '■ w_n_₁x+w_n = ∑ Wi Xⁿ

i=0

• · · ( 8 5 ) ここで、 w iは、'多項式の係数であり、実世界推定部 8 0 2は、この係数 w i を求めて、誤差演算部 803に出力する。さらに、角度検出部 80 1より入力される角度により、定常性の方向から傾きを求めることができる（G_f =tan— G_f ：傾き， Θ ：角度）ので、この傾き G_f の拘束条件を代入することにより、上述の式（8 5) の式は、以下の式（86) で示されるように、 2次元多項式で記述することができる。 f (x, y) = w₀(x-aiy)ⁿ +w₁ (x-afy)ⁿ~¹ 十…

+w_n一■) (x-ofy)+w_n

n 一 .

= ∑ W: (x— oiy)ⁿ—

i=o

• · · (8 6) すなわち、上述の式（86) は、式（8 5) で記述される 1次元の近似関数 f(x)が、空間方向 Yに平行移動することにより生じるずれ幅をシフト量 α (= -d y/G_f ： d yは、空間方向 Yへの変化量）で表現することにより得られる 2次元の関数 f (x,y)を記述している。

したがって、実世界推定部 80 2は、入力画像と、定常性方向の角度の情報を用いて、上述の式（86) の各係数 w iを解いて、求められた係数 w iを誤差演算部 803に出力する。

ここで、図 1 66のフローチャートの説明に戻る。

ステップ S 804において、誤差演算部 803は、実世界推定部 80 2より入力された係数から、各画素について再積分を実行する。すなわち、誤差演算部 8 03は、実世界推定部 802より入力された係数から、上述の式（86) を、以下の式（8 7) で示されるように、各画素について積分する。

J,y_raTD A„

n一 I

(∑ Wj ix-a ) )dxdy

i=0

[Kx_m+A - of (y_m+B))ⁿ— ⁱ⁺²-(x_m-af (y_m+B))ⁿ— ⁱ⁺²l

一 Kx_m+A— y_m)ⁿ—ⁱ⁺²_(x_m—ay_m)^n-i+2}]

• · · (8 7) ここで、 S_sは、図 1 6 7で示される空間方向の積分結果を示す。また、その積分範囲は、図 1 6 7で示すように、空間方向 Xについては、 x_m乃至 x_{m + B}であり、空間方向 Yについては、 y_ra乃至 y_{m + A}である。また、図 1 6 7においては、各マス目（正方形）は、 1画素を示すものとし、空間方向 X， Yについて、いずれも 1であるものとする。

従って、誤差演算部 803は、図 1 68で示されるように、近似関数 f(x，y) で示される曲面の空間方向 Xについて x_m乃至 x_{m + 1}、および、空間方向 Yについて y_m乃至 y_{ra + 1} (A = B= 1) で、以下の式（88) で示されるような積分演算を各画素について実行し、実世界を近似的に表現する近似関数を空間的に積分することにより得られる各画素の画素値 P_s を演算する。 L86

一一

⁼ ∑ i L L (x— y) ^dxdy

x[((x_m+1-a (y_m+1))^n_i+2-(x_m-oi (y_m+1))ⁿ— ⁱ⁺²l

一 {(x_m+1iy_m)ⁿ— ⁱ⁺²— (x_miy_m)ⁿ— ⁱ⁺²}]

• - · (88) すなわち、この処理により、誤差演算部 803は、言わば一種の画素値生成部として機能し、近似関数から画素値を生成する。

ステップ S 805において、誤差演算部 803は、上述の式（8 8) で示したような積分により得られた画素値と、入力画像の画素値との差分を演算し、これを誤差として比較部 804に出力する。すなわち、誤差演算部 803は、上述の図 1 6 7, 図 1 68で示した積分範囲（空間方向 Xについて x_m乃至 x_{m + 1}、および、空間方向 Yについて y_m乃至 y_{ra + 1}) に対応する画素の画素値と、画素に対応する範囲の積分結果により得られた画素値との差分を、誤差として求めて比較部 804に出力する。

ステップ S 806において、比較部 804は、誤差演算部 803より入力される積分により得られた画素値と入力画像の画素値との誤差の絶対値が、所定の閾値以下であるか否かを判定する。

ステップ S 806において、誤差が所定の閾値以下であると判定された場合、ステップ S 80 7において、比較部 804は、積分により得られた画素値が、入力画像の画素の画素値と近い値が得られているので、その画素の画素値を演算するにあたり設定した近似関数が、現実世界の光信号の光の強度分布と十分に近似しているとみなし、今処理した画素の領域は、定常性情報に基づいた近似関数による処理を行う処理領域として認識する。より詳細には、比較部 8 0 4は、図示せぬメモリに今処理した画素が、以降の処理領域の画素であることを記憶させる。一方、ステップ S 8 0 6において、誤差が所定の閾値以下ではないと判定された場合、ステップ S 8 0 8において、比較部 8 0 4は、積分により得られた画素値が、実際の画素値と離れた値となっているので、その画素の画素値を演算するにあたり設定した近似関数が、現実世界の光信号の光の強度分布と十分に近似していないとみなし、今処理した画素の領域は、後段において定常性情報に基づいた近似関数による処理を行わない非処理領域として認識する。より詳細には、比較部 8 0 4は、図示せぬメモリに今処理した画素の領域が、以降の非処理領域であることを記憶させる。

ステップ S 8 0 9において、比較部 8 0 4は、全ての画素で処理が実行されたか否かを判定し、全ての画素で処理が実行されていないと判定された場合、その処理は、ステップ S 8 0 2に戻り、それ以降の処理が繰り返される。すなわち、全ての画素について、積分による画素値と、入力された画素値との比較がなされ、処理領域であるか否かの判定処理が完了するまで、ステップ S 8 0 2乃至 S 8 0 9の処理が繰り返される。

ステップ S 8 0 9において、全ての画素について、再積分による画素値と、入力された画素値との比較がなされ、処理領域であるか否かの判定処理が完了したと判定された場合、ステップ S 8 1 0において、比較部 8 0 4は、図示せぬメモリに記憶されている、入力画像について、後段の処理において空間方向の定常性情報に基づいた処理がなされる処理領域と、空間方向の定常性情報に基づいた処理がなされない非処理領域が識別された領域情報を、定常性情報として出力する。以上の処理によれば、定常性情報に基づいて演算された近似関数 f (x)を用いて各画素に対応する範囲の積分結果により得られた画素値と、実際の入力画像中の画素値との誤差に基づいて、近似関数の表現の確からしさの評価が領域毎（画素毎に）にされることになり、誤差の小さい領域、すなわち、近似関数に基づいた積分により得られる画素値が確からしい画素の存在する領域のみを処理領域とし、それ以外の領域を非処理領域とすることになるので、確からしい領域にのみ空間方向の定常性情報に基づいた処理を施すことができ、必要な処理だけを実行させるようにすることができるため、処理速度を向上させることができると共に、確からしい領域にのみ処理を実行させることができるので、この処理による画質劣化を抑制することが可能となる。

次に、図 1 6 9を参照して、データ定常性情報としてデータ定常性情報を用いた処理を行う画素の存在する領域情報を出力する、データ定常性情報検出部 1 0 1のその他の実施例について説明する。

動き検出部 8 2 1は、入力された画像のうち、定常性を有する領域、すなわち、画像上においてフレーム方向に定常性を有する動き（動きべクトルの方向： V _f ) を検出し、検出した動きを実世界推定部 8 2 2に出力する。尚、この動き検出部 8 2 1は、図 3におけるデータ定常性検出部 1 0 1と同様のものである。実世界推定部 8 2 2は.、動き検出部 8 2 1より入力されたデータ定常性の動きと、入力画像の情報に基づいて実世界を推定する。すなわち、実世界推定部 8 2 2は、入力された動きと、入力画像の各画素からフレーム方向（時間方向）の実世界の光信号の強度分布を近似的に記述する近似関数の係数を求めて、求めた係数を実世界の推定結果として誤差演算部 8 2 3に出力する。尚、この実世界推定部 8 2 2は、図 3における実世界推定部 1 0 2と同様のものである。

誤差演算部 8 2 3は、実世界推定部 8 2 2より入力された係数に基づいて、近似的に記述されたフレーム方向の現実世界の光の強度分布を示す近似関数を構成し、さらに、この近似関数からフレーム毎に各画素位置に相当する光の強度を積分して、近似関数により推定された光の強度分布から各画素の画素値を生成し、実際に入力された画素値との差分を誤差として比較部 8 2 4に出力する。

比較部 8 2 4は、各画素について誤差演算部 8 2 3より入力された誤差と、予め設定された閾値とを比較することにより、定常性情報を用いた処理を施す画素の存在する処理領域と、非処理領域とを識別して、この定常性情報を用いた処理 PC蘭 004麵 488

189 をする処理領域と非処理領域の識別がなされた領域情報を定常性情報として出力する。

次に、図 1 w 70のフローチャートを参照して、図 169のデータ定常性検出部

t

101による、定常性の検出の処理について説明する。

ステップ S 821において、動き検出部 801は、入力された画像を取得し、ステップ S 822において、定常性を示す動きを検出する。より詳細には、動き検出部 801は、例えば、入力画像中で動く物体の動き（動きべクトルの方向： V_f) を検出して、実世界推定部 822に出力する。

ステップ S 823において、実世界推定部 822は、動き検出部 821より入力される動きの情報と、入力画像の情報に基づいて、現実世界を表現するフレーム方向の関数 F(t)を近似的に記述する、多項式からなる関数 f(t)の係数を求めて、誤差演算部 823に出力する。すなわち、現実世界を表現する関数 f(t)は、以下の式（89) のような 1次元多項式で示される。

•n一 1

f (t) -Wotn+W t'' +---+W_n_it+W_i n一 I

• · · (89) ここで、 w iは、多項式の係数であり、実世界推定部 822は、この係数 w i を求めて、誤差演算部 823に出力する。さらに、動き検出部 821より入力される動きにより、定常性の動きを求めることができる（V_f =tan— L ^ V, V_f ：動きべクトルのフレーム方向の傾き， Θ V ：動きべクトルのフレーム方向の角度）ので、この傾きの拘束条件を代入することにより、上述の式（89) の式は、以下の式（90) で示されるように、 2次元多項式で記述することができる。 f (t, y) =w₀(t-ofy)ⁿ+w₁(t-ay)ⁿ" +

+w_n—】 (t-Qfy)+w_n

= ∑ Wi(t— y)ⁿ— i

i=0

• · · (90) すなわち、上述の式（90) は、式（8 9) で記述される 1次元の近似関数 f(t)が、空間方向 Yに平行移動することにより生じるずれ幅を、シフト量 a t

(=- d y/V_f ： d yは、空間方向 Yへの変化量）で表現することにより得られる 2次元の関数 f(t，y)を記述している。

したがって、実世界推定部 822は、入力画像と、定常性の動きの情報を用いて、上述の式（90) の各係数 w iを解いて、求められた係数 w iを誤差演算部 823に出力する。

ここで、図 1 70のフローチャートの説明に戻る。

ステップ S 8 24において、誤差演算部 823は、実世界推定部 8 22より入力された係数から、各画素についてフレーム方向に積分を実行する。すなわち、誤差演算部 8 2 3は、実世界推定部 8 22より入力された係数から、上述の式 (90) を、以下の式（9 1) で示されるように、各画素について積分する。

S_t =一一 Γ J_t f(t,y)dtdy x

n 广 ¾+Β _rt_m+A

dtdy i¾ ¹ (n-i+2) (n-i+1)

x L { (t_m+A- a (y_m+B) )ⁿ一 ⁱ⁺²-(t_m-Qf (y_m+B) )^n_i+2}

一 { ( t_m+A- y_m)ⁿ— ^l+2-(t_m-ofy_m) )]

• · · (9 1) ここで、 S_t は、図 1 7 1で示されるフレーム方向の積分結果を示す。また、その積分範囲は、図 1 7 1で示すように、フレーム方向 Tについては、 T_m乃至 T_{ra + B}であり、空間方向 Yについては、 y_ra乃至 y_{ra + A}である。また、図 1 7 1 においては、各マス目（正方形）は、 1画素を示すものとし、フレーム方向 T、および、空間方向 Υのいずれも 1であるものとする。ここで、フレーム方向丁について 1であるとは、 1フレーム分のシャッタ時間を 1とすることである。

従って、誤差演算部 823は、図 1 72で示されるように、近似関数 f(t， y) で示される曲面の空間方向 Tについて T_ra乃至 T_{m + 1}、および、空間方向 Yについて y_m乃至 y_{m + 1} (A = B= 1) で、以下の式（9 2) で示されるような積分演算を各画素について実行し、実世界を近似的に表現する関数から得られる各画素の画素ィ直 P_t を演算する。

一一

Wj x

(n-i+2) (n- n-i+2- x[((t_m+1-iv(y_ni+1))ⁿ"ⁱ⁺²-(t_m m-a "i (りy, m

n-i+2

— {(t_m+1— ofy_m)ⁿ— ¹⁺²—（t_m— afyj Π

• · · (9 2) すなわち、この処理により、誤差演算部 823は、言わば一種の画素値生成部として機能し、近似関数から画素値を生成する。

ステップ S 8 25において、誤差演算部 803は、上述の式（9 2) で示したような積分により得られた画素値と、入力画像の画素値との差分を演算し、これを誤差として比較部 8 24に出力する。すなわち、誤差演算部 823は、上述の図 1 7 1，図 1 72で示した積分範囲（空間方向 Tについて T_m乃至 T_{m + 1}、および、空間方向 Yについて y_m乃至 y_{ra + 1}) に対応する画素の画素値と、画素に対応する範囲の積分結果により得られた画素値との差分を、誤差として求めて比較部 8 24に出力する。

ステップ S 8 26において、比較部 824は、誤差演算部 8 23より入力された積分により得られた画素値と入力画像の画素値との誤差の絶対値が、所定の閾値以下であるか否かを判定する。

ステップ S 8 26において、誤差が所定の閾値以下であると判定された場合、ステップ S 82 7において、比較部 824は、積分により得られた画素値が、入力画像の画素値と近い値が得られているので、その画素の画素値を演算するにあたり設定した近似関数が、実世界の光信号の光の強度分布と十分に近似されているとみなし、今処理した画素の領域は、処理領域として認識する。より詳細には、比較部 8 2 4は、図示せぬメモリに今処理した画素が、以降の処理領域の画素であることを記憶させる。

一方、ステップ S 8 2 6において、誤差が所定の閾値以下ではないと判定された場合、ステップ S 8 2 8において、比較部 8 2 4は、積分により得られた画素値が、実際の画素値と離れた値となっているので、その画素の画素値を演算するにあたり設定した近似関数が、現実世界の光の強度分布と十分に近似していないとみなし、今処理した画素の領域は、後段において定常性情報に基づいた近似関数による処理を行わない非処理領域として認識する。より詳細には、比較部 8 2 4は、図示せぬメモリに今処理した画素の領域が、以降の非処理領域であることを記憶させる。

ステップ S 8 2 9において、比較部 8 2 4は、全ての画素で処理が実行されたか否かを判定し、全ての画素で処理が実行されていないと判定された場合、その処理は、ステップ S 8 2 2に戻り、それ以降の処理が繰り返される。すなわち、全ての画素について、積分による画素値と、入力された画素値との比較がなされ、処理領域であるか否かの判定処理が完了するまで、ステップ S 8 2 2乃至 S 8 2 9の処理が繰り返される。

ステップ S 8 2 9において、全ての画素について、再積分による画素値と、入力された画素値との比較がなされ、処理領域であるか否かの判定処理が完了したと判定された場合、ステップ S 8 3 0において、比較部 8 2 4は、図示せぬメモリに記憶されている、入力画像について、後段の処理においてフレーム方向の定常性情報に基づいた処理がなされる処理領域と、フレーム方向の定常性情報に基づいた処理がなされない非処理領域が識別された領域情報を、定常性情報として出力する。

以上の処理によれば、定常性情報に基づいて演算された近似関数 f (t)を用いた各画素に対応する範囲の積分結果により得られた画素値と、実際の入力画像中の画素値との誤差に基づいて、近似関数の表現の確からしさの評価が領域毎（画素毎に）にされることになり、誤差の小さい領域、すなわち、近似関数に基づいて積分により得られる画素値が確からしい画素の存在する領域のみを処理領域とし、それ以外の領域を非処理領域とすることになるので、確からしい領域にのみフレーム方向の定常性情報に基づいた処理を施すことができ、必要な処理だけを実行させるようにすることができるため、処理速度を向上させることができると共に、確からしい領域にのみ処理を実行させることができるので、この処理による画質劣化を抑制することが可能となる。

図 1 6 5およぴ図 1 6 9のデータ定常性情報検出部 1 0 1の構成を組み合わせて、時空間方向のうち、いずれか 1次元を選択して、選択的に領域情報を出力させるようにしてもよい。

以上によれば、それぞれ時空間積分効果を有する、センサの複数の検出素子により現実世界の光信号が射影され、現実世界の光信号の定常性の一部が欠落した、検出素子により射影された画素値を有する複数の画素からなる画像データにおけるデータの定常性を検出し、検出した定常性に対応して、画像データの時空間方向のうち少なくとも 1次元方向の位置に対応する各画素の画素値が少なくとも 1 次元方向の積分効果により取得された画素値であるとして現実世界の光信号に対応する関数を近似することにより、現実世界の光信号に対応する関数を推定し、推定した関数を少なくとも 1次元方向の各画素に対応する単位で積分することにより取得される画素値と、各画素の画素値との差分値を検出し、差分値に応じて関数を選択的に出力するようにしたので、近似関数に基づいて積分により得られる画素値が確からしい画素の存在する領域のみを処理領域とし、それ以外の領域を非処理領域とすることが可能となり、確からしい領域にのみフレーム方向の定常性情報に基づいた処理を施すことができ、必要な処理だけを実行させるようにすることができるため、処理速度を向上させることができると共に、確からしい領域にのみ処理を実行させることができるので、この処理による画質劣化を抑制することが可能となる。

次に、実世界 1の信号の推定について説明する。 8

195

図 1 7 3に構成を示す実世界推定部 1 0 2においては、入力画像、および定常性検出部 1 0 1から供給されたデータ定常性情報を基に、実世界 1の信号である画像における、細線の幅が検出され、細線のレベル（実世界 1の信号の光の強度）が推定される。

線幅検出部 2 1 0 1は、定常性検出部 1 0 1から供給された、細線の画像が射影された画素からなる、細線領域である定常領域を示すデータ定常性情報を基に、細線の幅を検出する。線幅検出部 2 1 0 1は、データ定常性情報と共に、検出された細線の幅を示す細線幅情報を信号レベル推定部 2 1 0 2に供給する。

信号レベル推定部 2 1 0 2は、入力画像、線幅検出部 2 1 0 1から供給された細線の幅を示す細線幅情報、およびデータ定常性情報を基に、実世界 1の信号である、細線の画像のレベル、すなわち光の強度のレベルを推定し、細線の幅および細線の画像のレベルを示す実世界推定情報を出力する。

図 1 7 4およぴ図 1 7 5は、実世界 1の信号における、細線の幅を検出する処理を説明する図である。

図 1 7 4およぴ図 1 7 5において、太線で囲む領域（，つの四角からなる領域）は、 1つの画素を示し、点線で囲む領域は、細線の画像が射影された画素からなる、細線領域を示し、丸は、細線領域の重心を示す。図 1 7 4および図 1 7 5において、斜線は、センサ 2に入射された細線の画像を示す。斜線は、センサ 2に、実世界 1の細線の画像が射影された領域を示しているとも言える。

図 1 7 4および図 1 7 5において、 Sは、細線領域の重心の位置から算出される傾きを示し、 Dは、細線領域の重複である。ここで、傾き Sは、細線領域が隣接しているので、画素を単位とした、重心と重心との距離である。また、細線領域の重複 Dとは、 2つの細線領域において、隣接している画素の数である。

図 1 7 4および図 1 7 5において、 Wは、細線の幅を示す。

図 1 7 4において、傾き Sは、 2であり、重複 Dは、 2である。

図 1 7 5において、傾き Sは、 3であり、重複 Dは、 1である。細線領域が隣接し、細線領域が隣接する方向の重心と重心の距離は、 1画素であるので、 W : D=1 : Sが成立し、細線の幅 Wは、重複 D/傾き Sで求めることができる。

例えば、図 1 7 4で示されるように、傾き Sは、 2であり、重複 Dは、 2であるとき、 2/2は、 1であるから、細線の幅 Wは、 1である。また、例えば、図 1 7 5で示されるように、傾き Sは、 3であり、重複 Dは、 1であるとき、細線の幅 Wは、 1/3である。

線幅検出部 2 1 0 1は、このように、細線領域の重心の位置から算出される傾き、および細線領域の重複から、細線の幅を検出する。

図1 7 6は、実世界 1の信号における、細線の信号のレベルを推定する処理を説明する図である。

図 1 7 6において、太線で囲む領域（4つの四角からなる領域）は、 1つの画素を示し、点線で囲む領域は、細線の画像が射影された画素からなる、細線領域を示す。図 1 7 6において、 Eは、細線領域の画素を単位とした、細線領域の長さを示し、 Dは、細線領域の重複（他の細線領域に隣接している画素の数）である。

細線の信号のレベルは、処理単位（細線領域）内で一定であると近似し、細線が射影された画素の画素値に射影された、細線以外の画像のレベルは、隣接している画素の画素値に対するレベルに等しいと近似する。

細線の信号のレベルを Cとしたとき、細線領域に射影された信号（画像）における、図中の、細線の信号が射影された部分の左側の部分のレベルを A とし、図中の、細線の信号が射影された部分の右側の部分のレベルを Bとする。

このとき、式（9 3 ) が成立する。

細線領域の画素値の総和 = (E-D) /2*A+ (E-D) /2*B+D*C · · · ( 9 3 ) 細線の幅が一定であり、細線領域の幅は、 1画素なので、細線領域の細線（の信号が射影された部分）の面積は、細線領域の重複 Dに等しい。細線領域の幅は、 1画素なので、細線領域の画素を単位とした、細線領域の面積は、細線領域の長さ Eに等しい。

細線領域のうち、細線の左側の面積は、（E- D)/2である。細線領域のうち、細線の右側の面積は、（E- D)/²である。

式（9 3) の右辺の第 1項は、左側に隣接している画素に射影された信号のレベルと同じレベルの信号が射影された画素値の部分.であり、式（9 4) で表すことができる。

• · · (9 4) 式（9 4) において、 Ai は、左側に隣接している画素の画素値を示す。

式（9 4) において、は、左側に隣接している画素に射影された信号のレベルと同じレベルの信号が、細線領域の画素に射影される面積の割合を示す。すなわち、ひ i は、細線領域の画素の画素値に含まれている、左側に隣接している画素の画素値と同じ画素値の割合を示す。

iは、細線領域の左側に隣接している画素の位置を示す。

例えば、図 1 7 6において、細線領域の画素の画素値に含まれている、細線領域の左側に隣接している画素の画素値 A。と同じ画素値の割合は、 α。である。図 1 7 6において、細線領域の画素の画素値に含まれている、細線領域の左側に隣接している画素の画素値 At と同じ画素値の割合は、 _αιである。図 1 7 6において、細線領域の画素の画素値に含まれている、細線領域の左側に隣接している画素の画素値 Α₂ と同じ画素値の割合は、ひ ₂である。

式（9 3) の右辺の第 2項は、右側に隣接している画素に射影された信号のレベルと同じレベルの信号が射影された画素値の部分であり、式（9 5) で表すことができる。

- - - (9 5) 式（9 5) において、 Β」は、右側に瞵接している画素の画素値を示す。

式（9 5) において、 j は、右側に隣接している画素に射影された信号のレ _η^_ιτη^

PCT/JP2004/001488

198

ベルと同じレベルの信号が、細線領域の画素に射影される面積の割合を示す。すなわち、 jS j は、細線領域の画素の画素値に含まれている、右側に隣接している画素の画素値と同じ画素値の割合を示す。

jは、細線領域の右側に隣接している画素の位置を示す。

例えば、図 1 7 6において、細線領域の画素の画素値に含まれている、細線領域の右側に隣接している画素の画素値 B。と同じ画素値の割合は、。である。図 1 7 6において、細線領域の画素の画素値に含まれている、細線領域の右側に隣接している画素の画素値と同じ画素値の割合は、 0 iである。図 1 7 6において、細線領域の画素の画素値に含まれている、細線領域の右側に隣接している画素の画素値 B₂ と同じ画素値の割合は、 0₂である。

このように、信号レべノレ推定部 2 1 0 2は、式（9 4 ) およぴ式（9 5 ) を基に、細線領域に含まれる画素値のうちの、細線以外の画像の画素値を算出し、式 ( 9 3 ) を基に、細線領域の画素値から細線以外の画像の画素値を除去することにより、細線領域に含まれる画素値のうちの、細線のみの画像の画素値を求める。そして、信号レベル推定部 2 1 0 2は、細線のみの画像の画素値と細線の面積とから、細線の信号のレベルを求める。より具体的には、信号レベル推定部 2 1 0 2は、細線領域に含まれる画素値のうちの、細線のみの画像の画素値を、細線領域の細線の面積、すなわち細線領域の重複 Dで割り算することにより、細線の信号のレベルを算出する。

信号レベル推定部 2 1 0 2は、実世界 1の信号における、細線の幅、および細線の信号のレベルを示す実世界推定情報を出力する。

本発明の手法では、細線の波形を画素ではなく幾何学的に記述しているので、どのような解像度でも使用することができる。

次に、ステップ S 1 0 2の処理に対応する、実世界の推定の処理を図 1 7 7のフローチャートを参照して説明する。

ステップ S 2 1 0 1において、線幅検出部 2 1 0 1は、データ定常性情報を基に、細線の幅を検出する。例えば、線幅検出部 2 1 0 1は、細線領域の重心の位置から算出される傾き、および細線領域の重複から、重複を傾きで割り算することにより、実世界 1の信号における、細線の幅を推定する。

ステップ S 2 1 0 2において、信号レベル推定部 2 1 0 2は、細線の幅、および細線領域に隣接する画素の画素値を基に、細線の信号のレベルを推定し、推定された細線の幅および細線の信号のレベルを示す実世界推定情報を出力して、処理は終了する。例えば、信号レベル推定部 2 1 0 2は、細線領域に含まれる細線以外の画像が射影された画素値を算出し、細線領域から細線以外の画像が射影された画素値を除去することにより、細線のみの画像が射影された画素値を求めて、求められた細線のみの画像が射影された画素値と細線の面積とから、細線の信号のレベルを算出することにより、実世界 1の信号における、細線のレベルを推定する。

このように、実世界推定部 1 0 2は、実世界 1の信号の細線の幅おょぴレベルを推定することができる。

以上のように、現実世界の光信号が射影され、現実世界の光信号の定常性の一部が欠落した第 1の画像データの、データの定常性を検出し、データの定常性に対応する現実世界の光信号の波形を表すモデルに基いて、第 1の画像データの定常性から現実世界の光信号の波形を推定し、推定された光信号を第 2の画像データに変換するようにした場合、現実世界の光信号に対して、より正確で、より精度の高い処理結果を得ることができるようになる。

図 1 7 8は、実世界推定部 1 0 2の他の構成を示すブロック図である。

図 1 7 8に構成を示す実世界推定部 1 0 2においては、入力画像、およびデータ定常性検出部 1 0 1から供給されたデータ定常性情報を基に、領域が再度検出され、再度検出された領域を基に、実世界 1の信号である画像における、細線の幅が検出され、実世界 1の信号の光の強度（レベル）が推定される。例えば、図 1 7 8に構成を示す実世界推定部 1 0 2においては、細線の画像が射影された画素からなる定常性領域が再度検出され、再度検出された領域を基に、実世界 1の信号である画像における、細線の幅が検出され、実世界 1の信号の光の強度が推定される。

データ定常性検出部 1 0 1から供給され、図 1 7 8に構成を示す実世界推定部 1 0 2に入力されるデータ定常性情報には、データ 3である入力画像のうちの、細線の画像が射影された定常成分以外の非定常成分を示す非定常成分情報、定常領域の中の単調増減領域を示す単調増減領域情報、および定常領域を示す情報などが含まれている。例えば、データ定常性情報に含まれる非定常成分情報は、入力画像における背景などの非定常成分を近似する平面の傾きおよび切片からなる。実世界推定部 1 0 2に入力されたデータ定常性情報は、境界検出部 2 1 2 1に供給される。実世界推定部 1 0 2に入力された入力画像は、境界検出部 2 1 2 1 および信号レベル推定部 2 1 0 2に供給される。

境界検出部 2 1 2 1は、データ定常性情報に含まれる非定常成分情報、および入力画像から、細線の画像が射影された定常成分のみからなる画像を生成し、定常成分のみからなる画像を基に、画素に射影された、実世界 1の信号である細線の画像が射影された割合を示す分配比を算出し、算出された分配比から細線領域の境界を示す回帰直線を算出することにより、定常領域である細線領域を再ぴ検出する。

図 1 7 9は、境界検出部 2 1 2 1の構成を示すプロック図である。

分配比算出部 2 1 3 1は、データ定常性情報、データ定常性情報に含まれる非定常成分情報、および入力画像から、細線の画像が射影された定常成分のみからなる画像を生成する。より具体的には、分配比算出部 2 1 3 1は、データ定常性情報に含まれる単調増減領域情報を基に、入力画像から、定常領域の中の隣り合う単調増減領域を検出し、検出された単調増減領域に属する画素の画素値から、定常成分情報に含まれる傾きおよび切片で示される平面で近似される近似値を引き算することにより、細線の画像が射影された定常成分のみからなる画像を生成する。

なお、分配比算出部 2 1 3 1は、入力画像の画素の画素値から、定常成分情報に含まれる傾きおよび切片で示される平面で近似される近似値を引き算することにより、細線の画像が射影された定常成分のみからなる画像を生成するようにしてもよい。

分配比算出部 2 1 3 1は、生成された定常成分のみからなる画像を基に、実世界 1の信号である細線の画像が、定常領域の中の隣り合う単調増減領域に属する 2つの画素に分配された割合を示す分配比を算出する。分配比算出部 2 1 3 1は、算出した分配比を回帰直線算出部 2 1 3 2に供給する。

図 1 8 0乃至図 1 8 2を参照して、分配比算出部 2 1 3 1における、分配比の算出の処理を説明する。

図 1 8 0の左側の 2列の数値は、入力画像の画素値から、定常成分情報に含まれる傾きおよび切片で示される平面で近似される近似値を引き算することにより、算出された画像のうち、縦に 2列の画素の画素値を示す。図 1 8 0の左側の四角で囲む 2つの領域は、隣り合う 2つの単調増減領域である、単調増減領域 2 1 4 1一 1および単調増減領域 2 1 4 1— 2を示す。すなわち、単調増減領域 2 1 4 1 - 1および単調増減領域 2 1 4 1 - 2に示す数値は、データ定常性検出部 1 0 1において検出された定常性領域である単調増減領域に属する画素の画素値を示す。

図 1 8 0の右側の 1列の数値は、図 1 8 0の左側の 2列の画素の画素値のうち、横に並ぶ画素の画素値を加算した値を示す。すなわち、図 1 8 0の右側の 1列の数値は、縦に 1列の画素からなる単調増減領域であって、 2つの隣接するものについて、横に隣接する画素毎に、細線の画像が射影された画素値を加算した値を示す。

例えば、それぞれ、縦に 1列の画素からなり、隣接する単調増減領域 2 1 4 1 一 1および単調増減領域 2 1 4 1一 2のいずれかに属し、横に隣接する画素の画素値が、 2および 5 8であるとき、加算した値は、 6 0である。それぞれ、縦に 1列の画素からなり、隣接する単調増減領域 2 1 4 1— 1および単調增減領域 2 1 4 1一 2のいずれかに属し、横に隣接する画素の画素値が、 1および 6 5であるとき、加算した値は、 6 6である。図 1 8 0の右側の 1列の数値、すなわち、縦に 1列の画素からなり、 2つの隣接する単調増減領域の横方向に隣接する画素について、細線の画像が射影された画素値を加算した値は、ほぼ一定となることがわかる。

同様に、横に 1列の画素からなり、 2つの隣接する単調増減領域の縦方向に隣接する画素について、細線の画像が射影された画素値を加算した値は、ほぼ一定となる。

分配比算出部 2 1 3 1は、 2つの隣接する単調増減領域の隣接する画素について、細線の画像が射影された画素値を加算した値が、ほぼ一定となる性質を利用して、細線の画像が 1列の画素の画素値にどのように分配されているかを算出する。

分配比算出部 2 1 3 1は、図 1 8 1に示すように、縦に 1列の画素からなる単調増減領域であって、 2つの隣接するものに属する画素の画素値を、横に隣接する画素毎に、細線の画像が射影された画素値を加算した値で割り算することにより、 2つの隣接する単調増減領域に属する各画素について、分配比を算出する。ただし、算出された結果、 1 0 0を超える分配比には、 1 0 0が設定される。例えば、図 1 8 1に示すように、縦に 1列の画素からなる単調増減領域であつて、 2つの隣接するものに属する、横に隣接する画素の画素値が、それぞれ 2および 5 8であるとき、加算した値が 6 0なので、それぞれの画素に対して、 3 . 5および 9 6 . 5である分配比が算出される。縦に 1列の画素からなる単調増減領域であって、 2つの隣接するものに属する、横に隣接する画素の画素値が、それぞれ 1および 6 5であるとき、加算した値が 6 5なので、それぞれの画素に対して、 1 . 5および 9 8 . 5である分配比が算出される。

この場合において、 3つの単調増減領域が隣接する場合、どちらの列から計算するかは、図 1 8 2で示されるように、横に隣接する画素毎に、細線の画像が射影された画素値を加算した、 2つの値のうち、頂点 Pの画素値により近い値を基に、分配比が算出される。

例えば、頂点 Pの画素値が 8 1であり、注目している単調増減領域に属する画素の画素値が 7 9であるとき、左側に隣接する画素の画素値が 3であり、右側に隣接する画素の画素値が一 1である場合、左側に隣接する画素の画素値を加算した値が、 8 2であり、右側に隣接する画素の画素値を加算した値が、 7 8なので、頂点 Pの画素値 8 1により近い、 8 2が選択され、左側に隣接する画素を基に、分配比が算出される。同様に、頂点 Pの画素値が 8 1であり、注目している単調増減領域に属する画素の画素値が 7 5であるとき、左側に隣接する画素の画素値が 0であり、右側に隣接する画素の画素値が 3である場合、左側に隣接する画素の画素値を加算した値が、 7 5であり、右側に隣接する画素の画素値を加算した値が、 7 8なので、頂点 Pの画素値 8 1により近い、 7 8が選択され、右側に隣接する画素を基に、分配比が算出される。

このように、分配比算出部 2 1 3 1は、縦に 1列の画素からなる単調増減領域について、分配比を算出する。

分配比算出部 2 1 3 1は、同様の処理で、横に 1列の画素からなる単調増減領域について、分配比を算出する。

回帰直線算出部 2 1 3 2は、単調増減領域の境界が直線であると仮定して、分配比算出部 2 1 3 1において算出された分配比を基に、単調増減領域の境界を示す回帰直線を算出することにより、定常領域の中の単調増減領域を再び検出する。図 1 8 3および図 1 8 4を参照して、回帰直線算出部 2 1 3 2における、単調増減領域の境界を示す回帰直線の算出の処理を説明する。

図 1 8 3において、白丸は、単調増減領域 2 1 4 1— 1乃至単調増減領域 2 1 4 1 - 5の上側の境界に位置する画素を示す。回帰直線算出部 2 1 3 2は、回帰の処理により、単調増減領域 2 1 4 1一 1乃至単調増減領域 2 1 4 1一 5の上側の境界について回帰直線を算出する。例えば、回帰直線算出部 2 1 3 2は、単調増減領域 2 1 4 1 - 1乃至単調増減領域 2 1 4 1 - 5の上側の境界に位置する画素との距離の自乗の和が最小となる直線 Aを算出する。

また、図 1 8 3において、黒丸は、単調増減領域 2 1 4 1— 1乃至単調增減領域 2 1 4 1— 5の下側の境界に位置する画素を示す。回帰直線算出部 2 1 3 2は、 PC蘭 004/001488

204

回帰の処理により、単調増減領域 2 1 4 1— 1乃至単調増減領域 2 1 4 1— 5の下側の境界について回帰直線を算出する。例えば、回帰直線算出部 2 1 3 2は、単調増減領域 ² 1 4 1— 1乃至単調増減領域 2 1 4 1— 5の下側の境界に位置する画素との距離の自乗の和が最小となる直線 Bを算出する。

回帰直線算出部 2 1 3 2は、算出された回帰直線を基に、単調增減領域の境界を決定することにより、定常領域の中の単調増減領域を再び検出する。

図 1 8 4に示すように、回帰直線算出部 2 1 3 2は、算出された直線 Aを基に、単調増減領域 2 1 4 1 - 1乃至単調増減領域 2 1 4 1 - 5の上側の境界を決定する。例えば、回帰直線算出部 2 1 3 2は、単調増減領域 2 1 4 1— 1乃至単調増減領域 2 1 4 1— 5のそれぞれについて、算出された直線 Aに最も近い画素から上側の境界を決定する。例えば、回帰直線算出部 2 1 3 2は、単調増減領域 2 1 4 1 - 1乃至単調増減領域 2 1 4 1一 5のそれぞれについて、算出された直線 A に最も近い画素が領域に含まれるように上側の境界を決定する。

図 1 8 4に示すように、回帰直線算出部 2 1 3 2は、算出された直線 Bを基に、単調増減領域 2 1 4 1 - 1乃至単調増減領域 2 1 4 1一 5の下側の境界を決定する。例えば、回帰直罈算出部 2 1 3 2は、単調増減領域 2 1 4 1 - 1乃至単調增減領域 2 1 4 1一 5のそれぞれについて、算出された直線 Bに最も近い画素から下側の境界を決定する。例えば、回帰直線算出部 2 1 3 2は、単調増減領域 2 1 4 1一 1乃至単調増減領域 2 1 4 1一 5のそれぞれについて、算出された直線 B に最も近い画素が領域に含まれるように上側の境界を決定する。

このように、回帰直線算出部 2 1 3 2は、データ定常性検出部 1 0 1により検出された定常領域の境界を回帰する回帰線に基づいて、頂点から単調に画素値が増加または減少している領域を再び検出する。すなわち、回帰直線算出部 2 1 3 2は、算出された回帰直線を基に、単調増減領域の境界を決定することにより、定常領域の中の単調増減領域である領域を再び検出し、検出した領域を示す領域情報を線幅検出部 2 1 0 1に供給する。

以上のように、境界検出部 2 1 2 1は、画素に射影された、実世界 1の信号である細線の画像が射影された割合を示す分配比を算出し、算出された分配比から単調増減領域の境界を示す回帰直線を算出することにより、定常領域の中の単調増減領域を再び検出する。このようにすることで、より正確な単調增減領域を検出することができる。

図 1 7 8に示す線幅検出部 2 1 0 1は、境界検出部 2 1 2 1から供給された、再度検出された領域を示す領域情報を基に、図 1 7 3に示す場合と同様の処理で、細線の幅を検出する。線幅検出部 2 1 0 1は、データ定常性情報と共に、検出さ ' れた細線の幅を示す細線幅情報を信号レベル推定部 2 1 0 2に供給する。

図 1 7 8に示す信号レベル推定部 2 1 0 2の処理は、図 1 7 3に示す場合と同様の処理なので、その説明は省略する。

図 1 8 5は、ステップ S 1 0 2の処理に対応する、図 1 7 8に構成を示す実世界推定部 1 0 2による、実世界の推定の処理を説明するフローチャートである。ステップ S 2 1 2 1において、境界検出部 2 1 2 1は、データ定常性検出部 1 0 1により検出された定常領域に属する画素の画素値に基づいて、再び領域を検出する、境界検出の処理を実行する。境界検出の処理の詳細は、後述する。

ステップ S 2 1 2 2およびステップ S 2 1 2 3の処理は、ステップ S 2 1 0 1 およびステップ S 2 1 0 2の処理と同様なので、その説明は省略する。

図 1 8 6は、ステップ S 2 1 2 1の処理に対応する、境界検出の処理を説明するフローチヤ一トである。

ステップ S 2 1 3 1において、分配比算出部 2 1 3 1は、単調増減領域を示すデータ定常性情報および入力画像を基に、細線の画像が射影された割合を示す分配比を算出する。例えば、分配比算出部 2 1 3 1は、データ定常性情報に含まれる単調増減領域情報を基に、入力画像から、定常領域の中の隣り合う単調增減領域を検出し、検出された単調増減領域に属する画素の画素値から、定常成分情報に含まれる傾きおよび切片で示される平面で近似される近似値を引き算することにより、細線の画像が射影された定常成分のみからなる画像を生成する。そして、分配比算出部 2 1 3 1は、 1列の画素からなる単調増減領域であって、 2つの隣接するものに属する画素の画素値を、隣接する画素の画素値の和で割り算することにより、 2つの隣接する単調増減領域に属する各画素について、分配比を算出する。

分配比算出部 2 1 3 1は、算出された分配比を回帰直線算出部 2 1 3 2に供給する。

ステップ S 2 1 3 2において、回帰直線算出部 2 1 3 2は、細線の画像が射影された割合を示す分配比を基に、単調増減領域の境界を示す回帰直線を算出することにより、定常領域の中の領域を再び検出する。例えば、回帰直線算出部 2 1 3 2は、単調増減領域の境界が直線であると仮定して、単調増減領域の一端の境界を示す回帰直線を算出し、単調増減領域の他の一端の境界を示す回帰直線を算出することにより、定常領域の中の単調増減領域を再び検出する。

回帰直線算出部 2 1 3 2は、再び検出された、定常領域の中の領域を示す領域情報を線幅検出部 2 1 0 1に供給して、処理は終了する。

このように、図 1 7 8に構成を示す実世界推定部 1 0 2は、細線の画像が射影された画素からなる領域を再度検出し、再度検出された領域を基に、実世界 1の信号である画像における、細線の幅を検出し、実世界 1の信号の光の強度（レべル）を推定する。このようにすることで、実世界 1の信号に対して、より正確に、細線の幅を検出し、より正確に、光の強度を推定することができる。

以上のように、現実世界の光信号が射影され、現実世界の光信号の定常性の一部が欠落した第 1の画像データにおける、複数の画素の画素値の不連続部を検出し、検出された不連続部から、データの定常性を有する定常領域を検出し、検出された定常領域に属する画素の画素値に基づいて、再び領域を検出し、再び検出された領域に基づいて実世界を推定するようにした場合、現実世界の事象に対して、より正確で、より精度の高い処理結果を得ることができるようになる。

次に、図 1 8 7を参照して、定常性を有する領域における、画素毎の空間方向の近似関数の微分値を実世界推定情報として出力する実世界推定部 1 0 2について説明する。参照画素抽出部 2 2 0 1は、データ定常性検出部 1 0 1より入力されるデータ定常性情報（定常性の角度、または、領域の情報）に基づいて、入力画像の各画素が処理領域であるか否かを判定し、処理領域である場合には、入力画像の画素の画素値を近似する近似関数を求めるために必要な参照画素の情報（演算に必要な注目画素周辺の複数の画素の位置、および、画素値）を抽出して、近似関数推定部 2 2 0 2に出力する。

近似関数推定部 2 2 0 2は、参照画素抽出部 2 2 0 1より入力された参照画素の情報に基づいて注目画素周辺の画素の画素値を近似的に記述する近似関数を最小自乗法に基づいて推定し、推定した近似関数を微分処理部 2 2 0 3に出力する。微分処理部 2 2 0 3は、近似関数推定部 2 2 0 2より入力された近似関数に基づいて、データ定常性情報の角度（例えば、細線や 2値エッジの所定の軸に対する角度：傾き）に応じて、注目画素から生成しょうとする画素の位置のシフト量を求め、そのシフト量に応じた近似関数上の位置における微分値（定常性に対応する線からの 1次元方向に沿った距離に対応する各画素の画素値を近似する関数の微分値）を演算し、さらに、注目画素の位置、画素値、および、定常性の傾きの情報を付加して、これを実世界推定情報として画像生成部 1 0 3に出力する。次に、図 1 8 8のフローチヤ一トを参照して、図 1 8 7の実世界推定部 1 0 2 による実世界推定の処理について説明する。

ステップ S 2 2 0 1において、参照画素抽出部 2 2 0 1は、入力画像と共に、データ定常性検出部 1 0 1よりデータ定常性情報としての角度、および、領域の情報を取得する。

ステップ S 2 2 0 2において、参照画素抽出部 2 2 0 1は、入力画像の未処理画素から注目画素を設定する。

ステップ S 2 2 0 3において、参照画像抽出部 2 2 0 1は、データ定常性情報の領域の情報に基づいて、注目画素が、処理領域のものであるか否かを判定し、処理領域の画素ではないと判定した場合、その処理は、ステップ S 2 2 1 0に進み、その注目画素については、処理領域外であることを近似関数推定部 2 2 0 2 を介して、微分処理部 2 2 0 3に伝え、これに応じて、微分処理部² 2 0 3力対応する注目画素についての微分値を 0として、さらに、その注目画素の画素値を付加して実世界推定情報として画像生成部 1 0 3に出力すると共に、その処理は、ステップ S 2 2 1 1に進む。また、注目画素が処理領域のものであると判定された場合、その処理は、ステップ S 2 2 04に進む。

ステップ S 2 2 0 4において、参照画素抽出部 2 2 0 1は、データ定常性情報に含まれる角度の情報から、データ定常性の有する方向が、水平方向に近い角度力 \ または、垂直に近い角度であるか否かを判定する。すなわち、参照画素抽出部 2 2 0 1は、データ定常性の有する角度 Sが、 0度≤ 0 <45度、または、 135 度 0く 180度となる場合、注目画素の定常性の方向は、水平方向に近いと判定し、データ定常性の有する角度 0が、 45度≤ 0く 135度となる場合、注目画素の定常性の方向は、垂直方向に近いと判定する。

ステップ S 2 2 0 5において、参照画素抽出部 2 2 0 1は、判定した方向に対応した参照画素の位置情報、および、画素値をそれぞれ入力画像から抽出し、近似関数推定部 2 2 0 2に出力する。すなわち、参照画素は、後述する近似関数を演算する際に使用されるデータとなるので、傾きに応じて抽出されることが望ましい。従って、水平方向、または、垂直方向のいずれかの判定方向に対応して、その方向に長い範囲の参照画素が抽出される。より具体的には、例えば、図 1 8 9で示されるように、傾き G_f が垂直方向に近いと、垂直方向であると判定される。この場合、参照画素抽出部 2 20 1は、例えば、図 1 8 9で示されるように、図 1 8 9中の中央の画素（0， 0) を注目画素とするとき、画素（一 1， 2) ， (- 1 , 1) , (一 1， 0) ，（一 1，一 1) ，（一 1， - 2) ， (0 , 2) , (0， 1) ，（0， 0) ，（0, — 1 ) , (0， - 2) ，（1， 2) ，（1， 1) , (1， 0) ，（1， - 1) , ( 1 , 一 2) のそれぞれの画素値を抽出する _c 尚、図 1 8 9においては、各画素の水平方向、および、垂直方向の大きさが 1であるものとする。

すなわち、参照画素抽出部 22 0 1は、注目画素を中心として垂直（上下）方向にそれぞれ 2画素 X水平（左右）方向にそれぞれ 1画素の合計 1 5画素となるように、垂直方向に長い範囲の画素を参照画素として抽出する。

逆に、水平方向であると判定された場合、注目画素を中心として垂直（上下）方向にそれぞれ 1画素 X水平（左右）方向にそれぞれ 2画素の合計 1 5画素となるように、水平方向に長い範囲の画素を参照画素として抽出して、近似関数推定部 2202に出力する。もちろん、参照画素は、上述のように 1 5画素に限定されるものではなく、それ以外の個数であってもよい。

ステップ S 2 206において、近似関数推定部 2202は、参照画素抽出部 2 201より入力された参照画素の情報に基づいて、最小自乗法により近似関数 f(x)を推定し、微分処理部 2 203に出力する。

すなわち、近似関数 f(x)は、以下の式（96) で示されるような多項式である。 f(x) =w₁xⁿ + w₂x^n_1 + -- -+w_n+1

• · · (96) このように、式（96) の多項式の各係数乃至 W_{n + 1}が求められれば、各参照画素の画素値（参照画素値）を近似する近似関数 f(x)が求められることになる。しかしながら、係数の数よりも多くの参照画素値が必要となるので、例えば、参照画素が、図 1 8 9で示されるような場合、合計 1 5画素であるので、多項式の係数は、 1 5個までしか求められない。そこで、この場合、多項式は、 1 4次までの多項式とし、係数乃至 W₁₅ を求めることにより近似関数を推定するものとする。尚、今の場合、 1 5次の多項式からなる近似関数 f(x)を設定して、連立方程式としてもよい。

従って、図 1 89で示される 1 5個の参照画素値を用いるとき、近似関数推定部 2202は、以下の式（9 7) を、最小自乗法を用いて解くことにより推定する。

P (一 1，一 2) =f (- 1 -Cx (一 2) ) P 一 1) =f (- 1-Cx (— 1) )

P 0) =f (一 1) (=f (- 1 -Cx (0) ) )

P 1) =f (一 1一 Cx (1) )

P 一 1 2) =f (- 1 -Cx (2) )

P 0 - 2) =f (0 -Cx (一 2) )

P 0 - 1 ) =f (O-Cx (一 1) )

P 0 0) =f (0) ( = f (0 -Cx (0) ) )

P 0 1 ) =f (0 -Cx ( 1 ) )

P 0 2) =f (0 -Cx (2) )

PP ( - 2) =f (1 -Cx (一 2) )

P 一 1) =ΐ (1 -Cx (一 1) )

P 0) =f (1) (=f (1 -Cx (0) ) )

P 1) =f (1 -Cx (1) )

P 2) =f ( 1 -Cx (2) )

• · · (9 7) 尚、多項式の次数にあわせて、参照画素の数を変えるようにしてもよい。ここで、 Cx(ty)は、シフト量であり、定常性の傾きが G_f で示されるとき、

の位置上で定義される近似関数 f(x)が、傾き G_f に沿って、連続している（定常性を有している）ことを前提としたとき、空間方向 Y=tyの位置における、空間方向 Xに対するずれ幅を示すものである。従って、例えば、空間方向 Y = 0の位置上で近似関数が f(x)として定義されている場合、この近似関数 f(x)は、空間方向 Y=tyにおいては、傾き G_f に沿って空間方向 Xについて Cx(ty)だけずれているはずなので、関数は、 f(x— Cx(ty)) ( = f (x-ty/G_f)) で定義されることになる。

ステップ S 220 7において、微分処理部 2203は、近似関数推定部 2 20 2より入力された近似関数 f(x)に基づいて、生成しようとする画素の位置にお 1488

211

ける、シフト量を求める。

すなわち、水平方向、および、垂直方向にそれぞれ 2倍の密度（合計 4倍の密度）となるように画素を生成する場合、微分処理部 2 2 0 3は、例えば、まず、垂直方向に 2倍の密度となる画素 Pa， Pbに 2分割するために、図 1 9 0で示されるように、注目画素の中心位置が Pin (Xin, Yi n) での微分値を求めるため、中心位置の Pin (Xin, Yin) のシフト量を求める。このシフト量は、 Cx (0)となるため、実質的には 0となる。尚、図 1 9 0中において、画素 Pinは、（Xin， Yin) を略重心位置とする正方形であり、画素 Pa， Pbは、（Xin， Yin+O. 25) 、 (Xin, Yin— 0. 25) をそれぞれ略重心位置とする図中水平方向に長い長方形である。

ステップ S 2 2 0 8において、微分処理部 2 2 0 3は、近似関数 f (x)を微分して、近似関数の 1次微分関数 f (x) 'を求め、求められたシフト量に応じた位置での微分値を求めて、これを実世界推定情報として画像生成部 1 0 3に出力する _c すなわち、今の場合、微分処理部 2 2 0 3は、微分値 f (Xin) 'を求め、その位置 (今の場合、注目画素（Xin， Yin) ) と、その画素値、および、定常性の方向の傾きの情報とを付加して出力する。

ステップ S 2 2 0 9において、微分処理部 2 2 0 3は、求められている密度の画素を生成するのに必要なだけの微分値が求められているか否かを判定する。例えば、今の場合、 2倍の密度となるための微分値のみしか求められていない（空間方向 Y方向について 2倍の密度となるための微分値のみしか求められていなレ、）ので、求められている密度の画素を生成するのに必要なだけの微分値が求められていないと判定し、その処理は、ステップ S 2 2 0 7に戻る。

ステップ S 2 2 0 7において、微分処理部 2 2 0 3は、再度、近似関数推定部 2 2 0 2より入力された近似関数 f (x)に基づいて、生成しょうとする画素の位置における、シフト量を求める。すなわち、微分処理部 2 2 0 3は、今の場合、 2分割された画素 Pa, Pbのそれぞれを 2分割するために必要な微分値をそれぞれ求める。画素 Pa， Pbの画素の位置は、図 1 9 0における黒丸で示すそれぞれの位置であるので、微分処理部 2 2 0 3は、それぞれの位置に対応するシフト量を求める。画素 Pa， Pbのシフト量は、それぞれ Cx (0. 25) ， Cx (— 0. 25)となる。

ステップ S 2 2 0 8において、微分処理部 2 2 0 3は、近似関数 f (x)を 1次微分して、画素 Pa， Pbのそれぞれに対応したシフト量に応じた位置での微分値を求めて、これを実世界推定情報として画像生成部 1 0 3に出力する。

すなわち、図 1 8 9で示した参照画素を使用する場合、微分処理部 2 2 0 3は、図 1 9 1で示すように、求められた近似関数 f (x)について微分関数 f (x) 'を求め、空間方向 Xについて、シフト量 Cx (0. 25) , Cx (— 0. 25)だけずれた位置となる（Xin— Cx (0. 25) ) と（Xin— Cx (— 0. 25) ) の位置での微分値をそれぞれ f (Xin— Cx (0. 25) ) f (Xin - Cx (— 0. 25) ) ，として求め、その微分値に対応する位置情報を付加して、これを実世界推定情報として出力する。尚、最初の処理で画素値の情報が出力されているので画素値の情報は付加されない。ステップ S 2 2 0 9において、再ぴ、微分処理部 2 2 0 3は、求められている密度の画素を生成するのに必要なだけの微分値が求められているか否かを判定する。例えば、今の場合、 4倍の密度となるための微分値が求められたことになるので、求められている密度の画素を生成するのに必要なだけの微分値が求められたと判定し、その処理は、ステップ S 2 2 1 1に進む。

ステップ S 2 2 1 1において、参照画素抽出部 2 2 0 1は、全ての画素を処理したか否かを判定し、全ての画素を処理していないと判定した場合、その処理は、ステップ S 2 2 0 2に戻る。また、ステップ S 2 2 1 1において、全ての画素を処理したと判定した場合、その処理は、終了する。

上述のように、入力画像について、水平方向、および、垂直方向に 4倍の密度となるように画素を生成する場合、画素は、分割される画素の中央の位置の近似関数の微分値を用いて、外揷捕間により分割されるので、 4倍密度の画素を生成するには、合計 3個の微分値の情報が必要となる。

すなわち、図 1 9 0で示されるように、 1画素について最終的には、画素 P O 2004/001488

213

1， P 0 2 , P 0 3 , P◦ 4の 4画素（図 1 9 0において、画素 P 0 1， P 0 2 , P 0 3 , P 0 4は、図中の 4個のバッ印の位置を重心位置とする正方形であり、各辺の長さは、画素 Pinが、それぞれ 1であるので、画素 P 0 1， P 0 2 , P 0 3， P 0 4は、それぞれ略 0 . 5となる）の生成に必要な微分値が必要となるので、 4倍密度の画素を生成するには、まず、水平方向、または、垂直方向（今の場合、垂直方向）に 2倍密度の画素を生成し（上述の最初のステップ S 2 2 0 7 , S 2 2 0 8の処理）、さらに、分割された 2画素を、それぞれ最初に分割した方向と垂直の方向（今の場合、水平方向）に分割する（上述の 2回目のステツプ S 2 2 0 7 , S 2 2 0 8の処理）ためである。

尚、以上の例においては、 4倍密度の画素を演算する際の微分値を例として説明してきたが、それ以上の密度の画素を演算する場合、ステップ S 2 2 0 7乃至 S 2 2 0 9の処理を繰り返すことにより、画素値の演算に必要なさらに多くの微分値を求めるようにしてもよい。また、以上の例については、倍密度の画素値を求める例について説明してきたが、近似関数 f (x)は連続関数であるので、倍密度以外の画素値についても必要な微分値を求めることが可能となる。

以上によれば、注目画素近傍の画素の画素値を近似する近似関数を求め、空間方向の画素位置に対応する位置の微分値を実世界推定情報として出力することが可能となる。

以上の図 1 8 7において説明した実世界推定部 1 0 2においては、画像を生成するのに必要な微分値を実世界推定情報として出力していたが、微分値とは、必要な位置での近似関数 f (X)の傾きと同値のものである。

そこで、次は、図 1 9 2を参照して、近似関数 f (x)を求めることなく、画素生成に必要な近似関数 f (x)上の傾きのみを直接求めて、実世界推定情報として出力する実世界推定部 1 0 2について説明する。

参照画素抽出部 2 2 1 1は、データ定常性検出部 1 0 1より入力されるデータ定常性情報（定常性の角度、または、領域の情報）に基づいて、入力画像の各画素が処理領域であるか否かを判定し、処理領域である場合には、入力画像から傾 2004/001488

214

きを求めるために必要な参照画素の情報（演算に必要な注目画素を含む垂直方向に並ぶ周辺の複数の画素、または、注目画素を含む水平方向に並ぶ周辺の複数の画素の位置、および、それぞれの画素値の情報）を抽出して、傾き推定部 2 2 1 2に出力する。

傾き推定部 2 2 1 2は、参照画素抽出部 2 2 1 1より入力された参照画素の情報に基づいて、画素生成に必要な画素位置の傾きの情報を生成して、実世界推定情報として画像生成部 1 ◦ 3に出力する。より詳細には、傾き推定部 2 2 1 2は、画素間の画素値の差分情報を用いて、実世界を近似的に表現する近似関数 f (x) 上の注目画素の位置における傾きを求め、これに、注目画素の位置情報、画素値、および、定常性の方向の傾きの情報を実世界推定情報として出力する。

次に、図 1 9 3のフローチャートを参照して、図 1 9 2の実世界推定部 1 0 2 による実世界推定の処理について説明する。

ステップ S 2 2 2 1において、参照画素抽出部 2 2 1 1は、入力画像と共に、データ定常性検出部 1 0 1よりデータ定常性情報としての角度、および、領域の情報を取得する。

ステップ S 2 2 2 2において、参照画素抽出部 2 2 1 1は、入力画像の未処理画素から注目画素を設定する。

ステップ S 2 2 2 3において、参照画像抽出部 2 2 1 1は、データ定常性情報の領域の情報に基づいて、注目画素が、処理領域のものであるか否かを判定し、処理領域の画素ではないと判定した場合、その処理は、ステップ S 2 2 2 8に進み、その注目画素については、処理領域外であることを傾き推定部 2 2 1 2に伝え、これに応じて、傾き推定部 2 2 1 2が、対応する注目画素についての傾きを 0として、さらに、その注目画素の画素値を付加して実世界推定情報として画像生成部 1 0 3に出力すると共に、その処理は、ステップ S 2 2 2 9に進む。また、注目画素が処理領域のものであると判定された場合、その処理は、ステップ S 2 2 2 4に進む。

ステップ S 2 2 2 4において、参照画素抽出部 2 2 1 1は、データ定常性情報 04001488

215

に含まれる角度の情報から、データ定常性の有する方向が、水平方向に近い角度カまたは、垂直に近い角度であるか否かを判定する。すなわち、参照画素抽出部 2 2 1 1は、データ定常性の有する角度 0が、 0度≤ 0 <45度、または、 135 度≤ Θく 180度となる場合、注目画素の定常性の方向は、水平方向に近いと判定し、データ定常性の有する角度 0が、 45度≤ Θ <135度となる場合、注目画素の定常性の方向は、垂直方向に近いと判定する。

ステップ S 2 2 2 5において、参照画素抽出部 2 2 1 1は、判定した方向に対応した参照画素の位置情報、および、画素値をそれぞれ入力画像から抽出し、傾き推定部 2 2 1 2に出力する。すなわち、参照画素は、後述する傾きを演算する際に使用されるデータとなるので、定常性の方向を示す傾きに応じて抽出されることが望ましい。従って、水平方向、または、垂直方向のいずれかの判定方向に対応して、その方向に長い範囲の参照画素が抽出される。より具体的には、例えば、傾きが垂直方向に近いと判定された場合、参照画素抽出部 2 2 1 1は、図 1 9 4で示されるように、図 1 9 4中の中央の画素（0 , 0) を注目画素とするとき、画素（0， 2) ，（0， 1) ，（0， 0) ，（0， — 1) , (0, — 2) のそれぞれの画素値を抽出する。尚、図 1 9 4においては、各画素の大きさが水平方向、および、垂直方向についてそれぞれ 1であるものとする。

すなわち、参照画素抽出部 2 2 1 1は、注目画素を中心として垂直（上下）方向にそれぞれ 2画素の合計 5画素となるように、垂直方向に長い範囲の画素を参照画素として抽出する。

逆に、水平方向であると判定された場合、注目画素を中心として水平（左右）方向に 2画素の合計 5画素となるように、水平方向に長い範囲の画素を参照画素として抽出して、近似関数推定部 2 2 0 2に出力する。もちろん、参照画素は、上述のように 5画素に限定されるものではなく、それ以外の個数であってもよい _c ステップ S 2 2 2 6において、傾き推定部 2 2 1 2は、参照画素抽出部 2 2 1 1より入力された参照画素の情報と、定常性方向の傾き G_f に基づいて、それぞれの画素値のシフト量を演算する。すなわち、空間方向 Y=0に対応する近似関数 f(x)を基準とした場合、空間方向 Y =— 2，一1， 1， 2に対応する近似関数は、図 1 94で示されるように、定常性の傾き G_f に沿って連続していることになるので、各近似関数は、 f (x-Cx(2)), f (x-Cx(D), f (x-Cx(-l)), f (x —Cx (— 2))のように記述され、空間方向 Y =— 2, — 1， 1 , 2毎に、各シフト量分だけ空間方向 Xにずれた関数として表現される。

そこで、傾き推定部 2 2 1 2は、これらのシフト量 Cx (- 2) 乃至 Cx (2) を求める。例えば、参照画素が、図 1 94で示されるように抽出された場合、そのシフト量は、図中の参照画素（0, 2) は、 Cx(2) = 2ZG_f となり、参照画素（0, 1 ) は、 Cx( l) = 1/G_f となり、参照画素（0， 0) は、 Cx(0) = 0 となり、参照画素（0，一1) は、 Cx(_ l) =— 1/G_f となり、参照画素（0， - 2) は、 Cx(- 2) =- 2/G_f となる。

ステップ S 2 2 2 7において、傾き推定部 2 2 1 2は、注目画素の位置における近似関数 f(x)上の傾きを演算する（推定する）。例えば、図 1 9 4で示されるように、注目画素について定常性の方向が、垂直方向に近い角度の場合、水平方向に隣接する画素間では画素値が大きく異なり、垂直方向の画素間では、画素間の変化が小さく、変化が類似していることから、傾き推定部 2 2 1 2は、垂直方向の画素間の変化をシフト量による空間方向 Xの変化と捕らえることにより、垂直方向の画素間の差分を水平方向の画素間の差分に置き換えて、注目画素の位置における近似関数 f (X)上での傾きを求める。

すなわち、現実世界を近似的に記述する近似関数 f(x)が存在すると仮定すると、上述のシフト量と各参照画素の画素値との関係は、図 1 9 5で示されるようなものとなる。ここで、図 1 9 4の各画素の画素値は、上から？（0， 2) ' P (0, 1) ， P (0， 0) , P (0，一1 ) ， P (0, - 2) で表される。結果として、注目画素（0， 0) 近傍の画素値 Pとシフト量 Cxは、（P, C x) = (P (0, 2) , -Cx (2) ) , (Ρ (0 , 1) ， -Cx (1) ) ， (P (0，一 1) ) ， -Cx (- 1) ) , (Ρ (0， - 2) ， -Cx (一 2) ) ， (P (0, 0) ， 0) の 5組の関係が得られることになる。ところで、画素値 P、シフト量 Cx、および、傾き Kx (近似関数 f(x)上の傾き）は、以下のような式（98) のような関係が成立することになる。

c

• · · (98) 上述の式（98) は、変数 Kxについての 1変数の関数であるので、傾き推定部 22 1 2は、この変数 Kx (傾き）について、 1変数の最小自乗法により傾き Kxを求める。

すなわち、傾き推定部 22 1 2は、以下に示すような式（9 9) のような正規方程式を解くことにより、注目画素の傾きを求め、注目画素の画素値、および、定常性の方向の傾きの情報を付加して、実世界推定情報として画像生成部 1 03 に出力する。

K_v=

XI

• · · (99) ここで、 iは、上述の参照画素の画素値 Pとシフト量 Cの組をそれぞれ識別する番号であり、 1乃至 mである。また、 mは、注目画素を含む参照画素の個数となる。

ステップ S 222 9において、参照画素抽出部 22 1 1は、全ての画素を処理したか否かを判定し、全ての画素を処理していないと判定した場合、その処理は、ステップ S 2222に戻る。また、ステップ S 2 22 9において、全ての画素が処理されたと判定された場合、その処理は、終了する。

尚、上述の処理により実世界推定情報として出力される傾きは、最終的に求めようとする画素値を外揷補間して演算する際に使用される。また、以上の例においては、 2倍密度の画素を演算する際の傾きを例として説明してきたが、それ以上の密度の画素を演算する場合、画素値の演算に必要な、さらに多くの位置での傾きを求めるようにしてもよい。

例えば、図 1 9 0で示されるように、水平方向に 2倍の密度で、かつ、垂直方向に 2倍の密度の空間方向に合計 4倍の密度の画素を生成する場合、上述したように、図 1 9 0中の Pin, Pa, Pbのそれぞれの位置に対応する近似関数 f (x)の傾き K xを求めるようにすればよい。

また、以上の例については、倍密度の画素値を求める例について説明してきた 1 近似関数 f (x)は連続関数であるので、倍密度以外の位置の画素の画素値についても必要な傾きを求めることが可能となる。

以上によれば、注目画素近傍の画素の画素値を使用して、実世界を近似的に表現する近似関数を求めることなく、空間方向の画素の生成必要な位置の近似関数上の傾きを実世界推定情報として生成し、さらに出力することが可能となる。次に、図 1 9 6を参照して、定常性を有する領域における、画素毎のフレーム方向（時間方向）の近似関数上の微分値を実世界推定情報として出力する実世界推定部 1 0 2について説明する。

参照画素抽出部 2 2 3 1は、データ定常性検出部 1 0 1より入力されるデータ定常性情報（定常性の動き（動きベクトル）、および、領域の情報）に基づいて、入力画像の各画素が処理領域であるか否かを判定し、処理領域である場合には、入力画像の画素の画素値を近似する近似関数を求めるために必要な参照画素の情報（演算に必要な注目画素周辺の複数の画素の位置、および、画素値）を抽出して、近似関数推定部 2 2 0 2に出力する。

近似関数推定部 2 2 3 2は、参照画素抽出部 2 2 3 1より入力されたフレーム方向の参照画素の情報に基づいて注目画素周辺の各画素の画素値を近似的に記述する近似関数を最小自乗法に基づいて推定し、推定した関数を微分処理部 2 2 3 3に出力する。

微分処理部 2 2 3 3は、近似関数推定部 2 2 3 2より入力されたフレーム方向の近似関数に基づいて、データ定常性情報の動きに応じて、注目画素から生成しようとする画素の位置のフレーム方向のシフト量を求め、そのシフト量に応じたフレーム方向の近似関数上の位置における微分値（定常性に対応する線からの 1 次元方向に沿った距離に対応する各画素の画素値を近似する関数の微分値）を演算し、さらに、注目画素の位置、画素値、および、定常の動きの情報を付加して、これを実世界推定情報として画像生成部 1 0 3に出力する。

次に、図 1 9 7のフローチヤ一トを参照して、図 1 9 6の実世界推定部 1 0 2 による実世界推定の処理について説明する。

ステップ S 2 2 4 1において、参照画素抽出部 2 2 3 1は、入力画像と共に、データ定常性検出部 1 0 1よりデータ定常性情報としての動き、および、領域の情報を取得する。

ステップ S 2 2 4 2において、参照画素抽出部 2 2 3 1は、入力画像の未処理画素から注目画素を設定する。

ステップ S 2 2 4 3において、参照画像抽出部 2 2 3 1は、データ定常性情報の領域の情報に基づいて、注目画素が、処理領域のものであるか否かを判定し、処理領域の画素ではないと判定した場合、その処理は、ステップ S 2 2 5 0に進み、その注目画素については、処理領域外であることを近似関数推定部 2 2 3 2 を介して、微分処理部 2 2 3 3に伝え、これに応じて、微分処理部 2 2 3 3が、対応する注目画素についての微分値を 0として、さらに、その注目画素の画素値を付加して実世界推定情報として画像生成部 1 0 3に出力すると共に、その処理は、ステップ S 2 2 5 1に進む。また、注目画素が処理領域のものであると判定された場合、その処理は、ステップ S 2 2 4 4に進む。

ステップ S 2 2 4 4において、参照画素抽出部 2 2 3 1は、データ定常性情報に含まれる動きの情報から、データ定常性の有する方向が、空間方向に近い動き力 \ または、フレーム方向に近い動きであるか否かを判定する。すなわち、図 1 9 8で示されるように、フレーム方向 Tと空間方向 Yからなる面において、フレーム方向を基準軸とした、時間と空間の面内の方向を示す角度を θ Vとすれば、参照画素抽出部 2 2 0 1は、データ定常性の有する角度 θ Vが、 0度≤ 0 v < 45 度、または、 135度≤ 0 Vく 180度となる場合、注目画素の定常性の動きは、フレーム方向（時間方向）に近いと判定し、データ定常性の有する角度 0が、 45 度≤ 0 <135度となる場合、注目画素の定常性の方向は、空間方向に近'いと判定する。

ステップ S 2 24 5において、参照画素抽出部 2 2 0 1は、判定した方向に対応した参照画素の位置情報、および、画素値をそれぞれ入力画像から抽出し、近似関数推定部 2 2 3 2に出力する。すなわち、参照画素は、後述する近似関数を演算する際に使用さるデータとなるので、角度に応じて抽出されることが望ましい。従って、フレーム方向、または、空間方向のいずれかの判定方向に対応して、その方向に長い範囲の参照画素が抽出される。より具体的には、例えば、図 1 9 8で示されるように、動き方向 V_f が空間方向に近いと、空間方向であると判定され、この場合、参照画素抽出部 2 2 3 1は、例えば、図 1 9 8で示されるように、図 1 9 8中の中央の画素（t , y ) = (0， 0) を注目画素とするとき、画素（t， y) = (— 1， 2) ， (- 1 , 1) ，（— 1， 0) , (- 1 , - 1) ， (- 1 , - 2) ，（0， 2) ，（0, 1) ，（0， 0) ，（0 , - 1) ，（0，一 2) ，（1， 2) ，（1， 1) ，（1， 0) ，（1，一 1) , ( 1，一 2) のそれぞれの画素値を抽出する。尚、図 1 9 8においては、各画素のフレーム方向、および、空間方向の大きさが 1であるものとする。

すなわち、参照画素抽出部 2 2 3 1は、注目画素を中心として空間（図中の上下）方向にそれぞれ 2画素 Xフレーム（図中の左右）方向にそれぞれ 1フレーム分の合計 1 5画素となるように、フレーム方向に対して空間方向が長い範囲の画素を参照画素として抽出する。

逆に、フレーム方向であると判定された場合、注目画素を中心として空間（図中の上下）方向にそれぞれ 1画素 Xフレーム（図中の左右）方向にそれぞれ 2フレーム分の合計 1 5画素となるように、フレーム方向に長い範囲の画素を参照画素として抽出して、近似関数推定部 2 2 3 2に出力する。もちろん、参照画素は、上述のように 1 5画素に限定されるものではなく、それ以外の個数であってもよい。 2246において、近似関数推定部 22 32は、参照画素抽出部 2 231より入力された参照画素の情報に基づいて、最小自乗法により近似関数 f(t)を推定し、微分処理部 223 3に出力する。

すなわち、近似関数 f(t)は、以下の式（1 00) で示されるような多項式である。

- · · (1 00) このように、式（100) の多項式の各係数乃至 w_{n + 1}が求められれば、各参照画素の画素値を近似するフレーム方向の近似関数 f (t)が求められることになる。しかしながら、係数の数よりも多くの参照画素値が必要となるので、例えば、参照画素が、図 1 98で示されるような場合、合計 1 5画素であるので、多項式の係数は、 1 5個までしか求められない。そこで、この場合、多項式は、 14次までの多項式とし、係数乃至 W₁₅ を求めることにより近似関数を推定するものとする。尚、今の場合、 15次の多項式からなる近似関数 f(x)を設定して、連立方程式としてもよい。

従って、図 1 98で示される 1 5個の参照画素値を用いるとき、近似関数推定部 2232は、以下の式（10 1) を、最小自乗法を用いて解くことにより推定する。

P (一 1，一 2) =f (- 1 -Ct (一 2) )

P (— 1，一 1) =f (一 1一 Ct (一 1) )

P (— 1， 0) =f (一 1) (=f (一 1一 Ct (0) ) )

P (— 1， 1) =f (- 1 -ct (1) )

P (— 1， 2) =f (- 1一 Ct (2) )

P (0，一 2) =f (0 -Ct (― 2) ) .

P (0, - 1) =f (0 -Ct (- 1) )

P (0， 0) =f (0) ( = f (o -ct (0) ) ) P (0， 1) =f (0— Ct ( 1) )

P (0， 2) =f (0 -Ct (2) )

P ( 1 , - 2) =f ( 1 -Ct (一 2) )

P ( 1 , - 1 ) =f ( 1 -Ct (- 1) )

P (1， 0) =f (1 ) (=f ( 1一 Ct (0) ) )

P ( 1， 1) =f (1 -Ct ( 1) )

P ( 1 , 2) =f (1 -Ct (2) )

• ■ · ( 1 0 1) 尚、多項式の次数にあわせて、参照画素の数を変えるようにしてもよい。

ここで、 Ct(ty)は、シフト量であり、上述の Cx(ty)と同様のものであり、定常性の傾きが V_f で示されるとき、 Ct(ty)

で定義される。このシフト量 Ct(ty)は、空間方向 Y = 0の位置上で定義される近似関数 f(t)が、傾き V_f に沿って、連続している（定常性を有している）ことを前提としたとき、空間方向 Y=tyの位置における、フレーム方向 Tに対するずれ幅を示すものである。従つて、例えば、空間方向 Y = 0の位置上で近似関数が f(t)として定義されている場合、この近似関数 f(t)は、空間方向 Y=tyにおいては、フレーム方向（時間方向） Tについて Ct(ty)だけずれているはずなので、関数は、 f (t一 Ct(ty)) (=f (t-ty/V_f)) で定義されることになる。

ステップ S 2 24 7において、微分処理部 2 2 3 3は、近似関数推定部 2 2 3 2より入力された近似関数 f(t)に基づいて、生成しょうとする画素の位置における、シフト量を求める。

すなわち、フレーム方向、および、空間方向にそれぞれ 2倍の密度（合計 4倍の密度）となるように画素を生成する場合、微分処理部 2 2'3 3は、例えば、まず、空間方向に 2倍の密度となる画素 Pat, Pbtに 2分割するために、図 1 9 9 で示されるように、注目画素の中心位置が Pin (Tin, Yin) での微分値を求めるため、中心位置の Pin (Tin, Yin) のシフト量を求める。このシフト量は、 Ct(0)となるため、実質的には◦となる。尚、図 1 9 9中において、画素 Pinは、 W

223

(Tin, Yin) を略重心位置とする正方形であり、画素 Pat， Pbtは、（Tin, Yin+0. 25) 、 (Tin, Yin— 0. 25) をそれぞれ略重心位置とする図中水平方向に長い長方形である。また、注目画素 Pinのフレーム方向 Tの長さが 1であるとは、 1フレーム分のシャッタ時間に対応するものである。

ステップ S 2 2 4 8において、微分処理部 2 2 3 3は、近似関数 f (t)を微分して、近似関数の 1次微分関数 f (t) 'を求め、求められたシフト量に応じた位置での微分値を求めて、これを実世界推定情報として画像生成部 1 0 3に出力する。すなわち、今の場合、微分処理部 2 2 3 3は、微分値 f (Tin) 'を求め、その位置 (今め場合、注目画素（Tin, Yin) ) と、その画素値、および、定常性の方向の動きの情報とを付加して出力する。

ステップ S 2 2 4 9において、微分処理部 2 2 3 3は、求められている密度の画素を生成するのに必要なだけの微分値が求められているか否かを判定する。例えば、今の場合、空間方向に 2倍の密度となるための微分値のみしか求められていない（フレーム方向に 2倍の密度となるための微分値が求められていない）ので、求められている密度の画素を生成するのに必要なだけの微分値が求められていないと判定し、その処理は、ステップ S 2 2 4 7に戻る。

ステップ S 2 2 4 7において、微分処理部 2 2 0 3は、再度、近似関数推定部 2 2 0 2より入力された近似関数 f (t)に基づいて、生成しょうとする画素の位置における、シフト量を求める。すなわち、微分処理部 2 2 0 3は、今の場合、 2分割された画素 Pat , Pbtのそれぞれをさらに 2分割するために必要な微分値をそれぞれ求める。画素 Pat， Pbtの画素の位置は、図 1 9 9における黒丸で示すそれぞれの位置であるので、微分処理部 2 2 3 3は、それぞれの位置に対応するシフト量を求める。画素 Pat , Pbtのシフト量は、それぞれ Ct (0. 25) ， Ct ( - 0. 25)となる。

ステップ S 2 2 4 8において、微分処理部 2 2 3 3は、近似関数 f (t)を微分して、画素 Pat , Pbtのそれぞれに対応したシフト量に応じた位置での微分値を求めて、これを実世界推定情報として画像生成部 1 0 3に出力する。すなわち、図 1 9 8で示した参照画素を使用する場合、微分処理部 2 2 3 3は、図 2 0 0で示すように、求められた近似関数 f (t)について微分関数 f (t) 'を求め、空間方向 Tについて、シフト量 Ct (0. 25) , Ct (— 0. 25)だけずれた位置となる（Tin— Ct (0. 25) ) と（Tin— Ct (一 0. 25) ) の位置での微分値をそれぞれ f (Tin-Ct (0. 25) ) ' , f (Tin— Ct (— 0. 25) ) 'として求め、その微分値に対応する位置情報を付加して、これを実世界推定情報として出力する。尚、最初の処理で画素値の情報が出力されているので画素値の情報は付加されない。ステップ S 2 2 4 9において、再ぴ、微分処理部 2 2 3 3は、求められている密度の画素を生成するのに必要なだけの微分値が求められているか否かを判定する。例えば、今の場合、空間方向 Yとフレーム方向 Tについてそれぞれ 2倍（合計 4倍）の密度となるための微分値が求められたことになるので、求められている密度の画素を生成するのに必要なだけの微分値が求められたと判定し、その処理は、ステップ S 2 2 5 1に進む。

ステップ S 2 2 5 1において、参照画素抽出部 2 2 3 1は、全ての画素を処理したか否かを判定し、全ての画素を処理していないと判定した場合、その処理は、ステップ S 2 2 4 2に戻る。また、ステップ S 2 2 5 1において、全ての画素を処理したと判定した場合、その処理は、終了する。

上述のように、入力画像について、フレーム方向（時間方向）、および、空間方向に 4倍の密度となるように画素を生成する場合、画素は、分割される画素の中央の位置の近似関数の微分値を用いて、外揷補間により分割されるので、 4倍密度の画素を生成するには、合計 3個の微分値の情報が必要となる。

すなわち、図 1 9 9で示されるように、 1画素について最終的には、画素 P O l t， P 0 2 t , P 0 3 t , P 0 4 tの 4画素（図 1 9 9において、画素 P 0 1 t， P 0 2 t , P 0 3 t , P 0 4 tは、図中の 4個のバッ印の位置を重心位置とする正方形であり、各辺の長さは、画素 Pinが、それぞれ 1であるので、画素 P 0 1 t , P 0 2 t， P 0 3 t , P 0 4 tは、それぞれ略 0 . 5となる）の生成に必要な微分値が必要となるので、 4倍密度の画素を生成するには、まず、フレーム方向、または、空間方向に 2倍密度の画素を生成し（上述の最初のステップ S 2 2 4 7 , S 2 2 4 8の処理）、さらに、分割された 2画素を、それぞれ最初に分割した方向と垂直の方向（今の場合、フレーム方向）に分割する（上述の 2 回目のステップ S 2 2 4 7 , S 2 2 4 8の処理）ためである。

尚、以上の例においては、 4倍密度の画素を演算する際の微分値を例として説明してきたが、それ以上の密度の画素を演算する場合、ステップ S 2 2 4 7乃至 S 2 2 4 9の処理を繰り返すことにより、画素値の演算に必要なさらに多くの微分値を求めるようにしてもよい。また、以上の例については、倍密度の画素値を求める例について説明してきたが、近似関数 f (t)は連続関数であるので、倍密度以外の画素値についても必要な微分値を求めることが可能となる。

以上によれば、注目画素近傍の画素の画素値を使用して、各画素の画素値を近似的に表現する近似関数を求め、画素の生成必要な位置の微分値を実世界推定情報として出力することが可能となる。

以上の図 1 9 6において説明した実世界推定部 1 0 2においては、画像を生成するのに必要な微分値を実世界推定情報として出力していたが、微分値とは、必要な位置での近似関数 f (t)の傾きと同値のものである。

そこで、次は、図 2 0 1を参照して、近似関数を求めることなく、画素生成に必要な、近似関数上のフレーム方向の傾きのみを直接求めて、実世界推定情報として出力する実世界推定部 1 0 2について説明する。

参照画素抽出部 2 2 5 1は、データ定常性検出部 1 0 1より入力されるデータ定常性情報（定常性の動き、および、領域の情報）に基づいて、入力画像の各画素が処理領域であるか否かを判定し、処理領域である場合には、入力画像から傾きを求めるために必要な参照画素の情報（演算に必要な注目画素を含む空間方向に並ぶ周辺の複数の画素、または、注目画素を含むフレーム方向に並ぶ周辺の複数の画素の位置、および、それぞれの画素値の情報）を抽出して、傾き推定部 2 2 5 2に出力する。

傾き推定部 2 2 5 2は、参照画素抽出部 2 2 5 1より入力された参照画素の情報に基づいて、画素生成に必要な画素位置の傾きの情報を生成して、実世界推定情報として画像生成部 1 0 3に出力する。より詳細には、傾き推定部 2 2 5 2は、画素間の画素値の差分情報を用いて、各参照画素の画素値を近似的に表現する近似関数上の注目画素の位置におけるフレーム方向の傾きを求め、これに、注目画素の位置情報、画素値、および、定常性の方向の動きの情報を実世界推定情報として出力する。

次に、図 2 0 2のフローチャートを参照して、図 2 0 1の実世界推定部 1 0 2 による実世界推定の処理について説明する。

ステップ S 2 2 6 1において、参照画素抽出部 2 2 5 1は、入力画像と共に、データ定常性検出部 1 0 1よりデータ定常性情報としての動き、および、領域の情報を取得する。

ステップ S 2 2 6 2において、参照画素抽出部 2 2 5 1は、入力画像の未処理画素から注目画素を設定する。

ステップ S 2 2 6 3において、参照画像抽出部 2 2 5 1は、データ定常性情報の領域の情報に基づいて、注目画素が、処理領域のものであるか否かを判定し、処理領域の画素ではないと判定した場合、その処理は、ステップ S 2 2 6 8に進み、その注目画素については、処理領域外であることを傾き推定部 2 2 5 2に伝え、これに応じて、傾き推定部 2 2 5 2が、対応する注目画素についての傾きを 0として、さらに、その注目画素の画素値を付加して実世界推定情報として画像生成部 1 0 3に出力すると共に、その処理は、ステップ S 2 2 6 9に進む。また、注目画素が処理領域のものであると判定された場合、その処理は、ステップ S 2 2 6 4に進む。

ステップ S 2 2 6 4において、参照画素抽出部 2 2 1 1は、データ定常性情報に含まれる動きの情報から、データ定常性の動きが、フレーム方向に近い動き力、または、空間方向に近い動きであるか否かを判定する。すなわち、フレーム方向 Tと空間方向 Yからなる面において、フレーム方向を基準軸とした、時間と空間の面内の方向を示す角度を 0 Vとすれば、参照画素抽出部 2 2 5 1は、データ定常性の動きの角度 θ Vが、 0度 ^ θ ν < 45度、または、 135度≤ θ Vく 180度となる場合、注目画素の定常性の動きは、フレーム方向に近いと判定し、データ定常性の有する角度 0 νが、 4δ度≤ θ ν < 135度となる場合、注目画素の定常性の動きは、空間方向に近いと判定する。

ステップ S 2 2 6 5において、参照画素抽出部 2 2 5 1は、判定した方向に対応した参照画素の位置情報、および、画素値をそれぞれ入力画像から抽出し、傾き推定部 2 2 5 2に出力する。すなわち、参照画素は、後述する傾きを演算する際に使用されるデータとなるので、定常性の動きに応じて抽出されることが望ましい。従って、フレーム方向、または、空間方向のいずれかの判定方向に対応して、その方向に長い範囲の参照画素が抽出される。より具体的には、例えば、動きが空間方向に近いと判定された場合、参照画素抽出部 2 2 5 1は、図 2 0 3で示されるように、図 2 0 3中の中央の画素（t , y ) = ( 0， 0 ) を注目画素とするとき、画素（t， y ) = ( 0， 2 ) , ( 0 , 1 ) , ( 0， 0 ) , ( 0， - 1 ) ，（0， _ 2 ) のそれぞれの画素値を抽出する。尚、図 2 0 3においては、各画素の大きさがフレーム方向、および、空間方向についてそれぞれ 1であるものとする。

すなわち、参照画素抽出部 2 2 5 1は、注目画素を中心として空間（図中の上下）方向にそれぞれ 2画素の合計 5画素となるように、空間方向に長い範囲の画素を参照画素として抽出する。

逆に、フレーム方向であると判定された場合、注目画素を中心としてフレーム (図中の左右）方向に 2画素の合計 5画素となるように、水平方向に長い範囲の画素を参照画素として抽出して、近似関数推定部 2 2 5 2に出力する。もちろん、参照画素は、上述のように 5画素に限定されるものではなく、それ以外の個数であってもよい。

ステップ S 2 2 6 6において、傾き推定部 2 2 5 2は、参照画素抽出部 2 2 5 1より入力された参照画素の情報と、定常性方向の動き V_f の方向に基づいて、それぞれの画素値のシフト量を演算する。すなわち、空間方向 Y=0に対応する近似関数 f(t) ^基準とした場合、空間方向 2，一 1， 1， 2に対応する近似関数は、図 2 0 3で示されるように、定常性の傾き V_f に沿って連続していることになるので、各近似関数は、 f(t— Ct(2))， f (t-Ct(l)), f (t-Ct (- 1))， f (t— Ct (一 2))のように記述され、空間方向 Y =— 2，一 1， 1 , 2毎に、各シフト量分だけフレーム方向 Τにずれた関数として表現される。

そこで、傾き推定部 2 2 5 2は、これらのシフト量 Ct (- 2) 乃至 Ct (2) を求める。例えば、参照画素が、図 2 0 3で示されるように抽出された場合、そのシフト量は、図中の参照画素（0， 2) は、 Ct(2) = 2ZV_f となり、参照画素（0 , 1 ) は、 Ct( l) = l/V_f となり、参照画素（0， 0) は、 Ct(0) = 0 となり、参照画素（0，一 1 ) は、 Ct(- 1) = - 1 /V_f となり、参照画素（0，一 2) は、 Ct (一 2) =— 2/V_f となる。傾き推定部 2 2 5 2ほ、これらのシフト量 Ct (- 2) 乃至 Ct (2) を求める。

ステップ S 2 2 6 7において、傾き推定部 2 2 5 2は、注目画素のフレーム方向の傾きを演算する（推定する）。例えば、図 2 0 3で示されるように、注目画素について定常性の方向が、空間方向に近い角度の場合、フレーム方向に隣接する画素間では画素値が大きく異なるので、空間方向の画素間では、画素間の変化が小さく、変化が類似していることから、傾き推定部 2 2 5 2は、空間方向の画素間の変化をシフト量によるフレーム方向 Tの変化と捕らえることにより、空間方向の画素間の差分をフレーム方向の画素間の差分に置き換えて、注目画素での傾きを求める。

すなわち、現実世界を近似的に記述する関数 f(t)が存在すると仮定すると、上述のシフト量と各参照画素の画素値との関係は、図 20 4で示されるようなものとなる。ここで、図 2 0 4の各画素の画素値は、上から P (0， 2) ， P (0，

1) ， P (0, 0) ， P (0，一 1) ， P (0, 一 2) で表される。結果として、注目画素（0, 0) 近傍の画素値 P とシフト量 Ct は、（P， Ct) = (P (0，

2) , 一 Ct (2) ) , (P (0, 1) ， -Ct ( 1) ) , (P (0，一 1) ) ，一 Ct (一 1) ) ， (P (0 , — 2) ，一 Ct (- 2) ) ， (P (0， 0) , 0) の 5組の関係が得られることになる。

ところで、画素値 P、シフト量 C t、および、傾き K t (近似関数 f(t)上の傾き）は、以下のような式（10 2) のような関係が成立することになる。

P = K t X c t

• · · (10 2) 上述の式（1 02) は、変数 K tについての 1変数の関数であるので、傾き推定部 22 1 2は、この変数 K t (傾き）について、 1変数の最小自乗法により傾き K tを求める。

すなわち、傾き推定部 2252は、以下に示すような式（1 03) のような正規方程式を解くことにより、注目画素の傾きを求め、注目画素の画素値、および、定常性の方向の傾きの情報を付加して、実世界推定情報として画像生成部 103 に出力する。

一

• · · (103) ここで、 iは、上述の参照画素の画素値 Pとシフト量 C tの組をそれぞれ識別する番号であり、 1乃至 mである。また、 mは、注目画素を含む参照画素の個数となる。

ステップ S 226 9において、参照画素抽出部 225 1は、全ての画素を処理したか否かを判定し、全ての画素を処理していないと判定した場合、その処理は、ステップ S 2262に戻る。また、ステップ S 226 9において、全ての画素が処理されたと判定された場合、その処理は、終了する。

尚、上述の処理により実世界推定情報として出力されるフレーム方向の傾きは、最終的に求めようとする画素値を外揷捕間して演算する際に使用される。また、以上の例においては、 2倍密度の画素を演算する際の傾きを例として説明してきたが、それ以上の密度の画素を演算する場合、画素値の演算に必要な、さらに多くの位置での傾きを求めるようにしてもよい。

例えば、図 1 9 0で示されるように、水平方向に 2倍の密度で、かつ、フレーム方向に 2倍の密度の時空間方向に合計 4倍の密度の画素を生成する場合、上述したように、図 1 9 0中の Pin, Pat , Pbtのそれぞれの位置に対応する近似関数 f (t)の傾き K tを求めるようにすればよい。

また、以上の例については、倍密度の画素値を求める例について説明してきた力近似関数: f (t)は連続関数であるので、倍密度以外の位置の画素の画素値についても必要な傾きを求めることが可能となる。

言うまでもなく、フレーム方向、または、空間方向に対する近似関数上の傾き、または、微分値を求める処理の順序は問わない。さらに、空間方向において、上述の例においては、空間方向 Yとフレーム方向 Tとの関係を用いて、説明してきたが、空間方向 Xとフレーム方向 τとの関係を用いたものであってもよい。さらに、時空間方向のいずれか 2次元の関係から（いずれから 1次元の方向の）傾き、または、微分値を選択的に求めるようにしてもよい。

以上によれば、注目画素近傍の画素の画素値を使用して、実世界を近似的に表現するフレーム方向の近似関数を求めることなく、画素の生成必要な位置のフレーム方向（時間方向）の近似関数上の傾きを実世界推定情報として生成し、さらに出力することが可能となる。

次に、図 2 0 5乃至図 2 3 5を参照して、実世界推定部 1 0 2 (図 3 ) の実施の形態の他の例について説明する。

図 2 0 5は、この例の実施の形態の原理を説明する図である。

図 2 0 5で示されるように、センサ 2に入射される画像である、実世界 1の信号（光の強度の分布）は、所定の関数 Fで表される。なお、以下、この例の実施の形態の説明においては、画像である、実世界 1の信号を、特に光信号と称し、関数 Fを、特に光信号関数 Fと称する。

この例の実施の形態においては、光信号関数 Fで表される実世界 1の光信号が所定の定常性を有する場合、実世界推定部 1 0 2が、センサ 2からの入力画像 (定常性に対応するデータの定常性を含む画像データ）と、データ定常性検出部 1 0 1からのデータ定常性情報（入力画像のデータの定常性に対応するデータ定常性情報）を使用して、光信号関数 Fを所定の関数 ίで近似することによって、光信号関数 Fを推定する。なお、以下、この例の実施の形態の説明においては、関数 ίを、特に近似関数: f と称する。

換言すると、この例の実施の形態においては、実世界推定部 1 0 2が、近似関数 f で表されるモデル 1 6 1 (図 7 ) を用いて、光信号関数 Fで表される画像 (実世界 1の光信号）を近似（記述）する。従って、以下、この例の実施の形態を、関数近似手法と称する。

ここで、関数近似手法の具体的な説明に入る前に、本願出願人が関数近似手法を発明するに至った背景について説明する。

図 2 0 6は、センサ 2が C C Dとされる場合の積分効果を説明する図である。図 2 0 6で示されるように、センサ 2の平面上には、複数の検出素子 2— 1が配置されている。

図 2 0 6の例では、検出素子 2— 1の所定の 1辺に平行な方向が、空間方向の 1方向である X方向とされており、 X方向に垂直な方向が、空間方向の他方向である Y方向とされている。そして、 X— Y平面に垂直な方向が、時間方向である t方向とされている。

また、図 2 0 6の例では、センサ 2の各検出素子 2— 1のそれぞれの空間的な形状は、 1辺の長さが 1の正方形とされている。そして、センサ 2のシャツタ時間（露光時間）が 1とされている。

さらに、図 2 0 6の例では、センサ 2の所定の 1つの検出素子 2— 1の中心が、空間方向（X方向と Y方向）の原点（X方向の位置 x == 0、および Y方向の位置 y = 0 ) とされており、また、露光時間の中間時刻が、時間方向（t方向）の原点（1方向の位置 == 0 ) とされている。

この場合、空間方向の原点（x = 0 , y = 0 ) にその中心が存在する検出素子 2— 1は、 X方向に- 0. 5乃至 0. 5の範囲、 Y方向に- 0. 5乃至 0. 5の範囲、および t方向に- 0. 5乃至 0. 5の範囲で光信号関数 F (x，y，t)を積分し、その積分値を画素値 Pとして出力することになる。

即ち、空間方向の原点にその中心が存在する検出素子 2 _ 1から出力される画素値 Pは、次の式（1 0 4 ) で表される。

X ++00.. 55 广广 ++00.. 55 f _Γ ++00.. 55 , 、

-0. 5 J -0. 5 J -0. 5

• · ■ ( 1 0 4 ) その他の検出素子 2— 1も同様に、対象とする検出素子 2— 1の中心を空間方向の原点とすることで、式（1 0 4 ) で示される画素値 Pを出力することになる。図 2 0 7は、センサ 2の積分効果の具体的な例を説明する図である。

図 2 0 7において、 X方向と Y方向は、センサ 2の X方向と Y方向（図 2 0 6 ) を表している。

実世界 1の光信号のうちの 1部分（以下、このような部分を、領域と称する） 2 3 0 1は、所定の定常性を有する領域の一例を表している。

なお、実際には、領域 2 3 0 1は連続した光信号の 1部分（連続した領域）である。これに対して、図 2 0 7においては、領域 2 3 0 1は、 2 0個の小領域

(正方形の領域）に区分されているように示されている。これは、領域 2 3 0 1 の大きさが、 X方向に対して 4個分、かつ Y方向に対して 5個分のセンサ 2の検出素子（画素）が並んだ大きさに相当することを表すためである。即ち、領域 2 3 0 1内の 2 0個の小領域（仮想領域）のそれぞれは 1つの画素に相当する。また、領域 2 3 0 1のうちの図中白い部分は細線に対応する光信号を表している。従って、領域 2 3 0 1は、細線が続く方向に定常性を有していることになる。そこで、以下、領域 2 3 0 1を、細線含有実世界領域 2 3 0 1と称する。

この場合、細線含有実世界領域 2 3 0 1 (実世界 1の光信号の 1部分）がセンサ 2により検出されると、センサ 2からは、積分効果により、入力画像（画素値）の領域 2 3 0 2 (以下、細線含有データ領域 2 3 0 2と称する）が出力される。

なお、細線含有データ領域 2 3 0 2の各画素のそれぞれは、図中、画像として示されているが、実際には、所定の 1つの値を表すデータである。即ち、細線含有実世界領域 2 3 0 1は、センサ²の積分効果により、所定の 1つの画素値をそれぞれ有する 2 0個の画素（X方向に 4画素分、かつ Y方向に 5画素分の総計 2 0個の画素）に区分された細線含有データ領域 2 3 0 2に変化してしまう（歪んでしまう）。

図 2 0 8は、センサ 2の積分効果の具体的な他の例（図 2 0 7とは異なる例）を説明する図である。

図 2 0 8において、 X方向と Y方向は、センサ 2の X方向と Y方向（図 2 0 6 ) を表している。

実世界 1の光信号の 1部分（領域） 2 3 0 3は、所定の定常性を有する領域の他の例（図 2 0 7の細線含有実世界領域 2 3 0 1とは異なる例）を表している。なお、領域 2 3 0 3は、細線含有実世界領域 2 3 0 1と同じ大きさを有する領域である。即ち、細線含有実世界領域 2 3 0 1と同様に、領域 2 3 0 3も、実際には連続した実世界 1の光信号の 1部分（連続した領域）であるが、図 2 0 8においては、センサ 2の 1画素に相当する 2 0個の小領域（正方形の領域）に区分されているように示されている。

また、領域 2 3 0 3は、所定の第 1の光の強度（値）を有する第 1の部分と、所定の第 2の光の強度（値）を有する第 2の部分のエッジを含んでいる。従って、領域 2 3 0 3は、エッジが続く方向に定常性を有していることになる。そこで、以下、領域 2 3 0 3を、 2値エッジ含有実世界領域 2 3 0 3と称する。

この場合、 2値エッジ含有実世界領域 2 3 0 3 (実世界 1の光信号の 1部分）がセンサ 2により検出されると、センサ 2からは、積分効果により、入力画像 (画素値）の領域 2 3 0 4 (以下、 2値エッジ含有データ領域 2 3 0 4と称する）が出力される。

なお、 2値ェッジ含有データ領域 2 3 0 4の各画素値のそれぞれは、細線含有データ領域 2 3 0 2と同様に、図中、画像として表現されているが、実際には、所定の値を表すデータである。即ち、 2値エッジ含有実世界領域 2 3 0 3は、センサ 2の積分効果により、所定の 1つの画素値をそれぞれ有する 2 0個の画素 ( X方向に 4画素分、かつ Y方向に 5画素分の総計 2 0個の画素）に区分された 2値エッジ含有データ領域 2 3 0 4に変化してしまう（歪んでしまう）。

従来の画像処理装置は、このような細線含有データ領域 2 3 0 2や 2値エッジ含有データ領域 2 3 0 4等、センサ 2から出力された画像データを原点（基準）とするとともに、画像データを処理の対象として、それ以降の画像処理を行っていた。即ち、センサ 2から出力された画像データは、積分効果により実世界 1の光信号とは異なるもの（歪んだもの）となっているにも関わらず、従来の画像処理装置は、その実世界 1の光信号とは異なるデータを正として画像処理を行っていた。

その結果、従来の画像処理装置では、センサ 2から出力された段階で、実世界のディテールがつぶれてしまった波形（画像データ）を基準として、その波形から、元のディテールを復元することは非常に困難であるという課題があった。そこで、関数近似手法においては、この課題を解決するために、上述したように（図 2 0 5で示されるように）、実世界推定部 1 0 2が、細線含有データ領域 2 3 0 2や 2値エッジ含有データ領域 2 3 0 4のようなセンサ 2から出力された画像データ（入力画像）から、光信号関数 F (実世界 1の光信号）を近似関数 f で近似することによって、光信号関数 Fを推定する。

これにより、実世界推定部 1 0 2より後段において（いまの場合、図 3の画像生成部 1 0 3 ) 、積分効果が考慮された画像データ、即ち、近似関数 f により表現可能な画像データを原点として、その処理を実行することが可能になる。以下、図面を参照して、このような関数近似手法のうちの 3つの具体的な手法 (第 1乃至第 3の関数近似手法）のそれぞれについて個別に説明していく。はじめに、図 2 0 9乃至図 2 2 3を参照して、第 1の関数近似手法について説明する。 T/JP2004/001488

235

図 2 0 9は、上述した図 2 0 7で示される細線含有実世界領域 2 3 0 1を再度表した図である。

図 2 0 9において、 X方向と Y方向は、センサ 2の X方向と Y方向（図 2 0 6) を表している。

第 1の関数近似手法は、例えば、図 20 9で示されるような細線含有実世界領域 2 3 0 1に対応する光信号関数 F(x,y,t)を X方向（図中矢印 2 3 1 1の方向）に射影した 1次元の波形（以下、このような波形を、 X断面波形 F(x)と称する）を、 n次（nは、任意の整数）の多項式である近似関数 f(x)で近似する手法である。従って、以下、第 1の関数近似手法を、特に、 1次元多項式近似手法と称する。

なお、 1次元多項式近似手法において、近似の対象となる X断面波形 F(x)は、勿論、図 2 0 9の細線含有実世界領域 2 3 0 1に対応するものに限定されない。即ち、後述するように、 1次元多項式近似手法においては、定常性を有する実世界 1の光信号に対応する X断面波形 F(x)であれば、いずれのものでも近似することが可能である。

また、光信号関数 F(x,y， t)の射影の方向は X方向に限定されず、 Y方向または t方向でもよい。即ち、 1次元多項式近似手法においては、光信号関数

F(x, y, t)を Y方向に射影した関数 F(y)を、所定の近似関数 f (y)で近似することも可能であるし、光信号関数 F(x，y, t)を t方向に射影した関数 F(t)を、所定の近似関数 f (t)で近似することも可能である。

より詳細には、 1次元多項式近似手法は、例えば、 X断面波形 F(x)を、次の式（1 0 5) で示されるような、 n次の多項式である近似関数 f(x)で近似する手法である。

π .

f (X) = W₀+W₁X+W₂X+- " '+W_nXⁿ = ∑ jX¹

i=0

· · · ( 1 0 5) 即ち、 1次元多項式近似手法においては、実世界推定部 1 0 2が、式（1 0 5 ) の T i の係数（特徴量） _Wi を演算することで、 X断面波形 F (x)を推定する。この特徴量 Wi の演算方法は、特に限定されず、例えば、次の第 1乃至第 3の方法が使用可能である。

即ち、第 1の方法は、従来から利用されている方法である。

これに対して、第 2の方法は、本願出願人が新たに発明した方法であって、第 1の方法に対して、さらに、空間方向の定常性を考慮した方法である。

しかしながら、後述するように、第 1の方法と第 2の方法においては、センサ 2の積分効果が考慮されていない。従って、第 1の方法または第 2の方法により演算された特徴量^ を上述した式（1 0 5 ) に代入して得られる近似関数 f (x) は、入力画像の近似関数ではあるが、厳密には、 X断面波形 F (x)の近似関数とは言えない。

そこで、本願出願人は、第 2の方法に対して、センサ 2の積分効果をさらに考慮して特徴量を演算する第 3の方法を発明した。この第 3の方法により演算された特徴量 _Wi を、上述した式（1 0 5 ) に代入して得られる近似関数 f (x)は、センサ 2の積分効果を考慮している点で、 X断面波形 F (X)の近似関数であると言る。

このように、厳密には、第 1の方法と第 2の方法は、 1次元多項式近似手法とは言えず、第 3の方法のみが 1次元多項式近似手法であると言える。

換言すると、図 2 1 0で示されるように、第 2の方法は、 1次元多項式近似手法とは異なる、本発明の実世界推定部 1 0 2の実施の形態である。即ち、図 2 1 0は、第 2の方法に対応する実施の形態の原理を説明する図である。

図 2 1 0で示されるように、第 2の方法に対応する実施の形態においては、光信号関数 Fで表される実世界 1の光信号が所定の定常性を有する場合、実世界推定部 1 0 2が、センサ 2からの入力画像（定常性に対応するデータの定常性を含む画像データ）と、データ定常性検出部 1 0 1からのデータ定常性情報（入力画像のデータの定常性に対応するデータ定常性情報）を使用して、 X断面波形

F (x)を近似するのではなく、センサ 2からの入力画像を所定の近似関数 f₂ (x)で近似する。

このように、第 2の方法は、センサ 2の積分効果を考慮せず、入力画像の近似に留まっている点で、第 3の方法と同一レベルの手法であるとは言い難い。しかしながら、第 2の方法は、空間方向の定常性を考慮している点で、従来の第 1の方法よりも優れた手法である。

以下、第 1の方法、第 2の方法、および第 3の方法のそれぞれの詳細について、その順番で個別に説明していく。

なお、以下、第 1の方法、第 2の方法、および第 3の方法により生成される近似関数 f(x)のそれぞれを、他の方法のものと区別する場合、特に、近似関数 f _x (x) , 近似関数 f₂ (x)、および近似関数 f₃ (x)とそれぞれ称する。

はじめに、第 1の方法の詳細について説明する。

第 1の方法においては、上述した式（105) で示される近似関数 ^ (X)が、図 21 1の細線含有実世界領域 2301内で成り立つとして、次の予測方程式 (106) を定義する。

P(x, y = ) +e

• · · (106) 式（106) において、 Xは、注目画素からの X方向に対する相対的な画素位置を表している。 yは、注目画素からの Y方向に対する相対的な画素位置を表している。 eは、誤差を表している。具体的には、例えば、いま、図 21 1で示されるように、注目画素が、細線含有データ領域 2302 (細線含有実世界領域 2 301 (図 209) がセンサ 2により検出されて、出力されたデータ）のうちの、図中、左から X方向に 2画素目であって、下から Y方向に 3画素目の画素であるとする。また、注目画素の中心を原点（0,0)とし、センサ 2の X方向と Y方向 (図 206) のそれぞれに平行な X軸と y軸を軸とする座標系（以下、注目画素座標系と称する）が設定されているとする。この場合、注目画素座標系の座標値（x,y)が、相対画素位置を表すことになる。

また、式（106) において、 P(x，y)は、相対画素位置（x，y)における画素値を表している。具体的には、いまの場合、細線含有データ領域 2302内の P(x，y)は、図 2 1 2で示されるようになる。

図 2 1 2は、この画素値 P(x,y)をグラフ化したものを表している。

図 2 1 2において、各グラフのそれぞれの縦軸は、画素値を表しており、横軸は、注目画素からの X方向の相対位置 Xを表している。また、図中、上から 1 番目のグラフの点線は入力画素値 P ( , -2)を、上から 2番目のグラフの 3点鎖線は入力画素値 P(x, -1)を、上から 3番目のグラフの実線は入力画素値 P(x，0)を、上から 4番目のグラフの 1点鎖線は入力画素値 P(x，l)を、上から 5番目（下から 1番目）のグラフの 2点鎖線は入力画素値 P(x,2)を、それぞれ表している。上述した式（106) に対して、図 21 2で示される 20個の入力画素値 P ( , -2) , P (x, -1) , P (x, 0) , P (x, 1) , P (x, 2) (ただし、 xは、一 1乃至 2のうちのいずれかの整数値）のそれぞれを代入すると、次の式（1 07) で示される 20 個の方程式が生成される。なお、 e_k (kは、 1乃至 20のうちのいずれかの整数値）のそれぞれは、誤差を表している。

TJP2004/001488

239

P(-1,-2) = 一 D+e,

P(0,—2) = 0) +e₂

P(1,-2) = 1) +e₃

P(2， -2) = f 2) +e₄

P(-1,-1) = 一 1)+e₅

P(0,-1) = 0) +e₆

P(1,-1) = f 1) +e₇

P(2， -1) = f 2) +e₈

P(-1,0) = -D+e₉

P(0,0) = f 0) +e₁₀

P(1，0) =

P(2,0) = 2) +e₁₂

P(-1,1) = f -D+e₁₃

P(0，1) = f 0) +e₁₄

P(1,1) = f 1) +e₁₅

P(2, 1) = f 2) +e₁₆

P(-1,2) = -1)+e₁₇

P(0，2) = 0) +e₁₈

P(1,2) =f D+e₁₉

P(2，2) 2) +e₂₀

• · · (10 7) 式（107) は、 20個の方程式より構成されているので、近似関数（X)の特徴量 Wi の個数が 20個より少ない場合、即ち、近似関数）が 1 9次より少ない次数の多項式である場合、例えば、最小自乗法を用いて特徴量 ^ の算出が可能である。なお、最小自乗法の具体的な解法は後述する。

例えば、いま、近似関数）の次数が 5次とされた場合、式（107) を利用して最小自乗法により演算された近似関数（X) (演算された特徴量^ により生成される近似関数（X) ) は、図 21 3で示される曲線のようになる。なお、図 21 3において、縦軸は画素値を表しており、横軸は注目画素からの相対位置 Xを表している。

即ち、図 21 1の細線含有データ領域 2 302を構成する 20個の画素値 P(x, y)のそれぞれ（図 2 1 2で示される入力画素値 P(x，- 2)，P(x，- l)，P(x, 0)，P(x， l),P(x，2)のそれぞれ) を、例えば、 x軸に沿つてそのまま足しこむ（Y方向の相対位置 yを一定とみなして、図 2 1 2で示される 5つのグラフを重ねる）と、図 2 1 3で示されるような、 X軸に平行な複数の線（点線、 3点鎖線、実線、 1点鎖線、および 2点鎖線）が分布する。

ただし、図 2 1 3においては、点線は入力画素値 P(x，- 2)を、 3点鎖線は入力画素値 P(x，- 1)を、実線は入力画素値 P(x，0)を、 1点鎖線は入力画素値 P(x, 1) を、 2点鎖線は入力画素値 P(x， 2)を、それぞれ表している。また、同一の画素値の場合、実際には 2本以上の線が重なることになるが、図 2 1 3においては、各線の区別がつくように、各線のそれぞれが重ならないように描画されている。そして、このように分布した 2 0個の入力画素値

P (x， - 2)， P (X, -1) , P (X, 0)， P (X, 1) , P (x, 2)のそれぞれと、値 (x)の誤差が最小となるような回帰曲線（最小自乗法により演算された特徴量 ^ を上述した式 (1 04) に代入して得られる近似関数（X) ) 力図 2 1 3で示される曲線 (近似関数 )）となる。

このように、近似関数（X)は、 Y方向の画素値（注目画素からの X方向の相対位置 Xが同一の画素値） Ρ(χ, -2),Ρ(χ, -1),Ρ(χ,0),Ρ(χ, l)，P(x，2)の平均値を、 X方向に結んだ曲線を単に表しているに過ぎない。即ち、光信号が有する空間方向の定常性を考慮することなく、近似関数（X)が生成されている。

例えば、いまの場合、近似の対象は、細線含有実世界領域 2 3 0 1 (図 2 0 9) とされている。この細線含有実世界領域 2 3 0 1は、図 2 1 4で示されるように、傾き G_Fで表される空間方向の定常性を有している。なお、図 2 1 4において、 X方向と Y方向は、センサ 2の X方向と Y方向（図 20 6) を表している。従って、データ定常性検出部 1 0 1 (図 20 5) は、空間方向の定常性の傾き G_Fに対応するデータ定常性情報として、図 2 1 4で示されるような角度 0 (傾き G_Pに対応する傾き G_f で表されるデータの定常性の方向と、 X方向のなす角度 Θ ) を出力することができる。

しかしながら、第 1の方法においては、データ定常性検出部 1 0 1より出力されるデータ定常性情報は一切用いられていない。

換言すると、図 2 14で示されるように、細線含有実世界領域 23◦ 1の空間方向の定常性の方向は略角度 0方向である。しかしながら、第 1の方法は、細線含有実世界領域 230 1の空間方向の定常性の方向は Y方向であると仮定して (即ち、角度 0が 90度であると仮定して）、近似関数（X)の特徴量 Wi を演算する方法である。

このため、近似関数（X)は、その波形が鈍り、元の画素値よりディテールが減少する関数となってしまう。換言すると、図示はしないが、第 1の方法により生成される近似関数（X)は、実際の X断面波形 F(x)とは大きく異なる波形となってしまう。

そこで、本願出願人は、第 1の方法に対して、空間方向の定常性をさらに考慮して（角度 0を利用して）特徴量^ を演算する第 2の方法を発明した。

即ち、第 2の方法は、細線含有実世界領域 2301の定常性の方向は略角度 0 方向であるとして、近似関数（X) の特徴量 Wi を演算する方法である。

具体的には、例えば、空間方向の定常性に対応するデータの定常性を表す傾き G_f は、次の式（108) で表される。

6_f = tan θ - • dx

• · · (1 08) なお、式（1 08) において、 dxは、図 214で示されるような X方向の微小移動量を表しており、 dyは、図 2 14で示されるような dxに対する Y方向の微小移動量を表している。

この場合、シフト量 C_x (y)を、次の式（109) のように定義すると、第 2の方法においては、第 1の方法で利用した式（106) に相当する式は、次の式 (1 1 0) のようになる。 c_x(y = • · ■ ( 1 0 9)

P(x, y) = f₂(x-C_x(y) ) +e

• · · (1 1 0) 即ち、第 1の方法で利用した式（1 0 6) は、画素の中心の位置（x、y)のうちの X方向の位置 Xが、同一の位置に位置する画素の画素値 P(x，y)はいずれも同じ値であることを表している。換言すると、式（1 0 6) は、同じ画素値の画素が Y方向に続いている（Y方向に定常性がある）ことを表している。

これに対して、第 2の方法で利用する式（1 1 0) は、画素の中心の位置が ( ， 7)でぁる画素の画素値？（，7)は、注目画素（その中心の位置が原点（0,0)である画素）から X方向に Xだけ離れた場所に位置する画素の画素値（^f₂ (x)) とは一致せず、その画素からさらに X方向にシフト量 C_x (y)だけ離れた場所に位置する画素（注目画素から X方向に x + C_x (y)だけ離れた場所に位置する画素）の画素値（^f₂ (x + C_x (y)) ) と同じ値であることを表している。換言すると、式（1 1 0) は、同じ画素値の画素が、シフト量 C_x (y)に対応する角度 0方向に続いている（略角度 0方向に定常性がある）ことを表している。

このように、シフト量 C_x (y)が、空間方向の定常性（いまの場合、図 2 1 4の傾き G_Fで表される定常性（厳密には、傾き G_f で表されるデータの定常性））を考慮した補正量であり、シフト量 C_x (y)により式（1 0 6) を補正したものが式 ( 1 1 0) となる。

この場合、図 2 1 1で示される細線含有データ領域 2 3 0 2の 2 0個の画素値 P(x,y) (ただし、 Xは、一 1乃至 2のうちのいずれかの整数値。 yは、 _ 2乃至 2のうちのいずれかの整数値）のそれぞれを、上述した式（1 1 0) に代入すると次の式（1 1 1) で示される 2 0個の方程式が生成される。 P(-1,一 2) = f₂( -1-C_x(-2))+_ei

P(0,一 2) = f₂( ;0-C_x(-2))+e₂

P(1,-2) = f₂( ;i-C_x(-2))+e₃

P(2,一 2) = f₂( :2 - G_x(—2))+e₄

P(-1,-1) = f₂( ;-1-C_x(-1))+e₅

P(0，一 1) = f₂( :0-C_x(-1))+e₆

P(1,-1) =f₂ :i-C_x(-1))+e₇

P(2，一 1) = f₂< :2-C_x(-1))+e₈

P(-1,0) =f₂

P(0,0) =f₂ :0)+e₁₀

P(1,0) =f₂

P(2,0) =f₂ (2)+e₁₂

P(-1,1) =f₂ (-1-C_x(1))+e₁₃

P(0, 1) =f₂ (0-C_x(1))+e_l4

P(1,1) =f₂ (1-C_x(1))+e₁₅

P(2, 1) =f₂ (2-C_x(1))+e₁₆

P(-1,2) =f₂ (-1-C_x(2))+e₁₇

P(0,2) =f₂ (0-C_x(2))+e₁₈

P(1,2) =f₂ (1-C_x(2))+e₁₉

P(2，2) =f₂ (2-C_x(2))+e₂₀

… (1 1 1) 式（1 1 1) は、上述した式（107) と同様に、 20個の方程式より構成されている。従って、第 1の方法と同様に第 2の方法においても、近似関数 f₂ (x) の特徴量 Wi の個数が 20個より少ない場合、即ち、近似関数 f₂ (x)が 1 9次より少ない次数の多項式である場合、例えば、最小自乗法を用いて特徴量の算出が可能である。なお、最小自乗法の具体的な解法は後述する。

例えば、第 1の方法と同様に近似関数 f₂ (x)の次数が 5次とされた場合、第 2 の方法においては、次のようにして特徴量が演算される。

即ち、図 2 1 5は、式（1 1 1) の左辺で示される画素値 P(x,y)をグラフ化したものを表している。図 2 1 5で示される 5つのグラフのそれぞれは、基本的に図 2 1 2で示されるものと同一である。

図 2 1 5で示されるように、最大の画素値（細線に対応する画素値）は、傾き JP2004/001488

244

G_f で表されるデータの定常性の方向に続いている。

そこで、第 2の方法においては、図 2 1 5で示される

入力画素値 P (x, -2)， P (x, -1) , P (X, 0)， P (X, 1)， P (X, 2)のそれぞれを、例えば、 X軸に沿って足しこむ場合、第 1の方法のようにそのまま足しこむ（yを一定とみなして、図 2 1 5で示される状態のまま 5つのグラフを重ねる）のではなく、図 2 1 6で示される状態に変化させてから足しこむ。

即ち、図 2 1 6は、図 2 1 5で示される

入力画素値 p(_x, - ²)，p(_x，-l),P(x, 0),P(x， l),P(x, ²)のそれぞれを、上述した式（1 0 9) で示されるシフト量 C_x (y)だけシフトさせた状態を表している。換言すると、図 2 1 6は、図 2 1 5で示される 5つのグラフを、データの定常性の実際の方向を表す傾き G_Fを、あたかも傾き G_F 'とするように（図中、点線の直線を実線の直線とするように）移動させた状態を表している。

図 2 1 6の状態で、入力画素値 P (x， -2)， P (x， - 1)， P (x, 0)， P (x， 1)， P (x, 2)のそれぞれを、例えば、 X軸に沿って足しこむと（図 2 1 6で示される状態で 5つのグラフを重ねると）、図 2 1 7で示されるような、 X軸に平行な複数の線（点線、 3点鎖線、実線、 1点鎖線、および 2点鎖線）が分布する。

なお、図 2 1 7において、縦軸は画素値を表しており、横軸は注目画素からの相対位置 Xを表している。また、点線は入力画素値 P(x，- 2)を、 3点鎖線は入力 ,画素値 P(x，- 1)を、実線は入力画素値 P(x, 0)を、 1点鎖線は入力画素値 P(x, 1) を、 2点鎖線は入力画素値 P(x, 2)を、それぞれ表している。さらに、同一の画素値の場合、実際には 2本以上の線が重なることになるが、図 2 1 7においては、各線の区別がつくように、各線のそれぞれが重ならないように描画されている。そして、このように分布した 2 0個の入力画素値 P(x，y)のそれぞれ（ただし、 Xは、 _ 1乃至 2のうちのいずれかの整数値。 yは、一 2乃至 2のうちのいずれかの整数値）と、値 f₂ (x+C_x (y))の誤差が最小となるような回帰曲線（最小自乗法により演算された特徴量 _Wi を上述した式（1 04) に代入して得られる近似関数 f₂ (x)) は、図 2 1 7の実線で示される曲線 f₂ (X)となる。このように、第 2の方法により生成された近似関数 f₂ (x)は、データ定常性検出部 1 0 1 (図 2 0 5 ) より出力される角度 Θ方向（即ち、ほぼ空間方向の定常性の方向）の入力画素値 P (x， y)の平均値を X方向に結んだ曲線を表すことになる。

これに対して、上述したように、第 1の方法により生成された近似関数（X) は、 Y方向（即ち、空間方向の定常性とは異なる方向）の入力画素値 P (x，y)の平均値を、 X方向に結んだ曲線を単に表しているに過ぎない。

従って、図 2 1 7で示されるように、第 2の方法により生成された近似関数 f₂ (x)は、第 1の方法により生成された近似関数（X)よりも、その波形の鈍り度合いが減少し、かつ、元の画素値に対するディテールの減り具合も減少する関数となる。換言すると、図示はしないが、第 2の方法により生成される近似関数 f₂ (X)は、第 1の方法により生成される近似関数 ^ (X)よりも実際の X断面波形 F (x)により近い波形となる。

しかしながら、上述したように、近似関数 f₂ (x)は、空間方向の定常性が考慮されたものではあるが、入力画像（入力画素値）を原点（基準）として生成されたものに他ならない。即ち、上述した図 2 1 0で示されるように、近似関数 f₂ (x)は、 X断面波形 F (x)とは異なる入力画像を近似したに過ぎず、 X断面波形 F (x)を近似したとは言い難い。換言すると、第 2の方法は、上述した式（1 1 0 ) が成立するとして特徴量 Wi を演算する方法であり、上述した式（1 0 4 ) の関係は考慮していない（センサ 2の積分効果を考慮していない）。

そこで、本願出願人は、第 2の方法に対して、センサ 2の積分効果をさらに考慮することで近似関数 f₃ (X)の特徴量 ^ を演算する第 3の方法を発明した。即ち、第 3の方法は、空間混合領域の概念を導入した方法である。

第 3の方法の説明の前に、図 2 1 8を参照して、空間混合領域について説明する。

図 2 1 8において、実世界 1の光信号の 1部分 2 3 2 1 (以下、領域 2 3 2 1 と称する）は、センサ 2の 1つの検出素子（画素）と同じ面積を有する領域を表している。

領域 2 3 2 1がセンサ 2に検出されると、センサ 2からは、領域 2 3 2 1が時空間方向（X方向，Υ方向，および t方向）に積分された値（1つの画素値） 2 3 2 2が出力される。なお、画素値 2 3 2 2は、図中、画像として表現されている力実際には、所定の値を表すデータである。

実世界 1の領域 2 3 2 1は、前景（例えば、上述した細線）に対応する光信号 (図中白い領域）と、背景に対応する光信号（図中黒い領域）に明確に区分される。

これに対して、画素値 2 3 2 2は、前景に対応する実世界 1の光信号と、背景に対応する実世界 1の光信号が積分された値である。換言すると、画素値 2 3 2 2は、前景に対応する光のレベルと背景に対応する光のレベルが空間的に混合されたレベルに対応する値である。

このように、実世界 1の光信号のうちの 1画素（センサ 2の検出素子）に対応する部分が、同一レベルの光信号が空間的に一様に分布する部分ではなく、前景と背景のように異なるレベルの光信号のそれぞれが分布する部分ャある場合、その領域は、センサ 2により検出されると、センサ 2の積分効果により、異なる光のレベルがあたかも空間的に混合されて（空間方向に積分されて） 1つの画素値となってしまう。このように、前景に対する画像（実世界 1の光信号）と、背景に対する画像（実世界 1の光信号）が空間的に積分されている画素からなる領域を、ここでは、空間混合領域と称している。

従って、第 3の方法においては、実世界推定部 1 0 2 (図 2 0 5 ) 力実世界 1の元の領域 2 3 2 1 (実世界 1の光信号のうちの、センサ 2の 1画素に対応する部分 2 3 2 1 ) を表す X断面波形 F (x)を、例えば、図 2 1 9で示されるような、 1次の多項式である近似関数 f₃ (X)で近似することによって、 X断面波形 F (x)を推定する。

即ち、図 2 1 9は、空間混合領域である画素値 2 3 2 2 (図 2 1 8 ) に対応する近似関数 f₃ (x)、即ち、実世界 1の領域 2 3 3 1内の実線（図 2 1 8 ) に対応する X断面波形 F (x) を近似する近似関数 f₃ (x)の例を表している。図 2 1 9 において、図中水平方向の軸は、画素値 2 3 2 2に対応する画素の左下端 x_s から右下端 x_e までの辺（図 2 1 8) に平行な軸を表しており、 X 軸とされている。図中垂直方向の軸は、画素値を表す軸とされている。

図 2 1 9において、近似関数 f₃ (X)を x_sから x_eの範囲（画素幅）で積分したものが、センサ 2から出力される画素値 P (x，y)とほぼ一致する（誤差 eだけ存在する）として、次の式（1 1 2) を定義する。

= j_v (w₀+w₁x+w₂x^+- · -+w_nxⁿ)dx+e

、_e— x_s) + · · · +w_n_₁ +e

• · · ( 1 1 2) いまの場合、図 2 1 4で示される細線含有データ領域 2 3 0 2の²0偁の画素値 P (x, y) (ただし、 Xは、一 1乃至²のうちのいずれかの整数値。 yは、一 ² 乃至 2のうちのいずれかの整数値）から、近似関数 f₃ ）の特徴量^ が算出されるので、式（1 1 2) の画素値 Pは、画素値 P(x，y)となる。

また、第 2の方法と同様に、空間方向の定常性も考慮する必要があるので、式 ( 1 1 2) の積分範囲の開始位置 x_s と終了位置 x_e のそれぞれは、シフト量 C_x (y)にも依存することになる。即ち、式（1 1 2) の積分範囲の開始位置 x_s と終了位置 x_eのそれぞれは、次の式（1 1 3) のように表される。

x_s = x-C_x(y) -0.5

x_e = x-C_x (y) +0.5

• · · ( 1 1 3) この場合、図 2 1 4で示される細線含有データ領域 2 3 0 2の各画素値それぞれ、即ち、図 2 1 5で示される入力画素値 P(x，- 2)，P(x, - 1),? ，0)，？，1)，？，²)のそれぞれ（ただし、 Xは、一 1乃至 2のうちのいずれかの整数値）を、上述した式（112) (積分範囲は、上述した式（11 3) ) に代入すると次の式（114) で示される 20個の方程式が生成される。

■ -—1 I-—C u_xy(-2) + +0υ..55

P(-1,-2 ⁼ J-1-C_x(-2)-0.5 ^f3^{(x) dx+e}1'

r0-C_x(-2) +0.5

P(0， - 2 ⁼ Jo-G_x(-2)-0.5 ^f3^{(x) dX+e}2'

f11--CC_xx((--22))++00..55

P(1,-2 Ί— C_x(-2)-0.5 P(2， -2

^f3^{(x) dx+e}4-

P(-1, -1 ⁼ /-1-C_x(-1)-0.5 ^f3^^{x) dX+e}5'

r0-C_x(-1)+0.5 , 、

P(0, -1 ⁼ Jo-c_x(-i)-o.5 ^f3(x)dx+e₆，

r1-C_x(-1)+0.5

P(1, - 1 ⁼ Ji-c_x(-i)-o.5 f3(x)dx+e₇，

2-C_x(-1)+0.5

P(2,一 1 「，

2-C_x(-1)-0.5 ₃(x)dx+e₈

-1+0.5

P (- 1，0 =/二 0.5 F₃(x)dx+e₉,

J. o+o.5

P(0,0 0—0.5 ^f3(x)dx+e₁₀，

_r1+0.5

P(1,0 = J₁__{o c;} f₃(x)dx+e"，

r2+0.5

P(2,0 J _n f₃(x)dx+e₁₂，

'2-0.5

-1-C_x(1)+0.5

P(-1,1 -i-c_xd)-o.5 ^f3(x)dx+e₁₃，

1-C_x(1)+0.5

P(1,1 F₃(x)dx+e₁₅,

1-C_x(1)-0.5

r2-C_x{1)+0.5

P(2,1 J2-G_x(1)-0.5 f3(X)dx+e₁₆，

-1-C_V(2) +0.5

P(-1,2 -LZ 1-C_X(2) -0.5 F₃(x)dx+e₁₇,

J»■ 0 υ--Cυ_x„( w2) +十0 u..5 o

'0-G_x(2) -0.5

1-C_Y(2) +0.5

P(1,2 -J ¾(x)dx+e₁₉,

- C_x(2) -0.5

• · · (1 14) 式（1 1 4) は、上述した式（1 1 1) と同様に、 20個の方程式より構成されている。従って、第 2の方法と同様に第 3の方法においても、近似関数 f₃ (x) の特徴量の個数が 20個より少ない場合、即ち、近似関数 f₃ (x)が 1 9次より少ない次数の多項式である場合、例えば、最小自乗法を用いて特徴量 Wi の算出が可能である。なお、最小自乗法の具体的な解法は後述する。

例えば、近似関数 f₃ (X)の次数が 5次とされた場合、式（1 14) を利用して最小自乗法により演算された近似関数 f₃ (X) (演算された特徴量 ^ により生成される近似関数 f₃ (X)) は、図 220の実線で示される曲線のようになる。

なお、図 220において、縦軸は画素値を表しており、横軸は注目画素からの相対位置 Xを表している。図 2 2 0で示されるように、第 3の方法により生成された近似関数 f₃ ）（図中、実線で示される曲線）は、第 2の方法により生成された近似関数 f₂ (X) (図中、点線で示される曲線）と比較すると、 x = 0における画素値が大きくなり、また、曲線の傾斜の度合いも急な波形となる。これは、入力画素よりディティルが増加して、入力画素の解像度とは無関係となっているためである。即ち、近似関数 f₃ (x) は、 X断面波形 F (x)を近似していると言える。従って、図示はしないが、近似関数 f₃ (x)は、近似関数 f₂ (x)よりも X断面波形 F (x)に近い波形となる。

図 2 2 1は、このような 1次多項式近似手法を利用する実世界推定部 1 0 2の構成例を表している。

図 2 2 1において、実世界推定部 1 0 2は、例えば、特徴量を上述した第 3の方法（最小自乗法）により演算し、演算した特徴量 _Wi を利用して上述した式（1 0 5 ) の近似関数 f (x)を生成することで、 X断面波形 F (x)を推定する。図 2 2 1で示されるように、実世界推定部 1 0 2には、条件設定部 2 3 3 1、入力画像記憶部 2 3 3 2、入力画素値取得部 2 3 3 3、積分成分演算部 2 3 3 4、正規方程式生成部 2 3 3 5、および近似関数生成部 2 3 3 6が設けられている。条件設定部 2 3 3 1は、注目画素に対応する X断面波形 F (x)を推定するために使用する画素の範囲（以下、タプ範囲と称する）や、近似関数 f (x)の次数 nを設定する。

入力画像記憶部 2 3 3 2は、センサ 2からの入力画像（画素値）を一次的に格納する。

入力画素値取得部 2 3 3 3は、入力画像記憶部 2 3 3 2に記憶された入力画像のうちの、条件設定部 2 2 3 1により設定されたタップ範囲に対応する入力画像の領域を取得し、それを入力画素値テーブルとして正規方程式生成部 2 3 3 5に供給する。即ち、入力画素値テーブルは、入力画像の領域に含まれる各画素のそれぞれの画素値が記述されたテーブルである。なお、入力画素値テーブルの具体例については後述する。ところで、ここでは、実世界推定部 1 02は、上述した式（1 1 2) と式（1 1 3) を利用して最小自乗法により近似関数 f(x)の特徴量を演算するが、上述した式（1 1 2) は、次の式（1 1 5) のように表現することができる。

P(x, y)

n (x-C_x(y) +0.5)ⁱ⁺¹- (x-C_x (y) -0.5)ⁱ⁺¹

=∑ Wj X—— j-ϊ—— +e

i=0 ^{1 +1}

n

=∑ Wj Sj (x_s， x_e) +e

i=0 ■ ■ · (1 1 5) 式（1 1 5) において、 Si (x_s , x_e ) は、 i次項の積分成分を表している。即ち、積分成分 Si (x_s,x_e)は、次の式（1 1 6) で示される。

i+1 i+1

, 、 X 入 f

ΰί (^xs, ^Ae) 二

• · · · (1 1 6) 積分成分演算部 2 334は、この積分成分 Si (x_s、x_e)を演算する。

具体的には、式（1 1 6) で示される積分成分 Si (x_s，x_e) (ただし、値と値 x_e は、上述した式（1 1 2) で示される値）は、相対画素位置（x,y)、シフト量 C_x (y)、および、 i次項の iが既知であれば演算可能である。また、これらのうちの、相対画素位置（x，y)は注目画素とタップ範囲により、シフト量 C_x (y) は角度 0により（上述した式（107) と式（1 09) により）、 iの範囲は次数 nにより、それぞれ決定される。

従って、積分成分演算部 2 334は、条件設定部 2 33 1により設定されたタップ範囲および次数、並びにデータ定常性検出部 1 0 1より出力されたデータ定常性情報のうちの角度 0に基づいて積分成分 Si ( ₆)を演算し、その演算結果を積分成分テーブルとして正規方程式生成部 23 35に供給する。

正規方程式生成部 23 35は、入力画素値取得部 233 3より供給された入力画素値テーブルと、積分成分演算部 2334より供給された積分成分テーブルを利用して、上述した式（1 1 2) 、即ち、式（1 1 5) の右辺の特徴量 ^ を最小自乗法で求める場合の正規方程式を生成し、それを正規方程式テーブルとして近似関数生成部 2 3 3 6に供給する。なお、正規方程式の具体例については後述する。

近似関数生成部 2 3 3 6は、正規方程式生成部 2 3 3 5より供給された正規方程式テーブルに含まれる正規方程式を行列解放で解くことにより、上述した式

(1 1 5) の特徴量（即ち、 1次元多項式である近似関数 f(x)の係数^) のそれぞれを演算し、画像生成部 1 0 3に出力する。

次に、図 2 2 2のフローチャートを参照して、 1次元多項式近似手法を利用する実世界推定部 1 0 2 (図 2 2 1) の実世界の推定処理（図 4 0のステップ S 1 0 2の処理）について説明する。

例えば、いま、センサ 2から出力された 1フレームの入力画像であって、上述した図 20 7の細線含有データ領域 2 3 0 2を含む入力画像が、既に入力画像記憶部 2 3 3 2に記憶されているとする。また、データ定常性検出部 1 0 1が、ステツプ S 1 0 1 (図 4 0) の定常性の検出の処理において、細線含有データ領域 2 3 0 2に対してその処理を施して、データ定常性情報として角度 0を既に出力しているとする。

この場合、図 2 2 2のステップ S 2 3 0 1において、条件設定部 2 3 3 1は、条件（タップ範囲と次数）を設定する。

例えば、いま、図 2 2 3で示されるタップ範囲 2 3 5 1が設定されるとともに、次数として 5次が設定されたとする。

即ち、図 2 2 3は、タップ範囲の一例を説明する図である。図 2 2 3において、 X方向と Y方向は、センサ 2の X方向と Y方向（図 2 0 6) を表している。また、タップ範囲 2 3 5 1は、 X方向に 4画素分、かつ Y方向に 5画素分の総計 2 0個の画素（図中、 2 0個の正方形）からなる画素群を表している。

さらに、図 2 2 3で示されるように、注目画素が、タップ範囲 2 3 5 1のうちの、図中、左から 2画素目であって、下から 3画素目の画素に設定されるとする。また、各画素のそれぞれに対して、注目画素からの相対画素位置（x， y) (注目画素の中心（0，0)を原点とする注目画素座標系の座標値）に応じて、図 223で示されるような番号 1 (1は、 0乃至 1 9のうちのいずれかの整数値）が付されるとする。

図 222に戻り、ステップ S 2 30 2において、条件設定部 23 3 1は、注目画素を設定する。

ステップ S 2 303において、入力画素値取得部 2 33 3は、条件設定部 23 3 1により設定された条件（タップ範囲）に基づいて入力画素値を取得し、入力画素値テーブルを生成する。即ち、いまの場合、入力画素値取得部²3 33は、細線含有データ領域²302 (図 2 1 1) を取得し、入力画素値テーブルとして、 20個の入力画素値 P ( 1)からなるテーブルを生成する。

なお、いまの場合、入力画素値 P(l)と、上述した入力画素値 P(x,y)の関係は、次の式（1 1 7) で示される関係とされる。ただし、式（1 1 7) において、左辺が入力画素値 P ( 1 ) を表し、右辺が入力画素値 P(x,y)を表している。

P(0) = P(0,0)

P(1) = P(-1,2)

(2) = P(0,2)

P(18)

P(19) = P(2, -2)

• - · (1 1 7) ステップ S 2304において、積分成分演算部 23 34は、条件設定部 2 33 1により設定された条件（タップ範囲および次数）、並びにデータ定常性検出部 10 1より供給されたデータ定常性情報（角度 0) に基づいて積分成分を演算し- 積分成分テーブルを生成する。

いまの場合、上述したように、入力画素値は、 P(x y)でなく P(l)といった、画素の番号 1の値として取得されるので、積分成分演算部 23 34は、上述した式（1 1 6) の積分成分 Si (x_s x_e)を、次の式（1 1 8) の左辺で示される積分成分 Si (1)といった 1の関数として演算する。

S l ) = Si (x_s'x_e) ' ■ · (1 1 8)

具体的には、いまの場合、次の式（1 1 9) で示される積分成分 Si (1)が演算される。 s (0) =S, (-0.5， 0.5)

s (1) (-1.5-C_x(2), -0.5-C_x(2))

s (2) =s (-0.5-C_x(2),0.5-C_x(2))

s (3) =s (0.5-C_x(2),1.5-C_x(2))

s (4) =s (1.5-C_X(2),2.5-C_x(2))

s (5) =s (一 1.5 - G_x(1)， -0.5-C_x(1))

s (6) =s (-0.5-C_x(1),0.5-C_x(1))

s (7) =s (0.5-C_x(1), 1.5-C_x(D)

s (8) =s (1.5 - C_x(1)，2.5-C_x(D)

s (9) =s (-1.5, -0.5)

s (10) =s (0.5,1.5)

s 〔11) =s (1.5, 2.5)

s (12) =s (-1.5-C_X(-1), -0.5-C_x(-D)

s (13) =s (-0.5-C_x(-1),0.5-C_x(-D)

s (14) =s (0.5-C_x(-1),1.5-C_x(-D)

s (15) =s (1.5-C_X(-1),2.5-C_X(-D)

s (16) =s (-1.5-C_x(-2), -0.5-C_x(-2))

s (17) =s (-0.5-C_x(-2),0.5-C_x(-2))

s (18) =s ,(0.5-C_x(-2), 1.5-C_x(-2))

s (19) =s (1.5-C_x(-2),2.5-C_x(-2))

• · · (1 1 9) なお、式（1 1 9) において、左辺が積分成分 Si ( 1)を表し、右辺が積分成分 Si _{3 8})を表している。即ち、いまの場合、 iは 0乃至 5であるので、 20 個の S。（1), 20個の Si (1)， 20個の S₂ (1)， 20個の S₃ (1)， 20個の S₄ (1), 2 0個の S₅ (1)の総計 1 20個の Si (1)が演算されることになる。

より具体的には、はじめに、積分成分演算部 23 34は、データ定常性検出部 1 0 1より供給された角度 0を使用して、

シフト量 C_x (- 2)，C_X (- 1)，C_X (1)，C_X (2)のそれぞれを演算する。次に、積分成分演算部 23 34は、演算したシフト量 C_x (- 2),C_X (- 1)，C_X (1),C_X (2)を使用して式（1 1 8) の右辺に示される 20個の積分成分 Si (x_s，x_e)のそれぞれを、 i= 0乃至 5のそれぞれについて演算する。即ち、 1 20個の積分成分 S_; (_Xj!,x_e)が P T/JP2004/001488

256

演算される。なお、この積分成分 Si (x_s，x_e)の演算においては、上述した式（1 1 6) が使用される。そして、積分成分演算部 23 34は、式（1 1 9) に従つ ∑ ：

て、演算した W 1 20個の積分成分 Si (x_s,x_e)のそれぞれを、対応する積分成分 Si (1)に変換し、変換した 1 20個の積分成分 Si (1)を含む積分成分テーブルを生成する。

なお、ステップ S 2303の処理とステップ S 2304の処理の順序は、図 2 22の例に限定されず、ステップ S 2 304の処理が先に実行されてもよいし、ステップ S 2303の処理とステップ S 2 304の処理が同時に実行されてもよい。

次に、ステップ S 2305において、正規方程式生成部 23 3 5は、ステップ S 2303の処理で入力画素値取得部 23 3 3により生成された入力画素値テーブルと、ステップ S 2304の処理で積分成分演算部 23 34により生成された積分成分テーブルに基づいて、正規方程式テーブルを生成する。

具体的には、いまの場合、最小自乗法により、上述した式（1 1 5) に対応する次の式（1 20) の特徴量を演算する。で、それに対応する正規方程式は、次の式（1 2 1) のように表される。

(1 20)

· · ■ (1 2 1) なお、式（1 2 1) において、 Lは、タップ範囲の画素の番号 1のうちの最大値を表している。 nは、多項式である近似関数 f(x)の次数を表している。具体的には、いまの場合、 n=5となり、 L=19となる。

∑∑ L L

式（12一 -o 1 s s s) で示される正規方程式の各行列のそれぞれを、次の式（122)

n

乃至（124) のように定義すると、正規方程式は、次の式（125) のよう表される。

(1 22) w₀

(1 23)

^PMAT ⁼

(1 24)

SMAT¾T = PMAT • - · (1 2 5) 式（1 2 3) で示されるように、行列 W_MAT の各成分は、求めたい特徴量である。従って、式（1 2 5) において、左辺の行列 S_MAT と右辺の行列 P_{MA T} が決定されれば、行列解法によって行列 W_M A _τ (即ち、特徴量^) の算出が可能である。

具体的には、式（1 2 2) で示されるように、行列 S_MAT の各成分は、上述した積分成分 Si (1)が既知であれば演算可能である。積分成分 Si (1)は、積分成分演算部 2 3 34より供給された積分成分テーブルに含まれているので、正規方程式生成部 2 3 3 5は、積分成分テーブルを利用して行列 S_MAT の各成分を演算することができる。

また、式（1 24) で示されるように、行列 P_MAT の各成分は、積分成分 Si (1)と入力画素値 P(l)が既知であれば演算可能である。積分成分 Si (1)は、行列 S_{MA T}の各成分に含まれるものと同一のものであり、また、入力画素値 P(l) は、入力画素値取得部 2 3 3 3より供給された入力画素値テーブルに含まれているので、正規方程式生成部 2 3 3 5は、積分成分テーブルと入力画素値テーブルを利用して行列 P_MATの各成分を演算することができる。

このようにして、正規方程式生成部 2 3 3 5は、行列 S_MAT と行列 P_MArの各成分を演算し、その演算結果（行列 S_MAT と行列 P_MATの各成分）を正規方程式テーブルとして近似関数生成部 2 3 3 6に出力する。

正規方程式生成部 2 3 3 5より正規方程式テーブルが出力されると、ステップ S 2 3 0 6において、近似関数生成部 2 3 3 6は、正規方程式テーブルに基づいて、上述した式（1 2 5) の行列 W_MAT の各成分である特徴量 ^ (即ち、 1次元多項式である近似関数 f(x)の係数）を演算する。 .

具体的には、上述した式（1 2 5) の正規方程式は、次の式（1 2 6) のように変形できる。

¾T ^{= S} AT^PMAT • - · (1 2 6) 式（1 2 6) において、左辺の行列 _ATの各成分が、求めたい特徴量 ^ である。また、行列 S_MAT と行列 P_MATのそれぞれの各成分は、正規方程式生成部 2 3 3 5より供給された正規方程式テーブルに含まれている。従って、近似関数生成部 2 3 3 6は、正規方程式テーブルを利用して、式（1 2 6) の右辺の行列演算を行うことで行列 W_MAT を演算し、その演算結果（特徴量 _Wi) を画像生成部 1 0 3に出力する。

ステップ S 2 3 0 7において、近似関数生成部 2 3 3 6は、全画素の処理を終了したか否かを判定する。

ステップ S 2 3 0 7において、全画素の処理がまだ終了されていないと判定された場合、処理はステップ S 2 3 0 2に戻り、それ以降の処理が繰り返される。即ち、まだ注目画素とされない画素が、順次注目画素とされて、ステップ S 2 3 0 2乃至 S 2 3 0 7の処理が繰り返される。

そして、全画素の処理が終了すると（ステップ S 2 3 0 7において、全画素の処理が終了されたと判定されると）、実世界 1の推定処理は終了となる。

なお、以上のようにして演算された係数（特徴量） ^ により生成される近似関数 f(x)の波形は、上述した図 2 2 0の近似関数 f₃ (X)のような波形となる。このように、 1次元多項式近似手法においては、 1次元の X断面波形 F(x)と同一形状の波形が定常性の方向に連なっていると仮定して、 1次元の多項式である近似関数 f(x)の特徴量が演算される。従って、 1次元多項式近似手法においては、他の関数近似手法に比較して、少ない演算処理量で近似関数 f(x)の特徴量の算出が可能となる。

換言すると、 1次元多項式近似手法においては、例えば、図 20 5 (図 3) のデータ定常性検出部 1 0 1が、それぞれ時空間積分効果を有する、センサの複数の検出素子（例えば、図 20 6のセンサ 2の検出素子 2— 1) により実世界 1の光信号（例えば、図 20 7の実世界 1の光信号の 1部分 2 3 0 1) が射影され、実世界 1の光信号の定常性（例えば、図 2 1 4の傾き G_Fで表される定常性）の一部が欠落した、検出素子 2— 1により射影された画素値 (例えば、図 2 1 2の各グラフに示される入力画素値 P (x， y)) を有する複数の画素からなる画像データ（例えば、図 20 7の画像データ（入力画像の領域） 2 3 0 2) におけるデータの定常性（例えば、図 2 1,4の傾き G_f で表されるデータの定常性）を検出する。

例えば、図 2 0 5 (図 3) の実世界推定部 1 0 2は、データ定常性検出部 1 0 1により検出されたデータの定常性に対応して、画像データの時空間方向のうち 1次元方向（例えば、図 20 9の矢印 2 3 1 1、即ち、 X方向）の位置に対応する画素の画素値（例えば、上述した式（1 1 2) の左辺である入力画素値 P) 力 1次元方向の積分効果により取得された画素値（例えば、式（1 1 2) の右辺に示されるように、近似関数 f₃ ）が X方向に積分された値）であるとして、実世界 1の光信号を表す光信号関数 F (具体的には、 X断面波形 F (X ) ) を所定の近似関数 f (具体的には、例えば、図 2 20の近似関数 f₃ (X) ) で近似することで、光信号関数 Fを推定する。

詳細には、例えば、実世界推定部 1 0 2は、定常性検出手部 1 0 1により検出されたデータの定常性に対応する線（例えば、図 2 1 6の傾き G_f に対応する線 (点線））からの 1次元方向（例えば、 X方向）に沿った距離（例えば、図 2 1 6のシフト量 Cx(y)) に対応する画素の画素値が、 1次元方向の積分効果により取得された画素値（例えば、上述した式（1 1 2) に示されるような積分範囲で、式（1 1 2) の右辺に示されるように、近似関数: ₃ (X)が X方向に積分された値）であるとして、光信号関数 Fを近似関数 f で近似することにより、光信号関数 Fを推定する。

従って、 1次元多項式近似手法においては、他の関数近似手法に比較して、少ない演算処理量で近似関数 f (x)の特徴量の算出が可能となる。

次に、図 2 24乃至図 2 3 0を参照して、第 2の関数近似手法について説明する。

即ち、第 2の関数近似手法とは、例えば、図 2 24で示されるような、傾き G_Pで表される空間方向の定常性を有する実世界 1の光信号を、 X— Y平面上

(空間方向の 1方向である X方向と、 X方向に垂直な Y方向に水平な平面上）の波形 F (x, y)とみなし、 2次元の多項式である近似関数 f (x， y)で波形 F (x, y)を近似することによって、その波形 F (x, y)を推定する手法である。従って、以下、第 2の関数近似手法を、 2次元多項式近似手法と称する。

なお、図 2 2 4において、図中、水平方向は、空間方向の 1方向である X方向を、右上方向は、空間方向の他方向である Y方向を、垂直方向は、光のレベルを、それぞれ表している。 G_Fは、空間方向の定常性の傾きを表している。

また、 2次元多項式近似手法の説明においても、センサ 2は、図 2 2 5で示されるような、複数の検出素子 2— 1がその平面上に配置されて構成される C C D とされる。

図 2 2 5の例では、検出素子 2 _ 1の所定の 1辺に平行な方向が、空間方向の 1方向である X方向とされており、 X方向に垂直な方向が、空間方向の他方向である Y方向とされている。そして、 X— Y平面に垂直な方向が、時間方向である t方向とされている。

また、図 2 2 5の例では、センサ 2の各検出素子 2— 1のそれぞれの空間的な形状は、 1辺の長さが 1の正方形とされている。そして、センサ 2のシャツタ時間（露光時間）が 1とされている。

さらに、図 2 2 5の例では、センサ 2の所定の 1つの検出素子 2— 1の中心が、空間方向（X方向と Y方向）の原点（X方向の位置 x = 0、および Y方向の位置 y = 0 ) とされており、また、露光時間の中間時刻が、時間方向（t方向）の原点（1:方向の位置1 = 0 ) とされている。

この場合、空間方向の原点（x = 0， y = 0 ) にその中心が存在する検出素子 2— 1は、 X方向に- 0. 5乃至 0. 5の範囲、 Y方向に- 0. 5乃至 0. 5の範囲、およぴ t方向に- 0. 5乃至 0. 5の範囲で光信号関数 F (x，y，t)を積分し、その積分値を画素値 Pとして出力することになる。

即ち、空間方向の原点にその中心が存在する検出素子 2— 1から出力される画素値 Pは、次の式（1 2 7) で表される。

/++00..55 ++00..55 f++00..55 _t 、

- -00..55 J J --00..55 J J --00..55 F(_X,y，t)dxd_ydt

• · · ( 1 2 7) その他の検出素子 2— 1も同様に、対象とする検出素子 2— 1の中心を空間方向の原点とすることで、式（1 2 7) で示される画素値 Pを出力することになる。ところで、上述したように、 2次元多項式近似手法は、実世界 1の光信号を、例えば、図 2 24で示されるような波形 F(x，y)として扱い、その 2次元の波形 F(x, y)を、 2次元の多項式である近似関数 f (x, y)に近似する手法である。

そこで、はじめに、このような近似関数 f (x，y)を 2次元の多項式で表現する手法について説明する。

上述したように、実世界 1の光信号は、 3次元の空間上の位置 x，y、および z、並びに時刻 tを変数とする光信号関数 F (X, y, t)で表される。この光信号関数 F(x, y, t)を、 Y方向の任意の位置 yにおいて、 X方向に射影した 1次元の波形を、ここでは、 X断面波形 F(x)と称している。

この X断面波形 F ( X ) に注目すると、実世界 1の信号が、空間方向の所定の方向に定常性を有している場合、 X断面波形 F ( X ) と同一形状の波形がその定常性の方向に連なっていると考えることができる。例えば、図 2 2 4の例では、 X断面波形 F ( X ) と同一形状の波形が、傾き G_Fの方向に連なっている。換言すると、 X断面波形 F ( X ) と同一形状の波形が傾き G_Pの方向に連なって、波形 F(x, y)が形成されているとも言える。

従って、波形 F(x, y)を近似する近似関数 f (x，y)の波形は、 X断面波形 F(x) を近似する近似関数 f(x)と同一形状の波形が連なって形成されると考えることで、近似関数 f (X, y)を 2次元の多項式で表現することが可能になる。

さらに詳細に、近似関数 f(x，y)の表現方法について説明する。

例えば、いま、上述した図 2 24で示されるような、実世界 1の光信号、即ち、傾き G_Fで表される空間方向の定常性を有する光信号が、センサ 2 (図 2 2 5) により検出されて入力画像（画素値）として出力されたとする。

さらに、図 2 2 6で示されるように、データ定常性検出部 1 0 1 (図 3) 1S この入力画像のうちの、 X方向に 4画素分、かつ Y方向に 5画素分の総計 2 0個の画素（図中、点線で表される 2 0個の正方形）から構成される入力画像の領域 240 1に対してその処理を実行し、データ定常性情報の 1つとして角度 0 (傾き G_P に対応する傾き G_f で表されるデータの定常性の方向と、 X方向とのなす角度 0) を出力したとする。

なお、入力画像の領域 240 1において、図中水平方向は、空間方向の 1方向である X方向を表しており、図中垂直方向は、空間方向の他方向である Y方向を表している。

また、図 2 2 6中、左から 2画素目であって、下から 3画素目の画素が注目画素とされ、その注目画素の中心を原点（0，0)とするように（x，y)座標系が設定されている。そして、原点（0，0)を通る角度 Θの直線（データの定常性の方向を表す傾き G_f の直線）に対する X方向の相対的な距離（以下、断面方向距離と称する）が x'と記述されている。

さらに、図 2 2 6中、右側のグラフは、 X断面波形 F(x')が近似された関数であって、 n次（n は、任意の整数）の多項式である近似関数 f(x')を表している右側のグラフの軸のうち、図中水平方向の軸は、断面方向距離を表しており、図中垂直方向の軸は、画素値を表している。

この場合、図 2 2 6で示される近似関数 f(x')は、 n次の多項式であるので、次の式（1 2 8) のように表される。

n .

f (X，） = W₀+WiX，+Wゥ Χ， + · ' '+W_nX，ⁿ = ∑ WjX"

i=0

• - · ( 1 2 8) また、角度 0が決定されていることから、原点（0,0)を通る角度 Θの直線は一意に決まり、 Y方向の任意の位置 yにおける、直線の X方向の位置力次の式（1 2 9) のように表される。ただし、式（1 2 9) において、 sは cot Θを表している。

_Xl = s X y · ■ ■ (1 2 9)

即ち、図 2 2 6で示されるように、傾き G_f で表されるデータの定常性に対応する直線上の点は、座標値（X， y)で表される。

式（1 2 9) より、断面方向距離 x，は、次の式（1 3 0) のように表される _c = x— x₁ = x— sX y ' · · ( 1 3 0)

従って、入力画像の領域 240 1内の任意の位置（x,y)における近似関数 f(x，y)は、式（1 2 8) と式（1 3 0) より、次の式（1 3 1) のように示される。

n

f (x, y) = - Wj -sxy)¹

i=o

• · · ( 1 3 1 ) なお、式（1 3 1 ) において、 Wi は、近似関数 f (x,y)の係数を表している。なお、近似関数 f (x，y)を含む近似関数 f の係数を、近似関数 f の特徴量と位置づけることもできる。従って、以下、近似関数 ίの係数を、近似関数 f の特徴量 ^ とも称する。

このようにして、角度 0が既知であれば、 2次元波形の近似関数 f (x,y)を、式（1 3 1 ) の多項式として表現することができる。

従って、実世界推定部 1 0 2は、式（1 3 1) の特徴量 wiを演算することができれば、図 2 24で示されるような波形 F(x，y)を推定することができる。

そこで、以下、式（1 3 1 ) の特徴量 wiを演算する手法について説明する。即ち、式（1 3 1 ) で表される近似関数 f(x，y)を、画素（センサ 2の検出素子 2— 1 (図 2 2 5) ) に対応する積分範囲（空間方向の積分範囲）で積分すれば、その積分値が、画素の画素値の推定値となる。このことを、式で表現したものが、次の式（1 3 2) である。なお、 2次元多項式近似手法においては、時間方向 tは一定値とみなされるので、式（1 3 2) は、空間方向（X方向と Y方法）の位置 x,yを変数とする方程式とされている。 T/JP2004/001488

265 ^p(x'^y) Wi (x~sxy)'+e

• · · (1 3 2) 式（1 3 2) において、 P(x，y)は、センサ 2からの入力画像のうちの、その中心位置が位置（x，y) (注目画素からの相対位置（x，y)) に存在する画素の画素値を表している。また、 eは、誤差を表している。

このように、 2次元多項式近似手法においては、入力画素値 P(x，y)と、 2次元の多項式である近似関数 f(x，y)の関係を、式（1 3 2) で表現することが可能であるので、実世界推定部 1 0 2は、式（1 3 2) を利用して、特徴量 wi を、例えば、最小自乗法等により演算することで（演算した特徴量 wiを式（1 3 0) に代入して近似関数 f(x,y)を生成することで）、 2次元の関数 F(x，y) (傾き G_F (図 2 24) で表される空間方向の定常性を有する実世界 1の光信号を、空間方向に着目して表した波形 F (x, y) ) を推定することが可能となる。

図 2 2 7は、このような 2次元多項式近似手法を利用する実世界推定部 1 0 2 の構成例を表している。

図 2 2 7で示されるように、実世界推定部 1 0 2には、条件設定部 24 2 1、入力画像記憶部 24 2 2、入力画素値取得部 24 2 3、積分成分演算部 24 24、正規方程式生成部 24 2 5、および近似関数生成部 24 2 6が設けられている。条件設定部 2 4 2 1は、注目画素に対応する関数 F(x,y)を推定するために使用する画素の範囲（タップ範囲）や、近似関数 f(x,y)の次数 nを設定する。

入力画像記憶部 24 2 2は、センサ 2からの入力画像（画素値）を一次格納する。

入力画素値取得部 24 2 3は、入力画像記憶部 24 2 2に記憶された入力画像のうちの、条件設定部 24 2 1により設定されたタップ範囲に対応する入力画像の領域を取得し、それを入力画素値テーブルとして正規方程式生成部 24 2 5に供給する。即ち、入力画素値テーブルは、入力画像の領域に含まれる各画素のそれぞれの画素値が記述されたテーブルである。なお、入力画素値テーブルの具体例については後述する。

ところで、上述したように、 2次元多項式近似手法を利用する実世界推定部 1 02は、上述した式（1 32) を最小自乗法で解くことにより、上述した式 (1 3 1) で示される近似関数 f (x，y)の特徴量を演算する。

式（1 3 2) は、次の式（1 3 3) 乃至式（1 35) を用いることで得られる次の式（1 36) を使用することで、次の式（1 3 7) のように表現することができる。

i+1

+1

(1 3 3) i+1

(x-sxy)

j (x-s y)'dx

(1 34)

(1 3 5)

J»y+0.5 广 x+0.5 r»y y-+0.5

n_r I „「 (x— sxyVdxdy = I

y-0.5 Jx-0.5 v y—-o.5 dy

i+1

₌ y十+'o.5 (x+0.5-sxy)ⁱ⁺¹ -(x-0.5-sxy)

J y-0 dy

y-0.5 +1

i+2 y+0.5 +2 y+0.5

(x+0.5-sxy) (x-0.5-sxy)

s(i+1) (i+2) y-0.5 s(i+1) (i+2) . y-0.5

(1 36) 2004/001488

267

^{P (X}' ^{y) =} ο 3(.₊1)'(.₊2) ^ί(χ+0·⁵-^{3Χγ+α 53)}

一 (x+0.5-sxy-0.5s)ⁱ⁺²-(x-0.5-s y+0.5s)ⁱ⁺²

+ (x-0.5-s y-0.5s)ⁱ⁺²]+e

n

= ∑ jSj (x— 0.5, x+0.5， y-0.5, y+0.5) +e

i=0

• · · (1 3 7) 式（1 3 7) において、 Si (x-0.5, x+0.5, y-0.5, y+0.5) は、 i次項の積分成分を表している。即ち、積分成分 Si (x-0.5, x+0.5, y-0.5, y+0.5) は、次の式 (1 3 8) で示される通りである。

S; (x-0.5， x+0.5, y-0.5, y+0.5) =

(x+0i-sxy+0 s)ⁱ⁺²-(x+0.5-sxy-0.5s)ⁱ⁺²-(x-0.5-sxy+0.5s)ⁱ⁺²+(x-0,5-sxy-0.5s)ⁱ⁺²

" s(i+1)(i+2)

- - - (1 3 8) 積分成分演算部 2424は、この積分成分 Si (x-0.5, x+0.5, y-0.5, y+0.5) を演算する。

具体的には、式（1 3 8) で示される

積分成分 Si (x-0.5, x+0.5, y-0.5, y+0.5) は、相対画素位置（x，y)、上述した式 (1 3 1) における変数 s、および、 i次項の iが既知であれば、演算可能である。これらのうちの、相対画素位置（x，y)は注目画素とタップ範囲により、変数 sは cot 0であるので角度 0により、 iの範囲は次数 nにより、それぞれ決定される。

従って、積分成分演算部 2424は、条件設定部 242 1により設定されたタップ範囲および次数、並びにデータ定常性検出部 10 1より出力されたデータ定常性情報のうちの角度 Θに基づいて積分成分 Si (x-0.5, x+0.5, y-0.5, y+0.5) を演算し、その演算結果を積分成分テーブルとして正規方程式生成部 2425に供給する。正規方程式生成部 2 4 2 5は、入力画素値取得部 2 4 2 3より供給された入力画素値テーブルと、積分成分演算部 2 4 2 4より供給された積分成分テーブルを利用して、上述した式（1 3 2 ) 、即ち、式（1 3 7 ) を最小自乗法で求める場合の正規方程式を生成し、それを正規方程式テーブルとして近似関数生成部 2 4 2 6に出力する。なお、正規方程式の具体例については後述する。

近似関数生成部 2 4 2 6は、正規方程式生成部 2 4 2 5より供給された正規方程式テーブルに含まれる正規方程式を行列解放で解くことにより、上述した式 ( 1 3 2 ) の特徴量（即ち、 2次元多項式である近似関数： (x，y)の係数）のそれぞれを演算し、画像生成部 1 0 3に出力する。

次に、図 2 2 8のフローチャートを参照して、 2次元多項式近似手法が適用される実世界の推定処理（図 4 0のステップ S 1 0 2の処理）について説明する。例えば、いま、傾き G_Fで表される空間方向の定常性を有する実世界 1の光信号が、センサ 2 (図 2 2 5 ) により検出されて、 1フレームに対応する入力画像として、入力画像記憶部 2 4 2 2に既に記憶されているとする。また、データ定常性検出部 1 0 1が、ステップ S 1 0 1 (図 4 0 ) の定常性の検出の処理において、入力画像のうちの、上述した図 2 2 6で示される領域 2 4 0 1に対して処理を施して、データ定常性情報として角度 6を既に出力しているとする。

この場合、ステップ S 2 4 0 1において、条件設定部 2 4 2 1は、条件（タツプ範囲と次数）を設定する。

例えば、いま、図 2 2 9で示されるタップ範囲 2 4 4 1が設定されるとともに、次数として 5次が設定されたとする。

即ち、図 2 2 9は、タップ範囲の一例を説明する図である。図 2 2 9において、 X方向と Y方向は、センサ 2の X方向と Y方向（図 2 2 5 ) を表している。また、タップ範囲 2 4 4 1は、 X方向に 4画素分、かつ Y方向に 5画素分の総計 2 0個の画素（図中、 2 0個の正方形）からなる画素群を表している。

さらに、図 2 2 9に示されるように、注目画素が、タップ範囲 2 4 4 1のうちの、図中、左から 2画素目であって、下から 3画素目の画素に設定されるとする。また、各画素のそれぞれに対して、注目画素からの相対画素位置（X, y) (注目画素の中心（0,0)を原点とする注目画素座標系の座標値）に応じて、図 2 29で示されるような番号 1 (1は、 0乃至 1 9のうちのいずれかの整数値）が付されるとする。

図 228に戻り、ステップ S 2402において、条件設定部 242 1は、注目画素を設定する。

ステップ S 240 3において、入力画素値取得部 242 3は、条件設定部 24 2 1により設定された条件（タップ範囲）に基づいて入力画素値を取得し、入力画素値テーブルを生成する。即ち、いまの場合、入力画素値取得部 2423は、入力画像の領域 240 1 (図 226) を取得し、入力画素値テーブルとして、 2 0個の入力画素値 P (1)からなるテーブルを生成する。

なお、いまの場合、入力画素値 P(l)と、上述した入力画素値 P(x,y)の関係は、次の式（1 39) で示される関係とされる。ただし、式（1 3 9) において、左辺が入力画素値 P ( 1 ) を表し、右辺が入力画素値 P(x，y)を表している。

P(0) = P(0,0)

P(1) = P(-1,2)

P(2) = P(0, 2)

P(3) = P(1,2)

P(18) = P(1, -2)

P(19) = P(2, -2)

• · · (1 3 9) ステップ S 2404において、積分成分演算部 2424は、条件設定部 242 1により設定された条件（タップ範囲および次数）、並びにデータ定常性検出部 101より供給されたデータ定常性情報（角度 Θ ) に基づいて積分成分を演算し、積分成分テ一ブルを生成する。

いまの場合、上述したように、入力画素値は、 P(x,y)でなく P(l)といった、画素の番号 1の値として取得されるので、積分成分演算部 2424は、上述した式（1 38) の積分成分 Si (x-0.5, x+0.5, y- 0.5, y+0.5)を、次の式（ 14 0) の左辺で示される積分成分 Si (1)といった 1の関数として演算する。

Sj ( 1 ) = S; (x-0.5, x+0.5, y-0.5, y+0.5) , ■ ■ (140)

具体的には、いまの場合、次の式（14 1) で示される積分成分 Si (1)が演算される。 s (0) =S (一 0.5,0.5, -0.5, 0.5)

s (1) =S (-1.5, -0.5,1.5, 2.5)

s (2) =S (一 0.5, 0.5,1.5, 2.5)

s (3) =S (0.5,1.5,1.5, 2.5)

s (4) =S (1.5， 2.5,1.5, 2.5)

s (5) =S (-1.5, -0.5, 0.5,1.5)

s (6) =S (-0.5,0.5, 0.5,1.5)

s (7) =S (0.5,1.5, 0.5,1.5)

s (8) =S (1.5, 2.5， 0.5,1.5)

s (9) =S (-1.5,一 0.5, -0.5， 0.5)

s (10) =S (0.5, 1.5, -0.5, 0.5)

s :11) =S (1.5, 2.5，一 0.5, 0.5)

s (12) =S (-1.5,一 0.5, -1.5, -0.5)

s (13) =S (-0.5,0.5, -1.5, -0.5)

s (14) =S ,(0.5,1.5, -1.5, -0.5)

s (15) =S i(1.5, 2.5, -1.5, -0.5)

s (16) =S i (一 1.5， -0.5， -2.5, -1.5)

s (17) =S i(-0.5,0.5, -2.5, -1.5)

s (18) =S i(0.5, 1.5,一 2.5, -1.5)

s (19) =S id.5, 2.5, -2.5, -1.5)

• · · ( 1 4 1 ) なお、式（1 4 1 ) において、左辺が積分成分 Si ( 1 )を表し、右辺が積分成分 Si (X- 0.5， x+0.5, y- 0.5， y+0.5)を表している。即ち、いまの場合、 iは 0乃至 5であるので、 2 0個の S。（1), 2 0個の Si (1), 2 0個の S₂ (1)， 2 0個の S₃ (1)， 2 0個の S₄ (1)， 2 0個の S₅ (1)の総計 1 2 0個の Si (1)が演算されることになる。

より具体的には、はじめに、積分成分演算部 2 4 2 4は、データ定常性検出部 1 0 1より供給された角度 0に対する cot 0を演算し、それを変数 sとする。次に、積分成分演算部 24 24は、演算した変数 sを使用して式（1 40) の右辺で示される 20個の積分成分 Si (X- 0.5，x+0.5，y-0.5, y+0.5) のそれぞれを、 i= 0乃至 5のそれぞれについて演算する。即ち、 1 20個の

積分成分 Si (X- 0.5， x+0.5, y_0.5, y+0.5) が演算されることになる。なお、この積分成分 Si (x- 0.5， x+0.⁵, y_0.5， y+0.5) の演算においては、上述した式（1 3 8) が使用される。そして、積分成分演算部 2424は、式（14 1) に従って、演算した 1 20個の積分成分 Si (x-0.5, x+0.5， y- 0.5, y+0.5)のそれぞれを、対応する Si (1)のそれぞれに変換し、変換した 1 20個の Si (1)を含む積分成分テ一ブルを生成する。

なお、ステップ S 2403の処理とステップ S 2404の処理の順序は、図 2 28の例に限定されず、ステップ S 2404の処理が先に実行されてもよいし、ステップ S 2403の処理とステップ S 2404の処理が同時に実行されてもよい。

次に、ステップ S 2405において、正規方程式生成部 24 25は、ステップ S 2403の処理で入力画素値取得部 2423により生成された入力画素値テープルと、ステップ S 2404の処理で積分成分演算部 2424により生成された積分成分テープルに基づいて、正規方程式テーブルを生成する。

具体的には、いまの場合、上述した式（1 3 7) を利用して最小自乗法により特徴量が演算される（ただし、式（1 3 6) において、

積分成分 Si (X- 0.5, x+0.5, y- 0.5， y+0.5)は、式（140) により変換される Si(l)が使用される）ので、それに対応する正規方程式は、次の式（142) のように表される。

• ■ · (142) なお、式（142) において、 Lは、タップ範囲の画素の番号 1のうちの最大値を表している。 nは、多項式である近似関数 f(x)の次数を表している。具体的には、いまの場合、 n=5となり、 L-1 9となる。

式（142) で示される正規方程式の各行列のそれぞれを、次の式（143) 乃至（145) のように定義すると、正規方程式は、次の式（146) のよう表現される。 (l)

ノ

(143)

Wo、

(144)

ノ

(145)

^S AT½T = ^PMAT

(146) 式（1 44) で示されるように、行列 W_MAT の各成分は、求めたい特徴量である。従って、式（1 4 6) において、左辺の行列 S_MAT と右辺の行列 P_MAT が決定されれば、行列解法によって行列 W_{M Α τ} の演算が可能になる。

具体的には、式（1 4 3) で示されるように、行列 S_MAT の各成分は、上述した積分成分 Si (1)で演算可能である。即ち、積分成分 Si (1)は、積分成分演算部 24 24より供給された積分成分テーブルに含まれているので、正規方程式生成部 24 2 5は、積分成分テーブルを利用して行列 S_MAT の各成分を演算することができる。

また、式（1 4 5) で示されるように、行列 P_MAT の各成分は、積分成分

Si (1)と入力画素値 P(l)で演算可能である。即ち、積分成分 Si (1)は、行列 S_MATの各成分に含まれるものと同一のものであり、また、入力画素値 P(l)は、入力画素値取得部 24 2 3より供給された入力画素値テーブルに含まれているので、正規方程式生成部 24 2 5は、積分成分テーブルと入力画素値テ一ブルを利用して行列 P_MAT の各成分を演算することができる。

このようにして、正規方程式生成部 24 2 5は、行列 S_MAT と行歹 ⁽JP_MAT の各成分を演算し、その演算結果（行列 S_MAT と行列 P_MAT の各成分）を正規方程式テーブルとして近似関数生成部 2 4 2 6に出力する。

正規方程式生成部 24 2 5より正規方程式テーブルが出力されると、ステップ S 24 0 6において、近似関数生成部 24 2 6は、正規方程式テーブルに基づいて、上述した式（1 46) の行列 _AT の各成分である特徴量 _Wi (即ち、 2次元多項式である近似関数 f (x,y)の係数^) を演算する。

具体的には、上述した式（1 4 6) の正規方程式は、次の式（1 4 7) のように変形できる。

¾Γ = ^S AT^P AT

· ■ ■ (1 4 7) 式（1 4 7) において、左辺の行列 W_{M AT}の各成分が、求めたい特徴量 ^ である。また、行列 S_{M A T} と行列 P_{M A T}のそれぞれの各成分は、正規方程式生成部 2 4 2 5より供給された正規方程式テーブルに含まれている。従って、近似関数生成部 2 4 2 6は、正規方程式テーブルを利用して、式（1 4 7 ) の右辺の行列演算を行うことで行列 W_{M A T} を演算し、その演算結果（特徴量^ ) を画像生成部 1 0 3に出力する。

ステップ S 2 4 0 7において、近似関数生成部 2 4 2 6は、全画素の処理を終了したか否かを判定する。

ステップ S 2 4 0 7において、全画素の処理がまだ終了されていないと判定された場合、処理はステップ S 2 4 0 2に戻り、それ以降の処理が繰り返される。即ち、まだ注目画素とされない画素が、順次注目画素とされて、ステップ S 2 4 0 2乃至 S 2 4 0 7の処理が繰り返される。

そして、全画素の処理が終了すると（ステップ S 2 4 0 7において、全画素の処理が終了されたと判定されると）、実世界 1の推定処理は終了となる。

以上、 2次元多項式近似手法の説明として、空間方向（X方向と Y方向）に対する近似関数 f (x，y)の係数（特徴量） Wi を演算する例を用いたが、 2次元多項式近似手法は、時空間方向（X方向と t方向、または、 Y方向と t方向）に対しても適用可能である。

即ち、上述した例は、実世界 1の光信号が、例えば、傾き G_F (図 2 2 4 ) で表される空間方向の定常性を有する場合の例であったので、上述した式（1 3 2 ) で示されるような、空間方向（X方向と Y方向）の二次元積分が含まれる式が利用された。しかしながら、二次元積分の考え方は、空間方向だけによるものではなく、時空間方向（X方向と t方向、または、 Y方向と t方向）に対して適用することも可能である。

換言すると、 2次元多項式近似手法においては、推定したい光信号関数 F (_X，y, t)が、空間方向の定常性のみならず、時空間方向（ただし、 X方向と t方向、または、 Y方向と t方向）の定。常性を有している場合であっても、 2次元の多項式により近似することが可能である。具体的には、例えば、 X方向に水平に等速で動いている物体がある場合、その物体の動きの方向は、図 230で示されるような X - 1平面においては、傾き V_F のように表される。 · 換言すると、傾き V_Fは、 X - 1平面における時空間方向の定常性の方向を表しているとも言える。従って、データ定常性検出部 10 1は、上述した角度 θ (X-Y平面における、傾き G_Fで表される空間方向の定常性に対応するデータ定常性情報）と同様に、 X-t平面における時空間方向の定常性を表す傾き V_Fに対応するデータ定常性情報として、図 2 3◦で示されるような動き Θ

(厳密には、図示はしないが、傾き V_F に対応する傾き V_f で表されるデータの定常性の方向と、空間方向の X方向とのなす角度である動き 0) を出力することが可能である。

従って、 2次元多項式近似手法を利用する実世界推定部 10 2は、動き 0を上述した角度 Θの代わりとして使用すれば、上述した方法と同様な方法で、近似関数 f(x，t)の係数（特徴量） ^ を演算することが可能になる。ただし、この場合、使用される式は、上述した式（1 32) ではなく、次の式（148) である。

、 .tt++00..55 r ηxΧ++00..55 旦 ϋ -

P(x, t) = I _{Λ c} I _Λ — ∑ W: x-s t)'dxdt+e

― •'tし-— υ0..リ 5 • -'' Λx- u0..5 j :__on ¹

• · · (148) なお、式（148) において、 sは cot0 (ただし、 0は動きである）である。また、空間方向 Xの変わりに、空間方向 Yに注目した近似関数 f (y,t)も、上述した近似関数 f(x、t)と全く同様に取り扱うことが可能である。

このように、 2次元多項式近似手法においては、例えば、図 20 5 (図 3) のデータ定常性検出部 10 1が、それぞれ時空間積分効果を有する、センサの複数の検出素子（例えば、図 22 5のセンサ 2の検出素子 2— 1) により実世界 1 (図 205) の光信号が射影され、実世界 1の光信号の定常性（例えば、図 22 4の傾き G_Fで表される定常性）の一部が欠落した、検出素子 2— 1により射影された画素値を有する複数の画素からなる画像データ（例えば、図 205の入力画像）におけるデータの定常性（例えば、図 226の傾き G_f で表されるデータの定常性）を検出する。

そして、例えば、図 2 0 5 (図 3 )の実世界推定部 1 0 2 (構成は、図 2 2 7 ) 1S データ定常性検出部 1 0 1により検出されたデータの定常性に対応して、画像データの時空間方向のうち少なくとも 2次元方向（例えば、図 2 2 4と図 2 2 5の空間方向 Xと、空間方向 Y ) の位置に対応する画素の画素値（例えば、上述した式（1 3 1 ) の左辺である入力画素値 P (x、y) ) 、少なくとも 2次元方向の積分効果により取得された画素値（例えば、式（1 3 2 ) の右辺に示されるように、上述した式（1 3 1 ) で示される近似関数 f (x，y)が X方向と Y方向に積分された値）であるとして、実世界 1の光信号を表す光信号関数 F (具体的には、図 2 2 4の関数 F (x，y) ) を、多項式である近似関数 f (例えば、式（1 3 1 ) で示される近似関数 f (x, y) ) で近似することで、光信号関数 F を推定する。詳細には、例えば、実世界推定部 1 0 2は、データ定常性検出部 1 0 1により検出されたデータの定常性に対応する線（例えば、図 2 2 6の傾き G_f に対応する線（矢印））からの少なくとも 2次元方向に沿った距離（例えば、図 2 2 6の断面方向距離 X ') に対応する画素の画素値が、少なくとも 2次元方向の積分効果により取得された画素値であるとして、現実世界の光信号を表す第 1の関数を、多項式である第 2の関数で近似することで、第 1の関数を推定する。

このように、 2次元多項式近似手法は、 1次元ではなく 2次元の積分効果を考慮しているので、 1次元多項式近似手法に比較して、より正確に実世界 1の光信号を推定することが可能になる。

次に、図 2 3 1乃至図 2 3 5を参照して、第 3の関数近似手法について説明する。

即ち、第 3の関数近似手法とは、例えば、時空間方向のうちの所定の方向の定常性を有する実世界 1の光信号が、光信号関数 F (x， y, t)で表されることに注目して、近似関数 f (x，y, t)で光信号関数 F (_X，y，t)を近似することによって、光信号関数 F (x，y，t)を推定する手法である。従って、以下、第 3の関数近似手法を、 3次元関数近似手法と称する。また、 3次元関数近似手法の説明においても、センサ 2は、図 2 3 1で示されるような、複数の検出素子 2— 1がその平面上に配置されて構成される C C Dとされる。

図 231の例では、検出素子 2— 1の所定の 1辺に平行な方向が、空間方向の 1方向である X方向とされており、 X方向に垂直な方向が、空間方向の他方向である Y方向とされている。そして、 X— Y平面に垂直な方向が、時間方向である t方向とされている。

また、図 23 1の例では、センサ 2の各検出素子 2— 1のそれぞれの空間的な形状は、 1辺の長さが 1の正方形とされている。そして、センサ 2のシャツタ時間（露光時間）が 1とされている。

さらに、図 23 1の例では、センサ 2の所定の 1つの検出素子 2— 1の中心が、空間方向（X方向と Y方向）の原点（X方向の位置 x = 0、および Y方向の位置 y = 0) とされており、また、露光時間の中間時刻が、時間方向（t方向）の原点（方向の位置 =0) とされている。

この場合、空間方向の原点（x = 0， y = 0) にその中心が存在する検出素子 2— 1は、 X方向に- 0.5乃至 0.5の範囲、 Y方向に- 0.5乃至 0.5の範囲、および t方向に- 0.5乃至 0.5の範囲で光信号関数 F(x，y, t)を積分し、その積分値を画素値 Pとして出力することになる。

即ち、空間方向の原点にその中心が存在する検出素子 2— 1から出力される画素値 Pは、次の式（14 9) で表される。

/ ++00..55 +0.5 r++00..55 , 、

— -0₀.5丄 J -0.5丄 ^-0.55 F(x，y，

·.· ■ (149) その他の検出素子 2— 1も同様に、対象とする検出素子 2— 1の中心を空間方向の原点とすることで、式（149) で示される画素値 Pを出力することになる _c ところで、上述したように、 3次元関数近似手法においては、光信号関数 F(x, y， t)は、 3次元の近似関数 f (x， y, t)に近似される。具体的には、例えば、近似関数 f (x,y，t)を、 N個の変数（特徴量）を有する関数とし、式（1 4 9) に対応する入力画素値 P(x, y，t)と近似関数 f(_x, y，t)の関係式を定義する。これにより、 Nより大きい M個の入力画素値 P(x,y，t)が取得されていれば、定義された関係式から N個の変数（特徴量）の算出が可能である。即ち、実世界推定部 1 0 2は、 M個の入力画素値 P(x，y,t)を取得して N 個の変数（特徴量）を演算することで、光信号関数 F(x，y，t)を推定することが可能である。

この場合、実世界推定部 1 0 2は、センサ 2からの入力画像（入力画素値）に含まれるデータの定常性を縛りとして（即ち、データ定常性検出部 1 0 1より出力される入力画像に対するデータ定常性情報を利用して）、入力画像全体のうちの、 M個の入力画像 P(x,y,t)を抽出（取得）する。結果的に、予測関数

f (x, y， t)は、データの定常性に拘束されることになる。

例えば、図 2 3 2で示されるように、入力画像に対応する光信号関数

F(x,y，t)が、傾き G_Fで表される空間方向の定常性を有している場合、データ定常性検出部 1 0 1は、入力画像に対するデータ定常性情報として、角度 Θ (傾き G_F に対応する傾き G_f (図示せず）で表されるデータの定常性の方向と、 X方向のなす角度 0 ) を出力することになる。

この場合、光信号関数 F(x,y,t)を X方向に射影した 1次元の波形（ここでは、このような波形を、 X断面波形と称している）は、 Y方向のいずれの位置で射影した場合であっても同一の形状であるとする。

即ち、同一形状の X断面波形が、定常性の方向（X方向に対して角度 Θ方向）に連なっている 2次元の（空間方向の）波形が存在するとし、そのような 2次元波形が時間方向 tに連なった 3次元波形を、近似関数 f (x， y, t)で近似する。

換言すると、注目画素の中心から Y方向に位置 yだけずれた X断面波形は、注目画素の中心を通る X断面波形が X方向に所定の量（角度 Θに応じて変化する量）だけ移動した（シフトした）波形となる。なお、以下、このような量を、シフト量と称する。 4001488

280

このシフト量は、次のようにして算出が可能である。

即ち、傾き V_f (例えば、図 2 3 2の傾き V_F に対応する、データの定常性の方向を表す傾き V_f ) と角度 0は、次の式（1 5 0) のように表される。

6_f = tan θ = · · · (1 5 0) なお、式（1 5 0) において、 dxは、 X方向の微小移動量を表しており、 dy は、 dxに対する Y方向の微小移動量を表している。

従って、 X方向に対するシフト量を C_x (y)と記述すると、次の式（1 5 1) のように表される。 f^af

• · · ( 1 5 1) このようにして、シフト量 C_x (y)を定義すると、式（1 4 9) に対応する入力画素値 P(x,y,t)と近似関数 f (x，y, t)の関係式は、次の式（1 5 2) のように表される。

P(x, y,t) = L ^e I ^e Pfi . y,t)dxdydt+e

• · · ( 1 5 2) 式（1 5 2) において、 eは、誤差を表している。 t_sは、 t方向の積分開始位置を表しており、は、 t方向の積分終了位置を表している。同様に、 y_s は、 Y方向の積分開始位置を表しており、 y_e は、 Y方向の積分終了位置を表している。また、 x_s は、 X方向の積分開始位置を表しており、 x_e は、 X方向の積分終了位置を表している。ただし、具体的な各積分範囲のそれぞれは、次の式（1 5 3) で示される通りになる。 1488

281 t_s - 1-0.5

t_e = t+0.5

y_s = y-o.5

y_e = y+o.5

x_s = x-C_x(y)-0.5

x_e = x-C_x(y)+0.5

• · · (1 5 3) 式（1 5 3) で示されるように、注目画素から空間方向に（x，y)だけ離れて位置する画素に対する X方向の積分範囲を、シフト量 C_x (y)だけ移動させることで、同一形状の X断面波形が、定常性の方向（X方向に対して角度 Θ方向）に連なつていることを表すことが可能になる。

このように、 3次元関数近似手法においては、画素値 P(x，y、t)と、 3次元の近似関数 f(x,y,t)の関係を式（1 5 2) (積分範囲は、式（1 53) ) で表すことができるので、式（1 5 2) と式（1 53) を利用して、近似関数

，7，1：)の個の特徴量を、例えば、最小自乗法等により演算することで、光信号関数 F(x，y，t) (例えば、図 23 2で示されるような傾き V_F表される空間方向の定常性を有する光信号）の推定が可能となる。

なお、光信号関数 F(x，y，t)で表される光信号が、例えば、図 23 2で示されるような傾き V_Fで表される空間方向の定常性を有している場合、次のようにして光信号関数 F(x,y,t)を近似してもよい。

即ち、光信号関数 F(x,y, t)を Y方向に射影した 1次元の波形（以下、このような波形を、 Y断面波形と称する）は、 X方向のいずれの位置で射影した場合であっても同一の形状であるとする。

換言すると、同一形状の Y断面波形が、定常性の方向（X方向に対して角度 0 方向）に連なっている 2次元の（空間方向の）波形が存在するとし、そのような 2次元波形が時間方向 tに連なった 3次元波形を、近似関数 f (X, y, t)で近似する。従って、注目画素の中心から X方向に xだけずれた Y断面波形は、注目画素 0中心を通る Υ断面波形が Υ方向に所定のシフト量（角度 0に応じて変化するシフト量）だけ移動した波形となる。

このシフト量は、次のようにして算出が可能である。

即ち、傾き G_F力 S、上述した式（ 1 5 0) のように表されるので、 Y方向に対するシフト量を C_y (x)と記述すると、次の式（1 54) のように表される。

• · · ( 1 5 4) このようにして、シフト量 C_y (X)を定義すると、式（1 4 9) に対応する入力画素値 P(x,y，t)と近似関数: f(x，y,t)の関係式は、シフト量 C_x (y)を定義したときと同様に、上述した式（1 5 2) で表される。

ただし、今度は、具体的な各積分範囲のそれぞれは、次の式（1 5 5) で示される通りになる。 t_s = t一 0.5

t_e = t+0.5

y_s = y-C_y(x)-0.5

x„ = x - 0.5

x_e = x+0.5 · · · ( 1 5 5) 式（1 5 5) (および上述した式（1 5 2) ) で示されるように、注目画素から（x,y)だけ離れて位置する画素に対する Y方向の積分範囲を、シフト量 C_y (x) だけ移動させることで、同一形状の Y断面波形が、定常性の方向（X方向に対して角度 0方向）に連なっていることを表すことが可能になる。

このように、 3次元関数近似手法においては、上述した式（1 5 2) の右辺の積分範囲を式（1 5 3) のみならず式（1 5 5) とすることもできるので、積分範囲として式（1 5 5) が採用された式（1 5 2) を利用して、近似関数 7，" の11個の特徴量を、例えば、最小自乗法等により演算することで、光信号関数 F(x,y，t) (傾き G_Fで表される空間方向の定常性を有する実世界 1の光信号）の推定が可能となる。

このように、積分範囲を表す式（1 5 3) と式（1 5 5) は、定常性の方向にあわせて周辺画素を X方向にシフトさせるか（式（1 5 3) の場合）、或いは Y 方向にシフトさせるカゝ（式（1 5 5) の場合）の違いがあるだけであり、本質的には同じことを表している。

しかしながら、定常性の方向（傾き G_F) に応じて、光信号関数 F(x，y,t)を、 X断面波形の集まりと捉える力 \ Y断面波形の集まりと捉えるかが異なる。即ち、定常性の方向が Y方向に近い場合、光信号関数 F(x,y, t)を、 X断面波形の集まりと捉えた方が好適である。これに対して、定常性の方向が X方向に近い場合、光信号関数 F(x,y, t)を、 Y断面波形の集まりと捉えた方が好適である。

従って、実世界推定部 1 0 2は、積分範囲として式（1 5 3) と式（1 5 5) の両方を用意しておき、定常性の方向に応じて、適宜式（1 5 2) の右辺の積分範囲として、式（1 5 3) と式（1 5 5) のうちのいずれか一方を選択するとよい。

以上、光信号関数 F(x，y, t)が空間方向（X方向と Y方向）の定常性（例えば、図 2 3 2の傾き G_Pで表される空間方向の定常性）を有する場合についての 3次 π関数手法について説明したが、 3次元関数手法は、図 2 3 3で示されるように、光信号関数 F(x,y, t)が時空間方向（X方向、 Y方向、および t方向）の定常性 (傾き V_Pで表される定常性）を有する場合についても適用可能である。

即ち、図 2 3 3において、フレーム番号のフレームに対応する光信号関数が F(x、y、請 -1)とされ、フレーム番号 #Nのフレームに対応する光信号関数が F(x、y、#N)とされ、かつ、フレーム番号 #N+1のフレームに対応する光信号関数が F(x、y、 +1)とされている。

なお、図 2 3 3において、図中、水平方向は、空間方向の 1方向である X方向とされており、右斜め上方向は、空間方向の他方向である Y方向とされており、かつ、垂直方向は、時間方向である t方向とされている。

また、フレーム #N- 1は、フレーム #Nに対して時間的に前のフレームであり、フレーム +1は、フレーム湖に対して時間的に後のフレームである。即ち、フレーム - 1、フレーム #N、およびフレーム #N+1 は、フレーム #N-1、フレーム #N、およびフレーム +1の順で表示される。

図 233の例では、傾き V_Fで示される方向（図中左下手前から右上奥の方向）に沿った断面の光のレベルがほぼ一定とされている。従って、図 23 3の例では、光信号関数 F(x，y,t)は、傾き V_Fで表される時空間方向の定常性を有していると言える。

この場合、時空間方向の定常性を表す関数 C(x,y,1:)を定義し、かつ、定義された関数 C(x,y，t)を利用して、上述した式（1 5 2) の積分範囲を定義すれば、上述した式（1 5 3) や式（1 5 5) と同様に、近似関数 f(x,y, t)の N個の特徴量の算出が可能になる。 ·

関数 C(x,y,t)は、定常性の方向を表す関数であれば特に限定されない。ただし、以下においては、直線的な定常性であるとして、それに対応する関数

C(x,y,t)として、上述した空間方向の定常性を表す関数であるシフト量 C_x (y) (式（1 5 1) ) ゃシフト量 C_y ）（式（1 53) ) に相当する、 C_x (t)と

C_y ）を次のように定義するとする。

即ち、上述した空間方向のデータの定常性を表す傾き G_f に対応する、時空間方向のデータの定常性の傾きを V_f とすると、この傾き V_f を X方向の傾き（以下、 V_fx と記述する）と Y方向の傾き（以下、 V_fy と記述する）に分割すると、傾き V_fx は次の式 (1 5 6) で、傾き V_{f y} は次の式（1 5 7) で、それぞれ表される。

(1 5 6) v_f -

^Vfy dt

• · · (1 5 7) この場合、関数 C_x (t)は、式（1 5 6) で示される傾き V_{f x} を利用して、次の式（1 58) のように表される。

C_x(t) =V_fxXt

• · · (1 58) 同様に、関数 C_y (t)は、式（1 57) で示される傾き V_fy を利用して、次の式 (1 5 9) のように表される。

C_y(t) =V_fyXt

· · · (1 59) このようにして、時空間方向の定常性 25 1 1を表す関数 C_x (t)と関数 C_y (t) を定義すると、式（1 5 2) の積分範囲は、次の式（1 60) のように表される _c t_s = t-0.5

t_e = t+0.5

y_s = y-C_y(t)-0.5

y_e = y-C_y(t)+0.5

x_s = x-C_x(t)-0.5

x_e = x-C_x(t)+0.5

• · · (1 60) このように、 3次元関数近似手法においては、画素値 P(x，y、t)と、 3次元の近似関数 f(x，y，t)の関係を式（1 52) で表すことができるので、その式（1 52) の右辺の積分範囲として式（1 60) を利用して、近似関数 f(x,y，t)の n + 1個の特徴量を、例えば、最小自乗法等により演算することで、光信号関数 F(x，y，t) (時空間方向の所定の方向に定常性を有する実世界 1の光信号）を推定することが可能となる。

図 2 34は、このような 3次元関数近似手法を利用する実世界推定部 1 02の 2004/001488

286 構成例を表している。

なお、 3次元関数近似手法を利用する実世界推定部 1 0 2が演算する近似関数 f (x,y,t) (実際には、その特徴量（係数）を演算する）は、特に限定されない力以下の説明においては、 n (n = N-l) 次の多項式とされる。

図 2 34で示されるように、実世界推定部 1 0 2には、条件設定部 2 5 2 1、入力画像記憶部 2 5 2 2、入力画素値取得部 2 5 2 3、積分成分演算部 2 5 24、正規方程式生成部 2 5 2 5、および近似関数生成部 2 5 2 6が設けられている。条件設定部 2 5 2 1は、注目画素に対応する光信号関数 F(x,_y，t)を推定するために使用する画素の範囲（タップ範囲）や、近似関数 f (x,y，t)の次数 nを設定する。

入力画像記憶部 2 5 2 2は、センサ 2からの入力画像（画素値）を一次格納する。

入力画素値取得部 2 5 2 3は、入力画像記憶部 2 5 2 2に記憶された入力画像のうちの、条件設定部 2 5 2 1により設定されたタップ範囲に対応する入力画像の領域を取得し、それを入力画素値テーブルとして正規方程式生成部 2 5 2 5に供給する。即ち、入力画素値テーブルは、入力画像の領域に含まれる各画素のそれぞれの画素値が記述されたテーブルである。

ところで、上述したように、 3次元関数近似手法を利用する実世界推定部 1 0 2は、上述した式（1 5 2) (ただし積分範囲は、式（1 5 3) 、式（1 5 6) 、または式（1 6 0) ) を利用して最小自乗法により近似関数 f(x,y)の N個の特徴量（いまの場合、各次の係数）を演算する。

式（1 5 2) の右辺は、その積分を演算することで、次の式（1 6 1 ) のように表現することができる。

n

P(x, y, t) = λ WjSj (x_s， x_e, y_s, y_e, t_s, t_e) +e

i=0

· · · (1 6 1 ) 式（1 6 1 ) において、は、 i 次項の係数（特徴量）を表しており、また、 Si (x_s，x_e，y_s,y_e,t_s,tj は、 i次項の積分成分を表している。ただし、 x_s は X 方向の積分範囲の開始位置を、 x_e は X方向の積分範囲の終了位置を、 y_s は Y方向の積分範囲の開始位置を、 y_eは Y方向の積分範囲の終了位置を、 t_s は t方向の積分範囲の開始位置を、 t_e は t方向の積分範囲の終了位置を、それぞれ表している。

積分成分演算部 2 524は、この積分成分 Si (x_s,_Xe，y_s，y_e,t_s，t_e) を演算する。

即ち、積分成分演算部 25 24は、条件設定部 252 1により設定されたタツプ範囲おょぴ次数、並びにデータ定常性検出部 1 0 1より出力されたデータ定常性情報のうちの角度若しくは動き（積分範囲として、上述した式（1 5 3) 若しくは式（1 56) が利用される場合には角度であり、上述した式（1 60) が利用される場合には動きである）に基づいて積分成分 Si (x_a,x_e,y_s,y_e,t_s,t_e) を演算し、その演算結果を積分成分テーブルとして正規方程式生成部 2 52 5に供給する。

正規方程式生成部 2525は、入力画素値取得部 252 3より供給された入力画素値テーブルと、積分成分演算部 25 24より供給された積分成分テーブルを利用して、上述した式（16 1) を最小自乗法で求める場合の正規方程式を生成し、それを正規方程式テーブルとして近似関数生成部 25 26に出力する。正規方程式の例については、後述する。

近似関数生成部 2 526は、正規方程式生成部 25 25より供給された正規方程式テーブルに含まれる正規方程式を行列解放で解くことにより、特徴量 ^

(いまの場合、 3次元多項式である画素値関数 f (x,y)の係数のそれぞれを演算し、画像生成部 103に出力する。

次に、図 23 5のフローチャートを参照して、 3次元関数近似手法が適用される実世界の推定処理（図 40のステップ S 1 02の処理）について説明する。はじめに、ステップ S 2501において、条件設定部 252 1は、条件（タツプ範囲と次数）を設定する。 4001488

288

例えば、いま、 L個の画素からなるタップ範囲が設定されたとする。また、各画素のそれぞれに対して、所定の番号 1 (1は、 0乃至 L一 1のうちのいずれかの整数値）が付されるとする。

次に、ステップ S 2 5 0 2において、条件設定部 2 5 2 1は、注目画素を設定する。

ステップ S 2 5 0 3において、入力画素値取得部 2 5 2 3は、条件設定部 2 5 2 1により設定された条件（タップ範囲）に基づいて入力画素値を取得し、入力画素値テーブルを生成する。いまの場合、 L個の入力画素値 P(x，y， t)からなるテーブルが生成されることになる。ここで、 L個の入力画素値 P(x，y,t)のそれぞれを、その画素の番号 1の関数として P(l)と記述することにする。即ち、入力画素値テーブルは、 L個の P(l)が含まれるテーブルとなる。

ステップ S 2 5 04において、積分成分演算部 2 5 24は、条件設定部 2 5 2 1により設定された条件（タップ範囲および次数）、並びにデータ定常性検出部 1 0 1より供給されたデータ定常性情報（角度若しくは動き）に基づいて積分成分を演算し、積分成分テーブルを生成する。

ただし、いまの場合、上述したように、入力画素値は、 P(x，y, t)でなく P(l) といった、画素の番号 1の値として取得されるので、積分成分演算部 2 5 2 4 は、上述した式（1 6 1) の積分成分 Si (x_s,x_e,y_s,y_e,t_s,t_e) を、積分成分 Si d)といった 1 の関数として演算することになる。即ち、積分成分テーブルは、 L X i個の Si (1)が含まれるテーブルとなる。

なお、ステップ S 2 5 0 3の処理とステップ S 2 5 04の処理の順序は、図 2 3 5の例に限定されず、ステップ S 2 5 0 4の処理が先に実行されてもよいし、ステップ S 2 5 0 3の処理とステップ S 2 5 04の処理が同時に実行されてもよい。

次に、ステップ S 2 5 0 5において、正規方程式生成部 2 5 2 5は、ステップ S 2 5 0 3の処理で入力画素値取得部 2 5 2 3により生成された入力画素値テープルと、ステップ S 2 5 04の処理で積分成分演算部 2 5 24により生成された積分成分テープルに基づいて、正規方程式テーブルを生成する。

具体的には、いまの場合、最小自乗法により、上述した式（1 6 1) に対応する次の式（1 6 2) の特徴量 _Wi を演算する。で、それに対応する正規方程式は、次の式（1 63) のように表される。

= WjSj +e

ί=0

(16 2)

• · · (16 3) 式（1 6 3) で示される正規方程式の各行列のそれぞれを、次の式（1 64) 乃至（1 6 6) のように定義すると、正規方程式は、次の式（16 7) のよう表される。

ノ

(1 64) JP2004/001488

290

(1 6 5)

• · · (1 6 6) °MAT%T = ^PMAT

• · · (1 6 7) 式（1 6 5) で示されるように、行列 W_MATの各成分は、求めたい特徴量 ^ である。従って、式（1 6 7) において、左辺の行列 S_MAT と右辺の行列 P_{MA T} が決定されれば、行列解法によって行列 W_{M AT} (即ち、特徴量）の算出が可能である。

具体的には、式（1 6 4) で示されるように、行列 S_MATの各成分は、上述した積分成分 Si (1)が既知であれば演算可能である。積分成分 Si (1)は、積分成分演算部 2 5 24より供給された積分成分テーブルに含まれているので、正規方程式生成部 2 5 2 5は、積分成分テーブルを利用して行列 S_MAT の各成分を演算することができる。

また、式（1 6 6) で示されるように、行列 P_MATの各成分は、積分成分 Si (1)と入力画素値 P(l)が既知であれば演算可能である。積分成分 Si (1)は、行賺 01488

291

列 S_MATの各成分に含まれるものと同一のものであり、また、入力画素値 P(l) は、入力画素値取得部 2 5 2 3より供給された入力画素値テーブルに含まれているので、正規方程式生成部 2 5 2 5は、積分成分テーブルと入力画素値テーブルを利用して行列 P M _{Α τ}の各成分を演算することができる。

このようにして、正規方程式生成部 2 5 2 5は、行列 S_MAT と行列 P_MAT の各成分を演算し、その演算結果（行列 S_MAT と行列 P_MATの各成分）を正規方程式テーブルとして近似関数生成部 2 5 2 6に出力する。

正規方程式生成部 2 5 2 6より正規方程式テーブルが出力されると、ステップ S 2 5 0 6において、近似関数生成部 2 5 26は、正規方程式テーブルに基づいて、上述した式（1 6 7) の行列 W_MAT の各成分である特徴量 ^ (即ち、近似関数 f (x，y，t)の係数 _Wi) を演算する。

具体的には、上述した式（1 6 7) の正規方程式は、次の式（1 6 8) のように変形できる。

^ΜΑΤ = ° ΑΤ^ΡΜΑΤ

■ ■ · ( 1 6 8) 式（1 6 8) において、左辺の行列 W_MATの各成分が、求めたい特徴量である。また、行列 S_MAT と行列 P_MATのそれぞれの各成分は、正規方程式生成部 2 5 2 5より供給された正規方程式テーブルに含まれている。従って、近似関数生成部 2 5 2 6は、正規方程式テーブルを利用して、式（1 6 8) の右辺の行列演算を行うことで行列 W_{M AT} を演算し、その演算結果（特徴量 _Wi) を画像生成部 1 0 3に出力する。

ステップ S 2 5 0 7において、近似関数生成部 2 5 2 6は、全画素の処理を終了したか否かを判定する。

ステップ S 2 5 0 7において、全画素の処理がまだ終了されていないと判定された場合、処理はステップ S 2 5 0 2に戻り、それ以降の処理が繰り返される。即ち、まだ注目画素とされない画素が、順次注目画素とされて、ステップ S 2 5 T/JP2004/001488

292

0 2乃至 S 2 5 0 7の処理が繰り返される。

そして、全画素の処理が終了すると（ステップ S 5 4 0 7において、全画素の処理が終了されたと判定されると）、実世界 1の推定処理は終了となる。

以上、説明したように、 3次元関数近似手法は、 1次元や 2次元ではなく、時空間方向の 3次元の積分効果を考慮しているので、 1次元多項式近似手法や 2次元多項式近似手法に比較して、より正確に実世界 1の光信号を推定することが可能になる。

換言すると、 3次元関数近似手法においては、例えば、図 2 0 5 (図 3 ) の実世界推定部 1 0 2 (構成は、例えば、図 2 3 4 ) は、それぞれ時空間積分効果を有する、センサの複数の検出素子（例えば、図 2 3 1のセンサ 2の検出素子 2— 1 ) により実世界 1の光信号が射影され、実世界 1の光信号の定常性（例えば、図 2 3 2の傾き G_F、または、図 2 3 3の傾き V_F で表される定常性）の一部が欠落した、検出素子により射影された画素値を有する複数の画素からなる入力画像の、時空間方向のうち少なくとも 1次元方向（例えば、図 2 3 3の空間方向 X、空間方向 Y、および、時間方向 tの 3次元方向）の位置に対応する前記画素の前記画素値（例えば、式（1 5 3 ) の左辺の入力画素値 P (x, y，z) ) ί 少なくとも 1次元方向の積分効果により取得された画素値（例えば、上述した式（1 5 3 ) の右辺に示されるように、近似関数 f (x, y, t)が X方向、 Y方向、および t 方向の 3次元に積分された値）であるとして、実世界の光信号を表す光信号関数 F (具体的には、例えば、図 2 3 2や図 2 3 3の光信号関数 F (x， y， t) ) を所定の近似関数 ί (具体的には、例えば、式（1 5 2 ) の右辺の近似関数 f (x, y, t) ) で近似することで、光信号関数 Fを推定する。

さらに、例えば、図 2 0 5 (図 3 ) のデータ定常性検出部 1 0 1が、入力画像のデータの定常性を検出した場合、実世界推定部 1 0 2は、データ定常性検出部 1 0 1により検出されたデータの定常性に対応して、画像データの時空間方向のうち少なくとも 1次元方向の位置に対応する画素の画素値が、少なくとも 1次元方向の積分効果により取得された画素値であるとして、光信号関数 Fを近似関数 f で近似することで、光信号関数 Fを推定する。

詳細には、例えば、実世界推定部 1 0 2は、定常性検出部 1 0 1により検出されたデータの定常性に対応する線からの少なくとも 1次元方向に沿った距離（例えば、上述した式（1 5 1 ) のシフト量 Cx (y) ) に対応する画素の画素値が、 '少なくとも 1次元方向の積分効果により取得された画素値（例えば、上述した式

( 1 5 3 ) で示されるような積分範囲で、式（1 5 2 ) の右辺に示されるように、近似関数 f (x, y，t)が X方向、 Y方向、および t方向の 3次元に積分された値）であるとして、光信号関数 Fを近似関数で近似することで、光信号関数を推定する。

従って、 3次元関数近似手法は、より正確に実世界 1の光信号を推定することが可能になる。

次に、図 2 3 6乃至図 2 5 7を参照して、画像生成部 1 0 3 (図 3 ) の実施の形態の一例について説明する。

図 2 3 6は、この例の実施の形態の原理を説明する図である。

図 2 3 6で示されるように、この例の実施の形態においては、実世界推定部 1 0 2力関数近似手法を利用することが前提とされている。即ち、センサ 2に入射される画像である、実世界 1の信号（光の強度の分布） ί 所定の関数 Fで表されるとして、実世界推定部 1 0 2が、センサ 2から出力された入力画像（画素値 Ρ ) と、データ定常性検出部 1 0 1から出力されたデータ定常性情報を使用して、関数 Fを所定の関数 f で近似することによって、関数 Fを推定することが前提とされている。 .

なお、以下、この例の実施の形態の説明においても、画像である、実世界 1の信号を、特に光信号と称し、関数 Fを、特に光信号関数 Fと称する。また、関数 f を、特に近似関数 f と称する。

そこで、この例の実施の形態においては、このような前提に基づいて、画像生成部 1 0 3が、データ定常性検出部 1 0 1から出力されたデータ定常性情報と、実世界推定部 1 0 2から出力された実世界推定情報（図 2 3 6の例では、近似関数 f の特徴量）を使用して、近似関数 f を所定の時空間範囲で積分し、その積分値を出力画素値 M (出力画像）として出力する。なお、この例の実施の形態においては、入力画像の画素と出力画像の画素を区別するために、入力画素値を P と記述し、出力画素値を Mと記述する。

換言すると、光信号関数 Fが 1度積分されて入力画素値 Pとなり、その入力画素値 Pから光信号関数 Fが推測され（近似関数 f で近似され）、推測された光信号関数 F (即ち、近似関数 f) が再度積分されて、出力画素値 Mが生成される。従って、以下、画像生成部 1 0 3が実行する近似関数 f の積分を、再積分と称する。また、この例の実施の形態を、再積分手法と称する。

なお、後述するように、再積分手法において、出力画素値 Mが生成される場合の近似関数 f の積分範囲は、入力画素値 Pが生成される場合の光信号関数 Fの積分範囲（即ち、空間方向においては、センサ 2の検出素子の縦幅と横幅であり、時間方向においては、センサ 2の露光時間である）に限定されず、任意の積分範囲が可能である。

例えば、出力画素値 Mが生成される場合、近似関数 f の積分範囲のうちの空間方向の積分範囲を可変することで、その積分範囲に応じて出力画像の画素ピッチを可変することが可能になる。即ち、空間解像度の創造が可能になる。

同様に、例えば、出力画素値 Mが生成される場合、近似関数 f の積分範囲のうちの時間方向の積分範囲を可変することで、時間解像度の創造が可能になる。以下、図面を参照して、このような再積分手法のうちの 3つの具体的な手法についてそれぞれ個別に説明していく。

即ち、 3つの具体的な手法とは、関数近似手法の 3つの具体的な手法（実世界推定部 1 0 2の実施の形態の上述した 3つの具体的な例）のそれぞれに対応する再積分手法である。

具体的には、 1つ目の手法は、上述した 1次元多項式近似手法（関数近似手法の 1手法）に対応する再積分手法である。従って、 1つ目の手法では 1次元の再積分を行うことになるので、以下、このような再積分手法を、 1次元再積分手法と称する。

2つ目の手法は、上述した 2次元多項式近似手法（関数近似手法の 1手法）に対応する再積分手法である。従って、 2つ目の手法では 2次元の再積分を行うことになるので、以下、このような再積分手法を、 2次元再積分手法と称する。

3つ目の手法は、上述した 3次元関数近似手法（関数近似手法の 1手法）に対応する再積分手法である。従って、 3つ目の手法では 3次元の再積分を行うことになるので、以下、このような再積分手法を、 3次元再積分手法と称する。

以下、 1次元再積分手法、 2次元再積分手法、および 3次元再積分手法のそれぞれの詳細について、その順番で説明していく。

はじめに、 1次元再積分手法について説明する。

1次元再積分手法においては、 1次元多項式近似手法により近似関数 f (X)が既に生成されていることが前提とされる。

即ち、 3次元の空間上の位置 x, y、および z、並びに時刻 tを変数とする光信号関数 F (x, y, t)を、空間方向である X方向、 Y方向、および Z方向、並びに時間方向である t方向のうちの所定の 1方向（例えば、 X方向）に射影した 1次元の波形（再積分手法の説明においても、このような波形のうちの X方向に射影した波形を、 X断面波形 F (x)と称することにする）力 n次（nは、任意の整数）の多項式である近似関数 f (x)で近似されていることが前提とされる。

この場合、 1次元再積分手法においては、出力画素値 Mは、次の式（1 6 9 ) のように演算される。

• · · ( 1 6 9 ) なお、式（1 6 9 ) において、 x_s は、積分開始位置を表しており、 x_e は、積分終了位置を表している。また、 G_eは、所定のゲインを表している。

具体的には、例えば、いま、実世界推測部 1 0 2が、図 2 3 7で示されるような画素 3 1 0 1 (センサ 2の所定の 1つの検出素子に対応する画素 3 1 0 1 ) を注目画素として、図 23 7で示されるような近似関数 f(x) (X断面波形 F(x)の近似関数 f(x)) を既に生成しているとする。

なお、図 23 7の例では、画素 3 1 0 1の画素値（入力画素値）が Pとされ、かつ、画素 3 1 0 1の形状が、 1辺の長さが 1の正方形とされている。また、空間方向のうちの、画素 3 10 1の 1辺に平行な方向（図中水平方向）が X方向とされ、 X方向に垂直な方向（図中垂直方向）が Y方向とされている。

また、図 23 7の下側に、画素 3 10 1の中心が原点とされる空間方向（X方向と Y方向）の座標系（以下、注目画素座標系と称する）と、その座標系における画素 3 1 01が示されている。

さらに、図 237の上方に、 y=0 (yは、図中下側で示される注目画素座標系の Y方向の座標値）における近似関数 f (X)をグラフ化したものが示されている。このグラフにおいて、図中水平方向に平行な軸は、図中下側で示される注目画素座標系の X方向の X軸と同一の軸であり（原点も同一であり）、また、図中垂直方向に平行な軸は、画素値を表す軸とされている。

この場合、近似関数 f(x)と画素 3 1 0 1の画素値 Pの間には、次の式（1 7 0) の関係が成立する。

Γ0.5

P = J__{0 5}f(x)dx+e

• · · (1 70) また、図 23 7で示されるように、画素 3 10 1は、傾き G_f で表される空間方向のデータの定常性を有しているとする。そして、データ定常性検出部 1 0 1 (図 236) 力傾き G_f で表されるデータの定常性に対応するデータ定常性情報として、図 237で示されるような角度 Θを既に出力しているとする。

この場合、例えば、 1次元再積分方法においては、図 2 38で示されるように、 X方向に一0. 5乃至 0. 5の範囲、かつ Y方向に一◦. 5乃至 0. 5の範囲 (図 23 7の画素 3 10 1が位置する範囲）に、 4個の画素 3 1 1 1乃至画素 3 1 14を新たに創造することが可能である。なお、図 23 8の下側に、図 237のものと同一の注目画素座標系と、その注目画素座標系における画素 3 1 1 1乃至画素 3 1 14が示されている。また、図 238の上側に、図 23 7のものと同一のグラフ（y=0における近似関数 f ）をグラフ化したもの）が示されている。

具体的には、図 2 38で示されるように、 1次元再積分方法においては、次の式（1 71) により画素 3 1 1 1'の画素値 M (1) の算出が、次の式（1 72) により画素 3 1 1 2の画素値 M (2) の算出が、次の式（1 7 3) により画素 3 1 1 3の画素値 M (3) の算出が、次の式（1 74) により画素 3 1 14の画素値 M (4) の算出が、それぞれ可能である。

2x Γ ^e1f(x)dx

1

• · · (1 7 1) (2) f (x)dx

(1 72)

M(3) =2x I f (x)dx

• · · (1 73)

• ■ · (1 74) なお、式（1 7 1) の x_{s l}、式（1 7 2) の x_sい式（1 73) の x_sいおよび式（1 74) の x_s4 のそれぞれは、対応する式の積分開始位置を表している, また、式（1 7 1) の x_el、式（1 72) の x_eい式（1 73) の x_e3、および式（1 74) の x_e4のそれぞれは、対応する式の積分終了位置を表している。式（1 7 1) 乃至式（1 74) のそれぞれの右辺の積分範囲は、画素 3 1 1 1 乃至画素 3 1 14のそれぞれの画素幅（X方向の長さ）となる。即ち、 X - X_S l , ^Xe2- X_{s 2} , X_e3 - ^Xs3 , X"_^X " のそれぞれはヽ 0· 5となる。

ただし、いまの場合、 y=oにおける近似関数 f (X)と同一形状の 1次元の波形力 Y方向ではなく、傾き G_f で表されるデータの定常性の方向（即ち、角度 Θ 方向）に連なっていると考えられる（実際には、 y=0における X断面波形 F(x) と同一形状の波形が定常性の方向に連なっている）。即ち、図 2 3 8の注目画素座標系における原点（0,0) (図 2 3 7の画素 3 1 0 1の中心）における画素値 f(0)を画素値とした場合、画素値 flが続く方向は、 Y方向ではなく、傾き G_f で表されるデータの定常性の方向（角度 Θ方向）である。

換言すると、 Y方向の所定の位置 y (ただし、 yは 0以外の数値）における近似関数 f(x)の波形を考えた場合、画素値 flとなる位置は、位置（0,y) ではなく、位置（0，y) から X方向に所定の量（ここでも、このような量をシフト量と称することにする。また、シフト量は、 Y方向の位置 yに依存する量であるので、このシフト量を C_x (y)と記述することにする）だけ移動した位置（C_x (y),y) である。

従って、上述した式（1 7 1) 乃至式（1 74) のそれぞれの右辺の積分範囲として、求めたい画素値 M (1) (ただし、 1は、 1乃至 4のうちのいずれかの整数値）の中心が存在する Y方向の位置 yを考慮した範囲、即ち、シフト量 C_x (y)を考慮した積分範囲の設定が必要である。

具体的には、例えば、画素 3 1 1 1と画素 3 1 1 2の中心が存在する Y方向の位置 yは、 y=0ではなく、 y=0.25である。

従って、 y=0.25における近似関数 f (X)の波形は、 y=0における近似関数 f (X)の波形を X方向にシフト量 C_x (0.25)だけ移動させた波形に相当する。

換言すると、上述した式（1 7 1) において、画素 3 1 1 1に対する画素値 M(l)は、 y=0における近似関数 f(_X)を所定の積分範囲（開始位置 x_{s l}から終了位置 x_{e l} まで）で積分したものであるとすると、その積分範囲は、開始位置 x_{s l} =- 0.5から終了位置 χ_{β 1} = 0までの範囲（画素 3 1 1 1が X方向に占める範囲そのもの）ではなく、図 2 3 8で示される範囲、即ち、開始位置 x_{s l} =- 0.5 + C_x (0.25)から終了位置 x_{e l} = 0 +C_x (0.25) (シフト量 C_x (0.25)だけ画素 3 1 1 1を仮に移動させた場合における、画素 3 1 1 1が X方向に占める範囲）となる。

同様に、上述した式（1 7 2) において、画素 3 1 1 2に対する画素値 M (2) は、 y=0における近似関数 f ）を所定の積分範囲（開始位置 x_{s 2}から終了位置 x_e2まで）で積分したものであるとすると、その積分範囲は、開始位置 x_{s 2} = 0 から終了位置 x_e2 =0.5までの範囲（画素 3 1 1 2の X方向に占める範囲そのもの）ではなく、図 2 3 8で示される範囲、即ち、開始位置 x_{s 2} = 0+C_x (0.25) から終了位置 x_{e l} =0.5 + C_x (0.25) (シフト量 C_x (0.25)だけ画素 3 1 1 2を仮に移動させた場合における、画素 3 1 1 2の X方向に占める範囲）となる。

また、例えば、画素 3 1 1 3と画素 3 1 1 4の中心が存在する Y方向の位置 y は、 y=0ではなく、 y=- 0.25である。

従って、 y=-0.25における近似関数 f ）の波形は、 y=0における近似関数 f(x)の波形を X方向にシフト量 C_x (-0.25)だけ移動させた波形に相当する。換言すると、上述した式（1 7 3) において、画素 3 1 1 3に対する画素値 M(3)は、 y=0における近似関数 f(x)を所定の積分範囲（開始位置 x_{s 3}から終了位置 x_e3 まで）で積分したものであるとすると、その積分範囲は、開始位置 x_{s 3} = -0.5から終了位置 x_{e 3} = 0までの範囲（画素 3 1 1 3の X方向に占める範囲そのもの）ではなく、図 2 3 8で示される範囲、即ち、開始位置 x_{s 3} =- 0.5 + C_x (-0.25)から終了位置 x_{e 3} = 0 +C_X (- 0.25) (シフト量 C_x (-0.25)だけ画素 3 1 1 3を仮に移動させた場合における、画素 3 1 1 3の X方向に占める範囲）となる。

同様に、上述した式（1 74) において、画素 3 1 1 4に対する画素値 M(4) は、 y=0における近似関数 f (X)を所定の積分範囲（開始位置 x_s4から終了位置 x_e4 まで）で積分したものであるとすると、その積分範囲は、開始位置 x_{s 4} = 0 から終了位置 x_e4 =0.5までの範囲（画素 3 1 1 4の X方向の占める範囲そのもの）ではなく、図 2 3 8で示される範囲、即ち、開始位置 x_{s 4} = 0 +C_x (-0.25) から終了位置 x_{e l} =0.5 + C_x (-0.25) (シフト量 C_x (-0.25)だけ画素 3 1 1 4を仮に移動させた場合における、画素 3 1 1 4の X方向に占める範囲）となる。従って、画像生成部 1 0 2 (図 2 3 6) は、上述した式（1 7 1) 乃至式（1 74) のそれぞれに、上述した積分範囲のうちの対応するものを代入してそれぞれ演算し、それらの演算結果を出力画素値 M(l)乃至 M (4) のそれぞれとして出力することになる。

このように、画像生成部 1 0 2は、 1次元再積分手法を利用することで、センサ 2 (図 2 3 6) からの出力画素 3 1 0 1 (図 2 3 7) における画素として、出力画素 3 1 0 1よりも空間解像度の高い 4つの画素、即ち、画素 3 1 1 1乃至画素 3 1 1 4 (図 2 3 8) を創造することができる。さらに、図示はしないが、上述したように、画像生成部 1 0 2は、画素 3 1 1 1乃至画素 3 1 1 4のみならず、積分範囲を適宜変えることで、出力画素 3 1 0 1に対して任意の倍率の空間解像度の画素を劣化することなく創造することができる。

図 2 3 9は、このような 1次元再積分手法を利用する画像生成部 1 0 3の構成例を表している。

図 2 3 9で示されるように、この例の画像生成部 1 0 3には、条件設定部 3 1 2 1、特徴量記憶部 3 1 2 2、積分成分演算部 3 1 2 3、および出力画素値演算部 3 1 24が設けられている。

条件設定部 3 1 2 1は、実世界推定部 1 0 2より供給された実世界推定情報 (図 2 3 9の例では、近似関数 f (X)の特徴量）に基づいて近似関数 f(x)の次数 nを設定する。

条件設定部 3 1 2 1はまた、近似関数 f(x)を再積分する場合（出力画素値を演算する場合）の積分範囲を設定する。なお、条件設定部 3 1 2 1が設定する積分範囲は、画素の幅である必要は無い。例えば、近似関数 f ）は空間方向（X 方向）に積分されるので、センサ 2 (図 2 3 6) からの入力画像の各画素の空間的な大きさに対する、出力画素（画像生成部 1 0 3がこれから演算する画素）の相対的な大きさ（空間解像度の倍率）がわかれば、具体的な積分範囲の決定が可 1488

301 能である。従って、条件設定部 3 1 21は、積分範囲として、例えば、空間解像度倍率を設定することもできる。

特徴量記憶部 3 1 22は、実世界推定部 1 02より順次供給されてくる近似関数 f(x)の特徴量を一次的に記憶する。そして、特徴量記憶部 3 1 22は、近似関数（X ) の特徴量の全てを記憶すると、近似関数 f(x)の特徴量を全て含む特徴量テーブルを生成し、出力画素値演算部 3 1 24に供給する。

ところで、上述したように、画像生成部 103は、上述した式（1 6 9) を利用して出力画素値 Mを演算するが、上述した式（16 9) の右辺に含まれる近似関数 f(x)は、具体的には、次の式（1 7 5) のように表される。

n .

f (x) = ∑ Wj χχ dx

i=0

… (1 75) なお、式（1 75) において、 Wi は、実世界推定部 10 2より供給される近似関数 f(x)の特徴量を表している。

従って、上述した式（1 6 9) の右辺の近似関数 f(x)に、式（1 75) の近似関数 f (X) を代入して、式（1 6 9) の右辺を展開（演算）すると、出力画素値 Mは、次の式（1 76) のように表される。 o X

= G_ex∑ Wj X ^{e +1}. - ¹

i=0 け¹

• · · (1 76) 式（1 76) において、 (x_s,x_e) は、 i次項の積分成分を表している。即ち、積分成分 Ki (x_s,x_e) は、次の式（1 77) で示される通りである。

i+1 i+1

ki (x_R,x '、_flβ)' = G ⁴ _fiex ' "-^e 、^s

+1

(1 77) 1488

302

積分成分演算部 3 1 2 3は、この積分成分 Ki (x_s,x_e) を演算する。

具体的には、式（1 7 7) で示されるように、積分成分 Ki (x_s , x_e ) は、積分範囲の開始位置 x_s、および終了位置 x_e、ゲイン G_e、並びに i次項の iが既知であれば演算可能である。

これらのうちの、ゲイン G_eは、条件設定部 3 1 2 1により設定された空間解像度倍率（積分範囲）により決定される。

iの範囲は、条件設定部 3 1 2 1により設定された次数 nにより決定される。また、積分範囲の開始位置 x_s、および終了位置 x_eのそれぞれは、これから生成する出力画素の中心画素位置（x，y)および画素幅、並びにデータの定常性の方向を表すシフト量 C_x (y)により決定される。なお、（x，y)は、実世界推定部 1 0

2が近似関数 f (x)を生成したときの注目画素の中心位置からの相対位置を表している。

さらに、これから生成する出力画素の中心画素位置（x，y)および画素幅のそれぞれは、条件設定部 3 1 2 1により設定された空間解像度倍率（積分範囲）により決定される。

また、シフト量 C_x (y)と、データ定常性検出部 1 0 1より供給された角度 Θは、次の式（1 7 8) と式（1 7 9) のような関係が成り立つので、シフト量 C_x (y) は角度 0により決定される。

G_f = tan Θ

1 = d^x

· ■ · ( 1 7 8)

… ( 1 7 9) なお、式（1 7 8) において、 G_f は、データの定常性の方向を表す傾きを表しており、 Θは、データ定常性検出部 1 0 1 (図 2 3 6) より出力されるデータ定常性情報の 1つである角度（空間方向の 1方向である X方向と、傾き G_f で表されるデータの定常性の方向とのなす角度）を表している。また、 dxは、 X方向の微小移動量を表しており、 dyは、 dxに対する Y方向（X方向と垂直な空間方向）の微小移動量を表している。

従って、積分成分演算部 3 1 2 3は、条件設定部 3 1 2 1により設定された次数および空間解像度倍率（積分範囲）、並びにデータ定常性検出部 1 0 1より出力されたデータ定常性情報のうちの角度 0に基づいて積分成分 Ki (X_s , _e ) を演算し、その演算結果を積分成分テーブルとして出力画素値演算部 3 1 2 4に供給する。

出力画素値演算部 3 1 2 4は、特徴量記憶部 3 1 2 2より供給された特徴量テ一プルと、積分成分演算部 3 1 2 3より供給された積分成分テーブルを利用して、上述した式（1 7 6 ) の右辺を演算し、その演算結果を出力画素値 Mとして外部に出力する。

次に、図 2 4 0のフローチャートを参照して、 1次元再積分手法を利用する画像生成部 1 0 3 (図 2 3 9 ) の画像の生成の処理（図 4 0のステップ S 1 0 3の処理）について説明する。

例えば、いま、上述した図 4 0のステップ S 1 0 2の処理で、実世界推測部 1 0 2が、上述した図 2 3 7で示されるような画素 3 1 0 1を注目画素として、図 2 3 7で示されるような近似関数 f (x)を既に生成しているとする。

また、上述した図 4 0のステップ S 1 0 1の処理で、データ定常性検出部 1 0 1力データ定常性情報として、図 2 3 7で示されるような角度 6を既に出力しているとする。

この場合、図 2 4 0のステップ S 3 1 0 1において、条件設定部 3 1 2 1は、条件（次数と積分範囲）を設定する。

例えば、いま、次数として 5が設定されるとともに、積分範囲として空間 4倍密（画素のピッチ幅が上下左右ともに 1/2倍となる空間解像度倍率）が設定されたとする。

即ち、この場合、図 2 3 8で示されるように、 X方向に一 0 . 5乃至 0 . 5の範囲、かつ Y方向に一 0. 5乃至 0. 5の範囲（図 2 3 7の画素 3 1 0 1の範囲）に、 4個の画素 3 1 1 1乃至画素 3 1 1 4を新たに創造することが設定されたことになる。

ステップ S 3 1 0 2において、特徴量記憶部 3 1 2 2は、実世界推定部 1 0 2 より供給された近似関数 f(x)の特徴量を取得し、特徴量テーブルを生成する。いまの場合、 5次の多項式である近似関数 f(x)の係数 w。乃至 w₅が実世界推定部 1 0 2より供給されるので、特徴量テーブルとして、（Wo ' Wp W^ W ^ , ^ ) が生成される。

ステップ S 3 1 0 3において、積分成分演算部 3 1 2 3は、条件設定部 3 1 2 1により設定された条件（次数および積分範囲）、並びにデータ定常性検出部 1

0 1より供給されたデータ定常性情報（角度 ø ) に基づいて積分成分を演算し、積分成分テーブルを生成する。

具体的には、例えば、これから生成する画素 3 1 1 1乃至画素 3 1 1 4のそれぞれに対して、番号（このような番号を、以下、モード番号と称する） 1乃至 4 のそれぞれが付されているとすると、積分成分演算部 3 1 2 3は、上述した式 (1 7 7) の積分成分 (x_s,x_e) を、次の式（1 8 0) の左辺で示される積分成分 Ki (l)といった 1 (ただし、 1はモード番号を表している）の関数として演算する。

Ki ( 1 ) = K_t (x_{s J e}) ■ · ■ ( 1 8 0)

具体的には、いまの場合、次の式（1 8 1) で示される積分成分 ^ (1)が演算さる。

二 kj (-0.5-C_x (-0.25)， 0-C_x (-0.25))

(2) =k (0-C_x(-0.25),0.5-C_x(-0.25))

(3) =k (- 0.5 - G_x(0.25),0-C_x(0.25))

(4) =k (0-C_x(0.25),0.5-C_x(0.25))

• · ■ ( 1 8 1) なお、式（1 8 1) において、左辺が積分成分（1)を表し、右辺が積分成分 Ki (x_{s 5}x_e) を表している。即ち、いまの場合、 1は、 1乃至 4のうちのいずれかであり、かつ、 iは 0乃至 5のうちのいずれかであるので、 6個の Ki ( l)， 6 個の（2), 6個の（3), 6個の（4)の総計 24個の（1)が演算されることになる。

より具体的には、はじめに、積分成分演算部 3 1 2 3は、データ定常性検出部 1 0 1より供給された角度 Θを使用して、上述した式（1 7 8) と式（1 7 9) よりシフト量 C_x (-0.25)、および C_x (0.25)のそれぞれを演算する。

次に、積分成分演算部 3 1 2 3は、演算したシフト量 C_x (-0.25)、および C_x (0.25)を使用して、式（1 8 1) の 4つの式の各右辺の積分成分 ^

(x_{5 >}x_e) のそれぞれを、 i== 0乃至 5についてそれぞれ演算する。なお、この積分成分 ^ (x_{s J}x_e) の演算においては、上述した式（1 7 7) が使用される。そして、積分成分演算部 3 1 2 3は、式（1 8 1) に従って、演算した 24個の積分成分 ^ (x_s, x_e) のそれぞれを、対応する積分成分 ^ (1)に変換し、変換した 24個の積分成分（1) (即ち、 6個の（1)、 6個の（2)、 6個の（3)、および 6個の（4)) を含む積分成分テーブルを生成する。

なお、ステップ S 3 1 0 2の処理とステップ S 3 1 0 3の処理の順序は、図 2

40の例に限定されず、ステップ S 3 1 0 3の処理が先に実行されてもよいし、ステップ S 3 1 0 2の処理とステップ S 3 1 0 3の処理が同時に実行されてもよい。

次に、ステップ S 3 1 04において、出力画素値演算部 3 1 24は、ステップ

5 3 1 0 2の処理で特徴量記憶部 3 1 2 2により生成された特徴量テーブルと、ステップ S 3 1 0 3の処理で積分成分演算部 3 1 2 3により生成された積分成分テーブルに基づいて出力画素値 M(l)乃至 M (4)のそれぞれを演算する。

具体的には、いまの場合、出力画素値演算部 3 1 24は、上述した式（1 7 6) に対応する、次の式（1 8 2) 乃至式（1 8 5) の右辺を演算することで、画素 3 1 1 1 (モード番号 1の画素）の画素値 M(l)、画素 3 1 1 2 (モード番号 2の画素）の画素値 M (2)、画素 3 1 1 3 (モード番号 3の画素）の画素値 1488

306

M(3)、および画素 3 1 14 (モード番号 4の画素）の画素値 M (4)のそれぞれを演算する。

∑ 5

w

(1) k

(1 82)

(1 83)

• ·■ · (184)

· · ■ (185) ステップ S 3105において、出力画素値演算部 3 124は、全画素の処理を終了したか否かを判定する。

ステップ S 3105において、全画素の処理がまだ終了されていないと判定された場合、処理はステップ S 3102に戻り、それ以降の処理が繰り返される。即ち、まだ注目画素とされない画素が、順次注目画素とされて、ステップ S 31 02乃至 S 3104の処理が繰り返される。

そして、全画素の処理が終了すると（ステップ S 3105において、全画素の処理が終了されたと判定すると）、出力画素値演算部 3 1 24は、ステップ S 3 106において、画像を出力する。その後、画像の生成の処理は終了となる。次に、図 241乃至図 248を参照して、所定の入力画像に対して、 1次元再積分手法を適用して得られた出力画像と、他の手法（従来のクラス分類適応処理）を適用して得られた出力画像の違いについて説明する。

図 241は、入力画像の元の画像を示す図であり、図 242は、図 241の元の画像に対応する画像データを示している。図 2 4 2において、図中垂直方向の軸は、画素値を示し、図中右下方向の軸は、画像の空間方向の一方向である X方向を示し、図中右上方向の軸は、画像の空間方向の他の方向である Y方向を示す。なお、後述する図 2 4 4、図 2 4 6、および図 2 4 8の軸のそれぞれは、図 2 4 2の軸と対応している。

図 2 4 3は、入力画像の例を示す図である。図 2 4 3で示される入力画像は、図 2 4 1で示される画像の 2 X 2の画素からなるプロックに属する画素の画素値の平均値を、 1つの画素の画素値として生成された画像である。即ち、入力画像は、図 2 4 1で示される画像に、センサの積分特性を模した、空間方向の積分を適用することにより得られた画像である。また、図 2 4 4は、図 2 4 3の入力画像に対応する画像データを示している。

図 2 4 1で示される元の画像において、上下方向から、ほぼ 5度時計方向に傾いた細線の画像が含まれている。同様に、図 2 4 3で示される入力画像において、上下方向から、ほぼ 5度時計方向に傾いた細線の画像が含まれている。

図 2 4 5は、図 2 4 3で示される入力画像に、従来のクラス分類適応処理を適用して得られた画像（以下、図 2 4 5で示される画像を、従来の画像と称する）を示す図である。また、図 2 4 6は、従来の画像に対応する画像データを示している。

なお、クラス分類適応処理は、クラス分類処理と適応処理とからなり、クラス分類処理によって、データを、その性質に基づいてクラス分けし、各クラスごとに適応処理を施すものである。適応処理では、例えば、低画質または標準画質の画像が、所定のタップ係数を用いてマッピング（写像）されることにより、高画質の画像に変換される。

図 2 4 7は、図 2 4 3で示される入力画像に、本発明が適用される 1次元再積分手法を適用して得られた画像（以下、図 2 4 7で示される画像を、本発明の画像と称する）を示す図である。また、図 2 4 8は、本発明の画像に対応する画像データを示している。図 2 4 5の従来の画像と、図 2 4 7の本発明の画像を比較するに、従来の画像においては、細線の画像が、図 2 4 1の元の画像とは異なるものになっているのに対して、本発明の画像においては、細線の画像が、図 2 4 1の元の画像とほぼ同じものになっていることがわかる。

この違いは、従来のクラス分類適応処理は、あくまでも図 2 4 3の入力画像を基準（原点）として処理を行う手法であるのに対して、本発明の 1次元再積分手法は、細線の定常性を考慮して、図 2 4 1の元の画像を推定し（元の画像に対応する近似関数 f (x)を生成し）、推定した元の画像を基準（原点）として処理を行う（再積分して画素値を演算する）手法であるからである。

このように、 1次元再積分手法においては、 1次元多項式近似手法により生成された 1次元の多項式である近似関数 f ）（実世界の X断面波形 F ）の近似関数 f (x) ) を基準（原点）として、近似関数 f (x)を任意の範囲に積分することで出力画像（画素値）が生成される。

従って、 1次元再積分手法においては、従来の他の手法に比較して、元の画像 (センサ 2に入射される前の実世界 1の光信号）により近い画像の出力が可能になる。

換言すると、 1次元再積分手法においては、図 2 3 6のデータ定常性検出部 1 0 1が、それぞれ時空間積分効果を有する、センサ 2の複数の検出素子により実世界 1の光信号が射影され、実世界 1の光信号の定常性の一部が欠落した、検出素子により射影された画素値を有する複数の画素からなる入力画像におけるデータの定常性を検出し、実世界推定部 1 0 2が、検出されたデータの定常性に対応して、入力画像の時空間方向のうち 1次元方向の位置に対応する画素の画素値が、その 1次元方向の積分効果により取得された画素値であるとして、実世界 1の光信号を表す光信号関数 F (具体的には、 X断面波形 F (x) ) を、所定の近似関数 f ( X ) で近似することで、光信号関数 Fを推定していることが前提とされている。

詳細には、例えば、検出されたデータの定常性に対応する線からの 1次元方向に沿った距離に対応する各画素の画素値が、その 1次元方向の積分効果により取得された画素値であるとして、 X断面波形 F (x)が近似関数 f (X)で近似されていることが前提とされている。

そして、 1次元再積分手法においては、このような前提に基づいて、例えば、図 2 3 6 (図 3 ) の画像生成部 1 0 3が、実世界推定部 1 0 2により推定された X断面波形 F ( x ) 、即ち、近似関数 f (X)を、 1次元方向の所望の単位で積分することにより所望の大きさの画素に対応する画素値 Mを生成し、それを出力画像として出力する。

また、 1次元再積分手法においては、上述したように、積分範囲は任意なので、積分範囲を可変することにより、入力画像の解像度とは異なる解像度（時間解像度、または空間解像度）を創造することも可能になる。即ち、入力画像の解像度に対して、整数値だけではなく任意の倍率の解像度の画像を生成することが可能になる。

さらに、 1次元再積分手法においては、他の再積分手法に比較して、より少ない演算処理量で出力画像（画素値）の算出が可能となる。

次に、図 2 4 9乃至図 2 5 5を参照して、 2次元再積分手法について説明する。 2次元再積分手法においては、 2次元多項式近似手法により近似関数 f (x, y) が既に生成されていることが前提とされる。

即ち、例えば、図 2 4 9で示されるような、傾き G_Pで表される空間方向の定常性を有する実世界 1 (図 2 3 6 ) の光信号を表す画像関数 F (x, y, t)を、空間 ' 方向（X方向と Y方向）に射影した波形、即ち、 X— Y平面上の波形 F (x，y)力 n次（nは、任意の整数）の多項式である近似関数 f (x， y)に近似されていることが前提とされる。

図 2 4 9において、図中、水平方向は、空間方向の 1方向である X方向を、右上方向は、空間方向の他方向である Y方向を、垂直方向は、光のレベルを、それぞれ表している。 G_Fは、空間方向の定常性の傾きを表している。

なお、図 24 9の例では、定常性の方向は、空間方向（X方向と Y方向）とされているため、近似の対象とされる光信号の射影関数は、関数 F(x,y)とされているが、後述するように、定常性の方向に応じて、関数 F(x,t)や関数 F(y，t)が近似の対象とされてもよい。

図 24 9の例の場合、 2次元再積分手法においては、出力画素値 Mは、次の式 (1 8 6) のように演算される。

M = G_e j J_x f(x,y)dxdy · · · ( 1 8 6) なお、式（1 8 6) において、 y_s は、 Y方向の積分開始位置を表しており、 y_eは、 Y方向の積分終了位置を表している。同様に、 x_s は、 X方向の積分開始位置を表しており、 x_eは、 X方向の積分終了位置を表している。また、 G_eは、所定のゲインを表している。 ' 式（1 8 6) において、積分範囲は任意に設定可能であるので、 2次元再積分手法においては、この積分範囲を適宜変えることで、元の画素（センサ 2 (図 2 3 6) からの入力画像の画素）に対して任意の倍率の空間解像度の画素を劣化することなく創造することが可能になる。

図 2 5 0は、 2次元再積分手法を利用する画像生成部 1 0 3の構成例を表している。

図 2 5 0で示されるように、この例の画像生成部 1 0 3には、条件設定部 3 2 0 1、特徴量記憶部 3 2 0 2、積分成分演算部 3 20 3、および出力画素値演算部 3 2 04が設けられている。

条件設定部 3 20 1は、実世界推定部 1 0 2より供給された実世界推定情報 (図 2 5 0の例では、近似関数 f(x,y)の特徴量）に基づいて近似関数 f (x, y)の次数 nを設定する。条件設定部 3 2 0 1はまた、近似関数 f (x, y)を再積分する場合（出力画素値を演算する場合）の積分範囲を設定する。なお、条件設定部 3 2 0 1が設定する積分範囲は、画素の縦幅や横幅である必要は無い。例えば、近似関数 f (x, y) は空間方向（X方向と Y方向）に積分されるので、センサ 2からの入力画像の各画素の空間的な大きさに対する、出力画素（画像生成部 1 0 3がこれから生成する画素）の相対的な大きさ（空間解像度の倍率）がわかれば、具体的な積分範囲の決定が可能である。従って、条件設定部 3 2 0 1は、積分範囲として、例えば、空間解像度倍率を設定することもできる。

特徴量記憶部 3 2 0 2は、実世界推定部 1 0 2より順次供給されてくる近似関数 f (x, y)の特徴量を一次的に記憶する。そして、特徴量記憶部 3 2 0 2は、近似関数 f (x， y)の特徴量の全てを記憶すると、近似関数 f (x, y)の特徴量を全て含む特徴量テーブルを生成し、出力画素値演算部 3 2 0 4に供給する。

ここで、近似関数 f (x, y)の詳細について説明する。

例えば、いま、上述した図 2 4 9で示されるような傾き G_Fで表される空間方向の定常性を有する実世界 1 (図 2 3 6 ) の光信号（波形 F (x，y) で表される光信号）が、センサ 2 (図 2 3 6 ) により検出されて入力画像（画素値）として出力されたとする。

さらに、例えば、図 2 5 1で示されるように、データ定常性検出部 1 0 1 (図 3 ) 力 S、この入力画像のうちの、 X方向に 4画素分、かつ Y方向に 5画素分の総計 2 0個の画素（図中、点線で表される 2 0個の正方形）から構成される入力画像の領域 3 2 2 1に対してその処理を実行し、データ定常性情報の 1つとして角度 0 (傾き G_Fに対応する傾き G_f で表されるデータの定常性の方向と、 X方向とのなす角度 0 ) を出力したとする。

なお、実世界推定部 1 0 2から見ると、データ定常性検出部 1 0 1は、注目画素における角度 Θを単に出力すればよいので、データ定常性検出部 1 0 1の処理範囲は、上述した入力画像の領域 3 2 2 1に限定されない。

また、入力画像の領域 3 2 2 1において、図中水平方向は、空間方向の 1方向である X方向を表しており、図中垂直方向は、空間方向の他方向である Y方向を表している。

さらに、図 2 5 1中、左から 2画素目であって、下から 3画素目の画素が注目画素とされ、その注目画素の中心を原点（0，0)とするように（x，y)座標系が設定されている。そして、原点（0，0)を通る角度 0の直線（データの定常性の方向を表す傾き G_f の直線）に対する X方向の相対的な距離（以下、断面方向距離と称する）が x，とされている。

さらに、図 25 1中、右側のグラフは、 3次元の空間上の位置 X, y、および z、並びに時刻 tを変数とする画像関数 F(x，y，t)を、 Y方向の任意の位置 yにおいて、 X方向に射影した 1次元の波形（以下、このような波形を、 X断面波形

F(x')と称する）が近似された関数であって、 n次（nは、任意の整数）の多項式である近似関数 f(x')を表している。右側のグラフの軸のうち、図中水平方向の軸は、断面方向距離を表しており、図中垂直方向の軸は、画素値を表している。この場合、図 25 1で示される近似関数 f(x，）は、 n次の多項式であるので、次の式（1 87) のように表される。

n

f (X，) = WQ+W^' +W₂X' + ' * ' +W_nx'ⁿ = ∑ WjX，'

• · · (1 8 7) また、角度 Θが決定されていることから、原点（0,0)を通る角度 0の直線は一意に決まり、 Y方向の任意の位置 yにおける、直線の X方向の位置力次の式（1 88) のように表される。ただし、式（1 88) において、 sは cot Θを表している。

！ = s X y · ■ ■ (1 88)

即ち、図 25 1で示されるように、傾き G_f で表されるデータの定常性に対応する直線上の点は、座標値（_Xl,y)で表される。

式（1 8 8) より、断面方向距離 x'は、次の式（1 8 9) のように表される。

X = X— i ： X— s X y ■ ■ ■ 1 89 j 従って、入力画像の領域 3 22 1内の任意の位置（x，y)における近似関数 f (x，y)は、式（1 87) と式（1 8 9) より、次の式（1 90) のように示される。

π

f (x, y) = 2L W; (x-sxy)

i=0

• · · (1 90) なお、式（1 90) において、 Wi は、近似関数 f (x，y)の特徴量を表している図 2 50に戻り、式（1 90) に含まれる特徴量 ^ I 実世界推定部 1 02 より供給され、特徴量記憶部 3202に記憶される。特徴量記憶部 3202は、式（1 90) で表される特徴量の全てを記憶すると、特徴量 ^ を全て含む特徴量テーブルを生成し、出力画素値演算部 3204に供給する。

また、上述した式（1 86) の右辺の近似関数 f (X, y)に、式（1 90) の近似関数 f (x,y) を代入して、式（1 86) の右辺を展開（演算）すると、出力画素値 Mは、次の式（1 9 1) のように表される。

_M p _{v v} i(x_e-sxy_e)ⁱ⁺²-(x_e-sxy_s)ⁱ⁺²-(x_s-sxy_e)ⁱ⁺²+(x_s-sxy_s)ⁱ⁺²l

ΙΪΙ = Q_e X . Wj x

i=0 S

n

= L j kj (x_s, x_e，y_s， y_e)

i=0

• · - (1 9 1) 式（1 9 1) において、 (x_s,x_e,y_s,y_e) は、 i次項の積分成分を表している。即ち、積分成分 Ki (x_s , x_e , y_s , y_e ) は、次の式（1 9 2) で示される通りである。

ki(x_s,x_e，y_s，yj

{(x_e-sxy_e)ⁱ⁺²-(x_e-sxy_s)ⁱ⁺²-(x_s-sxy_e)ⁱ⁺²+(x_s-sxy_s)ⁱ⁺²)

= G。x

s(i+1)(i+2)

• · · (1 9 2) 積分成分演算部 3 203は、この積分成分 Ki (x_s,x_e,y_s,y_e) を演算する。具体的には、式（1 9 1 ) と式（1 9 2 ) で示されるように、積分成分

(x_s，x_e，y_s，y_e ) は、積分範囲の X方向の開始位置 x_s、および X方向の終了位置 x_e、積分範囲の Y方向の開始位置 y_s、および Y方向の終了位置 y_e、変数 s、ゲイン G_e、並びに i次項の iが既知であれば演算可能である。

これらのうちの、ゲイン G_e は、条件設定部 3 2 0 1により設定された空間解像度倍率（積分範囲）により決定される。

iの範囲は、条件設定部 3 2 0 1により設定された次数 nにより決定される。変数 sは、上述したように、 cot 0であるので、データ定常性検出部 1 0 1より出力される角度 6により決定される。

また、積分範囲の X方向の開始位置 x_s、および X方向の終了位置 x_e、並びに、積分範囲の Y方向の開始位置 y_s、および Y方向の終了位置 y_eのそれぞれは、これから生成する出力画素の中心画素位置（x， y)および画素幅により決定される。なお、（x, y)は、実世界推定部 1 0 2が近似関数 f (x)を生成したときの注目画素の中心位置からの相対位置を表している。

さらに、これから生成する出力画素の中心画素位置（x, y)および画素幅のそれぞれは、条件設定部 3 2 0 1により設定された空間解像度倍率（積分範囲）により決定される。

従って、積分成分演算部 3 2 0 3は、条件設定部 3 2 0 1により設定された次数および空間解像度倍率（積分範囲）、並びにデータ定常性検出部 1 0 1より出力されたデータ定常性情報のうちの角度 0に基づいて

積分成分 Ki (x_s , x_{e >} y_s , y_e ) を演算し、その演算結果を積分成分テーブルとして出力画素値演算部 3 2 0 4に供給する。

出力画素値演算部 3 2 0 4は、特徴量記憶部 3 2 0 2より供給された特徴量テ一プルと、積分成分演算部 3 2 0 3より供給された積分成分テーブルを利用して、上述した式（1 9 1 ) の右辺を演算し、その演算結果を出力画素値 Mとして外部に出力する。

次に、図 2 5 2のフローチャートを参照して、 2次元再積分手法を利用する画像生成部 1 0 3 (図 2 5 1 ) の画像の生成の処理（図 4 0のステップ S 1 0 ³の処理）について説明する。

例えば、いま、図 2 4 9で示される関数 F (x，y)で表される光信号がセンサ 2 に入射されて入力画像となり、上述した図 4 0のステップ S 1 0 2の処理で、実世界推測部 1 0 2が、その入力画像のうちの、図 2 5 3で示されるような 1つの画素 3 2 3 1を注目画素として、関数 F (x，y)を近似する近似関数 f (x，y)を既に生成しているとする。

なお、図 2 5 3において、画素 3 2 3 1の画素値（入力画素値）が Pとされ、かつ、画素 3 2 3 1の形状が、 1辺の長さが 1の正方形とされている。また、空間方向のうちの、画素 3 2 3 1の 1辺に平行な方向が X方向とされ、 X方向に垂直な方向が Y方向とされている。さらに、画素 3 2 3 1の中心が原点とされる空間方向（X方向と Y方向）の座標系（以下、注目画素座標系と称する）が設定されている。

また、図 2 5 3において、上述した図 4 0のステップ S 1 0 1の処理で、データ定常性検出部 1 0 1力画素 3 2 3 1を注目画素として、傾き G_f で表されるデータの定常性に対応するデータ定常性情報として、角度 Θを既に出力しているとする。

図 2 5 2に戻り、この場合、ステップ S 3 2 0 1において、条件設定部 3 2 0 1は、条件（次数と積分範囲）を設定する。

即ち、この場合、図 2 5 4で示されるように、 X方向に一 0 . 5乃至 0 . 5の範囲、かつ Y方向に一 0 . 5乃至 0 . 5の範囲（図 2 5 3の画素 3 2 3 1の範囲）に、 4個の画素 3 2 4 1乃至画素 3 2 4 4を新たに創造することが設定されたことになる。なお、図 2 5 4においても、図 2 5 3のものと同一の注目画素座標系が示されている。また、図 2 5 4において、 M(l)は、これから生成される画素 3 24 1の画素値を、 M(2)は、これから生成される画素 3 24 2の画素値を、 M(3)は、これから生成される画素 3 24 3の画素値を、 M(4)は、これから生成される画素 3 2 4 1の画素値を、それぞれ表している。

図 2 5 2に戻り、ステップ S 3 2 0 2において、特徴量記憶部 3 2 0 2は、実世界推定部 1 0 2より供給された近似関数 f(x,y)の特徴量を取得し、特徴量テ一ブルを生成する。いまの場合、 5次の多項式である近似関数 f(x)の係数乃至 w₅が実世界推定部 1 0 2より供給されるので、特徴量テーブルとして、

(,W₀ , w_L , ₂ , w₃ , w₄ , w₅ ) 力生成される。

ステップ S 3 2 0 3において、積分成分演算部 3 2 0 3は、条件設定部 3 2 0 1により設定された条件（次数および積分範囲）、並びにデータ定常性検出部 1 0 1より供給されたデータ定常性情報（角度 0) に基づいて積分成分を演算し、積分成分テーブルを生成する。

具体的には、例えば、これから生成される画素 3 2 4 1乃至画素 3 2 44のそれぞれに対して、番号（このような番号を、以下、モード番号と称する） 1乃至 4のそれぞれが付されているとすると、積分成分演算部 3 2 0 3は、上述した式

( 1 9 1) の積分成分 Ki (x_s,x_e,y_s,y_e) を、次の式（1 9 3) の左辺で示される積分成分 Ki (1)といった 1 (ただし、 1はモード番号を表している）の関数として演算する。

Ki ( 1 ) = Ki (x_s, x_e,y_s,y_e) ■ ■ · (1 9 3)

具体的には、いまの場合、次の式（1 94) で示される積分成分 Ki (1)が演算される。 )

(1 94) なお、式（1 94) において、左辺が積分成分 Ki (1)を表し、右辺が積分成分 (x_s,x_{e J}y_s,y_e) を表している。即ち、いまの場合、 1は、 1乃至 4のうちのいずれかであり、かつ、 iは◦乃至 5のうちのいずれかであるので、 6個の

( 1 ) , 6個の (2), 6個の（3)， 6個の I （4)の総計 24個の（1)が演算されることになる。

より具体的には、はじめに、積分成分演算部 3 2 0 3は、データ定常性検出部 1 0 1より供給された角度 0を使用して、上述した式（1 8 8) の変数 s ( s = cot 0 ) を演算する。

次に、積分成分演算部 3 2 0 3は、演算した変数 sを使用して、式（1 9 4) の 4つの式の各右辺の積分成分 Ki (x_s , x_e , y_s , y_e ) のそれぞれを、 i= 0乃至 5 についてそれぞれ演算する。なお、この積分成分 ^ (x_s,x_e,y_s,y_e) の演算においては、上述した式（1 9 1) が使用される。

そして、積分成分演算部 3 20 3は、式（1 9 4) に従って、演算した 2 4個の積分成分 (x_s,x_e,y_s,y_e) のそれぞれを、対応する積分成分 ^ (1)に変換し、変換した 24個の積分成分 ^ (1) (即ち、 6個の Ki (l)、 6個の（2)、 6個の（3)、および 6個の（4)) を含む積分成分テーブルを生成する。

なお、ステップ S 3 2 0 2の処理とステップ S 3 2 0 3の処理の順序は、図 2 5 2の例に限定されず、ステップ S 3 20 3の処理が先に実行されてもよいし、ステップ S 3 20 2の処理とステップ S 3 20 3の処理が同時に実行されてもよい。

次に、ステップ S 3 2 04において、出力画素値演算部 3 2 04は、ステップ S 3 2 0 2の処理で特徴量記憶部 3 2 0 2により生成された特徴量テーブルと、ステップ S 3 2 0 3の処理で積分成分演算部 3 2 0 3により生成された積分成分テーブルに基づいて出力画素値 M(l)乃至 M (4)のそれぞれを演算する。

具体的には、いまの場合、出力画素値演算部 3 2 04は、上述した式（1 9

1) に対応する、次の式（1 9 5) 乃至式（1 9 8) の右辺のそれぞれを演算することで、図 2 54で示される、画素 3 24 1 (モード番号 1の画素）の画素値 JP2004/001488

318

111(1)、画素3 24 2 (モード番号 2の画素）の画素値 M (2)、画素 3 24 3 (モード番号 3の画素）の画素値 M (3)、および画素 3 244 (モード番号 4の画素）の画素値 M(4)のそれぞれを演算する。

(1 9 5)

(1 96)

(1 9 7)

M(4) = ∑ Wj xk: (4)

i=o

- - - (1 98) ただし、いまの場合、式（1 9 5) 乃至式（1 9 8) の nは全て 5となる。ステップ S 3 2 0 5において、出力画素値演算部 3 2 0 4は、全画素の処理を終了したか否かを判定する。

ステップ S 3 2 0 5において、全画素の処理がまだ終了されていないと判定された場合、処理はステップ S 3 2 0 2に戻り、それ以降の処理が繰り返される。即ち、まだ注目画素とされない画素が、順次注目画素とされて、ステップ S 3 2 0 2乃至 S 3 2 04の処理が繰り返される。

そして、全画素の処理が終了すると（ステップ S 3 2 0 5において、全画素の処理が終了されたと判定すると）、出力画素値演算部 3 2 04は、ステップ S 3 20 6において、画像を出力する。その後、画像の生成の処理は終了となる。このように、 2次元再積分手法を利用することで、センサ 2 (図 2 3 6) からの入力画像の画素 3 2 3 1 (図 2 5 3) における画素として、入力画素 3 2 3 1 よりも空間解像度の高い 4つの画素、即ち、画素 3 2 4 1乃至画素 3 2 4 4 (図

2 5 4 ) を創造することができる。さらに、図示はしないが、上述したように、画像生成部 1 0 3は、画素 3 2 4 1乃至画素 3 2 4 4のみならず、積分範囲を適宜変えることで、入力画素 3 2 3 1に対して任意の倍率の空間解像度の画素を劣化することなく創造することができる。

以上、 2次元再積分手法の説明として、空間方向（X方向と Y方向）に対する近似関数 f (x, y)を 2次元積分する例を用いたが、 2次元再積分手法は、時空間方向（X方向と t方向、または、 Y方向と t方向）に対しても適用可能である。即ち、上述した例は、実世界 1 (図 2 3 6 ) の光信号が、例えば、図 2 4 9で示されるような傾き G_Fで表される空間方向の定常性を有する場合の例であったので、上述した式（1 8 6 ) で示されるような、空間方向（X方向と Y方向）の二次元積分が含まれる式が利用された。しかしながら、二次元積分の考え方は、空間方向だけによるものではなく、時空間方向（X方向と t方向、または、 Y方向と t方向）に対して適用することも可能である。

換言すると、 2次元再積分手法の前提となる 2次元多項式近似手法においては、光信号を表す画像関数 F (x，y，t)が、空間方向の定常性のみならず、時空間方向 (ただし、 X方向と t方向、または、 Y方向と t方向）の定常性を有している場合であっても、 2次元の多項式により近似することが可能である。

具体的には、例えば、 X方向に水平に等速で動いている物体がある場合、その物体の動きの方向は、図 2 5 5で示されるような X_t平面においては、傾き V_F のように表される。換言すると、傾き v_Pは、 x_t平面における時空間方向の定常性の方向を表しているとも言える。従って、データ定常性検出部 1 0 1 (図 2

3 6 ) は、上述した角度 0 (X- Y平面における、空間方向の定常性を表す傾き G_Fに対応するデータ定常性情報）と同様に、 X_t平面における時空間方向の定常性を表す傾き V_Fに対応するデータ定常性情報として、図 2 5 5で示されるような動き Θ (厳密には、図示はしないが、傾き V_Fに対応する傾き V_f で表されるデータの定常性の方向と、空間方向の X方向とのなす角度である動き Θ ) を出力することが可能である。

また、 2次元多項式近似手法を利用する実世界推定部 1 02 (図 236) は、動き 0を上述した角度 Θの代わりとして使用すれば、上述した方法と同様な方法で、近似関数 f(x,t)の係数（特徴量） wi を演算することが可能になる。ただし、この場合、使用される式は、上述した式（1 90) ではなく、次の式（1 9 9) である。

n

f (x, y) = 1 Wj (χ-sxt)

i=0

• · · (1 9 9) なお、式（1 9 9) において、 sは cot0 (ただし、 0は動きである）である。従って、 2次元再積分手法を利用する画像生成部 1 03 (図 236) は、次の式（200) の右辺に、上述した式（1 9 9) の f(x, t)を代入して、演算することで、画素値 Mを算出することが可能になる。

M = G_ex f_t ^e/^Xef (x, t)dxdt

• · · (200) なお、式（200) において、 t_s は、 t方向の積分開始位置を表しており、 t_eは、 t方向の積分終了位置を表している。同様に、 x_s は、 X方向の積分開始位置を表しており、 x_e は、 X方向の積分終了位置を表している。 G_e は、所定のゲインを表している。

また、空間方向 Xの変わりに、空間方向 Yに注目した近似関数 f (y,t)も、上述した近似関数 f (x、t)と全く同様に取り扱うことが可能である。

ところで、式（1 9 9) において、 t方向を一定とみなし、即ち、 t方向の積分を無視して積分することで、時間方向には積分されないデータ、即ち、動きポケのないデータを得ることが可能になる。換言すると、この手法は、 2次元の多項式のうちの所定の 1次元を一定として再積分する点で、 2次元再積分手法の 1 つとみなしてもよいし、実際には、 X方向の 1次元の再積分をすることになると 8

321

いう点で、 1次元再積分手法の 1つとみなしてもよい。

また、式（2 0 0 ) において、積分範囲は任意に設定可能であるので、 2次元再積分手法においては、この積分範囲を適宜変えることで、元の画素（センサ² (図 2 3 6 ) からの入力画像の画素）に対して任意の倍率の解像度の画素を劣化することなく創造することが可能になる。

即ち、 2次元再積分手法においては、時間方向 tの積分範囲を適宜変えることで、時間解像度の創造が可能になる。また、空間方向 X (または、空間方向 Y ) の積分範囲を適宜変えることで、空間解像度の創造が可能になる。さらに、時間方向 tと空間方向 Xの積分範囲のそれぞれを適宜変えることで、時間解像度と空間解像度の両方の創造が可能になる。

なお、上述したように、時間解像度と空間解像度のうちのいずれか一方の創造は、 1次元再積分手法でも可能であるが、両方の解像度の創造は、 1次元再積分手法では原理上不可能であり、 2次元以上の再積分を行うことではじめて可能になる。即ち、 2次元再積分手法と後述する 3次元再積分手法ではじめて、両方の解像度の創造が可能になる。

また、 2次元再積分手法は、 1次元ではなく 2次元の積分効果を考慮しているので、より実世界 1 (図 2 3 6 ) の光信号に近い画像を生成することも可能になる。

換言すると、 2次元再積分手法においては、例えば、図 2 3 6 (図 3 ) のデータ定常性検出部 1 0 1が、それぞれ時空間積分効果を有する、センサ 2の複数の検出素子により実世界 1の光信号が射影され、実世界 1の光信号の定常性（例えば、図 2 4 9の傾き G_Fで表される定常性）の一部が欠落した、検出素子により射影された画素値を有する複数の画素からなる入力画像におけるデータの定常性 (例えば、図 2 5 1の傾き G_f で表されるデータの定常性）を検出する。

そして、例えば、図 2 3 6 (図 3 )の実世界推定部 1 0 2が、データ定常性検出部 1 0 1により検出されたデータの定常性に対応して、画像データの時空間方向のうち少なくとも 2次元方向 (例えば、図 2 4 9の空間方向 Xと、空間方向 P T/JP2004/001488

322

Y ) の位置に対応する画素の画素値が、少なくとも 2次元方向の積分効果により取得された画素値であるとして、実世界 1の光信号を表す光信号関数 F (具体的には、図 2 4 9の関数 F (x, y) ) を、多項式である近似関数 ί (x， y)で近似することで、光信号関数 Fを推定することが前提とされている。

詳細には、例えば、実世界推定部 1 0 2は、データ定常性検出部 1 0 1により検出されたデータの定常性に対応する線（例えば、図 2 5 1の傾き G_f に対応する線（矢印））からの少なくとも 2次元方向に沿った距離（例えば、図 2 5 1の断面方向距離 X ') に対応する画素の画素値が、少なくとも 2次元方向の積分効果により取得された画素値であるとして、現実世界の光信号を表す第 1の関数を、多項式である第 2の関数で近似することで、第 1の関数を推定することが前提とされている。

2次元再積分手法においては、このような前提に基づいて、例えば、図 2 3 6 (図 3 ) の画像生成部 1 0 3 (構成は、図 2 5 0 ) 力実世界推定部 1 0 2により推定された関数 F (x, y)、即ち、近似関数 f (x, y)を、少なくとも 2次元方向の所望の単位で積分する（例えば、上述した式（1 8 6 ) の右辺を演算する）ことにより所望の大きさの画素（例えば、図 2 3 6の出力画像（画素値 M) 。具体的には、例えば、図 2 5 4の画素 3 2 4 1乃至画素 3 2 4 4 ) に対応する画素値を生成する。

従って、 2次元再積分手法においては、時間解像度と空間解像度のうちのいずれか一方の創造のみならず、両方の解像度の創造が可能になる。また、 2次元再積分手法においては、 1次元再積分手法に比較して、より実世界 1 (図 2 3 6 ) の光信号に近い画像を生成することも可能になる。

次に、図 2 5 6と図 2 5 7を参照して、 3次元再積分手法について説明する。 3次元再積分手法においては、 3次元関数近似手法により近似関数 f ， y, t) が既に生成されていることが前提とされる。

この場合、 3次元再積分手法においては、出力画素値 Mは、次の式（2 0 1 ) のように演算される。 Wl = G_e x J, 丄 I f (x, y, t) dxdydt

• - · ( 2 0 1 ) なお、式（2 0 1 ) において、 t_s は、 t方向の積分開始位置を表しており、 t_eは、 t方向の積分終了位置を表している。同様に、 y_sは、 Y方向の積分開始位置を表しており、 y_eは、 Y方向の積分終了位置を表している。また、 x_sは、 X方向の積分開始位置を表しており、 x_eは、 X方向の積分終了位置を表している。さらに、 G_e は、所定のゲインを表している。

式（2 0 1 ) において、積分範囲は任意に設定可能であるので、 3次元再積分手法においては、この積分範囲を適宜変えることで、元の画素（センサ 2 (図 2 3 6 ) からの入力画像の画素）に対して任意の倍率の時空間解像度の画素を劣化することなく創造することが可能になる。即ち、空間方向の積分範囲を小さくすれば、画素ピッチを自由に細かくできる。逆に、空間方向の積分範囲を大きくすれば、画素ピッチを自由に大きくすることができる。また、時間方向の積分範囲を小さくすれば、実世界波形に基づいて時間解像度を創造できる。

図 2 5 6は、 3次元再積分手法を利用する画像生成部 1 0 3の構成例を表している。

図 2 5 6で示されるように、この例の画像生成部 1 0 3には、条件設定部 3 3 0 1、特徴量記憶部 3 3 0 2、積分成分演算部 3 3 0 3、および出力画素値演算部 3 3 0 4が設けられている。

条件設定部 3 3 0 1は、実世界推定部 1 0 2より供給された実世界推定情報 (図 2 5 6の例では、近似関数 f (x，y，t)の特徴量）に基づいて近似関数 f (x, y，t)の次数 nを設定する。

条件設定部 3 3 0 1はまた、近似関数 f (x，y，t)を再積分する場合（出力画素値を演算する場合）の積分範囲を設定する。なお、条件設定部 3 3 ◦ 1が設定する積分範囲は、画素の幅（縦幅と横幅）やシャツタ時間そのものである必要は無レ、。例えば、センサ 2 (図 2 3 6 ) からの入力画像の各画素の空間的な大きさに T/JP2004/001488

324 対する、出力画素（画像生成部 1 0 3がこれから生成する画素）の相対的な大きさ（空間解像度の倍率）がわかれば、具体的な空間方向の積分範囲の決定が可能である。同様に、センサ 2 (図 2 3 6) のシャツタ時間に対する出力画素値の相対的な時間（時間解像度の倍率）がわかれば、具体的な時間方向の積分範囲の決定が可能である。従って、条件設定部 3 3 0 1は、積分範囲として、例えば、空間解像度倍率や時間解像度倍率を設定することもできる。

特徴量記憶部 3 3 0 2は、実世界推定部 1 0 2より順次供給されてくる近似関数 f (x，y，t)の特徴量を一次的に記憶する。そして、特徴量記憶部 3 3 0 2は、近似関数 f (x， y, t)の特徴量の全てを記憶すると、近似関数 f (X, y, t)の特徴量を全て含む特徴量テーブルを生成し、出力画素値演算部 3 3 04に供給する。

ところで、上述した式（2 0 1) の右辺の近似関数 f (x，y)の右辺を展開（演算）すると、出力画素値 Mは、次の式（2 0 2) のように表される。

M=∑ Wi ki(x_s, x_e, y_s, y_e, t_s, t_e)

i=0

- ■ · (20 2) 式（20 2) において、 (x_s,x_e,y_s,y_e,t_s,tj は、 i次項の積分成分を表している。ただし、 x_sは X方向の積分範囲の開始位置を、 x_e は X方向の積分範囲の終了位置を、 y_s は Y方向の積分範囲の開始位置を、 y_e は Y方向の積分範囲の終了位置を、 t_s は t方向の積分範囲の開始位置を、 t_eは t方向の積分範囲の終了位置を、それぞれ表している。 - 積分成分演算部 3 3 0 3は、この積分成分 Ki (x_s,x_e,y_s,y_e,t_s, t_e) を演算する。

具体的には、積分成分演算部 3 3 0 3は、条件設定部 3 3 0 1により設定された次数、および積分範囲（空間解像度倍率や時間解像度倍率）、並びにデータ定常性検出部 1 0 1より出力されたデータ定常性情報のうちの角度 0または動き Θ に基づいて積分成分 ^ (x_s,x_{e )}y_s,y_e,t_s,t_e) を演算し、その演算結果を積分成分テーブルとして出力画素値演算部 3 3 04に供給する。出力画素値演算部 3 3 04は、特徴量記憶部 3 3 0 2より供給された特徴量テ一プルと、積分成分演算部 3 3 0 3より供給された積分成分テーブルを利用して、上述した式（2 0 2) の右辺を演算し、その演算結果を出力画素値 Mとして外部に出力する。

次に、図 2 5 7のフローチャートを参照して、 3次元再積分手法を利用する画像生成部 1 0 3 (図 2 5 6) の画像の生成の処理（図 40のステップ S 1 0 3の処理）について説明する。

例えば、いま、上述した図 40のステップ S 1 0 2の処理で、実世界推測部 1 0 2 (図 2 3 6) 力入力画像のうちの、所定の画素を注目画素として、実世界 1 (図 2 3 6) の光信号を近似する近似関数 f(x,y，t)を既に生成しているとする。

また、上述した図 40のステップ S 1 0 1の処理で、データ定常性検出部 1 0 1 (図 2 3 6) 力実世界推定部 1 0 2と同じ画素を注目画素として、データ定常性情報として、角度 6または動き 0を既に出力しているとする。

この場合、図 2 5 7のステップ S 3 3 0 1において、条件設定部 3 3 0 1は、条件（次数と積分範囲）を設定する。

ステップ S 3 3 0 2において、特徴量記憶部 3 3 0 2は、実世界推定部 1 0 2 より供給された近似関数 f(x，y，t)の特徴量を取得し、特徴量テーブルを生成する。

ステップ S 3 3 0 3において、積分成分演算部 3 3 0 3は、条件設定部 3 3 0 1により設定された条件（次数および積分範囲）、並びにデータ定常性検出部 1 0 1より供給されたデータ定常性情報（角度 0または動き 0) に基づいて積分成分を演算し、積分成分テーブルを生成する。

なお、ステップ S 3 3 0 2の処理とステップ S 3 3 0 3の処理の順序は、図 2 5 7の例に限定されず、ステップ S 3 3 0 3の処理が先に実行されてもよいし、ステップ S 3 3 0 2の処理とステップ S 3 3 0 3の処理が同時に実行されてもよい。次に、ステップ S 3 3 0 4において、出力画素値演算部 3 3 0 4は、ステップ S 3 3 0 2の処理で特徴量記憶部 3 3 0 2により生成された特徴量テーブルと、ステップ S 3 3 0 3の処理で積分成分演算部 3 3 0 3により生成された積分成分テーブルに基づいて各出力画素値のそれぞれを演算する。

ステップ S 3 3 0 5において、出力画素値演算部 3 3 0 4は、全画素の処理を終了したか否かを判定する。

ステップ S 3 3 0 5において、全画素の処理がまだ終了されていないと判定された場合、処理はステップ S 3 3 0 2に戻り、それ以降の処理が繰り返される。即ち、まだ注目画素とされない画素が、順次注目画素とされて、ステップ S 3 3 0 2乃至 S 3 3 0 4の処理が繰り返される。

そして、全画素の処理が終了すると（ステップ S 3 3 0 5において、全画素の処理が終了されたと判定すると）、出力画素値演算部 3 3 0 4は、ステップ S 3 3 0 6において、画像を出力する。その後、画像の生成の処理は終了となる。このように、上述した式（2 0 1 ) において、その積分範囲は任意に設定可能であるので、 3次元再積分手法においては、この積分範囲を適宜変えることで、元の画素（センサ 2 (図 2 3 6 ) からの入力画像の画素）に対して任意の倍率の解像度の画素を劣化することなく創造することが可能になる。

即ち、 3次元再積分手法においては、時間方向の積分範囲を適宜変えることで、時間解像度の創造が可能になる。また、空間方向の積分範囲を適宜変えることで、空間解像度の創造が可能になる。さらに、時間方向と空間方向の積分範囲のそれぞれを適宜変えることで、時間解像度と空間解像度の両方の創造が可能になる。具体的には、 3次元再積分手法においては、 2次元や 1次元に落とすときの近似がないので精度の高い処理が可能になる。また、斜め方向の動きも 2次元に縮退することなく処理することが可能になる。さらに、 2次元に縮退していないので各次元の加工が可能になる。例えば、 2次元再積分手法において、空間方向

( X方向と Y方向）に縮退している場合には時間方向である t方向の加工ができなくなってしまう。これに対して、 3次元再積分手法においては、時空間方向のいずれの加工も可能になる。

なお、上述したように、時間解像度と空間解像度のうちのいずれか一方の創造は、 1次元再積分手法でも可能であるが、両方の解像度の創造は、 1次元再積分手法では原理上不可能であり、 2次元以上の再積分を行うことではじめて可能になる。即ち、上述した 2次元再積分手法と 3次元再積分手法ではじめて、両方の解像度の創造が可能になる。

また、 3次元再積分手法は、 1次元や 2次元ではなく 3次元の積分効果を考慮しているので、より実世界 1 (図 2 3 6 ) の光信号に近い画像を生成することも可能になる。

換言すると、 3次元再積分似手法においては、例えば、図 2 3 6 (図 3 ) の実世界推定部 1 0 2は、それぞれ時空間積分効果を有する、センサ 2の複数の検出素子により実世界 1の光信号が射影され、実世界 1の光信号の定常性の一部が欠落した、検出素子により射影された画素値を有する複数の画素からなる入力画像の、時空間方向のうち少なくとも 1次元方向の位置に対応する画素の画素値が、少なくとも 1次元方向の積分効果により取得された画素値であるとして、実世界の光信号を表す光信号関数 Fを所定の近似関数 f で近似することで、光信号関数 Fを推定することが前提とされる。

さらに、例えば、図 2 3 6 (図 3 ) のデータ定常性検出部 1 0 1が、入力画像のデータの定常性を検出した場合、実世界推定部 1 0 2は、データ定常性検出部 1 0 1により検出されたデータの定常性に対応して、画像データの時空間方向のうち少なくとも 1次元方向の位置に対応する画素の画素値が、少なくとも 1次元方向の積分効果により取得された画素値であるとして、光信号関数 Fを近似関数 f で近似することで、光信号関数 Fを推定することが前提とされる。

詳細には、例えば、実世界推定部 1 0 2は、定常性検出部 1 0 1により検出されたデータの定常性に対応する線からの少なくとも 1次元方向に沿った距離に対応する画素の画素値が、少なくとも 1次元方向の積分効果により取得された画素値であるとして、光信号関数 Fを近似関数で近似することで、光信号関数を推 PC蘭 004/001488

328

定することが前提とされる。

3次元再積分手法においては、例えば、図 2 3 6 (図 3) の画像生成部 1 0 3 (構成は、図 2 5 6) 力実世界推定部 1 0 2により推定された光信号関数 F、即ち、近似関数 f を、少なくとも 1次元方向の所望の単位で積分する（例えば、上述した式（2 0 1) の右辺を演算する）ことにより所望の大きさの画素に対応する画素値を生成する。

従って、 3次元再積分手法は、従来の画像生成手法や、上述した 1次元または 2次元再積分手法に比較して、より実世界 1 (図 2 3 6) の光信号に近い画像を生成することも可能になる。

次に、図 2 5 8を参照して、実世界推定部 1 0 2より入力される実世界推定情報が、参照画素の各画素値を近似的に表現する近似関数 f(x)上の、各画素の微分値、または、傾きの情報である場合、各画素の微分値、または、傾きに基づいて、新たに画素を生成し、画像を出力する画像生成部 1 0 3について説明する。尚、ここでいう微分値は、参照画素の各画素値を近似的に表現する近似関数 f(x)を求めた後、その近似関数 f (X)から得られる 1次微分式 f(x)' (近似関数がフレーム方向の場合、近似関数 f(t)から得られる 1次微分式 f(t)' ) を用いて、所定の位置で得られる値のことである。また、ここでいう傾きは、上述の近似関数 f(x) (または、 f(t)) を求めることなく、所定の位置における周辺画素の画素値から直接得られる近似関数 f (X)上の所定の位置の傾きのことを示している。しかしながら、微分値は、近似関数 f(x)の所定の位置での傾きなので、いずれも、上記近似関数 f(x)上の所定の位置における傾きである。そこで、実世界推定部 1 0 2より入力される実世界推定情報としての微分値と傾きについては、図 2 5 8、および、図 2 6 2の画像生成部 1 0 3の説明においては、統一して近似関数 f(x) (または、 f(t)) 上の傾きと称する。

傾き取得部 3 40 1は、実世界推定部 1 0 2より入力される参照画素の画素値を近似的に表現する近似関数 f(x)についての、各画素の傾きの情報と、対応する画素の画素値、および、定常性の方向の傾きを取得して、外揷補間部 3 4 0 2 に出力する。

外揷補間部 3 4 0 2は、傾き取得部 34 0 1より入力された各画素の近似関数 f(x)上の傾きと、対応する画素の画素値、および、定常性の方向の傾きに基づいて、外挿補間により、入力画像よりも所定の倍率の高密度の画素を生成し、出力画像として出力する。

次に、図 2 5 9のフローチャートを参照して、図 2 5 8の画像生成部 1 0 3による画像の生成の処理について説明する。

ステップ S 3 40 1において、傾き取得部 34 0 1は、実世界推定部 1 0 2より入力されてくる、各画素の近似関数 f(x)上の傾き（微分値）、位置、画素値、および、定常性の方向の傾きの情報を実世界推定情報として取得する。

このとき、例えば、入力画像に対して空間方向 X、および、空間方向 Yについてそれぞれ 2倍（合計 4倍）の密度の画素からなる画像を生成する場合、実世界推定部 1 0 2からは、図 2 6 0で示されるような画素 Pinに対して、傾き f(Xin)' (画素 Pinの中央位置における傾き）， f (Xin_Cx (— 0.25) ) ' (画素 Pinから Y方向に 2倍密度の画素が生成されるときの画素 Paの中央位置の傾き） , f (Xin— Cx(0.25))，（画素 Pinから Y方向に 2倍密度の画素が生成されるときの画素 Pbの中央位置の傾き）、画素 Pinの位置、画素値、および、定常性の方向の傾き G_f の情報が入力される。

ステップ S 3 4 0 2において、傾き取得部 34 0 1は、入力された実世界推定情報のうち、対応する注目画素の情報を選択し、外揷補間部 3 40 2に出力する。ステップ S 3 40 3において、外揷補間部 34 0 2は、入力された画素の位置情報と定常性の方向の傾き G_f からシフト量を求める。

ここで、シフト量 Cx(ty)は、定常性の傾きが G_f で示されるとき、 Cx(ty) = tyZG_f で定義される。このシフト量 Cx(ty)は、空間方向 Y =0の位置上で定義される近似関数 f (X)が、空間方向 Y=tyの位置における、空間方向 Xに対するずれ幅を示すものである。従って、例えば、空間方向 Y = 0の位置上で近似関数が f(x)として定義されている場合、この近似関数 f(x)は、空間方向 Y=tyにおいては、空間方向 Xについて Cx(ty)だけずれた関数となるので、近似関数は、 f (x-Cx(ty)) ( = f (x— ty/G_f)) で定義されることになる。

例えば、図 2 6 0で示されるような画素 Pinの場合、図中の 1画素（図中の 1画素の大きさは、水平方向、および、垂直方向ともに 1であるものとする）を垂直方向に 2分割するとき（垂直方向に倍密度の画素を生成するとき）、外揷補間部 3 40 2は、求めようとする画素 Pa， Pbのシフト量を求める。すなわち、今の場合、画素 Pa, Pbは、画素 Pinからみて、空間方向 Yについて、それぞれ一 0.25， 0.25だけシフトしているので、画素 Pa， Pbのシフト量は、それぞれ Cx (一 0.25) ， Cx (0.25) となる。尚、図 2 6 0中において、画素 Pinは、

(Xin, Yin) を略重心位置とする正方形であり、画素 Pa, Pbは、（Xin，

Yin+0.25) 、 (Xin, Yin— 0.25) をそれぞれ略重心位置とする図中水平方向に長い長方形である。

ステップ S 3 404において、外揷補間部 34 0 2は、ステップ S 3 40 3の処理で求められたシフト量 Cx、実世界推定情報として取得された画素 Pinの近似関数 f(x)上の注目画素上での傾き f (Xin)'、および、画素 Pinの画素値に基づいて、以下の式（2 0 3) ，式（2 04) により外揷補間を用いて画素 Pa， Pbの画素値を求める。

Pa=Pin-f (Xin)' XCx(0.25)

• · · (20 3) Pb=Pin-f (Xin)' XCx(-0.25)

• · · (2 04) 以上の式（2 0 3) ，式（2 04) において、 Pa， Pb, Pinは、画素 Pa, Pb, Pinの画素値を示す。

すなわち、図 2 6 1で示されるように、注目画素 Pinにおける傾き f (Xin)'に、 X方向の移動距離、すなわち、シフト量を乗じることにより画素値の変化量を設定し、注目画素の画素値を基準として、新たに生成する画素の画素値を設定する。

3 40 5において、外揷捕間部 3 40 2は、所定の解像度の画素が賺 01488

331

得られたか否かを判定する。例えば、所定の解像度が入力画像の画素に対して、垂直方向に 2倍の密度の画素であれば、以上の処理により、外挿補間部 34 0 2 は、所定の解像度の画像が得られたと判定することになるが、例えば、入力画像の画素に対して、 4倍の密度（水平方向に 2倍 X垂直方向に 2倍）の画素が所望とされていた場合、以上の処理では、所定の解像度の画素が得られていないことになる。そこで、 4倍の密度の画像が所望とされていた画像である場合、外揷補間部 3 40 2は、所定の解像度の画素が得られていないと判定し、その処理は、ステップ S 34 0 3に戻る。

ステップ S 3 40 3において、外揷補間部 34 0 2は、 2回目の処理で、求めようとする画素 P 0 1， P 0 2 , P 0 3 , および P 04 (注目画素 Pinに対して 4倍となる密度の画素）を生成しようとする画素の中心位置からのシフト量をそれぞれ求める。すなわち、今の場合、画素 P 0 1， P 0 2は、画素 Paから得られるものなので、画素 Paからのシフト量がそれぞれ求められることになる。ここで、画素 P O l , P 0 2は、画素 Paからみて空間方向 Xについて、それぞれ一0.25, 0.25だけシフトしているので、その値そのものがシフト量となる

(空間方向 Xについてシフトしているため）。同様にして、画素 P 0 3， P 04 は、画素 Pbからみて空間方向 Xについて、それぞれ一 0.25， 0.25だけシフトしているので、その値そのものがシフト量となる。尚、図 2 6 0において、画素 P 0 1， P 0 2, P 0 3, P 04は、図中の 4個のバッ印の位置を重心位置とする正方形であり、各辺の長さは、画素 Pinが、それぞれ 1であるので、画素 P 0 1， P 0 2 , P 0 3 , P 04は、それぞれ略 0. 5となる。

ステップ S 3 404において、外揷補間部 34 0 2は、ステップ S 3 40 3の処理で求められたシフト量 Cx、実世界推定情報として取得された画素 Pa, Pbの近似関数 f(x)上の所定の位置での

傾き f (Xin— Cx(— 0.25))'， f (Xin— Cx (0.25) ) '、および、上述の処理で求められた画素 Pa， Pbの画素値に基づいて、外揷補間により以下の式（20 5) 乃至式（2 08) により画素 P 0 1， P 0 2, P 0 3 , P 04の画素値を求め、図示せぬメモリに記憶させる。

P 0 1 =Pa + f (Xin-Cx(0.25))' X (一 0.25)

(2 0 5)

P 0 2 =Pa + f (Xin-Cx(0.25))， X (0.25)

(2 0 6)

P 0 3 =Pb + f (Xin-Cx(-0.25))， X (一 0.25)

(2 0 7)

P 04 =Pb + f (Xin-Cx(-0.25))， X (0.25)

• · · (20 8) 上述の式（2 0 5) 乃至式（2 0 8) において、 P 0 1乃至 P 0 4は、画素 P 0 1乃至 P 04のそれぞれの画素値を示す。

ステップ S 3 40 5において、外揷補間部 3 4 0 2は、所定の解像度の画素が得られたか否かを判定し、今の場合、所望とされていた 4倍の密度の画素が得られたことになるので、外挿補間部 34 0 2は、所定の解像度の画素が得られたと判定し、その処理は、ステップ S 34 0 6に進む。

ステップ S 3 40 6において、傾き取得部 340 1は、全ての画素で処理がなされたか否かを判定し、まだ、全ての画素について処理がなされていないと判定した場合、その処理は、ステップ S 3 40 2に戻り、それ以降の処理が繰り返される。

ステップ S 3 40 6において、傾き取得部 34 0 1は、全ての画素について処理がなされたと判定した場合、ステップ S 340 7において、外揷補間部 3 4 0 2は、図示せぬメモリに記憶されている、生成された画素からなる画像を出力する。

すなわち、図 2 6 1で示されるように、近似関数 f(x)上の傾き f(x)'を用いて、その傾きを求めた注目画素から空間方向 Xに離れた距離に応じて、新たな画素の画素値が外揷補間により求められる。

尚、以上の例においては、 4倍密度の画素を演算する際の傾き（微分値）を例 2004/001488

333

として説明してきたが、さらに多くの位置における、傾きの情報が、実世界推定情報として得られれば、上述と同様の手法で、それ以上の空間方向の密度の画素を演算する事も可能である。

また、以上の例については、倍密度の画素値を求める例について説明してきた力近似関数 f (x)は連続関数であるので、倍密度以外の画素値についても必要な傾き（微分値）の情報が得られれば、さらに高密度の画素からなる画像を生成することが可能となる。

以上によれば、実世界推定情報として供給される入力画像の各画素の画素値を空間方向に近似する近似関数 f (x)の傾き（または、微分値） f (x) 'の情報に基づいて、入力画像よりも高解像度の画像の画素を生成することが可能となる。

次に、図 2 6 2を参照して、実世界推定部 1 0 2より入力される実世界推定情報が、参照画素の画素値を近似的に表現するフレーム方向（時間方向）の関数 f (t)上の、各画素の微分値、または、傾きの情報である場合、各画素の微分値、または、傾きに基づいて、新たに画素を生成し、画像を出力する画像生成部 1 0 3について説明する。

傾き取得部 3 4 1 1は、実世界推定部 1 0 2より入力される参照画素の画素値を近似的に表現する近似関数 f (t)上の、各画素の位置における傾きの情報と、対応する画素の画素値、および、定常性の動きを取得して、外挿補間部 3 4 1 2 に出力する。

外揷捕間部 3 4 1 2は、傾き取得部 3 4 1 1より入力された各画素の近似関数 f (t)上の傾きと、対応する画素の画素値、および、定常性の動きに基づいて、外揷補間により、入力画像よりも所定の倍率の高密度の画素を生成し、出力画像として出力する。

次に、図 2 6 3のフローチヤ一トを参照して、図 2 6 2の画像生成部 1 0 3による画像の生成の処理について説明する。

ステップ S 3 4 2 1において、傾き取得部 3 4 1 1は、実世界推定部 1 0 2より入力されてくる、各画素の近似関数 f (t)上の傾き（微分値）、位置、画素値、および、定常性の動きの情報を実世界推定情報として取得する。

このとき、例えば、入力画像に対して空間方向、および、フレーム方向にそれぞれ 2倍（合計 4倍）の密度の画素からなる画像を生成する場合、実世界推定部 1 0 2からは、図 2 64で示されるような画素 Pinに対して、傾き f(Tin)' (画素 Pinの中央位置における傾き）， f (Tin— Ct(0.25))' (画素 Pinから Y方向に 2倍密度の画素が生成されるときの画素 Patの中央位置の傾き）， f(Tin— Ct(-0.25))' (画素 Pinから Y方向に 2倍密度の画素が生成されるときの画素 Pbtの中央位置の傾き）、画素 Pinの位置、画素値、および、定常性の動き

(動きべクトル）の情報が入力される。

ステップ S 3 4 2 2において、傾き取得部 34 1 1は、入力された実世界推定情報のうち、対応する注目画素の情報を選択し、外揷補間部 3 4 1 2に出力する。ステップ S 3 4 2 3において、外揷補間部 3 4 1 2は、入力された画素の位置情報と定常性の方向の傾きからシフト量を求める。

ここで、シフト量 Ct(ty)は、定常性の動き（フレーム方向と空間方向からなる面に対する傾き）が V_f で示されるとき、 Ct(ty)==ty/V_f で定義される。このシフト量 Ct(ty)は、空間方向 Y=0の位置上で定義される近似関数 f(t)が、空間方向 Y=tyの位置における、フレーム方向 Tに対するずれ幅を示すものである。従って、例えば、空間方向 Y==0の位置上で近似関数が f (t)として定義されている場合、この近似関数 f(t)は、空間方向 Y=tyにおいては、空間方向 T について Ct(ty)だけずれた関数となるので、近似関数は、 f(t— Ct(ty)) (= f(t-ty/V_f)) で定義されることになる。

例えば、図 2 64で示されるような画素 Pinの場合、図中の 1画素（図中の 1画素の大きさは、フレーム方向、および、空間方向ともに 1であるものとする）を空間方向に 2分割するとき（空間方向に倍密度の画素を生成するとき）、外挿補間部 34 1 2は、求めようとする画素 Pat, Pb tのシフト量を求める。すなわち、今の場合、画素 Pat， Pbtは、画素 Pinからみて、空間方向 Yについて、それぞれ 0.25，一 0.25だけシフトしているので、画素 Pat, Pbt のシフト量は、それぞれ Ct (0.25) ， Ct (一 0.25) となる。尚、図 2 6 4中において、画素 Pinは、（Xin， Yin) を略重心位置とする正方形であり、画素 Pat, Pbtは、

(Xin, Yin+0.25) 、 (Xin, Yin— 0.25) をそれぞれ略重心位置とする図中水平方向に長い長方形である。

ステップ S 3 4 24において、外揷捕間部 34 1 2は、ステップ S 3 4 2 3の処理で求められたシフト量、実世界推定情報として取得された画素 Pinの近似関数 f(t)上の注目画素上での傾き f (Tin)'、および、画素 Pinの画素値に基づいて、外揷補間により以下の式（20 9) ，式（2 1 0) により画素 Pat, Pbt の画素値を求める。

Pat = Pin-f (Tin)' XCt(0.25)

■ · · (20 9)

Pbt = Pin-f (Xin)' XCt(— 0.25)

• · · (2 1 0) 以上の式（2 0 9) , 式（2 1 0) において、 Pat, Pbt, Pin は、画素 Pat， Pbt, Pinの画素値を示す。

すなわち、図 2 6 5で示されるように、注目画素 Pinにおける傾き： (Xin)'に、 X方向の移動距離、すなわち、シフト量を乗じることにより画素値の変化量を設定し、注目画素の画素値を基準として、新たに生成する画素の画素値を設定する。ステップ S 3 4 2 5において、外揷補間部 3 4 1 2は、所定の解像度の画素が得られたか否かを判定する。例えば、所定の解像度が入力画像の画素に対して、空間方向に 2倍の密度の画素であれば、以上の処理により、外揷捕間部 3 4 0 2 は、所定の解像度の画像が得られたと判定することになるが、例えば、入力画像の画素に対して、 4倍の密度（フレーム方向に 2倍 X空間方向に 2倍）の画素が所望とされていた場合、以上の処理では、所定の解像度の画素が得られていないことになる。そこで、 4倍の密度の画像が所望とされていた画像である場合、外揷補間部 3 4 1 2は、所定の解像度の画素が得られていないと判定し、その処理は、ステップ S 34 2 3に戻る。 2004/001488

336

ステップ S 3 4 2 3において、外揷補間部 3 4 1 2は、 2回目の処理で、求めようとする画素 P O I t , P 0 2 t , P 0 3 t , および P 04 t (注目画素 Pin に対して 4倍となる密度の画素）を生成しようとする画素の中心位置からのシフト量をそれぞれ求める。すなわち、今の場合、画素 P 0 1 t， P 0 2 tは、画素 Patから得られるものなので、画素 Patからのシフト量がそれぞれ求められることになる。ここで、画素 P O I t , 0 2 tは、画素 Patからみてフレーム方向 Tについて、それぞれ一 0.25， 0.25だけシフトしているので、その値そのものがシフト量となる（空間方向 Xについてシフトしているため）。同様にして、画素 P 0 3 t， P 04 tは、画素 Pbtからみてフレーム方向 Tについて、それぞれー 0.25， 0.25だけシフトしているので、その値そのものがシフト量となる。尚、図 26 4において、画素 P 0 1 t , P 0 2 t , P 0 3 t , P 04 tは、図中の 4個のバッ印の位置を重心位置とする正方形であり、各辺の長さは、画素 Pin 力それぞれ 1であるので、画素 P 0 1 t , P 0 2 t , P 0 3 t， P 04 tは、それぞれ略 0. 5となる。

ステップ S 3 4 24において、外揷補間部 34 1 2は、ステップ S 3 4 2 3の処理で求められたシフト量 Ct、実世界推定情報として取得された画素 Pa t , Pbtの近似関数 f(t)上の所定の位置での傾き f (Tin— Ct(0.25))' , f (Tin— Ct (一 0.25))'、および、上述の処理で求められた画素 Pat, Pbtの画素値に基づいて、外揷補間により以下の式（2 1 1) 乃至式（2 1 4) により画素 P O l t , P 0 2 t , P 0 3 t , P 04 tの画素値を求め、図示せぬメモリに記憶させる。

P O l t =Pat + f (Tin— Ct(0.25))' X (— 0.25)

• · · (2 1 1)

P 0 2 t =Pat + f (Tin-Ct(0.25))' X (0.25)

• · · ( 2 1 2) P 0 3 t =Pbt + f (Tin-Ct(-0.25))， X (— 0.25)

• ■ · (2 1 3)

P 04 t =Pbt + f (Tin-Ct(-0.25))， X (0.25) … （2 1 4 ) 上述の式（2 0 5 ) 乃至式（2 0 8 ) において、 P 0 1 t乃至 P 0 4 tは、画素 P 0 1 t乃至 P 0 4 tのそれぞれの画素値を示す。

ステップ S 3 4 2 5において、外揷補間部 3 4 1 2は、所定の解像度の画素が得られたか否かを判定し、今の場合、所望とされていた 4倍密度の画素が得られたことになるので、外揷補間部 3 4 1 2は、所定の解像度の画素が得られたと判定し、その処理は、ステップ S 3 4 2 6に進む。

ステップ S 3 4 2 6において、傾き取得部 3 4 1 1は、全ての画素で処理がなされたか否かを判定し、まだ、全ての画素について処理がなされていないと判定した場合、その処理は、ステップ S 3 4 2 2に戻り、それ以降の処理が繰り返される。

ステップ S 3 4 2 6において、傾き取得部 3 4 1 1は、全ての画素について処理がなされたと判定された場合、ステップ S 3 4 2 7において、外揷補間部 3 4 1 2は、図示せぬメモリに記憶されている、生成された画素からなる画像を出力する。

すなわち、図 2 6 5で示されるように、近似関数 f (t)上の傾き f (t) 'を用いて、その傾きを求めた注目画素からフレーム方向 Tに離れたフレーム数に応じて、新たな画素の画素値が外揷補間により求められる。

尚、以上の例においては、 4倍密度の画素を演算する際の傾き（微分値）を例として説明してきたが、さらに多くの位置における、傾きの情報が、実世界推定情報として得られれば、上述と同様の手法で、それ以上のフレーム方向の密度の画素を演算する事も可能である。

また、以上の例については、倍密度の画素値を求める例について説明してきた力 S、近似関数 f (t)は連続関数であるので、倍密度以外の画素値についても必要な傾き（微分値）の情報が得られれば、さらに高密度の画素からなる画像を生成することが可能となる。

以上の処理により、実世界推定情報として供給される入力画像の各画素の画素 JP2004/001488

338

値をフレーム方向に近似する近似関数 f (t)の傾き（または、微分値） f (t) 'の情報に基づいて、入力画像よりも高解像度の画像の画素をフレーム方向にも生成することが可能となる。

以上によれば、それぞれ時空間積分効果を有する、センサの複数の検出素子により現実世界の光信号が射影され、現実世界の光信号の定常性の一部が欠落した、検出素子により射影された画素値を有する複数の画素からなる画像データにおけるデータの定常性を検出し、検出された定常性に対応して、画像データ内の注目画素に対して時空間方向のうち 1次元方向にシフトした位置の複数画素の画素値の傾きを、現実世界の光信号に対応する関数として推定し、注目画素の中心位置から 1次元方向にシフトした位置を中心とする傾きを有する直線の前記注目画素内に配される両端の値を注目画素よりも高解像度の画素の画素値として生成するようにしたので、入力画像よりも時空間方向に高解像度の画素を生成することが可能となる。

次に、図 2 6 6乃至図 2 9 1を参照して、画像生成部 1 0 3 (図 3 ) の実施の形態のさらに他の例について説明する。

図 2 6 6は、この例の実施の形態が適用される画像生成部 1 0 3の構成例を表している。

図 2 6 6で示される画像生成部 1 0 3には、従来のクラス分類適応処理を実行するクラス分類適応処理部 3 5 0 1、クラス分類適応処理に対する補正の処理 (処理の詳細については後述する）を実行するクラス分類適応処理補正部 3 5 0 2、および、クラス分類適応処理部 3 5 0 1より出力された画像と、クラス分類適応処理捕正部 3 5 0 2より出力された画像を加算し、加算した画像を出力画像として外部に出力する加算部 3 5 0 3が設けられている。

なお、以下、クラス分類適応処理部 3 5 0 1より出力される画像を、予測画像と称し、クラス分類適応処理補正部 3 5 0 2より出力される画像を、補正画像、または、差分予測画像と称する。ただし、予測画像と差分予測画像の名称の由来についてはそれぞれ後述する。また、この例の実施の形態においては、クラス分類適応処理は、例えば、入力画像の空間解像度を向上する処理であるとする。即ち、標準解像度の画像である入力画像を、高解像度の画像である予測画像に変換する処理であるとする。なお、以下、標準解像度の画像を、適宜、 SD (Standard Definition)画像と称する。また、 SD画像を構成する画素を、適宜、 SD画素と称する。

これに対して、以下、高解像度の画像を、適宜、 HD(High Definition)画像と称する。また、 HD画像を構成する画素を、適宜、 HD画素と称する。

具体的には、この例の実施の形態においては、クラス分類適応処理とは、次のような処理である。

即ち、はじめに、入力画像（SD画像）の注目画素（SD画素）における、予測画像（HD画像）の HD画素を求めるために、注目画素を含めた、その付近に配置される SD画素（以下、このような SD画素を、クラスタップと称する）の特徴量のそれぞれを求めて、その特徴量毎に予め分類されたクラスを特定する (クラスタップ群のクラスコードを特定する）。

そして、予め設定された複数の係数群（各係数群のそれぞれは、所定の 1つのクラスコードに対応している）のうちの、特定されたクラスコードに対応する係数群を構成する各係数と、注目画素を含めた、その付近の SD画素（以下、このような入力画像の SD画素を、予測タップと称する。なお、予測タップは、クラスタップと同じこともある）とを用いて積和演算を実行することで、入力画像 (SD画像）の注目画素（SD画素）における、予測画像（HD画像）の HD画素を求めるものである。

従って、この例の実施の形態においては、入力画像（SD画像）は、クラス分類適応処理部 3 50 1において、従来のクラス分類適応処理が施されて予測画像 (HD画像）となり、さらに、加算部 3503において、その予測画像が、クラス分類適応処理補正部 3 502からの補正画像で補正されて（補正画像が加算されて）出力画像（HD画像）となる。

即ち、この例の実施の形態は、定常性の観点からは、定常性を用いて処理を行う画像処理装置（図 3 ) のうちの画像生成部 1 0 3の 1つの実施の形態であると言える。これに対して、クラス分類適応処理の観点からは、センサ 2とクラス分類適応処理部 3 5 0 1から構成される従来の画像処理装置に対して、クラス分類適応処理の補正を行うために、データ定常性検出部 1 0 1、実世界推定部 1 0 2、クラス分類適応処理補正部 3 5 0 2、およぴ加算部 3 5 0 3をさらに付加した画像処理装置の実施の形態であるとも言える。

従って、以下、この例の実施の形態を、上述した再積分手法に対して、クラス分類適応処理補正手法と称する。

クラス分類適応処理補正手法を利用する画像生成部 1 0 3についてさらに詳しく説明する。

図 2 6 6において、画像である、実世界 1の信号（光の強度の分布）がセンサ 2に入射されると、センサ 2からは入力画像が出力される。この入力画像は、データ定常性検出部 1 0 1に入力されるとともに、画像生成部 1 0 3のクラス分類適応処理部 3 5 0 1に入力される。

クラス分類適応処理部 3 5 0 1は、入力画像に対して、従来のクラス分類適応処理を施して予測画像を生成し、加算部 3 5 0 3に出力する。

このように、クラス分類適応処理部 3 5 0 1は、センサ 2からの入力画像（画像データ）を基準とするとともに、入力画像そのものを処理の対象としている。即ち、センサ 2からの入力画像は、上述した積分効果により実世界 1の信号とは異なるもの（歪んだもの）となっているにも関わらず、クラス分類適応処理部 3 5 0 1は、その実世界 1の信号とは異なる入力画像を正として処理を行っている。その結果、センサ 2から出力された段階で実世界 1のディテールがぶれてしまった入力画像（S D画像）は、クラス分類適応処理によりたとえ H D画像とされても、元のディテールが完全に復元されないことがあるという課題が発生してしまう。

そこで、この課題を解決するために、クラス分類適応処理補正手法においては、画像生成部 1 0 3のクラス分類適応処理捕正部 3 5 0 2が、センサ 2からの入力画像ではなく、センサ 2に入射される前の元の画像（所定の定常性を有する実世界 1の信号）を推定する情報（実世界推定情報）を基準とするとともに、その実世界推定情報を処理の対象として、クラス分類適応処理部 3 5 0 1より出力された予測画像を補正するための補正画像を生成する。

この実世界推定情報は、データ定常性検出部 1 0 1と実世界推定部 1 0 2により生成される。

即ち、データ定常性検出部 1 0 1は、センサ 2からの入力画像に含まれるデータの定常性（センサ 2に入射された実世界 1の信号が有する定常性に対応するデータの定常性）を検出し、その検出結果をデータ定常性情報として実世界推定部 1 0 2に出力する。

なお、データ定常性情報は、図 2 6 6の例では角度とされているが、角度に限定されず、上述した様々な情報が使用可能である。

実世界推定部 1 0 2は、入力された角度（データ定常性情報）に基づいて、実世界推定情報を生成し、画像生成部 1 0 3のクラス分類適応処理補正部 3 5 0 2 に出力する。

なお、実世界推定情報は、図 2 6 6の例では特徴量画像（その詳細は後述する）とされているが、特徴量画像に限定されず、上述した様々な情報が使用可能である。

クラス分類適応処理補正部 3 5 0 2は、入力された特徴量画像（実世界推定情報）に基づいて補正画像を生成し、加算部 3 5 0 3に出力する。

加算部 3 5 0 3は、クラス分類適応処理部 3 5 0 1より出力された予測画像と、クラス分類適応処理補正部 3 5 0 2より出力された捕正画像を加算し、加算した画像（H D画像）を出力画像として外部に出力する。

このようにして出力された出力画像は、予測画像よりもより実世界 1の信号 (画像）に近い画像となる。即ち、クラス分類適応処理補正手法は、上述した課題を解決することが可能な手法である。

さらに、図 2 6 6のように信号処理装置（画像処理装置） 4を構成することで、 1フレームの全体的に処理をアプライすることが可能になる。即ち、後述する併用手法を利用する信号処理装置（例えば、後述する図 2 9 2 ) 等では、画素の領域特定をした上で出力画像を生成する必要があるが、図 ² 6 6の信号処理装置⁴ は、この領域特定が不要になるという効果を奏することが可能になる。

次に、画像生成部 1 0 3のうちのクラス分類適応処理部 3 5 0 1の詳細について説明する。

図 2 6 7は、クラス分類適応処理部 3 5 0 1の構成例を表している。

図 2 6 7において、センサ 2より入力された入力画像（S D画像）は、領域抽出部 3 5 1 1と領域抽出部 3 5 1 5にそれぞれ供給される。領域抽出部 3 5 1 1 は、供給された入力画像から、クラス分類を行うために必要なクラスタップ（注目画素（S D画素）を含む予め設定された位置に存在する S D画素）を抽出し、パターン検出部 3 5 1 2に出力する。パターン検出部 3 5 1 2は、入力されたクラスタップに基づいて入力画像のパターンを検出する。

クラスコード決定部 3 5 1 3は、パターン検出部 3 5 1 2で検出されたパターンに基づいてクラスコードを決定し、係数メモリ 3 5 1 4、および、領域抽出部 3 5 1 5に出力する。係数メモリ 3 5 1 4は、学習により予め求められたクラスコード毎の係数を記憶しており、クラスコード決定部 3 5 1 3より入力されたクラスコードに対応する係数を読み出し、予測演算部 3 5 1 6に出力する。

なお、係数メモリ 3 5 1 4の係数の学習処理については、図 2 6 9のクラス分類適応処理用学習部のプロック図を参照して後述する。

また、係数メモリ 3 5 1 4に記憶される係数は、後述するように、予測画像 (H D画像）を生成するときに使用される係数である。従って、以下、係数メモリ 3 5 1 4に記憶される係数を、他の係数と区別するために、予測係数と称する領域抽出部 3 5 1 5は、クラスコード決定部 3 5 1 3より入力されたクラスコードに基づいて、センサ 2より入力された入力画像（S D画像）から、予測画像 (H D画像）を予測生成するのに必要な予測タップ（注目画素を含む予め設定された位置に存在する S D画素）をクラスコードに対応して抽出し、予測演算部 3 5 16に出力する。

予測演算部 3 5 1 6は、領域抽出部 35 1 5より入力された予測タップと、係数メモリ 3 5 14より入力された予測係数とを用いて積和演算を実行し、入力画像（SD画像）の注目画素（SD画素）における、予測画像（HD画像）の HD 画素を生成し、加算部 3 50 3に出力する。

より詳細には、係数メモリ 3 5 14は、クラスード決定部 3 5 1 3より供給されるクラスコードに対応する予測係数を、予測演算部 3 5 1 6に出力する。予測演算部 3 5 1 6は、領域抽出部 3 5 1 5より供給される入力画像の所定の画素位置の画素値から抽出された予測タップと、係数メモリ 3 5 14より供給された予測係数とを用いて、次の式（2 1 5) で示される積和演算を実行することにより、予測画像（HD画像）の HD画素を求める（予測推定する）。

n

q， = ∑ dj xcj

i=0

• · · (2 1 5) 式（2 1 5) において、 q は、予測画像（HD画像）の HD画素を表している。 _Ci (iは、 1乃至 nの整数値）のそれぞれは、予測タップ（SD画素）のそれぞれを表している。また、 d i のそれぞれは、予測係数のそれぞれを表している。

このように、クラス分類適応処理部 350 1は、 SD画像（入力画像）から、それに対する HD画像を予測推定するので、ここでは、クラス分類適応処理部 3 501から出力される HD画像を、予測画像と称している。

図 268は、このようなクラス分類適応処理部 350 1の係数メモリ 3 5 14 に記憶される予測係数（式（2 1 5) における d J を決定するための学習装置 (予測係数の算出装置）を表している。

なお、クラス分類適応処理捕正手法においては、係数メモリ 35 14の他に、クラス分類適応処理補正部 3 5◦ 2の係数メモリ（後述する図 276で示される補正係数メモリ 35 54) が設けられている。従って、図 268で示されるように、クラス分類適応処理手法における学習装置 3 5 0 4には、クラス分類適応処理部 3 5 0 1の係数メモリ 3 5 1 4に記憶される予測係数（式（2 1 5 ) におけるを決定するための学習部 3 5 2 1 (以下、クラス分類適応処理用学習部 3 5 2 1と称する）の他に、クラス分類適応処理補正部 3 5 0 2の補正係数メモリ 3 5 5 4に記憶される係数を決定するための学習部 3 5 6 1 (以下、クラス分類適応処理補正用学習部 3 5 6 1と称する）が設けられている。

従って、以下、クラス分類適応処理用学習部 3 5 2 1における教師画像を第 1 の教師画像と称するのに対して、クラス分類適応処理補正用学習部 3 5 6 1における教師画像を第 2の教師画像と称する。同様に、以下、クラス分類適応処理用学習部 3 5 2 1における生徒画像を第 1の生徒画像と称するのに対して、クラス分類適応処理補正用学習部 3 5 6 1における生徒画像を第 2の生徒画像と称する。なお、クラス分類適応処理補正用学習部 3 5 6 1については後述する。

図 2 6 9は、クラス分類適応処理用学習部 3 5 2 1の詳細な構成例を表している。

図 2 6 9において、所定の画像が、第 1の教師画像（H D画像）としてダウンコンバート部 3 5 3 1と正規方程式生成部 3 5 3 6のそれぞれに入力されるとともに、クラス分類適応処理補正用学習部 3 5 6 1 (図 2 6 8 ) に入力される。ダウンコンバート部 3 5 3 1は、入力された第 1の教師画像（H D画像）から、第 1の教師画像よりも解像度の低い第 1の生徒画像（S D画像）を生成し（第 1 の教師画像をダウンコンバートしたものを第 1の生徒画像とし）、領域抽出部 3 5 3 2、領域抽出部 3 5 3 5、およびクラス分類適応処理補正用学習部 3 5 6 1 (図 2 6 8 ) のそれぞれに出力する。

このように、クラス分類適応処理用学習部 3 5 2 1には、ダウンコンバート部 3 5 3 1が設けられているので、第 1の教師画像（H D画像）は、上述したセンサ 2 (図 2 6 6 ) からの入力画像よりも高解像度の画像である必要は無い。なぜならば、第 1の教師画像がダウンコンバートされた（解像度が下げられた）第 1 の生徒画像を S D画像とすれば、第 1の生徒画像に対する第 1の教師画像が H D PC漏 00麵 ₄₈₈

345

画像になるからである。従って、第 1の教師画像は、例えば、センサ 2からの入力画像そのものとされてもよい。

領域抽出部 3 5 3 2は、供給された第 1の生徒画像（S D画像）から、クラス分類を行うために必要なクラスタップ（S D画素）を抽出し、パターン検出部 3 5 3 3に出力する。パターン検出部 3 5 3 3は、入力されたクラスタップのパターンを検出し、その検出結果をクラスコード決定部 3 5 3 4に出力する。クラスコード決定部 3 5 3 4は、入力されたパターンに対応するクラスコードを決定し、そのクラスコードを領域抽出部 3 5 3 5、および、正規方程式生成部 3 5 3 6のそれぞれに出力する。

領域抽出部 3 5 3 5は、クラスコード決定部 3 5 ³ 4より入力されたクラスコ一ドに基づいて、ダウンコンパ一ト部 3 5 3 1より入力された第 1の生徒画像 ( S D画像）から予測タップ（S D画素）を抽出し、正規方程式生成部 3 5 3 6 と予測演算部 3 5 5 8のそれぞれに出力する。

なお、以上の領域抽出部 3 5 3 2、パターン検出部 3 5 3 3、クラスコード決定部 3 5 3 4、および領域抽出部 3 5 3 5のそれぞれは、図 2 6 7のクラス分類適応処理部 3 5 0 1の領域抽出部 3 5 1 1、パターン検出部 3 5 1 2、クラスコード決定部 3 5 1 3、および、領域抽出部 3 5 1 5のそれぞれと、基本的に同様の構成と機能を有するものである。

正規方程式生成部 3 5 3 6は、クラスコード決定部 3 5 3 4より入力された全てのクラスコードに対して、クラスコード毎に、領域抽出部 3 5 3 5より入力される第 1の生徒画像（S D画像）の予測タップ（S D画素）と、第 1の教師画像 ( H D画像）の H D画素とから正規方程式を生成し、係数決定部 3 5 3 7に供給する。係数決定部 3 5 3 7は、正規方程式生成部 3 5 3 7より所定のクラスコードに対応する正規方程式が供給されてきたとき、その正規方程式より予測係数のそれぞれを演算し、係数メモリ 3 5 1 4にクラスコードと関連付けて記憶させるとともに、予測演算部 3 5 3 8に供給する。

正規方程式生成部 3 5 3 6と、係数決定部 3 5 3 7についてさらに詳しく説明する。

上述した式（21 5) において、学習前は予測係数のそれぞれが未定係数である。学習は、クラスコード毎に複数の教師画像（HD画像）の HD画素を入力することによって行う。所定のクラスコードに対応する HD画素が m個存在し、 m個の HD画素のそれぞれを、 q_k (kは、 1乃至 mの整数値）と記述する場合、式（2 1 5) から、次の式（21 6) が設定される。

¾ = dj Xc_ik+e_k

i=0

• · · (21 6) 即ち、式（216) は、右辺の演算をすることで、所定の HD画素 ¾ を予測推定することができることを表している。なお、式（21 6) において、 e_k は誤差を表している。即ち、右辺の演算結果である予測画像（HD画像）の HD画素 q_k'力 S、実際の HD画素 q_k と厳密には一致せず、所定の誤差 e_kを含む。

そこで、式（21 6) において、例えば、誤差 e_kの自乗和を最小にするような予測係数力学習により求まればよい。

具体的には、例えば、 m〉nとなるように、 HD画素 q_kを学習により集めることができれば、最小自乗法によって予測係数がー意に決定される。

即ち、式（2 1 6) の右辺の予測係数を最小自乗法で求める場合の正規方程式は、次の式（2 1 7) で表される。

· · ■ (2 1 7) 従って、式（21 7) で示される正規方程式が生成されれば、その正規方程式を解くことで予測係数がー意に決定されることになる。

具体的には、式（217) で示される正規方程式の各行列のそれぞれを、次の式（218) 乃至（220) のように定義すると、正規方程式は、次の式（22

1) のように表される。

di

d₂

^D AT -

4

(21 9)

∑ c_1kxq_k

k=1

m

∑ G_2KX¾

AT ⁼ k=1

∑ c_nkxq_k

k=1

(220)

^CMAT¾AT = ^QMAT

(221) 式（2 1 9) で示されるように、行列 D_MAT の各成分は、求めたい予測係数 di である。従って、式（2 2 1 ) において、左辺の行列 C_MAT と右辺の

行列 Q_MATが決定されれば、行列解法によって行列 D_MAT (即ち、予測係数）の算出が可能である。

より具体的には、式（2 1 8) で示されるように、行列 C_MAT の各成分は、予測タップ c_{i k}が既知であれば演算可能である。予測タップ c_{i k}は、領域抽出部 3 5 3 5により抽出されるので、正規方程式生成部 3 5 3 6は、領域抽出部 3 5 3 5より供給されてくる予測タップ c_{i k}のそれぞれを利用して行列 C_MATの各成分を演算することができる。

また、式（2 20) で示されるように、行列 Q_MATの各成分は、予測タップ c_{i k} と HD画素 q_kが既知であれば演算可能である。予測タップ c_{i k}は、

行列 C_MAT の各成分に含まれるものと同一のものであり、また、 HD画素 q_k は、予測タップ c_{i k}に含まれる注目画素（第 1の生徒画像の SD画素）に対する第 1の教師画像の HD画素である。従って、正規方程式生成部 3 5 3 6は、領域抽出部 3 5 3 5より供給された予測タップ c_{i k} と、第 1の教師画像を利用して行列 Q_MAT の各成分を演算することができる。

このようにして、正規方程式生成部 3 5 3 6は、クラスコード毎に、

行列 C_MAT と行列 Q_MATの各成分を演算し、その演算結果をクラスコードに対応付けて係数決定部 3 5 3 7に供給する。

係数決定部 3 5 3 7は、供給された所定のクラスコードに対応する正規方程式に基づいて、上述した式（2 2 1) の行列 D_MATの各成分である予測係数を演算する。

具体的には、上述した式（2 2 1) の正規方程式は、次の式（2 2 2) のように変形できる。 D T ⁼ ½TQ AT

• · · (2 2 2) 式（2 2 2) において、左辺の行列 D_{MA T}の各成分が、求めたい予測係数である。また、行列 C_MAT と行列 Q_MATのそれぞれの各成分は、正規方程式生成部 3 5 3 6より供給されるものである。従って、係数決定部 3 5 3 7は、正規方程式生成部 3 5 3 6より所定のクラスコードに対応する行列 C_MAT と行列 Q_{MA T} のそれぞれの各成分が供給されてきたとき、式（2 2 2) の右辺の行列演算を行うことで行列 D_MAT を演算し、その演算結果（予測係数）をクラスコードに対応付けて係数メモリ 3 5 1 4に記憶させるとともに、予測演算部 3 5 3 8に供給する。

予測演算部 3 5 3 8は、領域抽出部 3 5 3 5より入力された予測タップと、係数決定部 3 5 3 7により決定された予測係数とを用いて積和演算を実行し、第 1 の生徒画像（SD画像）の注目画素（SD画素）における、予測画像（第 1の教師画像を予測する画像）の HD画素を生成し、それを学習用予測画像としてクラス分類適応処理補正用学習部 3 5 6 1 (図 2 6 8) に出力する。

より詳細には、予測演算部 3 5 3 8は、領域抽出部 3 5 3 5より供給される第 1の生徒画像の所定の画素位置の画素値から抽出された予測タップを、（i は、 1乃至 nの整数値）とし、係数決定部 3 5 3 7より供給された予測係数を、 d , として、上述した式（2 1 5) で示される積和演算を実行することにより、学習用予測画像（HD画像）の HD画素 q'を求める（第 1の教師画像を予測推定する）。

ここで、図 2 70乃至図 2 7 5を参照して、上述した従来のクラス分類適応処理（^ ス分類適応処理部 3 5 0 1) が有する課題、即ち、図 2 6 6において、センサ 2から出力された段階で実世界 1のディテールがつぶれてしまった入力画像（SD画像）は、クラス分類適応処理部 3 5 0 1によりたとえ HD画像（実世界 1の信号を予測する予測画像）とされても、元のディテールが完全に復元されないことがあるという課題について説明する。

図 2 70は、クラス分類適応処理部 3 5 0 1の処理結果の例を表している。図 2 70において、 HD画像 3 54 1は、図中上下方向から、ほぼ 5度時計方向に傾いた細線の画像が含まれる画像である。また、 SD画像 3 5 4 2は、 HD 画像 3 54 1の 2 X 2の画素（HD画素）からなるブロックに属する画素（HD画素）の画素値の平均値を、 1つの画素（SD画素）の画素値として生成された画像である。即ち、 SD画像 3 54 2は、 HD画像 3 5 4 1がダウンコンバートされた（解像度が落とされた）画像である。

換言すると、 HD画像 3 5 4 1は、センサ 2 (図 2 6 6) に入射される前の画像（実世界 1 (図 2 6 6) の信号）を模した画像であるとする。この場合、 SD 画像 3 54 2は、 HD画像 3 54 1に、センサ 2の積分特性を模した、空間方向の積分を適用することにより得られた画像に相当することなる。即ち、 SD画像 3 54 2は、センサ 2からの入力画像を模した画像となる。

また、 SD画像 3 54 2をクラス分類適応処理部 3 5 0 1 (図 2 6 6 ) に入力させ、クラス分類適応処理部 3 5 0 1より出力された予測画像が、予測画像 3 5 4 3である。即ち、予測画像 3 5 4 3は、従来のクラス分類適応処理により生成された HD画像（元の HD画像 3 5 4 1と同一解像度の画像）である。ただし、クラス分類適応処理部 3 5 0 1が予測演算に使用した予測係数（係数メモリ 3 5 1 4 (図 2 6 7) に記憶された予測係数）は、 HD画像 3 5 4 1を第 1の教師画像とし、かつ SD画像 3 54 2を第 1の生徒画像として、クラス分類適応処理用学習部 3 5 6 1 (図 2 6 9) に学習演算させたものである。

HD画像 3 5 4 1、 S D画像 3 54 2、および予測画像 3 5 4 3のそれぞれを比較するに、予測画像 3 54 3は、 SD画像 3 5 4 2よりも、 HD画像 3 5 4 1 により近い画像となっていることがわかる。

この比較結果は、クラス分類適応処理部 3 5 0 1が、 HD画像 3 54 1のディテールがつぶれてしまった SD画像 3 5 4 2に対して、従来のクラス分類適応処理を施すことで、元のディテールが復元された予測画像 3 54 3を生成することができるということを意味している。

しかしながら、予測画像 3 54 3と HD画像 3 5 4 1を比較するに、予測画像 3 5 4 3は、 HD画像 3 5 4 1を完全に復元した画像であるとは言い難い。そこで、本願出願人は、予測画像 3 54 3が HD画像 3 5 4 1を完全に復元できていない理由を調査するために、所定の加算器 3 5 4 6により、 HD画像3 5 4 1と、予測画像 3 54 3の反転入力との加算画像、即ち、 HD画像 3 54 1と予測画像 3 54 3の差分画像（画素の差分が大の場合、白に近い画素とし、画素の差分が小の場合、黒に近い画素とした画像） 3 54 4を生成した。

同様に、本願出願人は、所定の加算器 3 5 4 7により、 HD画像 3 5 4 1と、 SD画像 3 54 2の反転入力との加算画像、即ち、 HD画像 3 54 1と SD画像 3 5 4 2の差分画像（画素の差分が大の場合、白に近い画素とし、画素の差分が小の場合、黒に近い画素とした画像） 3 5 4 5を生成した。

そして、本願出願人は、このようにして生成された差分画像 3 5 44と差分画像 3 54 5を比較することによって、次のような調査結果を得た。

即ち、 HD画像 3 5 4 1と SD画像 3 5 4 2の差分の大きい領域（差分画像 3 54 5の白に近い領域）と、 HD画像 3 5 4 1と予測画像 3 5 4 3の差分の大きい領域（差分画像 3 544の白に近い領域）はほぼ対応している。

換言すると、予測画像 3 5 4 3が HD画像 3 5 4 1を完全に復元できていない領域は、予測画像 3 54 3のうちの、 HD画像 3 54 1と SD画像 3 5 4 2の差分の大きい領域（差分画像 3 5 4 5の白に近い領域）にほぼ一致する。

そこで、本願出願人は、この調査結果の要因を解明するために、さらに次のような調査を行った。

即ち、本願出願人は、まず、 HD画像 3 54 1と予測画像 3 54 3の差分の小さい領域（差分画像 3 5 44の黒に近い領域）において、 HD画像 3 5 4 1の具体的な画素値、 S D画像 3 5 4 2の具体的な画素値、および HD画像 3 54 1に対応する実際の波形（実世界 1の信号）を調査した。その調査結果が、図 2 7 1 と図 2 7 2に示されている。

図 2 7 1は、調査した領域のうちの一例を示している。なお、図 2 7 1において、図中、水平方向は、空間方向の 1方向である X方向とされており、また、垂直方向は、空間方向の他方向である Y方向とされている。即ち、本願出願人は、 HD画像 3 5 4 1と予測画像 3 5 4 3の差分の小さい領域の一例として、図 2 7 1で示される、差分画像 3 5 44の領域 3 5 44— 1について調査した。

図 2 7 2は、図 2 7 1で示される領域 3 544 - 1に含まれる X方向に連続した 6個の HD画素のうちの、図中左から 4個分の HD画素に対応する、 HD画像 3 5 4 1の具体的な画素値、 SD画像 3 5 4 2の具体的な画素値、および、実際の波形（実世界 1の信号）のそれぞれをプロットしたものを表している。

図 2 7 2において、縦軸は画素値を、横軸は空間方向 Xに平行な X軸を、それぞれ表している。 X軸において、原点は、差分画像 3 5 44の 6個の HD画素のうちの図中左から 3番目の HD画素の左端の位置とされており、その原点を基準として座標値が付されている。ただし、 X軸の座標値は、差分画像 3 5 44の HD画素の画素幅を 0.5 として付されている。即ち、差分画像 3 5 44は HD 画像であるので、 HD画像 3 5 4 1の画素幅 L_t (以下、 HD画素幅 L_t と称する）も 0.5になる。従って、いまの場合、 SD画像 3 5 4 2の画素幅（以下、 SD画素幅 L_s と称する）は、 HD画素幅 L_t の 2倍になるので、 SD画素幅 L_s は 1になる。

また、図 2 7 2において、実線は、 HD画像 3 54 1の画素値を、点線は、 S D画像 3 5 4 2の画素値を、一点鎖線は、実世界 1の信号の X断面波形を、それぞれ表している。ただし、実世界 1の信号の波形を実際に描写することは困難であるので、図 2 7 2で示される一点鎖線は、上述した 1次元多項式近似手法（図 2 6 6の実世界推定部 1 0 2の 1実施形態）により X断面波形が近似された近似関数 f(x)が示されている。

次に、本願出願人は、上述した差分の小さい領域の調査と同様に、 HD画像 3 54 1と予測画像 3 54 3の差分の大きい領域（差分画像 3 5 44の白に近い領域）においても、 HD画像 3 5 4 1の具体的な画素値、 SD画像 3 54 2の具体的な画素値、および HD画像 3 5 4 1に対応する実際の波形（実世界 1の信号）を調査した。その調査結果が、図 2 7 3と図 2 7 4に示されている。 4001488

353

図 2 7 3は、調査した領域のうちの一例を示している。なお、図 2 7 3において、図中、水平方向は、空間方向の 1方向である X方向とされており、また、垂直方向は、空間方向の他方向である Y方向とされている。

即ち、本願出願人は、 HD画像 3 5 4 1と予測画像 3 5 4 3の差分の大きい領域の一例として、図 2 7 3で示される、差分画像 3 5 44の領域 3 544— 2について調査した。

図 2 74は、図 2 7 3で示される領域 3 5 44 - 2に含まれる X方向に連続した 6個の HD画素のうちの、図中左から 4個分の HD画素に対応する、 HD画像 3 5 4 1の具体的な画素値、 SD画像 3 5 4 2の具体的な画素値、および実際の波形（実世界 1の信号）のそれぞれをプロットしたものを表している。

図 2 74において、縦軸は画素値を、横軸は空間方向 Xに平行な X軸を、それぞれ表している。 X軸において、原点は、差分画像 3 5 44の 6個の HD画素のうちの図中左から 3番目の HD画素の左端の位置とされており、その原点を基準として座標値が付されている。ただし、 X軸の座標値は、 SD画素幅 L_s を 1 として付されている。

図 2 74において、実線は、 HD画像 3 5 4 1の画素値を、点線は、 SD画像 3 5 4 2の画素値を、一点鎖線は、実世界 1の信号の X断面波形を、それぞれ表している。ただし、図 2 74で示される一点鎖線は、図 2 7 2で示される一点鎖線と同様に、 X断面波形が近似された近似関数 f(x)が示されている。

図 2 7 2と図 2 74を比較するに、両者の近似関数 f (x)の波形の形状より、いずれの領域も細線の領域を含んでいることがわかる。

しかしながら、図 2 7 2においては、細線の領域は、ほぼ x=0から x=lの範囲に存在するのに対して、図 2 74においては、細線の領域は、ほぼ x=- 0.5から x=0.5の範囲に存在する。即ち、図 2 7 2においては、 x=0から x=lの範囲に存在する SD画像 3 5 4 2の 1つの SD画素内に細線の領域がほぼ含まれることになる。これに対して、図 2 74においては、 x=0から x=lの範囲に存在する SD画像 3 5 4 2の 1つの SD画素内に、細線の領域が一部だけ含まれる（細線と背景の境目が含まれる）ことになる。

従って、図 2 7 2で示される状態の場合、 x=0から x=l.0の範囲に存在する H D画像 3 5 4 1の 2つの HD画素の画素値（図中、実線）の差は小さくなる。その結果、当然ながら、これら 2つの HD画素の画素値の平均値である、 S D画像 3 5 4 2の 1つの S D画素の画素値（図中、点線）と、 HD画像 3 5 4 1の 2つの HD画素の画素値のそれぞれとの差分は小さいものになる。

このような状態で（図 2 7 2で示される状態で）、 x=0から x=l.0の範囲に存在する S D画像 3 5 4 2の 1つの SD画素が注目画素とされて、従来のクラス分類適応処理により x=0から x=1.0の範囲に 2つの HD画素（予測画像 3 5 4 3 の画素）が生成された場合について考える。この場合、図 2 7 1で示されるように、生成された予測画像 3 5 4 3の HD画素は、 HD画像 3 5 4 1の HD画素をほぼ正確に予測したものになる。即ち、図 2 7 1で示されるように、領域 3 5 4 4— 1においては、予測画像 3 5 4 3の HD画素と、 HD画像 3 5 4 1の 10画素の差分も小さくなるので、黒に近い画像が表示される。

これに対して、図 2 7 4で示される状態の場合、 x=0から x=l.0の範囲に存在する HD画像 3 5 4 1の 2つの HD画素の画素値（図中、実線）の差は大きくなる。その結果、当然ながら、これら 2つの HD画素の画素値の平均値である、 S D画像 3 5 4 2の 1つの SD画素の画素値（図中、点線）と、 HD画像 3 5 4 1 の 2つの HD画素の画素値のそれぞれとの差分は、図 2 7 2の対応する差分に対して大きなものになる。

このような状態で（図 2 7 4で示される状態で）、 x=0から χ=1.0の範囲に存在する S D画像 3 5 4 2の 1つの S D画素が注目画素とされて、従来のクラス分類適応処理により χ=0から χ=1.0の範囲に HD画素（予測画像 3 5 4 3の画素）が生成された場合について考える。この場合、図 2 7 3で示されるように、生成された予測画像 3 5 4 3の HD画素は、 HD画像 3 5 4 1の HD画素を正確に予測したものとはならない。即ち、図 2 7 3で示されるように、領域 3 5 4 4 — 2においては、予測画像 3 5 4 3の HD画素と、 HD画像 3 5 4 1の HD画素 04001488

355

の差分も大きなものになってしまうので、白に近い画像が表示される。

ところで、図 2 7 2と図 2 74の実世界 1の信号の近似関数 f(x) (図中、一点鎖線）のそれぞれを比較するに、図 2 7 2においては、 x=0から x=lの範囲での近似関数 f(x)の変化量は小さいのに対して、図 2 7 4においては、 x=0力ら x=lの範囲での近似関数 f(x)の変化量は大きいことがわかる。

従って、図 2 7 2で示される x=0から x=l.0の範囲に存在する SD画像 3 5 4 2の 1っの30画素は、 SD画素内での近似関数 f(x)の変化量が小さい（即ち、実世界 1の信号の変化量が小さい） S D画素と言える。

このような観点から、上述した調査結果を言いなおすと、例えば、図 2 7 2で示される x=0力ら x=1.0の範囲に存在する SD画素のような、 SD画素内での近似関数 f(x)の変化が少ない（即ち、実世界 1の信号の変化が少ない） SD画素から、従来のクラス分類適応処理により HD画素が生成されると、生成された HD画素は、実世界 1の信号（いまの場合、細線の画像）をほぼ正確に予測したものとなる。

これに対して、図 2 7 4で示される x=0から x=1.0の範囲に存在する SD画像 3 5 4 2の 1つの SD画素は、 SD画素内での近似関数 f(x)の変化量が大きい（即ち、実世界 1の信号の変化量が大きい） SD画素と言える。

このような観点から、上述した調査結果を言いなおすと、例えば、図 2 7 4で示される x=0から x=1.0の範囲に存在する SD画素のような、 SD画素内での近似関数 f(x)の変化が大きい（即ち、実世界 1の信号の変化が大きい） SD画素から、従来のクラス分類適応処理により HD画素が生成されると、生成された HD画素は、実世界 1の信号（いまの場合、細線の画像）を正確に予測したものとはならない。

以上の調査結果をまとめると、図 2 7 5で示されるような状態の場合、従来の画素間の信号処理（例えば、クラス分類適応処理）では、画素内のディテールを復元することは困難であるということである。

即ち、図 2 7 5は、本願出願人が上述したような調査を行った結果として、得られた知見を説明する図である。

図 2 7 5において、図中水平方向は、センサ 2 (図 2 6 6 ) の検出素子が並んでいる方向（空間方向）のうちの 1方向である X方向を表しており、図中垂直方向は、光のレベルまたは画素値を表している。点線は、画像である、実世界 1 (図 2 6 6 ) の信号の X断面波形 F (x)を表しており、実線は、 X断面波形 F (x) で表される実世界 1の信号（画像）がセンサ 2に入射された場合、センサ 2から出力される画素値 Pを表している。また、センサ 2の 1つの検出素子の幅（X方向の長さ）は、 L_c と記述されており、 Δ Ρは、センサ 2の 1つの検出素子の幅 L_c、即ち、センサ 2の画素幅 L_c 内における X断面波形 F (x)の変化量を表している。

ところで、上述した S D画像 3 5 4 2 (図 2 7 0 ) は、センサ 2からの入力画像（図 2 6 6 ) を模したものであるので、 S D画像 3 5 4 2の S D画素幅 L_s

(図 2 7 2と図 2 7 4 ) は、センサ 2の画素幅（検出素子の幅） L_c として考えることができる。

また、上述した調査においては、細線に対応する実世界 1の信号（近似関数 f (x) ) に対する調査であったが、細線に限らず、実世界 1の信号のレベルの変化は存在する。

従って、上述した調査結果を、図 2 7 5で示される状態に当てはめると、次の通りになる。

即ち、図 2 7 5で示されるような、画素内において実世界 1の信号の変化量 ( X断面波形 F (x)の変化量）厶？が大きぃ3 0画素（センサ 2からの出力画素）が注目画素とされて、従来のクラス分類適応処理により H D画素（例えば、図 2 6 6のクラス分類適応処理部 3 5 0 1から出力される予測画像の画素）が生成された場合、生成された H D画素は、実世界 1の信号（図 2 7 5の例では、 X 断面波形 F (x) ) を正確に予測したものとはならない。

具体的には、クラス分類適応処理をはじめとする従来の手法においては、センサ 2の画素の画素間の画像処理が行われている。 PC蘭 004/001488

357

即ち、図 2 7 5で示されるように、実世界 1では、 1画素内の領域で X断面波形 F (x)の変化量 Δ Ρが大きい状態であっても、センサ 2からは、 X断面波形 F (x)が積分された（厳密には、実世界 1の信号が、時空間方向に積分された） 1つの画素値 P ( 1画素内で均一の値 P ) のみが出力される。

従来の手法においては、その画素値 Pが基準とされるとともに、画素値 Pが処理の対象とされて画像処理が行われている。換言すると、従来の手法においては、画素内における実世界 1の信号（X断面波形 F (x) ) の変化、即ち、画素内のディテールを無視して、画像処理が行われている。

このように、画素を最小の単位として処理する限り、例えどのような画像処理 (クラス分類適応処理でも）を施したとしても、画素内における実世界 1の信号の変化を正確に再現することは困難である。特に、実世界 1の信号の変化量 Δ Ρ が大きい場合、その困難さはより顕著なものとなる。

換言すると、上述したクラス分類適応処理が有する課題、即ち、図 2 6 6において、センサ 2から出力された段階で実世界 1のディテールがつぶれてしまった入力画像（S D画像）は、クラス分類適応処理によりたとえ H D画像とされても、元のディテールが完全に復元されないことがあるという課題が発生する原因は、画素内における実世界 1の信号の変化量 Δ Ρを考慮せずに、画素（1つの画素値しか有しない画素）を最小の単位としてクラス分類適応処理が行われているからである。

この課題は、クラス分類適応処理に限らず従来の画像処理手法の全てが有する課題であり、課題が発生する原因も全く同じである。

以上、従来の画像処理手法が有する課題と、その発生要因について説明した。ところで、上述したように、本発明のデータ定常性検出部 1 0 1と実世界推定部 1 0 2 (図 3 ) は、実世界 1の信号が有する定常性を利用して、センサ 2からの入力画像（即ち、画素内における、実世界 1の信号の変化が無視された画像）から、実世界 1の信号を推定することができる。即ち、実世界推定部 1 0 2は、実世界 1の信号を推定することが可能な実世界推定情報を出力することができる。 2004/001488

358

従って、この実世界推定情報から、画素内における、実世界 1の信号の変化量の推定も可能である。

そこで、本願出願人は、従来のクラス分類適応処理により生成された予測画像 (画素内における、実世界 1の信号の変化を考慮せずに、実世界 1を予測した画像）を、実世界推定情報に基づいて生成される所定の補正画像（画素内における、実世界 1の信号の変化に起因する予測画像の誤差を推定した画像）で補正することで、上述した課題の解決が可能になるという思想に基づいて、例えば、図 2 6 6で示されるような、クラス分類適応処理補正手法を発明した。

即ち、図 2 6 6において、データ定常性検出部 1 0 1と実世界推定部 1 0 2力実世界推定情報を生成し、クラス分類適応処理補正部 3 5 0 2が、生成された実世界推定情報に基づいて所定の補正画像を生成する。そして、加算部 3 5 0 3力クラス分類適応処理部 3 5 0 1より出力された予測画像を、クラス分類適応処理補正部 3 5 0 2より出力された補正画像で補正する（具体的には、予測画像に補正画像を加算した画像を出力画像として出力する）。

クラス分類適応処理補正手法を利用する画像生成部 1 0 3のうちの、クラス分類適応処理部 3 5 0 1の詳細については既に説明した。また、加算部 3 5 0 3は、予測画像と補正画像を加算することができるものであれば、その形態は特に限定されず、例えば、従来より存在する、様々な加算器やプログラム等を適用することが可能である。

そこで、以下、残りのクラス分類適応処理捕正部 3 5 0 2の詳細について説明する。

はじめに、クラス分類適応処理補正部 3 5 0 2の原理について説明する。

上述したように、図 2 7 0において、 H D画像 3 5 4 1を、センサ 2 (図 2 6 6 ) に入射される前の元の画像（実世界 1の信号）とみなし、かつ、 S D画像 3 5 4 2を、センサ 2からの入力画像とみなすと、予測画像 3 5 4 3力 S、クラス分類適応処理部 3 5 ◦ 1より出力される予測画像（元の画像（H D画像 3 5 4 1 ) を予測した予測画像）となる。また、 H D画像 3 5 4 1から、その予測画像 3 5 4 3を減算した画像が、差分画像 3 5 4 4である。

従って、クラス分類適応処理補正部 3 5 0 2が、差分画像 3 5 4 4を生成し、その差分画像 3 5 4 4を補正画像として出力することができれば、加算部 3 5 0 3が、クラス分類適応処理部 3 5 0 1より出力された予測画像 3 5 4 3と、クラス分類適応処理補正部 3 5 0 2より出力された差分画像 3 5 4 4 (補正画像）を加算することで、 H D画像 3 5 4 1を復元することができる。

即ち、クラス分類適応処理補正部 3 5 0 2が、画像である、実世界 1の信号 (センサ 2に入射される前の元の画像）と、クラス分類適応処理部 3 5 0 1から出力される予測画像との差分画像（ただし、クラス分類適応処理部 3 5 0 1から出力される予測画像と同一解像度の画像）を適切に予測し、予測した差分画像

(以下、差分予測画像と称する。これが、上述した差分予測画像の名称の由来である）を補正画像として出力することができれば、実世界 1の信号（元の画像）をほぼ復元することができる。

ところで、上述したように、実世界 1の信号（センサ 2に入射される前の元の画像）と、クラス分類適応処理部 3 5 0 1から出力される予測画像との差分（誤差）の度合いと、入力画像の 1画素内における、実世界 1の信号の変化量の度合いは対応している。また、実世界推定部 1 0 2は、実世界 1の信号自身を推定することができるので、当然ながら、入力画像の 1画素内における、実世界 1の信号の変化量の度合いを表す所定の特徴量を画素毎に算出することも可能である。従って、クラス分類適応処理補正部 3 5 0 2は、入力画像の各画素のそれぞれに対する特徴量を取得することで、差分予測画像を生成する（差分画像を予測する）ことができる。

そこで、例えば、クラス分類適応処理捕正部 3 5 0 2は、実世界推定部 1 0 2 より、特徴量を画素値とする画像（以下、このような画像を、特徴量画像と称する）を実世界推定情報として実世界推定部 1 0 2より入力する。

このとき、特徴量画像の解像度は、センサ 2からの入力画像と同一の解像度である。また、補正画像（差分予測画像）は、クラス分類適応処理部 3 5 0 1より出力される予測画像と同一の解像度である。

従って、クラス分類適応処理補正部 3 5 0 2が、特徴量画像を S D画像とし、補正画像（差分予測画像）を H D画像とし、従来のクラス分類適応処理を利用して、特徴量画像から差分画像を予測演算すれば、その予測演算の結果が、適切な差分予測画像となる。

以上、クラス分類適応処理補正部 3 5 0 2の原理について説明した。

図 2 7 6は、このような原理で動作するクラス分類適応処理補正部 3 5 0 2の構成例を表している。

図 2 7 6において、実世界推定部 1 0 2より入力された特徴量画像（S D画像）は、領域抽出部 3 5 5 1と領域抽出部 3 5 5 5にそれぞれ供給される。領域抽出部 3 5 5 1は、供給された特徴量画像から、クラス分類を行うために必要なクラスタップ（注目画素を含む予め設定された位置に存在する S D画素）を抽出し、パターン検出部 3 5 5 2に出力する。パターン検出部 3 5 5 2は、入力されたクラスタップに基づいて特徴量画像のパターンを検出する。

クラスコード決定部 3 5 5 3は、パターン検出部 3 5 5 2で検出されたパターンに基づいてクラスコードを決定し、補正係数メモリ 3 5 5 4、および、領域抽出部 3 5 5 5に出力する。補正係数メモリ 3 5 5 4は、学習により予め求められたクラスコード毎の係数を記憶しており、クラスコード決定部 3 5 5 3より入力されたクラスコードに対応する係数を読み出し、補正演算部 3 5 5 6に出力する _c なお、捕正係数メモリ 3 5 5 4の係数の学習処理については、図 2 7 7のクラス分類適応処理補正用学習部のプロック図を参照して後述する。

また、補正係数メモリ 3 5 5 4に記憶される係数は、後述するように、差分画像を予測する（H D画像である差分予測画像を生成する）ときに使用される予測係数である。しかしながら、ここでは、クラス分類適応処理部 3 5 0 1の係数メモリ 3 5 1 4 (図 2 6 7 ) に記憶されている係数を、予測係数と称している。従つて、以下、捕正係数メモリ 3 5 5 4に記憶される予測係数を、係数メモリ 3 5 TJP2004/001488

361

1 4に記憶される予測係数と区別するために、補正係数と称する。

領域抽出部 3 5 5 5は、クラスコード決定部 3 5 5 3より入力されたクラスコードに基づいて、実世界推定部 1 0 2より入力された特徴量画像（SD画像）から、差分画像（HD画像）を予測する（HD画像である差分予測画像を生成する）のに必要な予測タップ（注目画素を含む予め設定された位置に存在する SD 画素）をクラスコードに対応して抽出し、補正演算部 3 5 5 6 出力する。補正演算部 3 5 5 6は、領域抽出部 3 5 5 5より入力された予測タップと、補正係数メモリ 3 5 5 4より入力された補正係数とを用いて積和演算を実行し、特徴量画像（SD画像）の注目画素（SD画素）における、差分予測画像（HD画像）の HD画素を生成する。

より詳細には、補正係数メモリ 3 5 54は、クラスコード決定部 3 5 5 3より供給されるクラスコードに対応する補正係数を、補正演算部 3 5 5 6に出力する。補正演算部 3 5 5 6は、領域抽出部 3 5 5 5より供給される入力画像の所定の画素位置の画素値から抽出された予測タップ（SD画素）と、補正係数メモリ 3 5 54より供給された補正係数とを用いて、次の式（2 2 3) で示される積和演算を実行することにより、差分予測画像（HD画像）の HD画素を求める（差分画像を予測推定する）。

- - - (2 2 3) 式（2 2 3) において、は、差分予測画像.（HD画像）の HD画素を表している。 _ai (iは、 1乃至 nの整数値）のそれぞれは、予測タップ（SD画素）のそれぞれを表している。また、 g i のそれぞれは、補正係数のそれぞれを表している。

従って、図 2 6 6において、クラス分類適応処理部 3 5 0 1からは、上述した式（2 1 5) で示される予測画像の HD画素 q'が出力されるのに対して、クラス分類適応処理捕正部 3 5 0 2からは、式（2 2 3) で示される差分予測画像の H D画素 u'が出力される。そして、加算部 3 5 0 3が、予測画像の H D画素 q と、差分予測画像の H D画素とを加算した画素（以下、 ₀'と記述する）を、出力画像の H D画素として外部に出力する。

即ち、画像生成部 1 0 3より最終的に出力される出力画像の H D画素 ₀'は、次の式（2 2 4 ) で示されるようになる。

π n

₀， = q' +u' = ∑ d j x c j +∑ gj aj

i =0 i =0

• · · ( 2 2 4 ) 図 2 7 7は、このようなクラス分類適応処理補正部 3 5 0 2の捕正係数メモリ 3 5 5 4に記憶される補正係数（上述した式（2 2 2 ) における g , ) を決定するための学習部、即ち、上述した図 2 6 8の学習装置 3 5 0 4のクラス分類適応処理補正用学習部 3 5 6 1の詳細な構成例を表している。

図 2 6 8において、上述したように、クラス分類適応処理用学習部 3 5 2 1は、その学習処理を終了すると、クラス分類適応処理補正用学習部 3 5 6 1に対して、学習に利用した第 1の教師画像（H D画像）と第 1の生徒画像（S D画像）のそれぞれを出力するともに、学習により求められた予測係数を用いて第 1の生徒画像から第 1の教師画像を予測した画像である、学習用予測画像を出力してくる。図 2 7 7に戻り、これらのうちの第 1の生徒画像は、データ定常性検出部 3 5 7 2に入力される。

一方、これらのうちの第 1の教師画像と学習用予測画像は、加算部 3 5 7 1に入力される。ただし、学習用予測画像は、反転入力される。

加算部 3 5 7 1は、入力された第 1の教師画像と、反転入力された学習用予測画像を加算し、即ち、第 1の教師画像と学習用予測画像の差分画像を生成し、それをクラス分類適応処理補正用学習部 3 5 6 1における教師画像（この教師画像を、上述したように、第 1の教師画像と区別するために、第 2の教師画像と称する）として正規方程式生成部 3 5 7 8に出力する。

データ定常性検出部 3 5 7 2は、入力された第 1の生徒画像に含まれるデータの定常性を検出し、その検出結果をデータ定常性情報として実世界推定部 3 5 7 3に出力する。

実世界推定部 3 5 7 3は、入力されたデータ定常性情報に基づいて、特徴量画像を生成し、それをクラス分類適応処理補正用学習部 3 5 6 1における生徒画像 (この生徒画像を、上述したように、第 1の生徒画像と区別するために、第 2の生徒画像と称する）として領域抽出部 3 5 7 4と領域抽出部 3 5 7 7のそれぞれに出力する。

領域抽出部 3 5 7 4は、供給された第 2の生徒画像（S D画像）から、クラス分類を行うために必要な S .D画素（クラスタップ）を抽出し、パターン検出部 3 5 7 5に出力する。パターン検出部 3 5 7 5は、入力されたクラスタップのパターンを検出し、検出結果をクラスコード決定部 3 5 7 6に出力する。クラスコード決定部 3 5 7 6は、入力されたパターンに対応するクラスコードを決定し、そのクラスコードを領域抽出部 3 5 7 7、および、正規方程式生成部 3 5 7 8のそれぞれに出力する。

領域抽出部 3 5 7 7は、クラスコード決定部 3 5 7 6より入力されたクラスコードに基づいて、実世界推定部 3 5 7 3より入力された第 2の生徒画像（S D画像）から予測タップ（S D画素）を抽出し、正規方程式生成部 3 5 7 8に出力する。

なお、以上の領域抽出部 3 5 7 4、パターン検出部 3 5 7 5、クラスコード決定部 3 5 7 6、および領域抽出部 3 5 7 7のそれぞれは、図 2 7 6のクラス分類適応処理補正部 3 5 0 2の領域抽出部 3 5 5 1、パターン検出部 3 5 5 2、クラスコード決定部 3 5 5 3、および、領域抽出部 3 5 5 5のそれぞれと、基本的に同の構成と機能を有するものである。また、以上のデータ定常性検出部 3 5 7 2、および実世界推定部 3 5 7 3のそれぞれは、図 2 6 6のデータ定常性検出部 1 0 1、および実世界推定部 1 0 2のそれぞれと、基本的に同様の構成と機能を有するものである。

正規方程式生成部 3 5 7 8は、クラスコード決定部 3 5 7 6より入力された全てのクラスコードに対して、クラスコード毎に、領域抽出部 3 57 7より入力される第 2の生徒画像（SD画像）の予測タップ（SD画素）と、第 2の教師画像 (HD画像）の HD画素とから正規方程式を生成し、補正係数決定部 3 5 79に供給する。補正係数決定部 3 5 7 9は、正規方程式生成部 3 5 78より所定のクラスコードに対応する正規方程式が供給されてきたとき、その正規方程式より捕正係数のそれぞれを演算し、捕正係数メモリ 35 54にクラスコードと関連付けて記憶させる。

正規方程式生成部 35 78と、補正係数決定部 35 79についてさらに詳しく説明する。

上述した式（223) において、学習前は補正係数 gi のそれぞれが未定係数である。学習は、クラスコード毎に複数の教師画像（HD画像）の HD画素を入力することによって行う。所定のクラスコードに対応する HD画素が m個存在し、 m個の HD画素のそれぞれを、 u_k (kは、 1乃至 mの整数値）と記述する場合、式（223) から、次の式（22 5) が設定される。

n

u_k= I gj a_ik+e_k

i=o

• · · (225) 即ち、式（225) は、右辺の演算をすることで、所定の HD画素を予測推定することができることを表している。なお、式（225) において、 e_kは誤差を表している。即ち、右辺の演算結果である差分予測画像（HD画像）の HD画素 u_k'が、実際の差分画像の HD画素 u_k と厳密には一致せず、所定の誤差 e_k を含む。

そこで、式（2225) において、例えば、誤差 e_kの自乗和を最小にするような捕正係数 _&i ίΚ 学習により求まればよい。

例えば、 m>nとなるように、差分画像の HD画素 u_k を学習により集めることができれば、最小自乗法によって補正係数がー意に決定される。

即ち、式（225) の右辺の補正係数 _ai を最小自乗法で求める場合の正規方程式は、次の式（2 26) で示される通りになる

式 (2 2 6) で示される正規方程式の各行列のそれぞれを、次の式 ( 2 2 7) 乃至（2 2 9) のように定義すると、正規方程式は、次の式（2 3 0) のよう表される。

m m J,

∑ a_1k a_1k ∑ a_1k a_2k ··· a_1k a_nk

k=1 k=1 k=1

m m m

∑ a_2kxa_lk 32k^{X a}2k · " ,∑ ^a2k^{X a}nk

^AMAT ⁼ k=1 k=1 k=1

∑ a_nkxa_1k L a_nk x a_2k

k=1 k=1 k=1

(2 2 7)

S1

S2

(2 2 8)

• · - ( 2 2 9)

½T¾AT = ^UMAT

• · · ( 2 3 0) 式（2 2 8) で示されるように、行列 G_MAT の各成分は、求めたい補正係数 giである。従って、式（2 3 0) において、左辺の行列 A_MAT と右辺の行列 U_MATが決定されれば、行列解法によって行列 G_{MA T} (即ち、補正係数 _gi) の算出が可能である。

具体的には、式（2 2 7) で示されるように、行列 A_MAT の各成分は、予測タップ a_{i k}が既知であれば演算可能である。予測タップ a_{i k}は、領域抽出部 3 5 7 7により抽出されるので、正規方程式生成部 3 5 7 8は、領域抽出部 3 5 7 7 より供給されてくる予測タップ a_{i k}のそれぞれを利用して行列 A_MAT の各成分を演算することができる。

また、式（2 2 9 ) で示されるように、行列 U_MATの各成分は、予測タップ a_{i k} と差分画像の HD画素 u_kが既知であれば演算可能である。予測タップ a_{i k} は、行列 A_MAT の各成分に含まれるものと同一のものであり、また、差分画像の HD画素 u_kは、加算部 3 5 7 1より出力される第 2の教師画像の HD画素である。従って、正規方程式生成部 3 5 7 8は、領域抽出部 3 5 7 7より供給された予測タップ a_{i k} と、第 2の教師画像（第 1の教師画像と、学習用予測画像の差分画像）を利用して行列 U_MATの各成分を演算することができる。

このようにして、正規方程式生成部 3 5 7 8は、クラスコード毎に、行列 A_{MA T} と行列 U_{MA T} の各成分を演算し、その演算結果をクラスコードに対応付けて補正係数決定部 3 5 7 9に供給する。

補正係数決定部 3 5 7 9は、供給された所定のクラスコードに対応する正規方程式に基づいて、上述した式（2 3 0) の行列 G_MATの各成分である捕正係数 _gi を演算する。

具体的には、上述した式（2 3 0) の正規方程式は、次の式（2 3 1 ) のように変形できる。一 1

« ΑΤ ⁼ ½T^UMAT

• · · (2 3 1 ) 式（2 3 1) において、左辺の行列 G_MATの各成分が、求めたい補正係数 gi である。また、行列 A_MAT と行列 U_MATのそれぞれの各成分は、正規方程式生成部 3 5 7 8より供給されるものである。従って、補正係数決定部 3 5 7 9は、正規方程式生成部 3 5 7 8より所定のクラスコードに対応する行列 A_M A _τ と行列 U_MATのそれぞれの各成分が供給されてきたとき、式（2 3 1) の右辺の行列演算を行うことで行列 G_MAT を演算し、その演算結果（補正係数 _gi) をクラスコードに対応付けて補正係数メモリ 3 5 54に記憶させる。

以上、クラス分類適応処理補正部 3 5 0 2と、それに付随する学習部である、クラス分類適応処理補正用学習部 3 5 6 1の詳細について説明した。

ところで、上述した特徴量画像は、クラス分類適応処理補正部 3 5 0 2がそれに基づいて補正画像（差分予測画像）を生成することが可能なものであれば、その形態は特に限定されない。換言すると、特徴量画像の各画素の画素値、即ち、特徴量は、上述したように、画素（センサ 2 (図 2 6 6) の画素）内における実世界 1 (図 2 6 6) の信号の変化量の度合いを表すことができるものであれば、特に、限定されない。

例えば、特徴量として、画素内傾斜を適用することが可能である。

画素内傾斜とは、ここで新しく定義した言葉である。そこで、以下、画素内傾斜について説明する。 P T/JP2004/001488

368

上述したように、図 266において、画像である、実世界 1の信号は、 3次元の空間上の位置 x，y、およぴ2、並びに時刻 tを変数とする関数 F(x，y, t)で表される。

また、例えば、画像である、実世界 1の信号が、空間方向の所定の方向に定常性を有する場合、関数 F(x，y,t)を、空間方向である X方向、 Y方向、および Z 方向のうちの所定の 1方向（例えば、 X方向）に射影した 1次元の波形（ここでも、このような波形のうちの X方向に射影した波形を、 X断面波形 F(x)と称することにする）と同一形状の波形が、定常性の方向に連なっていると考えることができる。

従って、実世界推定部 10 2は、例えば、データ定常性検出部 1 01より出力される、実世界 1の信号が有する定常性に対応するデータ定常性情報（例えば、角度）に基づいて、 X断面波形 F(x)を、 n次（nは、任意の整数）の多項式である近似関数 f ）で近似することができる。

図 278は、このような近似関数 f(x)の一例として、次の式（232) で示される f₄ (x) (5次の多項式である f₄ (X)) と、次の式（23 3) で示される f₅ (x) (1次の多項式である f₅ (x)) をプロットしたものを表している。 f Λ (X) = w₀+w₁ x +w₂x" + ₃x³ +w₄x +w₅x

• · · (23 2) f₅ (x) = WQ' + ₁'X

· · ■ (23 3) なお、式（232) の w。乃至 w₅、並びに、式（23 3) の w。'およぴ ^，のそれぞれは、実世界推定部 1 02が演算した各次の係数を表している。

また、図 278において、図中水平方向の X軸は、注目画素の左端を原点 (x=0) とした場合における、注目画素からの空間方向 Xの相対位置を表している。ただし、 X軸においては、センサ 2の検出素子の幅 L_cが 1とされている。また、図中垂直方向の軸は、画素値を表している。図 2 7 8で示されるように、 1次の近似関数 f₅ (x) (式（2 3 2 ) で示される近似関数 f₅ (x) ) は、注目画素における X断面波形 F (x)を直線近似したものである。この近似直線の傾きを、ここでは、画素内傾斜と称している。即ち、画素内傾斜とは、式（2 3 3 ) における Xの係数 'である。

画素内傾斜が急な場合、それは、注目画素における、 X断面波形 F (x)の変化量が大きいことを表している。これに対して、画素内傾斜が緩やかな場合、それは、注目画素における、 X断面波形 F (x)の変化量が小さいことを表している。このように、画素内傾斜は、画素（センサ 2の画素）内における実世界 1の信号の変化量の度合いを適切に表すことができる。従って、特徴量として、画素内傾斜を適用することができる。

例えば、図 2 7 9には、画素内傾斜を特徴量として実際に生成された特徴量画像が示されている。

即ち、図 2 7 9において、図中左側の画像は、上述した図 2 7 0で示される S D画像 3 5 4 2と同一の画像を表している。また、図中右側の画像は、左側の S D画像 3 5 4 2を構成する各画素のそれぞれに対して画素内傾斜を求め、画素内傾斜に対応する値を画素値としてプロットした特徴量画像 3 5 9 1を表している。ただし、特徴量画像 3 5 9 1は、画素内傾斜がない場合（近似直線が、 X方向に平行な場合）、黒となり、これに対して、画素内傾斜が直角の場合（近似直線が、 Y方向に平行な場合）、白となるように生成されている。

S D画像 3 5 4 2の領域 3 5 4 2— 1は、上述した図 2 7 1の差分画像 3 5 4 4の領域 3 5 4 4— 1 (上述した図 2 7 2を参照して、画素内における実世界 1 の信号の変化量が小さい領域の一例として説明した領域）に対応する領域である。この S D画像 3 5 4 2の領域 3 5 4 2 - 1に対応する特徴量画像 3 5 9 1の領域力領域 3 5 9 1— 1である。

また、 S D画像 3 5 4 2の領域 3 5 4 2— 2は、上述した図 2 7 3の差分画像 3 5 4 4の領域 3 5 4 4— 2 (上述した図 2 7 4を参照して、画素内における実世界 1の信号の変化量が大きい領域の 1例として説明した領域）に対応する領域である。この S D画像 3 5 4 2の領域 3 5 4 2— 2に対応する特徴量画像 3 5 9 1の領域が、領域 3 5 9 1— 2である。

S D画像 3 5 4 2の領域 3 5 4 2— 1と特徴量画像 3 5 9 1の領域 3 5 9 1— 1とを比較するに、実世界 1の信号の変化量が小さい領域は、特徴量画像 3 5 9 1においては、黒に近い領域（画素内傾斜が緩い領域）となっていることがわかる。

これに対して、 S D画像 3 5 4 2の領域 3 5 4 2 - 2と特徴量画像 3 5 9 1の領域 3 5 9 1— 2とを比較するに、実世界 1の信号の変化量が大きい領域は、特徴量画像 3 5 9 1においては、白に近い領域（画素内傾斜が急な領域）となっていることがわかる。

このように、画素内傾斜に対応する値を画素として生成された特徴量画像は、各画素内のそれぞれにおける実世界 1の信号の変化量の度合いを適切に表すことができる。

次に、画素内傾斜の具体的な算出方法について説明する。

即ち、注目画素における画素内傾斜を、 gradと記述すると、画素内傾斜 grad は、次の式（2 3 4 ) で表される。

P

― ■ n一 p

grad =

X

■ ■ · ( 2 3 4 ) 式（2 3 4 ) において、 P_nは、注目画素の画素値を表している。 P_cは、中心画素の画素値を表している。

具体的には、例えば、図 2 8 0で示されるように、センサ 2からの入力画像のうちの、 5 X 5の画素（図中 5 X 5 = 2 5個の正方形）からなる領域であって、所定のデータの定常性を有する領域 3 6 0 1 (以下、定常領域 3 6 0 1と称する）が存在した場合、この定常領域 3 6 0 1の中心の画素 3 6 0 2が中心画素とされる。従って、 P_cは、中心画素 3 6 0 2の画素値となる。そして、例えば、画素 3 6 0 3が注目画素とされた場合、 P_nは、注目画素 3 6 0 3の画素値となる。

また、式（2 3 4 ) において、 X /は、注目画素の中心点における断面方向距離を表している。なお、ここでは、中心画素（図 2 8 0の例では、画素 3 6 0 2 ) の中心を空間方向の原点（0，0)とし、その原点を通るデータの定常性の方向と平行な直線（図 2 8 0の例では、直線 3 6 0 4 ) を引いたとすると、その直線に対する X方向の相対的な距離を、断面方向距離と称している。

図 2 8 1は、図 2 8 0の定常領域 3 6 0 1内の各画素の断面方向距離を表した図である。即ち、図 2 8 1において、定常領域 3 6 0 1の各画素（図中 5 X 5 = 2 5個の正方形）内のそれぞれに記載されている値が、対応する画素の断面方向距離である。例えば、注目画素 3 6 0 3の断面距離 X /は、一 2 である。

ただし、各画素幅は、 X方向も Y方向も 1とされている。 X方向の正方向は、図中右方向とされている。また、；3は、中心画素 3 6 0 2の Y方向に対して 1つ隣（図中 1つ下）の画素 3 6 0 5の断面方向距離を表している。この ]3は、図 2 8 1で示されるような角度 0 (直線 3 6 0 4の方向と、 X方向のなす角度 0 ) が、データ定常性検出部 1 0 1よりデータ定常性情報として出力されている場合、次の式（2 3 5 ) を利用して簡単に演算することが可能である。 β = tan 0

• · · ( 2 3 5 ) このように、画素内傾斜は、中心画素（図 2 8 1の例では画素 3 6 0 2 ) と注目画素（図 2 8 1の例では画素 3 6 0 3 ) の 2つの入力画素値と、角度 Θを利用する簡単な演算で算出可能である。従って、実世界推定部 1 0 2は、画素内傾斜に対応する値を画素値とする画像を、特徴量画像として生成すれば、その処理量を大幅に低減することが可能になる。

なお、さらに精度のよい画素内傾斜を求めたい場合、実世界推定部 1 0 2は、注目画素の周辺画素を用いて最小自乗法により演算すればよい。具体的には、実世界推定部 1 0 2は、注目画素を含む m個（mは 2以上の整数）の画素に対して T/JP2004/001488

372

番号 i (iは、 1乃至 m) を付与し、番号 iの画素のそれぞれの入力画素値 Pi と断面方向距離 Xi 'を、次の式（2 3 6 ) の右辺に代入して注目画素における画素内傾斜 gradを演算すればよい。即ち、式（2 3 6 ) は、上述した 1変数を最小自乗法で求める式と同様の式である。

• · · ( 2 3 6 ) 次に、図 2 8 2を参照して、クラス分類適応処理補正手法を利用する画像生成部 1 0 3 (図 2 6 6 ) の画像の生成の処理（図 4 0のステップ S 1 0 3の処理）について説明する。

図 2 6 6において、画像である、実世界 1の信号がセンサ 2に入射されると、センサ 2からは入力画像が出力される。この入力画像は、データ定常性検出部 1 0 1に入力されるとともに、画像生成部 1 0 3のクラス分類適応処理部 3 5 0 1 に入力される。

そこで、図 2 8 2のステップ S 3 5 0 1において、クラス分類適応処理部 3 5 0 1は、入力された入力画像（S D画像）に対してクラス分類適応処理を施して、予測画像（H D画像）を生成し、加算部 3 5 0 3に出力する。

なお、以下、このようなクラス分類適応処理部 3 5◦ 1が実行するステップ S 3 5 0 1の処理を、「入力画像クラス分類適応処理」と称する。この例の「入力画像クラス分類適応処理」の詳細については、図 2 8 3のフローチャートを参照して後述する。

ステップ S 3 5 0 1の処理とほぼ同時に、データ定常性検出部 1 0 1は、入力画像に含まれるデータの定常性を検出し、その検出結果（いまの場合、角度）をデータ定常性情報として実世界推定部 1 0 2に出力する（図 4 0のステップ S 1 0 1の処理）。実世界推定部 1 0 2は、入力した角度（データ定常性情報）に基づいて、実世界推定情報（いまの場合、 S D画像である特徴量画像）を生成し、画像生成部 1 0 3のクラス分類適応処理補正部 3 5 0 2に供給する（図 4 0のステップ S 1 0 2の処理）。

そこで、ステップ S 3 5 0 2において、クラス分類適応処理補正部 3 5 0 2は、供給された特徴量画像（S D画像）に対してクラス分類適応処理を施して、差分予測画像（H D画像）を生成し（実際の画像（実世界 1の信号）と、クラス分類適応処理部 3 5 0 1から出力された予測画像との差分画像（ただし、 H D画像）を予測演算し）、それを補正画像として加算部 3 5 0 3に出力する。

なお、以下、このようなクラス分類適応処理捕正部 3 5 0 2が実行するステツプ S 3 5 0 2の処理を、「クラス分類適応処理の補正処理」と称する。この例の「クラス分類適応処理の補正処理」の詳細については、図 2 8 4のフローチヤ一トを参照して後述する。

そして、ステップ S 3 5 0 3において、加算部 3 5 0 3力ステップ S 3 5 0 1の処理でクラス分類適応処理部 3 5 0 1により生成された予測画像（H D画像）の注目画素（H D画素）と、その注目画素に対応する、ステップ S 3 5 0 2 の処理でクラス分類適応処理補正部 3 5 0 2により生成された補正画像（H D画像）の画素（H D画素）を加算し、出力画像（H D画像）の画素（H D画素）を生成する。

ステップ S 3 5 0 4において、加算部 3 5 0 3は、全画素の処理を終了したか否かを判定する。

ステップ S 3 5 0 4において、全画素の処理がまだ終了されていないと判定された場合、処理はステップ S 3 5 0 1に戻り、それ以降の処理が操り返される。即ち、まだ注目画素とされない画素が、順次注目画素とされて、ステップ S 3 5 0 1乃至 S 3 5 0 3の処理が繰り返される。

そして、全画素の処理が終了すると（ステップ S 3 5 ◦ 4において、全画素の処理が終了されたと判定すると）、加算部 3 5 0 4は、ステップ S 3 5 0 5にお 04 001488

374

いて、出力画像（H D画像）を外部に出力する。その後、画像の生成の処理は終了となる。

次に、図面を参照して、この例における「入力画像クラス分類適応処理（ステップ S 3 5 0 1の処理）」、および、「クラス分類適応処理の補正処理（ステツプ S 3 5 0 2の処理）」のそれぞれの詳細について、その順番で個別に説明する。はじめに、図 2 8 3のフローチャートを参照して、クラス分類適応処理部 3 5 0 1 (図 2 6 7 ) が実行する「入力画像クラス分類適応処理」の詳細について説明する。

入力画像（S D画像）がクラス分類適応処理部 3 5 0 1に入力されると、ステップ S 3 5 2 1において、領域抽出部 3 5 1 1と領域抽出部 3 5 1 5のそれぞれは、入力画像を入力する。

ステップ S 3 5 2 2において、領域抽出部 3 5 1 1は、入力画像の中から、注目画素（S D画素）、および、予め設定された注目画素からの相対位置（1以上の位置）のそれぞれに位置する画素（S D画素）を、クラスタップとして抽出し、パターン検出部 3 5 1 2に供給する。

ステップ S 3 5 2 3において、パターン検出部 3 5 1 2は、供給されたクラスタップのパターンを検出し、クラスコード決定部 3 5 1 3に供給する。

ステップ S 3 5 2 4において、クラスコード決定部 3 5 1 3は、予め設定されている複数のクラスコードの中から、供給されたクラスタップのパターンに適合するクラスコードを決定し、係数メモリ 3 5 1 4と領域抽出部 3 5 1 5のそれぞれに供給する。

ステップ S 3 5 2 5において、係数メモリ 3 5 1 4は、予め学習処理により決定された複数の予測係数（群）の中から、供給されたクラスコードに基づいてこれから使用する予測係数（群）を読み出し、予測演算部 3 5 1 6に供給する。なお、学習処理については、図 2 8 8のフローチャートを参照して後述する。ステップ S 3 5 2 6において、領域抽出部 3 5 1 5は、供給されたクラスコードに対応して、入力画像の中から、注目画素（S D画素）、および、予め設定された注目画素からの相対位置（1以上の位置であって、クラスタップの位置とは独立して設定された位置。ただし、クラスタップの位置と同一の位置でもよい）のそれぞれに位置する画素（S D画素）を、予測タップとして抽出し、予測演算部 3 5 1 6に供給する。

ステップ S 3 5 2 7において、予測演算部 3 5 1 6は、領域抽出部 3 5 1 5より供給された予測タップを、係数メモリ 3 5 1 4より供給された予測係数を用いて演算し、予測画像（H D画像）を生成して加算部 3 5 0 3に出力する。

具体的には、予測演算部 3 5 1 6は、領域抽出部 3 5 1 5より供給された予測タップのそれぞれを ( i は、 1乃至 nのうちのいずれかの整数）とし、かつ、係数メモリ 3 5 1 4より供給された予測係数のそれぞれをとして、上述した式（2 1 5 ) の右辺を演算することにより、注目画素（S D画素）における H D 画素 q .を算出し、それを予測画像（H D画像）を構成する 1つの画素として加算部 3 5 0 3に出力する。これにより、入力画像クラス分類適応処理が終了となる。

次に、図 2 8 4のフローチャートを参照して、クラス分類適応処理補正部 3 5 0 2 (図 2 7 6 ) が実行する「クラス分類適応処理の補正処理」の詳細について説明する。

実世界推定部 1 0 2より実世界推定情報として特徴量画像（S D画像）がクラス分類適応処理補正部 3 5 0 2に入力されると、ステップ S 3 5 4 1において、領域抽出部 3 5 5 1と領域抽出部 3 5 5 5のそれぞれは、特徴量画像を入力する。ステップ S 3 5 4 2において、領域抽出部 3 5 5 1は、特徴量画像の中から、注目画素（S D画素）、および、予め設定された注目画素からの相対位置（1以上の位置）のそれぞれに位置する画素（S D画素）を、クラスタップとして抽出し、パターン検出部 3 5 5 2に供給する。

具体的には、この例においては、例えば、図 2 8 5で示されるようなクラスタップ（群） 3 6 2 1が抽出されるとする。即ち、図 2 8 5は、クラスタップ配置の一例を表している。図 2 8 5において、図中水平方向は、空間方向の 1方向である X方向とされており、図中垂直方向は、空間方向の他方向である Y方向とされている。また、注目画素は、画素 3 6 2 1 - 2とされている。

この場合、図 2 8 5の例では、注目画素 3 6 2 1— 2、 Y方向に対して注目画素 3 6 2 1— 2の隣の画素 3 6 2 1 _ 0および画素 3 6 2 1— 4、並びに、 X方向に対して注目画素 3 6 2 1— 2の隣の画素 3 6 2 1— 1および画素 3 6 2 1— 3の総計 5個の画素からなる画素群 3 6 2 1 クラスタップとして抽出されることになる。

勿論、クラスタツプ配置は、注目画素 3 6 2 1— 2を含む配置であれば、図 2 8 5の例に限定されず、様々な配置が可能である。

図 2 84に戻り、ステップ S 3 54 3において、パターン検出部 3 5 5 2は、供給されたクラスタップのパターンを検出し、クラスコード決定部 3 5 5 3に供給する。

具体的には、この例においては、例えば、パターン検出部 3 5 5 2は、図 2 8 5で示される 5個のクラスタップ 3 6 2 1— 0乃至 3 6 2 1一 4のそれぞれの画素値、即ち、特徴量の値（例えば、画素内傾斜）のそれぞれが、予め設定された複数のクラスのうちのいずれのクラスに属するのかを検出し、それらの検出結果を 1つにまとめたものをパターンとして出力する。

例えば、いま、図 2 8 6で示されるようなパターンが検出されたとする。即ち、図 2 8 6は、クラスタップのパターンの一例を表している。

図 2 8 6において、図中水平方向の軸は、クラスタップを表しており、図中垂直方向の軸は、画素内傾斜を表している。また、画素内傾斜により、クラス 3 6 3 1、クラス 3 6 3 2、およびクラス 3 6 3 3の 3つのクラスが予め設定されているとする。

この場合、図 2 8 6で示されるパターンは、クラスタップ 3 6 2 1— 0はクラス 3 6 3 1に、クラスタップ 3 6 2 1— 1はクラス 3 6 3 1に、クラスタップ 3 6 2 1— 2はクラス 3 6 3 3に、クラスタップ 3 6 2 1— 3はクラス 3 6 3 1に、クラスタップ 3 6 2 1— 4はクラス 3 6 3 2に、それぞれ属するパターンを表している。

このように、 5個のクラスタップ 3 6 2 1一 0乃至 3 6 2 1—4のそれぞれは、 3つのクラス 3 6 3 1乃至 3 6 3 3のうちのいずれかに属することになる。従つて、この例においては、図 2 8 6で示されるパターンを含めて総計 2 7 3 ( = 3 " 5 ) 個のパターンが存在することになる。

図 2 8 4に戻り、ステップ S 3 5 4 4において、クラスコード決定部 3 5 5 3 は、予め設定されている複数のクラスコードの中から、供給されたクラスタップのパターンに適合するクラスコードを決定し、補正係数メモリ 3 5 5 4と領域抽出部 3 5 5 5のそれぞれに供給する。いまの場合、 2 7 3個のパターンが存在するので、予め設定されているクラスコードの数も 2 7 3個（または、それ以上）となる。

ステップ S 3 5 4 5において、補正係数メモリ 3 5 5 4は、予め学習処理により決定された複数の補正係数（群）の中から、供給されたクラスコードに基づいてこれから使用する補正係数（群）を読み出し、補正演算部 3 5 5 6に供給する。補正係数メモリ 3 5 5 4に記憶されている補正係数（群）のそれぞれは、予め設定されたクラスコードのうちのいずれかに対応付けられているので、いまの場合、補正係数（群）の数は、予め設定されているクラスコードの数と同数（2 7 3個以上）となる。

なお、学習処理については、図 2 8 8のフローチャートを参照して後述する。ステップ S 3 5 4 6において、領域抽出部 3 5 5 5は、供給されたクラスコードに対応して、入力画像の中から、注目画素（S D画素）、および、予め設定された注目画素からの相対位置（1以上の位置であって、クラスタップの位置とは独立して設定された位置。ただし、クラスタップの位置と同一の位置でもよい）のそれぞれに位置する画素（S D画素）を、予測タップとして抽出し、補正演算部 3 5 5 6に供給する。

具体的には、この例においては、例えば、図 2 8 7で示されるような予測タツプ（群） 3 6 4 1が抽出されるとする。即ち、図 2 8 7は、予測タップ配置の一例を表している。

図 2 8 7において、図中水平方向は、空間方向の 1方向である X方向とされており、図中垂直方向は、空間方向の他方向である Y方向とされている。また、注目画素は、画素 3 6 4 1— 1とされている。即ち、画素 3 6 4 1— 1は、クラスタップ 3 6 2 1— 2 (図 2 8 5 ) に対応する画素である。

この場合、図 2 8 7の例では、注目画素 3 6 4 1— 1を中心とする 5 X 5の画素群（総計 2 5個の画素からなる画素群） 3 6 4 1力予測タップ（群）として抽出されることになる。

勿論、予測タップ配置は、注目画素 3 6 4 1— 1を含む配置であれば、図 2 8 7の例に限定されず、様々な配置が可能である。

図 2 8 4に戻り、ステップ S 3 5 4 7において、補正演算部 3 5 5 6は、領域抽出部 3 5 5 5より供給された予測タップを、補正係数メモリ 3 5 5 4より供給された補正係数を用いて演算し、差分予測画像（H D画像）を生成し、補正画像として加算部 3 5 0 3に出力する。

より詳細には、補正演算部 3 5 5 6は、領域抽出部 3 5 5 5より供給された予測タップのそれぞれを _ai (iは、 1乃至 nのうちのいずれかの整数）とし、力つ、補正係数メモリ 3 5 5 4より供給された補正係数のそれぞれを _gi として、上述した式 ( 2 2 3 ) の右辺を演算することにより、注目画素（S D画素）における H D画素 u，を算出し、それを補正画像（H D画像）を構成する 1つの画素として加算部 3 5 0 3に出力する。これにより、クラス分類適応処理の補正処理は終了となる。

次に、図 2 8 8のフローチャートを参照して、学習装置（図 2 6 8 ) の学習処理、即ち、クラス分類適応処理部 3 5 0 1 (図 2 6 7 ) が使用する予測係数と、クラス分類適応処理補正部 3 5 0 2 (図 2 7 6 ) が使用する補正係数のそれぞれを学習により生成する学習処理について説明する。

ステップ S 3 5 6 1において、クラス分類適応処理用学習部 3 5 2 1は、クラ 1488

379

ス分類適応処理部 3 5 0 1が使用する予測係数を生成する。

即ち、クラス分類適応処理用学習部 3 5 2 1は、所定の画像を第 1の教師画像 (H D画像）として入力し、その第 1の教師画像の解像度を下げて第 1の生徒画像（S D画像）を生成する。

そして、クラス分類適応処理用学習部 3 5 2 1は、クラス分類適応処理により第 1の生徒画像（S D画像）から第 1の教師画像（H D画像）を適切に予測することが可能な予測係数を生成し、クラス分類適応処理部 3 5 0 1の係数メモリ 3 5 1 4 (図 2 6 7 ) に記憶させる。

なお、以下、このようなクラス分類適応処理用学習部 3 5 2 1が実行するステップ S 3 5 6 1の処理を、「クラス分類適応処理用学習処理」と称する。この例の「クラス分類適応処理用学習処理」の詳細については、図 2 8 9のフローチヤートを参照して後述する。

クラス分類適応処理部 3 5 0 1が使用する予測係数が生成されると、ステップ S 3 5 6 2において、クラス分類適応処理補正用学習部 3 5 6 1は、クラス分類適応処理補正部 3 5 0 2が使用する補正係数を生成する。

即ち、クラス分類適応処理補正用学習部 3 5 6 1は、クラス分類適応処理用学習部 3 5 2 1より、第 1の教師画像、第 1の生徒画像、および学習用予測画像 (クラス分類適応処理用学習部 3 5 2 1により生成された予測係数を用いて、第 1の教師画像を予測した画像）のそれぞれを入力する。

次に、クラス分類適応処理補正用学習部 3 5 6 1は、第 2の教師画像として、第 1の教師画像と学習用予測画像の差分画像を生成するとともに、第 2の生徒画像として、第 1の生徒画像から特徴量画像を生成する。

そして、クラス分類適応処理補正用学習部 3 5 6 1は、クラス分類適応処理により第 2の生徒画像（S D画像）から第 2の教師画像（H D画像）を適切に予測することが可能な予測係数を生成し、それを補正係数としてクラス分類適応処理補正部 3 5 0 2の補正係数メモリ 3 5 5 4に記憶させる。これにより、学習処理は終了となる。なお、以下、このようなクラス分類適応処理補正用学習部 3 5 6 1が実行するステップ S 3 5 6 2の処理を、「クラス分類適応処理補正用学習処理」と称する。この例の「クラス分類適応処理補正用学習処理」の詳細については、図 2 9 0のフローチャートを参照して後述する。

次に、図面を参照して、この例における「クラス分類適応処理用学習処理（ステツプ S 3 5 6 1の処理）」、および、「クラス分類適応処理補正用学習処理

(ステップ S 3 5 6 2の処理）」のそれぞれの詳細について、その順番で個別に説明する。

はじめに、図 2 8 9のフローチャートを参照して、クラス分類適応処理用学習部 3 5 2 1 (図 2 6 9 ) が実行する「クラス分類適応処理用学習処理」の詳細について説明する。

ステップ S 3 5 8 1において、ダウンコンバート部 3 5 3 1と正規方程式生成部 3 5 3 6のそれぞれは、供給された所定の画像を、第 1の教師画像（H D画像）として入力する。なお、第 1の教師画像は、上述したように、クラス分類適応処理補正用学習部 3 5 6 1にも入力される。

ステップ S 3 5 8 2において、ダウンコンバート部 3 5 3 1は、入力された第 1の教師画像をダウンコンバートして（解像度を落として）第 1の生徒画像（S D画像）を生成し、領域抽出部 3 5 3 2と領域抽出部 3 5 3 5のそれぞれに供給するとともに、クラス分類適応処理補正用学習部 3 5 6 1にも出力する。

ステップ S 3 5 8 3において、領域抽出部 3 5 3 2は、供給された第 1の生徒画像からクラスタップを抽出してパターン検出部 3 5 3 3に出力する。なお、ステツプ S 3 5 8 3の処理は、ブロックに入力される情報と、ブロックから出力される情報は厳密には違う情報であるが（以下、このような違いを、単に、入出力の違いと称する）、上述したステップ S 3 5 2 2 (図 2 8 3 ) の処理と基本的に同様の処理である。

ステップ S 3 5 8 4において、パターン検出部 3 5 3 3は、供給されたクラスタップよりクラスコードを決定するためのパターンを検出し、クラスコード決定部 3 5 3 4に供給する。なお、ステップ S 3 5 84の処理は、入出力の違いはあるが、上述したステップ S 3 5 2 3 (図 2 8 3) の処理と基本的に同様の処理である。

ステップ S 3 5 8 5において、クラスコード決定部 3 5 34は、供給されたクラスタップのパターンに基づいてクラスコードを決定し、領域抽出部 3 5 3 5と正規方程式生成部 3 5 3 6のそれぞれに供給する。なお、ステップ S 3 5 8 5の処理は、入出力の違いはあるが、上述したステップ S 3 5 24 (図 2 8 3) の処理と基本的に同様の処理である。

ステップ S 3 5 8 6において、領域抽出部 3 5 3 5は、供給されたクラスコードに対応して、第 1の生徒画像の中から予測タップを抽出し、正規方程式生成部 3 5 3 6と予測演算部 3 5 3 8のそれぞれに供給する。なお、ステップ S 3 5 8 6の処理は、入出力の違いはあるが、上述したステップ S 3 5 2 6 (図 2 8 3) の処理と基本的に同様の処理である。

ステップ S 3 5 8 7において、正規方程式生成部 3 5 3 6は、領域抽出部 3 5 3 5より供給された予測タップ（SD画素）、および、第 1の教師画像（HD画像）を構成する HD画素のうちの所定の HD画素から、上述した式（2 1 7) (即ち、式（2 2 1 ) ) で示される正規方程式を生成し、クラスコード決定部 3 5 3 4より供給されたクラスコードとともに係数決定部 3 5 3 7に供給する。ステップ S 3 5 8 8において、係数決定部 3 5 3 7は、供給された正規方程式を解いて予測係数を決定し、即ち、上述した式（2 2 2) の右辺を演算することで予測係数を算出し、供給されたクラスコードに対応付けて係数メモリ 3 5 1 4 に記憶させるとともに、予測演算部 3 5 3 8に供給する。

ステップ S 3 5 8 9において、予測演算部 3 5 3 8は、領域抽出部 3 5 3 5より供給された予測タップを、係数決定部 3 5 3 7より供給された予測係数を用いて演算し、学習用予測画像（HD画素）を生成する。

具体的には、予測演算部 3 5 3 8は、領域抽出部 3 5 3 5より供給された予測タップのそれぞれを (i は、 1乃至 nのうちのいずれかの整数）とし、かつ、 P T/JP2004/001488

382

係数決定部 3 5 3 7より供給された予測係数のそれぞれをとして、上述した式（2 1 5) の右辺を演算することにより、第 1の教師画像の所定の HD画素 q を予測した HD画素を算出し、た HD画素 q'を学習用予測画像の 1つの画素とする。

ステップ S 3 5 9 0において、全ての画素について処理が施されたか否かが判定され、全ての画素について処理が施されていないと判定された場合、その処理は、ステップ S 3 5 8 3に戻る。即ち、全ての画素の処理が終了されるまで、ステツプ S 3 5 8 3乃至 S 3 5 9 0の処理が繰り返される。

そして、ステップ S 3 5 9 0において、全ての画素について処理が施されたと判定された場合、ステップ S 3 5 9 1において、予測演算部 3 5 3 8は、学習予測画像（ステップ S 3 5 8 9の処理毎に生成された各 HD画素 q'から構成される HD画像）を、クラス分類適応処理補正用学習部 3 5 6 1に出力する。これにより、クラス分類適応処理用学習処理は終了となる。

このように、この例においては、全ての画素の処理が終了された後、第 1の教師画像を予測した H D画像である学習用予測画像がクラス分類適応処理補正用学習部 3 5 6 1に出力される。即ち、全ての HD画素（予測画素）がー括して出力される。

しかしながら、全ての画素が一括して出力されることは必須ではなく、ステツプ S 3 5 8 9の処理で HD画素（予測画素）が生成される毎に、クラス分類適応処理捕正用学習部 3 5 6 1に出力されてもよい。この場合、ステップ S 3 5 9 1 の処理は省略される。

次に、図 2 9 0のフローチャートを参照して、クラス分類適応処理補正用学習部 3 5 6 1 (図 2 7 7) が実行する「クラス分類適応処理補正用学習処理」の詳細について説明する。

クラス分類適応処理用学習部 3 5 2 1より第 1の教師画像（HD画像）と学習用予測画像（HD画像）が入力されると、ステップ S 3 6 0 1において、加算部 3 5 7 1は、第 1の教師画像から学習用予測画像を減算し、差分画像（HD画像）を生成し、それを第 2の教師画像として正規方程式生成部 3 5 7 8に供給する。

また、クラス分類適応処理用学習部 3 5 2 1より第 1の生徒画像（S D画像）が入力されると、ステップ S 3 6 0 2において、データ定常性検出部 3 5 7 2と実世界推定部 3 5 7 3は、入力された第 1の生徒画像（S D画像）から特徴量画像を生成し、それを第 2の生徒画像として領域抽出部 3 5 7 4と領域抽出部 3 5 7 7のそれぞれに供給する。

即ち、データ定常性検出部 3 5 7 2は、第 1の生徒画像に含まれるデータの定常性を検出し、その検出結果（いまの場合、角度）をデータ定常性情報として実世界推定部 3 5 7 3に出力する。なお、ステップ S 3 6 0 2のデータ定常性検出部 3 5 7 2の処理は、入出力の違いはあるが、上述した図 4 0のステップ S 1 0 1の処理と基本的に同様の処理である。

実世界推定部 3 5 7 3は、入力した角度（データ定常性情報）に基づいて、実世界推定情報（いまの場合、 S D画像である特徴量画像）を生成し、それを第 2 の生徒画像として領域抽出部 3 5 7 4と領域抽出部 3 5 7 7のそれぞれに供給する。なお、ステップ S 3 6 0 2の実世界推定部 3 5 7 3の処理は、入出力の違いはあるが、上述した図 4 0のステップ S 1 0 2の処理と基本的に同様の処理である。

また、ステップ S 3 6 0 1と S 3 6 0 2の処理の順番は、図 2 9 0の例に限定されない。即ち、ステップ S 3 6 0 2の処理が先に実行されてもよいし、ステツプ S 3 6 0 1と S 3 6 0 2の処理が同時に実行されてもよい。

ステップ S 3 6 0 3において、領域抽出部 3 5 7 4は、供給された第 2の生徒画像（特徴量画像）からクラスタップを抽出してパターン検出部 3 5 7 5に出力する。なお、ステップ S 3 6 0 3の処理は、入出力の違いはあるが、上述したステツプ S 3 5 4 2 (図 2 8 4 ) の処理と基本的に同様の処理である。即ち、いまの場合、図 2 8 5で示される配置の画素群 3 6 2 1がクラスタップとして抽出される。ステップ S 3 6 0 4において、パターン検出部 3 5 7 5は、供給されたクラスタップょりクラスコードを決定するためのパターンを検出し、クラスコード決定部 3 5 7 6に供給する。なお、ステップ S 3 6 0 4の処理は、入出力の違いはあるが、上述したステップ S 3 5 4 3 (図 2 8 4 ) の処理と基本的に同様の処理である。即ち、いまの場合、学習処理が終了されるときには、少なくとも 2 7 3個のパターンが検出されることになる。

ステップ S 3 6 0 5において、クラスコード決定部 3 5 7 6は、供給されたクラスタップのパターンに基づいてクラスコードを決定し、領域抽出部 3 5 7 7と正規方程式生成部 3 5 7 8のそれぞれに供給する。なお、ステップ S 3 6 0 5の処理は、入出力の違いはあるが、上述したステップ S 3 5 4 4 (図 2 8 4 ) の処理と基本的に同様の処理である。即ち、いまの場合、学習処理が終了されるときには、少なくとも 2 7 3個のクラスコードが決定されることになる。

ステップ S 3 6 0 6において、領域抽出部 3 5 7 7は、供給されたクラスコードに対応して、第 2の生徒画像（特徴量画像）の中から予測タップを抽出し、正規方程式生成部 3 5 7 8に供給する。なお、ステップ S 3 6 0 6の処理は、入出力の違いはあるが、上述したステップ S 3 5 4 6 (図 2 8 4 ) の処理と基本的に同様の処理である。即ち、いまの場合、図 2 8 7で示される配置の画素群 3 6 4 1が予測タップとして抽出される。

ステップ S 3 6 0 7において、正規方程式生成部 3 5 7 8は、領域抽出部 3 5 7 7より供給された予測タップ（S D画素）、および、第 2の教師画像（H D画像である、第 1の教師画像と学習用予測画像の差分画像）を構成する H D画素のうちの所定の H D画素から、上述した式（2 2 6 ) (即ち、式（2 3 0 ) ) で示される正規方程式を生成し、クラスコード決定部 3 5 7 6より供給されたクラスコードとともに補正係数決定部 3 5 7 9に供給する。

ステップ S 3 6 0 8において、補正係数決定部 3 5 7 9は、供給された正規方程式を解いて補正係数を決定し、即ち、上述した式（2 3 1 ) の右辺を演算することで補正係数を算出し、供給されたクラスコードに対応付けて補正係数メモリ 3 5 5 4に記憶させる。

ステップ S 3 6 0 9において、全ての画素について処理が施されたか否かが判定され、全ての画素について処理が施されていないと判定された場合、その処理は、ステップ S 3 6 0 3に戻る。即ち、全ての画素の処理が終了されるまで、ステツプ S 3 6 0 3乃至 S 3 6 0 9の処理が繰り返される。

そして、ステップ S 3 6 0 9において、全ての画素について処理が施されたと判定された場合、クラス分類適応処理補正用学習処理は終了となる。

以上、説明したように、クラス分類適応補正処理手法においては、クラス分類適応処理部 3 5 0 1より出力された予測画像に対して、クラス分類適応処理補正部 3 5 0 2より出力された補正画像（差分予測画像）が加算されて出力される。例えば、上述した図 2 7 0で示される H D画像 3 5 4 1の解像度を落とした画像である S D画像 3 5 4 2が入力画像とされた場合、クラス分類適応処理部 3 5 0 1からは、図 2 9 1で示される予測画像 3 5 4 3が出力される。そして、この予測画像 3 5 4 3に、クラス分類適応処理補正部 3 5 0 2より出力された補正画像（図示せず）が加算されると（補正画像により補正されると）、図 2 7 1で示される出力画像 3 6 5 1となる。

出力画像 3 6 5 1、予測画像 3 5 4 3、および、元の画像である H D画像 3 5 4 1 (図 2 7 0 ) のそれぞれを比較するに、出力画像 3 6 5 1は、予測画像 3 5

4 3よりも H D画像 3 5 4 1により近い画像になっていることがわかる。

このように、クラス分類適応処理補正手法においては、クラス分類適応処理を含む従来の他の手法に比較して、元の画像（センサ 2に入射される前の実世界 1 の信号）により近い画像の出力が可能になる。

換言すると、クラス分類適応処理補正手法においては、例えば、図 2 6 6のデータ定常性検出部 1 0 1が、それぞれ時空間積分効果を有する、センサ (例えば、図 2 6 6のセンサ 2 ) の複数の検出素子により図 2 6 6の実世界 1の光信号が射影され、現実世界の光信号の定常性の一部が欠落した、検出素子により射影された画素値を有する複数の画素からなる入力画像（図 2 6 6 ) におけるデータの定常性を検出する。

例えば、図 266の実世界推定部 1 02は、検出されたデータの定常性に対応して、実世界 1の光信号を表す光信号関数 F ( X ) (図 27 5) が有する実世界特徴（例えば、図 266の特徴量画像を構成する画素に対応する特徴量）を検出することで、実世界 1の光信号を推定する。

詳細には、例えば、実世界推定部 1 02は、出されたデータの定常性に対応する線（例えば、図 280の線 3604) からの少なくとも 1次元方向に沿った距離（例えば、図 280の断面方向距離 Χη') に対応する画素の画素値が、少なくとも 1次元方向の積分効果により取得された画素値であるとして、光信号関数 F ( X ) を、例えば、図 278の近似関数 f₅ ( X ) で近似し、所定画素（例えば、図 280の画素 3603) 内における近似関数 f5 (x) の傾斜である画素内傾斜（例えば、上述した式（234) の gradであり、式（23 3) の xの係数 w 1 ') を、実世界特徴として検出することで、実世界 1の光信号を推定する。そして、例えば、図 266の画像生成部 103が、実世界推定手段により検出された実世界特徴に基いて、入力画像よりも高質な出力画像（図 266) を予測し生成する。

詳細には、例えば、画像生成部 10 3において、例えば、図 26 6のクラス分類適応処理部 350 1が、出力画像における注目画素の周辺に位置する、実世界 1の光信号の定常性が欠落した入力画像内の複数の画素の画素値から注目画素の画素値（例えば、図 266の予測画像の画素であり、上述した式（224) の q ) を予測する。

一方、例えば、図 26 6のクラス分類適応処理補正部 3 502は、例えば、図 266の実世界推定部 1 02より供給された特徴量画像（実世界推定情報）から、クラス分類適応処理部 3 50 1により予測された予測画像の注目画素の画素値を補正する補正項（例えば、図 266の補正画像（差分予測画像）の画素であり、式（224) の u ') を予測する。

そして、例えば、図 266の加算部 3 503は、クラス分類適応処理部 3 50 1により予測された予測画像の注目画素の画素値を、クラス分類適応処理部 3 5 0 1により予測された補正項で補正する (例えば、式（2 2 4 ) のように演算する）。

また、クラス分類適応処理捕正手法においては、例えば、図 2 6 7の係数メモリ 3 5 1 4に記憶される予測係数を学習により決定する図 2 6 8のクラス分類適応処理学習部 3 5 2 1と、例えば、図 2 7 6の補正係数メモリ 3 5 5 4に記憶される補正係数を学習により決定する図 2 6 8のクラス分類適応処理補正用学習部 3 5 6 1を有する図 2 6 8の学習装置 3 5 0 4が設けられている。

詳細には、例えば、図 2 6 9のクラス分類適応処理学習部 3 5 2 1には、学習用画像データをダウンコンバートするダウンコンバート部 3 5 3 1、並びに、学習用画像データを第 1の教師画像とし、ダウンコンバート部 3 5 3 1によりダウンコンバートされた学習用画像データを第 1の生徒画像とし、第 1の教師画像と第 1の生徒画像の関係を学習することにより、予測係数を生成する係数決定部 3 5 3 7、および、領域抽出部 3 5 3 2乃至正規方程式生成部 3 5 3 6が設けられている。

クラス分類適応処理学習部 3 5 2 1にはさらに、例えば、係数決定部 3 5 3 7 により生成（決定）された予測係数を使用して、第 1の生徒画像から第 1の教師画像を予測する画像データとして、学習用予測画像を生成する予測演算部 3 5 3 8が設けられている。

また、例えば、図 2 7 7のクラス分類適応処理補正用学習部 3 5 6 1には、第 1の生徒画像におけるデータの定常性を検出し、検出したデータの定常性に基づいて、第 1の生徒画像を構成する各画素のそれぞれに対応する実世界特徴を検出し、検出した実世界特徴に対応する値を画素値とする特徴量画像（具体的には、例えば、図 2 7 9の特徴量画像 3 5 9 1 ) を、第 2の生徒画像 (例えば、図 2 7 7の第 2の生徒画像）として生成するデータ定常性検出部 3 5 7 2および実世界推定部 3 5 7 3、第 1の教師画像と、学習用予測画像の差分からなる画像データ (差分画像）を、第 2教師画像として生成する加算部 3 5 7 1、並びに、第 2の教師画像と、第 2の生徒画像の関係を学習することにより、補正係数を生成する補正係数決定部 3 5 7 9、および領域抽出部 3 5 7 4乃至正規方程式生成部 3 5 7 8が設けられている。

従って、クラス分類適応処理捕正手法においては、クラス分類適応処理を含む従来の他の手法に比較して、元の画像（センサ 2に入射される前の実世界 1の信号）により近い画像の出力が可能になる。

なお、クラス分類適応処理は、上述したように、 S D画像には含まれていない力 H D画像に含まれる成分が再現される点で、例えば、単なる補間処理とは異なる。即ち、上述した式（2 1 5 ) や式（2 2 3 ) だけを見る限りは、いわゆる補間フィルタを用いての補間処理と同一に見えるが、クラス分類適応処理では、その補間フィルタの係数に相当する予測係数または補足係数 _gi が、教師データと生徒データ（第 1の教師画像と第 1の生徒画像、または、第 2の教師画像と第 2の生徒画像）を用いての学習により求められるため、 H D画像に含まれる成分を再現することができる。このことから、上述したようなクラス分類適応処理は、いわば画像の創造（解像度創造）作用がある処理と称することができる。さらに、上述した例では、空間解像度を向上させる場合を例にして説明したが、クラス分類適応処理によれば、教師データおよび生徒データを変えて学習を行うことにより得られる種々の係数を用いることで、例えば、 S /N (Si gnal to Noise Rat io) の向上や、ぼけの改善、その他の各種の処理を行うことが可能である。

即ち、例えば、 S ZNの向上やぼけの改善を、クラス分類適応処理によって行うには、 S ZNの高い画像データを教師データとするとともに、その教師データの S ZNを低下させた画像（あるいは、ぼかした画像）を生徒データとして、係数を求めればよい。

以上、本発明の実施の形態として、図 3の構成の信号処理装置について説明したが、本発明の実施の形態は、図 3の例に限定されず、様々な形態を取ることが可能である。即ち、図 1の信号処理装置 4の実施の形態は、図 3の例に限定されず、様々な形態を取ることが可能である。

例えば、図 3の構成の信号処理装置は、画像である、実世界 1の信号が有する定常性に基づいて信号処理を行う。このため、図 3の構成の信号処理装置は、実世界 1の信号のうちの定常性が存在する部分に対しては、他の信号処理装置の信号処理に比べて、精度のよい信号処理を実行することができ、その結果、より実世界 1の信号に近い画像データを出力することが可能になる。

しかしながら、図 3の構成の信号処理装置は、定常性に基づいて信号処理を実行する以上、実世界 1の信号のうちの明確な定常性が存在しない部分に対しては、定常性が存在する部分に対する処理と同等の精度で、信号処理を実行することができず、その結果、実世界 1の信号に対して誤差を含む画像データを出力することになる。

そこで、図 3の構成の信号処理装置に対してさらに、定常性を利用しない他の信号処理を行う装置（または、プログラム等）を付加することができる。この場合、実世界 1の信号のうちの定常性が存在する部分については、図 3の構成の信号処理装置が信号処理を実行し、実世界 1の信号のうちの明確な定常性が存在しない部分については、付加した他の装置（または、プログラム等）が信号処理を実行することになる。なお、以下、このような実施形態を併用手法と称する。以下、図 2 9 2乃至図 3 0 5を参照して、具体的な 5つの併用手法（以下、それぞれの併用手法を、第 1乃至第 5の併用手法と称する）について説明する。なお、各併用手法が適用される信号処理装置の各機能をハードウェアで実現する力 \ ソフトウェアで実現するかは問わない。つまり、後述する図 2 9 2乃至図 2 9 4、図 2 9 8、図 3 0 0、図 3 0 2、およぴ図 3 0 4のそれぞれのプロック図は、ハードウェアのブロック図と考えても、ソフトウェアによる機能ブロック図と考えても良い。

図 2 9 2は、第 1の併用手法が適用される信号処理装置の構成例を表している。図 2 9 2の信号処理装置においては、データ 3 (図 1 ) の一例である画像データが入力され、入力された画像データ（入力画像）に基づいて、後述する画像処理が施されて画像が生成され、生成された画像（出力画像）が出力される。即ち、図 2 9 2は、画像処理装置である信号処理装置 4 (図 1 ) の構成を示す図である。信号処理装置 4に入力された入力画像（データ 3の一例である画像データ）は、データ定常性検出部 4 1 0 1、実世界推定部 4 1 0 2、および画像生成部 4 1 0 4のそれぞれに供給される。

データ定常性検出部 4 1 0 1は、入力画像からデータの定常性を検出して、検出した定常性を示すデータ定常性情報を実世界推定部 4 1 0 2および画像生成部 4 1 0 3に供給する。

このように、データ定常性検出部 4 1 0 1は、図 3のデータ定常性検出部 1 0 1と基本的に同様の構成と機能を有するものである。従って、データ定常性検出部 4 1 0 1は、上述した様々な実施の形態を取ることが可能である。

ただし、データ定常性検出部 4 1 0 1はさらに、注目画素の領域を特定するための情報（以下、領域特定情報と称する）を生成し、領域検出部 4 1 1 1に供給する。

この領域特定情報は、特に限定されず、データ定常性情報が生成された後に新たに生成された情報でもよいし、データ定常性情報が生成される場合に付帯して生成される情報でもよい。

具体的には、例えば、領域特定情報として、推定誤差が使用可能である。即ち、例えば、データ定常性検出部 4 1 0 1が、データ定常性情報として角度を算出し、かつ、その角度を最小自乗法により演算する場合、最小自乗法の演算で推定誤差が付帯的に算出される。この推定誤差が、領域特定情報として使用可能である。実世界推定部 4 1 0 2は、入力画像、およびデータ定常性検出部 4 1 0 1から供給されたデータ定常性情報に基づいて、実世界 1 (図 1 ) の信号を推定する。即ち、実世界推定部 4 1 0 2は、入力画像が取得されたときセンサ 2 (図 1 ) に入射された、実世界 1の信号である画像を推定する。実世界推定部 4 1 0 2は、実世界 1の信号の推定の結果を示す実世界推定情報を画像生成部 4 1 0 3に供給する。このように、実世界推定部 4 1 0 2は、図 3の実世界推定部 1 0 2と基本的に同様の構成と機能を有するものである。従って、実世界推定部 4 1 0 2は、上述した様々な実施の形態を取ることが可能である。

画像生成部 4 1 0 3は、実世界推定部 4 1 0 2から供給された、推定された実世界 1の信号を示す実世界推定情報に基づいて、実世界 1の信号により近似した信号を生成して、生成した信号をセレクタ 4 1 1 2に供給する。または、画像生成部 4 1 0 3は、データ定常性検出部 4 1 0 1から供給されたデータ定常性情報、および実世界推定部 4 1 0 2から供給された、推定された実世界 1の信号を示す実世界推定情報に基づいて、実世界 1の信号により近似した信号を生成して、生成した信号をセレクタ 4 1 1 2に供給する。

即ち、画像生成部 4 1 0 3は、実世界推定情報に基づいて、実世界 1の画像により近似した画像を生成し、セレクタ 4 1 1 2に供給する。または、画像生成部 4 1 0 3は、データ定常性情報、および実世界推定情報に基づいて、実世界 1の画像により近似した画像を生成し、セレクタ 4 1 1 2に供給する。

このように、画像生成部 4 1 0 3は、図 3の画像生成部 1 0 3と基本的に同様の構成と機能を有するものである。従って、画像生成部 4 1 0 3は、上述した様々な実施の形態を取ることが可能である。

画像生成部 4 1 0 4は、入力画像に対して所定の画像処理を施して、画像を生成し、セレクタ 4 1 1 2に供給する。

なお、画像生成部 4 1 0 4が実行する画像処理は、データ定常性検出部 4 1 0 1 , 実世界推定部 4 1 0 2、および画像生成部 4 1 0 3が実行する画像処理とは異なる画像処理であれば、特に限定されない。

例えば、画像生成部 4 1 0 4は、従来のクラス分類適応処理を行うことができる。このクラス分類適応処理を実行する画像生成部 4 1 0 4の構成例が、図 2 9 3に示されている。なお、図 2 9 3の説明、即ち、クラス分類適応処理を実行する画像生成部 4 1 0 4の詳細の説明については後述する。また、クラス分類適応処理についても、図 2 9 3の説明をするときに併せて説明する。定常領域検出部 4 1 0 5には、領域検出部 4 1 1 1、およびセレクタ 4 1 1 2 が設けられている。

領域検出部 4 1 1 1は、データ定常性検出部 4 1 0 1より供給された領域特定情報に基づいて、セレクタ 4 1 1 2に供給された画像（注目画素）、定常領域である力 \ 或いは非定常領域であるかを検出し、その検出結果をセレクタ 4 1 1 2に供給する。

なお、領域検出部 4 1 1 1が実行する領域検出の処理は、特に限定されず、例えば、上述した推定誤差が領域特定情報として供給される場合、領域検出部 4 1 1 1は、供給された推定誤差が所定の閾値よりも小さいとき、入力画像の注目画素は定常領域であると検出し、一方、供給された推定誤差が所定の閾値以上であるとき、入力画像の注目画素は非定常領域であると検出する。

セレクタ 4 1 1 2は、領域検出部 4 1 1 1より供給された検出結果に基づいて、画像生成部 4 1 0 3より供給された画像、または、画像生成部 4 1 0 4より供給された画像のうちのいずれか一方を選択し、選択した画像を出力画像として外部に出力する。

即ち、領域検出部 4 1 1 1により注目画素が定常領域であると検出された場合、セレクタ 4 1 1 2は、画像生成部 4 1 0 3より供給された画像（入力画像の注目画素における、画像生成部 4 1 0 3により生成された画素）を出力画像として選択する。

これに対して、領域検出部 4 1 1 1により注目画素が非定常領域であると検出された場合、セレクタ 4 1 1 2は、画像生成部 4 1 0 4より供給された画像（入力画像の注目画素における、画像生成部 4 1 0 4により生成された画素）を出力画像として選択する。

なお、外部の出力先に応じて、セレクタ 4 1 1 2は、画素単位で、出力画像を出力する（選択した画素毎に出力する）こともできるし、全ての画素の処理が終了するまで処理済みの画素を格納しておき、全ての画素の処理が終了したとき、全ての画素を一括して（出力画像全体を 1単位として）出力することもできる。次に、図 2 9 3を参照して、画像処理の一例であるクラス分類適応処理を実行する画像生成部 4 1 0 4の詳細について説明する。

図 2 9 3において、画像生成部 4 1 0 4が実行するクラス分類適応処理は、例えば、入力画像の空間解像度を向上する処理であるとする。即ち、標準解像度の画像である入力画像を、高解像度の画像である予測画像に変換する処理であるとする。

なお、以下の説明においても、標準解像度の画像を、適宜、 S D (Standard Definition)画像と称するとともに、 S D画像を構成する画素を、適宜、 S D画素と称することにする。

また、以下の説明においても、高解像度の画像を、適宜、 H D (High

Definition)画像と称するとともに、 H D画像を構成する画素を、適宜、 H D画素と称することにする。

具体的には、画像生成部 4 1 0 4が実行するクラス分類適応処理とは、次のようなものである。

即ち、はじめに、入力画像（S D画像）の注目画素（S D画素）における、予測画像（H D画像）の H D画素を求めるために、注目画素を含めた、その付近に配置される S D画素（以下の説明においても、このような S D画素を、クラスタップと称することにする）の特徴量のそれぞれを求めて、その特徴量毎に予め分類されたクラスを特定する（クラスタップ群のクラスコードを特定する）。

そして、予め設定された複数の係数群（各係数群のそれぞれは、所定の 1つのクラスコードに対応している）のうちの、特定されたクラスコードに対応する係数群を構成する各係数と、注目画素を含めた、その付近の S D画素（以下の説明においても、このような入力画像の S D画素を、予測タップと称することにする。なお、予測タップは、クラスタップと同じこともある）とを用いて積和演算を実行することで、入力画像（S D画像）の注目画素（S D画素）における、予測画像（H D画像）の H D画素を求めるものである。

より詳細には、図 1において、画像である、実世界 1の信号（光の強度の分 JP2004/001488

394

布）がセンサ 2に入射されると、センサ 2からは入力画像が出力される。

図 293において、この入力画像（SD画像）は、画像生成部 4 104のうちの領域抽出部 4 1 2 1と領域抽出部 4 1 2 5にそれぞれ供給される。領域抽出部 41 25は、供給された入力画像から、クラス分類を行うために必要なクラスタップ（注目画素（SD画素）を含む予め設定された位置に存在する SD画素）を抽出し、パターン検出部 41 22に出力する。パターン検出部 41 22は、入力されたクラスタップに基づいて入力画像のパターンを検出する。

クラスコード決定部 4 1 2 3は、パターン検出部 4 1 22で検出されたパターンに基づいてクラスコードを決定し、係数メモリ 4 1 24、および、領域抽出部 412 5に出力する。係数メモリ 41 24は、学習により予め求められたクラスコード毎の係数を記憶しており、クラスコード決定部 4 1 23より入力されたクラスコードに対応する係数を読み出し、予測演算部 4 1 26に出力する。

なお、係数メモリ 41 24の係数の学習処理については、図 294の学習装置のプロック図を参照して後述する。

また、係数メモリ 41 24に記憶される係数は、後述するように、予測画像

(HD画像）を生成するときに使用される係数である。従って、以下、係数メモリ 41 24に記憶される係数を予測係数と称する。

領域抽出部 4 1 2 5は、クラスコード決定部 4 1 2 3よ.り入力されたクラスコードに基づいて、センサ 2より入力された入力画像（SD画像）から、予測画像 (HD画像）を予測生成するのに必要な予測タップ（注目画素を含む予め設定された位置に存在する SD画素）をクラスコードに対応して抽出し、予測演算部 4 1 26に出力する。

予測演算部 4 1 26は、領域抽出部 41 25より入力された予測タップと、係数メモリ 4 1 24より入力された予測係数とを用いて積和演算を実行し、入力画像（SD画像）の注目画素（SD画素）における、予測画像（HD画像）の HD 画素を生成し、セレクタ 41 1 2に出力する。

より詳細には、係数メモリ 41 24は、クラスコード決定部 41 23より供給されるクラスコードに対応する予測係数を、予測演算部 4 1 26に出力する。予測演算部 4 1 26は、領域抽出部 41 25より供給される入力画像の所定の画素位置の画素値から抽出された予測タップと、係数メモリ 4 1 24より供給された予測係数とを用いて、次の式（2 3 7) で示される積和演算を実行することにより、予測画像（HD画像）の HD画素を求める（予測推定する）。

• · · (23 7) 式（23 7) において、 q'は、予測画像（HD画像）の HD画素を表している。 _Ci (iは、 1乃至 nの整数値）のそれぞれは、予測タップ（SD画素）のそれぞれを表している。また、 d i のそれぞれは、予測係数のそれぞれを表している。

このように、画像生成部 4 104は、 SD画像（入力画像）から、それに対する HD画像を予測推定するので、ここでは、画像生成部 4 1◦ 4から出力される

HD画像を、予測画像と称している。

図 294は、このような画像生成部 41 04の係数メモリ 4 1 24に記憶される予測係数（式（237) における d J を決定するための学習装置（予測係数の算出装置）を表している。

図 294において、所定の画像が、教師画像（HD画像）としてダウンコンパート部 4 141と正規方程式生成部 4 146のそれぞれに入力される。

ダウンコンバート部 4 146は、入力された教師画像（HD画像）から、教師画像よりも解像度の低い生徒画像（SD画像）を生成し（教師画像をダウンコンバートしたものを生徒画.像とし）、領域抽出部 4 142と領域抽出部 4 145のそれぞれに出力する。

このように、学習装置 41 3 1には、ダウンコンパ一ト部 4 14 1が設けられているので、教師画像（HD画像）は、センサ 2 (図 1) からの入力画像よりも高解像度の画像である必要は無い。なぜならば、教師画像がダウンコンバートされた（解像度が下げられた）生徒画像を SD画像とすれば、生徒画像に対する教師画像が HD画像になるからである。従って、教師画像は、例えば、センサ 2からの入力画像そのものとされてもよい。

領域抽出部 4 1 4 2は、ダウンコンバート部 4 1 4 1より供給された生徒画像 (SD画像）から、クラス分類を行うために必要なクラスタップ（SD画素）を抽出し、パターン検出部 4 1 4 3に出力する。パターン検出部 4 1 4 3は、入力されたクラスタップのパターンを検出し、その検出結果をクラスコード決定部 4 1 44に出力する。クラスコード決定部 4 1 44は、入力されたパターンに対応するクラスコードを決定し、そのクラスコードを領域抽出部 4 1 4 5、および、正規方程式生成部 4 1 4 6のそれぞれに出力する。

領域抽出部 4 1 4 5は、クラスコード決定部 4 1 44より入力されたクラスコードに基づいて、ダウンコンバート部 4 1 4 1より入力された生徒画像（SD画像）から予測タップ（SD画素）を抽出し、正規方程式生成部 4 1 4 6に出力する。

なお、以上の領域抽出部 4 1 4 2、パターン検出部 4 1 4 3、クラスコード決定部 4 1 44、および領域抽出部 4 1 4 5のそれぞれは、図 2 9 3の画像生成部 4 1 04の領域抽出部 4 1 2 1、パターン検出部 4 1 2 2、クラスコード決定部 4 1 2 3、および、領域抽出部 4 1 2 5のそれぞれと、基本的に同様の構成と機能を有するものである。

正規方程式生成部 4 1 4 6は、クラスコード決定部 4 1 44より入力された全てのクラスコードに対して、クラスコード毎に、領域抽出部 4 1 4 5より入力される生徒画像（SD画像）の予測タップ（SD画素）と、教師画像（HD画像）の HD画素とから正規方程式を生成し、係数決定部 4 1 4 7に供給する。

係数決定部 4 1 4 7は、正規方程式生成部 4 1 46より所定のクラスコードに対応する正規方程式が供給されてきたとき、その正規方程式より予測係数のそれぞれを演算し、係数メモリ 4 1 2 4にクラスコードと関連付けて記憶させる。正規方程式生成部 4 1 4 6と、係数決定部 4 1 4 7についてさらに詳しく説明する,

上述した式（23 7) において、学習前は予測係数のそれぞれが未定係数である。学習は、クラスコード毎に複数の教師画像（HD画像）の HD画素を入力することによって行う。所定のクラスコードに対応する HD画素が m個存在し、 m個の HD画素のそれぞれを、 q_k (kは、 1乃至 mの整数値）と記述する場合、式（2 3 7) から、次の式（23 8) が設定される。

¾ = Λ di c_ik+e_k

i=0

o • · · (238) 即ち、式（238) は、右辺の演算をすることで、所定の HD画素 ¾ を予測

o

推定することができることを表している。なお、式（23 8) において、 e_k は、誤差を表している。即ち、右辺の演算結果である予測画像（HD画像）の HD画素 q_k'が、実際の HD画素 ¾ と厳密には一致せず、所定の誤差 e_kを含む。

そこで、式（23 8) において、誤差の自乗和を最小にす O る予測係数が学習により求まれば、その予測係数は、実際の HD画素 ¾ を予測するのに最適な係数であると言える。

従って、例えば、学習により集められた m個（ただし、 mは、 nより大きい整数）の HD画素 _¾を用いて、最小自乗法により最適な予測係数を一意に決定することができる。

即ち、式（2 38) の右辺の予測係数を最小自乗法で求める場合の正規方程式は、次の式（239) で表される。

m m

∑ ^c1k^xc1k ∑ ^c1k^{x c}2k "

k=1 k=1 k=1 k=1

m m m m

∑ ^c2k^Xc1k ∑ ^c2k ^{X c}2k . . L G_2kXG_nk d₂ ∑ ^c2k ^X

k=1 k=1 k=1 k=1

• * * * * *

• * ' « • *

• * • « * •

m m m

∑ ^Gnk^xc1k ∑ ^cnk ^{x G}2k . '. ∑ c_nkxc_nk ∑ ^cnk ¾

k=1 k=1 k=1 一 _k=1 • · · (2 3 9) 従って、式（2 3 9) で示される正規方程式が生成されれば、その正規方程式を解くことで予測係数がー意に決定されることになる。

具体的には、式（2 3 9) で示される正規方程式の各行列のそれぞれを、次の式（2 40) 乃至（24 2) のように定義すると、正規方程式は、次の式（24

3) のように表される。

m m m

∑ c_1kxc_1k ∑ c_1k c_2k ·'· ∑ c_1k c_nk

k=1 k=1 k=1

m m m

∑ c_2kxc_1k ∑ c_2k c_2k ··· ∑ c_2kxc_nk

C, MAT k=1 k=1 k=1

∑ ^cnk^{x c}1k ∑ ^cnk^{x c}2k … ∑ ^cnk ^{x c}nk

k=1 k=1 k=l

(24 0) di d₂

^DMAT ⁼

(24 1) c_1kxq_k

k=1

m

∑ c_2k x q_k

k=1

cnk ^x Clk

k=1

(24 2) ^CMAT¾AT = ¾AT

■ · · ( 2 4 3) 式（24 1 ) で示されるように、行列 D_MATの各成分は、求めたい予測係数である。従って、式（2 4 3) において、左辺の行列 C_MAT と右辺の行列 Q_MATが決定されれば、行列解法によって行列 D_{MA T} (即ち、予測係数）の算出が可能である。

より具体的には、式（2 4 0) で示されるように、行列 C_MATの各成分は、予測タップ c_{i k}が既知であれば演算可能である。予測タップ c_{i k}は、領域抽出部 4 1 4 5により抽出されるので、正規方程式生成部 4 1 4 6は、領域抽出部 4 1 4 5より供給されてくる予測タップ c_{i k}のそれぞれを利用して行列 C_MATの各成分を演算することができる。

また、式（2 4 2 ) で示されるように、行列 Q_MAT の各成分は、予測タップ c_{l k} と HD画素 q_kが既知であれば演算可能である。予測タップ c_{i k}は、行列 C_MAT の各成分に含まれるものと同一のものであり、また、 HD画素 q_kは、予測タップ c_{i k} に含まれる注目画素（生徒画像の S D画素）に対する教師画像の HD画素である。従って、正規方程式生成部 4 1 4 6は、領域抽出部 4 1 4 5より供給された予測タップ c_{i k} と、教師画像を利用して行列 Q_MATの各成分を演算することができる。

このようにして、正規方程式生成部 4 1 4 6は、クラスコード毎に、行列 C_MAT と行列 Q_{MA T} の各成分を演算し、その演算結果をクラスコードに対応付けて係数決定部 4 1 4 7に供給する。

係数決定部 4 1 4 7は、供給された所定のクラスコードに対応する正規方程式に基づいて、上述した式（2 4 3) の行列 D_MAT の各成分である予測係数を演算する。

具体的には、上述した式（2 4 3) の正規方程式は、次の式（2 44) のように変形できる。 JP2004/001488

400

。MAT二 ¾ΑΤ¾ΑΤ

• · · (244) 式（244) において、左辺の行列 D_MATの各成分が、求めたい予測係数である。また、行列 C_MAT と行列 Q_MATのそれぞれの各成分は、正規方程式生成部 4 1 4 6より供給されるものである。従って、係数決定部 4 1 4 7は、正規方程式生成部 4 1 4 6より所定のクラスコードに対応する行列 C_MAT と行列 Q_MAT のそれぞれの各成分が供給されてきたとき、式（24 4) の右辺の行列演算を行うことで行列 D_MAT を演算し、その演算結果（予測係数）をクラスコードに対応付けて係数メモリ 4 1 24に記憶させる。

なお、クラス分類適応処理は、上述したように、 SD画像には含まれていない力 HD画像に含まれる成分が再現される点で、例えば、単なる補間処理とは異なる。即ち、適応処理では、上述した式（2 3 7) だけを見る限りは、いわゆる補間フィルタを用いての捕間処理と同一に見えるが、その捕間フィルタの係数に相当する予測係数力教師データと生徒データを用いての学習により求められるため、 HD画像に含まれる成分を再現することができる。このことから、上述したようなクラス分類適応処理は、いわば画像の創造（解像度創造）作用がある処理と称することができる。

さらに、上述した例では、空間解像度を向上させる場合を例にして説明したが、クラス分類適応処理によれば、教師データおよび生徒データを変えて学習を行うことにより得られる種々の係数を用いることで、例えば、 S/N (Signal to

Noise Ratio) の向上や、ぼけの改善、その他の各種の処理を行うことが可能でめ。

即ち、例えば、 SZNの向上やぼけの改善を、クラス分類適応処理によって行うには、 S/Nの高い画像データを教師データとするとともに、その教師データの SZNを低下させた画像（あるいは、ぼかした画像）を生徒データとして、係数を求めればよい。以上、クラス分類適応処理を実行する画像生成部 4 1 0 4と、その学習装置 4 1 3 1のそれぞれの構成について説明した。

なお、上述したように、画像生成部 4 1 0 4は、クラス分類適応処理以外の画像処理を実行する構成とすることも可能であるが、説明の簡略上、以下の説明においては、画像生成部 4 1 0 4の構成は、上述した図 2 9 3の構成とされる。即ち、以下、画像生成部 4 1 0 4は、クラス分類適応処理を実行することで、入力画像より空間解像度の高い画像を生成し、セレクタ 4 1 1 2に供給するとする。次に、図 2 9 5を参照して、第 1の併用手法が適用される信号処理装置（図 2 9 2 ) の信号の処理について説明する。

なお、ここでは、データ定常性検出部 4 1 0 1は、角度（画像である、実世界 1 (図 1 ) の信号の注目位置における、定常性の方向（空間方向）と、空間方向の 1方向である X方向（センサ 2 (図 1 ) の検出素子の所定の一辺と平行な方向）とのなす角度）を最小自乗法により演算し、演算した角度をデータ定常性情報として出力するとする。

データ定常性検出部 4 1 0 1はまた、角度を演算するときに併せて算出される推定誤差（最小自乗法の誤差）を、領域特定情報として出力するとする。

図 1において、画像である、実世界 1の信号がセンサ 2に入射されると、センサ 2からは入力画像が出力される。

図 2 9 2において、この入力画像は、データ定常性検出部 4 1 0 1、および実世界推定部 4 1 0 2に入力されるとともに、画像生成部 4 1 0 4に入力される。そこで、図 2 9 5のステップ S 4 1 0 1において、画像生成部 4 1 0 4は、入力画像（S D画像）の所定の S D画素を注目画素として、上述したクラス分類適応処理を実行し、予測画像（H D画像）の H D画素（注目画素における H D画素）を生成し、セレクタ 4 1 1 2に供給する。

なお、以下、画像生成部 4 1 0 4より出力される画素と、画像生成部 4 1 0 3 より出力される画素のそれぞれを区別する場合、画像生成部 4 1 0 4より出力される画素を第 1の画素と称し、画像生成部 4 1 0 3より出力される画素を第 2の画素と称する。

また、以下、このような画像生成部 4 1 0 4が実行する処理（いまの場合、ステツプ S 4 1 0 1の処理）を、「クラス分類適応処理の実行処理」と称する。この例の「クラス分類適応処理の実行処理」の詳細については、図 2 9 6のフローチャートを参照して後述する。

一方、ステップ S 4 1 0 2において、データ定常性検出部 4 1 0 1は、定常性の方向に対応する角度を検出するとともに、その推定誤差を演算する。検出された角度は、データ定常性情報として実世界推定部 4 1 0 2と画像生成部 4 1 0 3 のそれぞれに供給される。また、演算された推定誤差は、領域特定情報として領域検出部 4 1 1 1に供給される。

ステップ S 4 1 0 3において、実世界推定部 4 1 0 2は、データ定常性検出部 4 1 0 1により検出された角度と、入力画像に基づいて、実世界 1の信号を推定する。

なお、上述したように、実世界推定部 4 1 0 2が実行する推定の処理は、特に限定されず、上述した様々な手法を利用することができる。ここでは、例えば、実世界推定部 4 1 0 2は、実世界 1の信号を表す関数 F (以下の説明においても、関数 Fを光信号関数 Fと称することにする）を、所定の関数 f (以下の説明においても、関数 f を近似関数 f と称することにする）で近似することで、実世界 1 の信号（光信号関数 F ) を推定するとする。

また、ここでは、例えば、実世界推定部 4 1 0 2は、近似関数 f の特徴量（係数）を、実世界推定情報として画像生成部 4 1 0 3に供給するとする。

ステップ S 4 1 0 4において、画像生成部 4 1 0 3は、実世界推定部 4 1 0 2 により推定された実世界 1の信号に基づいて、画像生成部 4 1 0 4のクラス分類適応処理により生成された第 1の画素（H D画素）に対応する第 2の画素（H D 画素）を生成し、セレクタ 4 1 1 2に供給する。

いまの場合、実世界推定部 4 1 0 2より近似関数 f の特徴量（係数）が供給されてくるので、画像生成部 4 1 0 3は、例えば、供給された近似関数 f の特徴量 P T/JP2004/001488

403

に基づいて、近似関数 ίを所定の積分範囲で積分することで、第 2の画素（HD 画素）を生成する。

ただし、積分範囲は、画像生成部 4 1 04より出力される第 1の画素（HD画素）と同一の大きさ（同一の解像度）の第 2の画素が生成可能な範囲とされる。即ち、空間方向においては、積分範囲は、これから生成される第 2の画素の画素幅となる。

なお、ステップ S 4 1 0 1の「クラス分類適応処理の実行処理」と、ステップ S 4 1 0 2乃至 S 4 1 04の一連の処理の順番は、図 2 9 5の例に限定されず、ステップ S 4 1 0 2乃至 S 4 1 04の一連の処理が先に実行されても構わないし、ステップ S 4 1 ◦ 1の「クラス分類適応処理の実行処理」と、ステップ S 4 1 0 2乃至 S 4 1 04の一連の処理が同時に実行されても構わない。

ステップ S 4 1 0 5において、領域検出部 4 1 1 1は、ステップ S 4 1 0 2の処理でデータ定常性検出部 4 1 0 1により演算された推定誤差（領域特定情報）に基づいて、ステップ S 4 1 04の処理で画像生成部 4 1 0 3により生成された第 2の画素（HD画素）の領域を検出する。

即ち、第 2の画素は、データ定常性検出部 4 1 0 1が注目画素として使用した入力画像の SD画素における HD画素である。従って、注目画素（入力画像の S D画素）と第 2の画素（HD画素）の領域の種類（定常領域、または非定常領域）は同一である。

また、データ定常性検出部 4 1 0 1が出力する領域特定情報は、注目画素における角度が最小自乗法により算出された場合の推定誤差である。

そこで、領域検出部 4 1 1 1は、データ定常性検出部 4 1 0 1より供給された注目画素（入力画像の SD画素）に対する推定誤差と、予め設定された閾値を比較し、その比較の結果が、推定誤差が閾値よりも小さい場合、第 2の画素は定常領域であると検出し、一方、推定誤差が閾値以上である場合、第 2の画素は非定常領域であると検出する。そして、検出結果は、セレクタ 4 1 1 2に供給される。この領域検出部 4 1 1 1の検出結果がセレクタ 4 1 1 2に供給されると、ステップ S 4 1 0 6において、セレクタ 4 1 1 2は、検出された領域が、定常領域であるか否かを判定する。

ステップ S 4 1 0 6において、検出された領域が、定常領域であると判定した場合、セレクタ 4 1 1 2は、ステップ S 4 1 0 7において、画像生成部 4 1 0 3 より供給された第 2の画素を、出力画像として外部に出力する。

これに対して、ステップ S 4 1 0 6において、検出された領域が、定常領域ではない（非定常領域である）と判定した場合、セレクタ 4 1 1 2は、ステップ S 4 1 0 8において、画像生成部 4 1 0 4より供給された第 1の画素を、出力画像として外部に出力する。

その後、ステップ S 4 1 0 9において、全画素の処理を終了したか否かが判定され、全画素の処理がまだ終了していないと判定された場合、その処理は、ステップ S 4 1 0 1に戻る。即ち、全ての画素の処理が終了されるまで、ステップ S 4 1 0 1乃至 S 4 1 0 9の処理が繰り返される。

そして、ステップ S 4 1 0 9において、全画素の処理を終了したと判定された場合、その処理は終了となる。

このように、図 2 9 5のフローチャートの例においては、第 1の画素（H D画素）と第 2の画素（H D画素）が生成される毎に、出力画像として第 1の画素または第 2の画素が画素単位で出力される。

しかしながら、上述したように、画素単位で出力されることは必須ではなく、全ての画素の処理が終了された後、出力画像として、全ての画素が一括して出力されてもよい。この場合、ステップ S 4 1 0 7とステップ S 4 1 0 8のそれぞれの処理においては、画素（第 1の画素または第 2の画素）は出力されずに、セレクタ 4 1 1 2に一次格納され、ステップ S 4 1 0 9の処理の後、全ての画素を出力する処理が追加される。

次に、図 2 9 6のフローチャートを参照して、図 2 9 3の構成の画像生成部 4 1 0 4が実行する「クラス分類適応処理の実行処理」（例えば、上述した図 2 9 5のステップ S 4 1 0 1の処理）の詳細について説明する。センサ 2からの入力画像（S D画像）が画像生成部 4 1 0 4に入力されると、ステップ S 4 1 2 1において、領域抽出部 4 1 2 1と領域抽出部 4 1 2 5のそれぞれは、入力画像を入力する。

ステップ S 4 1 2 2において、領域抽出部 4 1 2 1は、入力画像の中から、注目画素（S D画素）、および、予め設定された注目画素からの相対位置（1以上の位置）のそれぞれに位置する画素（S D画素）を、クラスタップとして抽出し、パターン検出部 4 1 2 2に供給する。

ステップ S 4 1 2 3において、パターン検出部 4 1 2 2は、供給されたクラスタップのパターンを検出し、クラスコード決定部 4 1 2 3に供給する。

ステップ S 4 1 2 4において、クラスコード決定部 4 1 2 3は、予め設定されている複数のクラスコードの中から、供給されたクラスタップのパターンに適合するクラスコードを決定し、係数メモリ 4 1 2 4と領域抽出部 4 1 2 5のそれぞれに供給する。

ステップ S 4 1 2 5において、係数メモリ 4 1 2 4は、供給されたクラスコードに基づいて、予め学習処理により決定された複数の予測係数（群）の中から、これから使用する予測係数（群）を読み出し、予測演算部 4 1 2 6に供給する。なお、学習処理については、図 2 9 7のフローチャートを参照して後述する。ステップ S 4 1 2 6において、領域抽出部 4 1 2 5は、供給されたクラスコードに対応して、入力画像の中から、注目画素（S D画素）、および、予め設定された注目画素からの相対位置（1以上の位置であって、クラスタップの位置とは独立して設定された位置。ただし、クラスタップの位置と同一の位置でもよい）のそれぞれに位置する画素（S D画素）を、予測タップとして抽出し、予測演算部 4 1 2 6に供給する。

ステップ S 4 1 2 7において、予測演算部 4 1 2 6は、領域抽出部 4 1 2 5より供給された予測タップを、係数メモリ 4 1 2 4より供給された予測係数を用いて演算し、予測画像（第 1の画素）を生成して外部（図 2 9 2の例では、セレクタ 4 1 1 2 ) に出力する。具体的には、予測演算部 4 1 2 6は、領域抽出部 4 1 2 5より供給された予測タップのそれぞれを (i は、 1乃至 nのうちのいずれかの整数）とし、かつ、係数メモリ 4 1 24より供給された予測係数のそれぞれをとして、上述した式（2 3 7) の右辺を演算することにより、注目画素（SD画素）における HD 画素を算出し、それを予測画像（HD画像）の所定の 1つの画素（第 1の画素）として外部に出力する。その後、処理は終了となる。

次に、図 2 9 7のフローチャートを参照して、画像生成部 4 1 04に対する学習装置 4 1 3 1 (図 2 9 4) が実行する学習処理（画像生成部 4 1 04が使用する予測係数を学習により生成する処理）について説明する。

ステップ S 4 1 4 1において、ダウンコンバート部 4 1 4 1と正規方程式生成部 4 1 6のそれぞれは、供給された所定の画像を、教師画像（HD画像）として入力する。

ステップ S 4 1 4 2において、ダウンコンバート部 4 1 4 1は、入力された教師画像をダウンコンバートして（解像度を落として）生徒画像（SD画像）を生成し、領域抽出部 4 1 4 2と領域抽出部 4 1 4 5のそれぞれに供給する。

ステップ S 4 1 4 3において、領域抽出部 4 1 4 2は、供給された生徒画像からクラスタップを抽出してパターン検出部 4 1 4 3に出力する。なお、ステップ S 4 1 4 3の処理は、上述したステップ S 4 1 2 2 (図 2 9 6) の処理と基本的に同様の処理である。

ステップ S 4 1 44において、パターン検出部 4 1 4 3は、供給されたクラスタップよりクラスコードを決定するためのパターンを検出し、クラスコード決定部 4 1 44に供給する。なお、ステップ S 4 1 44の処理は、上述したステップ S 4 1 2 3 (図 2 9 6) の処理と基本的に同様の処理である。

ステップ S 4 1 4 5において、クラスコード決定部 4 1 44は、供給されたクラスタップのパターンに基づいてクラスコードを決定し、領域抽出部⁴ 1 4 5と正規方程式生成部 4 1 4 6のそれぞれに供給する。なお、ステップ S 4 1 4 5の処理は、上述したステップ S 4 1 24 (図 2 9 6) の処理と基本的に同様の処理である。

ステップ S 4 1 4 6において、領域抽出部 4 1 4 5は、供給されたクラスコードに対応して、生徒画像の中から予測タップを抽出し、正規方程式生成部 4 1 4 6に供給する。なお、ステップ S 4 1 4 6の処理は、上述したステップ S 4 1 2 6 (図 2 9 6 ) の処理と基本的に同様の処理である。

ステップ S 4 1 4 7において、正規方程式生成部 4 1 4 6は、領域抽出部 4 1 4 5より供給された予測タップ（S D画素）、および、教師画像（H D画像）の所定の H D画素から、上述した式（2 3 9 ) (即ち、式（2 4 3 ) ) で示される正規方程式を生成し、生成した正規方程式と、クラスコード決定部 4 1 4 4より供給されたクラスコードを関連付けて係数決定部 4 1 4 7に供給する。

ステップ S 4 1 4 8において、係数決定部 4 1 4 7は、供給された正規方程式を解いて予測係数を決定し、即ち、上述した式（2 4 4 ) の右辺を演算することで予測係数を算出し、供給されたクラスコードに対応付けて係数メモリ 4 1 2 4 に記憶させる。

その後、ステップ S 4 1 4 9において、全ての画素について処理が施されたか否かが判定され、全ての画素について処理が施されていないと判定された場合、その処理は、ステップ S 4 1 4 3に戻る。即ち、全ての画素の処理が終了されるまで、ステップ S 4 1 4 3乃至 S 4 1 4 9の処理が繰り返される。

そして、ステップ S 4 1 4 9において、全ての画素について処理が施されたと判定された場合、処理は終了となる。

次に、図 2 9 8と図 2 9 9を参照して、第 2の併用手法について説明する。図 2 9 8は、第 2の併用手法が適用される信号処理装置の構成例を表している。図 2 9 8において、第 1の併用手法が適用される信号処理装置（図 2 9 2 ) と対応する部分には、対応する符号が付してある。

図 2 9 2の構成例（第 1の併用手法）においては、領域特定情報は、データ定常性検出部 4 1 0 1より出力され、領域検出部 4 1 1 1に入力されていたが、図 2 9 8の構成例（第 2の併用手法）においては、領域特定情報は、実世界推定部 4 1 0 2より出力され、領域検出部 4 1 1 1に入力される。

この領域特定情報は、特に限定されず、実世界推定部 4 1 0 2が実世界 1 (図 1 ) の信号を推定した後に新たに生成された情報でもよいし、実世界 1の信号が推定される場合に付帯して生成される情報でもよい。

具体的には、例えば、領域特定情報として、推定誤差が使用可能である。

ここで、推定誤差について説明する。

上述したように、データ定常性検出部 4 1 0 1より出力される推定誤差（図 2 9 2の領域特定情報）は、例えば、データ定常性検出部 4 1 0 1より出力されるデータ定常性情報が角度であり、かつ、その角度が最小自乗法により演算される場合、その最小自乗法の演算で付帯的に算出される推定誤差である。

これに対して、実世界推定部 4 1 ◦ 2より出力される推定誤差（図 2 9 8の領域特定情報）は、例えば、マッピング誤差である。

即ち、実世界推定部 4 1 0 2により実世界 1の信号が推定されているので、推定された実世界 1の信号から任意の大きさの画素を生成する（画素値を演算する）ことが可能である。ここでは、このように、新たな画素を生成することを、マッピングと称している。

従って、実世界推定部 4 1 0 2は、実世界 1の信号を推定した後、その推定した実世界 1の信号から、入力画像の注目画素（実世界 1が推定される場合に注目画素として使用された画素）が配置されていた位置における新たな画素を生成する（マッピングする）。即ち、実世界推定部 4 1 0 2は、推定した実世界 1の信号から、入力画像の注目画素の画素値を予測演算する。

そして、実世界推定部 4 1 0 2は、マッピングした新たな画素の画素値（予測した入力画像の注目画素の画素値）と、実際の入力画像の注目画素の画素値との差分を演算する。この差分を、ここでは、マッピング誤差と称している。

このようにして実世界推定部 4 1 0 2は、マッピング誤差（推定誤差）を演算することで、演算したマッピング誤差（推定誤差）を、領域特定情報として領域検出部 4 1 1 1に供給することができる。 4 001488

409

なお、領域検出部 4 1 1 1が実行する領域検出の処理は、上述したように、特に限定されないが、例えば、実世界推定部 4 1 0 2が、上述したマッピング誤差 (推定誤差）を領域特定情報として領域検出部 4 1 1 1に供給する場合、領域検出部 4 1 1 1は、供給されたマッピング誤差（推定誤差）が所定の閾値よりも小さいとき、入力画像の注目画素は定常領域であると検出し、一方、供給されたマッビング誤差（推定誤差）が所定の閾値以上であるとき、入力画像の注目画素は非定常領域であると検出する。

その他の構成は、図 2 9 2のそれと基本的に同様である。即ち、第 2の併用手法が適用される信号処理装置（図 2 9 8 ) においても、第 1の併用手法が適用される信号処理装置（図 2 9 2 ) と基本的に同様の構成と機能を有する、データ定常性検出部 4 1 0 1、実世界推定部 4 1 0 2、画像生成部 4 1 0 3、画像生成部 4 1 0 4、並びに定常領域検出部 4 1 0 5 (領域検出部 4 1 1 1およびセレクタ 4 1 1 2 ) が設けられている。

図 2 9 9は、図 2 9 8の構成の信号処理装置の信号の処理（第 2の併用手法の信号の処理）を説明するフローチャートである。

第 2の併用手法の信号の処理は、第 1の併用手法の信号の処理（図 2 9 5のフローチャートで示される処理）と類似している。そこで、ここでは、第 1の併用手法において説明した処理については、その説明を適宜省略し、以下、図 2 9 9 のフローチャートを参照して、第 1の併用手法とは異なる第 2の併用手法の信号の処理を中心に説明する。

なお、ここでは、データ定常性検出部 4 1 0 1は、第 1の併用手法と同様に、角度（実世界 1 (図 1 ) の信号の注目位置における、定常性の方向（空間方向）と、空間方向の 1方向である X方向（センサ 2 (図 1 ) の検出素子の所定の一辺と平行な方向）とのなす角度）を最小自乗法により演算し、演算した角度をデータ定常性情報として出力するとする。

ただし、上述したように、第 1の併用手法においては、データ定常性検出部 4 1 0 1が領域特定情報（例えば、推定誤差）を領域検出部 4 1 1 1に供給していたのに対して、第 2の併用手法においては、実世界推定部 4 1 0 2が領域特定情報（例えば、推定誤差（マッピング誤差））を領域検出部 4 1 1 1に供給する。従って、第 2の併用手法においては、データ定常性検出部 4 1 0 1の処理として、ステップ S 4 1 6 2の処理が実行される。この処理は、第 1の併用手法における、図 2 9 5のステップ S 4 1 0 2の処理に相当する。即ち、ステップ S 4 1 6 2において、データ定常性検出部 4 1 0 1は、入力画像に基づいて、定常性の方向に対応する角度を検出し、検出した角度をデータ定常性情報として、実世界推定部 4 1 0 2と画像生成部 4 1 0 3のそれぞれに供給する。

また、第 2の併用手法においては、実世界推定部 4 1 0 2の処理として、ステップ S 4 1 6 3の処理が実行される。この処理は、第 1の併用手法における、図 2 9 5のステップ S 4 1 0 3の処理に相当する。即ち、ステップ S 4 1 6 3において、実世界推定部 4 1 0 2は、ステップ S 4 1 6 2の処理でデータ定常性検出部 4 1 0 1により検出された角度に基づいて、実世界 1 (図 1 ) の信号を推定するとともに、推定された実世界 1の信号の推定誤差、即ち、マッピング誤差を演算し、それを領域特定情報として領域検出部 4 1 1 1に供給する。

その他の処理は、第 1の併用手法の対応する処理（図 2 9 5のフローチャートで示される処理のうちの対応する処理）と基本的に同様であるので、その説明は省略する。

次に、図 3 0 0と図 3 0 1を参照して、第 3の併用手法について説明する。図 3 0 0は、第 3の併用手法が適用される信号処理装置の構成例を表している。図 3 0 0において、第 1の併用手法が適用される信号処理装置（図 2 9 2 ) と対応する部分には、対応する符号が付してある。

図 2 9 2の構成例（第 1の併用手法）においては、定常領域検出部 4 1 0 5は、画像生成部 4 1 0 3と画像生成部 4 1 0 4の後段に配設されていたが、図 3 0 0 の構成例（第 3の併用手法）においては、それに対応する定常領域検出部 4 1 6 1が、データ定常性検出部 4 1 0 1の後段であって、実世界推定部 4 1 0 2と画像生成部 4 1 0 4の前段に配設されている。このような配設位置の違いにより、第 1の併用手法における定常領域検出部 4 1 0 5と、第 3の併用手法における定常領域検出部 4 1 6 1は若干差異がある。そこで、この差異を中心に、定常領域検出部 4 1 6 1について説明する。

定常領域検出部 4 1 6 1には、領域検出部 4 1 7 1と実行指令生成部 4 1 7 2 が設けられている。このうちの領域検出部 4 1 7 1は、定常領域検出部 4 1 0 5 の領域検出部 4 1 1 1 (図 2 9 2 ) と基本的に同様の構成と機能を有している。一方、実行指令生成部 4 1 7 2の機能は、定常領域検出部 4 1 0 5のセレクタ 4 1 1 2 (図 2 9 2 ) のそれと若干差異がある。

即ち、上述したように、第 1の併用手法におけるセレクタ 4 1 1 2は、領域検出部 4 1 1 1の検出結果に基づいて、画像生成部 4 1 0 3からの画像と、画像生成部 4 1 0 4からの画像のうちのいずれか一方を選択し、選択した画像を出力画像として出力する。このように、セレクタ 4 1 1 2は、領域検出部 4 1 1 1の検出結果の他に、画像生成部 4 1 0 3からの画像と、画像生成部 4 1 0 4からの画像を入力し、出力画像を出力する。

一方、第 3の併用手法における実行指令生成部 4 1 7 2は、領域検出部 4 1 7 1の検出結果に基づいて、入力画像の注目画素（データ定常性検出部 4 1 0 1が注目画素とした画素）における新たな画素の生成の処理を実行するのは、画像生成部 4 1 0 3であるのか画像生成部 4 1 0 4であるのかを選択する。

即ち、領域検出部 4 1 7 1が、入力画像の注目画素は定常領域であるという検出結果を実行指令生成部 4 1 7 2に供給した場合、実行指令生成部 4 1 7 2は、画像生成部 4 1 0 3を選択し、実世界推定部 4 1 0 2に対して、その処理の実行を開始させる指令（このような指令を、以下、実行指令と称する）を供給する。すると、実世界推定部 4 1 0 2が、その処理を開始し、実世界推定情報を生成し、画像生成部 4 1 0 3に供給する。画像生成部 4 1 0 3は、供給された実世界推定情報（必要に応じて、それに加えてデータ定常性検出部 4 1 0 1より供給されたデータ定常性情報）に基づいて新たな画像を生成し、それを出力画像として外部に出力する。これに対して、領域検出部 4 1 7 1力入力画像の注目画素は非定常領域であるという検出結果を実行指令生成部 4 1 7 2に供給した場合、実行指令生成部 4 1 7 2は、画像生成部 4 1 0 4を選択し、画像生成部 4 1 0 4に対して実行指令を供給する。すると、画像生成部 4 1 0 4が、その処理を開始し、入力画像に対して所定の画像処理（いまの場合、クラス分類適応処理）を施して、新たな画像を生成し、それを出力画像として外部に出力する。

このように、第 3の併用手法における実行指令生成部 4 1 7 2は、領域検出部 4 1 7 1の検出結果を入力し、実行指令を出力する。即ち、実行指令生成部 4 1 7 2は、画像を入出力しない。

なお、定常領域検出部 4 1 6 1以外の構成は、図 2 9 2のそれと基本的に同様である。即ち、第 2の併用手法が適用される信号処理装置（図 3 0 0の信号処理装置）においても、第 1の併用手法が適用される信号処理装置（図 2 9 2 ) と基本的に同様の構成と機能を有する、データ定常性検出部 4 1 0 1、実世界推定部 4 1 0 2、画像生成部 4 1 0 3、および、画像生成部 4 1 0 4が設けられている。ただし、第 3の併用手法においては、実世界推定部 4 1 0 2と画像生成部 4 1 0 4のそれぞれは、実行指令生成部 4 1 7 2からの実行指令が入力されない限り、その処理を実行しない。

ところで、図 3 0 0の例では、画像の出力単位は画素単位とされている。そこで、図示はしないが、出力単位を 1フレームの画像全体とするために（全ての画素を一括して出力するために）、例えば、画像生成部 4 1 0 3と画像生成部 4 1 0 4の後段に、画像合成部をさらに設けることもできる。

この画像合成部は、画像生成部 4 1 0 3から出力された画素値と、画像生成部 4 1 0 4より出力された画素値を加算し（合成し）、加算した値を対応する画素の画素値とする。この場合、画像生成部 4 1 0 3と画像生成部 4 1 0 4のうちの、実行指令が供給されていない方は、その処理を実行せず、所定の一定値（例えば、 0 ) を画像合成部に常時供給する。

画像合成部は、このような処理を全ての画素について繰り返し実行し、全ての画素の処理を終了すると、全ての画素を一括して（1フレームの画像データとして）外部に出力する。

次に、図 3 0 1のフローチャートを参照して、第 3の併用手法が適用される信号処理装置（図 3 0 0 ) の信号の処理について説明する。

なお、ここでは、第 1の併用手法のときと同様に、データ定常性検出部 4 1 0 1は、角度（実世界 1 (図 1 ) の信号の注目位置における、定常性の方向（空間方向）と、空間方向の 1方向である X方向（センサ 2 (図 1 ) の検出素子の所定の一辺と平行な方向）とのなす角度）を最小自乗法により演算し、演算した角度をデータ定常性情報として出力するとする。

データ定常性検出部 4 1 0 1はまた、角度を演算するときに併せて算出される推定誤差（最小自乗法の誤差）を、領域特定情報として出力するとする。 ' 図 1において、実世界 1の信号がセンサ 2に入射されると、センサ 2からは入力画像が出力される。

図 3 0 0において、この入力画像は、画像生成部 4 1 0 4に入力されるとともに、データ定常性検出部 4 1 0 1、および実世界推定部 4 1 0 2にも入力される。そこで、図 3 0 1のステップ S 4 1 8 1において、データ定常性検出部 4 1 0 1は、入力画像に基づいて、定常性の方向に対応する角度を検出するとともに、その推定誤差を演算する。検出された角度は、データ定常性情報として実世界推定部 4 1 0 2と画像生成部 4 1 0 3のそれぞれに供給される。また、演算された推定誤差は、領域特定情報として領域検出部 4 1 7 1に供給される。

なお、ステップ S 4 1 8 1の処理は、上述したステップ S 4 1 0 2 (図 2 9 5 ) の処理と基本的に同様の処理である。

また、上述したように、いまの時点においては（実行指令生成部 4 1 7 2から実行指令が供給されない限り）、実世界推定部 4 1 0 2も画像生成部 4 1 0 4もその処理を実行しない。

ステップ S 4 1 8 2において、領域検出部 4 1 7 1は、データ定常性検出部 4 1 0 1により演算された推定誤差（供給された領域特定情報）に基づいて、入力画像の注目画素（データ定常性検出部 41 01が角度を検出する場合に注目画素とした画素）の領域を検出し、その検出結果を実行指令生成部 41 72に供給する。なお、ステップ S 4 18 2の処理は、上述したステップ S 41 05 (図 29 5) の処理と基本的に同様の処理である。

領域検出部 4 1 7 1の検出結果が実行指令生成部 4 1 72に供給されると、ステツプ S 4 1 8 3において、実行指令生成部 41 72は、検出された領域が、定常領域であるか否かを判定する。なお、ステップ S 4 1 8 3の処理は、上述したステップ S 41 06 (図 29 5) の処理と基本的に同様の処理である。

ステップ S 4 18 3において、検出された領域が定常領域ではないと判定した場合、実行指令生成部 4 1 7 2は、実行指令を画像生成部 41 04に供給する。すると、画像生成部 4104は、ステップ S 41 84において、「クラス分類適応処理の実行処理」を実行して、第 1の画素（注目画素（入力画像の SD画素）における HD画素）を生成し、ステップ S 41 8 5において、クラス分類適応処理により生成された第 1の画素を、出力画像として外部に出力する。

なお、ステップ S 41 84の処理は、上述したステップ S 4 10 1 (図 2 9 5) の処理と基本的に同様の処理である。即ち、図 296のフローチャートは、ステップ S 4 1 84の処理の詳細を説明するフローチヤ一トでもある。

これに対して、ステップ S 41 8 3において、検出された領域が定常領域であると判定した場合、実行指令生成部 4 1 7 2は、実行指令を実世界推定部 4 1 0 2に供給する。すると、ステップ S 41 8 6において、実世界推定部 4 10 2は、データ定常性検出部 41 0 1により検出された角度と、入力画像に基づいて、実世界 1の信号を推定する。なお、ステップ S 41 86の処理は、上述したステツプ S 4 10 3 (図 2 95) の処理と基本的に同様の処理である。

そして、画像生成部 410 3は、ステップ S 41 8 7において、実世界推定部 410 2により推定された実世界 1の信号に基づいて、検出された領域（即ち、入力画像の注目画素（SD画素））における第 2の画素（HD画素）を生成し、ステップ S 4 1 88において、その第 2の画素を出力画像として出力する。なお、ステップ S 4 1 8 7の処理は、上述したステップ S 4 1 0 4 (図 2 9 5 ) の処理と基本的に同様の処理である。

第 1の画素または第 2の画素が出力画像として出力されると（ステップ S 4 1 8 5、またはステップ S 4 1 8 8の処理の後）、ステップ S 4 1 8 9において、全画素の処理を終了したか否かが判定され、全画素の処理がまだ終了していないと判定された場合、その処理は、ステップ S 4 1 8 1に戻る。即ち、全ての画素の処理が終了されるまで、ステップ S 4 1 8 1乃至 S 4 1 8 9の処理が繰り返される。

そして、ステップ S 4 1 8 9において、全画素の処理を終了したと判定された場合、その処理は終了となる。

このように、図 3 0 1のフローチャートの例においては、第 1の画素（H D画素）と第 2の画素（H D画素）が生成される毎に、出力画像として第 1の画素または第 2の画素が画素単位で出力される。

しかしながら、上述したように、図 3 0 0の構成の信号処理装置の最終段（画像生成部 4 1 0 3と画像生成部 4 1 0 4の後段）に画像合成部（図示せず）をさらに設ければ、全ての画素の処理が終了された後、出力画像として、全ての画素を一括して出力することが可能になる。この場合、ステップ S 4 1 8 5とステツプ S 4 1 8 8のそれぞれに処理においては、画素（第 1の画素または第 2の画素）は外部ではなく画像合成部に出力される。そして、ステップ S 4 1 8 9の処理の前に、画像合成部が、画像生成部 4 1 0 3から供給される画素の画素値と、画像生成部 4 1 0 4から供給される画素の画素値を合成して、出力画像の画素を生成する処理と、ステップ S 4 1 8 9の処理の後に、画像合成部が、全ての画素を出力する処理が追加される。

次に、図 3 0 2と図 3 0 3を参照して、第 4の併用手法について説明する。図 3 0 2は、第 4の併用手法が適用される信号処理装置の構成例を表している。図 3 0 2において、第 3の併用手法が適用される信号処理装置（図 3 0 0 ) と対応する部分には、対応する符号が付してある。 . 1488

416

図 3 0 0の構成例（第 3の併用手法）においては、領域特定情報は、データ定常性検出部 4 1 0 1より出力され領域検出部 4 1 7 1に入力されていたが、図 3 0 2の構成例（第 4の併用手法）においては、領域特定情報は、実世界推定部 4 1 0 2より出力され領域検出部 4 1 7 1に入力される。

その他の構成は、図 3 0 0のそれと基本的に同様である。即ち、第 4の併用手法が適用される信号処理装置（図 3 0 2 ) においても、第 3の併用手法が適用される信号処理装置（図 3 0 0 ) と基本的に同様の構成と機能を有する、データ定常性検出部 4 1 0 1、実世界推定部 4 1 0 2、画像生成部 4 1 0 3、画像生成部 4 1 0 4、並びに定常領域検出部 4 1 6 1 (領域検出部 4 1 7 1および実行指令生成部 4 1 7 2 ) が設けられている。

なお、第 3の併用方法と同様に、図示はしないが、全ての画素を一括して出力するために、例えば、画像生成部 4 1 0 3と画像生成部 4 1 0 4の後段に、画像合成部をさらに設けることもできる。

図 3 0 3は、図 3 0 2の構成の信号処理装置の信号の処理（第 4の併用手法の信号の処理）を説明するフローチャートである。

第 4の併用手法の信号の処理は、第 3の併用手法の信号の処理（図 3 0 1のフローチャートで示される処理）と類似している。そこで、ここでは、第 3の併用手法において説明した処理については、その説明を適宜省略し、以下、図 3 0 3 のフローチャートを参照して、第 3の併用手法とは異なる第 4の併用手法の信号の処理を中心に説明する。

なお、ここでは、データ定常性検出部 4 1 0 1は、第 3の併用手法と同様に、角度（実世界 1 (図 1 ) の信号の注目位置における、定常性の方向（空間方向）と、空間方向の 1方向である X方向（センサ 2 (図 1 ) の検出素子の所定の一辺と平行な方向）とのなす角度）を最小自乗法により演算し、演算した角度をデータ定常性情報として出力するとする。

ただし、上述したように、第 3の併用手法においては、データ定常性検出部 4 1 0 1が領域特定情報（例えば、推定誤差）を領域検出部 4 1 7 1に供給していたのに対して、第 4の併用手法においては、実世界推定部 4 1 0 2が領域特定情報（例えば、推定誤差（マッピング誤差））を領域検出部 4 1 7 1に供給する。従って、第 4の併用手法においては、データ定常性検出部 4 1 0 1の処理として、ステップ S 4 2 0 1の処理が実行される。この処理は、第 3の併用手法における、図 3 0 1のステップ S 4 1 8 1の処理に相当する。即ち、ステップ S 4 2 0 1において、データ定常性検出部 4 1 0 1は、入力画像に基づいて、定常性の方向に対応する角度を検出し、検出した角度をデータ定常性情報として、実世界推定部 4 1 0 2と画像生成部 4 1 0 3のそれぞれに供給する。

また、第 4の併用手法においては、実世界推定部 4 1 0 2の処理として、ステップ S 4 2 0 2の処理が実行される。この処理は、第 3 併用手法における、図 2 9 5のステップ S 4 1 8 2の処理に相当する。即ち、実世界推定部 4 1 0 2は、ステップ S 4 2 0 2の処理でデータ定常性検出部 4 1 0 1により検出された角度に基づいて、実世界 1 (図 1 ) の信号を推定するとともに、推定された実世界 1 の信号の推定誤差、即ち、マッピング誤差を演算し、それを領域特定情報として領域検出部 4 1 7 1に供給する。

その他の処理は、第 3の併用手法の対応する処理（図 3 0 1のフローチャートで示される処理のうちの対応する処理）と基本的に同様であるので、その説明は省略する。

次に、図 3 0 4と図 3 0 5を参照して、第 5の併用手法について説明する。図 3 0 4は、第 5の併用手法が適用される信号処理装置の構成例を表している。図 3 0 4において、第 3と第 4の併用手法が適用される信号処理装置（図 3 0 0と図 3 0 2 ) と対応する部分には、対応する符号が付してある。

図 3 0 0の構成例（第 3の併用手法）においては、データ定常性検出部 4 1 0 1の後段であって、実世界推定部 4 1 0 2と画像生成部 4 1 0 4の前段に、 1つの定常領域検出部 4 1 6 1が配設されている。

また、図 3 0 2の構成例（第 4の併用手法）においては、実世界推定部 4 1 0 2の後段であって、画像生成部 4 1 0 3と画像生成部 4 1 0 4の前段に、 1つの定常領域検出部 4 1 6 1が配設されている。

これらに対して、図 3 0 4の構成例（第 5の併用手法）においては、第 3の併用方法と同様に、データ定常性検出部 4 1 0 1の後段であって、実世界推定部 4 1 0 2と画像生成部 4 1 0 4の前段に、定常領域検出部 4 1 8 1が配設されている。さらに、第 4の併用方法と同様に、実世界推定部 4 1 0 2の後段であって、画像生成部 4 1 0 3と画像生成部 4 1 0 4の前段に、定常領域検出部 4 1 8 2が配設されている。

定常領域検出部 4 1 8 1と定常領域検出部 4 1 8 2のそれぞれは、定常領域検出部 4 1 6 1 (図 3 0 0または図 3 0 2 ) と基本的に同様の構成と機能を有している。即ち、領域検出部 4 1 9 1と領域検出部 4 2 0 1はいずれも、領域検出部 4 1 7 1と基本的に同様の構成と機能を有している。また、実行指令生成部 4 1 9 2と実行指令生成部 4 2 0 2はいずれも、実行指令生成部 4 1 7 2と基本的に同様の構成と機能を有している。

換言すると、第 5の併用手法は、第 3の併用手法と第 4の併用手法を組み合わせたものである。

即ち、第 3の併用手法や第 4の併用手法においては、 1つの領域特定情報（第 3の併用手法においては、データ定常性検出部 4 1 0 1からの領域特定情報であり、第 4の併用手法においては、実世界推定部 4 1 0 2からの領域特定情報である）に基づいて、入力画像の注目画素が定常領域であるか非定常領域であるかが検出される。従って、第 3の併用手法や第 4の併用手法では、本来、非定常領域であるにも関わらず、定常領域であると検出される恐れもある。

そこで、第 5の併用手法においては、はじめにデータ定常性検出部 4 1 0 1からの領域特定情報（第 5の併用手法の説明においては、第 1の領域特定情報と称する）に基づいて、入力画像の注目画素が定常領域であるか非定常領域であるかが検出された後、さらに、実世界推定部 4 1 0 2からの領域特定情報（第 5の併用手法の説明においては、第 2の領域特定情報と称する）に基づいて、入力画像の注目画素が定常領域であるか非定常領域であるかが検出される。このように、第 5の併用手法においては、領域の検出の処理が 2回行われるので、第 3の併用手法や第 4の併用手法に比較して、定常領域の検出精度が上がることになる。さらに、第 1の併用手法や第 2の併用手法においても、第 3の併用手法や第 4の併用手法と同様に、 1つの定常領域検出部 4 1 0 5 (図 2 9 2または図 2 9 8 ) しか設けられていない。従って、第 1の併用手法や第 2の併用手法と比較しても、定常領域の検出精度が上がることになる。その結果、第 1乃至第 4の併用手法のいずれよりも実世界 1 (図 1 ) の信号に近い画像データを出力することが可能になる。

ただし、第 1乃至第 4の併用手法でも、従来の画像処理を行う画像生成部 4 1 0 4と、本発明が適用されるデータの定常性を利用して画像を生成する装置またはプログラム等（即ち、データ定常性検出部 4 1 0 1、実世界推定部 4 1 0 2、および、画像生成部 4 1 0 3 ) を併用していることに変わりはない。

従って、第 1乃至第 4の併用手法でも、従来の信号処理装置や、図 3の構成の本発明の信号処理のいずれよりも実世界 1 (図 1 ) の信号に近い画像データを出力することが可能になる。

一方、処理速度の観点からは、第 1乃至第 4の併用手法においては、領域の検出の処理が 1回だけで済むので、領域の検出の処理を 2回行う第 5の併用手法よりも優れていることになる。

従って、ユーザ（または製造者）等は、必要とされる出力画像の品質と、必要とされる処理時間（出力画像が出力されるまでの時間）に合致した併用手法を選択的に利用することができる。

なお、図 3 0 4におけるその他の構成は、図 3 0 0、または、図 3 0 2のそれと基本的に同様である。即ち、第 5の併用手法が適用される信号処理装置（図 3

0 4 ) においても、第 3または第 4の併用手法が適用される信号処理装置（図 3 0 0、または図 3 0 2 ) と基本的に同様の構成と機能を有する、データ定常性検出部 4 1 0 1、実世界推定部 4 1 0 2、画像生成部 4 1 0 3、および画像生成部

4 1 0 4が設けられている。ただし、第 5の併用手法においては、実世界推定部 4 1 0 2は、実行指令生成部 4 1 9 2からの実行指令が入力されない限り、画像生成部 4 1 0 3は、実行指令生成部 4 2 0 2からの実行指令が入力されない限り、画像生成部 4 1 0 4は、実行指令生成部 4 1 9 2、または実行指令生成部 4 2 0 2からの実行指令が入力されない限り、その処理を実行しない。

また、第 5の併用手法においても、第 3や第 4の併用方法と同様に、図示はしないが、全ての画素を一括して出力するために、例えば、画像生成部 4 1 0 3と画像生成部 4 1 0 4の後段に、画像合成部をさらに設けることもできる。

次に、図 3 0 5のフローチャートを参照して、第 5の併用手法が適用される信号処理装置（図 3 0 4 ) の信号の処理について説明する。

なお、ここでは、第 3や第 4の併用手法のときと同様に、データ定常性検出部 4 1 0 1は、角度（実世界 1 (図 1 ) の信号の注目位置における、定常性の方向 (空間方向）と、空間方向の 1方向である X方向（センサ 2 (図 1 ) の検出素子の所定の一辺と平行な方向）とのなす角度）を最小自乗法により演算し、演算した角度をデータ定常性情報として出力するとする。

また、ここでは、第 3の併用手法のときと同様に、データ定常性検出部 4 1 0 1はまた、角度を演算するときに併せて算出される推定誤差（最小自乗法の誤差）を、第 1の領域特定情報として出力するとする。

さらに、ここでは、第 4の併用手法のときと同様に、実世界推定部 4 1 0 2は、マッピング誤差（推定誤差）を、第 2の領域特定情報として出力するとする。図 1において、実世界 1の信号がセンサ 2に入射されると、センサ 2からは入力画像が出力される。

図 3 0 4において、この入力画像は、データ定常性検出部 4 1 0 1、実世界推定部 4 1 0 2、および、画像生成部 4 1 0 4のそれぞれに入力される。

そこで、図 3 0 5のステップ S 4 2 2 1において、データ定常性検出部 4 1 0 1は、入力画像に基づいて、定常性の方向に対応する角度を検出するとともに、その推定誤差を演算する。検出された角度は、データ定常性情報として実世界推定部 4 1 0 2と画像生成部 4 1 0 3のそれぞれに供給される。また、演算された推定誤差は、第 1の領域特定情報として領域検出部 4 1 9 1に供給される。

なお、ステップ S 4 2 2 1の処理は、上述したステップ S 4 1 8 1 (図 3 0 1 ) の処理と基本的に同様の処理である。

また、上述したように、いまの時点においては（実行指令生成部 4 1 9 2から実行指令が供給されない限り）、実世界推定部 4 1 0 2も画像生成部 4 1 0 4もその処理を実行しない。

ステップ S 4 2 2 2において、領域検出部 4 1 9 1は、データ定常性検出部 4 1 0 1により演算された推定誤差（供給された第 1の領域特定情報）に基づいて、入力画像の注目画素（データ定常性検出部 4 1 0 1が角度を検出する場合に注目画素とした画素）の領域を検出し、その検出結果を実行指令生成部 4 1 9 2に供給する。なお、ステップ S 4 2 2 2の処理は、上述したステップ S 4 1 8 2 (図 3 0 1 ) の処理と基本的に同様の処理である。

領域検出部 4 1 8 1の検出結果が実行指令生成部 4 1 9 2に供給されると、ステツプ S 4 2 2 3において、実行指令生成部 4 1 9 2は、検出された領域が、定常領域であるか否かを判定する。なお、ステップ S 4 2 2 3の処理は、上述したステップ S 4 1 8 3 (図 3 0 1 ) の処理と基本的に同様の処理である。

ステップ S 4 2 2 3において、検出された領域が定常領域ではない（非定常領域である）と判定した場合、実行指令生成部 4 1 9 2は、実行指令を画像生成部 4 1 0 4に供給する。すると、画像生成部 4 1 0 4は、ステップ S 4 2 2 4において、「クラス分類適応処理の実行処理」を実行して、第 1の画素（注目画素

(入力画像の S D画素）における H D画素）を生成し、ステップ S 4 2 2 5において、クラス分類適応処理により生成された第 1の画素を、出力画像として外部に出力する。

なお、ステップ S 4 2 2 4の処理は、上述したステップ S 4 1 8 4 (図 3 0 1 ) の処理と基本的に同様の処理である。即ち、図 2 9 6のフローチャートは、ステップ S 4 1 8 6の処理の詳細を説明するフローチャートでもある。また、ステツプ S 4 2 2 5の処理は、上述したステップ S 4 1 8 5 (図 3 0 1 ) の処理と基本的に同様の処理である。

これに対して、ステップ S 4 2 2 3において、検出された領域が定常領域であると判定した場合、実行指令生成部 4 1 9 2は、実行指令を実世界推定部 4 1 0 2に供給する。すると、ステップ S 4 2 2 6において、実世界推定部 4 1 0 2は、ステップ S 4 2 2 1の処理でデータ定常性検出部 4 1 0 1·により検出された角度に基づいて、実世界 1の信号を推定するとともに、その推定誤差（マッピング誤差）を演算する。推定された実世界 1の信号は、実世界推定情報として画像生成部 4 1 0 3に供給される。また、演算された推定誤差は、第 2の領域特定情報として領域検出部 4 2 0 1に供給される。

なお、ステップ S 4 2 2 6の処理は、上述したステップ S 4 2 0 2 (図 3 ◦ 3 ) の処理と基本的に同様の処理である。

また、上述したように、いまの時点においては（実行指令生成部 4 1 9 2、または実行指令生成部 4 2 0 2から実行指令が供給されない限り）、画像生成部 4 1 0 3も画像生成部 4 1 0 4もその処理を実行しない。

ステップ S 4 2 2 7において、領域検出部 4 2 0 1は、実世界推定部 4 1 0 2 により演算された推定誤差（供給された第 2の領域特定情報）に基づいて、入力画像の注目画素（データ定常性検出部 4 1 0 1が角度を検出する場合に注目画素とした画素）の領域を検出し、その検出結果を実行指令生成部 4 2 0 2に供給する。なお、ステップ S 4 2 2 7の処理は、上述したステップ S 4 2 0 3 (図 3 0 3 ) の処理と基本的に同様の処理である。

領域検出部 4 2 0 1の検出結果が実行指令生成部 4 2 0 2に供給されると、ステツプ S 4 2 2 8において、実行指令生成部 4 2 0 2は、検出された領域が、定常領域であるか否かを判定する。なお、ステップ S 4 2 2 8の処理は、上述したステップ S 4 2 0 4 (図 3 0 3 ) の処理と基本的に同様の処理である。

ステップ S 4 2 2 8において、検出された領域が定常領域ではない（非定常領域である）と判定した場合、実行指令生成部 4 2 0 2は、実行指令を画像生成部 4 1 0 4に供給する。すると、画像生成部 4 1 0 4は、ステップ S 4 2 2 4において、「クラス分類適応処理の実行処理 j を実行して、第 1の画素（注目画素

なお、いまの場合のステップ S 4 2 2 4の処理は、上述したステップ S 4 2 0 5 (図 3 0 3 ) の処理と基本的に同様の処理である。また、いまの場合のステツプ S 4 2 2 5の処理は、上述したステップ S 4 2 0 6 (図 3 0 3 ) の処理と基本的に同様の処理である。

これに対して、ステップ S 4 2 2 8において、検出された領域が定常領域であると判定した場合、実行指令生成部 4 2 0 2は、実行指令を画像生成部 4 1 0 3 に供給する。すると、ステップ S 4 2 2 9において、画像生成部 4 1 0 3は、実世界推定部 4 1 0 2により推定された実世界 1の信号（および、必要に応じてデータ定常性検出部 4 1 0 1からのデータ定常性情報）に基づいて、領域検出部 4 2 0 1により検出された領域（即ち、入力画像の注目画素（S D画素））における、第 2の画素（H D画素）を生成する。そして、ステップ S 4 2 3 0において、画像生成部 4 1 0 3は、生成された第 2の画素を、出力画像として外部に出力する。

なお、ステップ S 4 2 2 9と S 4 2 3 0のそれぞれの処理は、上述したステツプ S 4 2 0 7と S 4 2 0 8 (図 3 0 3 ) のそれぞれの処理と基本的に同様の処理である。

第 1の画素または第 2の画素が出力画像として出力されると（ステップ S 4 2 2 5、またはステップ S 4 2 3 0の処理の後）、ステップ S 4 2 3 1において、全画素の処理を終了したか否かが判定され、全画素の処理がまだ終了していないと判定された場合、その処理は、ステップ S 4 2 2 1に戻る。即ち、全ての画素の処理が終了されるまで、ステップ S 4 2 2 1乃至 S 4 2 3 1の処理が繰り返される。そして、ステップ S 4 2 3 1において、全画素の処理を終了したと判定された場合、その処理は終了となる。

以上、図 2 9 2乃至図 3 0 5を参照して、本発明の信号処理装置 4 (図 1 ) の実施の形態の一例として、併用手法について説明した。

上述したように、併用手法においては、図 3の構成の本発明の信号処理装置に対してさらに、定常性を利用しない他の信号処理を行う装置（または、プログラム等）が付加されている。

換言すると、併用手法においては、従来の信号処理装置（または、プログラム等）に対して、図 3の構成の本発明の信号処理装置（または、プログラム等）が付加されている。

即ち、併用手法においては、例えば、図 2 9 2や図 2 9 8の定常領域検出部 4 1 0 5が、実世界 1の光信号が射影され、実世界 1の光信号の定常性の一部が欠落した画像データ (例えば、図 2 9 2や図 2 9 8の入力画像）内において、画像データのデータの定常性を有する領域（例えば、図 2 9 5のステップ S 4 1 0 6 や図 2 9 9のステップ S 4 1 6 6に記載の定常領域）を検出する。

また、図 2 9 2や図 2 9 8の実世界推定部 4 1 0 2が、実世界 1の光信号の定常性の一部が欠落した画像データのデータの定常性に基づいて、欠落した実世界 1の光信号の定常性を推定することにより光信号を推定する。

さらに、例えば、図 2 9 2や図 2 9 8のデータ定常性検出部 4 1 0 1力実世界 1の光信号が射影され、実世界 1の光信号の定常性の一部が欠落した画像データ内において、画像データのデータの定常性の基準軸に対する角度（例えば、図 2 9 5のステップ S 4 1 0 2や図 2 9 9のステップ S 4 1 6 2に記載の角度）を検出する。この場合、例えば、図 2 9 2や図 2 9 8の定常領域検出部 4 1 0 5は、角度に基いて画像データのデータの定常性を有する領域を検出し、実世界推定部 4 1 0 2は、その領域に対して、欠落した実世界 1の光信号の定常性を推定することにより光信号を推定する。

ただし、図 2 9 2においては、定常領域検出部 4 1 0 5は、角度に沿って定常であるモデルと入力画像との誤差（即ち、例えば、図中の領域特定情報であって、図 2 9 5のステップ S 4 1 0 2の処理で演算される推定誤差）に基づいて入力画像のデータの定常性を有する領域を検出する。

これに対して、図 2 9 8においては、定常領域検出部 4 1 0 5は、実世界推定部 4 1 0 2の後段に配され、実世界推定部 4 1 0 2により演算される、入力画像に対応する実世界 1の光信号を表す実世界モデルと、入力画像との誤差（即ち、例えば、図中の領域特定情報であって、図 2 9 5のステップ S 4 1 6 3の処理で演算される実世界の信号の推定誤差（マッピング誤差））に基いて、実世界推定部 4 1 0 2により推定された実世界モデル、即ち、画像生成部 4 1 0 3から出力される画像を選択的に出力する（例えば、図 2 9 8のセレクタ 4 1 1 2が、図 2 9 9のステップ S 4 1 6 6乃至 S 4 1 6 8の処理を実行する）。

以上、図 2 9 2と図 2 9 8の例で説明したが、以上のことは、図 3 0 0、図 3 0 2、および図 3 0 4においても同様である。

従って、併用手法においては、実世界 1の信号のうちの定常性が存在する部分 (画像データのデータの定常性を有する領域）については、図 3の構成の信号処理装置に相当する装置（またはプログラム等）が信号処理を実行し、実世界 1の信号のうちの明確な定常性が存在しない部分については、従来の信号処理装置 (または、プログラム等）が信号処理を実行することが可能になる。その結果、従来の信号処理装置や、図 3の構成の本発明の信号処理のいずれよりも実世界 1 (図 1 ) の信号に近い画像データを出力することが可能になる。

次に、図 3 0 6，図 3 0 7を参照して、データ定常性検出部 1 0 1より直接画像を生成する例について説明する。

図 3 0 6のデータ定常性検出部 1 0 1は、図 1 6 5のデータ定常性検出部 1 0 1に画像生成部 4 5 0 1を付加したものである。画像生成部 4 5 0 1は、実世界推定部 8 0 2より出力される実世界の近似関数 f (x)の係数を実世界推定情報として取得し、この係数に基づいて、各画素を再積分することにより画像を生成して出力する。次に、図 3 0 7のフローチャートを参照して、図 3 0 6のデータの定常性の検出の処理について説明する。尚、図 3 0 7のフローチャートのステップ S 4 5 0 1乃至 S 4 5 0 4、および、ステップ S 4 5 0 6乃至 S 4 5 1 1の処理に付いては、図 1 6 6のフローチヤ一トのステップ S 8 0 1乃至 S 8 1 0の処理と同様であるのでその説明は省略する。

ステップ S 4 5 0 4において、画像生成部 4 5 0 1は、実世界推定部 8 0 2より入力された係数に基づいて各画素を再積分して、画像を生成し出力する。以上の処理により、データ定常性検出部 1 0 1は、領域情報のみならず、その領域判定に用いた（実世界推定情報に基づいて生成された画素からなる）画像を出力することができる。

このように、図 3 0 6のデータ定常性検出部 1 0 1においては、画像生成部 4 5 0 1が設けられている。即ち、図 3 0 6のデータ定常性検出部 1 0 1は、入力画像のデータの定常性に基づいて出力画像を生成することができる。従って、図 3 0 6で示される構成を有する装置を、データ定常性検出部 1 0 1の実施の形態と捉えるのではなく、図 1の信号処理装置（画像処理装置） 4の他の実施の形態と捉えることもできる。

さらに、上述した併用手法が適用される信号処理装置において、実世界 1の信号のうちの定常性が存在する部分に対して信号処理を施す信号処理部として、図 3 0 6で示される構成を有する装置（即ち、図 3 0 6のデータ定常性検出部 1 0 1と同様の機能と構成を有する信号処理装置）を適用することも可能である。具体的には、例えば、第 1の併用手法が適用される図 2 9 2の信号処理装置においては、実世界 1の信号のうちの定常性が存在する部分に対して信号処理を施す信号処理部は、データ定常性検出部 4 1 0 1、実世界推定部 4 1 0 2、および画像生成部 4 1 0 3とされている。図示はしないが、これらのデータ定常性検出部 4 1 0 1、実世界推定部 4 1 0 2、および画像生成部 4 1 0 3の代わりに、図 3 0 6の構成の信号処理装置（画像処理装置）を適用することも可能である。この場合、図 3 0 6の比較部 8 ◦ 4が、その出力を領域特定情報をとして領域検出部 4 1 1 1に供給し、また、画像生成部 4 5 0 1が、出力画像（第 2の画素）をセレクタ 4 1 1 2に供給することになる。

なお、センサ 2は、固体撮像素子である、例えば、 BBD (Bucket Bri gade Device) 、 CID (Charge Inj ect ion Devi ce) 、まには CPD (Charge Priming Device) などのセンサでもよレ、。

このように、画像処理装置は、それぞれ時空間積分効果を有する複数の検出素子に現実世界の光信号が射影されることにより取得された、現実世界の光信号の定常性の一部が欠落した複数の画素からなる画像データ内の注目している画素である注目画素に対応する領域を選択する領域選択手段と、注目画素の画素値と、領域選択手段により選択された領域に属する画素の画素値との相関値に応じて、当該領域に属する画素に対応する度数を検出すると共に各画素にその度数を設定する度数検出手段と、度数検出手段により検出された度数に基いて回帰線を検出することにより、欠落した現実世界の光信号の定常性に対応する、画像データのデータの定常性を検出する定常性検出手段と、定常性検出手段により検出された画像データのデータの定常性に基いて、欠落した現実世界の光信号の定常性を推定することにより光信号を推定する実世界推定手段とを設けることができる。定常性検出手段は、度数検出手段により検出された度数に基いて回帰直線を検出し、回帰直線に基き、欠落した現実世界の光信号の定常性に対応する画像データのデータの定常性の基準軸に対する角度を検出し、実世界推定手段は、画像データのデータの定常性の基準軸に対する角度に基いて、欠落した現実世界の光信号の定常性を推定することにより光信号を推定するようにすることができる。定常性検出手段は、回帰線と度数とに対する推定誤差の標準偏差に基づき、データの定常性を有する領域を検出し、実世界推定手段は、定常性検出手段により検出されたデータの定常性を有する領域に基づき、現実世界の光信号を表す第 1 の関数を近似する第 2の関数を生成するようにすることができる。

画像処理装置は、それぞれ時空間積分効果を有する複数の検出素子に現実世界の光信号が射影されることにより取得された、現実世界の光信号の定常性の一部が欠落した複数の画素からなる画像データにおけるデータの定常性の、基準軸に対する角度を検出する角度検出手段と、角度検出手段により検出された角度に基づいて、欠落した現実世界の光信号の定常性を推定することにより光信号を推定する実世界推定手段とを設けることができる。

角度検出手段は、画像データ内の注目画素おょぴ基準軸を基準とした複数の角度の角度毎に、所定の数の画素からなる画素の組を、複数抽出する画素抽出手段と、画素抽出手段により角度毎に抽出された、複数の組における対応する位置の画素間の画素値の相関を検出する相関検出手段とを備え、相関検出手段により検出された相関に基いて、欠落した現実世界の光信号の定常性に対応する、画像データにおける、基準軸を基準としたデータの定常性の角度を検出するようにすることができる。

画素抽出手段は、画像データの注目画素おょぴ基準軸を基準とした角度毎の直線に近接する画素を中心に、画像データに対して垂直方向または水平方向に位置する複数の画素からなる画素の組を、複数抽出し、相関検出手段は、画像データの注目画素おょぴ基準軸に対して所定の角度の直線に近接する画素を中心として、抽出された複数の組における対応する位置の画素間の画素値の相関を検出するようにすることができる。

画素抽出手段は、画像データの注目画素および基準軸を基準とした角度毎の直線に近接する画素を中心に、画像データに対して垂直方向または水平方向に位置する、角度の範囲に対する数の画素からなる画素の組を、当該角度の範囲に対する数抽出するようにすることができる。

画素抽出手段は、画像データから垂直:^向と水平方向のァクティビティとを検出し、検出されたァクティビティに応じて、画像データの注目画素および基準軸を基準とした角度毎の直線に近接する画素を中心に、画像データに対して垂直方向および水平方向のいずれか一方に位置する複数の画素からなる画素の組を、複数抽出するようにすることができる。

画像処理装置は、相関検出手段により検出された相関の値に基いて、角度検出 4 001488

429

手段または実世界推定手段の動作が制御されるようにすることができる。

画素抽出手段は、画像データの注目画素および基準軸を基準とした所定の角度の直線のそれぞれに近接する画素を中心とした画像ブロックを抽出し、相関検出手段は、画像データの注目画素おょぴ基準軸を基準とした角度の直線のそれぞれに近接する画素を中心とした、画像ブロックの相関を検出するようにすることができる

角度検出手段は、画像データ内の注目画素に対応する領域を選択する領域選択手段と、領域選択手段により選択された領域内の、欠落した現実世界の光信号の定常性に対応する画像データにおけるデータの定常性の基準軸に対する角度を検出するための特徴を検出する特徴検出手段とを備え、特徴検出手段により検出された特徴に基いて統計的に角度を検出し、実世界推定手段は、角度検出手段により検出された画像データにおけるデータの定常性の基準軸に対する角度に基いて、欠落した現実世界の光信号の定常性を推定することにより光信号を推定するようにすることができる。

領域選択手段は、画像データ内の注目画素を基準として、画像データに対して垂直方向および水平方向のアクティビティを検出するァクティビティ検出手段をさらに備え、アクティビティ検出手段による検出結果に応じて、画像データ内の処理領域を選択し、特徴検出手段は、領域選択手段により選択された領域内の画素の画素値の最大値と最小値との差であるダイナミックレンジを検出するダイナミックレンジ検出手段と、領域選択手段により選択された領域内の、ァクテイビティ検出手段による検出結果に応じた方向に隣接する画素間の差分値を検出する差分値検出手段とをさらに備え、角度検出手段は、ダイナミックレンジと差分値に応じて、欠落した現実世界の光信号の定常性に対応する画像データにおけるデータの定常性の基準軸に対する角度を統計的に検出するようにすることができる。画像処理装置は、ダイナミックレンジ検出手段により検出される領域内の画素の画素値の最大値と最小値とに基いて、領域内の前景オブジェクト成分と背景ォブジェクト成分との混合比を推定する混合比推定手段をさらに設けることができる。

画像処理装置は、それぞれ時空間積分効果を有する複数の検出素子に現実世界の光信号が射影されることにより取得された、現実世界の光信号の定常性の一部が欠落した複数の画素からなる画像データ内において、データの定常性を有する領域を検出する定常領域検出手段と、現実世界の光信号の定常性の一部が欠落した複数の画素からなる画像データにおけるデータの定常性に基づいて、欠落した現実世界の光信号の定常性を推定することにより光信号を推定する実世界推定手段とを設けることができる。

画像処理装置は、画像データにおけるデータの定常性の基準軸に対する角度を検出する角度検出手段をさらに備え、定常領域検出手段は、角度に基いて画像データにおけるデータの定常性を有する領域を検出し、実世界推定手段は、領域に対して、欠落した現実世界の光信号の定常性を推定することにより光信号を推定するようにすることができる。

定常領域検出手段は、角度に沿って定常であるモデルと画像データとの誤差に基づいて画像データにおけるデータの定常性を有する領域を検出するようにすることができる。

定常領域検出手段は、実世界推定手段の後段に配され、実世界推定手段により生成される現実世界の光信号を表す第 1の関数を近似する第 2の関数と、画像データとの誤差に基いて、実世界推定手段により生成された第 2の関数を選択的に出力するようにすることができる。

定常領域検出手段は、現実世界の光信号の定常性の一部が欠落した画像データにおける、複数の画素の画素値の不連続部を検出し、検出された不連続部から、データの定常性を有する定常領域を検出し、実世界推定手段は、定常領域検出手段により検出された定常領域に属する画素の画素値に基づいて、再び領域を検出し、再び検出された領域に基づいて光信号を推定するようにすることができる。定常領域検出手段は、画像データの複数の画素の画素値の不連続部を検出する不連続部検出手段と、不連続部から画素値の変化の頂点を検出する頂点検出手段と、頂点から単調に画素値が増加または減少している単調増減領域を検出する単調増減領域検出手段と、単調増減領域検出手段により検出された単調増減領域の中の、他の単調増減領域が隣接する位置に存在する単調増減領域を、第 1の画像データにおけるデータの定常性を有する定常領域として検出する連続性検出手段とを含み、実世界推定手段は、連続性検出手段により検出された定常領域に属する画素の画素値に基づいて、頂点から単調に画素値が増加または減少している領域を再び検出し、再び検出された領域に基づいて光信号を推定するようにすることができる。

実世界推定手段は、連続性検出手段により検出された定常領域に属する複数画素の画素値を回帰する回帰線に基づいて、頂点から単調に画素値が増加または減少している領域を再び検出し、再び検出された領域に基づいて光信号に対応する信号を生成するようにすることができる。

不連続検出手段は、画像データの複数の画素の画素値に対応する回帰平面を求めて、回帰平面との距離が閾値以上である画素値を有する画素からなる領域を不連続部として検出し、実世界推定手段は、定常領域内の隣り合う単調増減領域を検出し、隣り合う単調増減領域の画素の画素値から回帰平面で示される近似値を減算して差分値を検出し、隣り合う単調増減領域の対応する画素同士の差分値の成分の分配比を検出し、分配比に応じて頂点から単調に画素値が増減する領域を再検出するようにすることができる。

実世界推定手段は、現実世界の光信号を表す第 1の関数を近似する第 2の関数を生成し、画像処理装置は、更に、当該第 2の関数に基づき画像データを生成する画像化手段を設けることができる。

画像処理装置は、それぞれ時空間積分効果を有する複数の検出素子に現実世界の光信号が射影されることにより取得された、現実世界の光信号の定常性の一部が欠落した複数の画素からなる第 1の画像データの、データの定常性を検出する画像データ定常性検出手段と、データの定常性に対応する現実世界の光信号の波形を表すモデルに基いて、第 1の画像データにおけるデータの定常性から現実世界の光信号の波形を近似する信号を生成する実世界推定手段と、実世界推定手段により生成された信号を第 2の画像データに変換する画像化手段とを設けることができる。

実世界推定手段は、画像データ定常性検出手段により検出された、現実世界の細線の光信号が複数の検出素子に射影されることにより取得された、複数の画素が垂直方向に配されてなる第 1の領域と、複数の他の画素が垂直方向に配されてなる第 2の領域とが水平方向に連続して隣接するもの、または現実世界の細線の光信号が複数の検出素子に射影されることにより取得された、複数の画素が水平方向に配されてなる第 3の領域と、複数の他の画素が水平方向に配されてなる第 4の領域とが垂直方向に連続して隣接するものについての、第 1の領域の重心および第 2の領域の重心、または第 3の領域の重心および第 4の領域の重心を結ぶ直線の傾きと、第 1の領域および第 2の領域、または第 3の領域および第 4の領域の重なる重複部分とに基づき、現実世界の細線の線幅を推定し、現実世界の光信号が射影された空間積分効果を有する各検出素子の受光面よりも空間的に小さい細線の光信号のレベルを、第 1の画像データ内の画素の画素値から推定するようにすることができる。

実世界推定手段は、第 1の領域または第 3の領域の第 1の画素の画素値から、第 1の画素に隣接する第 2の画素の画素値を減算した値と、第 1の領域または第 3の領域の第 1の画素内の細線の面積とに基づいて、細線の光信号のレベルを推定するようにすることができる。

画像データ定常性検出手段は、第 1の画像データ内の複数の画素の画素値に対応する回帰平面を求めて、回帰平面との距離が閾値以上である画素値を有する画素からなる領域を検出し、実世界推定手段は、検出された領域の中の、第 1の領域または第 3の領域の第 1の画素の画素値から、回帰平面で近似される値を減算した値と、第 1の領域または第 3の領域の第 1の画素内の細線の面積とに基づいて、細線の光信号のレベルを推定するようにすることができる。

画像処理装置は、それぞれ時空間積分効果を有する複数の検出素子に現実世界の光信号が射影されることにより取得された、現実世界の光信号の定常性の一部が欠落した複数の画素からなる第 1の画像データにおけるデータの定常性を検出するデータ定常性検出手段と、データ定常性検出手段により検出されたデ一タの定常性に対応して、現実世界の光信号を表す第 1の関数が有する実世界特徴を検出する実世界推定手段と、実世界推定手段により検出された実世界特徴に基いて、第 1の画像データよりも高質な第 2の画像データを予測し生成する画像生成手段とを設けることができる。

実世界推定手段は、定常性検出手段により検出されたデータの定常性に対応する基準点からの少なくとも 1次元方向に沿つた所定距離に対応する画素の画素値、少なくとも 1次元方向の積分効果により取得された画素値であるとして、第 1の関数を所定の第 2の関数で近似し、所定画素内における第 2の関数の傾斜である画素内傾斜を、実世界特徴として検出するようにすることができる。

画像生成手段は、第 2の画像データにおける注目画素の周辺に位置する、現実世界の光信号の定常性が欠落した第 1の画像データ内の複数の画素の画素値から注目画素の画素値を予測する画像予測手段と、実世界推定手段により検出された実世界特徴から、画像予測手段により予測された注目画素の画素値を補正する補正項を予測する補正項予測手段と、画像予測手段により予測された注目画素の画素値を、補正項予測手段により予測された補正項で補正する補正手段とを設けることができる。

画像処理装置は、画像予測手段が注目画素の画素値を予測する際に使用される第 1の係数を学習により決定する第 1の学習手段と、補正項予測手段が画像予測手段により予測された注目画素の画素値を補正する補正項を予測する際に使用される第 2の係数を学習により決定する第 2の学習手段とを設けることができる。第 1の学習手段は、学習用画像データをダウンコンパ一トするダウンコンパ一ト手段と、学習用画像データを第 1の教師画像とし、ダウンコンバート手段によりダウンコンパ一トされた学習用画像データを第 1の生徒画像とし、第 1の教師画像と第 1の生徒画像の関係を学習することにより、第 1の係数を生成する第 1 の係数生成手段とを設けることができる。

第ェの学習手段は、第 1の係数生成手段により生成された第 1の係数を使用して、第 1の生徒画像から第 1の教師画像を予測する画像データを生成する学習用画像予測手段をさらに設けることができる。

第 2の学習手段は、第 1の係数生成手段が第 1の係数を生成する際に第 1の生徒画像として使用した画像データにおけるデータの定常性を検出し、検出したデータの定常性に基づいて、第 1の生徒画像を構成する各画素のそれぞれに対応する実世界特徴を検出し、検出した実世界特徴に対応する値を画素値とする画像データを、第 2の生徒画像として生成する生徒画像生成手段と、第 1の係数生成手段が第 1の係数を生成する際に第 1の教師画像として使用した学習用画像データと、学習用画像予測手段により生成された第 1の教師画像を予測する画像データの差分からなる画像データを、第 2教師画像として生成する教師画像生成手段と、教師画像生成手段により生成された第 2の教師画像と、生徒画像生成手段により生成された第 2の生徒画像の関係を学習することにより、第 2の係数を生成する第 2の係数生成手段とを設けることができる。

画像処理装置は、それぞれ時空間積分効果を有する複数の検出素子により現実世界の光信号が射影されることにより取得された、現実世界の光信号の定常性の一部が欠落した、複数の画素からなる画像データにおけるデータの定常性を検出するデータ定常性検出手段と、画像データ定常性検出手段により検出された定常性に対応して、画像データ内の注目画素に対して時空間方向のうち 1次元方向の位置に対応する複数画素の画素値の傾きを生成する実世界推定手段とを設けることができる。

実世界推定手段は、注目画素に対して 1次元方向の位置に対応する複数画素の画素値を近似する関数の微分値を生成するようにすることができる。

実世界推定手段は、定常性検出手段により検出された定常性に対応する基準点からの 1次元方向に沿った距離に対応する各画素の画素値を近似する関数の微分値を生成するようにすることができる。実世界推定手段は、注目画素に対応する複数の画素の画素値より 1次元方向の位置に対応する複数画素の画素値の傾きを検出するようにすることができる。画像処理装置は、更に、データの定常性に対応して、画像データ内の注目画素の中心位置から 1次元方向にシフトした位置の画素値の傾きを求め、注目画素の中心位置から 1次元方向にシフトした位置を中心とする傾きを有する直線の注目画素内に配される両端の値を注目画素よりも高解像度の画素の画素値として生成する画素値生成手段を設けることができる。

本発明の信号処理を行うプログラムを記録した記録媒体は、図 2で示されるように、コンピュータとは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク 5 1 (フレキシブルディスクを含む) 、光ディスク 5 2 (CD-ROM (Compact Di sk - Read Only Memory) , DVD (Digital Versati le Disk)を含む）、光磁気ディスク 5 3 (MD (Mini-Disk) (商標）を含む）、もし.くは半導体メモリ 5 4などよりなるパッケージメディアにより構成されるだけでなく、コンピュータに予め組み込まれた状態でユーザに提供される、プログラムが記録されている R0M 2 2や、記憶部 2 8に含まれるハードディスクなどで構成される。

なお、上述した一連の処理を実行させるプログラムは、必要に応じてルータ、モデムなどのィンタフェースを介して、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の通信媒体を介してコンビユータにィンストールされるようにしてもよい。

なお、本明細書において、記録媒体に記録されるプログラムを記述するステツプは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。産業上の利用可能性

本発明によれば、第 1の次元を有する現実世界の信号である第 1の信号が射影され、現実世界の信号の定常性の一部が欠落した第 1の次元よりも少ない第 2の次元の第 2の信号の、欠落した現実世界の信号の定常性に対応するデータの定常性を検出し、検出されたデータの定常性に基づいて、欠落した現実世界の信号の定常性を推定することにより第 1の信号を推定するようにしたので、データが取得された現実世界を考慮し、現実世界の事象に対して、より正確で、より精度の高い処理結果を得ることができるようになる。

Claims

請求の範囲

1 . 第 1の次元を有する現実世界の信号である第 1の信号が射影され、前記現実世界の信号の定常性の一部が欠落した前記第 1の次元よりも少ない第 2の次元の第 2の信号の、欠落した前記現実世界の信号の定常性に対応するデータの定常性を検出するデータ定常性検出手段と、

前記データ定常性検出手段により検出された前記データの定常性に基づいて、欠落した前記現実世界の信号の定常性を推定することにより前記第 1の信号を推定する実世界推定手段と

を含むことを特徴とする信号処理装置。

2 . 前記データ定常性検出手段は、それぞれ時空間積分効果を有する複数の検出素子に、前記第 1の信号である現実世界の光信号が射影されることにより取得された、前記第 2の信号である、前記現実世界の光信号の定常性の一部が欠落した複数の画素からなる画像データにおけるデータの定常性を検出し、

前記実世界推定手段は、前記データ定常性検出手段により検出された前記データの定常性に基づき、前記現実世界の光信号を表す第 1の関数を近似する第 2の関数を生成する

ことを特徴とする請求の範囲第 1項に記載の信号処理装置。

3 . 前記実世界推定手段は、前記データ定常性検出手段により検出された前記データの定常性に基づき、前記画像データの時空間方向のうち少なくとも 1次元方向の位置に対応する前記画素の画素値が、前記少なくとも 1次元方向の積分効果により取得された画素値であるとして前記画像データを近似することにより、前記現実世界の光信号を表す第 1の関数を近似する第 2の関数を生成することを特徴とする請求の範囲第 2項に記載の信号処理装置。

4 . 前記実世界推定手段は、前記データ定常性検出手段により検出された前記データの定常性に対応して、前記画像データの時空間方向のうち 1次元方向の位置に対応する前記画素の画素値が、前記 1次元方向の積分効果により取得された画素値であるとして前記画像データを近似することにより、前記現実世界の光信号を表す第 1の関数を近似する第 2の関数を生成する

ことを特徴とする請求の範囲第 3項に記載の信号処理装置。

5 . 前記実世界推定手段は、前記定常性検出手段により検出された前記データの定常性に対応する基準点からの前記少なくとも 1次元方向に沿った所定距離に対応する各画素の画素値が、前記少なくとも 1次元方向の積分効果により取得された画素値であるとして前記画像データを近似することにより、前記現実世界の光信号を表す第 1の関数を近似する第 2の関数を生成する

6 . 前記実世界推定手段により生成された前記第 2の関数を、前記少なくとも 1次元方向の所望の単位で積分することにより所望の大きさの画素に対応する画素値を生成する画素値生成手段をさらに備える

7 . 前記画素値生成手段は、前記第 2の関数を前記少なくとも 1次元方向の前記各画素に対応する単位で積分することにより画素値を生成し、

前記画素値生成手段により生成された画素値と、前記画像データを構成する複数の画素の画素値との差分値を検出し、前記差分値に応じて前記第 2の関数を選択的に出力する出力手段を更に備える

ことを特徴とする請求の範囲第 6項に記載の信号処理装置。

8 . 前記実世界推定手段は、前記データ定常性検出手段により検出された前記データの定常性に対応して、前記画像データの時空間方向のうち少なくとも 2次元方向の位置に対応する前記画素の画素値が、前記少なくとも 2次元方向の積分効果により取得された画素値であるとして前記画像データを多項式で近似することにより、前記現実世界の光信号を表す第 1の関数を近似する第 2の関数を生成する

9 . 前記実世界推定手段は、前記定常性検出手段により検出された前記データの定常性に対応する基準点からの前記少なくとも 2次元方向に沿った所定距離に対応する前記画素の前記画素値が、前記少なくとも 2次元方向の積分効果により取得された前記画素値であるとして前記画像データを多項式で近似することにより、前記現実世界の光信号を表す第 1の関数を近似する第 2の関数を生成することを特徴とする請求の範囲第 8項に記載の信号処理装置。

1 0 . 前記実世界推定手段'により生成された前記第 2の関数を、前記少なくとも 2次元方向の所望の単位で積分することにより所望の大きさの画素に対応する画素値を生成する画素値生成手段をさらに備える

ことを特徴とする請求の範囲第 8項に記載の信号処理装置。

1 1 . 第 1の次元を有する現実世界の信号である第 1の信号が射影され、前記現実世界の信号の定常性の一部が欠落した前記第 1の次元よりも少ない第 2の次元の第 2の信号の、欠落した前記現実世界の信号の定常性に対応するデータの定常性を検出するデータ定常性検出ステツプと、

前記データ定常性検出ステップにおいて検出された前記データの定常性に基づいて、欠落した前記現実世界の信号の定常性を推定することにより前記第 1の信号を推定する実世界推定ステップと

を含むことを特徴とする信号処理方法。

1 2 . 第 1の次元を有する現実世界の信号である第 1の信号が射影され、前記現実世界の信号の定常性の一部が欠落した前記第 1の次元よりも少ない第 2の次元の第 2の信号の、欠落した前記現実世界の信号の定常性に対応するデータの定常性を検出するデータ定常性検出ステップと、

をコンピュータに実行させることを特徴とするプログラム。