WO2002013512A1

WO2002013512A1 - Procede et dispositif de traitement d'image et support enregistre

Info

Publication number: WO2002013512A1
Application number: PCT/JP2001/006794
Authority: WO
Inventors: Tetsujiro Kondo; Yasunobu Node; Hisakazu Shiraki; Katsuhisa Shinmei
Original assignee: Sony Corporation
Priority date: 2000-08-07
Filing date: 2001-08-07
Publication date: 2002-02-14
Also published as: KR100780516B1; JP4725001B2; US6987884B2; KR20020041818A; US20030035594A1

Description

明細書画像処理装置及び方法、並びに記録媒体技術分野本発明は、画像処理装置及び方法、並びに記録媒体に関し、特に、入力画像より高画質な画像を適切に生成することができるようにした画像処理装置及び方法、並びに記録媒体に関する。景技術従来から、入力画像に対して各種の画像処理を施し、より高画質な画像を生成する技術が開発されている。この技術を利用して、例えば、ノイズが含まれる入力画像から、そのノイズが低減した画像を生成したり、テロップなどの、他の部分例えば背景に対して相対的に動きがある画像領域（以下、特徴領域と称する）を含む入力画像であって、その特徴領域のエッジが所謂ぼけている入力画像から、そのェヅジがぼけていない画像を生成することができる。

ここで、図 1乃至図 9を参照して、ノイズが低減した画像を生成する従来の方法を説明する。

図 1に示す従来の画像処理装置 1 0おいて、ノイズを含む入力画像は、減算器 1 1及び増幅器 1 4に入力される。減算器 1 1には、フレームメモリ 1 7から、入力画像に対して、 1 フレーム分遅延された画像も供給される。またフレームメモリ 1 7からの画像は、増幅器 1 6にも供給される。

減算器 1 1は、入力画像から、フレームメモリ 1 7からの画像を減算し、その減算結果、差分算出部 1 2に出力する。差分算出部 1 2は、減算器 1 1からの算出結果の絶対値を、入力画像と、フレームメモリ 1 7からの画像（ 1フレーム分前の画像）との差分値として取得し、閾値判定部 1 3に出力する。

閾値判定部 1 3は、差分算出部 1 2からの差分値を所定の閾値と比較し、その比較結果に基づいて、入力画像が静止部分であるか又は動き部分であるかを画素毎に判定し、その判定結果に基づいて重み付け値 Pを設定する。

入力画像が静止部分であると判定された場合、重み加算値 pは、値 0乃至値 0 , 5の間の予め決められた所定の固定値に設定され、動き部分であると判定された場合、重み付け値 pは、値 1に設定される。

増幅器 1 4は、閾値判定部 1 3により設定された重み付け値 pを増幅率として、入力画像の信号を増幅し、加算器 1 5に供給する。増幅器 1 6は、値 1から、設定された重み付け値 Pを減算した値を増幅率として、フレームメモリ 1 7からの画像の信号を增幅し、加算器 1 5に供給する。加算器 1 5は、増幅器 1 4及び増幅器 1 6の出力を加算して、出力する。

すなわち、入力画像が静止部分である場合、入力画像の画素値と、入力画像に対して 1 フレーム分遅延された画像の画素値とが、重み付け値 pに従って、重み付け加算される。このようにノイズが含まれる入力画像を 1 フレーム前の画像と足し合わせることにより、時間的にみて定常でない要素、例えばノイズを低減することができる。

しかしながら、入力画像が静止部分である場合、重み付け値 pは、所定の固定値に設定されるので、その大きさや方向に対応してノィズを低減することができない。また、閾値判定部 1 3による誤判定により、動き部分が静止部分であると判定された場合、動き部分に対しても、重み付け値 pによる重み付け加算が行われるので、この場合、尾引き状の画質劣化が生じる。

入力画像が動き部分である場合、重み付け値 p = 1に基づく重み付け加算が行われる。すなわち入力画像は、そのまま出力される。すなわち、動き部分については、ノイズは低減されない。また、入力画像が静止部分である場合においても、それに含まれるノイズが大きいとき、動き部分であると誤判定されるときがあり、この場合、この入力画像（静止部分）は、そのまま出力される。すなわち、ノィズは低減されない。

図 2は、従来の画像処理装置の他の構成例を示している。この図 2に示す画像処理装置 2 0においては、動きべクトルに対応する夕ップに基づくクラス分類適応処理が実行されることで、動き部分のノィズが低減される。ノイズを含む入力画像は、フレ一ムメモリ 2 1— 1に供給される。フレームメモリ 2 1— 1は、入力画像を、 1フレーム分遅延させるとともに、それを、フレームメモリ 2 1— 2、動きべクトル検出部 2 2、領域切出部 2 4及び領域切出部 2 7にそれそれ供給する。

フレームメモリ 2 1— 2は、フレームメモリ 2 1— 1からの画像を、 1フレーム分遅延させるとともに、それを、フレームメモリ 2 1— 3、動きベクトル検出部 2 2、動きベクトル検出部 2 3、領域切出部 2 4及び領域切出部 2 7にそれそれ供給する。

フレームメモリ 2 1— 3は、フレームメモリ 2 1— 2からの画像を、 1フレーム分遅延させるとともに、それを、動きベクトル検出部 2 3、領域切出部 2 4及び領域切出部 2 7にそれぞれ供給する。

動きべクトル検出部 2 2は、フレームメモリ 2 1— 1及びフレームメモリ 2 1 - 2から供給される、時間的に連続する 2つのフレームに対してブロックマヅチングを行って動きベクトルを検出し、その検出結果を、領域切出部 2 4に供給する。

動きべクトル検出部 2 3は、フレームメモリ 2 1— 2及びフレームメモリ 2 1 ― 3から供給される、時閭的に連続する 2つのフレームに対してブロヅクマヅチングを行って動きベクトルを検出し、その検出結果を、領域切出部 2 7に供給する。

領域切出部 2 4は、動きぺクトル検出部 2 2から供給された動きべクトルを参照して、フレームメモリ 2 1— 1乃至フレームメモリ 2 1— 3から供給されるフレームから、所定の画像領域をクラス夕ヅプとして切り出す。

図 3 Aは、クラス夕ヅプとして切り出された画像領域を示している。フレームメモリ 2 1— 2からのフレーム F n上の注目画素（図中、黒色の丸印）、注目画素と、動きベクトル検出部 2 2からの動きベクトルに対応する位置にある、フレ一ムメモリ 2 1— 1からのフレーム F n- 1 (フレーム； F nの 1つ前のフレーム）上の画素（図中、斜線を付した丸印）及び注目画素と、動きベクトル検出部 2 2からの動きぺクトルに対応する位置にある、フレームメモリ 2 1— 3からのフレーム F n+1 (フレーム F nの 1つ後のフレ一ム）上の画素（図中、斜線を付した丸印）の合計 3つの画素が、クラスタップとして切り出される。

例えばフレーム Fnと各フレームが図 3Bに示すような場合、すなわち、フレーム Fn-1とフレーム Fnとの間の動きベクトルが、（一 1，一 1 ) であり、フレームとフレーム Fn+1との間の動きベクトルが、（1， 1 ) である場合（フレーム: Fnとフレーム Fnとの間の動きべクトルは、当然（0， 0) となる）、図 3 C に示すように、フレーム Fnの注目画素、注目画素と動きベクトル（一 1，一1) に対応する位置にあるフレームの画素及び注目画素と動きぺクトル（ 1， 1 ) に対応する位置にあるフレーム Fn+1の画素が、クラスタップとして切り出される。

領域切出部 24は、切り出したクラス夕ヅプを、クラスコード発生部 25に供給する。

クラスコード発生部 25は、領域切出部 24から供給されたクラスタヅプに対して、例えば AD R C処理等を施し、そのクラスタップの時空間内のパターンを抽出するとともに、抽出したパターンに従って分類されるクラスを示すクラスコ —ドを生成する。クラスコード発生部 25は、生成したクラスコードを ROMテ一ブル 26に供給する。

ROMテーブル 26は、ノイズを含む画像を生徒画像とし、ノイズを含まない画像を教師画像とした場合に算出された予測係数セットを、クラス毎に記憶しており、その予測係数セヅトのうちから、クラスコード発生部 25からのクラスコードに対応するものを推定演算部 28に出力する。

領域切出部 27は、動きぺクトル検出部 23から供給された動きべクトルを参照して、フレームメモリ 2 1— 1乃至 2 1一 3から供給されるフレームの画像デ一夕から、所定の画像領域を予測タッブとして切り出す。

図 4 Aは、予測夕ヅプの構造を示している。フレーム Fn上の注目画素（図中、黒色の丸印）と、注目画素の周囲に位置する画素（図中、薄墨を付した丸印）の合計 1 3個の画素、フレーム 1の、注目画素と動きべクトル検出部 22からの動きべクトルに対応する位置にある画素と、その画素の周囲に位置する合計 13 個の画素（図中、斜線を付した丸印）、及びフレーム Fn+1の、注目画素と動きべクトル検出部 22からの動きべクトルに対応する位置にある画素と、その画素の周囲に位置する合計 1 3個の画素（図中、斜線を付した丸印）のそれぞれが予測夕ップとして切り出される。

例えば、図 4Bに示すように、フレーム Fn- 1とフレーム Fnとの間の動きべクトルが、（一 1 , — 1) であり、フレームとフレーム Fn+1との間の動きべクトルが、（ 1 , 1 ) である場合（フレーム Fnとフレーム Fnとの間の動きべクトルは、当然（0， 0) となる）、図 4 Cに示すように、フレーム Fnの注目画素、注目画素と動きベクトル（一 1，一 1 ) に対応する位置にあるフレーム Fn-1の画素、及び注目画素と動きベクトル（ 1 , 1) に対応する位置にあるフレーム Fn+ 1の画素と、それらの周囲の合計 13個ずつの画素が、予測タップとして切り出される。

領域切出部 27は、切り出した予測タップを、推定演算部 28に供給する。推定演算部 28は、領域切出部 27から供給された予測タップと、 ROMメモリ 26から供給される予測係数セヅトとに基づいて所定の演算を行い、その結果として、ノイズが低減された画像を生成する。

しかしながら、この例の場合、プロヅクマッチングを行って動きベクトルを検出するため、莫大な数の計算が行われ、例えば、処理に時間がかかる。

図 5は、従来の画像処理装置の他の構成例を示している。この図 5に示す画像処理装置 30においても、動きべクトルに対応するタヅプに基づくクラス分類適応処理が実行されることで、動き部分のノイズが低減される。しかしながら、この場合、プロヅクマッチングよりも、処理負荷が小さい方法で、動きぺクトルが検出される。

この画像処理装置 30には、図 2の画像処理装置 20の動きべクトル検出部 2 2， 23に代えて、タヅプ配置決定部 3 1が設けられている。なお、図中、図 2 における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。

ノイズを含む入力画像は、フレームメモリ 21— 1に供給される。フレームメモリ 2 1— 1は、入力画像を、 1フレーム分遅延させるとともに、それを、フレームメモリ 2 1— 2、領域切出部 24、領域切出部 27及びタップ配置決定部 3 1に供給する。フレームメモリ 2 1— 2は、フレームメモリ 2 1— 1からの画像を、 1フレーム分遅延させるとともに、それを、フレームメモリ 2 1— 3、領域切出部 2 4、領域切出部 2 7及びタップ配置決定部 3 1に供給する。

フレームメモリ 2 1— 3は、フレームメモリ 2 1— 2からの画像を、 1フレーム分遅延させるとともに、それを、フレームメモリ 2 1—4、領域切出部 2 4、領域切出部 2 7及びタップ配置決定部 3 1に供給する。

フレームメモリ 2 1— 4は、フレームメモリ 2 1— 3からの画像を、 1フレーム分遅延させるとともに、それを、フレームメモリ 2 1— 5、領域切出部 2 4、領域切出部 2 7及びタップ配置決定部 3 1に供給する。

フレームメモリ 2 1— 5は、フレームメモリ 2 1— 4からの画像を、 1フレーム分遅延させるとともに、それを、領域切出部 2 4、領域切出部 2 7及ぴタップ配置決定部 3 1に供給する。

夕ヅプ配置泱定部 3 1は、フレームメモリ 2 1— 1乃至 2 1— 5から供給されるデータから動きぺクトルを検出するとともに、検出した動きべクトルに基づいて、クラスタップ又は予測タップの配置位置を決定し、その決定結果を、領域切出部 2 4及び領域切出部 2 7に供給する。

タップ配置決定部 3 1での動きベクトル検出は、以下に示すことが前提として行われる。

• 連続する 5フレームにおいては、最初のフレーム（ 1番目のフレーム）と最後のフレーム（5番目のフレーム）との間隔が短いと仮定し、 5フレーム上の画像の動きは等速直線運動である。

• 連続する 5フレームのそれぞれにノイズが含まれていない場合、画像上の同じ場所に位置する各フレームの画素の分散は、 0であるか又は極めて 0に近い。

すなわち、これらの前提によれば、図 6に示すように、画像上の X軸及び Y軸、並びに時間からなる 3次元空間において、フレーム F n (フレームメモリ 2 1— 3 からのフレーム）上の注目画素、並びに注目画素に対応する（画像上同じ場所に位置する）、フレーム F n-1 (フレームメモリ 2 1— 2からのフレーム）、フレーム F n-2 (フレームメモリ 2 1— 1からのフレーム）、フレームメモリ F n+1 (フレームメモリ 2 1— 4からのフレーム）及びフレームメモリ Fn+2 (フレームメモリ 2 1— 5からのフレーム）上の画素を通る 1本の直線を描くことができる。つまり、タヅブ配置決定部 3 1は、この直線を動きベクトルとして検出する。

次に、タップ配置決定処理を実行する場合のタップ配置決定部 3 1の動作を、図 7のフローチャートを参照して説明する。

ステヅブ S 1において、タップ配置決定部 3 1は、フレームメモリ 2 1— 3からのフレーム Fn上の注目画素を中心とする例えば、 5 X 5画素の領域を、フレー厶 Fn上に設定する。

次に、ステヅプ S 2において、 .タヅプ配置決定部 3 1は、ステップ S 1で設定した、フレーム Fn上の 5 X 5画素の領域から、 1つの画素を中心画素として選択するとともに、その中心画素に対応する位置にある、例えば、フレームメモリ 2 1一 2からのフレーム Fn-1上の画素を中心に探索範囲を設定する。

ステヅブ S 3において、夕ヅプ配置決定部 3 1は、図 8に示すように、探索範囲内の画素を特定する座標（a， b) を、（0， 0) に初期設定する。

次に、ステヅプ S 4において、タヅブ配置決定部 31は、座標（a， b) で特定される探索範囲内の画素（フレーム: Fn-1上の画素）と、フレーム Fn上の注目画素とを通る直線を生成する。

ステヅプ S 5において、タップ配置決定部 3 1は、ステヅプ S 4で生成した直線上に位置する、フレーム Fn_2乃至 Fii+2の画素の間の分散を算出し、ステヅプ S 6において、算出した分散が、後述するステップ S 7で保持された分散値よりも小さいか否かを判定し、すなわち、それ以前の座標（a, b) の画素と注目画素を通る直線の場合において算出された分散のうち、最小であるか否かを判定し、最小であると判定し場合、ステヅブ S 7に進む。ステップ S 7において、夕ヅプ配置決定部 31は、ステップ S 5で算出した分散値及びそのときの座標（a， b) を保持する。

ステヅプ S 6で最小でないと判定されたとき、又はステップ S 7で分散値及び座標（a, b) が保持されたとき、ステヅプ S 8に進み、タップ配置決定部 3 1 は、座標（a， b) を更新する。座標（a， b) の更新は、ラスタスキャン上に行うことができる。次に、ステップ S 9において、タヅプ配置決定部 3 1は、ステヅプ S 8で更新された座標（a , b ) が、ステップ S 2で設定された探索範囲（図 8 ) を超えているか否かを判定し、超えていないと判定した場合、ステヅプ S 4に戻り、それ以降の処理を実行する。一方、探索範囲を超えていると判定された場合、その探索範囲内の探索は終了したものとして、ステップ S 1 0に進み、タップ配置決定部 3 1は、ステップ S 7で保持した座標（a， b ) を投票する。

次に、ステップ S I 1において、夕ヅプ配置決定部 3 1は、ステヅブ S 1で設定された領域の全ての画素を、中心画素として取り出したか否かを判定し、全ての画素を中心画素として取り出したわけではないと判定した場合、ステップ S 2 に戻り、他の画素を中心画素として取り出し、それ以降の処理を実行する。一方、全ての画素を、中心画素として取り出したと判定された場合、ステップ S 1 2に進む。

ステヅプ S 1 2において、夕ヅブ配置決定部 3 1は、ステップ S 1 0で投票された数が最も多い座標（a， b ) を検出する。すなわち、その座標（a， b ) により特定されるフレーム F n-1上の画素と、フレーム F n上の注目画素を通る直線が検出される。このようにして、動きベクトルとしての直線が検出される。夕ップ配置決定部 3 1は、検出した直線上に位置するフレーム F n- 2乃至 F n+2の画素の位置情報を、領域切出部 2 4及び領域切出部 2 7に供給する。

その後、処理は終了する。

以上のように、連続する 5フレームを通過する所定の直線を、動きベクトルとして検出するようにしたので、ブロックマヅチングの場合のように、莫大な数の計算を行う必要がない。

図 9は、従来の画像処理装置の他の構成例を示している。この図 9に示す画像処理装置 5 0において、ノイズを含む入力画像は、.静止部分ノイズ低減フィルタ 5 1、動き部分ノイズ低減フィルタ 5 2及び動き検出部 5 3のそれそれに供給される。

静止部分ノィズ低減フィル夕 5 1は、図 1の画像処理装置 1 0の増幅器 1 4乃至フレームメモリ 1 7で構成されており、入力画像と、それに対して 1フレーム分遅延された画像とに対して、重み付け値 Pに基づく重み付け加算を行う。すなわち、入力画像が静止部分である場合、それに含まれるノイズは低減される。動き部分ノイズ低減フィルタ 5 2は、図 2に示した画像処理装置 2 0又は図 5 に示した画像処理装置 3 0により構成されており、動きぺクトルに対応する夕ップに基づくクラス分類適応処理を実行する。すなわち、入力画像が動き部分である場合、それに含まれるノイズは低減される。

動き検出部 5 3は、入力画像から、画素単位で動きを検出し、検出結果を出力切り替え部 5 4に出力する。

出力切り替え部 5 4は、動き検出部 5 3からの検出結果が、入力画像が静止部分であることを示している場合、静止部分ノイズ低減フィルタ 5 1からの出力を選択し、それを、外部に出力する。一方、動き検出部 5 3からの検出結果が、入力画像が動き部分であることを示している場合、出力切り替え部 5 4は、動き部分ノイズ低減フィル夕 5 2からの出力を選択し、それを外部に出力する。

このようにすることで、静止部分及び動き部分の両方に含まれるノイズを低減することができる。

しかしながら、この画像処理装置 5 0の場合、入力画像が静止部分である場合においては、動き部分ノイズ低減フィルタ 5 2の処理が、また入力画像が動き部分である場合においては、静止部分ノイズ低減フィルタ 5 1の処理が、それそれ無駄になる。

上述のように、従来の画像処理装置 5 0においては、入力画像に含まれるノィズを効果的に低減することができないという問題点があった。

また、入力画像に例えば線形補間処理を施すことにより、入力画像から例えば 4倍密度の画像信号を生成することが行われているが、線形補間処理を行うことにより画像信号の波形が鈍ってしまい、上記線形処理の影響により全体的にぼやけた画像となってしまうといった問題点があつた。

ところで、例えばクラス分類適応処理を採用することよって、特徴領域のエツジがぼけていない画像を生成することができる。

ここで、特徴領域のェヅジがぼけていない画像を生成する画像処理について図 1 ◦乃至図 1 2を参照して説明する。

図 1 0は、特徴領域のエッジがぼけていない画像を生成する画像処理装置の構成例を示している。この図 1 0に示す画像処理装置 6 0において、特徴領域（他の画像に対して相対的に動いている画像領域）のエッジがぽけている入力画像は、特徴領域抽出部 6 1及びクラス分類適応処理部 6 2に供給される。

特徴領域抽出部 6 1は、入力画像に含まれる特徴領域を抽出し、合成部 6 3に供給する。なお、特徴領域抽出部 6 1は、特徴領域の画素密度を、入力画像と同じ密度又はそれよりも高い密度となるようにして、特徴領域を抽出する。

クラス分類適応処理部 6 2は、入力画像に対して、例えば、ノイズを除去するため、輝度を補正するための又は高精細な画像を生成するためのクラス分類適応処理を施し、その結果得られた画像を、合成部 6 3に出力する。

合成部 6 3は、特徴領域抽出部 6 1からの特徴領域と、クラス分類適応処理部 6 2からの画像を合成する。このように、特徴領域を一度取り出した後、他の画像部分と合成することにより、特徴領域のエッジがぼけていない画像を生成することができる。

図 1 1は、特徴領域抽出部 6 1の構成例を示している。入力画像は、ディレイ回路 7 1及び動きべクトル検出回路 7 5に供給される。ディレイ回路 7 1は、供給された入力画像を、後述する合成回路 7 2乃至位相シフト回路 7 6での処理に要する時間分だけ遅延させて、合成回路 7 2に供給する。これにより、後述する合成回路 7 2において、入力画像と、それに対応する画像が合成されるようになる。

合成回路 7 2は、ディレイ回路 7 1から供給される入力画像と、位相シフト回路 7 6から供給される、位相がシフトされた、蓄積メモリ 7 3に蓄積されている蓄積画像とを合成するとともに、合成した画像を、蓄積メモリ 7 3に供給する。蓄積メモリ 7 3は、合成回路 7 2から供給された画像を蓄積して、蓄積画像を生成するとともに、それを、抽出回路 7 4及び位相シフト回路 7 6に供給する。図 1 2 Aは、蓄積画像上の特徴領域を構成する画素の画素値のレベル分布例を示している。このように、この例の場合、蓄積画像上の特徴領域のレベル分布は、入力画像と同じであるが、特徴領域以外の画像を構成する画素の画素値のレベル分布は、例えば、図 1 2 Bに示すように、平坦化されている。

抽出回路 7 4は、蓄積メモリ 7 3から供給される蓄積画像上から、特徴領域を抽出して、合成部 6 3に供給するが、蓄積画像上の特徴領域は、図 1 2を参照して説明したような特徴を有することから、抽出回路 7 4は、精度良く特徴領域を抽出することができる。

動きベクトル検出回路 7 5には、入力画像と、抽出回路 7 4からの特徴領域の画像データと表示位置が入力される。動きベクトル検出回路 7 5は、抽出回路 7 4からの特徴領域と、入力画像内における特徴領域との間の動きべクトルを検出し、その検出結果を位相シフト回路 7 6に供給する。

位相シフト回路 7 6は、動きべクトル回路 7 5からの動きぺクトルに基づいて、蓄積メモリ 7 3からの蓄積画像の位相をシフトさせ、合成回路 7 2に供給する。このようにして、特徴領域のエッジがぼけていない画像が生成されるが、特徴領域と、それ以外の画像を合成する場合、合成される境の部分に特別な処理が必要となる。すなわち、合成部 6 3の処理が複雑になってしまう。

このような構成の画像処理装置 6 0では、入力画像から、より高画質の画像、例えば、ノィズが低減された画像又は特徴領域のエツジがぽけていない画像を適切に生成することができないという問題があった。発明の鬨示本発明はこのような状況に鑑みてなされたものであり、入力画像から、より高画質の画像を適切に生成することができるようにするものである。

本発明は、第 1の画像から、上記第 1の画像より高画質な第 2の画像を生成する画像処理装置において、上記第 1の画像を取得する取得手段と、上記取得手段により取得された上記第 1の画像を記憶する記憶手段と、上記記憶手段により記憶された上記第 1の画像に対応した位置に、上記取得手段により取得された新たな上記第 1の画像を記憶することで、上記記憶手段に、上記第 1の画像の蓄積画像が記憶されるようにする蓄積処理手段と、上記第 2の画像の注目画素の位置に基づいて、上記蓄積画像と、上記取得手段により取得された上記第 1の画像の両方から、第 1の画素情報を切り出す第 1の切り出し手段と、上記第 1の画素情報から、所定の特徴量を抽出する特徴量抽出手段と、上記特徴量に基づいて、上記注目画素を、複数のクラスのうちのいずれかに分類するクラス分類手段と、上記注目画素の位置に基づいて、上記蓄積画像と、上記取得手段により取得された上記第 1の画像の両方から、第 2の画素情報を切り出す第 2の切り出し手段と、上記第 2の画素情報を利用して、上記クラス分類手段により分類されたクラスに対応して予め設定された生成方式に従い、上記注目画素を生成する生成手段とを備えることを特徴とする。

また、本発明は、第 1の画像から、上記第 1の画像より高画質な第 2の画像を生成する画像処理装置の画像処理方法において、上記第 1の画像を取得する取得ステップと、上記取得ステップの処理で取得された上記第 1の画像を記憶する記憶.ステヅプと、上記記憶ステヅプの処理で記憶された上記第 1の画像に対応した位置に、上記取得ステップの処理で取得された新たな上記第 1の画像を記憶することで、上記第 1の画像の蓄積画像が記憶されるようにする蓄積処理ステップと、上記第 2の画像の注目画素の位置に基づいて、上記蓄積画像と、上記取得ステツプの処理で取得された上記第 1の画像の両方から、第 1の画素情報を切り出す第 1の切り出しステップと、上記第 1の画素情報から、所定の特徴量を抽出する特徴量抽出ステップと、上記特徴量に基づいて、上記注目画素を、複数のクラスのうちのいずれかに分類するクラス分類ステップと、上記注目画素の位置に基づいて、上記蓄積画像と、上記取得ステップの処理で取得された上記第 1の画像の両方から、第 2の画素情報を切り出す第 2の切り出しステップと、上記第 2の画素情報を利用して、上記クラス分類ステツプの処理で分類されたクラスに対応して予め設定された生成方式に従い、上記注目画素を生成する生成ステップとを含むことを特徴とする。

さらに、本発明に係る記録媒体は、第 1の画像から、上記第 1の画像より高画質な第 2の画像を生成する画像処理装置のプログラムであって、上記第 1の画像を取得する取得ステツプと、上記取得ステップの処理で取得された上記第 1の画像を記憶する記憶ステップと、上記記憶ステップの処理で記憶された上記第 1の画像に対応した位置に、上記取得ステップの処理で取得された新たな上記第 1の画像を記憶することで、上記第 1の画像の蓄積画像が記憶されるようにする蓄積処理ステップと、上記第 2の画像の注目画素の位置に基づいて、上記蓄積画像と、上記取得ステツプの処理で取得された上記第 1の画像の両方から、第 1の画素情報を切り出す第 1の切り出しステップと、上記第 1の画素情報から、所定の特徴量を抽出する特徴量抽出ステップと、上記特徴量に基づいて、上記注目画素を、複数のクラスのうちのいずれかに分類するクラス分類ステツプと、上記注目画素の位置に基づいて、上記蓄積画像と、上記取得ステップの処理で取得された上記第 1の画像の両方から、第 2の画素情報を切り出す第 2の切り出しステップと、上記第 2の画素情報を利用して、上記クラス分類ステツプの処理で分類されたクラスに対応して予め設定された生成方式に従い、上記注目画素を生成する生成ステヅプとを含むことを特徴とするコンピュータが読み取り可能なプログラムが記録されている。

本発明は、第 1の画像から、上記第 1の画像より高画質な第 2の画像を生成するのに用いる所定のデータを学習する画像処理装置において、上記第 1の画像に相当する生徒画像を生成する生成手段と、上記生徒画像を記憶する記憶手段と、上記記憶手段により記憶された上記生徒画像に対応した位置に、上記生成手段により生成された新たな上記生徒画像を記憶することで、上記記憶手段に、上記生徒画像の蓄積画像が記憶されるようにする蓄積処理手段と、上記第 2の画像に相当する教師画像の注目画素の位置に基づいて、上記蓄積画像と、上記生成手段により生成された上記生徒画像の両方から、第 1の画素情報を切り出す第 1の切り出し手段と、上記第 1の画素情報から、所定の特徴量を抽出する特徴量抽出手段と、上記特徴量に基づいて、上記注目画素を、複数のクラスのうちのいずれかに分類するクラス分類手段と、上記注目画素の位置に基づいて、上記蓄積画像と、上記生成手段により生成された上記第 1の画像の両方から、第 2の画素情報を切り出す第 2の切り出し手段と、上記第 2の画素情報及び上記教師画像を利用して、上記クラス分類手段により分類されたクラス毎に、上記所定のデ一夕を求める演算手段とを備えることを特徴とする。

また、本発明は、第 1の画像から、上記第 1の画像より高画質な第 2の画像を生成するのに用いる所定のデ一夕を学習する画像処理装置の画像処理方法において、上記第 1の画像に相当する生徒画像を生成する生成ステップと、上記生徒画像を記憶する記憶ステップと、上記記憶ステップの処理で記憶された上記生徒画像に対応した位置に、上記生成ステツプの処理で生成された新たな上記生徒画像を記億することで、上記生徒画像の蓄積画像が記憶されるようにする蓄積処理ステツプと、上記第 2の画像に相当する教師画像の注目画素の位置に基づいて、上記蓄積画像と、上記生成ステツプの処理で生成された上記生徒画像の両方から、第 1の画素情報を切り出す第 1の切り出しステップと、上記第 1の画素情報から、所定の特徴量を抽出する特徴量抽出ステップと、上記特徴量に基づいて、上記注目画素を、複数のクラスのうちのいずれかに分類するクラス分類ステヅプと、上記注目画素の位置に基づいて、上記蓄積画像と、上記生成ステップの処理で生成された上記第 1の画像の両方から、第 2の画素情報を切り出す第 2の切り出しステツプと、上記第 2の画素情報及び上記教師画像を利用して、上記クラス分類ステヅプの処理で分類されたクラス毎に、上記所定のデ一夕を求める演算ステップとを含むことを特徴とする。

さらに、本発明に係る記録媒体は、第 1の画像から、上記第 1·の画像より高画質な第 2の画像を生成するのに用いる所定のデータを学習する画像処理装置のプログラムであって、上記第 1の画像に相当する生徒画像を生成する生成ステップと、上記生徒画像を記憶する記憶ステップと、上記記憶ステップの処理で記憶された上記生徒画像に対応した位置に、上記生成ステップの処理で生成された新たな上記生徒画像を記憶することで、上記生徒画像の蓄積画像が記憶されるようにする蓄積処理ステツプと、上記第 2の画像に相当する教師画像の注目画素の位置に基づいて、上記蓄積画像と、上記生成ステップの処理で生成された上記生徒画像の両方から、第 1の画素情報を切り出す第 1の切り出しステップと、上記第 1 の画素情報から、所定の特徴量を抽出する特徴量抽出ステップと、上記特徴量に基づいて、上記注目画素を、複数のクラスのうちのいずれかに分類するクラス分類ステップと、上記注目画素の位置に基づいて、上記蓄積画像と、上記生成ステップの処理で生成された上記第 1の画像の両方から、第 2の画素情報を切り出す第 2の切り出しステップと、上記第 2の画素情報及び上記教師画像を利用して、上記クラス分類ステツプの処理で分類されたクラス毎に、上記所定のデータを求める演算ステヅプとを含むことを特徴とするコンピュータが読み取り可能なプログラムが記録されている。図面の簡単な説明図 1は、従来の画像処理装置の構成例を示すプロック図である。

図 2は、従来の画像処理装置の他の構成例を示すプロック図である。

図 3 A , 図 3 B及び図 3 Cは、図 2の画像処理装置におけるクラスタップの構造を示す図である。

図 4 A , 図 4 B及び図 4 Cは、図 2の画像処理装置における予測夕ッブの構造を示す図である。

図 5は、従来の画像処理装置の他の構成例を示すプロヅク図である。

図 6は、図 5の画像処理装置における動きべクトル検出方法を説明する図である。

図 7は、図 5の画像処理装置における夕ッブ配置決定処理を説明するフローチヤー卜である。

図 8は、探索範囲を説明する図である。

図 9は、従来の画像処理装置の他の構成例を示すプロック図である。

図 1 0は、特徴領域のエッジがぼけていない画像を生成する画像処理装置の構成例を示すプロ、ソク図である。

図 1 1は、図 1 0の画像処理装置における特徴領域抽出部の構成例を示すプロヅク図である。

図 1 2 A及び図 1 2 Bは、特徴領域及びそれ以外の画素のレベル分布を示す図である。

図 1 3は、本発明を適用した画像処理装置の構成例を示すブロック図である。図 1 4は、図 1 3の画像処理装置における蓄積画像生成部の構成例を示すブロヅク図である。

図 1 5は、図 1 3の画像処理装置における蓄積画像生成部の他の構成例を示すプロヅク図である。

図 1 6は、図 1 3の画像処理装置における蓄積画像生成部の他の構成例を示すプロヅク図である。図 1 7は、図 1 3の画像処理装置における領域切出部の構成例を示すブロック図である。

図 1 8 A及び図 1 8 Bは、図 1 3の画像処理装置におけるクラスタヅプの構造を示す図である。

図 1 9は、図 1 3の画像処理装置における特徴量抽出部の構成例を示すプロジク図である。

図 2 0は、図 1 3の画像処理装置における領域切出部の構成例を示すプロック図である。

図 2 1は、本発明を適用した画像処理装置の他の構成例を示すブロック図である。

図 2 2は、図 2 1の画像処理装置における領域切出部の構成例を示すブロック図である。 - 図 2 3は、図 2 1の画像処理装置における特徴量抽出部の構成例を示すブ口ック図である。

図 2 4は、図 2 1の画像処理装置におけるクラスタップの構造を示す図である c 図 2 5 A及び図 2 5 Bは、図 2 1の画像処理装置における予測夕ヅブの構造を示す図である。

図 2 6 A及び図 2 6 Bは、特徴領域の画素の位相を所定の位相だけずれにようにして合成することにより入力画像から高精細の画像を生成する場合の特徴領域及ぴそれ以外の画素の他のレベル分布を示す図である。

図 2 7 A及び図 2 7 Bは、図 2 1の画像処理装置におけるクラスタヅプの他の構造を示す図である。

図 2 8は、図 2 1の画像処理装置における予測夕ップの他の構造を示す図である。

図 2 9は、図 2 1の画像処理装置において実行される画像処理の手順を示すフローチャートである。

図 3 0は、本発明を適用した学習処理を実行する画像処理装置の構成例を示すブロック図である。

図 3 1は、図 3 0の画像処理装置における生徒画像生成部の構成例を示すプロヅク図である。

図 3 2は、図 3 0の画像処理装置における生徒画像生成部の他の構成例を示すプロヅク図である。

図 3 3は、図 3 0の画像処理装置における生徒画像生成部の他の構成例を示すブロック図である。

図 3 4 A及び図 3 4 Bは、図 3 0の画像処理装置における領域切出部により切り出されるプロックを説明する図である。

図 3 5は、図 3 0の画像処理装置において実行される学習処理の手順を示すフ口—チヤ一トである。

図 3 6は、図 3 0の画像処理装置における生徒画像生成部として上述の図 3 1 の構成を採用した場合に実行される生徒画像の生成処理の手順を示すフローチヤートである。

図 3 7は、図 3 0の画像処理装置における生徒画像生成部として上述の図 3 2 の構成を採用した場合に実行される生徒画像の生成処理の手順を示すフローチヤートである。

図 3 8は、図 3 0の画像処理装置における生徒画像生成部として上述の図 3 3 の構成を採用した場合に実行される生徒画像の生成処理の手順を示すフローチヤートである。

図 3 9は、図 3 0の画像処理装置における生徒画像生成部において生成する生徒画像よりも教師画像の解像度が高い場合に実行される生徒画像の生成処理の手順を示すフローチヤ一トである。

図 4 0は、図 3 0の画像処理装置における蓄積画像生成部として図 1 4の構成を採用した場合に実行される蓄積画像の生成処理の手順を示すフローチャートである。

図 4 1は、図 3 0の画像処理装置における蓄積画像生成部として図 1 5の構成を採用した場合に実行される蓄積画像の生成処理の手順を示すフローチャートである。

図 4 2は、図 3 0の画像処理装置における蓄積画像生成部として図 1 6の構成を採用した場合に実行される蓄積画像の生成処理の手順を示すフローチャートである。

図 4 3は、図 3 0の画像処理装置における蓄積画像生成部において生成する生徒画像よりも蓄積画像の解像度が高い場合に実行される蓄積画像の生成処理の手順を示すフロ一チヤ一トである。

図 4 4 A , 図 4 4 Bは、入力画像（生徒画像）より高画質な画像（蓄積画像）を生成する場合の動きぺクトル検出処理における基準画像及び 4倍密画像を説明する図である。

図 4 5は、基準プロヅクと参照プロックの関係を示す図である。

図 4 6 A，図 4 6 Bは、絶対値和テーブルを説明する図である。

図 4 7は、基準画像と垂直方向に 4倍密画像との間で動きぺクトルを検出する動きべクトル検出装置の構成を示すプロック図である。

図 4 8は、上述のような画像処理装置として機能するコンピュータの構成例を示すプロック図である。発明を実施するための最良の形態以下、本発明の実施の形態について図面を参照して詳細に説明する。

図 1 3は、本発明を適用した画像処理装置 1 0 0の構成例を示している。この画像処理装置 1 0 0は、ノイズを低減するためのクラス分類適応処理を実行する _c そのクラス分類適応処理においては、後述する学習処理により算出された予測係数が利用される。

この画像処理装置 1 0 0は、ノイズを含む入力画像が供給される蓄積画像生成部 1 0 2、領域切出部 1 0 4及び領域切出部 1 0 7を備える。

蓄積画像生成部 1 0 2は、入力画像の静止部分に含まれるノイズを効果的に低減する処理を実行したり、又は特徴領域を抽出する処理を実行する。

図 1 4乃至図 1 9は、蓄積画像生成部 1 0 2の構成例を示している。

図 1 7は、静止部分のノイズを低減する場合の蓄積画像生成部 1 0 2の構成例を示している。ノイズを含んだ生徒画像は、増幅器 1 3 1に供給される。増幅器 1 3 1は、値 1から、重み付け値 q ( 0 < q < 1 ) を減算した値を増幅率どして、供給される生徒画像の信号を増幅し、加算器 1 3 2に供給する。

後述する蓄積画像用メモリ 1 0 3からは、 1つ前に蓄積画像生成部 1 0 2により生成された蓄積画像（供給された生徒画像に対して、 1フレーム分前の蓄積画像）が、増幅器 1 3 3に供給される。増幅器 1 3 3は、重み付け値 qを増幅率として、蓄積画像の信号を増幅し、加算部 1 3 2に供給する。

加算部 1 3 2は、増幅器 1 3 1からの出力と増幅器 1 3 3の出力を加算し、蓄積画像用メモリ 1 0 3に供給する。

すなわち、この蓄積画像生成部 1 0 2においては、入力画像と、 1フレーム分前の蓄積画像に対して、重み付け値 qに基づく重み付け加算が行われる。例えば、値 q = 0 . 8である場合、入力画像を 2 0 %、蓄積画像を 8 0 %で足し合わせた蓄積画像が生成される。このように、入力画像と、 1フレーム分前の蓄積画像が所定の割合で足し合わされるので、静止部分のノイズが効果的に低減される。また蓄積画像には、複数の画像が、ある割合で蓄積され足し合わされるので、上述の図 1に示した従来の画像処理装置 1 0に比べ、静止部分のノイズがより効果的に低減される。

なお、入力画像と最初に重み付け加算される蓄積画像は、蓄積画像用メモリ 1 0 3に最初に蓄積された入力画像そのものとすることもできるし、複数の入力画像を平均することで得られた画像とすることもできる。

図 1 5は、静止部分のノイズを低減する場合の蓄積画像生成部 1 0 2の他の構成例を示している。この蓄積画像生成部 1 0 2には、図 1 4の蓄積画像生成部 1 0 2に、動き検出部 1 4 1がさらに設けられている。この動き検出部 1 4 1は、上述の図 1に示した画像処理装置 1 0を構成する減算器 1 1乃至閾値判定部 1 3 と同様の機能を有する減算器 1 4 2乃至閾値判定部 1 4 4から構成されている。すなわち、この蓄積画像生成部 1 0 2においては、入力画像と蓄積画像が、入力画像の動きに対応する重み付け値 qに基づいて重み付け加算される。なお、画像の動きに代えて、入力画像と蓄積画像との輝度の差分値に基づいて、重み付け値 qを設定することもできる。

図 1 6は、特徴領域を抽出する場合の蓄積画像生成部 1 0 2の構成例を示している。この蓄積画像生成部 1 0 2において、入力画像は、ディレイ回路 1 5 1及び動きべクトル検出回路 1 5 5に供給される。ディレイ回路 1 5 1は、供給された入力画像を、後述する合成回路 1 5 2乃至位相シフト回路 1 5 6での処理に要する時間分だけ遅延させて、合成回路 1 5 2に供給する。これにより、合成回路 1 5 2において、入力画像と、それに対応する画像が合成されるようになる。

合成回路 1 5 2は、ディレイ回路 1 5 1から供給される入力画像と、位相シフト回路 1 5 6から供給される、位相がシフ卜された、蓄積メモリ 1 5 3に蓄積されている蓄積画像とを合成するとともに、合成した画像を、蓄積メモリ 1 5 3に供給する。

蓄積メモリ 1 5 3は、合成回路 1 5 2から供給された画像を蓄積して、蓄積画像を生成するとともに、それを、抽出回路 1 5 4及び位相シフト回路 1 5 6に供給する。

抽出回路 1 5 4は、蓄積メモリ 1 5 3から供給される蓄積画像上から、特徴領域を抽出して、動きベクトル検出回路 1 5 5に供給する。なお、蓄積画像上の特徴領域のレベル分布は入力画像と同じであるが、特徴領域以外の画像を構成する画素の画素値のレベル分布は平坦化されるので、抽出回路 1 5 4は、精度良く特徴領域を抽出することができる。

動きべクトル検出回路 1 5 5には、入力画像と、抽出回路 1 5 4からの特徴領域の画像データと表示位置が入力される。動きべクトル検出回路 1 5 5は、抽出回路 1 5 4からの特徴領域と、入力画像内における特徴領域との間の動きべクトルを検出し、その検出結果を位相シフト回路 1 5 6に供給する。

位相シフト回路 1 5 6は、動きべクトル回路 1 5 5からの動きべクトルに基づいて、蓄積メモリ 1 5 3からの蓄積画像の位相をシフトさせ、合成回路 1 5 2に供給する。

すなわち、この蓄積画像生成部 1 0 2では、蓄積画像の特徴領域と入力画像の特徴領域が、所定の位相関係を保持するように、入力画像を蓄積画像に蓄積するようにして、特徴領域が抽出される。

なお、ここで生成される特徴領域の画素密度は、入力画像のそれよりも高密度にすることもできるし、同じ密度にすることができる。ただし、特徴領域の画素密度に応じた蓄.積メモリ 1 5 3の容量を確保する必要がある。

以上のような構成を有する蓄積画像生成部 1 0 2は、生成（抽出）した、ノィズが低減された画像と特徴領域を、蓄積画像として、蓄積画像用メモリ 1 0 3に供給する。

蓄積画像生成部 1 9 1は、入力画像と蓄積画像に対して、重み付け値 qに基づく重み付け加算を行って、静止部分のノイズを低減したり、特徴領域を抽出する < 静止部分のノイズが低減された画像や特徴領域は、蓄積画像として、蓄積画像用メモリ 1 9 2に供給される。

蓄積画像用メモリ 1 9 2は、蓄積画像生成部 1 9 1からの蓄積画像を記憶するとともに、適宜、領域切出部 1 9 3及び領域切出部 1 9 7に供給する。

領域切出部 1 0 4は、入力画像からクラス夕ップを切り出すとともに、入力画像と蓄積画像のそれそれからプロヅクを切り出し、切り出したクラス夕ヅプ及びブロックを画素情報として特徴量抽出部 1 0 5に供給する。

図 1 7は、領域切出部 1 0 4の構成例を示している。

この領域切出部 1 0 4において、入力画像は、フレームメモリ 1 6 1— 1及びディレイ回路 1 6 4に供給され、蓄積画像用メモリ 1 0 3からの蓄積画像は、ブ口ヅク切出部 1 6 6に供給される。

フレームメモリ 1 6 1— 1は、生徒画像を、 1フレーム分遅延させるとともに、それを、フレームメモリ 1 6 1— 2、夕ヅプ配置決定部 1 6 2及びクラス夕ヅプ切出部 1 6 3に供給する。

フレームメモリ 1 6 1— 2は、フレームメモリ 1 6 1— 1からの画像を、 1フレーム分遅延させるとともに、それを、フレームメモリ 1 6 1— 3、夕ヅプ配置決定部 1 6 2及びクラスタヅブ切出部 1 6 3に供給する。

フレームメモリ 1 6 1— 3は、フレームメモリ 1 6 1— 2からの画像を、 1フレーム分遅延させるとともに、それを、フレームメモリ 1 6 1— 4、夕ヅブ配置決定部 1 6 2及びクラスタヅブ切出部 1 6 3に供給する。

フレームメモリ 1 6 1— 4は、フレームメモリ 1 6 1— 3からの画像を、 1フレーム分遅延させるとともに、それを、フレームメモリ 1 6 1— 5、タヅプ配置決定部 1 6 2及びクラスタップ切出部 1 6 3に供給する。フレームメモリ 1 6 1— 5は、フレームメモリ 1 6 1 - 4からの画像を、 1フレーム分遅延させるとともに、それを、夕ヅプ配置決定部 1 6 2及びクラスタヅブ切出部 1 6 3に供給する。

夕ヅプ配置決定部 1 6 2は、フレームメモリ 1 6 1— 1乃至 1 6 1— 5から供給されるフレームの画像データに基づいて、クラス夕ヅブの配置位置を決定し、その決定結果をクラスタヅプ切出部 1 6 3に供給する。なお、このタヅプ配置決定部 1 6 2が行うタップ配置決定処理は、上述の図 5に示したタップ配置決定部 3 1の場合と同様であるので、その説明は省略する。

また、蓄積画像用メモリ 1 0 3からの蓄積画像がクラス夕ヅプ切出部 1 6 3に供給されている。

クラス夕ヅプ切出部 1 6 3では、図 1 8 Aに示すように、フレーム上の注目画素（図中、黒色の丸印）及びその注目画素とタップ配置決定部 1 6 2からの位置情報に基づく位置関係にあるフレーム: F n-1乃至 F n+2の画素（図中、斜線を付した丸印）の画素がクラスタヅプとして切り出される。またフレーム F n上の注目画素と同位置にある蓄積画像上の画素が注目画素とされ、その注目画素も、クラス夕ヅブとして切り出される。図 1 8 Bは、蓄積画像用メモリ 1 0 3からクラスタヅプ切出部 1 6 3に供給されている蓄積画像を示している。

このクラスタヅプ切出部 1 6 3は、入力画像から切り出したクラス夕ヅプを特徴量抽出部 1 0 5に出力する。

特徴量抽出部 1 0 5は、図 1 9に示すように構成されている。この特徴量抽出部 1 0 5において、領域切出部 1 0 4により入力画像から切り出されたクラス夕ップは、 D R解析部 1 7 1及び波形解析部 1 7 2に供給される。また、領域切出部 1 0 4により蓄積画像から切り出されたクラスタヅプは、波形解析部 1 7 2に供給される。

D R解析部 1 7 1は、供給されたクラス夕ヅプを構成する画素の画素値のダイナミヅクレンジを算出し、その値を 2進数に変換してクラスコ一ド発生部 1 0 6 に供給する。

波形解析部 1 Ί 2は、入力画像から切り出されたクラス夕ヅプと蓄積画像から切り出されたクラスタップについて、同時に波形の解析を行う。例えば、ノイズのない静止画の場合、同じ画素であればフレーム間での画素値の変動はあり得ない。また動画の場合においても、速い動きではぼけ等の劣化は見られるが基本的に同一画素では時間的な変動はない。つまり、同一画素の値に変動がある場合、その変動をノイズとすることができる。すなわち、生徒画像からのクラスタヅプと蓄積画像からのクラスタツプについて波形解析を行うことで、そこに含まれるノィズを検出することができる。

さらに、具体的には、注目画素が動きである場合、蓄積画像と入力画像の輝度差があるので、 A D R C処理の結果、両方の画素の値は異なる。例えば、 1 ビヅト A D R Cの場合、 2つの画素の値は、（0 , 1 ) 又は（ 1 , 0 ) となる。一方、注目画素が静止部分である場合、輝度差が少ないので、 A D R C処理の結果、両方の画素値は、同じになる可能性が高い、例えば、 1ビット A D R Cの場合、 2 つの画素の値は、（ 0， 0 ) 又は（ 1 , 1 ) となる。

特徴量抽出部 1 0 5では、このような原理を利用して、波形解析による静動判定を行い、領域切出部 1 0 4からのクラスタップからダイナミヅクレンジ及び波形解析結果を、また領域切出部 1 0 7からのブロックから、注目画素が静止であるか又は動きであるかを示す情報を、クラス分類をするために必要な特徴量として抽出し、クラスコード発生部 1 0 6に供給する。

クラスコード発生部 1 0 6は、特徴量抽出部 1 0 5から供給された特徴量に基づくクラスコードを生成し、 R O Mテーブル 1 0 8に供給する。

R O Mテーブル 1 0 8は、後述する学習処理により算出された予測係数セヅトをクラス毎に記憶しており、記憶している予測係数セットのうちから、クラスコ一ド発生部 1 0 6からのクラスコードに対応するものを推定演算 1 0 9に出力する。

領域切出部 1 0 7は、入力画像と蓄積画像から予測タップを切り出し、推定演算部 1 0 9に供給する。

図 2 0は、領域切出部 1 0 Ίの構成例を示している。

この領域切出部 1 0 7において、入力画像は、フレームメモリ 1 8 1— 1に供給され、蓄積画像用メモリ 1 0 3からの蓄積画像は、予測タップ切出部 1 8 3に供給される。フレームメモリ 1 8 1— 1乃至 18 1— 5は、図 17のフレームメモリ 1 6 1 _ 1乃至 1 6 1— 5と基本的に同様に動作するので、その説明は省略する。

タップ配置決定部 1 82は、フレームメモリ 18 1— 1乃至 18 1— 5から供給されるフレームの画像データに基づいて、予測タヅプの配置位置を決定し、その決定結果を予測タップ切出部 1 83に供給する。なお、このタップ配置決定部 1 82が行う夕ップ配置決定処理は、図 5のタツブ配置決定部 3 1の場合と同様であるので、その説明は省略する。

予測タヅプ切出部 183は、フレームメモリ 1 8 1— 3から供給されるフレーム上の画素を注目画素とし、その注目画素とタップ配置決定部 1 82からの位置情報に基づく位置関係にあるフレーム 1 8 1— 1からのフレーム Fn-2、フレーム 1 8 1— 2からのフレーム Fn-1、フレーム 18 1— 4からのフレーム： Fn+1及びフレーム 1 8 1— 5からのフレーム Fn+2上の画素を、予測タヅプとして切り出し、正規方程式加算部 108に出力する。予測タップ切出部 183は、フレーム Fn上の注目画素と同位置の蓄積画像上の画素も注目画素とし、その注目画素と所定の位置関係にある蓄積画像上の画素も予測夕ップとして切り出す。

推定演算部 1 09は、 ROMテーブル 108からの予測係数セヅトと領域切出部 197からの画素情報に基づく画素データを用いて、例えば、式（1 ) を演算して、その演算結果として出力画像の画素値 yを順次生成する。

すなわち、推定演算部 1 09では、切り出された画素の画素値 χ _{ΐ 5} · · · , X ηと、予測係数 Wi， · ■ · , w_nとの、例えば、線形結合により規定される線形 1 次結合モデルである式（ 1) が演算されて、出力画像の画素値が算出される。

y = W 1 X X 1 + W 2 X X 2 + · · · + Wn X X η · · · ( 1 ) なお、式（1) のような線形 1次式の他、高次式や線形でない式を演算して、出力画像の画素値を算出することもできる。

次に、図 2 1は、本発明を適用した画像処理装置 190の構成例を示している。この画像処理装置 1 90は、ノイズの低減処理と特徴領域のエッジの補正処理をクラス分類適応処理により行う。そのクラス分類適応処理においては、後述する学習処理により算出された予測係数が用いられる。

この画像処理装置 190において、ノイズを含む入力画像又は特徴領域のエツジがぼけている入力画像は、蓄積画像生成部 1 9 1、領域切出部 1 9 3及び領域切出部 1 9 7にそれそれ供給される。

蓄積画像生成部 1 9 1は、図 1 3に示した画像処理装置 1 0 0の蓄積画像生成部 1 0 2と同様の構成を有しており、入力画像と蓄積画像に対して、重み付け値 qに基づく重み付け加算を行って、静止部分のノイズを低減したり、特徴領域を抽出する。静止部分のノイズが低減された画像や特徴領域は、蓄積画像として蓄積画像用メモリ 1 9 2に供給される。

領域切出部 1 9 3は、入力画像からクラスタップを切り出すとともに、入力画像と蓄積画像のそれそれからプロヅクを切り出し、切り出したクラスタップ及びブロックを画素情報として特徴量抽出部 1 9 4に供給する。

図 2 2は、領域切出部 1 9 3の構成例を示している。

この領域切出部 1 9 3において、入力画像は、フレームメモリ 1 6 1— 1及びディレイ回路 1 6 4に供給され、蓄積画像用メモリ 1 9 2からの蓄積画像は、ブ口ヅク切出部 1 6 6に供給される。

フレームメモリ 1 6 1— 1は、生徒画像を、 1 フレーム分遅延させるとともに、それを、フレームメモリ 1 6 1— 2、夕ヅプ配置決定部 1 6 2及びクラス夕ヅプ切出部 1 6 3に供給する。

フレームメモリ 1 6 1— 2は、フレームメモリ 1 6 1— 1からの画像を、 1フレーム分遅延させるとともに、それを、フレームメモリ 1 6 1— 3、夕ヅプ配置決定部 1 6 2及びクラス夕ヅプ切出部 1 6 3に供給する。

フレームメモリ 1 6 1— 3は、フレームメモリ 1 6 1— 2からの画像を、 1フレーム分遅延させるとともに、それを、フレームメモリ 1 6 1— 4、夕ヅプ配置決定部 1 6 2及びクラスタツプ切出部 1 6 3に供給する。

フレームメモリ 1 6 1— 4は、フレームメモリ 1 6 1— 3からの画像を、 1フレーム分遅延させるとともに、それを、フレームメモリ 1 6 1— 5、夕ヅプ配置決定部 1 6 2及びクラス夕ヅプ切出部 1 6 3に供給する。

フレームメモリ 1 6 1 - 5は、フレームメモリ 1 6 1— 4からの画像を、 1フレ一ム分遅延させるとともに、それを、タップ配置決定部 1 6 2及びクラスタヅプ切出部 1 6 3に供給する。

タヅプ配置決定部 1 6 2は、フレームメモリ 1 6 1— 1乃至 1 6 1— 5から供給されるフレームの画像データに基づいて、クラス夕ヅプの配置位置を決定し、その決定結果を、クラスタップ切出部 1 6 3に供給する。なお、このタップ配置決定部 1 6 2が行うタップ配置決定処理は、上述の図 5に示したタップ配置決定部 3 1の場合ど同様であるので、その説明は省略する。

クラスタヅブ切出部 1 6 3は、フレームメモリ 1 6 1— 3から供給されるフレーム F n上の画素を注目画素とし、その注目画素と夕、ソプ配置泱定部 1 6 2からの位置情報に基づく位置関係にある、フレーム 1 6 1— 1からのフレーム Fn-2 (フレーム F nから 2フレーム分前のフレーム）、フレーム 1 6 1— 2からのフレーム F n-1 (フレームから 1 フレーム分前のフレーム）、フレーム 1 6 1— 4からのフレーム F n+1 (フレーム F nから 1フレーム分後のフレーム）及びフレーム 1 6 1— 5からのフレーム： F n+2 (フレーム F nから 2フレーム分後のフレーム）上の画素を、クラスタヅプとして切り出し、特徴量抽出部 1 0 5に出力する。

このように、各画素毎に各タップの配置を切り換えることができ、また動きべクトルに応じて夕ヅプの位置を変化させることができるので、動きに対しても各フレーム間で対応する画素を切り出すことができる。

ディレイ回路 1 6 4は、フレームメモリ 1 6 1— 3から、そこに保持されていた画像がクラス夕ヅプ切出部 1 6 3に供給される夕ィミングに対応して、フレームメモリ 1 6 5から、そこに保持されていた画像がプロヅク切出部 1 6 6に供給されるように、供給された生徒画像を遅延させる。

プロヅク切出部 1 6 6には、フレームメモリ 1 6 5からの画像とともに、蓄積画像用メモリ 1 9 2から蓄積画像が入力される。

プロック切出部 1 6 6は、入力画像と蓄積画像から、それそれ同じ位置にある例えば 8 X 8画素からなるブロックを切り出し、特徴量抽出部 1 9 4に供給する。このように、領域切出部 1 9 3は、入力画像からクラスタップを切り出し、そして入力画像と蓄積画像のそれぞれからブロックを切り出し、切り出したクラスタップ及びブロックを画素情報として特徴量抽出部 1 9 4に供給する。そして、特徴量抽出部 1 94は、領域切出部 1 9 3から供給された画素情報 (クラス夕ヅプ及びブロック）から、所定の特徴量を抽出し、クラスコード発生部 1 9 5に供給する。

図 2 2は、特徴量抽出部 1 9 4の構成例を示している。この特徴量抽出部 1 9 4において、領域切出部 1 9 3のクラスタップ切出部 1 6 3により切り出されたクラスタップは、 D R解析部 1 Ί 1及び波形解析部 1 7 2に供給される。領域切出部 1 9 7のブロック切出部 1 6 6により切り出されたブロックは、静動判定部 1 7 3に供給される。

DR解析部 1 7 1は、供給されたクラス夕ヅプを構成する画素の画素値のダイナミヅクレンジを算出し、その値を 2進数に変換してクラスコード発生部 1 0 6 に供給する。

波形解析部 1 7 2は、供給されたクラス夕ップを構成する画素の画素値に基づいて、例えば、 1ビット ADR C処理を行って、波形を解析し、その解析結果のビヅト列を、クラスコード発生部 1 9 5に供給する。

静動判定部 1 7 3は、供給されたブロック毎に、下記の式（2 ) を演算し、ブロックを構成する画素の輝度の差分値を算出する。差分値 = ∑ ∑ I Y [in (x, y) ] — Y [tmp (χ, y) ] · · · ( 2 )

χ y

式（2) におい、 Y [in (x, y) ] は、座標（x、 y) で特定される生徒画像のブロック上の画素の輝度値を示し、 Y [tmp (x, y) ] は、座標（x、 y) で特定される蓄積画像のプロックの画素の輝度値を示している。

また、静動判定部 1 7 3は、算出した差分値が、所定の閾値より大きいか否かを判定し、その判定結果に基づいて、注目画素が、静止であるか又は動きであるかを判定する。算出した差分値が所定の閾値より大きいと判定した場合、注目画素は動きであるとして、静動判定部 1 7 3は、その旨を示す情報、例えば、値 0 をクラスコード発生部 1 9 5に出力する。一方、算出した差分値が、その閾値より小さいと判定した場合、注目画素は静止であるとして、静動判定部 1 7 3は、その旨を示す情報、例えば、値 1をクラスコード発生部 1 9 5に出力する。このように、特徴量抽出部 1 9 4は、領域切出部 1 9 3からのクラスタップからダイナミックレンジ及び波形解析結果を、また、領域切出部 1 9 7からのプロックから注目画素が静止であるか又は動きであるかを示す情報を、生成する画素をクラス分類するために必要な特徴量として抽出し、クラスコード発生部 1 9 5 に供給する。

この例の場合、注目画素の動きが特徴量とされたが、それに代えて、生徒画像のブロックと蓄積画像のプロヅク間の輝度差分を特徴量とすることもできる（ 1 画素間の輝度差分でもよい）。また、注目画素の動きと輝度差分の両方を特徴量とすることもできる。

クラスコード発生部 1 9 5は、特徴量抽出部 1 9 4から供給された特徴量に基づくクラスコ一ドを生成し、 R O Mテーブル 1 9 6に供給する。

R O Mテーブル 1 9 6は、上述した学習処理により算出された予測係数セットをクラス毎に記憶しており、記憶している予測係数セヅトのうちから、クラスコ ―ド発生部 1 9 5からのクラスコードに対応するものを推定演算部 1 9 8に出力する。

領域切出部 1 9 7は、図 1 3に示した画像処理装置 1 0 0の領域切出部 1 0 7 と同様の構成すなわち図 2 0に示した構成を有しており、入力画像と蓄積画像から、予測夕ヅブを切り出し、推定演算部 1 9 8に供給する。

推定演算部 1 9 8は、 R O Mテーブル 1 9 6からの予測係数セヅトと領域切出部 1 9 7からの画素情報に基づく画素データを用いて、例えば、上述の式（ 1 ) を演算して、その演算結果として出力画像の画素値 yを順次生成する。

次に、このような構成の画像処理装置 1 9 0において、ノイズが低減された画像を生成する場合の動作を説明する。

ノイズを含む入力画像は、蓄積画像生成部 1 9 1、領域切出部 1 9 3及び領域切出部 1 9 7に供給される。

蓄積画像生成部 1 9 1は、この場合、上記画像処理装置 1 0 0の蓄積画像生成部 1 0 2と同様の構成すなわち図 1 4又は図 1 5で示した構成を有している。すなわち、蓄積画像生成部 1 9 1は、静止部分のノイズを効果的に低減して、蓄積画像を生成する。生成した蓄積画像は、蓄積画像用メモリ 1 9 2に供給され、そこに記憶される。

領域切出部 1 9 3は、入力画像からクラスタップを切り出すとともに、入力画像及び蓄積画像からブロックを切り出し、それらを特徴量抽出部 1 9 4に供給する。

この例の場合、図 2 4に示すように、フレーム F n上の注目画素（図中、黒色の丸印）、その注目画素と、タップ配置決定部からの位置情報に基づく位置関係にあるフレーム F n-2、フレーム F n-1、フレーム: F n+1及びフレーム: F n+2の画素 (図中、斜線を付した丸印）の合計 5つの画素が、クラスタップとして切り出される。

特徴量抽出部 1 9 4は、領域切出部 1 9 3からのクラスタップに基づいて、クラス夕ヅプを構成する画素の画素値のダイナミヅクレンジの算出し、また 1 ビヅト A D R C処理による波形解析を行うとともに、領域切出部 1 9 3からのプロヅクに基づいて、注目画素の静動判定を行う。

特徴量抽出部 1 9 4は、そのダイナミックレンジ、波形解析結果及び静動判定結果をクラスコード発生部 1 9 5に供給する。

クラスコード発生部 1 9 5は、特徴量抽出部 1 9 4からのデータに基づくクラスコードを生成し、 R O Mテーブル 1 9 6に供給する。

R Q Mテーブル 1 9 6は、クラス毎に記憶しているノイズを低減するための予測係数セヅトのうちから、クラスコード発生部 1 9 5からのクラスコードに対応するものを推定演算部 1 9 8に出力する。

領域切出部 1 9 7は、入力画像と蓄積画像から予測タップを切り出し、推定演箅部 1 9 8に供給する。

この例の場合、図 2 5 Aに示すように、フレーム; Fn上の注目画素（図中、黒色の丸印）、その注目画素とタップ配置決定部からの位置情報に基づく位置関係にあるフレーム F n-1乃至 F n+2の画素（図中、斜線が付されている丸印）の、それそれ 1 3個ずつの画素が、予測夕ヅプとして切り出される。また、図 2 5 Bに示すように、フレーム F n上の注目画素と同位置にある蓄積画像上の画素が注目画素 (図中、黒丸の丸印）とされ、その注目画素と所定の位置関係にある蓄積画像上の画素（図中、斜線を付した丸印）も予測タップとして切り出される。推定演算部 1 9 8は、 R O Mテーブル 1 9 6からの予測係数セ、ソトと領域切出部 1 9 7からの画素情報に基づく予測タップの画素データを用いて、例えば、上述の式（ 1 ) を演算し、出力画像の画素値 yを順次生成する。

次に、この画像処理装置 1 9 0において、特徴領域のエッジがぼけていない画像を生成する場合の動作を説明する。

この例の場合、入力画像から高精細の画像を生成することで、特徴領域のェヅジが補正される。すなわち、蓄積画像生成部 1 9 1においては、図 2 6 Aに示すように、入力画像及び蓄積画像が、その特徴領域の画素の位相を所定の位相だけずれにようにして合成されることにより、蓄積画像としての特徴領域が抽出される。これにより、蓄積画像は、図 2 6 Bに示すように、最終的に生成される画像の同じ画素密度を有する高精細な画像となる。

領域切出部 1 9 3の動作は、基本的に、ノイズを低減する場合と同様であるので、その詳細な説明は省略するが、この例の場合のクラス夕ヅプは、図 2 7に示すような構成を有するものとする。

最終的に生成される画像（フレーム F n及び蓄積画像と同時刻の画像）上の注目画素（図中、黒色の丸印）に対して所定の位置関係にあるフレーム: F nの 8個の画素、フレーム F n-2， F n-1 , F n+1， F n+2のそれそれ 5個の画素（図 2 7 A ) 及び蓄積画像の 1 1個の画素から構成される。

なお、図 2 8に示すように、入力画像の画素間に位置する生成される画像の画素が注目画素とされている場合、その中のいずれの画素が注目画素となっても、クラスタップとして切り出されるフレーム F n-2乃至 F n+2上の画素は同じである。蓄積画像から切り出される画素は、注目画素の位置により異なる。

なお、以上においては、クラスタップと予測タップの構造が異なる場合を例として説明したが、同一の構造にすることもできる。

このような構成の画像処理装置 1 9 0では、図 2 9に示すフローチヤ一トの手順に従って画像処理を行う。

すなわち、この画像処理装置 1 9 0は、先ず、ステヅプ S 1 1 1において入力画像を取得する。

次のステヅプ S 1 1 2では、蓄積画像生成部 1 9 1により、入力画像から静止部分のノイズを低減した特徴領域を抽出し、蓄積画像用メモリ 1 9 2に蓄積画像として記憶する。

次のステヅプ S 1 1 3では、領域切出部 1 9 3により、入力画像からクラス夕ップを切り出すとともに、入力画像と蓄積画像のそれそれからプロックを切り出す。

次のステヅプ S 1 1 4では、領域切出部 1 9 3により切り出されたクラスタヅプ及びブロックに基づいて、特徴量抽出部 1 9 4により入力画像とから所定の特微量を抽出する。

次のステップ S 1 1 5では、特徴量抽出部 1 9 4により抽出された特徴量に基づいて、クラスコード発生部 1 9 5によりクラスコードを生成する。

次のステヅプ S 1 1 6では、クラスコード発生部 1 9 5により生成されたクラスコードに対応する予測係数セヅトを R O Mテ一ブル 1 9 6から出力する。

次のステップ S 1 1 7では、 R O Mテーブル 1 9 6からの予測係数セヅトと領域切出部 1 9 7からの画素情報に基づく予測タップの画素データを用いて、推定演算部 1 9 8により予測演算を行う。

次のステヅプ S 1 1 8では、推定演算部 1 9 8により予測演算した出力画像の画素値を順次出力する。

そして、この画像処理装置 1 9 0は、次のステヅプ S 1 1 8において、出力画像の全ての画素値を出力したか否かを判定し、出力していない画素値があるときには、上記ステヅプ S 1 1 1に戻り、ステヅプ S 1 1 1からステップ S 1 1 8の処理を繰り返し行い、出力画像の全ての画素値を出力して画像処理を終了する。次に、図 3 0は、本発明を適用した画像処理装置 3 0 0の構成例を示している _c この画像処理装置 3 0 0は、上述の各画像処理装置 1 0 0 , 1 9 0における画像生成処理に使用する予測係数を求める学習処理を行う。

この画像処理装置 3 0 0において、学習における教師画像となるべき画像、例えば、ノイズが含まれていない画像又は特徴領域のェヅジがぼけていない画像が、生徒画像生成部 3 0 1及び正規方程式加算部 3 0 8に供給される。

生徒画像生成部 3 0 1は、教師画像に対し所定の処理を施すことにより、画像生成処理における入力画像に相当する生徒画像を生成する。例えば、教師画像にノイズを付加することにより、ノイズが低減された画像を生成する処理における予測係数を算出するための生徒画像を生成し、又は教師画像の解像度を落とすことにより、例えば、その画素数を間引くことより、特徴領域のエッジがぼけていない画像を生成する処理における予測係数を算出するための生徒画像を生成することができる。

例えば、ノイズを付加する場合、生徒画像生成部 3 0 1は、ランダムノイズを発生し、それを教師画像に付加することもできるし、図 3 1乃至図 3 3に示すような構成を有することで、ノイズを教師画像に付加することもできる。

図 3 1に示す生徒画像生成部 3 0 1の場合、 R F変調器 3 2 1は、教師画像に R F変調を施し、ァヅテネ一夕 3 2 2に供給する。ァヅテネ一夕 3 2 2は、 R F 変調器 3 2 1の出力に減衰処理を施し、 R F復調器 3 2 3に出力する。復調器 3 2 3は、アツテネ一夕 3 2 2の出力を R F復調することにより、教師画像にノィズが付加された画像を生成する。

図 3 2に示す生徒画像生成部 3 0 1の場合、背景が一様な画像が R F変調器 3 2 1 と減算器 3 2 4に供給される。 R F変調器 3 2 1乃至 R F復調器 3 2 3の処理は、図 3 2の場合と同様であるので、その詳細な説明は省略する。なお、 R F 復調器 3 2 3の出力は、減算器 3 2 4に供給される。減算器 3 2 4は、背景が一様な画像と R F復調器 3 2 3の出力との差分を算出し、加算器 3 2 5に出力する _t 加算器 3 2 5は、減算器 3 2 4の出力を教師画像に加算して、教師画像にノイズが付加された画像を生成する。

図 3 3に示す生徒画像生成部 3 0 1では、背景が一様な画像が、 R F変調器 3 2 1に供給される。 R F変調器 3 2 1乃至 R F復調器 3 2 3の処理は、図 3 1の場合と同様であるので、その詳細な説明は省略するが、 R F復調器 3 2 3の出力は、減算器 3 2 4とフレ一ム加算回路 3 2 6に供給される。フレーム加算回路 3 2 6は、 R F復調器 3 2 3から供給されるフレームを加算することによって R F 復調器 3 2 3の出力からノイズが除去された画像を生成し、減算器 3 2 4に供給する。減算器 3 2 4及び加算器 3 2 5の処理は、図 3 2の場合と同様であるので、その説明は省略する。

そして、この画像処理装置 3 0 0において、蓄積画像生成部 3 0 2は、上述の図 1 3に示した画像処理装置 1 0 0や図 2 1に示した画像処理装置 1 9 0の蓄積画像生成部 1 0 2 , 1 9 1と同様な構成すなわち図 1 4乃至図 1 6に示した構成のものが用いられる。そして、この蓄積画像生成部 3 0 2においては、生徒画像と、 1 フレーム分前の蓄積画像に対して、重み付け値 qに基づく重み付け加算が行われる。例えば、値 q = 0 . 8である場合、生徒画像を 2 0 %、蓄積画像を 8 0 %で足し合わせた蓄積画像が生成される。このように、生徒画像と、 1フレーム分前の蓄積画像が所定の割合で足し合わされるので、静止部分のノイズが効果的に低減される。また蓄積画像には、複数の画像が、ある割合で蓄積されて足し合わされるので、静止部分のノィズがより効果的に低減される。

そして、蓄積画像生成部 3 0 2は、生成（抽出）した、ノイズが低減された画像と特徴領域を蓄積画像として蓄積画像用メモリ 3 0 3に供給する。

蓄積画像用メモリ 3 0 3は、蓄積画像生成部 3 0 2からの画像を記憶するとともに、適宜、蓄積画像を領域切出部 3 0 4及び領域切出部 3 0 7に供給する。領域切出部 3 0 4は、生徒画像生成部 3 0 1からの生徒画像及び蓄積画像用メモリ 3 0 3からの蓄積画像からクラス分類に必要な画素情報を切り出し、特徴量抽出部 3 0 5に供給する。領域切出部 3 0 4には、上述の画像処理装置 1 9 0における領域切出部 1 9 3と同様な構成すなわち図 2 2に示じた構成のものが用いられる。この領域切出部 3 0 4は、生徒画像からクラスタップを切り出し、また、図 3 4 A，図 3 4 Bに示すように、生徒画像と蓄積画像から、それそれ同じ位置にある例えば 8 8画素からなるプロヅクを切り出し、切り出したクラスタヅフ。及びプロックを、画素情報として、特徴量抽出部 3 0 5に供給する。

特徴量抽出部 3 0 5は、領域切出部 3 0 4からのクラスタップからダイナミヅクレンジ及び波形解析結果を、また領域切出部 3 0 4からのブロックから注目画素が静止であるか又は動きであるかを示す情報を、生成する画素をクラス分類するために必要な特徴量として抽出し、クラスコード発生部 3 0 6に供給する。この特徴量抽出部 3 0 5には、上述の画像処理装置 1 0 0における特徴量抽出部 1 0 5と同様な構成すなわち図 2 3に示した構成のものが用いられる。

この例の場合、注目画素の動きが特徴量とされたが、それに代えて、生徒画像のプロヅクと蓄積画像のプロック間の輝度差分を特徴量とすることもできる（ 1 画素間の輝度差分でもよい）。また、注目画素の動きと輝度差分の両方を特徴量とすることもできる。

また、クラスコード発生部 3 0 6は、特徴量抽出部 3 0 5からの特徴量に基づくクラスコードを生成し、正規方程式加算部 3 0 8に供給する。

領域切出部 3 0 7は、生徒画像生成部 3 0 1からの生徒画像及び蓄積画像用メモリ 3 0 3からの蓄積画像から予測に必要な画素情報をそれそれ切り出し、正規方程式加算部 3 0 8に供給する。この領域切出部 3 0 7には、上述の画像処理装置 1 0 0における領域切出部 1 0 7と同様な構成すなわち図 2 0に示した構成のものが用いられる。

正規方程式加算部 3 0 8は、クラスコ一ド発生部 3 0 6からのクラスコード、教師画像及び領域切出部 3 0 7からの予測タップに基づいて、予測係数を解とする正規方程式を解くために必要なデータを算出し、その算出結果を予測係数決定部 3 0 9に出力する。

予測係数決定部 3 0 9は、正規方程式加算部 3 0 8からの算出結果を利用して、所定の演算を行うことにより、クラス毎の予測係数を決定し、それをメモリ 3 1 0に供給する。メモリ 3 1 0は、それを記憶する。

ここで、正規方程式加算部 3 0 8及び予測係数決定部 3 0 9において行われる演算について説明する。

上述の画像生成処理においては、例えば、入力画像（ノイズを含む入力画像又は特徴領域のエッジがぼけている入力画像）と蓄積画像（静止部分のノイズが低減された蓄積画像又は抽出された特徴領域としての蓄積画像）から、注目画素と所定の位置関係にある画素が切り出される。そして、切り出されたこれらの画素の画素値（生徒データ） χ _{ΐ 5} · · · , と、学習処理で算出された予測係数 w

1 , · · · , W nとの、例えば、線形結合により規定される線形 1次結合モデルである上記式（1 ) が演算されて、出力画像の画素値が算出される。

なお、式（1 ) のような、線形 1次式の他、高次式や線形でない式を演算して、出力画像の画素値を算出することもできる。

式（ 1 ) は、式（3 ) のように示すことができるが、式（3 ) において、 k = 1 , 2， 3， · · ·， m ( > n ) である場合、予測係数 wは、一意に決まらないので、予測係数 wは、所謂最小 2乗法によって求められる。

y ¾ = W l X X ]c l+W2X k2+ ' · * + W n X X kn . . . ( 3 ) すなわち、誤差ベクトル eの要素 e_kを式（4) で定義した場合の、式（ 5) の値が最小となるように予測係数が求められる。

e k= y k— (wi x ki + W2X k 8 + · · · + w_n x x ¾_η · · · 4)

e ² = ≥^ e k^: (5)

最小 2乗法について、具体的に説明すると、 e²が式（6) に示すように、予測係数 W i ( i = l， 2， · · ·）で偏微分される。

そこで、切り出された入力画像又は蓄積画像の画素値からなる生徒データ X j i を式（7) に示すように、そして教師画像の画素値（教師デ一夕） y iを式（8) に示すように定義すると、式（6) を式（9) に示すように、一般的に正規方程式と呼ばれる行列式に表すことができる。なお、生徒データ X 31は、 i件目の生徒データの集合（i件目の教師デ一夕 y iの予測に用いる生徒デ一夕の集合）の中の j番目の生徒デ一夕を意味する。

X p j (7)

y i = ∑ ki · k (8)

k= 1 2 X w 广 5 、

X 2 1 2： X 2 n W 2 y

( 9 )

、^X X X n ⁿン w ⁿン

すなわち、正規方程式加算部 3 0 8は、供給される生徒画像、蓄積画像及び教師画像に基づいて式（7 ) 及び式（8 ) を演算し、生徒画像又は蓄積画像の画素の画素値からなる生徒デ一夕及び教師画像の画素値の教師データ y iをそれそれ計算する。予測係数決定部 3 0 9は、掃き出し法等の一般的な行列解法に従つて、式（9 ) の正規方程式を解き、予測係数 wを算出する。

このような構成の画像処理装置 3 0 0では、図 3 5に示すフローチャートの手順に従って画像処理を行う。

すなわち、この画像処理装置 3 0 0は、先ず、ステップ S 1 2 1において教師画像を取得する。

次のステップ S 1 2 2では、生徒画像生成部 3 0 1において、ステップ S 1 2 1で取得した教師画像に対し所定の処理を施すことにより、画像生成処理における入力画像に相当する生徒画像を生成する。

次のステップ S 1 2 3では、蓄積画像生成部 3 0 2において、生徒画像と 1フレーム分前の蓄積画像を重み付け加算することにより、生徒画像から静止部分のノイズを低減した特徴領域を抽出し、蓄積画像用メモリ 3 0 3に蓄積画像として記憶する。

次のステップ S 1 2 4では、領域切出部 3 0 4により、クラス分類に必要な画素情報として、生徒画像生成部 3 0 1により生成された生徒画像からクラスタツプを切り出すとともに、上記生徒画像と蓄積画像からそれぞれ同じ位置にある複数画素からなるプロックを切り出す。

次のステップ S 1 2 5では、特徴量抽出部 3 0 5は、生成する画素をクラス分類するために必要な特徴量として、領域切出部 3 0 4により切り出されたクラスタヅプからダイナミックレンジ及び波形解析結果を得るとともに、領域切出部 3 0 4により切り出されたブロックから注目画素が静止であるか又は動きであるかを示す情報を抽出する。

次のステップ S 1 2 6では、特徴量抽出部 3 0 5により抽出された特徴量に基づいて、クラスコード究生部 3 0 6によりクラスコ一ドを生成する。

次のステ.ヅブ S 1 2 7では、正規方程式加算部 3 0 8において、クラスコード発生部 3 0 6からのクラスコード、教師画像及び領域切出部 3 0 7からの予測夕ップに基づいて、予測係数を解とする正規方程式を解くために必要なデータを算出する。

次のステップ S 1 2 8では、予測係数決定部 3 0 9において、正規方程式加算部 3 0 8からの算出結果を利用して、所定の演算を行うことにより、クラス毎の予測係数を決定する。

次のステップ S 1 2 9では、予測係数決定部 3 0 9により算出されたクラス毎の予測係数をメモリ 3 1 0に格納する。

そして、この画像処理装置 3 0 0は、次のステヅブ S 1 3 0において、全ての画像デ一夕について処理を行った否かを判定し、処理すべき画像デ一夕があるときには、上記ステップ S 1 2 1に戻り、ステップ S 1 2 1からステヅプ S 1 3 0 の処理を繰り返し行い、全ての画像デ一夕を処理して学習処理を終了する。ここで、生徒画像生成部 3 0 1として上述の図 3 1の構成を採用した場合、上記ステップ S 1 2 2における生徒画像の生成処理は、図 3 6に示すフローチヤ一トの手順に従って行われる。

すなわち、この生徒画像生成部 3 0 1は、ステップ S 1 3 1において、ァヅテネータ 3 2 2により教師画像にノイズを直接付加する。

次のステヅブ S 1 3 2では、ステヅプ S 1 3 1の処理でノイズが付加された教師画像を生徒画像として出力する。

次のステヅプ S 1 3 3では、 1フィ一ルド分の全ての画像デ一夕画像データについて処理を行った否かを判定し、処理すべき画像データがあるときには、上記ステヅプ S 1 3 1に戻り、ステップ S 1 3 1からステヅプ S 1 3 3の処理を繰り返し行い、全ての画像デ一夕を処理して生徒画像の生成処理を終了する。

また、生徒画像生成部 3 0 1 として上述の図 3 2の構成を採用した場合、上記ステップ S 1 2 2における生徒画像の生成処理は、図 3 7に示すフローチャートの手順に従って行われる。

すなわち、この生徒画像生成部 3 0 1は、ステップ S 1 4 1において、ァヅテネー夕 3 2 2により背景が一様な画像に対してノイズを付加する。

次のステヅブ S 1 4 2では、上記ステヅブ S 1 1の処理でノイズが付加された背景が一様な画像から、減算器 3 2 4により元の背景が一様な画像を引くことで、上記ァヅテネー夕 3 2 2によるノィズ成分のみを抽出する。

次のステップ S 1 4 3では、上記ステヅブ S 1 4 2の処理で抽出されたノイズを加算器 3 2 5により教師画像に付加する。

次のステップ S 1 4 4では、上記ステヅブ S 1 3の処理でノイズが付加された教師画像を生徒画像として出力する。

次のステヅプ S 1 5では、 1フィールド分の全ての画像デ一夕画像デ一夕について処理を行った否かを判定し、処理すべき画像デ一夕があるときには、上記ステップ S 1 4 1に戻り、ステヅプ S 1 4 1からステップ S 1 4 5の処理を繰り返し行い、全ての画像デ一夕を処理して生徒画像の生成処理を終了する。

また、生徒画像生成部 3 0 1として上述の図 3 3の構成を採用した場合、上記ステヅプ S 1 2 2における生徒画像の生成処理は、図 3 8に示すフローチャートの手順に従って行われる。

すなわち、この生徒画像生成部 3 0 1は、ステップ S 1 5 1において、ァヅテネー夕 3 2 2により背景が一様な画像に対してノィズを付加する。

次のステヅプ S 1 5 2では、上記ステップ S 1 1の処理でノイズが付加された背景が一様な画像をフレーム加算回路 3 2 6でフレーム加算することによってノイズが除去された画像を生成する。

次のステップ S 1 5 3では、上記ステヅプ S 1 5 1の処理でノイズが付加された背景が一様な画像から、減算器 3 2 4により、上記ステヅプ S 1 5 1の処理でノイズが除去された画像を引くことで、上記ァヅテネータ 3 2 2によるノイズ成分のみを抽出する。次のステツプ S 1 5 4では、上記ステヅプ S 1 5 3の処理で抽出されたノィズを加算器 3 2 5により教師画像に付加する。

次のステヅプ S 1 5 5では、上記ステップ S 1 5 3の処理でノイズが付加された教師画像を生徒画像として出力する。

次のステヅプ S 1 5 6では、 1フィ一ルド分の全ての画像デ一夕について処理を行った否かを判定し、処理すべき画像データがあるときには、上記ステップ S 1 5 1に戻り、ステヅプ S 1 5 1からスヅプ S 1 5 6の処理を繰り返し行い、全ての画像データを処理して生徒画像の生成処理を終了する。

さらに、上記ステップ S 1 2 2における生徒画像の生成処理において、生成する生徒画像よりも教師画像の解像度が高い場合には、図 3 9に示すフローチヤ一トの手順に従って生徒画像の生成処理を行う。

すなわち、生徒画像生成部 3 0 1では、ステップ S 1 6 1において、教師画像に対し、閭引き若しくはフィル夕処理により、解像度を落とす処理を施す。次のステップ S 1 6 2では、上記ステヅプ S 1 6 1の処理で解像度を落とした教師画像を生徒画像として出力する。

次のステヅプ S 1 6 3では、 1フィールド分の全ての画像デ一夕について処理を行った否かを判定し、処理すべき画像データがあるときには、上記ステップ S 1 6 1に戻り、ステップ S 1 6 1からステップ S 1 6 3の処理を繰り返し行い、全ての画像デ一夕を処理して生徒画像の生成処理を終了する。

また、蓄積画像生成部 3 0 2として上述の図 1 4の構成を採用した場合、上記ステップ S 1 2 3における蓄積画像の生成処理は、図 4 0に示すフローチャートの手順に従って行われる。

すなわち、この蓄積画像生成部 3 0 2は、ステップ S 1 7 1において、前フィ —ルド時の蓄積画像を蓄積画像用メモリ 3 0 3から取得する。

次のステップ S 1 7 2では、前フィールド時の蓄積画像に重み付け値 qを乗算し、生徒画像に重み付け値 1— qを乗算する。

次のステップ S 1 7 3では、上記ステップ S 1 7 2で重み付け値（q， 1— q ) を乗算した前フィールド時の蓄積画像と生徒画像を加算合成して新たな蓄積画像とする。次のステップ S 1 7 4では、上記ステップ S 1 7 3で合成した新たな蓄積画像を出力する。

次のステヅプ S 1 7 5では、 1フィールド分の全ての画像データについて処理を行った否かを判定し、処理すべき画像データがあるときには、上記ステップ S 1 7 1に戻り、ステヅブ S 1 7 1からステップ S 1 7 5の処理を繰り返し行い、全ての画像データを処理して蓄積画像の生成処理を終了する。

また、蓄積画像生成部 3 0 2として上述の図 1 5の構成を採用した場合、上記ステヅプ S 1 2 3における蓄積画像の生成処理は、図 4 1に示すフロ一チャートの手順に従って行われる。

すなわち、この蓄積画像生成部 3 0 2は、ステップ S 1 8 1において、前フィールド時の蓄積画像を蓄積画像用メモリ 3 0 3から取得する。

次のステヅプ S 1 8 2では、動き検出部 1 4 1において、同位置の画素の差分をとり静動判定を行う。

次のステップ S 1 8 3では、ステヅプ S 1 8 2で算出した同位置の画素の差分値に基づいて重み付け値 qを決定する。

次のステップ S 1 8 4では、前フィールド時の蓄積画像に重み付け値 qを乗算し、生徒画像に重み付け値 1—qを乗算する。

次のステヅプ S 1 8 5では、上記ステヅプ S 1 8 4で重み付け値（ q， 1— q ) を乗算した前フィールド時の蓄積画像と生徒画像を加算合成して新たな蓄積画像とする。

次のステップ S 1 8 6では、上記ステヅプ S 1 8 5で合成した新たな蓄積画像を出力する。

次のステツプ S 1 8 7では、 1フィールド分の全ての画像デ一夕について処理を行った否かを判定し、処理すべき画像データがあるときには、上記ステップ S 1 8 1に戻り、ステップ S 1 8 1からステップ S 1 8 7の処理を繰り返し行い、全ての画像データを処理して蓄積画像の生成処理を終了する。

また、蓄積画像生成部 3 0 2として上述の図 1 6の構成を採用した場合、上記ステップ S 1 2 3における蓄積画像の生成処理は、図 4 2に示すフローチャートの手順に従って行われる。すなわち、この蓄積画像生成部 3◦ 2は、ステヅプ S 1 9 1において、前フィールド時の蓄積画像を蓄積画像用メモリ 3 0 3から取得する。

次のステップ S 1 9 2では、蓄積メモリ 1 5 3から供給される蓄積画像上から、抽出回路 1 5 4により特徴領域を抽出する。

次のステップ S 1 9 3では、ステヅブ S 1 9 2で抽出した特徴領域に基づいて同密度動きべクトルの検出を行う。すなわち、動きべクトル検出回路 1 5 5により、抽出回路 1 5 4からの特徴領域と、生徒画像内における特徴領域との間の動きぺクトル動きべクトルを検出する。

次のステップ S 1 9 4では、ステップ S 1 9 3で検出した動きべクトルに基づいて、位相シフト回路 1 5により蓄積メモリ 1 5 3からの蓄積画像の位相をシフトさせ、生徒画像と位置を合わせる。

次のステップ S 1 9 5では、ステヅブ S 1 9 4で位置を合わせた蓄積画像と生徒画像を加算合成して新たな蓄積画像とする。

次のステップ S 1 9 6では、上記ステップ S 1 9 5で合成した新たな蓄積画像を出力する。

次のステヅプ S 1 9 7では、 1フィールド分の全ての画像データについて処理を行った否かを判定し、処理すべき画像データがあるときには、上記ステヅプ S 1 8 1に戻り、ステヅプ S 1 9 1からステヅプ S 1 9 7の処理を繰り返し行い、全ての画像データを処理して蓄積画像の生成処理を終了する。

さらに、上記ステップ S 1 2 3における蓄積画像の生成処理において、生成する生徒画像よりも蓄積画像の解像度が高い場合には、図 4 3に示すフローチヤ一トの手順に従って蓄積画像の生成処理を行う。

すなわち、この蓄積画像生成部 3 0 2は、ステヅプ S 2 0 1において、前フィールド時の蓄積画像を蓄積画像用メモリ 3 0 3から取得する。

次のステップ S 2 0 2では、蓄積メモリ 1 5 3から供給される N倍密度の蓄積画像上から、抽出回路 1 5 4により特徴領域を抽出する。

次のステップ S 2 0 3では、ステップ S 1 9 2で抽出した特徴領域に基づいて、生徒画像について 1 ： N密度動きべクトルの検出を行う。

次のステヅプ S 1 9 4では、ステヅプ S 1 9 3で検出した動きべクトルに基づいて、位相シフト回路 1 5 6により蓄積メモリ 1 5 3からの蓄積画像の位相をシフトさせ、生徒画像と位置を合わせる。

次のステヅプ S 1 9 5では、ステップ S 1 9 4で位置を合わせた蓄積画像と生徒画像を加算合成して新たな蓄積画像とする。

次のステップ S 1 9 6では、上記ステヅブ S 1 9 5で合成した新たな蓄積画像を出力する。

次のステップ S 1 9 7では、 1フィールド分の全ての画像データについて処理を行った否かを判定し、処理すべき画像デ一夕があるときには、上記ステヅプ S 1 8 1に戻り、ステヅプ S 1 9 1からステヅブ S 1 9 7の処理を繰り返し行い、全ての画像データを処理して蓄積画像の生成処理を終了する。

ここで、入力画像（生徒画像）より高画質な画像（蓄積画像）を生成する場合の動きぺクトル検出処理について説明する。

例を図 4 4 Aに示す。図 4 4 Aは、 1枚の画像（基準画像） P sと、この画像 P sに対して垂直方向で 4倍の密度の画像 P hとの間の動きべクトル検出について示した図である。図 4 4 Aにおいて、破線のラインは、ラインの位置を表し、実際には、画素が存在しないラインである。 4倍密画像 P hは、基準画像 P sと空間的に一致し、ライン位置が基準画像 P sと一致するものと、ライン位置を 1 ラインずつずらした 3枚の画像との合計 4枚の 1倍密画像 P h 1， P h 2 , P h 3， P h 4と扱うことができる。

すなわち、図 4 4 Aにおいて、 P h iは、高密度画像 P liの連続する 4ラインの組で最も上に位置するラインを選択することで得られるものである。 P h 2は、この 4ラインの組の上から 2番目に位置するラインを選択することで得られるものである。 P h 3は、この 4ラインの組の上から 3番目に位置するラインを選択することで得られるものである。 P h 4は、この 4ラインの組の最も下に位置するラインを選択することで得られるものである。これらの画像 P h 1〜P h 4を合わせることで 4倍密画像が構成される。

最初に、図 4 4 Bに示すように、同一の大きさで同一の形の基準ブロック; B s 及び参照ブロック B h l (図 4 4 Bでは、 5 X 5のブロックが示されている）を画像 P s及び P h 1〜： P h 4の中の 1枚の画像例えば P 1の空間的に対応する位置に設定する。そして、図 4 5に示すように、基準ブロヅク B sと同一の位置に存在する画素の画素値同士の差分の絶対値を求め、この絶対値を 1プロックにわたって集計し、絶対値和を求める。次に、図 4 5において破線で示すように、参照プロック B h 1を 1倍密画像の画素単位で種々の位置に移動し、移動後の位置で絶対値和をそれそれ求める。求めた絶対値和を絶対値和のテーブルに格納する。

移動範囲は、探索範囲として規定される。例えば水平方向に 1画素ずつずれた 5個の参照プロックと、垂直方向に 1画素ずつずれた 3個の参照プロックとの合計 5 X 3個の参照プロヅクに関して絶対値和が計算される。その場合には、図 4 6 Aに示すように、 5 X 3個の絶対値和テーブル T 1が得られる。 5 x 3の範囲の中央位置が原点 0である。原点〇は、基準プロック B s及び参照プロック B h 1の空間的な中心と一致する。もし、後述するように得られた最終的な絶対値和テーブル T Oの中で、最小値を与える参照ブロックの位置が原点にある時は、動きぺクトリレが 0である。

次に、参照プロヅク B h 1と同様の大きさで同一の形の参照プロック B h 2を間引かれた画像 P h 2の空間的に同一の位置に設定する。参照プロック 1の場合と同様に、基準プロヅク B sと参照プロヅク B h 2の間の差分の絶対値和を求め、絶対値和のテーブル T 2を得る。このテーブル T 2は、空間的には、テーブル T 1より 4倍密画像の 1ライン下側の位置のものである。さらに、参照プロヅク B h 3、 B h 4についても、参照ブロック B h l、 B h 2と同様に基準プロヅク B sとのプロヅクマヅチングを行い、求めた絶対値和のテーブル T 3及び T 4を得る。テーブル T 3は、空間的には、テ一ブル T 2より 4倍密画像の 1ライン下側の位置であり、テーブル T 4は、空間的には、テーブル T 3より 4倍密画像の 1ライン下側の位置である。

そして、図 4 6 Bに示すように、 4個のテーブルを 4倍密画像から 4枚の 1倍密画像を得る時と逆の関係でもって合成し、最終的な絶対値和のテーブル T 0を作成する。テーブル T Oは、 5 X 3 X 4種類の毎の絶対値和の分布を示すものである。このテーブル T Oの中で、最小値を検出する。原点 0から最小値を与える参照プロヅクの位置へのべクトルが動きぺクトルとして検出される。このように、動きべクトル検出を 4倍密度の画像の精度で行うことができる。

なお、基準画像と垂直方向に 4倍密画像との間で動きべクトルを検出する例について説明したが、垂直方向のみならず、水平方向又は垂直及び水平方向に N倍密画像と基準画像との間で動きベクトルを検出することもできる。 Nは、好ましくは 2以上の整数である。

図 4 7は、基準画像と垂直方向に 4倍密画像との間で動きぺクトルを検出する動きべクトル検出装置 4 0 0の構成を示す。この動きべクトル検出装置 4 0 0は、基準画像（図 4 4 Aにおける画像 P s ) をブロックに分解するプロヅク化回路 4 0 1と、 4倍密画像を基準画像と同じ密度で、且つ空間的に同じ関係の N枚例えば 4枚の画像（図 4 4 Aにおける画像 P h i , P h 2 , P h 3 , P 4 ) に分離する位相分離回路 4 0 2を備える。位相分離回路 4 0 2は、基準画像 P sが入力され、 4ラインの組の第 1番目のラインのデ一夕から第 4番目のラインのデ一タまで、ライン毎に分離したデ一夕を出力する。

位相分離回路 4 0 2の画像 P h 1の出力がブロック化回路 4 0 3に供給され、ブロックに分解され、画像 P h 2の出力がブロック化回路 4 0 4に供給され、ブロックに分解され、画像 P h 3の出力がブロック化回路 4 0 5に供給され、プロヅクに分解され、画像 P h 1の出力がブロック化回路 4 0 6に供給され、プロヅクに分解される。ブロック化回路 4 0 6は、プロヅク化回路 4 0 1によるブロヅクと同一形状で同一サイズのブロック（例えば 5 x 5画素）に画像 P h l〜P h 4をそれそれ細分化するものである。

プロヅク化回路 4 0 1の出力が誤差検出回路 4 0 7 , 4 0 8 , 4 0 9， 4 1 0 に共通に供給される。誤差検出回路 4 0 7の他方の入力として、プロツク化回路 3の出力が供給される。誤差検出回路 4 0 7は、基準画像のプロヅク B sとプロヅク化回路 4 0 3からの画像 P h 1のブロックとの間で、ブロック内の対応する位置の画素同士の画素値の差分絶対値和を集計する。そして、参照ブロックの位置毎に絶対値和を記憶するテーブル T 1を作成する。

誤差検出回路 4 0 8の他方の入力として、ブ口ック化回路 4 0 4の出力が供給される。誤差検出回路 4 0 8は、基準画像のプロヅクとプロック化回路 4 0 4からの画像 P h 2のプロヅクとの間で、プロヅク内の対応する位置の画素同士の画素値の差分絶対値和を集計する。そして、参照ブロックの位置毎に絶対値和を記憶するテーブル T 2を作成する。同様に、誤差検出回路 4 0 9が基準画像のプロヅクと画像 P h 3のプロヅクとの間の差分の絶対値和のテーブル T 3を作成し、誤差検出回路 4 1 0が基準画像のブロックと画像 P h 4のプロヅクとの間の差分の絶対値和のテーブル T 4を作成する。

誤差検出回路 4 .0 7〜4 1 0のそれそれにより作成されたテーブル T 1〜T 4 が位相合成回路 4 1 1に.供給される。位相合成回路 4 1 1は、位相分離回路 2における位相分離と逆に絶対値和を合成し、位相合成回路 4 1 1によって最終的なテーブル Τ 0が作成される。位相合成回路 4 1 1により作成されたテーブル Τ 0 を参照して動きべクトル検出回路 4 1 2が動きぺクトルを検出する。すなわち、動きべクトル検出回路 4 1 2は、絶対値和の中の最小値を検出し、動きベクトルを出力する。図 4 7のブロク図の下側には、位相分離回路 4 0 2、誤差検出回路 4 0 7〜 4 1 0、動きべクトル検出回路 4 1 2のそれそれの処理における 2つの画像の画素及び差分の絶対値和の空間的関係を概略的に表す。

以上のように、この画像処理装置 3 0 0による学習処理においては、教師画像及び生徒画像の他、蓄積画像が参照されて予測係数が算出される。また予測係数の算出にあたり、注目画素の動きも、特徴量の 1つとされて、注目画素のクラス分類が行われる。その結果、注目画素が静止であると判定された場合、すなわち、静止というクラスに分類された場合、静止部分のノイズが効果的に低減されている蓄積画像の画素情報をより多く学習し、また注目画素が動きであると判定された場合、すなわち、動きというクラスに分類された場合、動き部分のノイズが効果的に行われる生徒画像の画素情報をより多く学習することができる。

上述の各画像処理装置 1 0 0 , 1 9 0は、この画像処理装置 3 0 0による学習処理で算出した予測係数を利用した画像生成処理を実行することで、入力画像に含まれるノィズを低減したり、特徴領域のエッジを補正することができる。

なお、以上においては、画像処理装置 3 0 0による学習処理により算出された予測係数が、上述の画像生成処理を行う画像処理装置 1 0 0， 1 9 0の R O Mテ一ブル 1 0 8 , 1 9 6に記億される場合を例として説明したが、出力画像を生成するのに必要な、画素値、他の係数又は所定の式を示すデ一夕を生成し、それを ROMテーブル 1 08， 1 96に記憶させるようにすることもできる。

また、以上においては、ノイズが低減された画像又は特徴領域のエッジがぽけていない画像を生成する場合を例として説明したが、階調度、画素、データのビット数において、入力画像より高画質な画像を生成する場合においても、本発明を適用することができる。

また、以上においては、入力画像がプログレッシブ画像である場合を例として説明したが、イン夕レース画像である場合においても、本発明を適用することができる。

さらに、上述のような画像処理装置 1 00 , 1 90， 300における一連の処理は、ハードウェアにより実現させることもできるが、ソフトウェアにより実現させることもできる。一連の処理をソフトウェアにより実現する場合には、そのソフトウェアを構成するプログラムがコンピュータにィンストールされ、そのプログラムがコンピュータで実行されることより、上述した画像処理装置 1 00が機能的に実現される。

図 48は、上述のような画像処理装置 100、 190 , 300として機能するコンピュータ 50 1の一実施の形態の構成を示すプロヅク図である。 CPU (Ce ntral Processing Unit) 5 1 1にはバス 5 1 5を介して入出力ィンタフエ一ス 5 1 6が接続されており、 CPU 51 1は、入出力ィン夕フエース 5 1 6を介して、ユーザから、キーボード、マウスなどよりなる入力部 51 8から指令が入力されると、例えば、 ROM (Read Only Memory) 5 1 2、ハードディスク 5 14、又はドライブ 520に装着される磁気ディスク 53 1、光ディスク 532、光磁気ディスク 533、若しくは半導体メモリ 534などの記録媒体に格納されているプログラムを、 RAM (Random Access Memory) 51 3にロードして実行する。これにより、上述した各種の処理が行われる。さらに、 CPU5 1 1は、その処理結果を、例えば、入出力インタフェース 51 6を介して、 LCD (Liquid Cry stal Display) などよりなる表示部 5 1 7に必要に応じて出力する。なお、プログラムは、ハードディスク 514や ROM 51 2に予め記憶しておき、コンピュ一夕 50 1と一体的にユーザに提供したり、磁気ディスク 531、光ディスク 5 32、光磁気ディスク 533、半導体メモリ 534等のパヅケージメディアとして提供したり、衛星、ネヅトワーク等から通信部 5 1 9を介してハードディスク 5 1 4に提供することができる。

なお、本明細書において、記録媒体により提供されるプログラムを記述するステツプは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

以上のように、本発明に係る画像処理装置及び方法、並びに記録媒体のプログラムによれば、第 1の画像を取得し、取得された第 1の画像を記憶し、記憶された第 1の画像に対応した位置に、取得された新たな第 1の画像を記憶することで、第 1の画像の蓄積画像を記憶し、第 2の画像の注目画素の位置に基づいて、蓄積画像と、取得された第 1の画像の両方から、第 1の画素情報を切り出し、第 1の画素情報から、所定の特徴量を抽出し、特徴量に基づいて、注目画素を、複数のクラスのうちのいずれかに分類し、注目画素の位置に基づいて、蓄積画像と、取得された第 1の画像の両方から、第 2の画素情報を切り出し、第 2の画素情報を利用して、分類されたクラスに対応して予め設定された生成方式に従い、注目画素を生成するようにしたので、第 1の画像より高画質な第 2の画像を適切に生成することができる。

また、本発明に係る画像処理装置及び方法、並びに記録媒体のプログラムによれば、記憶された生徒画像に対応した位置に、生成された新たな生徒画像を記憶して、生徒画像の蓄積画像を記憶し、第 2の画像に相当する教師画像の注目画素の位置に基づいて、蓄積画像と、生成された生徒画像の両方から、第 1の画素情報を切り出し、第 1の画素情報から、所定の特徴量を抽出し、特徴量に基づいて、注目画素を、複数のクラスのうちのいずれかに分類し、注目画素の位置に基づいて、蓄積画像と、生成された第 1の画像の両方から、第 2の画素情報を切り出し、第 2の画素情報及び教師画像を利用して、分類されたクラス毎に、所定のデ一夕を求めるようにしたので、第 1の画像より高画質な第 2の画像を生成することができる。

Claims

請求の範囲

1 . 第 1の画像から、上記第 1の画像より高画質な第 2の画像を生成する画像処理装置において、

上記第 1の画像を取得する取得手段と、

上記取得手段により取得された上記第 1の画像を記憶する記憶手段と、上記記憶手段により記憶された上記第 1の画像に対応した位置に、上記取得手段により取得された新たな上記第 1の画像を記憶することで、上記記憶手段に、上記第 1の画像の蓄積画像が記憶されるようにする蓄積処理手段と、

上記第 2の画像の注目画素の位置に基づいて、上記蓄積画像と、上記取得手段により取得された上記第 1の画像の両方から、第 1の画素情報を切り出す第 1の切り出し手段と、

上記第 1の画素情報から、所定の特徴量を抽出する特徴量抽出手段と、上記特徴量に基づいて、上記注目画素を、複数のクラスのうちのいずれかに分類するクラス分類手段と、

上記注目画素の位置に基づいて、上記蓄積画像と、上記取得手段により取得された上記第 1の画像の両方から、第 2の画素情報を切り出す第 2の切り出し手段と、

上記第 2の画素情報を利用して、上記クラス分類手段により分類されたクラスに対応して予め設定された生成方式に従い、上記注目画素を生成する生成手段とを備えることを特徴とする画像処理装置。

2 . 上記蓄積処理手段は、上記第 1の画像と上記蓄積画像を、所定の重み付け値に従って重み付け加算し、その結果得られた画像を、上記記憶手段に記憶させることを特徴とする請求の範囲第 1項に記載の画像処理装置。

3 . 上記蓄積処理手段は、上記第 1の画像の動きを検出するとともに、検出した上記動きに基づいて、上記重み付け値を設定することを特徴とする請求の範囲第 2項に記載の画像処理装置。

4 . 上記蓄積画像は、上記第 1の画像よりも、静止部分においては S N比が高い画像であることを特徴とする請求の範囲第 2項に記載の画像処理装置。

5 . 上記蓄積処理手段は、上記第 1の画像に含まれる特徴領域の動きを検出するとともに、上記第 1の画像を、検出した上記動きに応じた位置に移動して蓄積し、その結果得られた上記蓄積画像を、上記記憶手段に記憶させることを特徴とする請求の範囲第 1項に記載の画像処理装置。

6 . 上記蓄積画像の画素密度は、上記第 1の画像の画素密度より高いことを特徴とする請求の範囲第 5項に記載の画像処理装置。

7 . 上記蓄積画像の画素密度は、上記第 1の画像の画素密度と同じであることを特徴とする請求の範囲第 5項に記載の画像処理装置。

8 . 上記蓄積画像の画素数が、上記第 1の画像の画素数よりも多いことを特徴とする請求の範囲第 5項に記載の画像処理装置。

9 . 上記第 1の切り出し手段は、上記第 1の画素情報として、上記第 1の画像からクラスタップを切り出し、上記特徴量抽出手段は、上記クラスタップを構成する画素の画素値の分布を、上記特徴量として抽出することを特徴とする請求の範囲第 1項に記載の画像処理装置。

1 0 . 上記第 1の切り出し手段は、上記第 1の画素情報として、上記第 1の画像と上記蓄積画像のそれぞれから、 1個又は複数個の画素を切り出し、上記特徴量抽出手段は、上記 1個又は複数個の画素の画素値を利用して、上記注目画素の静動判定を行うとともに、その判定結果を上記特徴量として抽出することを特徴とする請求の範囲第 1項に記載の画像処理装置。

1 1 . 上記特徴量抽出手段は、上記 1個又は複数個の画素の画素値を利用して、上記第 1の画像と上記蓄積画像の輝度値の差分を算出するとともに、その算出結果を上記特徴量として抽出することを特徴とする請求の範囲第 1 0項に記載の画像処理装置。

1 2 . 上記第 1の切り出し手段は、上記第 1の画素情報として、上記第 1の画像から第 1のクラス夕ヅプを切り出すとともに、上記蓄積画像から第 2のクラスタップを切り出し、上記特徴量抽出手段は、上記第 1のクラスタップと上記第 2 のクラスタップを利用して、上記注目画素の静動判定を行うとともに、その判定結果及び上記第 1のクラスタップを構成する画素の画素値の分布を、上記特徴量として抽出することを特徴とする請求の範囲第 1項に記載の画像処理装置。

1 3 . 上記第 2の切り出し手段は、上記第 2の画素情報として、予測タップを切り出し、上記生成手段は、上記クラス毎に予め設定された係数を格納した係数格納手段を備え、上記係数と上記予測夕、ソブとを用いた演算を行うことで、上記第 2の画像を生成することを特徴とする請求の範囲第 1項に記載の画像処理装置 _c

1 4 . 第 1の画像から、上記第 1の画像より高画質な第 2の画像を生成する画像処理装置の画像処理方法において、

上記第 1の画像を取得する取得ステップと、

上記取得ステツプの処理で取得された上記第 1の画像を記憶する記憶ステップと、

上記記憶ステップの処理で記憶された上記第 1の画像に対応した位置に、上記取得ステツプの処理で取得された新たな上記第 1の画像を記憶することで、上記第 1の画像の蓄積画像が記憶されるようにする蓄積処理ステツプと、

上記第 2の画像の注目画素の位置に基づいて、上記蓄積画像と、上記取得ステップの処理で取得された上記第 1の画像の両方から、第 1の画素情報を切り出す第 1の切り出しステップと、

上記第 1の画素情報から、所定の特徴量を抽出する特徴量抽出ステップと、上記特微量に基づいて、上記注目画素を、複数のクラスのうちのいずれかに分類するクラス分類ステヅプと、

上記注目画素の位置に基づいて、上記蓄積画像と、上記取得ステップの処理で取得された上記第 1の画像の両方から、第 2の画素情報を切り出す第 2の切り出しステヅプと、

上記第 2の画素情報を利用して、上記クラス分類ステツプの処理で分類ざれたクラスに対応して予め設定された生成方式に従い、上記注目画素を生成する生成ステップと

を含むことを特徴とする画像処理方法。

1 5 . 上記蓄積処理ステップにおいて、上記第 1の画像と上記蓄積画像を、所定の重み付け値に従って重み付け加算し、その結果得られた画像を、上記記憶ステツプで記憶させることを特徴とする請求の範囲第 1 4項に記載の画像処理方法。

1 6 . 上記蓄積処理ステップにおいて、上記第 1の画像の動きを検出するとともに、検出した上記動きに基づいて、上記重み付け値を設定することを特徴とする請求の範囲第 1 5項に記載の画像処理方法。

1 7 . 上記蓄積画像は、上記第 1の画像よりも、静止部分においては S N比が高い画像であることを特徴とする請求の範囲第 1 5項に記載の画像処理方法。

1 8 . 上記蓄積処理ステップにおいて、上記第 1の画像に含まれる特徴領域の動きを検出するとともに、上記第 1の画像を、検出した上記動きに応じた位置に移動して蓄積し、その結果得られた上記蓄積画像を、上記記憶ステップで記憶させることを特徴とする請求の範囲第 1 4項に記載の画像処理方法。

1 9 . 上記蓄積画像の画素密度は、上記第 1の画像の画素密度より高いことを特徴とする請求の範囲第 1 8項に記載の画像処理方法。

2 0 . 上記蓄積画像の画素密度は、上記第 1の画像の画素密度と同じであることを特徴とする請求の範囲第 1 8項に記載の画像処理方法。

2 1 . 上記蓄積画像の画素数が、上記第 1の画像の画素数よりも多いことを特徴とする請求の範囲第 1 8項に記載の画像処理方法。

2 2 . 上記第 1の切り出しステヅプにおいて、上記第 1の画素情報として、上記第 1の画像からクラス夕ッブを切り出し、上記特徴量抽出ステヅプにおいて、上記クラス夕ップを構成する画素の画素値の分布を、上記特徴量として抽出することを特徴とする請求の範囲第 1 4項に記載の画像処理方法。

2 3 . 上記第 1の切り出しステップにおいて、上記第 1の画素情報として、上記第 1の画像と上記蓄積画像のそれそれから、 1個又は複数個の画素を切り出し、上記特徴量抽出ステツブにおいて、上記 1個又は複数個の画素の画素値を利用して、上記注目画素の静動判定を行うとともに、その判定結果を上記特徴量として抽出することを特徴とする請求の範囲第 1 4項に記載の画像処理方法。

2 4 . 上記特徴量抽出ステップにおいて、上記 1個又は複数個の画素の画素値を利用して、上記第 1の画像と上記蓄積画像の輝度値の差分を算出するとともに、その算出結果を上記特徴量として抽出することを特徴とする請求の範囲第 2 3項に記載の画像処理方法。

2 5 . 上記第 1の切り出しステップにおいて、上記第 1の画素情報として、上記第 1の画像から第 1のクラスタップを切り出すとともに、上記蓄積画像から第 2のクラスタップを切り出し、上記特徴量抽出は、上記第 1のクラスタップと上記第 2のクラスタップを利用して、上記注目画素の静動判定を行うとともに、その判定結果及び上記第 1のクラスタップを構成する画素の画素値の分布を、上記特徴量として抽出することを特徴とする請求の範囲第 1 4項に記載の画像処理方法。

2 6 . 上記第 2の切り出しステップにおいて、上記第 2の画素情報として、予測タップを切り出し、上記生成ステップにおいて、上記クラス毎に予め設定された係数と上記予測夕ップとを用いた演算を行うことで、上記第 2の画像を生成することを特徴とする請求の範囲第 1 4項に記載の画像処理方法。

2 7 . 第 1の画像から、上記第 1の画像より高画質な第 2の画像を生成する画像処理装置のプログラムであって、

上記第 1の画像を取得する取得ステップと、

上記取得ステップの処理で取得された上記第 1の画像を記憶する記憶ステップと、

上記記憶ステップの処理で記憶された上記第 1の画像に対応した位置に、上記取得ステツプの処理で取得された新たな上記第 1の画像を記憶することで、上記第 1の画像の蓄積画像が記憶されるようにする蓄積処理ステップと、

上記第 1の画素情報から、所定の特徴量を抽出する特徴量抽出ステップと、上記特徴量に基づいて、上記注目画素を、複数のクラスのうちのいずれかに分類するクラス分類ステヅプと、

上記注目画素の位置に基づいて、上記蓄積画像と、上記取得ステップの処理で取得された上記第 1の画像の両方から、第 2の画素情報を切り出す第 2の切り出しステヅプと、 .

上記第 2の画素情報を利用して、上記クラス分類ステツプの処理で分類されたクラスに対応して予め設定された生成方式に従い、上記注目画素を生成する生成ステップと

を含むことを特徴とするコンピュータが読み取り可能なプログラムが記録されている記録媒体。

2 8 . 上記蓄積処理ステップにおいて、上記第 1の画像と上記蓄積画像を、所定の重み付け値に従って重み付け加算し、その結果得られた画像を、上記記憶ステヅプで記憶させることを特徴とするコンピュータが読み取り可能なプログラムが記録されている請求の範囲第 2 7項に記載の記録媒体。

2 9 . 上記蓄積処理ステップにおいて、上記第 1の画像の動きを検出するとともに、検出した上記動きに基づいて、上記重み付け値を設定することを特徴と.するコンビユー夕が読み取り可能なプログラムが記録されている請求の範囲第 2 8 項に記載の記録媒体。

3 0 . 上記蓄積画像は、上記第 1の画像よりも、静止部分においては S N比が高い画像であることを特徴とする請求の範囲第 2 8項に記載の記録媒体。

3 1 . 上記蓄積処理ステップにおいて、上記第 1の画像に含まれる特徴領域の動きを検出するとともに、上記第 1の画像を、検出した上記動きに応じた位置に移動して蓄積し、その結果得られた上記蓄積画像を、上記記憶ステップで記憶させることを特徴とするコンピュ一夕が読み取り可能なプログラムが記録されている請求の範囲第 2 7項に記載の記録媒体。

3 2 . 上記蓄積画像の画素密度は、上記第 1の画像の画素密度より高いことを特徴とするコンピュータが読み取り可能なプログラムが記録されている請求の範囲第 2 8項に記載の記録媒体。

3 3 . 上記蓄積画像の画素密度は、上記第 1の画像の画素密度と同じであることを特徴とするコンピュータが読み取り可能なプログラムが記録されている請求の範囲第 2 8項に記載の記録媒体。

3 4 . 上記蓄積画像の画素数が、上記第 1の画像の画素数よりも多いことを特徴とするコンピュータが読み取り可能なプログラムが記録されている請求の範囲第 2 8項に記載の記録媒体。

3 5 . 上記第 1の切り出しステヅプにおいて、上記第 1の画素情報として、上記第 1の画像からクラスタヅプを切り出し、上記特徴量抽出ステップにおいて、上記クラスタップを構成する画素の画素値の分布を、上記特徴量として抽出することを特徴とするコンピュータが読み取り可能なプログラムが記録されている請求の範囲第 2 7項に記載の記録媒体。

3 6 . 上記第 1の切り出しステップにおいて、上記第 1の画素情報として、上記第 1の画像と上記蓄積画像のそれそれから、 1個又は複数個の画素を切り出し、上記特徴量抽出ステップにおいて、上記 1個又は複数個の画素の画素値を利用して、上記注目画素の静動判定を行うとともに、その判定結果を上記特徴量として抽出することを特徴とするコンピュータが読み取り可能なプログラムが記録されている請求の範囲第 2 7項に記載の記録媒体。

3 7 . 上記特徴量抽出ステップにおいて、上記 1個又は複数個の画素の画素値を利用して、上記第 1の画像と上記蓄積画像の輝度値の差分を算出するとともに、その算出結果を上記特徴量として抽出することを特徴とするコンピュータが読み取り可能なプログラムが記録されている請求の範囲第 3 6項に記載の記録媒体。

3 8 . 上記第 1の切り出しステップにおいて、上記第 1の画素情報として、上記第 1の画像から第 1のクラスタップを切り出すとともに、上記蓄積画像から第 2のクラスタヅプを切り出し、上記特徴量抽出は、上記第 1のクラスタップと上記第 2のクラスタップを利用して、上記注目画素の静動判定を行うとともに、その判定結果及び上記第 1のクラスタツプを構成する画素の画素値の分布を、上記特徴量として抽出することを特徴とするコンピュータが読み取り可能なプログラムが記録されている請求の範囲第 2 7項に記載の記録媒体。

3 9 . 上記第 2の切り出しステップにおいて、上記第 2の画素情報として、予測タップを切り出し、上記生成ステップにおいて、上記クラス毎に予め設定された係数と上記予測タップとを用いた演算を行うことで、上記第 2の画像を生成することを特徴とするコンピュータが読み取り可能なプログラムが記録されている請求の範囲第 2 7項に記載の記録媒体。

4 0 . 第 1の画像から、上記第 1の画像より高画質な第 2の画像を生成するのに用いる所定のデータを学習する画像処理装置において、

上記第 1の画像に相当する生徒画像を生成する生成手段と、

上記生徒画像を記憶する記憶手段と、上記記憶手段により記憶された上記生徒画像に対応した位置に、上記生成手段により生成された新たな上記生徒画像を記憶することで、上記記憶手段に、上記生徒画像の蓄積画像が記億されるようにする蓄積処理手段と、

上記第 2の画像に相当する教師画像の注目画素の位置に基づいて、上記蓄積画像と、上記生成手段により生成された上記生徒画像の両方から、第 1の画素情報を切り出す第 1の切り出し手段と、

上記注目画素の位置に基づいて、上記蓄積画像と、上記生成手段により生成された上記第 1の画像の両方から、第 2の画素情報を切り出す第 2の切り出し手段と、

上記第 2の画素情報及び上記教師画像を利用して、上記クラス分類手段により分類されたクラス毎に、上記所定のデータを求める演算手段と

を備えることを特徴とする画像処理装置。

4 1 . 上記蓄積処理手段は、上記生徒画像と上記蓄積画像を、所定の重み付け値に従って重み付け加算し、その結果得られた画像を、上記記憶手段に記憶させることを特徴とする請求の範囲第 4 0項に記載の画像処理装置。

4 2 . 上記蓄積手段は、上記生徒画像と蓄積画像の値又は差分の大きさに基づいて、上記重み付け値を設定することを特徴とする請求の範囲第 4 1項に記載の画像処理装置。

4 3 . 上記蓄積処理手段は、上記生徒画像の動きを検出するとともに、検出した上記動きに基づいて、上記重み付け値を設定することを特徴とする請求の範囲第 4 1項に記載の画像処理装置。

4 4 . 上記蓄積画像は、上記生徒画像よりも、静止部分においては S N比が高い画像であることを特徴とする請求の範囲第 4 1項に記載の画像処理装置。

4 5 . 上記蓄積処理手段は、上記生徒画像に含まれる特徴領域の動きを検出するとともに、上記生徒画像を、検出した上記動きに応じた位置に移動して蓄積し、その結果得られた上記蓄積画像を、上記記憶手段に記億させることを特徴とする請求の範囲第 4 2項に記載の画像処理装置。

4 6 . 上記蓄積画像の画素密度は、上記生徒画像の画素密度より高いことを特徴とする請求の範囲第 4 5項に記載の画像処理装置。

4 7 . 上記蓄積画像の画素密度は、上記生徒画像の画素密度と同じであることを特徴とする請求の範囲第 4 5項に記載の画像処理装置。

4 8 . 上記第 1の切り出し手段は、上記第 1の画素情報として、上記生徒画像からクラスタップを切り出し、上記特徴量抽出手段は、上記クラスタップを構成する画素の画素値の分布を、上記特徴量として抽出することを特徴とする請求の範囲第 4 0項に記載の画像処理装置。

4 9 . 上記第 1の切り出し手段は、上記第 1の画素情報として、上記生徒画像と上記蓄積画像のそれそれから、 1個又は複数個の画素を切り出し、上記特徴量抽出手段は、上記 1個又は複数個の画素の画素値を利用して、上記注目画素の静動判定を行うとともに、その判定結果を上記特徴量として抽出することを特徴とする請求の範囲第 4 0項に記載の画像処理装置。

5 0 . 上記特徴量抽出手段は、上記 1個又は複数個の画素の画素値を利用して、上記第 1の画像と上記蓄積画像の輝度値の差分を算出するとともに、その算出結果を上記特徴量として抽出することを特徴とする請求の範囲第 4 9項に記載の画像処理装置。

5 1 . 上記第 1の切り出し手段は、上記第 1の画素情報として、上記生徒画像から第 1のクラスタツブを切り出すとともに、上記蓄積画像から第 2のクラスタップを切り出し、上記特徴量抽出手段は、上記第 1のクラスタップと上記第 2のクラスタップを利用して、上記注目画素の静動判定を行うとともに、その判定結果及び上記第 1のクラスタップを構成する画素の画素値の分布を、上記特徴量として抽出することを特徴とする請求の範囲第 4 0項に記載の画像処理装置。

5 2 . 上記第 2の切り出し手段は、上記第 2の画素情報として、予測タップを切り出すことを特徴とする請求の範囲第 4 0項に記載の画像処理装置。

5 3 . 第 1の画像から、上記第 1の画像より高画質な第 2の画像を生成するのに用いる所定のデ一夕を学習する画像処理装置の画像処理方法において、

上記第 1の画像に相当する生徒画像を生成する生成ステップと、上記生徒画像を記憶する記憶ステツプと、

上記記憶ステップの処理で記憶された上記生徒画像に対応した位置に、上記生成ステップの処理で生成された新たな上記生徒画像を記憶することで、上記生徒画像の蓄積画像が記憶されるようにする蓄積処理ステツプと、

上記第 2の画像に相当する教師画像の注目画素の位置に基づいて、上記蓄積画像と、上記生成ステップの処理で生成された上記生徒画像の両方から、第 1の画素情報を切り出す第 1の切り出しステップと、

上記第 1の画素情報から、所定の特徴量を抽出する特徴量抽出ステップと、上記特徴量に基づいて、上記注目画素を、複数のクラスのうちのいずれかに分類するクラス分類ステップと、

上記注目画素の位置に基づいて、上記蓄積画像と、上記生成ステップの処理で生成された上記第 1の画像の両方から、第 2の画素情報を切り出す第 2の切り出しステップと、

上記第 2の画素情報及び上記教師画像を利用して、上記クラス分類ステップの処理で分類されたクラス毎に、上記所定のデータを求める演算ステツプと

を含むことを特徴とする画像処理方法。 .

5 4 . 上記蓄積処理手段は、上記生徒画像と上記蓄積画像を、所定の重み付け値に従って重み付け加算し、その結果得られた画像を、上記記憶手段に記憶させることを特徴とする請求の範囲第 5 3項に記載の画像処理方法。

5 5 . 上記蓄積手段は、上記生徒画像と蓄積画像の値又は差分の大きさに基づいて、上記重み付け値を設定することを特徴とする請求の範囲第 5 4項に記載の画像処理方法。

5 6 . 上記蓄積処理手段は、上記生徒画像の動きを検出するとともに、検出した上記動きに基づいて、上記重み付け値を設定することを特徴とする請求の範囲第 5 4項に記載の画像処理方法。

5 7 . 上記蓄積画像は、上記生徒画像よりも、静止部分においては S N比が高い画像であることを特徴とする請求の範囲第 5 4項に記載の画像処理方法。

5 8 . 上記蓄積処理手段は、上記生徒画像に含まれる特徴領域の動きを検出するとともに、上記生徒画像を、検出した上記動きに応じた位置に移動して蓄積し、その結果得られた上記蓄積画像を、上記記憶手段に記憶させることを特徴とする請求の範囲第 5 5項に記載の画像処理方法。

5 9 . 上記蓄積画像の画素密度は、上記生徒画像の画素密度より高いことを特徴とする請求の範囲第 5 8項に記載の画像処理方法。

6 0 . 上記蓄積画像の画素密度は、上記生徒画像の画素密度と同じであることを特徴とする請求の範囲第 5 8項に記載の画像処理方法。

6 1 . 上記第 1の切り出し手段は、上記第 1の画素情報として、上記生徒画像からクラスタップを切り出し、上記特徴量抽出手段は、上記クラス夕ップを構成する画素の画素値の分布を、上記特徴量として抽出することを特徴とする請求の範囲第 5 3項に記載の画像処理方法。

6 2 . 上記第 1の切り出し手段は、上記第 1の画素情報として、上記生徒画像と上記蓄積画像のそれそれから、 1個又は複数個の画素を切り出し、上記特徴量抽出手段は、上記 1個又は複数個の画素の画素値を利用して、上記注目画素の静動判定を行うとともに、その判定結果を上記特徴量として抽出することを特徴とする請求の範囲第 5 3項に記載の画像処理方法。

6 3 . 上記特徴量抽出手段は、上記 1個又は複数個の画素の画素値を利用して、上記第 1の画像と上記蓄積画像の輝度値の差分を算出するとともに、その算出結果を上記特徴量として抽出することを特徴とする請求の範囲第 6 2項に記載の画像処理方法。

6 4 . 上記第 1の切り出し手段は、上記第 1の画素情報として、上記生徒画像から第 1のクラスタヅプを切り出すとともに、上記蓄積画像から第 2のクラス夕ップを切り出し、上記特徴量抽出手段は、上記第 1のクラスタップと上記第 2のクラスタップを利用して、上記注目画素の静動判定を行うとともに、その判定結果及ぴ上記第 1のクラスタップを構成する画素の画素値の分布を、上記特徴量として抽出することを特徴とする請求の範囲第 5 3項に記載の画像処理方法。

6 5 . 上記第 2の切り出し手段は、上記第 2の画素情報として、予測タップを切り出すことを特徴とする請求の範囲第 5 3項に記載の画像処理方法。

6 6 . 第 1の画像から、上記第 1の画像より高画質な第 2の画像を生成するのに用いる所定のデ一夕を学習する画像処理装置のプログラムであって、上記第 1の画像に相当する生徒画像を生成する生成ステツプと、

上記生徒画像を記憶する記憶ステップと、

上記記憶ステップの処理で記憶された上記生徒画像に対応した位置に、上記生成ステップの処理で生成された新たな上記生徒画像を記憶することで、上記生徒画像の蓄積画像が記憶されるようにする蓄積処理ステップと、

上記注目画素の位置に基づいて、上記蓄積画像と、上記生成ステップの処理で生成された上記第 1の画像の両方から、第 2の画素情報を切り出す第 2の切り出しステヅプと、

上記第 2の画素情報及び上記教師画像を利用して、上記クラス分類ステップの処理で分類されたクラス毎に、上記所定のデータを求める演算ステップとを含むことを特徴とするコンピュータが読み取り可能なプログラムが記録されている記録媒体。

6 7 . 上記蓄積処理ステップにおいて、上記生徒画像と上記蓄積画像を、所定の重み付け値に従って重み付け加算し、その結果得られた画像を、上記記憶ステヅプで記憶させることを特徴とするコンピユー夕が読み取り可能なプログラムが記録されている請求の範囲第 6 6項に記載の記録媒体。

6 8 . 上記蓄積ステップにおいて、上記生徒画像と蓄積画像の値又は差分の大きさに基づいて、上記重み付け値を設定することを特徴とするコンピュータが読み取り可能なプログラムが記録されている請求の範囲第 6 7項に記載の記録媒体 6 9 . 上記蓄積処理ステップにおいて、上記生徒画像の動きを検出するとともに、検出した上記動きに基づいて、上記重み付け値を設定する

ことを特徴とするコンピュー夕が読み取り可能なプログラムが記録されている請求の範囲第 6 7項に記載の記録媒体。

7 0 . 上記蓄積画像は、上記生徒画像よりも、静止部分においては S N比が高い画像であることを特徴とするコンピュータが読み取り可能なプログラムが記録されている請求の範囲第 6 7項に記載の記録媒体。

7 1 . 上記蓄積処理ステップにおいて、上記生徒画像に含まれる特徴領域の動きを検出するとともに、上記生徒画像を、検出した上記動きに応じた位置に移動して蓄積し、その結果得られた上記蓄積画像を、上記記憶ステップで記憶させることを特徴とするコンビユー夕が読み取り可能なプログラムが記録されている請求の範囲第 6 8項に記載の記録媒体。

7 2 . 上記蓄積画像の画素密度は、上記生徒画像の画素密度より高いことを特徴とするコンピュータが読み取り可能なプログラムが記録されている請求の範囲第 7 1項に記載の記録媒体。

7 3 . 上記蓄積画像の画素密度は、上記生徒画像の画素密度と同じであることを特徴とするコンビユー夕が読み取り可能なプログラムが記録されている請求の範囲第 7 1項に記載の記録媒体。

7 4 . 上記第 1の切り出しステップにおいて、上記第 1の画素情報として、上記生徒画像からクラスタップを切り出し、上記特徴量抽出ステップにおいて、上記クラス夕ップを構成する画素の画素値の分布を、上記特徴量として抽出することを特徴とするコンピュータが読み取り可能なプログラムが記録されている請求の範囲第 6 6項に記載の記録媒体。

7 5 . 上記第 1の切り出しステップにおいて、上記第 1の画素情報として、上記生徒画像と上記蓄積画像のそれそれから、 1個又は複数個の画素を切り出し、上記特徴量抽出ステップにおいて、上記 1個又は複数個の画素の画素値を利用して、上記注目画素の静動判定を行うとともに、その判定結果を上記特徴量として抽出することを特徴とするコンピュータが読み取り可能なプログラムが記録されている請求の範囲第 6 6項に記載の記録媒体。

7 6 . 上記特徴量抽出ステップにおいて、上記 1個又は複数個の画素の画素値を利用して、上記第 1の画像と上記蓄積画像の輝度値の差分を算出するとともに、その算出結果を上記特徴量として抽出することを特徴とするコンピュータが読み取り可能なプログラムが記録されている請求の範囲第 7 5項に記載の記録媒体。

7 7 . 上記第 1の切り出しステヅプにおいて、上記第 1の画素情報として、上記生徒画像から第 1のクラスタツプを切り出すとともに、上記蓄積画像から第 2 のクラスタップを切り出し、上記特徴量抽出ステップにおいて、上記第 1のクラスタップと上記第 2のクラスタツプを利用して、上記注目画素の静動判定を行うとともに、その判定結果及び上記第 1のクラスタップを構成する画素の画素値の分布を、上記特徴量として抽出することを特徴とするコンピュータが読み取り可能なプログラムが記録されている請求の範囲第 6 6項に記載の記録媒体。

7 8 . 上記第 2の切り出しステップにおいて、上記第 2の画素情報として、予測タップを切り出すことを特徴とするコンピュータが読み取り可能なプログラムが記録されている請求の範囲第 6 6項に記載の記録媒体。