WO2005027041A1

WO2005027041A1 - 視覚処理装置、視覚処理方法、視覚処理プログラムおよび半導体装置

Info

Publication number: WO2005027041A1
Application number: PCT/JP2004/013601
Authority: WO
Inventors: Haruo Yamashita; Tatsumi Watanabe; Yusuke Monobe; Takeshi Ito; Akio Kojima; Yasuhiro Kuwahara; Toshiharu Kurosawa
Original assignee: Matsushita Electric Industrial Co., Ltd.
Priority date: 2003-09-11
Filing date: 2004-09-10
Publication date: 2005-03-24
Also published as: US7945115B2; EP1667064A1; US20070071318A1; KR101027825B1; US7783126B2; JP2009211708A; KR20110003598A; KR20060121876A; US20100309216A1; EP1667064A4; KR101089394B1

Abstract

　本発明は、さらに視覚的効果を向上させる階調処理を実現する視覚処理装置を提供するものである。視覚処理装置１は、入力信号ＩＳを画像領域毎に階調処理する視覚処理装置であって、画像分割部２と、階調変換曲線導出部１０と、階調処理部５とを備えている。画像分割部２と、階調変換曲線導出部１０とは、広域画像領域Ｅｍの明度ヒストグラムＨｍを用いて、画像領域Ｐｍの階調変換曲線Ｃｍを作成する。階調処理部５は、導出された階調変換曲線Ｃｍに基づいて、画像領域Ｐｍの階調処理を行う。

Description

明細書視覚処理装置、視覚処理方法、視覚処理プログラムおよび半導体装置 (技術分野）

本発明は、視覚処理装置、特に、画像信号の階調処理を行う視覚処理装置に関する。また、別の本発明は、視覚処理方法、視覚処理プログラムおよび半導体装置に関する。 (背景技術）

原画像の画像信号の視覚処理として、空間処理と階調処理とが知られている。空間処理とは、処理対象となる対象画素の周辺の画素を用い、対象画素の処理を行うことである。また、空間処理された画像信号を用いて、原画像のコントラスト強調、ダイナミックレンジ（D R ) 圧縮など行う技術が知られている。コントラスト強調では、原画像とボケ信号との差分（画像の鮮鋭成分）を原画像に加え、画像の鮮鋭化が行われる。 D R圧縮では、原画像からボケ信号の一部が減算され、ダイナミックレンジの圧縮が行われる。

階調処理とは、対象画素の周辺の画素とは無関係に、対象画素毎にルックアツプテーブル（L U T ) などを用いて画素値の変換を行う処理であり、ガンマ補正と呼ばれることもある。例えば、コントラスト強調する場合、原画像での出現頻度の高い階調レベルの階調を強調する L U Tを用いて画素値の変換が行われる。

L U Tを用いた階調処理として、原画像全体に 1つの L U Tを決定して用いる階調処理（ヒストグラム均等化法）と、原画像を複数に分割した画像領域のそれぞれについて L U Tを決定して用いる階調処理（局所的ヒストグラム均等化法）とが知られている（例えば、特開 2 0 0 0— 5 7 3 3 5号公報（第 3頁，第 1 3図〜第 1 6図）参照。）。

図 3 3〜図 3 6を用いて、原画像を複数に分割した画像領域のそれぞれについて L U Tを決定して用いる階調処理について説明する。

図 3 3に、原画像を複数に分割した画像領域のそれぞれについて L U Tを決定して用いる視覚処理装置 300を示す。視覚処理装置 300は、入力信号 I Sとして入力される原画像を複数の画像領域 Sm (1≤m≤n ： nは原画像の分割数 ) に分割する画像分割部 301と、それぞれの画像領域 Smに対して階調変換曲線 Cmを導出する階調変換曲線導出部 31 0と、階調変換曲線 Cmをロードしそれぞれの画像領域 Smに対して階調処理した出力信号 OSを出力する階調処理部 304とを備えている。階調変換曲線導出部 31 0は、それぞれの画像領域 Sm 内の明度ヒストグラム Hmを作成するヒストグラム作成部 302と、作成された明度ヒストグラム Hmからそれぞれの画像領域 Smに対する階調変換曲線 Cmを作成する階調曲線作成部 303とから構成される。

図 34〜図 36を用いて、各部の動作について説明を加える。画像分割部 30 1は、入力信号 I Sとして入力される原画像を複数（n個）の画像領域に分割する（図 34 (a) 参照。）。ヒストグラム作成部 302は、それぞれの画像領域 Smの明度ヒストグラム Hmを作成する（図 35参照。）。それぞれの明度ヒストグラム Hmは、画像領域 Sm内の全画素の明度値の分布状態を示している。すなわち、図 35 (a) 〜（d) に示す明度ヒストグラム Hmにおいて、横軸は入力信号 I Sの明度レベルを、縦軸は画素数を示している。階調曲線作成部 303 は、明度ヒストグラム Hmの「画素数」を明度の順に累積し、この累積曲線を階調変換曲線 Cmとする（図 36参照。）。図 36に示す階調変換曲線 Cmにおいて、横軸は入力信号 I Sにおける画像領域 Smの画素の明度値を、縦軸は出力信号 OSにおける画像領域 Smの画素の明度値を示している。階調処理部 304は、階調変換曲線 Cmをロードし階調変換曲線 Cmに基づいて、入力信号 I Sにおける画像領域 Smの画素の明度値を変換する。こうすることにより、各ブロックにおいて出現頻度の高い階調の傾きを立てることとなり、ブロックごとのコントラスト感が向上するものである。

. (発明の開示）

ヒス卜グラム作成部 302では、画像領域 Sm内の画素の明度ヒストグラム H mから階調変換曲線 Cmを作成する。画像領域 Smに適用する階調変換曲線 Cm をより適切に作成するには、画像の暗部（シャドー）から明部（ハイライ卜）までを満遍なく有していることが必要であり、より多くの画素を参照する必要がある。このため、それぞれの画像領域 S mをあまり小さくすることができない、すなわち原画像の分割数 nをあまり大きくすることができない。分割数 nとしては、画像内容によって異なるが、経験的に、 4 ~ 1 6の分割数が用いられている。それぞれの画像領域 S mをあまり小さくすることができないため、階調処理後の出力信号 O Sにおいては、次の問題が発生することがある。すなわち、それぞれの画像領域 S mごとに 1つの階調変換曲線 C mを用いて階調処理するため、それぞれの画像領域 S mの境界のつなぎ目が不自然に目立ったり、画像領域 S m内で疑似輪郭が発生する場合がある。また、分割数がせいぜい 4 ~ 1 6では画像領域 S mが大きいため、画像領域間で極端に異なる画像が存在する場合、画像領域間の濃淡変化が大きく、擬似輪郭の発生を防止することが、難し'い。例えば、図 3 4 ( b ) 、図 3 4 ( c ) のように、画像（例えば、画像中の物体など）と画像領域 S mとの位置関係で極端に濃淡が変化する。

そこで、本発明では、さらに視覚的効果を向上させる階調処理を実現する視覚処理装置を提供することを課題とする。

請求項 1に記載の視覚処理装置は、入力された画像信号を画像領域毎に階調処理する視覚処理装置であって、階調変換特性導出手段と、階調処理手段とを備えている。階調変換特性導出手段は、階調処理の対象となる対象画像領域の周辺に位置する画像領域であって、複数の画素を含む少なくとも 1つの周辺画像領域の周辺画像データを用いて、対象画像領域の階調変換特性を導出する。階調処理手段は、導出された階調変換特性に基づいて、対象画像領域の画像信号の階調処理を行う。

対象画像領域とは、例えば、画像信号に含まれる画素や、画像信号を所定の単位に分割した画像ブロックその他の複数の画素から構成される領域などである。周辺画像領域とは、例えば、画像信号を所定の単位に分割した画像ブロックその他の複数の画素から構成される領域である。周辺画像データとは、周辺画像領域の画像データあるいは画像データから導出されるデータなどであり、例えば、周辺画像領域の画素値、階調特性（画素毎の輝度や明度）、サムネイル（縮小画像や解像度を落とした間引き画像）などである。また、周辺画像領域は、対象画像領域の周辺に位置すればよく、対象画像領域を取り囲む領域である必要はない。本発明の視覚処理装置では、対象画像領域の階調変換特性を判断する際に、周辺画像領域の周辺画像データを用いて判断を行う。このため、対象画像領域毎の階調処理に空間処理的効果を加えることが可能となり、さらに視覚的効果を向上させる階調処理を実現することが可能となる。

請求項 2に記載の視覚処理装置は、請求項 1に記載の視覚処理装置であって、周辺画像領域は、画像信号を所定の単位に分割した画像ブロックである。

ここで、画像ブロックとは、画像信号を矩形に分割したそれぞれの領域である。本発明の視覚処理装置では、周辺画像領域を画像プロック単位で処理することが可能となる。このため、周辺画像領域の決定や、階調変換特性の導出に要する処理負荷を低減することが可能となる。

請求項 3に記載の視覚処理装置は、請求項 1または 2に記載の視覚処理装置であって、階調変換特性導出手段は、対象画像領域の対象画像データをさらに用いて、対象画像領域の階調変換特性を導出する。

対象画像データとは、対象画像領域の画像データあるいは画像データから導出されるデータなどであり、例えば、対象画像領域の画素値、階調特性（画素毎の輝度や明度）、サムネイル（縮小画像や解像度を落とした間引き画像）などである。

本発明の視覚処理装置では、対象画像領域の階調変換特性を判断する際に、対象画像領域の対象画像データだけでなく、周辺画像領域の周辺画像データを用いて判断を行う。このため、対象画像領域の階調処理に空間処理的効果を加えることが可能となり、さらに視覚的効果を向上させる階調処理を実現することが可能となる。

請求項 4に記載の視覚処理装置は、請求項 3に記載の視覚処理装置であって、階調変換特性導出手段は、対象画像データおよび周辺画像データを用いて対象画像領域の特徴を示すパラメータである特徴パラメータを導出する特徴パラメータ導出手段と、特徴パラメータ導出手段で導出された対象領域の特徴パラメータに基づいて階調変換特性を決定する階調変換特性決定手段とを有している。

特徴パラメータとは、例えば、対象画像データおよび周辺画像データなどの平均値（単純平均値、加重平均値など）や、代表値（最大値、最小値、中央値など）や、ヒストグラムなどである。ここで、ヒストグラムとは、例えば、対象画像データおよび周辺画像データの階調特性の分布である。

本発明の視覚処理装置では、対象画像データだけでなく、周辺画像データを用いて特徴パラメータを導出する。このため、対象画像領域の階調処理に空間処理的効果を加えることが可能となり、さらに視覚的効果を向上させる階調処理を実現することが可能となる。より具体的な効果として、階調処理による疑似輪郭の発生を抑制することが可能となる。また、対象画像領域の境界が不自然に目立つことが防止可能となる。

請求項 5に記載の視覚処理装置は、請求項 4に記載の視覚処理装置であって、特徴パラメータは、ヒストグラムであることを特徴とする。

階調変換特性決定手段は、例えば、ヒストグラムの値を累積した累積曲線を階調変換特性として決定する、あるいはヒス卜グラムに応じた階調変換特性を選択する。

本発明の視覚処理装置では、対象画像データだけでなく、周辺画像データを用いてヒス卜グラムを作成する。このため、階調処理による疑似輪郭の発生を抑制することが可能となる。また、対象画像領域の境界が不自然に目立つことが防止可能となる。

請求項 6に記載の視覚処理装置は、請求項 4に記載の視覚処理装置であって、階調変換特性決定手段は、特徴パラメータを用いて予めテーブル化された階調変換特性を選択することを特徴とする。

ここで、階調変換特性は、テーブル化されたデータであり、テーブルには、対象画像データに対する階調処理後の対象画像データの特性が格納されている。階調変換特性決定手段は、特徴パラメータの値のそれぞれに対応するテーブルを選択する。

本発明の視覚処理装置では、テーブル化された階調変換特性を用いて階調処理を行う。このため、階調処理を高速化することが可能となる。また、複数のテーブルから 1つのテーブルを選択して階調処理を行うため、適切な階調処理を行うことが可能となる。請求項 1に記載の視覚処理装置は、請求項 6に記載の視覚処理装置であって、予めテーブル化された階調変換特性は、変更可能なことを特徴とする。

本発明の視覚処理装置では、階調変換特性を変更することにより、ハードゥエァ構成を変更せずに階調処理の特性を様々に変更することが可能となる。

請求項 8に記載の視覚処理装置は、請求項 7に記載の視覚処理装置であって、階調変換特性の変更は、階調変換特性の少なくとも一部を補正することによって実現されることを特徴とする。

本発明の視覚処理装置では、階調変換特性の少なくとも一部を補正することにより階調変換特性の変更を行う。このため、階調変換特性のための記憶容量を削減しつつ、様々な階調処理を実現することが可能となる。

請求項 9に記載の視覚処理装置は、請求項 4に記載の視覚処理装置であって、階調変換特性決定手段は、特徴パラメータを用いて予め決定された演算により階調変換特性を生成することを特徴とする。

ここで、階調変換特性は、対象画像データに対する階調処理後の対象画像データを与える。また、階調変換特性を生成する演算は、特徴パラメータを用いて予め決定されている。より詳しくは、例えば、特徴パラメータの値のそれぞれに対応ずる演算が選択される、あるいは特徴パラメータの値に応じて演算が生成される。

本発明の視覚処理装置では、階調変換特性を予め記憶しておく必要が無く、階調変換特性を記憶するための記憶容量を削減することが可能となる。

請求項 1 0に記載の視覚処理装置は、請求項 9に記載の視覚処理装置であって、予め決定された演算は、変更可能なことを特徴とする。

本発明の視覚処理装置では、演算を変更することにより、階調処理の特性を様々に変更することが可能となる。

請求項 1 1に記載の視覚処理装置は、請求項 1 0に記載の視覚処理装置であつて、演算の変更は、演算の少なくとも一部を補正することによって実現されることを特徴とする。

本発明の視覚処理装置では、演算の少なくとも一部を補正することにより階調変換特性が変更される。このため、演算を記憶するための記憶容量が同じであつても、さらに多様な階調処理を実現することが可能となる。

請求項 1 2に記載の視覚処理装置は、請求項 4に記載の視覚処理装置であって、階調変換特性は、複数の階調変換特性を内挿または外挿して得られるものであることを特徴とする。

ここで、階調変換特性とは、例えば、対象画像データに対する階調処理後の対象画像データの特性である。階調変換特性は、例えば、テーブル形式、、あるいは演算形式で与えられている。

本発明の視覚処理装置では、複数の階調変換特性を内挿あるいは外揷することにより得られる新たな階調変換特性を用いて、階調処理を行うことが可能となる。このため、階調変換特性を記憶するための記憶容量を削減しても、より多様な階調処理を実現することが可能となる。

請求項 1 3に記載の視覚処理方法は、入力された画像信号を画像領域毎に階調処理する視覚処理方法であって、階調変換特性導出ステップと、階調処理ステツプとを備えている。階調変換特性導出ステップは、階調処理の対象となる対象画像領域の周辺に位置する画像領域であって、複数の画素を含む少なくとも 1つの周辺画像領域の周辺画像データを用いて、対象画像領域の階調変換特性を導出する。階調処理ステップは、導出された階調変換特性に基づいて、対象画像領域の画像信号の階調処理を行う。

本発明の視覚処理方法では、対象画像領域の階調変換特性を判断する際に、周辺画像領域の周辺画像データを用いて判断を行う。このため、対象画像領域毎の階調処理に空間処理的効果を加えることが可能となり、さらに視覚的効果を向上させる階調処理を実現することが可能となる。

請求項 1 4に記載の視覚処理方法は、請求項 1 3に記載の視覚処理方法であつて、周辺画像領域は、画像信号を所定の単位に分割した画像ブロックである。本発明の視覚処理方法では、周辺画像領域画像ブロック単位で処理することが可能となる。このため、周辺画像領域の決定や、階調変換特性の導出に要する処理負荷を低減することが可能となる。

請求項 1 5に記載の視覚処理方法は、請求項 1 3または 1 4に記載の視覚処理方法であって、階調変換特性導出ステップは、対象画像領域の対象画像データをさらに用いて、対象画像領域の階調変換特性を導出する。

本発明の視覚処理方法では、対象画像領域の階調変換特性を判断する際に、対象画像領域の対象画像データだけでなく、周辺画像領域の周辺画像データを用いて判断を行う。このため、対象画像領域の階調処理に空間処理的効果を加えることが可能となり、さらに視覚的効果を向上させる階調処理を実現することが可能となる。、

請求項 1 6に記載の視覚処理方法は、請求項 1 5に記載の視覚処理方法であつて、階調変換特性導出ステップは、対象画像データおよび周辺画像データを用いて対象画像領域の特徴を示すパラメータである特徴パラメータを導出する特徴パラメ一タ導出ステップと、特徴パラメータ導出ステップで導出された対象領域の特徴パラメータに基づいて階調変換特性を決定する階調変換特性決定ステップとを有している。

本発明の視覚処理方法では、対象画像データだけでなく、周辺画像データを用いて特徴パラメータを導出する。このため、対象画像領域の階調処理に空間処理的効果を加えることが可能となり、さらに視覚的効果を向上させる階調処理を実現することが可能となる。より具体的な効果として、階調処理による疑似輪郭の発生を抑制することが可能となる。また、対象画像領域の境界が不自然に目立つことが防止可能となる。

請求項 1 7に記載の視覚処理プログラムは、コンピュータを用いて、入力された画像信号を画像領域毎に階調処理する視覚処理方法を行うための視覚処理プログラムである。視覚処理方法は、階調変換特性導出ステップと、階調処理ステツプとを備えている。階調変換特性導出ステップは、階調処理の対象となる対象画像領域の周辺に位置する画像領域であって、複数の画素を含む少なくとも 1つの周辺画像領域の周辺画像データを用いて、対象画像領域の階調変換特性を導出する。階調処理ステップは、導出された階調変換特性に基づいて、対象画像領域の画像信号の階調処理を行う。

本発明の視覚処理プログラムでは、対象画像領域の階調変換特性を判断する際に、周辺画像領域の周辺画像データを用いて判断を行う。このため、対象画像領域毎の階調処理に空間処理的効果を加えることが可能となり、さらに視覚的効果 W

9 を向上させる階調処理を実現することが可能となる。

請求項 1 8に記載の視覚処理プログラムは、請求項 1 7に記載の視覚処理プログラムであって、周辺画像領域は、画像信号を所定の単位に分割した画像ブロックである。

本発明の視覚処理プログラムでは、周辺画像領域を画像ブロック単位で処理することが可能となる。このため、周辺画像領域の決定や、階調変換特性の導出に要する処理負荷を低減することが可能となる。

請求項 1 9に記載の視覚処理プログラムは、請求項 1 7または 1 8に記載の視覚処理プログラムであって、階調変換特性導出ステップは、対象画像領域の対象画像データをさらに用いて、対象画像領域の階調変換特性を導出する。

本発明の視覚処理プログラムでは、対象画像領域の階調変換特性を判断する際に、対象画像領域の対象画像データだけでなく、周辺画像領域の周辺画像データを用いて判断を行う。このため、対象画像領域の階調処理に空間処理的効果を加えることが可能となリ、さらに視覚的効果を向上させる階調処理を実現することが可能となる。

請求項 2 0に記載の視覚処理プログラムは、請求項 1 9に記載の視覚処理プログラムであって、階調変換特性導出ステップは、対象画像データおよび周辺画像データを用いて対象画像領域の特徴を示すパラメータである特徴パラメータを導出する特徴パラメータ導出ステップと、特徴パラメータ導出ステップで導出された対象領域の特徴パラメータに基づいて階調変換特性を決定する階調変換特性決定ステップとを有している。

本発明の視覚処理プログラムでは、対象画像データだけでなく、周辺画像デ一タを用いて特徴パラメータを導出する。このため、対象画像領域の階調処理に空間処理的効果を加えることが可能となり、さらに視覚的効果を向上させる階調処理を実現することが可能となる。より具体的な効果として、階調処理による疑似輪郭の発生を抑制することが可能となる。また、対象画像領域の境界が不自然に目立つことが防止可能となる。

請求項 2 1に記載の半導体装置は、入力された画像信号を画像領域毎に階調処理する半導体装置であって、階調変換特性導出部と、階調処理部とを備えている。階調変換特性導出部は、階調処理の対象となる対象画像領域の周辺に位置する画像領域であって、複数の画素を含む少なくとも 1つの周辺画像領域の周辺画像データを用いて、対象画像領域の階調変換特性を導出する。階調処理部は、導出された階調変換特性に基づいて、対象画像領域の画像信号の階調処理を行う。本発明の半導体装置では、対象画像領域の階調変換特性を判断する際に、周辺画像領域の周辺画像データを用いて判断を行う。このため、対象画像領域毎の階調処理に空間処理的効果を加えることが可能となり、さらに視覚的効果を向上させる階調処理を実現することが可能となる。

請求項 2 2に記載の半導体装置は、請求項 2 1に記載の半導体装置であって、周辺画像領域は、画像信号を所定の単位に分割した画像ブロックである。

本発明の半導体装置では、周辺画像領域を画像ブロック単位で処理することが可能となる。このため、周辺画像領域の決定や、階調変換特性の導出に要する処理負荷を低減することが可能となる。

請求項 2 3に記載の半導体装置は、請求項 2 1または 2 2に記載の半導体装置であって、階調変換特性導出部は、対象画像領域の対象画像データをさらに用いて、対象画像領域の階調変換特性を導出する。

本発明の半導体装置では、対象画像領域の階調変換特性を判断する際に、対象画像領域の対象画像データだけでなく、周辺画像領域の周辺画像データを用いて判断を行う。このため、対象画像領域の階調処理に空間処理的効果を加えることが可能となり、さらに視覚的効果を向上させる階調処理を実現することが可能となる。

請求項 2 4に記載の半導体装置は、請求項 2 3に記載の半導体装置であって、階調変換特性導出部は、対象画像データおよび周辺画像データを用いて対象画像領域の特徴を示すパラメータである特徴パラメータを導出する特徴パラメータ導出部と、特徴パラメータ導出部で導出された対象領域の特徴パラメータに基づいて階調変換特性を決定する階調変換特性決定部とを有している。

本発明の半導体装置では、対象画像データだけでなく、周辺画像データを用いて特徴パラメータを導出する。このため、対象画像領域の階調処理に空間処理的効果を加えることが可能となり、さらに視覚的効果を向上させる階調処理を実現することが可能となる。より具体的な効果として、階調処理による疑似輪郭の発生を抑制することが可能となる。また、対象画像領域の境界が不自然に目立つことが防止可能となる。

本発明の視覚処理装置により、さらに視覚的効果を向上させる階調処理を実現することが可能となる。

(図面の簡単な説明）

図 1は、視覚処理装置 1の構造を説明するブロック図（第 1実施形態）である。図 2は、画像領域 P mについて説明する説明図（第 1実施形態）である。

図 3は、明度ヒストグラム H mについて説明する説明図（第 1実施形態）である図 4は、階調変換曲線 C mについて説明する説明図（第 1実施形態）である。図 5は、視覚処理方法について説明するフローチャート（第 1実施形態）である図 6は、視覚処理装置 1 1の構造を説明するブロック図（第 2実施形態）である図 7は、階調変換曲線候補 G 1 ~ G pについて説明する説明図（第 2実施形態）である。

図 8は、 2次元 L U T 4 1について説明する説明図（第 2実施形態）である。図 9は、階調補正部 1 5の動作について説明する説明図（第 2実施形態）である図 1 0は、視覚処理方法について説明するフローチャート (第 2実施形態) である。

図 1 1は、階調変換曲線 C mの選択の変形例について説明する説明図（第 2実施形態）である。

図.1 2は、変形例としての階調処理について説明する説明図（第 2実施形態）である。

図 1 3は、階調処理実行部 4 4の構造を説明するブロック図（第 2実施形態）でる。図 1 4は、曲線パラメータ P Iおよび P 2と、階調変換曲線候補 G 1〜G pとの関係について説明する説明図（第 2実施形態）である。

図 1 5は、曲線パラメータ P 1および P 2と、選択信号 S mとの関係について説明する説明図（第 2実施形態）である。

図 1 6は、曲線パラメータ P 1および P 2と、選択信号 S mとの関係について説明する説明図（第 2実施形態）である。、図 1 7は、曲線パラメータ P 1および P 2と、階調変換曲線候補 G 1 ~ G pとの関係について説明する説明図（第 2実施形態）である。

図 1 8は、曲線パラメータ P 1および P 2と、選択信号 S mとの関係について説明する説明図（第 2実施形態）である。

図 1 9は、視覚処理装置 2 1の構造を説明するブロック図（第 3実施形態）である。

図 2 0は、選択信号補正部 2 4の動作について説明する説明図（第 3実施形態）である。

図 2 1は、視覚処理方法について説明するフローチヤ一ト (第 3実施形態) である。

図 2 2は、視覚処理装置 6 1の構造を説明するブロック図（第 4実施形態）である。

図 2 3は、空間処理部 6 2の空間処理について説明する説明図（第 4実施形態）である。

図 2 4は、重み係数 [W i j ] について説明する表（第 4実施形態）である。図 2 5は、視覚処理装置 6 1による視覚処理の効果を説明する説明図（第 4実施形態）である。

図 2 6は、視覚処理装置 9 6 1の構造を説明するブロック図（第 4実施形態）である。

図.2 7は、空間処理部 9 6 2の空間処理について説明する説明図（第 4実施形態 ) である。

図 2 8は、重み係数 [W i j ] について説明する表（第 4実施形態）である。図 2 9は、コンテンツ供給システムの全体構成について説明するブロック図（第 6実施形態）である。

図 3 0は、本発明の視覚処理装置を搭載する携帯電話の例（第 6実施形態）である。

図 3 1は、携帯電話の構成について説明するブロック図（第 6実施形態）である o

図 3 2は、ディジタル放送用システムの例（第 6実施形態）である。、図 3 3は、視覚処理装置 3 0 0の構造を説明するブロック図（背景技術）である図 3 4は、画像領域 S mについて説明する説明図（背景技術）である。

図 3 5は、明度ヒストグラム H mについて説明する説明図（背景技術）である。図 3 6は、階調変換曲線 C mについて説明する説明図（背景技術）である。

(発明を実施するための最良の形態）

[第 1実施形態]

本発明の第 1実施形態としての視覚処理装置 1について図 1〜図 5を用いて説明する。視覚処理装置 1は、例えば、コンピュータ、テレビ、デジタルカメラ、携帯電話、 P D Aなど、画像を取り扱う機器に内蔵、あるいは接続されて、画像の階調処理を行う装置である。視覚処理装置 1は、従来に比して細かく分割された画像領域のそれぞれについて階調処理を行う点を特徴として有している。

〈構成〉

図 1に、視覚処理装置 1の構造を説明するブロック図を示す。視覚処理装置 1 は、入力信号 I Sとして入力される原画像を複数の画像領域 P m ( 1≤m≤n ： nは原画像の分割数）に分割する画像分割部 2と、それぞれの画像領域 P mに対して階調変換曲線 C mを導出する階調変換曲線導出部 1 0と、階調変換曲線 G m をロードしそれぞれの画像領域 P mに対して階調処理した出力信号 O Sを出力する階調処理部 5とを備えている。階調変換曲線導出部 1 0は、それぞれの画像領域 P mと画像領域 P m周辺の画像領域とから構成される広域画像領域 E mの画素の明度ヒストグラム H mを作成するヒストグラム作成部 3と、作成された明度ヒストグラム H mからそれぞれの画像領域 P mに対する階調変換曲線 C mを作成する階調曲線作成部 4とから構成される。

〈作用〉

図 2〜図 4を用いて、各部の動作について説明を加える。画像分割部 2は、入力信号 I Sとして入力される原画像を複数（n個）の画像領域 Pmに分割する（図 2参照。）。ここで、原画像の分割数は、図 33に示す従来の視覚処理装置 3 00の分割数（例えば、 4~1 6分割）よりも多く、例えば、横方向に 80分割し縦方向に 60分割する 4800分割などである。

ヒス卜グラム作成部 3は、それぞれの画像領域 Pmに対して広域画像領域 Em の明度ヒストグラム Hmを作成する。ここで、広域画像領域 Emとは、それぞれの画像領域 Pmを含む複数の画像領域の集合であり、例えば、画像領域 Pmを中心とする縦方向 5ブロック、横方向 5ブロックの 25個の画像領域の集合である。なお、画像領域 Pmの位置によっては、画像領域 Pmの周辺に縦方向 5ブロック、横方向 5ブロックの広域画像領域 Emを取ることができない場合がある。例えば、原画像の周辺に位置する画像領域 P Iに対して、画像領域 P Iの周辺に縦方向 5ブロック、横方向 5ブロックの広域画像領域 E Iを取ることができない。この場合には、画像領域 P I を中心とする縦方向 5ブロック横方向 5ブロックの領域と原画像とが重なる領域が広域画像領域 E I として採用される。ヒストグラム作成部 3が作成する明度ヒス卜グラム Hmは広域画像領域 Em内の全画素の明度値の分布状態を示している。すなわち、図 3 (a) ~ (c) に示す明度ヒストグラム Hmにおいて、横軸は入力信号 I Sの明度レベルを、縦軸は画素数を示している。

階調曲線作成部 4は、広域画像領域 Emの明度ヒストグラム Hmの「画素数 j を明度の順に累積し、この累積曲線を画像領域 Pmの階調変換曲線 Cmとする（図 4参照。）。図 4に示す階調変換曲線 Cmにおいて、横軸は入力信号 I Sにおける画像領域 Pmの画素の明度値を、縦軸は出力信号 OSにおける画像領域 Pm の画素の明度値を示している。階調処理部 5は、階調変換曲線 Cmをロードし階調変換曲線 Cmに基づいて、入力信号 I Sにおける画像領域 Pmの画素の明度値を変換する。

〈視覚処理方法および視覚処理プログラム〉図 5に、視覚処理装置 1における視覚処理方法を説明するフローチャートを示す。図 5に示す視覚処理方法は、視覚処理装置 1においてハードウエアにより実現され、入力信号 I S (図 1参照）の階調処理を行う方法である。図 5に示す視覚処理方法では、入力信号 I Sは、画像単位で処理される（ステップ S I 0〜S 1 6) 。入力信号 I Sとして入力される原画像は、複数の画像領域 Pm (1≤m ≤n ： nは原画像の分割数）に分割され（ステップ S I 1 ) 、画像領域 Pm毎に階調処理される（ステップ S I 2〜S 1 5) 。

それぞれの画像領域 P mと画像領域 P m周辺の画像領域とから構成される広域画像領域 Emの画素の明度ヒストグラム Hmが作成される（ステップ S 1 2) 。さらに、明度ヒストグラム Hmに基づいて、それぞれの画像領域 Pmに対する階調変換曲線 Cmが作成される（ステップ S 1 3) 。ここで、明度ヒス卜グラム H mおよび階調変換曲線 Cmについては、説明を省略する（上記〈作用〉の欄参照。）。作成された階調変換曲線 Cmを用いて、画像領域 Pmの画素について階調処理が行われる（ステップ S 1 ) 。さらに、全ての画像領域 Pmについての処理が終了したか否かを判定し（ステップ S 1 5) 、処理が終了したと判定されるまで、ステップ S I 2~S 1 5の処理を原画像の分割数回繰り返す。以上により、画像単位の処理が終了する（ステップ S 1 6) 。

なお、図 5に示す視覚処理方法のそれぞれのステップは、コンピュータなどにより、視覚処理プログラムとして実現されるものであっても良い。

〈効果〉

(1 )

階調変換曲線 Cmは、それぞれの画像領域 Pmに対して作成される。このため、原画像全体に対して同一の階調変換を行う場合に比して、適切な階調処理を行うことが可能となる。

(2)

それぞれの画像領域 Pmに対して作成される階調変換曲線 Cmは、広域画像領域 Emの明度ヒストグラム Hmに基づいて作成される。このため、画像領域 Pm 毎の大きさは小さくとも十分な明度値のサンプリングが可能となる。また、この結果、小さな画像領域 Pmに対しても、適切な階調変換曲線 Gmを作成することが可能となる。

( 3 )

隣接する画像領域に対する広域画像領域は、重なりを有している。このため、隣接する画像領域に対する階調変換曲線は、お互いに似通った傾向を示すことが多い。このため、画像領域毎の階調処理に空間処理的効果を加えることが可能となり隣接する画像領域の境界のつなぎ目が不自然に目立つことが防止可能となる。

( 4 )

それぞれの画像領域 P mの大きさは、従来に比して小さい。このため、画像領域 P m内での疑似輪郭の発生を抑えることが可能となる。

〈変形例〉

本発明は上記実施形態に限定されるものではなく、その要旨を逸脱しない範囲で種々の変形が可能である。

( 1 )

上記実施形態では、原画像の分割数の一例として、 4 8 0 0分割としたが、本発明の効果は、この場合に限定されるものではなく、他の分割数でも同様の効果を得ることが可能である。なお、階調処理の処理量と視覚的効果とは分割数についてトレードオフの関係にある。すなわち、分割数を増やすと階調処理の処理量は増加するがより良好な視覚的効果（例えば、疑似輪郭の抑制など）を得ることが可能となる。

( 2 )

上記実施形態では、広域画像領域を構成する画像領域の個数の一例として、 2 5個としたが、本発明の効果は、この場合に限定されるものではなく、他の個数でも同様の効果を得ることが可能である。

[第 2実施形態]

本発明の第 2実施形態としての視覚処理装置 1 1について図 6〜図 1 8を用いて.説明する。視覚処理装置 1 1は、例えば、コンピュータ、テレビ、デジタル力メラ、携帯電話、 P D Aなど、画像を取り扱う機器に内蔵、あるいは接続されて、画像の階調処理を行う装置である。視覚処理装置 1 1は、あらかじめ L U Tとして記憶した複数の階調変換曲線を切り換えて用いる点を特徴として有している〈構成〉

図 6に、視覚処理装置 1 1の構造を説明するブロック図を示す。視覚処理装置 1 1は、画像分割部 1 2と、選択信号導出部 1 3と、階調処理部 20とを備えている。画像分割部 1 2は、入力信号 I Sを入力とし、入力信号 I Sとして入力される原画像を複数に分割した画像領域 Pm ( 1 ≤m≤ n ： nは原画像の分割数）を出力とする。選択信号導出部 1 3は、それぞれの画像領域 Pmの階調処理に適用される階調変換曲線 Cmを選択するための選択信号 Smを出力する。階調処理部 20は、階調処理実行部 1 4と、階調補正部 1 5とを備えている。階調処理実行部 1 4は、複数の階調変換曲線候補 G 1 ~G p (pは候補数）を 2次元 L U T として備えており、入力信号 I Sと選択信号 Smとを入力とし、それぞれの画像領域 Pm内の画素について階調処理した階調処理信号 CSを出力とする。階調補正部 1 5は、階調処理信号 C Sを入力とし、階調処理信号 C Sの階調を補正した出力信号 O Sを出力とする。

(階調変換曲線候補について）

図 7を用いて、階調変換曲線候補 G 1 〜G pについて説明する。階調変換曲線候補 G 1 〜G pは、入力信号 I Sの画素の明度値と階調処理信号 CSの画素の明度値との関係を与える曲線である。図 7において、横軸は入力信号 I Sにおける画素の明度値を、縦軸は階調処理信号 C Sにおける画素の明度値を示している。階調変換曲線候補 G 1 〜G pは、添え字について単調減少する関係にあり、全ての入力信号 I Sの画素の明度値に対して、 G 1 ≥G 2≥ ' ■ ' ≥G pの関係を満たしている。例えば、階調変換曲線候補 G 1 ~G pがそれぞれ入力信号 I Sの画素の明度値を変数とする「べき関数」であり、 ΘΓΠ= Χ ^Λ (dm) と表される場合（1 ≤m≤ p、 Xは変数、は定数）、 S 1 ≤ <52≤ ■ ■ ' ≤ S pの関係を満たしている。ここで、入力信号 I Sの明度値は、値 [0. 0〜 1 . 0] の範囲であるとする。

なお、以上の階調変換曲線候補 G 1 〜G pの関係は、添え字の大きい階調変換曲線候補について、入力信号 I Sが小さい場合、若しくは、添え字の小さい階調変換曲線候補について、入力信号 I Sが大きい場合、において、成立していなくてもよい。このような場合は、ほとんど無く、画質への影響が小さいためである階調処理実行部 1 4は、階調変換曲線候補 G1 ~Gpを 2次元 LUTとして備えている。すなわち、 2次元 L UTは、入力信号 I Sの画素の明度値と階調変換曲線候補 G1〜Gpを選択する選択信号 Smとに対して、階調処理信号 CSの画素の明度値を与えるルックアップテーブル（LUT) である。図 8に、、この 2次元 LUTの一例を示す。図 8に示す 2次元 L U T 41は、 64行 64列のマトリクスであり、それぞれの階調変換曲線候補 G 1〜G 64を行方向（横方向）に並ベたものとなっている。マトリクスの列方向（縦方向）には、例えば 1 0ビットで表される入力信号 I Sの画素値の上位 6ピッ卜の値、すなわち 64段階に分けられた入力信号 I Sの値に対する階調処理信号 CSの画素値が並んでいる。階調処理信号 CSの画素値は、階調変換曲線候補 G "！〜 G口が「べき関数」である場合、例えば、値 [0. 0~1. 0] の範囲の値を有する。

〈作用〉

各部の動作について説明を加える。画像分割部 1 2は、図 1の画像分割部 2とほぼ同様に動作し、入力信号 I Sとして入力される原画像を複数（n個）の画像領域 Pmに分割する（図 2参照）。ここで、原画像の分割数は、図 33に示す従来の視覚処理装置 300の分割数（例えば、 4〜1 6分割）よりも多く、例えば、横方向に 80分割し縦方向に 60分割する 4800分割などである。

選択信号導出部 1 3は、それぞれの画像領域 Pmに対して適用される階調変換曲線 Cmを階調変換曲線候補 G 1〜Gpの中から選択する。具体的には、選択信号導出部 1 3は、画像領域 Pmの広域画像領域 Emの平均明度値を計算し、計算された平均明度値に応じて階調変換曲線候補 G 1 ~ G pのいずれかの選択を行う。すなわち、階調変換曲線候補 G1 ~Gpは、広域画像領域 Emの平均明度値に関連づけられており、平均明度値が大きくなるほど、添え字の大きい階調変換曲線候補 G1〜Gpが選択される。

ここで、広域画像領域 Emとは、 [第 1実施形態] において図 2を用いて説明したのと同様である。すなわち、広域画像領域 Emは、それぞれの画像領域 Pm を含む複数の画像領域の集合であり、例えば、画像領域 Pmを中心とする縦方向 5ブロック、横方向 5ブロックの 25個の画像領域の集合である。なお、画像領域 Pmの位置によっては、画像領域 Pmの周辺に縦方向 5ブロック、横方向 5ブロックの広域画像領域 Emを取ることができない場合がある。例えば、原画像の周辺に位置する画像領域 P Iに対して、画像領域 P Iの周辺に縦方向 5ブロック、横方向 5ブロックの広域画像領域 E I を取ることができない。この場合には、画像領域 P Iを中心とする縦方向 5ブロック横方向 5ブロックの領域と原画像とが重なる領域が広域画像領域 E I として採用される。

選択信号導出部 1 3の選択結果は、階調変換曲線候補 G 1〜Gpのいずれかを示す選択信号 Smとして出力される。より具体的には、選択信号 Smは、階調変換曲線候補 G 1〜G pの添え字（1〜p) の値として出力される。

階調処理実行部 1 4は、入力信号 I Sが含む画像領域 Pmの画素の明度値と選択信号 Smとを入力とし、例えば、図 8に示す 2次元 L U T 41を用いて、階調処理信号 CSの明度値を出力する。

階調補正部 1 5は、階調処理信号 CSが含む画像領域 Pmの画素の明度値を画素の位置と画像領域 Pmおよび画像領域 Pmの周辺の画像領域に対して選択された階調変換曲線とに基づいて補正する。例えば、画像領域 Pmが含む画素に適用された階調変換曲線 Cmと画像領域 Pmの周辺の画像領域に対して選択された階調変換曲線とを画素位置の内分比で補正し、補正後の画素の明度値を求める。図 9を用いて、階調補正部 1 5の動作についてさらに詳しく説明する。図 9は、画像領域 Po， P p， P q， P r (o, p, q, rは分割数 n (図 2参照。）以下の正整数）の階調変換曲線 C o, G p， Cq, C rが階調変換曲線候補 G s , G t, Gu, G v (s, t， u， vは階調変換曲線の候補数 p以下の正整数）と選択されたことを示している。

ここで、階調補正の対象となる画像領域 P oの画素 X (明度値 [X ] とする）の位置を、画像領域 Poの中心と画像領域 P pの中心とを [ i ： 1— i ] に内分し.、かつ、画像領域 Poの中心と画像領域 P qの中心とを [ j ： 1— j ] に内分する位置であるとする。この場合、階調補正後の画素 Xの明度値 [X ' ] は、 [ X ' ] = { ( 1 - j ) ' (1 - i ) ' [Gs] + (1 - j ) ■ ( i ) ' [Θ t ] + ( j ) ■ (1 - i ) ' CGu] + ( j ) ' ( i ) ■ [Gv] } ■ { [x] / [ Gs] } と求められる。なお、 [Gs] ， [G t] ， [G u] , [Gv] は、明度値 [x] に対して、階調変換曲線候補 Gs， G t, Gu, Gvを適用した場合の明度値であるとする。

〈視覚処理方法および視覚処理プログラム〉

図 1 0に、視覚処理装置 1 1における視覚処理方法を説明するフローチャートを示す。図 1 0に示す視覚処理方法は、視覚処理装置 1 1においてハドウエアにより実現され、入力信号 I S (図 6参照）の階調処理を行う方法である。図 1 0に示す視覚処理方法では、入力信号 I Sは、画像単位で処理される（ステップ S 20-S 26) 。入力信号 I Sとして入力される原画像は、複数の画像領域 P m (1≤m≤n ： πは原画像の分割数）に分割され（ステップ S 21 ) 、画像領域 Pm毎に階調処理される（ステップ S 22〜S 24) 。

画像領域 P m毎の処理では、それぞれの画像領域 P mに対して適用される階調変換曲線 Cmが階調変換曲線候補 G 1〜G pの中から選択される（ステップ S 2 2) 。具体的には、画像領域 Pmの広域画像領域 Emの平均明度値を計算し、計算された平均明度値に応じて階調変換曲線候補 G 1 ~G pのいずれかの選択が行われる。階調変換曲線候補 G 1 ~Gpは、広域画像領域 Emの平均明度値に関連づけられており、平均明度値が大きくなるほど、添え字の大きい階調変換曲線候補 G 1 ~Gpが選択される。ここで、広域画像領域 Emについては、説明を省略する（上記〈作用〉の欄参照。）。

入力信号 I Sが含む画像領域 Pmの画素の明度値と階調変換曲線候補 G 1 ~G pのうちステップ S22で選択された階調変換曲線候補を示す選択信号 S mとに対して、例えば、図 8に示す 2次元 LUT41を用いて、階調処理信号 CSの明度値が出力される（ステップ S 23) 。さらに、全ての画像領域 Pmについての処理が終了したか否かを判定し（ステップ S 24) 、処理が終了したと判定されるまで、ステップ S 22〜S 24の処理を原画像の分割数回繰り返す。以上によリ、画像領域単位の処理が終了する。

階調処理信号 C Sが含む画像領域 P mの画素の明度値は、画素の位置と画像領域 P mおよび画像領域 P mの周辺の画像領域に対して選択された階調変換曲線とに基づいて補正される（ステップ S 25) 。例えば、画像領域 Pmが含む画素に適用された階調変換曲線 Cmと画像領域 Pmの周辺の画像領域に対して選択された階調変換曲線とを画素位置の内分比で補正し、補正後の画素の明度値が求められる。補正の詳細な内容については、説明を省略する（上記〈作用〉の欄、図 9 参照。）。

以上により、画像単位の処理が終了する（ステップ S 26) 。

なお、図 1 0に示す視覚処理方法のそれぞれのステップは、コンピータなどにより、視覚処理プログラムとして実現されるものであっても良い。

〈効果〉

本発明により、上記 [第 1実施形態] の〈効果〉とほぼ同様の効果を得ることが可能である。以下、第 2実施形態特有の効果を記載する。

(1 )

それぞれの画像領域 Pmに対して選択される階調変換曲線 Cmは、広域画像領域 Emの平均明度値に基づいて作成される。このため、画像領域 Pmの大きさは小さくとも十分な明度値のサンプリングが可能となる。また、この結果、小さな画像領域 Pmに対しても、適切な階調変換曲線 Cmを選択して適用することが可能となる。

(2)

階調処理実行部 1 4は、あらかじめ作成された 2次元 LUTを有している。このため、階調処理に要する処理負荷、より具体的には、階調変換曲線 Cmの作成に要する処理負荷を削減することが可能となる。この結果、画像領域 Pmの階調処理に要する処理を高速化することが可能となる。

(3)

階調処理実行部 1 4は、 2次元 LUTを用いて階調処理を実行する。 2次元 L UTは、視覚処理装置 1 1が備えるハードディスクあるいは ROMなどの記憶装置から読み出されて階調処理に用いられる。読み出す 2次元 LUTの内容を変更することにより、ハードウエアの構成を変更せずに様々な階調処理を実現することが可能となる。すなわち、原画像の特性により適した階調処理を実現することが可能となる。

(4) 階調補正部 1 5は、 1つの階調変換曲線 C mを用いて階調処理された画像領域 P mの画素の階調を補正する。このため、より適切に階調処理された出力信号 O Sを得ることができる。例えば、疑似輪郭の発生を抑制することが可能となる。また、出力信号 O Sにおいては、それぞれの画像領域 P mの境界のつなぎ目が不自然に目立つことがさらに防止可能となる。

〈変形例〉、本発明は上記実施形態に限定されるものではなく、その要旨を逸脱しない範囲で種々の変形が可能である。

( 1 )

上記実施形態では、原画像の分割数の一例として、 4 8 0 0分割としたが、本発明の効果は、この場合に限定されるものではなく、他の分割数でも同様の効果を得ることが可能である。なお、階調処理の処理量と視覚的効果とは分割数についてトレードオフの関係にある。すなわち、分割数を増やすと階調処理の処理量は増加するがより良好な視覚的効果（例えば、疑似輪郭の抑制された画像など）を得ることが可能となる。

( 2 )

( 3 )

上記実施形態では、 6 4行 6 4列のマトリクスからなる 2次元 L U T 4 1を 2 次元 L U Tの一例とした。ここで、本発明の効果は、このサイズの 2次元 L U丁に限定されるものではない。例えば、さらに多くの階調変換曲線候補を行方向に並べたマトリクスであっても良い。また、入力信号 I Sの画素値をさらに細かいステップに区切った値に対する階調処理信号 C Sの画素値をマトリクスの列方向に並べたもので有っても良い。具体的には、例えば 1 0ビッ卜で表される入力信号 I Sのそれぞれの画素値に対して、階調処理信号 C Sの画素値を並べたもので有っても良い。

2次元 L U Tのサイズが大きくなれば、よリ適切な階調処理を行うことが可能となり、小さくなれば、 2次元 LUTを記憶するメモリの削減などが可能となる (4)

上記実施形態では、マトリクスの列方向には、例えば 1 0ビッ卜で表される入力信号 I Sの画素値の上位 6ビッ卜の値、すなわち 64段階に分けられた入力信号 I Sの値に対する階調処理信号 CSの画素値が並んでいる、と説明じた。ここで、階調処理信号 CSは、階調処理実行部 1 4により、入力信号 I Sの画素値の下位 4ビッ卜の値で線形補間されたマトリクスの成分として出力されるものであつても良い。すなわち、マトリクスの列方向には、例えば 1 0ビットで表される入力信号 I Sの画素値の上位 6ビッ卜の値に対するマトリクスの成分が並んでおリ、入力信号 I Sの画素値の上位 6ビッ卜の値に対するマトリクスの成分と、入力信号 I Sの画素値の上位 6ビッ卜の値に [1 ] を加えた値に対するマトリクスの成分（例えば、図 8では、 1行下の成分）とを入力信号 I Sの画素値の下位 4 ビッ卜の値を用いて線形補間し、階調処理信号 CSとして出力する。

これにより、 2次元 LUT41 (図 8参照）のサイズが小さくとも、より適切な階調処理を行うことが可能となる。

(5)

上記実施形態では、広域画像領域 Emの平均明度値に基づいて、画像領域 Pm に適用する階調変換曲線 Cmを選択すると説明した。ここで、階調変換曲線 Cm の選択方法は、この方法に限られない。例えば、広域画像領域 Emの最大明度値、あるいは最小明度値に基づいて、画像領域 Pmに適用する階調変換曲線 Cmを選択してもよい。なお、階調変換曲線 Cmの選択に際して、選択信号 Smの値 [ Sm] は、広域画像領域 Emの平均明度値、最大明度値、あるいは最小明度値そのものであってもよい。この場合、選択信号 Smの取りうる値を 64段階に分けたそれぞれの値に対して、階調変換曲線候補 G1〜G 64が関連付けられていることとなる。

また例えば、次のようにして画像領域 Pmに適用する階調変換曲線 Gmを選択してもよい。すなわち、それぞれの画像領域 Pmについて平均明度値を求め、それぞれの平均明度値からそれぞれの画像領域 P mについての仮の選択信号 S m ' を求める。ここで、仮の選択信号 Sm' は、階調変換曲線候補 G1 ~Gpの添え字の番号を値としている。さらに、広域画像領域 Emが含むそれぞれの画像領域について、仮の選択信号 Sm' の値を平均し、画像領域 Pmの選択信号 Smの値 [Sm] を求め、階調変換曲線候補 G "！〜 Gpのうち値 [Sm] に最も近い整数を添え字とする候補を階調変換曲線 Cmとして選択する。

(6) 、上記実施形態では、広域画像領域 Emの平均明度値に基づいて、画像領域 Pm に適用する階調変換曲線 Cmを選択すると説明した。ここで、広域画像領域 Em の単純平均でなく、加重平均（重み付き平均）に基づいて、画像領域 Pmに適用する階調変換曲線 Cmを選択してもよい。例えば、図 1 1に示すように、広域画像領域 Emを構成するそれぞれの画像領域の平均明度値を求め、画像領域の平均明度値と大きく異なる平均明度値を持つ画像領域 P s 1， P s 2, ■ ■ 'については、重み付けを軽くして、あるいは除外して、広域画像領域 Emの平均明度値を求める。

これにより、広域画像領域 Emが明度的に特異的な領域を含む場合 (例えば、広域画像領域 Emが 2つの明度値の異なる物体の境界を含む場合）であっても、画像領域 Pmに適用される階調変換曲線 Cmの選択に対して、その特異的な領域の明度値が与える影響が少なくなリ、さらに適切な階調処理が行われることとなる。

(7)

上記実施形態において、階調補正部 1 5の存在は任意としても良い。すなわち、階調処理信号 CSを出力とした場合であっても、従来の視覚処理装置 300 ( 図 33参照）に比して、 [第 1実施形態] の〈効果〉に記載したのと同様の効果、および [第 2実施形態] の〈効果〉（1 ) および（2) に記載したのと同様の効果を得ることが可能である。

(8)

上記実施形態では、階調変換曲線候補 G 1〜Gpは、添え字について単調減少する関係にあり、全ての入力信号 I Sの画素の明度値に対して、 G1≥G2≥ ' ■ -≥Gpの関係を満たしていると説明した。ここで、 2次元 LUTが備える階調変換曲線候補 G 1 ~Gpは、入力信号 I Sの画素の明度値の一部に対して、 G 1≥G2≥■ ■ ■≥Gpの関係を満たしていなくてもよい。すなわち、階調変換曲線候補 G1 ~Gpのいずれかが、互いに交差する関係にあってもよい。

例えば、暗い夜景の中にある小さい明かりの部分など（夜景の中にあるネオン部分など）、入力信号 I Sの値は大きいが、広域画像領域 Emの平均明度値は小さい場合、階調処理された画像信号の値が画質に与える影響は小さい。、このような場合には、 2次元 LUTが備える階調変換曲線候補 G"！〜 Gpは、入力信号 I Sの画素の明度値の一部に対して、 G 1≥G2≥ ' ' '≥Gpの関係を満たしていなくてもよい。すなわち、階調処理後の値が画質に与える影響が小さい部分では、 2次元 L U Tが格納する値は、任意であってよい。

なお、 2次元 LUTが格納する値が任意である場合にも、同じ値の入力信号 I Sと選択信号 Smとに対して格納されている値は、入力信号 I Sと選択信号 Sm との値に対して、単調増加、あるいは単調減少する関係を維持していることが望ましい。

また、上記実施形態では、 2次元 LUTが備える階調変換曲線候補 G1〜Gp は、「べき関数」であると説明した。ここで、階調変換曲線候補 G 1 ~Gpは、厳密に「べき関数」として定式化されるもので無くともよい。また、 S字、逆 S 字などといった形状を有する関数であってもよい。

(9)

視覚処理装置 1 1では、 2次元 LUTが格納する値であるプロファイルデータを作成するプロファイルデータ作成部をさらに備えていても良い。具体的には、プロファイルデータ作成部は、視覚処理装置 1 (図 1参照）における画像分割部 2と階調変換曲線導出部 1 0とから構成されており、作成された複数の階調変換曲線の集合をプロファイルデータとして 2次元 L U Tに格納する。

また、 2次元 LUTに格納される階調変換曲線のそれぞれは、空間処理された入力信号 I Sに関連づけられていてもかまわない。この場合、視覚処理装置 1 1 では、画像分割部 1 2と選択信号導出部 1 3とを、入力信号 I Sを空間処理する空間処理部に置き換えても良い。

(1 0) 上記実施形態において、入力信号 I Sの画素の明度値は、値 [0. 0〜1. 0 ] の範囲の値でなくてもよい。入力信号 I sが他の範囲の値として入力される場合には、その範囲の値を値 [0. 0~1. 0] に正規化して用いてもよい。また

、正規化は行わず、上記した処理において取り扱う値を適宜変更してもよい。

(1 1 )

階調変換曲線候補 G "！〜 G pのそれぞれは、通常のダイナミックレンジよリも広いダイナミックレンジを有する入力信号 I Sを階調処理し、通常のダイナミツクレンジの階調処理信号 GSを出力する階調変換曲線であってもよい。

近年、 SZNの良い CCDを光量を絞って使用する、電子シャツタを長短 2回開く、あるいは低感度 '高感度の画素を持つセンサを使用する、などの方法によリ、通常のダイナミックレンジよりも 1 ~3桁広いダイナミックレンジを极うことができる機器の開発が進んでいる。

これに伴って、入力信号 I Sが通常のダイナミックレンジ（例えば、値 [0. 0-1. 0] の範囲の信号）よりも広いダイナミックレンジを有する場合にも、適切に階調処理することが求められている。

ここで、図 1 2に示すように、値 [0. 0~1. 0] を超える範囲の入力信号 I Sに対しても、値 [0. 0〜1. 0] の階調処理信号 CSを出力するような階調変換曲線を用いる。

これにより、広いダイナミックレンジを有する入力信号 I Sに対しても、適切な階調処理を行い、通常のダイナミックレンジの階調処理信号 CSを出力することが可能となる。

また、上記実施形態では、「階調処理信号 CSの画素値は、階調変換曲線候補 G 1 ~Gpが「べき関数」である場合、例えば、値 [0. 0~1. 0] の範囲の値を有する。」と記載した。ここで、階調処理信号 CSの画素値は、この範囲に限られない。例えば、値 [0. 0~1. 0] の入力信号 I Sに対して、階調変換曲線候補 G"！〜 Gpは、ダイナミックレンジ圧縮を行うものであってもよい。

(1 2)

上記実施形態では、「階調処理実行部 1 4は、階調変換曲線候補 G 1〜G pを 2次元 LUTとして有している。 J と説明した。ここで、階調処理実行部 1 4は、階調変換曲線候補 G 1 ~Gpを特定するための曲線パラメータと選択信号 Sm との関係を格納する 1次元 L U Tを有するものであってもよい。

《構成》

図 1 3に、階調処理実行部 1 4の変形例としての階調処理実行部 44の構造を説明するブロック図を示す。階調処理実行部 44は、入力信号 I Sと選択信号 S mとを入力とし、階調処理された入力信号 I Sである階調処理信号 CSを出力とする。階調処理実行部 44は、曲線パラメータ出力部 45と演算部 48とを備えている。

曲線パラメータ出力部 45は、第 1 LUT46と第 2 LUT47から構成される。第 1 1_リ丁46ぉょぴ第21_リ丁47は、選択信号 Smを入力とし、選択信号 Smが指定する階調変換曲線候補 Gmの曲線パラメータ P 1および P 2をそれぞれ出力する。

演算部 48は、曲線パラメータ P 1および P2と、入力信号 I Sとを入力とし、階調処理信号 CSを出力とする。

«1次元 L UTについて》

第 1 1_リ丁46ぉょぴ第21_11丁47は、それぞれ選択信号 S mに対する曲線パラメータ P 1および P 2の値を格納する 1次元 L U Tである。第 1 L U T 46 および第 2 L U T47について詳しく説明する前に、曲線パラメータ P 1および P 2の内容について説明する。

図 1 4を用いて、曲線パラメータ P 1および P 2と、階調変換曲線候補 G 1 ~ Gpとの関係について説明する。図 1 4は、階調変換曲線候補 G 1 ~Gpを示している。ここで、階調変換曲線候補 G1 ~Gpは、添え字について単調減少する関係にあり、全ての入力信号 I Sの画素の明度値に対して、 G1≥G2≥ ' ' ■ ≥Gpの関係を満たしている。なお、以上の階調変換曲線候補 G 1〜Gpの関係は、添え字の大きい階調変換曲線候補について、入力信号 I Sが小さい場合、若しくは、添え字の小さい階調変換曲線候補について、入力信号 I Sが大きい場合、などにおいて成立していなくてもよい。

曲線パラメータ P 1および P 2は、入力信号 I Sの所定の値に対する階調処理信号 CSの値として出力される。すなわち、選択信号 Smにより階調変換曲線候補 Gmが指定された場合、曲線パラメータ P 1の値は、入力信号 I Sの所定の値 [X I ] に対する階調変換曲線候補 Gmの値 [Ri m] として出力され、曲線パラメータ P2の値は、入力信号 I Sの所定の値 [X2] に対する階調変換曲線候補 Gmの値 [R2m] として出力される。ここで、値 [X2] は、値 [X 1 ] よリも大きい値である。

次に、第 1 L U T 46および第 2 L U T 47について説明する。、第 1 LUT46および第 2 LUT47は、それぞれ選択信号 S mに対する曲線パラメータ P 1および P2の値を格納している。より具体的には、例えば、 6ビッ卜の信号として与えられるそれぞれの選択信号 Smに対して、曲線パラメータ P 1および P 2の値がそれぞれ 6ビットで与えられる。ここで、選択信号 Smや曲線パラメータ P 1および P 2にたいして確保されるビッ卜数はこれに限られない。

図 1 5を用いて、曲線パラメータ P 1および P 2と、選択信号 Smとの関係について説明する。図 1 5は、選択信号 Smに対する曲線パラメータ P 1および P 2の値の変化を示している。第 1 L UT46および第 2 L UT47には、それぞれの選択信号 Smに対する曲線パラメータ P 1および P 2の値が格納されている。例えば、選択信号 Smに対する曲線パラメータ P 1の値として、値 [R 1 m] が格納されており、曲線パラメータ P2の値として、値 [R2m] が格納されている。

以上の第 1 1_リ丁46ぉょぴ第2しリ丁47にょリ、入力された選択信号 Sm に対して、曲線パラメータ P 1および P 2が出力される。

《演算部 48について》

演算部 48は、取得した曲線パラメータ P 1および P 2 (値 [Ri m] および値 [R2m] ) に基づいて、入力信号 I Sに対する階調処理信号 CSを導出する。具体的な手順を以下記載する。ここで、入力信号 I Sの値は、値 [0. 0〜1 . 0] の範囲で与えられるものとする。また、階調変換曲線候補 G1 ~Gpは、値 [0. 0〜1. 0] の範囲で与えられる入力信号 I Sを、値 [0. 0~1. 0 ] の範囲に階調変換するものとする。なお、本発明は、入力信号 I sをこの範囲に限定しない場合にも適用可能である。まず、演算部 48は、入力信号 I Sの値と、所定の値 [X 1 ]， [X2] との比較を行う。

入力信号 I Sの値（値 [X] とする）が [0. 0] 以上 [X 1 ] 未満である場合、図 1 4における原点と座標（ [X 1 ]， [ i m] ) とを結ぶ直線上において、値 [X] に対する階調処理信号 CSの値（値 [Y] とする）が求められる。より具体的には、値 [Y] は、次式 [Y] = ( [X] / [X I ] ) *、[R1 m] 、により求められる。

入力信号 I Sの値が [X 1 ] 以上 [X2] 未満である場合、図 1 4における座標（ [X 1 ]， [R i m] ) と座標（ [X2]， [R2m] ) とを結ぶ直線上において、値 [X] に対する値 [Y] が求められる。より具体的には、値 [Y] は、次式 [Y] = [R 1 m] + { ( [R2m] - [R i m] ) / ( [X 2] - [X 1 ] ) } * ( [X] — [X 1 ] ) 、により求められる。

入力信号 I Sの値が [X2] 以上 [1. 0] 以下である場合、図 1 4における座標（ [X2]， [R2m] ) と座標（ [1. 0]， [1. 0] ) とを結ぶ直線上において、値 [X] に対する値 [Y] が求められる。より具体的には、値 [Y ] は、次式 [Y] = [R2m] + { ( [1. 0] - [R2m] ) / ( [1. 0] ― [X2] ) } * ( [X] - [X2] ) 、により求められる。

以上の演算により、演算部 48は、入力信号 I Sに対する階調処理信号 CSを導出する。

《階調処理方法■プログラム》

上述の処理は、階調処理プログラムとして、コンピュータなどにより実行されるものであってもよい。階調処理プログラムは、以下記載する階調処理方法をコンピュータに実行させるためのプログラムである。

階調処理方法は、入力信号 I Sと選択信号 Smとを取得し、階調処理信号 CS を出力する方法であって、入力信号 I Sを 1次元 LUTを用いて階調処理する点に特徴を有している。

まず、選択信号 Smが取得されると、第 1 LUT46および第 2 LUT47から曲線パラメータ P 1および P 2が出力される。第 1 LUT46、第 2 LUT4 7、曲線パラメータ P 1および P 2については、詳細な説明を省略する。さらに、曲線パラメータ P 1および P 2に基づいて、入力信号 I Sの階調処理が行われる。階調処理の詳しい内容は、演算部 48についての説明のなかで記載したため省略する。

以上の階調処理方法により、入力信号 I Sに対する階調処理信号 CSが導出される。

《効果》、階調処理実行部 1 4の変形例としての階調処理実行部 44では、 2次元 L U T ではなく、 2つの 1次元 L U Tを備えている。このため、ルックアップテーブルを記憶するための記憶容量を削減することが可能となる。

《変形例》

(1 )

上記変形例では、「曲線パラメータ P 1および P2の値は、入力信号』 Sの所定の値に対する階調変換曲線候補 Gmの値である。」、と説明した。ここで、曲線パラメータ P 1および P 2は、階調変換曲線候補 Gmの他の曲線パラメータであってもよい。以下、具体的に説明を加える。

(1 -1 )

曲線パラメータは、階調変換曲線候補 Gmの傾きであってもよい。図 1 4を用いて具体的に説明する。選択信号 Smによリ階調変換曲線候補 Gmが指定された場合、曲線パラメータ P 1の値は、入力信号 I Sの所定の範囲 [0. 0~X 1 ] における階調変換曲線候補 Gmの傾きの値 [K1 m] であり、曲線パラメータ P 2の値は、入力信号 I Sの所定の範囲 [X "！〜 X2] における階調変換曲線候補 Gmの傾きの値 [K2m] である。

図 1 6を用いて、曲線パラメータ P 1および P 2と、選択信号 Smとの関係について説明する。図 1 6は、選択信号 Smに対する曲線パラメータ P 1および P 2の値の変化を示している。第 1 しリ丁46ぉょび第21_リ丁47には、それぞれの選択信号 Smに対する曲線パラメータ P 1および P 2の値が格納されている。例えば、選択信号 Smに対する曲線パラメータ P 1の値として、値 [K1 m] が格納されており、曲線パラメータ P2の値として、値 [K2m] が格納されている。以上の第 1 し11丁46ぉょぴ第21_11丁47にょリ、入力された選択信号 Sm に対して、曲線パラメータ P 1および P 2が出力される。

演算部 48では、取得した曲線パラメータ P 1および P 2に基づいて、入力信号 I Sに対する階調処理信号 CSを導出する。具体的な手順を以下記載する。まず、演算部 48は、入力信号 I Sの値と、所定の値 [X I ]， [X2] との比較を行う。ヽ

入力信号 I Sの値（値 [X] とする）が [0. 0] 以上 [X 1 ] 未満である場合、図 1 4における原点と座標（ [X 1 ]， [Ki m] * [X 1 ] (以下、 [Y 1 ] と記載する））とを結ぶ直線上において、値 [X] に対する階調処理信号 C Sの値（値 [Y] とする）が求められる。より具体的には、値 [Y] は、次式 [ Y] = [Ki m] * [X] 、により求められる。

入力信号 I Sの値が [X I ] 以上 [X2] 未満である場合、図 1 4における座標（ [X 1 ]， [Y 1 ] ) と座標（ [X2]， [K 1 m] * [X 1 ] + [K2m ] * ( [X2] - [X I ] ) (以下、 [Y2] と記載する））とを結ぶ直線上において、値 [X] に対する値 [Υ] が求められる。より具体的には、値 [Υ] は、次式 [Υ] = [Υ 1 ] + [K2m] * ( [X] — [X I ] ) 、により求められる。

入力信号 I Sの値が [X2] 以上 [1. 0] 以下である場合、図 1 4における座標（ [X2]， [Y2] ) と座標（1. 0， 1. 0) とを結ぶ直線上において、値 [X] に対する値 [Y] が求められる。より具体的には、値 [Y] は、次式 [Y] = [Y2] + { ( [1. 0] ― [Y 2] ) / ( [1. 0] 一 [X2] ) } * ( [X] — [X 2] ) 、により求められる。

(1 -2)

曲線パラメータは、階調変換曲線候補 Gm上の座標であってもよい。図 1 7を用いて具体的に説明する。選択信号 Smにより階調変換曲線候補 Gmが指定された場合、曲線パラメータ P 1の値は、階調変換曲線候補 Gm上の座標の一方の成分の値 [Mm] であり、曲線パラメータ P 2の値は、階調変換曲線候補 Gm上の座標の他方の成分の値 [Nm] である。さらに、階調変換曲線候補 G 1 ~G pは、全て座標（X 1， Y 1 ) を通過する曲線である。

図 1 8を用いて、曲線パラメータ P 1および P 2と、選択信号 Smとの関係について説明する。図 1 8は、選択信号 Smに対する曲線パラメータ P 1および P 2の値の変化を示している。第 1 しリ丁46ぉょび第21_11丁47には、それぞれの選択信号 Smに対する曲線パラメータ P 1および P 2の値が格納ざれている。例えば、選択信号 Smに対する曲線パラメータ P 1の値として、値 [Mm] が格納されており、曲線パラメータ P 2の値として、値 [Nm] が格納されている以上の第"！ 1_リ丁46ぉょび第21_11丁47にょリ、入力された選択信号 Sm に対して、曲線パラメ一タ P 1および P 2が出力される。

演算部 48では、図 1 4を用いて説明した変形例と同様の処理により、入力信号 I Sから階調処理信号 CSが導出される。詳しい説明は、省略する。

(1 -3)

以上の変形例は、一例であり、曲線パラメータ P 1および P2は、階調変換曲線候補 Gmのさらに他の曲線パラメータであってもよい。

また、曲線パラメータの個数も上記に限られない。さらに少なくてもよいし、さらに多くてもよい。

演算部 48についての説明では、階調変換曲線候補 G 1 ~G pが直線の線分から構成される曲線である場合についての演算について記載した。ここで、階調変換曲線候補 G 1〜 G p上の座標が曲線パラメータとして与えられる場合には、与えられた座標を通過する滑らかな曲線が作成され（カーブフィッティング）、作成された曲線を用いて、階調変換処理が行われるものであってもよい。

(2)

上記変形例では、「曲線パラメータ出力部 45は、第 1 L UT 46と第 2 L U 丁 47から構成される。」と説明した。ここで、曲線パラメータ出力部 45は、選択信号 S mの値に対する曲線パラメータ P 1および P 2の値を格納する L U T を備えないものであってもよい。

この場合、曲線パラメータ出力部 45は、曲線パラメータ P 1および P 2の値を演算する。より具体的には、曲線パラメ一タ出力部 4 5は、図 1 5、図 1 6、図 1 8などに示される曲線パラメータ P 1および P 2のグラフを表すパラメータを記憶している。曲線パラメータ出力部 4 5は、記憶されたパラメータから曲線パラメータ P 1および P 2のグラフを特定する。さらに、曲線パラメータ P 1および P 2のグラフを用いて、選択信号 S mに対する曲線パラメータ P 1および P 2の値を出力する。、

ここで、曲線パラメータ P 1および P 2のグラフを特定するためのパラメータとは、グラフ上の座標、グラフの傾き、曲率などである。例えば、曲線パラメ一タ出力部 4 5は、図 1 5に示す曲線パラメータ P 1および P 2のグラフ上のそれぞれ 2点の座標を記憶しており、この 2点の座標を結ぶ直線を、曲線パラメータ P 1および P 2のグラフとして用いる。

ここで、パラメータから曲線パラメータ P 1および P 2のグラフを特定する際には、直線近似だけでなく、折れ線近似、曲線近似などを用いてもよい。

これによリ、 L U Tを記憶するためのメモリを用いずに曲線パラメータを出力することが可能となる。すなわち、装置が備えるメモリの容量をさらに削減することが可能となる。

[第 3実施形態]

本発明の第 3実施形態としての視覚処理装置 2 1について図 1 9〜図 2 1を用いて説明する。視覚処理装置 2 1は、例えば、コンピュータ、テレビ、デジタルカメラ、携帯電話、 P D Aなど、画像を取り扱う機器に内蔵、あるいは接続されて、画像の階調処理を行う装置である。視覚処理装置 2 1は、あらかじめ L U T として記憶した複数の階調変換曲線を階調処理の対象となる画素ごとに切り換えて用いる点を特徴として有している。

〈構成〉

図 1 9に、視覚処理装置 2 1の構造を説明するブロック図を示す。視覚処理装置 2 1は、画像分割部 2 2と、選択信号導出部 2 3と、階調処理部 3 0とを備えている。画像分割部 2 2は、入力信号 I Sを入力とし、入力信号 I Sとして入力される原画像を複数に分割した画像領域 P m ( 1≤m≤n ： nは原画像の分割数 ) を出力とする。選択信号導出部 2 3は、それぞれの画像領域 P mに対して階調変換曲線 Cmを選択するための選択信号 Smを出力する。階調処理部 30は、選択信号補正部 24と、階調処理実行部 25とを備えている。選択信号補正部 24 は、選択信号 Smを入力とし、それぞれの画像領域 Pm毎の選択信号 Smを補正した信号である画素毎の選択信号 SSを出力する。階調処理実行部 25は、複数の階調変換曲線候補 G1〜Gp (pは候補数）を 2次元 LUTとして備えており、入力信号 I Sと画素毎の選択信号 SSとを入力とし、それぞれの画素について階調処理した出力信号 OSを出力とする。

(階調変換曲線候補について）

階調変換曲線候補 G1 ~Gpについては、 [第 2実施形態] において図 7を用いて説明したのとほぼ同様であるため、ここでは説明を省略する。但し、本実施形態においては、階調変換曲線候補 G "！〜 Gpは、入力信号 I Sの画素の明度値と出力信号 OSの画素の明度値との関係を与える曲線である。

階調処理実行部 25は、階調変換曲線候補 G 1 ~Gpを 2次元 LUTとして備えている。すなわち、 2次元 LUTは、入力信号 I Sの画素の明度値と階調変換曲線候補！〜 Gpを選択する選択信号 SSとに対して、出力信号 OSの画素の明度値を与えるルックアップテーブル（LUT) である。具体例は、 [第 2実施形態] において図 8を用いて説明したのとほぼ同様であるため、ここでは説明を省略する。但し、本実施形態においては、マトリクスの列方向には、例えば 1 0 ビッ卜で表される入力信号 I Sの画素値の上位 6ビッ卜の値に対する出力信号 O Sの画素値が並んでいる。

〈作用〉

各部の動作について説明を加える。画像分割部 22は、図 1の画像分割部 2とほぼ同様に動作し、入力信号 I Sとして入力される原画像を複数（n個）の画像領域 Pmに分割する（図 2参照）。ここで、原画像の分割数は、図 33に示す従来の視覚処理装置 300の分割数（例えば、 4〜1 6分割）よりも多く、例えば、横方向に 80分割し縦方向に 60分割する 4800分割などである。

選択信号導出部 23は、それぞれの画像領域 Pmに対して階調変換曲線 Cmを階調変換曲線候補 G 1 ~Gpの中から選択する。具体的には、選択信号導出部 2 3は、画像領域 Pmの広域画像領域 Emの平均明度値を計算し、計算された平均明度値に応じて階調変換曲線候補 G 1 ~Gpのいずれかの選択を行う。すなわち、階調変換曲線候補 G 1〜Gpは、広域画像領域 Emの平均明度値に関連づけられており、平均明度値が大きくなるほど、添え字の大きい階調変換曲線候補 G 1 〜Gpが選択される。

ここで、広域画像領域 Emとは、 [第 1実施形態] において図 2を用いて説明したのと同様である。すなわち、広域画像領域 Emは、それぞれの画像領域 Pm を含む複数の画像領域の集合であり、例えば、画像領域 Pmを中心とする縦方向 5ブロック、横方向 5ブロックの 25個の画像領域の集合である。なお、画像領域 Pmの位置によっては、画像領域 Pmの周辺に縦方向 5ブロック、横方向 5ブロックの広域画像領域 Emを取ることができない場合がある。例えば、原画像の周辺に位置する画像領域 P Iに対して、画像領域 P Iの周辺に縦方向 5ブロック、横方向 5ブロックの広域画像領域 E Iを取ることができない。この場合には、画像領域 P I を中心とする縦方向 5ブロック横方向 5ブロックの領域と原画像とが重なる領域が広域画像領域 E I として採用される。

選択信号導出部 23の選択結果は、階調変換曲線候補 G 1 ~Gpのいずれかを示す選択信号 Smとして出力される。より具体的には、選択信号 Smは、階調変換曲線候補 G 1 ~G pの添え字（1 ~p) の値として出力される。

選択信号補正部 24は、それぞれの画像領域 Pmに対して出力されたそれぞれの選択信号 Smを用いた補正により、入力信号 I Sを構成する画素毎に階調変換曲線を選択するための画素毎の選択信号 SSを出力する。例えば、画像領域 Pm に含まれる画素に対する選択信号 SSは、画像領域 Pmおよび画像領域 Pmの周辺の画像領域に対して出力された選択信号の値を画素位置の内分比で補正して求められる。

図 20を用いて、選択信号補正部 24の動作についてさらに詳しく説明する。図 20は、画像領域 P o， P p， P q， P r (o， p， q, rは分割数 n (図 2 参照。）以下の正整数）に対して選択信号 S o， S p， S q, S rが出力された状態を示している。

ここで、階調補正の対象となる画素 Xの位置を、画像領域 Poの中心と画像領域 Ppの中心とを [ i ： 1一 ί ] に内分し、かつ、画像領域 Ρ οの中心と画像領域 Pqの中心とを [ j ： 1 - j ] に内分する位置であるとする。この場合、画素 Xに対する選択信号 SSの値 [SS] は、 [SS] = { (1— j ) ' (1 - i ) ■ [S o] + (1 - j ) ■ ( i ) ■ [S p] + ( j ) ■ (1 - i ) ■ [S q] + ( j ) ■ ( i ) ■ [S r ] } と求められる。なお、 [S o] ， [S p] , [S q ] ， [S r ] は、選択信号 S o， S p, S q， S rの値であるとする。

階調処理実行部 25は、入力信号 I Sが含む画素の明度値と選択信号 SSとを入力とし、例えば図 8に示す 2次元 LUT 41を用いて、出力信号 OSの明度値を出力する。

なお、選択信号 SSの値 [SS] が、 2次元 LUT41の備える階調変換曲線候補 G 1〜Gpの添え字（1〜p) と等しい値にならない場合、値 [SS] に最も近い整数を添え字とする階調変換曲線候補 G 1 ~Gpが入力信号 I Sの階調処理に用いられる。

〈視覚処理方法および視覚処理プログラム〉

図 21に、視覚処理装置 21における視覚処理方法を説明するフローチャートを示す。図 21に示す視覚処理方法は、視覚処理装置 21においてハ一ドウエアにより実現され、入力信号 I S (図 1 9参照）の階調処理を行う方法である。図 21に示す視覚処理方法では、入力信号 I Sは、画像単位で処理される（ステツプ S30~S37) 。入力信号 I Sとして入力される原画像は、複数の画像領域 Pm (1≤m≤n ： nは原画像の分割数）に分割され（ステップ S31 ) 、画像領域 Pm毎に階調変換曲線 Cmが選択され（ステップ S 32〜 S 33 ) 、画像領域 Pm毎に階調変換曲線 Cmを選択するための選択信号 Smに基づいて、原画像の画素毎に階調変換曲線が選択され、画素単位での階調処理が行われる（ステツプ S 34〜S 36) 。

それぞれのステップについて具体的に説明を加える。

それぞれの画像領域 Pmに対して階調変換曲線 Cmが階調変換曲線候補 G 1〜 G.Pの中から選択される（ステップ S32) 。具体的には、画像領域 Pmの広域画像領域 Emの平均明度値を計算し、計算された平均明度値に応じて階調変換曲線候補 G 1〜G pのいずれかの選択が行われる。階調変換曲線候補 G "！〜 G pは、広域画像領域 Emの平均明度値に関連づけられており、平均明度値が大きくなるほど、添え字の大きい階調変換曲線候補 G1 ~Gpが選択される。ここで、広域画像領域 Emについては、説明を省略する（上記〈作用〉の欄参照。）。選択結果は、階調変換曲線候補 G 1〜Gpのいずれかを示す選択信号 Smとして出力される。より具体的には、選択信号 Smは、階調変換曲線候補 G1〜Gpの添え字（1〜P) の値として出力される。さらに、全ての画像領域 Pmについての処理が終了したか否かを判定し（ステップ S33) 、処理が終了したと判定されるまで、ステップ S 32〜S 33の処理を原画像の分割数回繰り返す。以上により、画像領域単位の処理が終了する。

それぞれの画像領域 Pmに対して出力されたそれぞれの選択信号 Smを用いた補正により、入力信号 I Sを構成する画素毎に階調変換曲線を選択するための画素毎の選択信号 SSが出力される（ステップ S34) 。例えば、画像領域 Pmに含まれる画素に対する選択信号 SSは、画像領域 Pmおよび画像領域 Pmの周辺の画像領域に対して出力された選択信号の値を画素位置の内分比で補正して求められる。補正の詳細な内容については、説明を省略する（上記〈作用〉の欄、図 20参照。）。

入力信号 I Sが含む画素の明度値と選択信号 SSとを入力とし、例えば図 8に示す 2次元 LUT41を用いて、出力信号 OSの明度値が出力される（ステップ S35) 。さらに、全ての画素についての処理が終了したか否かを判定し（ステップ S 36) 、処理が終了したと判定されるまで、ステップ S 34~S 36の処理を画素数回繰り返す。以上により、画像単位の処理が終了する。

なお、図 21に示す視覚処理方法のそれぞれのステップは、コンピュータなどにより、視覚処理プログラムとして実現されるものであっても良い。

〈効果〉

本発明により、上記 [第 1実施形態] および [第 2実施形態] の〈効果〉とほぼ同様の効果を得ることが可能である。以下、第 3実施形態特有の効果を記載する。

(1 )

それぞれの画像領域 Pmに対して選択される階調変換曲線 Cmは、広域画像領域 Emの平均明度値に基づいて作成される。このため、画像領域 Pmの大きさは小さくとも十分な明度値のサンプリングが可能となる。また、この結果、小さな画像領域 Pmに対しても、適切な階調変換曲線 Cmが選択される。

(2)

選択信号補正部 24は、画像領域単位で出力される選択信号 Smに基づいた補正により、画素毎の選択信号 SSを出力する。入力信号 I Sを構成す原画像の画素は、画素毎の選択信号 S Sが指定する階調変換曲線候補 G "！〜 G 0を用いて、階調処理される。このため、より適切に階調処理された出力信号 OSを得ることができる。例えば、疑似輪郭の発生を抑制することが可能となる。また、出力信号 OSにおいては、それぞれの画像領域 Pmの境界のつなぎ目が不自然に目立つことがさらに防止可能となる。

(3)

階調処理実行部 25は、あらかじめ作成された 2次元 LUTを有している。このため、階調処理に要する処理負荷を削減すること、より具体的には、階調変換曲線 Cmの作成に要する処理負荷を削減することが可能となる。この結果、階調処理を高速化することが可能となる。

(4)

階調処理実行部 25は、 2次元 LUTを用いて階調処理を実行する。ここで、 2次元 LUTの内容は、視覚処理装置 21が備えるハードディスクあるいは RO Mなどの記憶装置から読み出されて階調処理に用いられる。読み出す 2次元 L U Tの内容を変更することにより、ハードウェアの構成を変更せずに様々な階調処理を実現することが可能となる。すなわち、原画像の特性により適した階調処理を実現することが可能となる。

〈変形例〉

本発明は上記実施形態に限定されるものではなく、その要旨を逸脱しない範囲で種々の変形が可能である。例えば、上記 [第 2実施形態] 〈変形例〉とほぼ同様の変形を第 3実施形態に適用することが可能である。特に、 [第 2実施形態]

〈変形例〉の（1 0) 〜（1 2) では、選択信号 Smを選択信号 SSと、階調処理信号 C Sを出力信号 O Sと読み替えることによリ、同様に適用可能である。以下、第 3実施形態特有の変形例を記載する。 (1 )

上記実施形態では、 64行 64列のマトリクスからなる 2次元 LUT 41を 2 次元 LUTの一例とした。ここで、本発明の効果は、このサイズの 2次元 LUT に限定されるものではない。例えば、さら多くの階調変換曲線候補を行方向に並べたマトリクスであっても良い。また、入力信号 I Sの画素値をさらに細かいステツプに区切つた値に対する出力信号 O Sの画素値をマトリクスの列方向に並ベたもので有っても良い。具体的には、例えば 1 0ビットで表される入力信号 I Sのそれぞれの画素値に対して、出力信号 OSの画素値を並べたもので有っても良い。

2次元 LUTのサイズが大きくなれば、より適切な階調処理を行うことが可能となり、小さくなれば、 2次元 LUTを記憶するメモリの削減などが可能となる

(2)

上記実施形態では、選択信号 SSの値 [SS] が、 2次元 LUT41 (図 8参照）の備える階調変換曲線候補 G1 ~Gpの添え字（1 ~p) と等しい値にならない場合、値 [SS] に最も近い整数を添え字とする階調変換曲線候補 G 1〜G Pが入力信号 I Sの階調処理に用いられる、と説明した。ここで、選択信号 SS の値 [SS] が、 2次元 LUT41の備える階調変換曲線候補 G 1 ~Gpの添え字（1〜p) と等しい値にならない場合、選択信号 SSの値 [SS] を超えない最大の整数（k) を添え字とする階調変換曲線候補 Gk (1≤k≤p-1 ) と、 [SS] を超える最小の整数（k + 1 ) を添え字とする階調変換曲線候補 G k + 1との双方を用いて階調処理した入力信号 I Sの画素値を、選択信号 SSの値 [ SS] の小数点以下の値を用いて加重平均（内分）し、出力信号 OSを出力してもよい。

(3)

上記実施形態では、マトリクスの列方向には、例えば 1 0ビットで表される入力信号 I Sの画素値の上位 6ビッ卜の値に対する出力信号 OSの画素値が並んでいる、と説明した。ここで、出力信号 OSは、階調処理実行部 25により、入力信号 I Sの画素値の下位 4ビッ卜の値で線形補間されたマトリクスの成分として出力されるものであっても良い。すなわち、マトリクスの列方向には、例えば 1 0ビッ卜で表される入力信号 I Sの画素値の上位 6ピッ卜の値に対するマトリクスの成分が並んでおり、入力信号 I Sの画素値の上位 6ビッ卜の値に対するマ卜リクスの成分と、入力信号 I Sの画素値の上位 6ビッ卜の値に [1 ] を加えた値に対するマトリクスの成分（例えば、図 8では、 1行下の成分）とを入力信号 I Sの画素値の下位 4ビッ卜の値を用いて線形補間し、出力信号 OSとレて出力する。

(4)

上記実施形態では、広域画像領域 Emの平均明度値に基づいて、画像領域 Pm に対する選択信号 Smを出力すると説明した。ここで、選択信号 Smの出力方法は、この方法に限られない。例えば、広域画像領域 Emの最大明度値、あるいは最小明度値に基づいて、画像領域 Pmに対する選択信号 Smを出力してもよい。なお、選択信号 Smの値 [Sm] は、広域画像領域 Emの平均明度値、最大明度値、あるいは最小明度値そのものであってもよい。

また例えば、次のようにして画像領域 Pmに対する選択信号 Smを出力してもよい。すなわち、それぞれの画像領域 Pmについて平均明度値を求め、それぞれの平均明度値からそれぞれの画像領域 Pmについての仮の選択信号 Sm' を求める。ここで、仮の選択信号 Sm' は、階調変換曲線候補 G 1 ~G pの添え字の番号を値としている。さらに、広域画像領域 Emが含むそれぞれの画像領域について、仮の選択信号 Sm' の値を平均し、画像領域 Pmの選択信号 Smとする。

(5)

上記実施形態では、広域画像領域 Emの平均明度値に基づいて、画像領域 Pm に対する選択信号 Smを出力すると説明した。ここで、広域画像領域 Emの単純平均でなく、加重平均（重み付き平均）に基づいて、画像領域 Pmに対する選択信号 Smを出力しても良い。詳細は、上記 [第 2実施形態] で図 1 1を用いて説明したのと同様であり、広域画像領域 Emを構成するそれぞれの画像領域の平均明度値を求め、画像領域 Pmの平均明度値と大きく異なる平均明度値を持つ画像領域 P s 1， P s 2， ■ ■ ■については、重み付けを軽くして広域画像領域 E m の平均明度値を求める。

これにより、広域画像領域 E mが明度的に特異的な領域を含む場合（例えば、広域画像領域 E mが 2つの明度値の異なる物体の境界を含む場合）であっても、選択信号 S mの出力に対して、その特異的な領域の明度値が与える影響が少なくなり、さらに適切な選択信号 S mの出力が行われることとなる。、

( 6 )

視覚処理装置 2 1では、 2次元 L U Tが格納する値であるプロファイルデータを作成するプロファイルデータ作成部をさらに備えていても良い。具体的には、プロファイルデータ作成部は、視覚処理装置 1 (図 1参照）における画像分割部 2と階調変換曲線導出部 1 0とから構成されており、作成された複数の階調変換曲線の集合をプロファイルデータとして 2次元 L U Tに格納する。

また、 2次元 L U Tに格納される階調変換曲線のそれぞれは、空間処理された入力信号 I Sに関連づけられていてもかまわない。この場合、視覚処理装置 2 1 では、画像分割部 2 2と選択信号導出部 2 3と選択信号補正部 2 4とを、入力信号 I Sを空間処理する空間処理部に置き換えても良い。

[第 4実施形態]

図 2 2〜図 2 5を用いて本発明の第 4実施形態としての視覚処理装置 6 1について説明する。

図 2 2に示す視覚処理装置 6 1は、画像信号の空間処理、階調処理など視覚処理を行う装置である。視覚処理装置 6 1は、例えば、コンピュータ、テレビ、デジタルカメラ、携帯電話、 P D A、プリンタ、スキャナなどの画像を取り扱う機器において、画像信号の色処理を行う装置とともに画像処理装置を構成する。視覚処理装置 6 1は、画像信号と、画像信号に対して空間処理（ボケフィルタ処理）を施したボケ信号とを用いた視覚処理を行う装置であり、空間処理において特徴を有している。

従来、対象画素の周辺の画素を用いてボケ信号を導出する際に、周辺の画素が対象画素と大きく濃度の異なる画素を含むと、ボケ信号は、濃度の異なる画素の影響を受ける。すなわち、画像において物体のエッジ近傍の画素を空間処理する場合、本来エッジでない画素がエッジの濃度の影響を受けることとなる。このため、この空間処理により、例えば、擬似輪郭の発生などが引き起こされることとなる。

そこで、空間処理を画像の内容に適応させて行うことが求められる。これに対して、例えば、特開平 1 0— 7 5 3 9 5号公報は、ボケ度合いの異なる複数のポケ信号を作成し、それぞれのボケ信号を合成、あるいは切り替えることによリ適切なボケ信号を出力する。これにより、空間処理のフィルタサイズを変更し、濃度の異なる画素の影響を抑制することを目的とする。

一方、上記公報では、複数のボケ信号を作成し、それぞれのボケ信号を合成、あるいは切り替えることとなるため、装置における回路規模、あるいは処理負荷が大きくなる。

そこで、本発明の第 4実施形態としての視覚処理装置 6 1では、適切なボケ信号を出力することを目的とし、かつ、装置における回路規模、あるいは処理負荷を削減することを目的とする。

〈視覚処理装置 6 1〉

図 2 2に、画像信号（入力信号 I S ) に視覚処理を行い視覚処理画像（出力信号 O S ) を出力する視覚処理装置 6 1の基本構成を示す。視覚処理装置 6 1は、入力信号 I Sとして取得した原画像の画素ごとの明度値に空間処理を実行しアンシャープ信号 U Sを出力する空間処理部 6 2と、同じ画素についての入力信号 I Sとアンシャープ信号 U Sとを用いて、原画像の視覚処理を行い、出力信号 O S を出力する視覚処理部 6 3とを備えている。

〈空間処理部 6 2 >

図 2 3を用いて、空間処理部 6 2の空間処理について説明する。空間処理部 6 2は、空間処理の対象となる対象画素 6 5と、対象画素 6 5の周辺領域の画素（以下、周辺画素 6 6という）との画素値を入力信号 I Sから取得する。

周辺画素 6 6は、対象画素 6 5の周辺領域に位置する画素であり、対象画素 6 5を中心として広がる縦 9画素、横 9画素の周辺領域に含まれる画素である。なお、周辺領域の大きさは、この場合に限定されず、より小さくてもよいし、より大きくてもよい。また、周辺画素 6 6は、対象画素 6 5からの距離に応じて近いものから第 1周辺画素 67、第 2周辺画素 68と分けられている。図 23では、第 1周辺画素 67は、対象画素 65を中心とする縦 5画素、横 5画素の領域に含まれる画素であるとする。さらに第 2周辺画素 68は、第 1周辺画素 67の周辺に位置する画素であるとする。

空間処理部 62は、対象画素 65に対してフィルタ演算を行う。フィルタ演算では、対象画素 65と周辺画素 66との画素値とが、対象画素 65と周辺画素 6 6との画素値の差および距離に基づく重みを用いて、加重平均される。加重平均は、次式 F= (∑ [W i j ] * [A i j ] ) / (∑ [W i j ] ) に基づいて計算される。ここで、 [W i j ] は、対象画素 65および周辺画素 66において、 i 行 j列目に位置する画素の重み係数であり、 [A i j ] は、対象画素 65および周辺画素 66において、 i行 j '列目に位置する画素の画素値である。また、 Γ∑ J は、対象画素 65および周辺画素 66のそれぞれの画素についての合計の計算を行うことを意味している。

図 24を用いて、重み係数 [W i j ] について説明する。重み係数 [W i j ] は、対象画素 65と周辺画素 66との画素値の差および距離に基づいて定められる値である。より具体的には、画素値の差の絶対値が大きいほど小さい値の重み係数が与えられる。また、距離が大きいほど小さい重み係数が与えられる。

例えば、対象画素 65に対しては、重み係数 [W i j ] は、値 [1 ] である。第 1周辺画素 67のうち、対象画素 65の画素値との差の絶対値が所定の閾値よりも小さい画素値を有する画素に対しては、重み係数 [W i j ] は、値 [1 ] である。第 1周辺画素 67のうち、差の絶対値が所定の閾値よりも大きい画素値を有する画素に対しては、重み係数 [W i j ] は、値 [1 /2] である。すなわち、第 1周辺画素 67に含まれる画素であっても、画素値に応じて与えられる重み係数が異なっている。

第 2周辺画素 68のうち、対象画素 65の画素値との差の絶対値が所定の閾値よ.リも小さい画素値を有する画素に対しては、重み係数 [W i j ] は、値 [1 2] である。第 2周辺画素 68のうち、差の絶対値が所定の閾値よりも大きい画素値を有する画素に対しては、重み係数 [W i j ] は、値 [1 /4] である。すなわち、第 2周辺画素 68に含まれる画素であっても、画素値に応じて与えられる重み係数が異なっている。また、対象画素 6 5からの距離が第 1周辺画素 6 7 よりも大きい第 2周辺画素 6 8では、より小さい重み係数が与えられている。

ここで、所定の閾値とは、値 [ 0 . 0 ~ 1 . 0 ] の範囲の値をとる対象画素 6 5の画素値に対して、値 [ 2 0 2 5 6〜6 0ノ 2 5 6 ] などといった大きさの値である。

以上により計算された加重平均が、アンシャープ信号 U Sとして出力される。〈視覚処理部 6 3〉

視覚処理部 6 3では、同一の画素についての入力信号 I Sとアンシャープ信号 U Sとの値を用いて、視覚処理を行う。ここで行われる視覚処理は、入力信号 I Sのコントラスト強調、あるいはダイナミックレンジ圧縮などといった処理である。コントラス卜強調では、入力信号 I Sとアンシャープ信号 U Sとの差、あるいは比を強調する関数を用いて強調した信号を入力信号 I Sに加え、画像の鮮鋭化が行われる。ダイナミックレンジ圧縮では、入力信号 I Sからアンシャープ信号 U Sが減算される。

視覚処理部 6 3における処理は、入力信号 I Sとアンシャープ信号 U Sとを入力として出力信号 O Sを出力する 2次元 L U Tを用いて行われても良い。

〈視覚処理方法■プログラム〉

上述の処理は、視覚処理プログラムとして、コンピュータなどにより実行されるものであってもよい。視覚処理プログラムは、以下記載する視覚処理方法をコンピュータに実行させるためのプログラムである。

視覚処理方法は、入力信号 I Sとして取得した原画像の画素ごとの明度値に空間処理を実行しアンシヤープ信号 U Sを出力する空間処理ステツプと、同じ画素についての入力信号 I Sとアンシャープ信号 U Sとを用いて、原画像の視覚処理を行い、出力信号 O Sを出力する視覚処理ステップとを備えている。

空間処理ステップでは、入力信号 I Sの画素毎に、空間処理部 6 2の説明において記載した加重平均を行い、アンシャープ信号 U Sを出力する。詳細については、上述したため省略する。

視覚処理ステップでは、同じ画素についての入力信号 I Sとアンシャープ信号 U Sとを用いて、視覚処理部 6 3の説明において記載した視覚処理を行い出力信号 O Sを出力する。詳細については、上述したため省略する。

〈効果〉

図 2 5 ( a ) 〜（b ) を用いて、視覚処理装置 6 1による視覚処理の効果を説明する。図 2 5 ( a ) と図 2 5 ( b ) とは、従来のフィルタによる処理を示している。図 2 5 ( b ) は、本発明のフィルタによる処理を示している。

図 2 5 ( a ) は、周辺画素 6 6が濃度の異なる物体 7 1を含む様子を示している。対象画素 6 5の空間処理では、所定のフィルタ係数を持つ平滑化フィルタが用いられる。このため、本来物体 7 1の一部でない対象画素 6 5が物体 7 1の濃度の影響を受けることとなる。

図 2 5 ( b ) は、本発明の空間処理の様子を示している。本発明の空間処理では、周辺画素 6 6が物体 7 1を含む部分 6 6 a、物体 7 1を含まない第 1周辺画素 6 7、物体 7 1を含まない第 2周辺画素 6 8、対象画素 6 5、のそれぞれに対して、異なる重み係数を用いて空間処理が行われる。このため、空間処理された対象画素 6 5が極端に濃度の異なる画素から受ける影響を抑えることが可能となリ、より適切な空間処理が可能となる。

また、視覚処理装置 6 1では、特開平 1 0— 7 5 3 9 5号公報のように複数のボケ信号を作成する必要が無い。このため、装置における回路規模、あるいは処理負荷を削減することが可能となる。

さらに、視覚処理装置 6 1では、実質的に、空間フィルタのフィルタサイズ、およびフィルタが参照する画像の形状を画像内容に応じて適応的に変更することが可能である。このため、画像内容に適した空間処理を行うことが可能となる。

〈変形例〉

( 1 )

上記した周辺画素 6 6、第 1周辺画素 6 7、第 2周辺画素などの大きさは、 ― 例であり、他の大きさであってもよい。

上記した重み係数は、一例であり、他のものであっても良い。例えば、画素値の差の絶対値が所定の閾値を超える場合に、重み係数を値 [ 0 ] として与えてもよい。これにより、空間処理された対象画素 6 5が極端に濃度の異なる画素から受ける影響を無くすことが可能となる。このことは、コントラスト強調を目的とした応用では、元々ある程度コントラス卜の大きい部分におけるコントラス卜を過剰に強調しないという効果がある。

また、重み係数は、次に示すような関数の値として与えられるものであってもよい。

( 1 - a )

画素値の差の絶対値を変数とする関数によリ重み係数の値を与えてもよい。関数は、例えば、画素値の差の絶対値が小さいときは重み係数が大きく（1に近く ) 、画素値の差の絶対値が大きいときは重み係数が小さく（0に近く）なるような、画素値の差の絶対値に対して単調減少する関数である。

( 1 — b )

対象画素 6 5からの距離を変数とする関数により重み係数の値をあたえてもよし、。関数は、例えば、対象画素 6 5からの距離が近いときには重み係数が大きく ( 1に近く）、対象画素 6 5からの距離が遠いときには重み係数が小さく（0に近く）なるような、対象画素 6 5からの距離に対して単調減少する関数である。上記（1 — a ) 、 ( 1 - b ) では、重み係数がより連続的に与えられることとなる。このため、閾値を用いた場合に比して、より適切な重み係数を与えることが可能となり、過剰なコントラスト強調を抑制し、擬似輪郭の発生などを抑制し、より視覚的効果の高い処理を行うことが可能となる。

( 2 )

上記したそれぞれの画素についての処理は、複数の画素を含むブロックを単位として行われても良い。具体的には、まず、空間処理の対象となる対象ブロックの平均画素値と、対象ブロックの周辺の周辺ブロックの平均画素値とが計算される。さらに、それぞれの平均画素値が上記と同様の重み係数を用いて加重平均される。これにより、対象ブロックの平均画素値がさらに空間処理されることとなる。

このような場合には、空間処理部 6 2を選択信号導出部 1 3 (図 6参照）あるいは選択信号導出部 2 3 (図 1 9参照）として用いることも可能である。この場合、 [第 2実施形態] 〈変形例〉（6 ) 、あるいは [第 3実施形態] 〈変形例〉 ( 5 ) に記載したのと同様である。これに関し、図 2 6〜図 2 8を用いて説明を加える。

《構成》

図 2 6は、図 2 2〜図 2 5を用いて説明した処理を複数の画素を含むブロック単位で行う視覚処理装置 9 6 1の構成を示すブロック図である。

視覚処理装置 9 6 1は、入力信号 I Sとして入力される画像を複数の画像プロックに分割する画像分割部 9 6 4と、分割された画像ブロック毎の空間処理を行う空間処理部 9 6 2と、入力信号 I Sと空間処理部 9 6 2の出力である空間処理信号 U S 2とを用いて視覚処理を行う視覚処理部 9 6 3とから構成されている。画像分割部 9 6 4は、入力信号 I Sとして入力される画像を複数の画像ブロックに分割する。さらに、分割された画像ブロック毎の特徴パラメータを含む処理信号 U S 1を導出する。特徴パラメータとは、例えば、分割された画像ブロック毎の画像の特徴を表すパラメータであり、例えば、平均値（単純平均、加重平均など）や代表値（最大値、最小値、中央値など）である。

空間処理部 9 6 2は、画像ブロック毎の特徴パラメータを含む処理信号 U S 1 を取得し、空間処理を行う。

図 2 7を用いて、空間処理部 9 6 2の空間処理について説明する。図 2 7は、複数画素を含む画像ブロックに分割された入力信号 I Sを示している。ここで、それぞれの画像ブロックは、縦 3画素■横 3画素の 9画素を含む領域に分割されている。なお、この分割方法は、一例であり、このような分割方法に限定されるわけではない。また、視覚処理効果を十分に発揮するためには、かなり広い領域を対象として空間処理信号 U S 2を生成することが好ましい。

空間処理部 9 6 2は、空間処理の対象となる対象画像ブロック 9 6 5と、対象画像ブロック 9 6 5の周辺に位置する周辺領域 9 6 6に含まれるそれぞれの周辺画像ブロックとの特徴パラメータを処理信号 U S 1から取得する。

周辺領域 9 6 6は、対象画像ブロック 9 6 5の周辺に位置する領域であり、対象画像ブロック 9 6 5を中心として広がる縦 5ブロック、横 5ブロックの領域である。なお、周辺領域 9 6 6の大きさは、この場合に限定されず、より小さくてもよいし、より大きくてもよい。また、周辺領域 9 6 6は、対象画像ブロック 9 6 5からの距離に応じて近いものから第 1周辺領域 9 6 7、第 2周辺領域 9 6 8 と分けられている。

図 27では、第 1周辺領域 967は、対象画像ブロック 965を中心とする縦 3ブロック、横 3ブロックの領域であるとする。さらに第 2周辺領域 968は、第 1周辺領域 967の周辺に位置する領域であるとする。

空間処理部 962は、対象画像ブロック 965の特徴パラメータに対してフィルタ演算を行う。ヽ

フィルタ演算では、対象画像ブロック 965と周辺領域 966の周辺画像ブ口ックとの特徴パラメータの値が加重平均される。ここで加重平均の重みは、対象画像ブロック 965と周辺画像ブロックとの距離および特徵ノ《ラメータの値の差に基づいて定められている。

より具体的には、加重平均は、次式 F= (∑ [W i j ] * [A i ] ! ) / (∑ [W i 〗 ] ) に基づいて計算される。

ここで、 [W i j ] は、対象画像ブロック 965および周辺領域 966において、 i行 j列目に位置する画像ブロックに対する重み係数であり、 [A i j ] は、対象画像ブロック 965および周辺領域 966において、 i行 j列目に位置する画像ブロックの特徴パラメータの値である。また、「∑」は、対象画像ブロック 965および周辺領域 966のそれぞれの画像ブロックについての合計の計算を行うことを意味している。

図 28を用いて、重み係数 [W i j ] について説明する。

重み係数 [W i j ] は、対象画像ブロック 965と周辺領域 966の周辺画像ブロックとの距離および特徴パラメ一タの値の差に基づいて定められる値である。より具体的には、特徴パラメータの値の差の絶対値が大きいほど小さい値の重み係数が与えられる。また、距離が大きいほど小さい重み係数が与えられる。例えば、対象画像ブロック 965に対しては、重み係数 [W i j ] は、値 [1 ] である。

第 1周辺領域 967のうち、対象画像ブロック 965の特徴パラメータの値との差の絶対値が所定の閾値よりも小さい特徴パラメータの値を有する周辺画像ブロックに対しては、重み係数 [W i j ] は、値 [1 ] である。第 1周辺領域 96 7のうち、差の絶対値が所定の閾値よりも大きい特徴パラメータの値を有する周辺画像ブロックに対しては、重み係数 [W i j ] は、値 [1 /2] である。すなわち、第 1周辺領域 967に含まれる周辺画像ブロックであっても、特徴パラメータの値に応じて与えられる重み係数が異なっている。

第 2周辺領域 968のうち、対象画像ブロック 965の特徴パラメータの値との差の絶対値が所定の閾値よりも小さい特徴パラメータの値を有する周辺画像ブロックに対しては、重み係数 [W i j ] は、値 [1 /2] である。第²、周辺領域 968のうち、差の絶対値が所定の閾値よりも大きい特徴パラメータの値を有する周辺画像ブロックに対しては、重み係数 [W i j ] は、値 [1 Z4] である。すなわち、第 2周辺領域 968に含まれる周辺画像ブロックであっても、特徵パラメータの値に応じて与えられる重み係数が異なっている。また、対象画像ブロック 965からの距離が第 1周辺領域 967よりも大きい第 2周辺領域 968では、より小さい重み係数が与えられている。

ここで、所定の閾値とは、値 [0. 0~1. 0] の範囲の値をとる対象画像ブロック 965の特徴パラメータの値に対して、値 [20/256〜 60/256 ] などといった大きさの値である。

以上により計算された加重平均が、空間処理信号 US 2として出力される。視覚処理部 963では、視覚処理部 63 (図 22参照）と同様の視覚処理が行われる。ただし、視覚処理部 63との相違点は、アンシャープ信号 USの代わりに、視覚処理の対象となる対象画素を含む対象画像ブロックの空間処理信号 US 2が用いられる点である。また、視覚処理部 963における処理は、対象画素を含む対象画像ブロック単位で一括して処理されてもよいが、入力信号 I Sから取得される画素の順序で空間処理信号 U S 2を切り換えて処理されてもよい。以上の処理が、入力信号 I Sに含まれる全ての画素について行われる。

《効果》

空間処理部 962の処理では、画像ブロックを単位とした処理が行われる。このため、空間処理部 962の処理量を削減でき、より高速の視覚処理が実現可能となる。また、ハードウェア規模を小さくすることが可能となる。

《変形例》

上記では、正方のブロック単位で処理を行うと記載した。ここで、ブロックの形状は、任意としてもよい。

また、上記した重み係数、閾値なども適宜変更可能である。

ここで、重み係数の一部の値は、値 [0] であってもよい。この場合には、周辺領域 966の形状を任意の形状とすることと同じこととなる。

また、空間処理部 962では、対象画像ブロック 965と周辺領域 966との特徴パラメータを用いて空間処理を行うと説明したが、空間処理は、周辺領域 9 66のみの特徴パラメータを用いて行うものであってもよい。すなわち、空間処理の加重平均の重みにおいて、対象画像ブロック 965の重みを値 [0] としてもよい。

( 3 )

視覚処理部 63における処理は、上記したものに限られない。例えば、視覚処理部 63は、入力信号 I Sの値 A、アンシャープ信号 U Sの値 B、ダイナミックレンジ圧縮関数 F 4、強調関数 F 5を用いて、次式 C= F 4 (A) * F 5 (A/ B) により演算される値 Cを出力信号 OSの値として出力するものであってもかまわない。ここで、ダイナミックレンジ圧縮関数 F 4は、上に凸のべき関数などの単調増加関数であり、例えば、 F 4 (χ) =χ ^Λ (0<r< 1 ) と表される。強調関数 F 5は、べき関数であり、例えば、 F 5 ( X ) =χ ^Λ a (0<Qf≤ 1 ) と表される。

視覚処理部 63においてこのような処理が行われる場合、本発明の空間処理部 62により出力された適切なアンシャープ信号 U Sが用いられれば、入力信号 I Sのダイナミックレンジを圧縮しつつ、局所的なコントラス卜を強調することが可能となる。

一方、アンシャープ信号 USが適切でなく、ボケが少なすぎる場合には、エツジ強調的ではあるがコントラストの強調が適切に行えない。また、ボケが多すぎる場合には、コントラストの強調は行えるが、ダイナミックレンジの圧縮が適切に行えない。

[第 5実施形態]

本発明の第 5実施形態として、上記第 1〜第 4実施形態で説明した視覚処理装置、視覚処理方法、視覚処理プログラムの応用例と、それを用いたシステムとについて説明する。

視覚処理装置は、例えば、コンピュータ、テレビ、デジタルカメラ、携帯電話、 PDAなど、画像を取り扱う機器に内蔵、あるいは接続されて、画像の階調処理を行う装置であり、 LS Iなどの集積回路として実現される。

より詳しくは、上記実施形態の各機能ブロックは、個別に 1チップ化されても良いし、一部又は全てを含むように 1チップ化されても良い。なお、ここでは、 LS I としたが、集積度の違いにより、 I C、システム LS I、スーパー LS I 、ウルトラ LS I と呼称されることもある。

また、集積回路化の手法は LS Iに限るものではなく、専用回路又は汎用プロセサで実現してもよい。 LS I製造後に、プログラムすることが可能な F PGA (Field Programmable Gate Array) や、 L S I内部の回路セルの接続や設定を再構成可能なリコンフィギユラブル■プロセッサ一を利用しても良い。

さらには、半導体技術の進歩又は派生する別技術により LS Iに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適応等が可能性としてありえる。

図 1、図 6、図 1 9、図 22、図 26の各ブロックの処理は、例えば、視覚処理装置が備える中央演算装置（C PU) により行われる。また、それぞれの処理を行うためのプログラムは、ハードディスク、 ROMなどの記憶装置に格納されており、 ROMにおいて、あるいは RAMに読み出されて実行される。また、図 6、図 1 9の階調処理実行部 1 4， 25において参照される 2次元 L UTは、ハードディスク、 ROMなどの記憶装置に格納されており、必要に応じて參照される。さらに、 2次元 LUTは、視覚処理装置に直接的に接続される、あるいはネットワークを介して間接的に接続される 2次元 L U Tの提供装置から提供されるものであってもよい。また、図 1 3の階調処理実行部 44において参照される 1 次元 L U Tについても同様である。

また、視覚処理装置は、動画像を取り扱う機器に内蔵、あるいは接続されて、フレーム毎（フィールド毎）の画像の階調処理を行う装置であってもよい。

また、それぞれの視覚処理装置では、上記第 1〜第 4実施形態で説明した視覚処理方法が実行される。視覚処理プログラムは、コンピュータ、テレビ、デジタルカメラ、携帯電話、 PDAなど、画像を取り扱う機器に内蔵、あるいは接続される装置において、ハードディスク、 ROMなどの記憶装置に記憶され、画像の階調処理を実行するプログラムであり、例えば、 CD— ROMなどの記録媒体を介して、あるいはネッ卜ワークを介して提供される。

上記実施形態では、それぞれの画素の明度値について処理を行うと説明した。ここで、本発明は、入力信号 I Sの色空間に依存するものではない。すなわち、上記実施形態における処理は、入力信号 I Sが YCb G r色空間、 YUV色空間、 L a b色空間、 L u V色空間、 Y I Q色空間、 X Y Z色空間、 Y P b P r色空間、 RGB色空間などで表されている場合に、それぞれの色空間の輝度、明度に対して、同様に適用可能である。

また入力信号 I Sが RGB色空間で表されている場合に、上記実施形態における処理は、 RGBそれぞれの成分に対して独立に行われるものであってもよい。

[第 6実施形態]

本発明の第 6実施形態として、上記で説明した視覚処理装置、視覚処理方法、視覚処理プログラムの応用例とそれを用いたシステムを図 29〜図 32を用いて説明する。

図 29は、コンテンツ配信サービスを実現するコンテンツ供給システム e X 1 00の全体構成を示すブロック図である。通信サービスの提供エリアを所望の大きさに分割し、各セル内にそれぞれ固定無線局である基地局 e X 1 07〜e X 1 1 0が設置されている。

このコンテンツ供給システム e X 1 00は、例えば、インターネット e X 1 0 1にインタ一ネットサービスプロバイダ e X 1 02および電話網 e x 1 04、おょぴ基地局 e X 1 07〜e X 1 1 0を介して、コンピュータ e x 1 1 1、 PDA (personal digital assistant) e x 1 1 2、カメラ e x l 1 3、携^電古 e x 1 1 4、カメラ付きの携帯電話 e x 1 1 5などの各機器が接続される。

しかし、コンテンツ供給システム e X 1 00は図 29のような組合せに限定されず、いずれかを組み合わせて接続するようにしてもよい。また、固定無線局である基地局 e X 1 07-e X 1 1 0を介さずに、各機器が電話網 e x 1 04に直接接続されてもよい。

カメラ e X 1 1 3はデジタルビデオカメラ等の動画撮影が可能な機器である。また、携帯電話は、 PDG (Personal Digital Communications) 方式、 CDM A (Code Division Multiple Access) 方式、 W— CDMA (Wideband-Code Div ision Multiple Access) 方式、若しくは GSM (Global System for Mobile Co mmuni cat ions) 方式の携帯電話機、または PHS (Personal Handypho e System ) 等であり、いずれでも構わない。

また、ストリ一ミングサーバ e x 1 03は、カメラ e x 1 1 3から基地局 e x 1 O 9、電話網 e x 1 04を通じて接続されており、カメラ e x 1 1 3を用いてユーザが送信する符号化処理されたデータに基づいたライブ配信等が可能になる。撮影したデータの符号化処理はカメラ e X 1 1 3で行っても、データの送信処理をするサーバ等で行ってもよい。また、カメラ e x 1 1 6で撮影した動画データはコンピュータ e X 1 1 1を介してストリ一ミングサーバ e x 1 O 3に送信されてもよい。カメラ e x 1 1 6はデジタルカメラ等の静止画、動画が撮影可能な機器である。この場合、動画データの符号化はカメラ e X 1 1 6で行ってもコンピュータ e X 1 1 1で行ってもどちらでもよい。また、符号化処理はコンビユータ e x 1 1 1やカメラ e x 1 1 6が有する LS I e x 1 1 7において処理することになる。なお、画像符号化 .復号化用のソフトウェアをコンピュータ e X 1 1 1等で読み取り可能な記録媒体である^！らかの蓄積メディア（CD— ROM、フレキシブルディスク、ハードディスクなど）に組み込んでもよい。さらに、カメラ付きの携帯電話 e X 1 1 5で動画データを送信してもよい。このときの動画データは携帯電話 e X 1 1 5が有する LS Iで符号化処理されたデータである。このコンテンツ供給システム e X 1 00では、ユーザがカメラ e x 1 "I 3、力メラ e x 1 1 6等で撮影しているコンテンツ（例えば、音楽ライブを撮影した映像等）を符号化処理してストリーミングサーバ e X 1 03に送信する一方で、ストリーミングサーバ e X 1 03は要求のあったクライアン卜に対して上記コンテンッデータをストリーム配信する。クライアントとしては、符号化処理されたデ —タを復号化することが可能な、コンピュータ e x 1 1 1、 PDAe x 1 1 2、カメラ e x 1 1 3、携帯電話 e x 1 1 4等がある。このようにすることでコンテンッ供給システム e x 1 0 0は、符号化されたデータをクライアントにおいて受信して再生することができ、さらにクライアン卜においてリアルタイムで受信して復号化し、再生することにより、個人放送をも実現可能になるシステムであるコンテンツの表示に際して、上記実施形態で説明した視覚処理装置、視覚処理方法、視覚処理プログラムを用いても良い。例えば、コンピュータ e x、1 1 1、 P D A e X 1 1 2、カメラ e x l 1 3、携帯電話 e x 1 1 4等は、上記実施形態で示した視覚処理装置を備え、視覚処理方法、視覚処理プログラムを実現するものであっても良い。

また、ストリ一ミングサーバ e X 1 0 3は、視覚処理装置に対して、インタ一ネット e X 1 0 1を介してプロファイルデータを提供するものであっても良い。さらに、ストリーミングサーバ e X 1 0 3は、複数台存在し、それぞれ異なるプ口ファイルデータを提供するものであっても良い。さらに、ストリ一ミンダサ一バ e x 1 0 3は、プロファイルの作成を行うものであっても良い。このように、インタ一ネット e X 1 0 1を介して、視覚処理装置がプロファイルデータを取得できる場合、視覚処理装置は、あらかじめ視覚処理に用いるプロファイルデータを記憶しておく必要が無く、視覚処理装置の記憶容量を削減することも可能となる。また、インターネット e x l 0 1介して接続される複数のサーバからプロフアイルデータを取得できるため、異なる視覚処理を実現することが可能となる。一例として携帯電話について説明する。

図 3 0は、上記実施形態の視覚処理装置を備えた携帯電話 e X 1 1 5を示す図である。携帯電話 e X 1 1 5は、基地局 e X 1 1 0との間で電波を送受信するためのアンテナ e x 2 0 1、 C C Dカメラ等の映像、静止画を撮ることが可能な力メラ部 e x 2 0 3、カメラ部 e X 2 0 3で撮影した映像、アンテナ e x 2 0 1で受信した映像等が復号化されたデータを表示する液晶ディスプレイ等の表示部 e x 2 0 2、操作キー e x 2 0 4群から構成される本体部、音声出力をするためのスピーカ等の音声出力部 e X 2 0 8、音声入力をするためのマイク等の音声入力部 e x 2 0 5、撮影した動画もしくは静止画のデータ、受信したメールのデータ、動画のデータもしくは静止画のデータ等、符号化されたデータまたは復号化されたデータを保存するための記録メディア e X 207、携帯電話 e x 1 1 5に記録メディア e X 207を装着可能とするためのスロット部 e X 206を有している。記録メディア e X 207は SDカード等のプラスチックケース内に電気的に書換えや消去が可能な不揮発性メモリである EE PROM (Electrical ly Erasa ble and Programmable Read Only Memory) の一種であフラッシュメモリ素ナを格納したものである。、

さらに、携帯電話 e X 1 1 5について図 31を用いて説明する。携帯電話 e x 1 1 5は表示部 e X 202および操作キー e x 204を備えた本体部の各部を統括的に制御するようになされた主制御部 e X 31 1に対して、電源回路部 e x 3 1 0、操作入力制御部 e X 304、画像符号化部 e x 31 2、カメラインターフエース部 e X 303、 LCD (Liquid Crystal Display) 制御部 e x 302、画像復号化部 e X 309、多重分離部 e X 308、記録再生部 e x 307、変復調回路部 e X 306および音声処理部 e x 305が同期バス e x 31 3を介して互いに接続されている。

電源回路部 e X 31 0は、ユーザの操作により終話および電源キーがオン状態にされると、バッテリパックから各部に対して電力を供給することによリカメラ付ディジタル携帯電話 e X 1 1 5を動作可能な状態に起動する。

携帯電話 e x 1 1 5は、 C PU、 ROMおよび RAM等でなる主制御部 e X 3 1 1の制御に基づいて、音声通話モード時に音声入力部 e X 205で集音した音声信号を音声処理部 e X 305によってディジタル音声データに変換し、これを変復調回路部 e X 306でスぺク卜ラム拡散処理し、送受信回路部 e x 301でディジタルアナログ変換処理および周波数変換処理を施した後にアンテナ e X 2 01を介して送信する。また携帯電話 e x 1 1 5は、音声通話モード時にアンテナ e X 201で受信した受信信号を増幅して周波数変換処理およびアナログディジタル変換処理を施し、変復調回路部 e X 306でスぺクトラム逆拡散処理し、音声処理部 e X 305によってアナログ音声信号に変換した後、これを音声出力部 e X 208を介して出力する。

さらに、データ通信モード時に電子メールを送信する場合、本体部の操作キー e X 204の操作によって入力された電子メールのテキス卜データは操作入力制御部 e x 3 O 4を介して主制御部 e x 3 1 1に送出される。主制御部 e x 3 1 1 は、テキス卜データを変復調回路部 e X 3 0 6でスペクトラム拡散処理し、送受信回路部 e X 3 0 1でディジタルアナログ変換処理および周波数変換処理を施した後にアンテナ e X 2 0 1を介して基地局 e x 1 1 0へ送信する。

データ通信モード時に画像データを送信する場合、カメラ部 e x 2 0 3で撮像された画像データをカメラインターフ: L—ス部 e X 3 0 3を介して画像符号化部 e X 3 1 2に供給する。また、画像データを送信しない場合には、カメラ部 e x 2 0 3で撮像した画像データをカメラインターフェース部 e X 3 0 3および L C D制御部 e X 3 0 2を介して表示部 e x 2 O 2に直接表示することも可能である α

画像符号化部 e X 3 1 2は、カメラ部 e X 2 0 3から供給された画像データを圧縮符号化することにより符号化画像データに変換し、これを多重分離部 e X 3 0 8に送出する。また、このとき同時に携帯電話 e X 1 1 5は、カメラ部 e x 2 0 3で撮像中に音声入力部 e X 2 0 5で集音した音声を音声処理部 e x 3 0 5を介してディジタルの音声データとして多重分離部 e X 3 0 8に送出する。

多重分離部 e X 3 0 8は、画像符号化部 e x 3 1 2から供給された符号化画像データと音声処理部 e X 3 0 5から供給された音声データとを所定の方式で多重化し、その結果得られる多重化データを変復調回路部 e X 3 0 6でスぺクトラム拡散処理し、送受信回路部 e X 3 0 1でディジタルアナログ変換処理および周波数変換処理を施した後にアンテナ e X 2 0 1を介して送信する。

データ通信モード時にホームページ等にリンクされた動画像ファイルのデータを受信する場合、アンテナ e X 2 0 1 を介して基地局 e x 1 1 0から受信した受信信号を変復調回路部 e X 3 0 6でスぺクトラム逆拡散処理し、その結果得られる多重化データを多重分離部 e X 3 0 8に送出する。

また、アンテナ e X 2 0 1を介して受信された多重化データを復号化するには、多重分離部 e x 3 0 8は、多重化データを分離することにより画像データの符号化ビッ卜ストリームと音声データの符号化ビットストリームとに分け、同期バス e X 3 1 3を介して当該符号化画像データを画像復号化部 e X 3 0 9に供給すると共に当該音声データを音声処理部 e X 3 0 5に供給する。次に、画像復号化部 e x 3 0 9は、画像データの符号化ビットストリームを復号することによリ再生動画像データを生成し、これをし C D制御部 e X 3 0 2を介して表示部 e X 2 0 2に供給し、これにより、例えばホームページにリンクされた動画像ファイルに含まれる動画データが表示される。このとき同時に音声処理部 e X 3 0 5は、音声データをアナログ音声信号に変換した後、これを音声出力部 e x 2 0 8に供給し、これにより、例えばホームページにリンクされた動画像ファイルに含まる音声データが再生される。

以上の構成において、画像復号化部 e X 3 0 9は、上記実施形態の視覚処理装置を備えていても良い。

なお、上記システムの例に限られず、最近は衛星、地上波によるディジタル放送が話題となっておリ、図 3 2に示すようにディジタル放送用システムにも上記実施形態で説明した視覚処理装置、視覚処理方法、視覚処理プログラムを組み込むことができる。具体的には、放送局 e X 4 0 9では映像情報の符号化ビットストリームが電波を介して通信または放送衛星 e X 4 1 0に伝送される。これを受けた放送衛星 e X 4 1 0は、放送用の電波を発信し、この電波を衛星放送受信設備をもつ家庭のアンテナ e X 4 0 6で受信し、テレビ（受信機） e X 4 0 1またはセットトップボックス（S T B ) e X 4 0 7などの装置により符号化ビットストリームを復号化してこれを再生する。ここで、テレビ（受信機） e x 4 0 1またはセットトップボックス（S T B ) e X 4 0 7などの装置が上記実施形態で説明した視覚処理装置を備えていてもよい。また、上記実施形態の視覚処理方法を用いるものであってもよい。さらに、視覚処理プログラムを備えていてもよい。また、記録媒体である C Dや D V D等の蓄積メディア e X 0 2に記録した符号化ビットス卜リームを読み取り、復号化する再生装置 e X 4 0 3にも上記実施形態で説明した視覚処理装置、視覚処理方法、視覚処理プログラムを実装することが可能である。この場合、再生された映像信号はモニタ e X 4 0 4に表示される。また、ケーブルテレビ用のケーブル e X 4 0 5または衛星地上波放送のアンテナ e X 4 0 6に接続されたセッ卜トップボックス e x 4 0 7内に上記実施形態で説明した視覚処理装置、視覚処理方法、視覚処理プログラムを実装し、これをテレビのモニタ e X 4 0 8で再生する構成も考えられる。このときセットトップボックスではなく、テレビ内に上記実施形態で説明した視覚処理装置を組み込んでも良い。また、アンテナ e X 4 1 1を有する車 e x 1 2で衛星 e x 4 1 0からまたは基地局 e X 1 0 7等から信号を受信し、車 e X 4 1 2が有するカーナビゲーシヨン e X 1 3等の表示装置に動画を再生することも可能である。

更に、画像信号を符号化し、記録媒体に記録することもできる。具体例としては、 D V Dディスク e X 4 2 1に画像信号を記録する D V Dレコーダや、ハードディスクに記録するディスクレコーダなどのレコーダ e X 4 2 0がある。更に S D力一ド e X 4 2 2に記録することもできる。レコーダ e x 4 2 0が上記実施形態の復号化装置を備えていれば、 D V Dディスク e X 4 2 1や S Dカード e X 4 2 2に記録した画像信号を補間して再生し、モニタ e x 4 0 8に表示することができる。

なお、カーナビゲーシヨン e X 4 1 3の構成は例えば図 3 1に示す構成のうち、カメラ部 e X 2 0 3とカメラインターフェース部 e X 3 0 3、画像符号化部 e X 3 1 2を除いた構成が考えられ、同様なことがコンピュータ e X 1 1 1ゃテレビ (受信機) e X 4 0 1等でも考えられる。

また、上記携帯電話 e X 1 1 4等の端末は、符号化器 '復号化器を両方持つ送受信型の端末の他に、符号化器のみの送信端末、復号化器のみの受信端末の 3通りの実装形式が考えられる。

このように、上記実施形態で説明した視覚処理装置、視覚処理方法、視覚処理プログラムを上述したいずれの機器'システムに用いることは可能であり、上記実施形態で説明した効果を得ることができる。

[付記]

上記実施形態に記載の本発明は、次のように表現することも可能である。〈付記の内容〉

(付記 1 )

入力された画像信号を複数の画像領域に分割する画像領域分割手段と、前記画像領域毎に階調変換特性を導出する手段であって、前記階調変換特性の導出対象となる対象画像領域と前記対象画像領域の周辺画像領域との階調特性を用いて、前記対象画像領域の前記階調変換特性を導出する階調変換特性導出手段と、

導出された前記階調変換特性に基づいて、前記画像信号の階調処理を行う階調処理手段と、

を備える視覚処理装置。

(付記 2 )

前記階調変換特性は、階調変換曲線であり、ヽ前記階調変換特性導出手段は、前記階調特性を用いてヒストグラムを作成するヒストグラム作成手段と、作成された前記ヒストグラムに基づいて前記階調変換曲線を作成する階調曲線作成手段とを有している、

付記 1に記載の視覚処理装置。

(付記 3 )

前記階調変換特性は、前記画像信号を階調処理する複数の階調変換テーブルの中から 1つの階調変換テーブルを選択するための選択信号であり、

前記階調処理手段は、前記複数の階調変換テーブルを 2次元 L U Tとして有している、

付記 1に記載の視覚処理装置。

(付記 4 )

前記 2次元 L U Tは、前記画像信号の全ての値において、前記選択信号の値に対する階調処理された前記画像信号の値が単調増加あるいは単調減少する順序で前記複数の階調変換テーブルを格納している、

付記 3に記載の視覚処理装置。

(付記 5 )

前記 2次元 L U Tは、プロフアイルデ一タの登録によリ変更可能である、付記 3又は 4に記載の視覚処理装置。

(付記 6 )

前記選択信号の値は、前記対象画像領域と前記周辺画像領域とのそれぞれの画像領域について導出された選択信号である個別選択信号の特徴量として導出される、

付記 3〜 5のいずれかに記載の視覚処理装置。 (付記 7 )

前記選択信号は、前記対象画像領域と前記周辺画像領域との階調特性を用いて導出される特徴量である階調特性特徴量に基づいて導出される、

付記 3〜 5のいずれかに記載の視覚処理装置。

(付記 8 )

前記階調処理手段は、前記選択信号が選択する前記階調変換テーブルを用いて前記対象画像領域の階調処理を実行する階調処理実行手段と、前記階調処理された前記画像信号の階調を補正する手段であって、補正の対象となる対象画素を含む画像領域と前記対象画素を含む前記画像領域の隣接画像領域とについて選択された前記階調処理テーブルに基づいて、前記対象画素の階調を補正する補正手段とを有している、

付記 3 ~ 7のいずれかに記載の視覚処理装置。

(付記 9 )

前記階調処理手段は、前記選択信号を補正し、前記画像信号の画素毎に階調処理テーブルを選択するための補正選択信号を導出する補正手段と、前記補正選択信号が選択する前記階調変換テーブルを用いて前記画像信号の階調処理を実行する階調処理実行手段とを有している、

付記 3〜 7のいずれかに記載の視覚処理装置。

(付記 1 0 )

入力された画像信号を複数の画像領域に分割する画像領域分割ステップと、前記画像領域毎に階調変換特性を導出するステップであって、前記階調変換特性の導出対象となる対象画像領域と前記対象画像領域の周辺画像領域との階調特性を用いて、前記対象画像領域の前記階調変換特性を導出する階調変換特性導出ステップと、

導出された前記階調変換特性に基づいて、前記画像信号の階調処理を行う階調処理ステップと、

を備える視覚処理方法。

(付記 1 1 )

前記階調変換特性は、階調変換曲線であり、前記階調変換特性導出ステップは、前記階調特性を用いてヒス卜グラムを作成するヒス卜グラム作成ステップと、作成された前記ヒス卜グラムに基づいて前記階調変換曲線を作成する階調曲線作成ステップとを有している、

付記 1 0に記載の視覚処理方法。

(付記 1 2 )

前記階調処理ステツプは、前記選択信号が選択する前記階調変換テーブルを用いて前記対象画像領域の階調処理を実行する階調処理実行ステップと、前記階調処理された前記画像信号の階調を補正するステップであって、補正の対象となる対象画素を含む画像領域と前記対象画素を含む前記画像領域の隣接画像領域とについて選択された前記階調処理テーブルに基づいて、前記対象画素の階調を補正する補正ステップとを有している、

付記 1 0に記載の視覚処理方法。

(付記 1 3 )

前記階調処理ステップは、前記選択信号を補正し、前記画像信号の画素毎に階調処理テーブルを選択するための補正選択信号を導出する補正ステップと、前記補正選択信号が選択する前記階調変換テーブルを用いて前記画像信号の階調処理を実行する階調処理実行ステップとを有している、

付記 1 0に記載の視覚処理方法。

(付記 1 4 )

コンピュータにより視覚処理方法を行うための視覚処理プログラムであって、前記視覚処理プログラムは、コンピュータに、

を備える視覚処理方法を行わせるものである、

視覚処理プログラム。

(付記 1 5 )

前記階調変換特性は、階調変換曲線であり、

前記階調変換特性導出ステップは、前記階調特性を用いてヒス卜グラムを作成するヒス卜グラム作成ステップと、作成された前記ヒス卜グラムに基づいて前記階調変換曲線を作成する階調曲線作成ステップとを有している、

付記 1 4に記載の視覚処理プログラム。

(付記 1 6 )

前記階調処理ステップは、前記選択信号が選択する前記階調変換テーブルを用いて前記対象画像領域の階調処理を実行する階調処理実行ステップと、前記階調処理された前記画像信号の階調を補正するステップであって、補正の対象となる対象画素を含む画像領域と前記対象画素を含む前記画像領域の隣接画像領域とについて選択された前記階調処理テーブルに基づいて、前記対象画素の階調を補正する補正ステップとを有している、

付記 1 4に記載の視覚処理プログラム。

(付記 1 7 )

前記階調処理ステップは、前記選択信号を補正し、前記画像信号の画素毎に階調処理テーブルを選択するための補正選択信号を導出する補正ステップと、前記補正選択信号が選択する前記階調変換テーブルを用いて前記画像信号の階調処理を実行する階調処理実行ステツプとを有している、

付記 1 4に記載の視覚処理プログラム。 (付記 1 8 )

前記階調処理手段は、前記画像信号を階調処理するための階調変換曲線の曲線パラメータを、前記階調変換特性に基づいて出力するパラメータ出力手段を有しており、前記階調変換特定と前記曲線パラメータとに基づいて特定される前記階調変換曲線を用いて、前記画像信号を階調処理する、

付記 1に記載の視覚処理装置。ヽ

(付記 1 9 )

前記パラメータ出力手段は、前記階調変換特性と前記曲線パラメータとの関係を格納するルックアツプテーブルである、

付記 1 8に記載の視覚処理装置。

(付記 2 0 )

前記曲線パラメータは、前記画像信号の所定の値に対する前記階調処理された画像信号の値を含む、

付記 1 8または 1 9に記載の視覚処理装置。

(付記 2 1 )

前記曲線パラメータは、前記画像信号の所定の区間における前記階調変換曲線の傾きを含む、

付記 1 8 ~ 2 0のいずれかに記載の視覚処理装置。

(付記 2 2 )

前記曲線パラメータは、前記階調変換曲線が通る少なくとも 1点の座標を含む、付記 1 8〜2 1のいずれかに記載の視覚処理装置。

(付記 2 3 )

入力された画像信号における複数の画像領域毎の空間処理を行い空間処理信号を導出する手段であって、前記空間処理では、前記空間処理の対象となる対象画像領域と前記対象画像領域の周辺画像領域との階調特性の差に基づいた重み付けを用いて、前記対象画像領域と前記周辺画像領域との階調特性の加重平均を行う、空間処理手段と、

前記対象画像領域の階調特性と前記空間処理信号とに基づいて、前記対象画像領域の視覚処理を行う視覚処理手段と、を備える視覚処理装置。

(付記 2 4 )

前記重み付けは、前記階調特性の差の絶対値が大きいほど小さくなる、付記 2 3に記載の視覚処理装置。

(付記 2 5 )

前記重み付けは、前記対象画像領域と前記周辺画像領域との距離が大きいほど小さくなる、

付記 2 3または 2 4に記載の視覚処理装置。

(付記 2 6 )

前記画像領域は、複数の画素から構成されており、

前記対象画像領域と前記周辺画像領域との階調特性は、それぞれの画像領域を構成する画素値の特徴量として定められている、

付記 2 3〜2 5のいずれかに記載の視覚処理装置。

(付記 2 7 )

入力された画像信号から階調変換特性の導出対象となる対象画像領域を決定する対象画像領域決定手段と、

前記対象画像領域の周辺に位置し複数の画素を含む少なくとも 1つの周辺画像領域を決定する周辺画像領域決定手段と、

前記周辺画像領域の周辺画像データを用いて、前記対象画像領域の前記階調変換特性を導出する階調変換特性導出手段と、

導出された前記階調変換特性に基づいて、前記対象画像領域の画像信号の階調処理を行う階調処理手段と、

を備える視覚処理装置。

(付記 2 8 )

入力された画像信号から階調変換特性の導出対象となる対象画像領域を決定する対象画像領域決定ステップと、

前記対象画像領域の周辺に位置し複数の画素を含む少なくとも 1つの周辺画像領域を決定する周辺画像領域決定ステップと、

前記周辺画像領域の周辺画像データを用いて、前記対象画像領域の前記階調変換特性を導出する階調変換特性導出ステップと、

導出された前記階調変換特性に基づいて、前記対象画像領域の画像信号の階調処理を行う階調処理ステップと、

を備える視覚処理方法。

(付記 2 9 )

コンピュータを用いて、入力された画像信号の視覚処理を行う視覚処理方法を行うための視覚処理プログラムであって、

前記視覚処理方法は、

を備える視覚処理方法である、

視覚処理プログラム。

(付記 3 0 )

入力された画像信号から階調変換特性の導出対象となる対象画像領域を決定する対象画像領域決定部と、

前記対象画像領域の周辺に位置し複数の画素を含む少なくとも 1つの周辺画像領域を決定する周辺画像領域決定部と、

前記周辺画像領域の周辺画像データを用いて、前記対象画像領域の前記階調変換特性を導出する階調変換特性導出部と、

導出された前記階調変換特性に基づいて、前記対象画像領域の画像信号の階調処理を行う階調処理部と、

を備える半導体装置。

〈付記の説明〉付記 1に記載の視覚処理装置は、画像領域分割手段と、階調変換特性導出手段と、階調処理手段とを備えている。画像領域分割手段は、入力された画像信号を複数の画像領域に分割する。階調変換特性導出手段は、画像領域毎に階調変換特性を導出する手段であって、階調変換特性の導出対象となる対象画像領域と対象画像領域の周辺画像領域との階調特性を用いて、対象画像領域の階調変換特性を導出する。階調処理手段は、導出された階調変換特性に基づいて、画像信号の階調処理を行う。

ここで、階調変換特性とは、画像領域毎の階調処理の特性である。階調特性とは、例えば、画素毎の輝度、明度などといった画素値である。

本発明の視覚処理装置では、画像領域毎の階調変換特性を判断する際に、画像領域毎の階調特性だけでなく、周辺の画像領域を含めた広域の画像領域の階調特性を用いて判断を行う。このため、画像領域毎の階調処理に空間処理的効果を加えることが可能となリ、さらに視覚的効果を向上させる階調処理を実現することが可能となる。

付記 2に記載の視覚処理装置は、付記 1に記載の視覚処理装置であって、階調変換特性は、階調変換曲線である。階調変換特性導出手段は、階調特性を用いてヒストグラムを作成するヒス卜グラム作成手段と、作成されたヒス卜グラムに基づいて階調変換曲線を作成する階調曲線作成手段とを有している。

ここで、ヒストグラムとは、例えば、対象画像領域および周辺画像領域が含む画素の階調特性に対する分布である。階調曲線作成手段は、例えば、ヒス卜ダラムの値を累積した累積曲線を階調変換曲線とする。

本発明の視覚処理装置では、ヒストグラムを作成する際に、画像領域毎の階調特性だけでなく、周辺の画像領域を含めた広域の階調特性を用いてヒス卜グラムの作成を行う。このため、画像信号の分割数を増やし画像領域の大きさを小さくすることが可能となり、階調処理による疑似輪郭の発生を抑制することが可能となる。また、画像領域の境界が不自然に目立つことが防止可能となる。

付記 3に記載の視覚処理装置は、付記 1に記載の視覚処理装置であって、階調変換特性は、画像信号を階調処理する複数の階調変換テーブルの中から 1つの階調変換テーブルを選択するための選択信号である。階調処理手段は、複数の階調変換テーブルを 2次元 L U Tとして有している。

ここで、階調変換テーブルとは、例えば、画像信号の画素値に対して階調処理された画像信号の画素値を記憶するルックアップテーブル（L U T ) などである。選択信号は、例えば、複数の階調変換テーブルのそれぞれに割り付けられた値の中から選択される 1つの階調変換テーブルに割り付けられた値を有している。階調処理手段は、選択信号の値と画像信号の画素値とから 2次元 L U Tを参照して階調処理された画像信号の画素値を出力する。

本発明の視覚処理装置では、階調処理を 2次元し U Tを参照して行う。このため、階調処理を高速化することが可能となる。また、複数の階調変換テーブルから 1つの階調変換テーブルを選択して階調処理を行うため、適切な階調処理を行うことが可能となる。

付記 4に記載の視覚処理装置は、付記 3に記載の視覚処理装置であって、 2次元 L U Tは、画像信号の全ての値において、選択信号の値に対する階調処理された画像信号の値が単調増加あるいは単調減少する順序で複数の階調変換テーブルを格納している。

本発明の視覚処理装置では、例えば、選択信号の値が階調変換の度合いを示すこととなる。

付記 5に記載の視覚処理装置は、付記 3又は 4に記載の視覚処理装置であって、 2次元 L U Tは、プロファイルデータの登録によリ変更可能である。

ここで、プロファイルデータとは、 2次元 L U Tに格納されるデータであり、例えば、階調処理された画像信号の画素値を要素としている。

本発明の視覚処理装置では、 2次元 L U Tを変更することにより、ハードゥエァの構成を変更せずに階調処理の特性を様々に変更することが可能となる。

付記 6に記載の視覚処理装置は、付記 3 ~ 5のいずれかに記載の視覚処理装置であって、選択信号の値は、対象画像領域と周辺画像領域とのそれぞれの画像領域について導出された選択信号である個別選択信号の特徴量として導出される。

ここで、個別選択信号の特徴量とは、例えば、それぞれの画像領域について導出された選択信号の平均値（単純平均または加重平均）、最大値、あるいは最小値などである。本発明の視覚処理装置では、対象画像領域に対する選択信号を周辺画像領域を含む広域の画像領域に対する選択信号の特徴量として導出する。このため、選択信号について空間処理的効果を加えることが可能となり、画像領域の境界が不自然に目立つことが防止可能となる。

付記 7に記載の視覚処理装置は、付記 3 ~ 5のいずれかに記載の視覚処理装置であって、選択信号は、対象画像領域と周辺画像領域との階調特性を用いて導出される特徴量である階調特性特徴量に基づいて導出される。

ここで、階調特性特徴量とは、例えば、対象画像領域と周辺画像領域との広域の階調特性の平均値（単純平均または加重平均）、最大値、あるいは最小値などである。

本発明の視覚処理装置では、対象画像領域に対する選択信号を周辺画像領域を含む広域の画像領域に対する階調特性特徴量に基づいて導出する。このため、選択信号について空間処理的効果を加えることが可能となリ、画像領域の境界が不自然に目立つことが防止可能となる。

付記 8に記載の視覚処理装置は、付記 3〜 7のいずれかに記載の視覚処理装置であって、階調処理手段は、階調処理実行手段と、補正手段とを有している。階調処理実行手段は、選択信号が選択する階調変換テーブルを用いて対象画像領域の階調処理を実行する。補正手段は、階調処理された画像信号の階調を補正する手段であって、補正の対象となる対象画素を含む画像領域と対象画素を含む画像領域の隣接画像領域とについて選択された階調処理テーブルに基づいて、対象画素の階調を補正する。

ここで、隣接画像領域とは、階調変換特性を導出する際の周辺画像領域と同じ画像領域であってもよいし、異なる画像領域であってもよい。例えば、隣接画像領域は、対象画素を含む画像領域に隣接する画像領域のうち、対象画素からの距離が短い 3つの画像領域として選択される。

補正手段は、例えば、対象画像領域毎に同一の階調変換テーブルを用いて階調処理された画像信号の階調を補正する。対象画素の補正は、例えば、対象画素の位置に応じて、隣接画像領域について選択されたそれぞれの階調変換テーブルの影響が現れるように行われる。本発明の視覚処理装置では、画像信号の階調を画素毎に補正することが可能となる。このため、画像領域の境界が不自然に目立つことがさらに防止され、視覚的効果を向上させることが可能となる。

付記 9に記載の視覚処理装置は、付記 3 ~ 7のいずれかに記載の視覚処理装置であって、階調処理手段は、補正手段と、階調処理実行手段とを有している。補正手段は、選択信号を補正し、画像信号の画素毎に階調処理テーブルを選択するための補正選択信号を導出する。階調処理実行手段は、補正選択信号が選択する階調変換テーブルを用いて画像信号の階調処理を実行する。

補正手段は、例えば、対象画像領域毎に導出された選択信号を画素位置および対象画像領域に隣接する画像領域について導出された選択信号に基づいて補正し、画素毎の選択信号を導出する。

本発明の視覚処理装置では、画素毎に選択信号を導出することが可能となる。このため、画像領域の境界が不自然に目立つことがさらに防止され、視覚的効果を向上させることが可能となる。

付記 1 0に記載の視覚処理方法は、画像領域分割ステップと、階調変換特性導出ステップと、階調処理ステップとを備えている。画像領域分割ステップは、入力された画像信号を複数の画像領域に分割する。階調変換特性導出ステップは、画像領域毎に階調変換特性を導出するステップであって、階調変換特性の導出対象となる対象画像領域と対象画像領域の周辺画像領域との階調特性を用いて、対象画像領域の階調変換特性を導出する。階調処理ステップは、導出された階調変換特性に基づいて、画像信号の階調処理を行う。

本発明の視覚処理方法では、画像領域毎の階調変換特性を判断する際に、画像領域毎の階調特性だけでなく、周辺の画像領域を含めた広域の画像領域の階調特性を用いて判断を行う。このため、画像領域毎の階調処理に空間処理的効果を加えることが可能となり、さらに視覚的効果の高い階調処理を実現することが可能となる。

付記 1 1に記載の視覚処理方法は、付記 1 0に記載の視覚処理方法であって、階調変換特性は、階調変換曲線である。階調変換特性導出ステップは、階調特性を用いてヒス卜グラムを作成するヒストグラム作成ステップと、作成されたヒストグラムに基づいて階調変換曲線を作成する階調曲線作成ステップとを有している。

ここで、ヒストグラムとは、例えば、対象画像領域および周辺画像領域が含む画素の階調特性に対する分布である。階調曲線作成ステップは、例えば、ヒス卜グラムの値を累積した累積曲線を階調変換曲線とする。

本発明の視覚処理方法では、ヒストグラムを作成する際に、画像領域毎の階調特性だけでなく、周辺の画像領域を含めた広域の階調特性を用いてヒス卜グラムの作成を行う。このため、画像信号の分割数を増やし画像領域の大きさを小さくすることが可能となリ、階調処理による疑似輪郭の発生を抑制することが可能となる。また、画像領域の境界が不自然に目立つことが防止可能となる。

付記 1 2に記載の視覚処理方法は、付記 1 0に記載の視覚処理方法であって、階調変換特性は、画像信号を階調処理する複数の階調変換テーブルの中から 1つの階調変換テーブルを選択するための選択信号である。また、階調処理ステップは、階調処理実行ステップと、補正ステップとを有している。階調処理実行ステップは、選択信号が選択する階調変換テーブルを用いて対象画像領域の階調処理を実行する。補正ステップは、階調処理された画像信号の階調を補正するステツプであって、補正の対象となる対象画素を含む画像領域と対象画素を含む画像領域の隣接画像領域とについて選択された階調処理テーブルに基づいて、対象画素の階調を補正する。

ここで、階調変換テーブルとは、例えば、画像信号の画素値に対して階調処理された画像信号の画素値を記憶するルックアップテーブル（L U T ) などである。隣接画像領域とは、階調変換特性を導出する際の周辺画像領域と同じ画像領域であってもよいし、異なる画像領域であってもよい。例えば、隣接画像領域は、対象画素を含む画像領域に隣接する画像領域のうち、対象画素からの距離が短い 3 つの画像領域として選択される。

選択信号は、例えば、複数の階調変換テーブルのそれぞれに割り付けられた値の中から選択される 1つの階調変換テーブルに割り付けられた値を有している。階調処理ステップは、選択信号の値と画像信号の画素値とから L U Tを参照して階調処理された画像信号の画素値を出力する。補正ステップは、例えば、対象画像領域毎に同一の階調変換テーブルを用いて階調処理された画像信号の階調を補正する。対象画素の補正は、例えば、対象画素の位置に応じて、隣接画像領域について選択されたそれぞれの階調変換テーブルの影響が現れるように行われる。本発明の視覚処理方法では、階調処理を L U丁を参照して行う。このため、階調処理を高速化することが可能となる。また、複数の階調変換テーブルから 1つの階調変換テーブルを選択して階調処理を行うため、適切な階調処理を行うことが可能となる。さらに、画像信号の階調を画素毎に補正することが可能となる。このため、画像領域の境界が不自然に目立つことがさらに防止され、視覚的効果を向上させることが可能となる。

付記 1 3に記載の視覚処理方法は、付記 1 0に記載の視覚処理方法であって、階調変換特性は、画像信号を階調処理する複数の階調変換テーブルの中から 1つの階調変換テーブルを選択するための選択信号である。また、階調処理ステップは、補正ステップと、階調処理実行ステップとを有している。補正ステップは、選択信号を補正し、画像信号の画素毎に階調処理テーブルを選択するための補正選択信号を導出する。階調処理実行ステップは、補正選択信号が選択する階調変換テーブルを用いて画像信号の階調処理を実行する。

ここで、階調変換テーブルとは、例えば、画像信号の画素値に対して階調処理された画像信号の画素値を記憶するルックアップテーブル（L U T ) などである。選択信号は、例えば、複数の階調変換テーブルのそれぞれに割り付けられた値の中から選択される 1つの階調変換テーブルに割り付けられた値を有している。階調処理ステップは、選択信号の値と画像信号の画素値とから 2次元 L U Tを参照して階調処理された画像信号の画素値を出力する。補正ステップは、例えば、対象画像領域毎に導出された選択信号を画素位置および対象画像領域に隣接する画像領域について導出された選択信号に基づいて補正し、画素毎の選択信号を導出する。

本発明の視覚処理方法では、 .階調処理を L U Tを参照して行う。このため、階調処理を高速化することが可能となる。また、複数の階調変換テーブルから 1つの階調変換テーブルを選択して階調処理を行うため、適切な階調処理を行うことが可能となる。さらに、画素毎に選択信号を導出することが可能となる。このため、画像領域の境界が不自然に目立つことがさらに防止され、視覚的効果を向上させることが可能となる。

付記 1 4に記載の視覚処理プログラムは、コンピュータにより、画像領域分割ステップと、階調変換特性導出ステップと、階調処理ステップとを備える視覚処理方法を行わせる視覚処理プログラムである。画像領域分割ステップは、入力された画像信号を複数の画像領域に分割する。階調変換特性導出ステップは、画像領域毎に階調変換特性を導出するステップであって、階調変換特性の導出対象となる対象画像領域と対象画像領域の周辺画像領域との階調特性を用いて、対象画像領域の階調変換特性を導出する。階調処理ステップは、導出された階調変換特性に基づいて、画像信号の階調処理を行う。

ここで、階調変換特性とは、画像領域毎の階調処理の特性である。階調特性とは、例えば、画素毎の輝度、明度などいった画素値である。

本発明の視覚処理プログラムでは、画像領域毎の階調変換特性を判断する際に、画像領域毎の階調特性だけでなく、周辺の画像領域を含めた広域の画像領域の階調特性を用いて判断を行う。このため、画像領域毎の階調処理に空間処理的効果を加えることが可能となリ、さらに視覚的効果の高い階調処理を実現することが可能となる。

付記 1 5に記載の視覚処理プログラムは、付記 1 4に記載の視覚処理プロダラムであって、階調変換特性は、階調変換曲線である。階調変換特性導出ステップは、階調特性を用いてヒス卜グラムを作成するヒストグラム作成ステップと、作成されたヒス卜グラムに基づいて階調変換曲線を作成する階調曲線作成ステップとを有している。

本発明の視覚処理プログラムでは、ヒストグラムを作成する際に、画像領域毎の階調特性だけでなく、周辺の画像領域を含めた広域の階調特性を用いてヒス卜グラムの作成を行う。このため、画像信号の分割数を増やし画像領域の大きさを小さくすることが可能となリ、階調処理による疑似輪郭の発生を抑制することが可能となる。また、画像領域の境界が不自然に目立つことが防止可能となる。付記 1 6'に記載の視覚処理プログラムは、付記 1 4に記載の視覚処理プロダラムであって、階調変換特性は、画像信号を階調処理する複数の階調変換テーブルの中から 1つの階調変換テーブルを選択するための選択信号である。また、階調処理ステップは、階調処理実行ステップと、補正ステップとを有している。階調処理実行ステップは、選択信号が選択する階調変換テーブルを用いて対象画像領域の階調処理を実行する。補正ステップは、階調処理された画像信号の階調を補正するステップであって、補正の対象となる対象画素を含む画像領域と対象画素を含む画像領域の隣接画像領域とについて選択された階調処理テーブルに基づいて、対象画素の階調を補正する。

選択信号は、例えば、複数の階調変換テーブルのそれぞれに割り付けられた値の中から選択される 1つの階調変換テーブルに割り付けられた値を有している。階調処理ステップは、選択信号の値と画像信号の画素値とから L U Tを参照して階調処理された画像信号の画素値を出力する。補正ステップは、例えば、対象画像領域毎に同一の階調変換テーブルを用いて階調処理された画像信号の階調を補正する。対象画素の補正は、例えば、対象画素の位置に応じて、隣接画像領域について選択されたそれぞれの階調変換テーブルの影響が現れるように行われる。本発明の視覚処理プログラムでは、階調処理を L U Tを参照して行う。このため、階調処理を高速化することが可能となる。また、複数の階調変換テーブルから 1つの階調変換テーブルを選択して階調処理を行うため、適切な階調処理を行うことが可能となる。さらに、画像信号の階調を画素毎に補正することが可能となる。このため、画像領域の境界が不自然に目立つことがさらに防止され、視覚的効果を向上させることが可能となる。

付記 1 7に記載の視覚処理プログラムは、付記 1 4に記載の視覚処理プロダラムであって、階調変換特性は、画像信号を階調処理する複数の階調変換テーブルの中から 1つの階調変換テーブルを選択するための選択信号である。また、階調処理ステップは、補正ステップと、階調処理実行ステップとを有している。補正ステップは、選択信号を補正し、画像信号の画素毎に階調処理テーブルを選択するための補正選択信号を導出する。階調処理実行ステップは、補正選択信号が選択する階調変換テーブルを用いて画像信号の階調処理を実行する。

本発明の視覚処理プログラムでは、階調処理を L U Tを参照して行う。このため、階調処理を高速化することが可能となる。また、複数の階調変換テーブルから 1つの階調変換テーブルを選択して階調処理を行うため、適切な階調処理を行うことが可能となる。さらに、画素毎に選択信号を導出することが可能となる。このため、画像領域の境界が不自然に目立つことがさらに防止され、視覚的効果を向上させることが可能となる。

付記 1 8に記載の視覚処理装置は、付記 1に記載の視覚処理装置であって、階調処理手段は、画像信号を階調処理するための階調変換曲線の曲線パラメータを、階調変換特性に基づいて出力するパラメータ出力手段を有している。階調処理手段は、階調変換特定と曲線パラメータとに基づいて特定される階調変換曲線を用いて、画像信号を階調処理する。ここで、階調変換曲線とは、少なくとも一部が直線であるようなものも含んでいる。曲線パラメータとは、階調変換曲線を他の階調変換曲線と区別するためのパラメータであり、例えば、階調変換曲線上の座標、階調変換曲線の傾き、曲率などである。パラメータ出力手段は、例えば、階調変換特性に対する曲線パラメータを格納するルックアップテーブルや、所定の階調変換特性に対する曲線パラメータを用いた曲線近似などの演算により曲線パラメータを求める演算手段などである。

本発明の視覚処理装置では、階調変換特性に応じて画像信号を階調処理する。このため、より適切に階調処理を行うことが可能となる。また、階調処理に用いられる全ての階調変換曲線の値をあらかじめ記憶しておく必要がなく、出力された曲線パラメータから階調変換曲線を特定して階調処理を行う。このため、階調変換曲線を記憶するための記憶容量を削減することが可能となる。

付記 1 9に記載の視覚処理装置は、付記 1 8に記載の視覚処理装置であって、パラメータ出力手段は、階調変換特性と曲線パラメータとの関係を格納するルツクアップテーブルである。

ルックアップテーブルは、階調変換特性と曲線パラメータとの関係を格納している。階調処理手段は、特定された階調変換曲線を用いて、画像信号を階調処理する。

本発明の視覚処理装置では、階調変換特性に応じて画像信号を階調処理する。このため、より適切に階調処理を行うことが可能となる。さらに、用いられる全ての階調変換曲線の値をあらかじめ記憶しておく必要がなく、曲線パラメータを記憶するのみである。このため、階調変換曲線を記憶するための記憶容量を削減することが可能となる。

付記 2 0に記載の視覚処理装置は、付記 1 8または 1 9に記載の視覚処理装置であって、曲線パラメータは、画像信号の所定の値に対する階調処理された画像信号の値を含む。

階調処理手段では、画像信号の所定の値と視覚処理の対象となる画像信号の値との関係を用いて、曲線パラメータが含む階調処理された画像信号の値を非線形あるいは線形に内分し、階調処理された画像信号の値を導出する。本発明の視覚処理装置では、画像信号の所定の値に対する階調処理された画像信号の値から階調変換曲線を特定し、階調処理を行うことが可能となる。

付記 2 1に記載の視覚処理装置は、付記 1 8 ~ 2 0のいずれかに記載の視覚処理装置であって、曲線パラメータは、画像信号の所定の区間における階調変換曲線の傾きを含む。

階調処理手段では、画像信号の所定の区間における階調変換曲線の傾きによリ、階調変換曲線が特定される。さらに、特定された階調変換曲線を用いて、画像信号の値に対する階調処理された画像信号の値が導出される。

本発明の視覚処理装置では、画像信号の所定の区間における階調変換曲線の傾きにより、階調変換曲線を特定し、階調処理を行うことが可能となる。

付記 2 2に記載の視覚処理装置は、付記 1 8〜 2 1のいずれかに記載の視覚処理装置であって、曲線パラメータは、階調変換曲線が通る少なくとも 1点の座標を含む。

曲線パラメータでは、階調変換曲線が通る少なくとも 1点の座標が特定されている。すなわち画像信号の値に対する階調処理後の画像信号の値が少なくとも 1 点特定されている。階調処理手段では、特定された画像信号の値と、視覚処理の対象となる画像信号の値との関係を用いて、特定された階調処理後の画像信号の値を非線形あるいは線形に内分することによリ階調処理された画像信号の値を導出する。

本発明の視覚処理装置では、階調変換曲線が通る少なくとも 1点の座標により、階調変換曲線を特定し、階調処理を行うことが可能となる。

付記 2 3に記載の視覚処理装置は、空間処理手段と、視覚処理手段とを備えている。空間処理手段は、入力された画像信号における複数の画像領域毎の空間処理を行い空間処理信号を導出する手段である。空間処理では、空間処理の対象となる対象画像領域と対象画像領域の周辺画像領域との階調特性の差に基づいた重み付けを用いて、対象画像領域と周辺画像領域との階調特性の加重平均を行う。視覚処理手段は、対象画像領域の階調特性と空間処理信号とに基づいて、対象画像領域の視覚処理を行う。

ここで、画像領域とは、画像において、複数の画素を含む領域、あるいは画素そのものを意味している。階調特性とは、画素毎の輝度、明度などといった画素値に基づく値である。例えば、画像領域の階調特性とは、画像領域が含む画素の画素値の平均値（単純平均または加重平均）、最大値、あるいは最小値などである。

空間処理手段は、周辺画像領域の階調特性を用いて、対象画像領域の空間処理を行う。空間処理では、対象画像領域と周辺画像領域との階調特性が加重平均される。加重平均における重みは、対象画像領域と周辺画像領域との階調特性の差に基づいて設定される。

本発明の視覚処理装置では、空間処理信号において、階調特性が大きく異なる画像領域から受ける影響を抑制することなどが可能となる。例えば、周辺画像領域が物体の境界などを含む画像であり、対象画像領域とは階調特性が大きく異なる場合にも、適切な空間処理信号を導出することが可能となる。この結果、空間処理信号を用いた視覚処理においても、特に擬似輪郭などの発生を抑制することなどが可能となる。このため、視覚的効果を向上させる視覚処理を実現することが可能となる。

付記 2 4に記載の視覚処理装置は、付記 2 3に記載の視覚処理装置であって、重み付けは、階調特性の差の絶対値が大きいほど小さくなる。

ここで、重みは、階調特性の差に応じて単調減少する値として与えられるものであってもよいし、所定の閾値と階調特性の差との比較により、所定の値に設定されるものであってもよい。

本発明の視覚処理装置では、空間処理信号において、階調特性が大きく異なる画像領域から受ける影響を抑制することなどが可能となる。例えば、周辺画像領域が物体の境界などを含む画像であリ、対象画像領域とは階調特性が大きく異なる場合にも、適切な空間処理信号を導出することが可能となる。この結果、空間処理信号を用いた視覚処理においても、特に擬似輪郭などの発生を抑制することなどが可能となる。このため、視覚的効果を向上させる視覚処理を実現することが可能となる。

付記 2 5に記載の視覚処理装置は、付記 2 3または 2 4に記載の視覚処理装置であって、重み付けは、対象画像領域と周辺画像領域との距離が大きいほど小さ 1

78 くなる。

ここで、重みは、対象画像領域と周辺画像領域との距離の大きさに応じて単調減少する値として与えられるものであってもよいし、所定の閾値と距離の大きさとの比較により、所定の値に設定されるものであってもよい。

本発明の視覚処理装置では、空間処理信号において、対象画像領域と離れた周辺画像領域から受ける影響を抑制することなどが可能となる。このため、周辺画像領域が物体の境界などを含む画像であり、対象画像領域とは階調特性が大きく異なる場合にも、周辺画像領域と対象画像領域とが離れている場合には、周辺画像領域から受ける影響を抑制し、より適切な空間処理信号を導出することが可能となる。

付記 2 6に記載の視覚処理装置は、付記 2 3〜 2 5のいずれかに記載の視覚処理装置であって、画像領域は、複数の画素から構成されている。対象画像領域と周辺画像領域との階調特性は、それぞれの画像領域を構成する画素値の特徴量として定められている。

本発明の視覚処理装置では、画像領域毎の空間処理を行う際に、画像領域毎に含まれる画素だけでなく、周辺の画像領域を含めた広域の画像領域に含まれる画素の階調特性を用いて処理を行う。このため、より適切な空間処理を行うことが可能となる。この結果、空間処理信号を用いた視覚処理においても、特に擬似輪郭などの発生を抑制することなどが可能となる。このため、視覚的効果を向上させる視覚処理を実現することが可能となる。

付記 2 7に記載の視覚処理装置は、対象画像領域決定手段と、周辺画像領域決定手段と、階調変換特性導出手段と、階調処理手段とを備えている。対象画像領域決定手段は、入力された画像信号から階調変換特性の導出対象となる対象画像領域を決定する。周辺画像領域決定手段は、対象画像領域の周辺に位置し複数の画素を含む少なくとも 1つの周辺画像領域を決定する。階調変換特性導出手段は、周辺画像領域の周辺画像データを用いて、対象画像領域の階調変換特性を導出する。階調処理手段は、導出された階調変換特性に基づいて、対象画像領域の画像信号の階調処理を行う。

対象画像領域とは、例えば、画像信号に含まれる画素や、画像信号を所定の単位に分割した画像ブロックその他の複数の画素から構成される領域などである。周辺画像領域とは、例えば、画像信号を所定の単位に分割した画像ブロックその他の複数の画素から構成される領域である。周辺画像データとは、周辺画像領域の画像データあるいは画像データから導出されるデータなどであり、例えば、周辺画像領域の画素値、階調特性（画素毎の輝度や明度）、サムネイル（縮小画像や解像度を落とした間引き画像）などである。また、周辺画像領域は、、対象画像領域の周辺に位置すればよく、対象画像領域を取り囲む領域である必要はない。本発明の視覚処理装置では、対象画像領域の階調変換特性を判断する際に、周辺画像領域の周辺画像データを用いて判断を行う。このため、対象画像領域毎の階調処理に空間処理的効果を加えることが可能となり、さらに視覚的効果を向上させる階調処理を実現することが可能となる。

付記 2 8に記載の視覚処理方法は、対象画像領域決定ステップと、周辺画像領域決定ステップと、階調変換特性導出ステップと、階調処理ステップとを備えている。対象画像領域決定ステップは、入力された画像信号から階調変換特性の導出対象となる対象画像領域を決定する。周辺画像領域決定ステップは、対象画像領域の周辺に位置し複数の画素を含む少なくとも 1つの周辺画像領域を決定する。階調変換特性導出ステップは、周辺画像領域の周辺画像データを用いて、対象画像領域の階調変換特性を導出する。階調処理ステップは、導出された階調変換特性に基づいて、対象画像領域の画像信号の階調処理を行う。

付記 2 9に記載の視覚処理プログラムは、コンピュータを用いて、入力された画像信号の視覚処理を行う視覚処理方法を行うための視覚処理プログラムである。視覚処理方法は、対象画像領域決定ステップと、周辺画像領域決定ステップと、階調変換特性導出ステップと、階調処理ステップとを備えている。対象画像領域決定ステップは、入力された画像信号から階調変換特性の導出対象となる対象画像領域を決定する。周辺画像領域決定ステップは、対象画像領域の周辺に位置し複数の画素を含む少なくとも 1つの周辺画像領域を決定する。階調変換特性導出ステップは、周辺画像領域の周辺画像データを用いて、対象画像領域の階調変換特性を導出する。階調処理ステップは、導出された階調変換特性に基づいて、対象画像領域の画像信号の階調処理を行う。

本発明の視覚処理プログラムでは、対象画像領域の階調変換特性を判断する際に、周辺画像領域の周辺画像データを用いて判断を行う。このため、対象画像領域毎の階調処理に空間処理的効果を加えることが可能となり、さらに視覚的効果を向上させる階調処理を実現することが可能となる。

付記 3 0に記載の半導体装置は、対象画像領域決定部と、周辺画像領域決定部と、階調変換特性導出部と、階調処理部とを備えている。対象画像領域決定部は、入力された画像信号から階調変換特性の導出対象となる対象画像領域を決定する。周辺画像領域決定部は、対象画像領域の周辺に位置し複数の画素を含む少なくとも 1つの周辺画像領域を決定する。階調変換特性導出部は、周辺画像領域の周辺画像データを用いて、対象画像領域の階調変換特性を導出する。階調処理部は、導出された階調変換特性に基づいて、対象画像領域の画像信号の階調処理を行う。本発明の半導体装置では、対象画像領域の階調変換特性を判断する際に、周辺画像領域の周辺画像データを用いて判断を行う。このため、対象画像領域毎の階調処理に空間処理的効果を加えることが可能となり、さらに視覚的効果を向上させる階調処理を実現することが可能となる。

(産業上の利用可能性）

本発明にかかる視覚処理装置は、さらに視覚的効果を向上させる階調処理を実現することが必要な画像信号の階調処理を行う視覚処理装置などの用途にも適用可能である。

Claims

請求の範囲

1 .

入力された画像信号を画像領域毎に階調処理する視覚処理装置であって、前記階調処理の対象となる対象画像領域の周辺に位置する画像領域であって、複数の画素を含む少なくとも 1つの周辺画像領域の周辺画像データを用いて、前記対象画像領域の前記階調変換特性を導出する階調変換特性導出手段と、導出された前記階調変換特性に基づいて、前記対象画像領域の画像信号の階調処理を行う階調処理手段と、

を備える視覚処理装置。

2.

前記周辺画像領域は、前記画像信号を所定の単位に分割した画像プロックである、

請求項 1に記載の視覚処理装置。

3.

前記階調変換特性導出手段は、前記対象画像領域の対象画像データをさらに用いて、前記対象画像領域の前記階調変換特性を導出する、

請求項 1または 2に記載の視覚処理装置。

4.

前記階調変換特性導出手段は、前記対象画像データおよび前記周辺画像データを用いて前記対象画像領域の特徴を示すパラメータである特徴パラメータを導出する特徴パラメータ導出手段と、前記特徴パラメータ導出手段で導出された前記対象領域の前記特徴パラメータに基づいて前記階調変換特性を決定する階調変換特性決定手段とを有している、

請求項 3に記載の視覚処理装置。

5 .

前記特徴パラメータは、ヒス卜グラムであることを特徴とする、

請求項 4に記載の視覚処理装置。

6 . 前記階調変換特性決定手段は、前記特徴パラメータを用いて予めテーブル化された前記階調変換特性を選択することを特徴とする、

請求項 4に記載の視覚処理装置。予めテーブル化された前記階調変換特性は、変更可能なことを特徴とする、請求項 6に記載の視覚処理装置。、

8 .

前記階調変換特性の変更は、前記階調変換特性の少なくとも一部を補正することによって実現されることを特徴とする、

請求項 7に記載の視覚処理装置。

9 .

前記階調変換特性決定手段は、前記特徴パラメータを用いて予め決定された演算により前記階調変換特性を生成することを特徴とする、

請求項 4に記載の視覚処理装置。

1 0 .

予め決定された前記演算は、変更可能なことを特徴とする、

請求項 9に記載の視覚処理装置。前記演算の変更は、前記演算の少なくとも一部を補正することによって実現されることを特徴とする、

請求項 1 0に記載の視覚処理装置。

1 2 .

前記階調変換特性は、複数の前記階調変換特性を内挿または外挿して得られるものであることを特徴とする、

請求項 4記載の視覚処理装置。

1 3 .

入力された画像信号を画像領域毎に階調処理する視覚処理方法であって、前記階調処理の対象となる対象画像領域の周辺に位置する画像領域であって、複数の画素を含む少なくとも 1つの周辺画像領域の周辺画像データを用いて、前記対象画像領域の前記階調変換特性を導出する階調変換特性導出ステップと、導出された前記階調変換特性に基づいて、前記対象画像領域の画像信号の階調処理を行う階調処理ステップと、

を備える視覚処理方法。

1 4 .

前記周辺画像領域は、前記画像信号を所定の単位に分割した画像ブ ΰックである、

請求項 1 3に記載の視覚処理方法。

1 5 .

前記階調変換特性導出ステップは、前記対象画像領域の対象画像データをさらに用いて、前記対象画像領域の前記階調変換特性を導出する、

請求項 1 3または 1 4に記載の視覚処理方法。

1 6 .

前記階調変換特性導出ステツプは、前記対象画像データおよび前記周辺画像データを用いて前記対象画像領域の特徴を示すパラメータである特徴パラメータを導出する特徴パラメータ導出ステップと、前記特徴パラメータ導出ステップで導出された前記対象領域の前記特徴パラメータに基づいて前記階調変換特性を決定する階調変換特性決定ステップとを有している、

請求項 1 5に記載の視覚処理方法。

1 7 .

コンピュータを用いて、入力された画像信号を画像領域毎に階調処理する視覚処理方法を行うための視覚処理プログラムであって、

前記視覚処理方法は、

前記階調処理の対象となる対象画像領域の周辺に位置する画像領域であって、複数の画素を含む少なくとも 1つの周辺画像領域の周辺画像データを用いて、前記対象画像領域の前記階調変換特性を導出する階調変換特性導出ステップと、導出された前記階調変換特性に基づいて、前記対象画像領域の画像信号の階調処理を行う階調処理ステツプと、

を備える視覚処理方法である、視覚処理プログラム。

1 8 .

前記周辺画像領域は、前記画像信号を所定の単位に分割した画像ブロックである、

請求項 1 7に記載の視覚処理プログラム。

1 9 . 、

前記階調変換特性導出ステツプは、前記対象画像領域の対象画像データをさらに用いて、前記対象画像領域の前記階調変換特性を導出する、

請求項 1 7または 1 8に記載の視覚処理プログラム。

2 0 .

前記階調変換特性導出ステップは、前記対象画像データおよび前記周辺画像デ —タを用いて前記対象画像領域の特徴を示すパラメータである特徴パラメータを導出する特徴パラメータ導出ステップと、前記特徴パラメータ導出ステップで導出された前記対象領域の前記特徴パラメータに基づいて前記階調変換特性を決定する階調変換特性決定ステップとを有している、

請求項 1 9に記載の視覚処理プログラム。

2 1 ·

入力された画像信号を画像領域毎に階調処理する半導体装置であって、前記階調処理の対象となる対象画像領域の周辺に位置する画像領域であって、複数の画素を含む少なくとも 1つの周辺画像領域の周辺画像データを用いて、前記対象画像領域の前記階調変換特性を導出する階調変換特性導出部と、

を備える半導体装置。

2 2 .

請求項 2 1に記載の半導体装置。

2 3 . 前記階調変換特性導出部は、前記対象画像領域の対象画像データをさらに用いて、前記対象画像領域の前記階調変換特性を導出する、

請求項 2 1または 2 2に記載の半導体装置。

2 4 .

前記階調変換特性導出部は、前記対象画像データおよび前記周辺画像データを用いて前記対象画像領域の特徴を示すパラメータである特徴パラメータを導出する特徴パラメータ導出部と、前記特徴パラメータ導出部で導出された前記対象領域の前記特徴パラメータに基づいて前記階調変換特性を決定する階調変換特性決定部とを有している、

請求項 2 3に記載の半導体装置。