WO2003003305A1

WO2003003305A1 - Appareil et procede de traitement d'images et appareil de capture d'images

Info

Publication number: WO2003003305A1
Application number: PCT/JP2002/006383
Authority: WO
Inventors: Tetsujiro Kondo; Seiji Wada; Junichi Ishibashi; Takashi Sawao; Naoki Fujiwara; Takahiro Nagano; Toru Miyake
Original assignee: Sony Corporation
Priority date: 2001-06-27
Filing date: 2002-06-26
Publication date: 2003-01-09
Also published as: EP1403819A4; US20040105493A1; EP1403819B1; DE60225285T2; DE60225285D1; CN1241147C; CA2420025C; JP4596224B2; EP1403819A1; EP1796045B1; JP2003016453A; EP1796045A2; US7477289B2; KR20040014974A; DE60233178D1; CN1473313A; CA2420025A1; KR100843816B1; EP1796045A3

Description

明細書

画像処理装置および方法、並びに撮像装置技術分野

本発明は、画像処理装置および方法、並びに撮像装置に関し、特に、センサにより検出した信号と現実世界との違いを考慮した画像処理装置および方法、並びに撮像装置に関する。背景技術

現実世界における事象をセンサで検出し、画像センサが出力するサンプリングデータを処理する技術が広く利用されている。

例えば、静止している所定の背景の前で移動する物体をビデオカメラで撮像して得られる画像には、物体の移動速度が比較的速い場合、動きボケが生じることになる。

しかしながら、静止している背景の前で物体が移動するとき、移動する物体の画像自身の混ざり合いによる動きボケのみならず、背景の画像と移動する物体の画像との混ざり合いが生じる。従来は、背景の画像と移動する物体の画像との混ざり合いの状態に対応する処理は、考えられていなかった。発明の開示

本発明はこのような状況に鑑みてなされたものであり、画像における混ざり合いの状態を知ることができるようにすることを目的とする。

本発明の第 1の画像処理装置は、画像データに対応して、前景オブジェクトを構成する前景オブジェクト成分および背景オブジェクトを構成する背景オブジェクト成分が混合されてなる混合領域と、前景オブジェクト成分のみからなる前景領域と、背景オブジェクト成分のみからなる背景領域とからなる非混合領域とを特定する領域特定手段と、領域情報により特定される、前景ォブジェクトの動き方向に基づく所定方向の混合領域の幅と、注目している注目画素の位置から混合領域の端までの所定方向に沿った距離との比率を基に、注目画素の、前景ォブジェクト成分と背景オブジェクト成分との混合の比率を示す混合比を推定する混合比推定手段とを含むことを特徴とする。

画像処理装置は、前景ォブジェクトの動きべクトルを検出する動きべクトル検出手段をさらに設け、混合比推定手段は、動きベクトルの動き方向に沿って、混合領域の幅、および注目画素の位置から混合領域の端までの距離を検出し、混合領域の幅と、注目画素の位置から混合領域の端までの距離との比率を基に、混合比を推定するようにすることができる。

画像処理装置は、前景オブジェクトの動き方向を検出する動き方向検出手段をさらに設け、混合比推定手段は、動き方向に沿って、混合領域の幅、および注目画素の位置から混合領域の端までの距離を検出し、混合領域の幅と、注目画素の位置から混合領域の端までの距離との比率を基に、混合比を推定するようにすることができる。

動き方向検出手段に、領域情報を基に、注目している注目フレームにおける混合領域の位置、および注目フレームの近傍の近傍フレームにおける混合領域の位置を基に、動きべクトルを生成する動きべクトル生成手段を設け、動き方向検出手段は、生成した動きベクトルを基に、動き方向を検出するようにすることがでさる。

本発明の第 1の画像処理方法は、画像データに対応して、前景オブジェクトを構成する前景オブジェクト成分および背景オブジェクトを構成する背景オブジェクト成分が混合されてなる混合領域と、前景オブジェクト成分のみからなる前景領域と、背景ォブジェクト成分のみからなる背景領域とからなる非混合領域とを特定する領域特定ステップと、領域情報により特定される、前景オブジェク卜の動き方向に基づく所定方向の混合領域の幅と、注目している注目画素の位置から混合領域の端までの所定方向に沿った距離との比率を基に、注目画素の、前景ォブジェクト成分と背景オブジェクト成分との混合の比率を示す混合比を推定する混合比推定ステップとを含むことを特徴とする。

画像処理方法は、前景ォブジェクトの動きべクトルを検出する動きべクトル検出ステップをさらに設け、混合比推定ステップは、動きべクトルの動き方向に沿つて、混合領域の幅、および注目画素の位置から混合領域の端までの距離を検出し、混合領域の幅と、注目画素の位置から混合領域の端までの距離との比率を基に、混合比を推定するようにすることができる。

画像処理方法は、前景オブジェクトの動き方向を検出する動き方向検出ステツプをさらに設け、混合比推定ステップは、動き方向に沿って、混合領域の幅、および注目画素の位置から混合領域の端までの距離を検出し、混合領域の幅と、注目画素の位置から混合領域の端までの距離との比率を基に、混合比を推定するようにすることができる。

動き方向検出ステップに、領域情報を基に、注目している注目フレームにおける混合領域の位置、および注目フレームの近傍の近傍フレームにおける混合領域の位置を基に、動きべクトルを生成する動きべクトル生成ステップを設け、動き方向検出ステップは、生成した動きベクトルを基に、動き方向を検出するようにすることができる。

本発明の第 1の記録媒体のプログラムは、画像データに対応して、前景ォブジェクトを構成する前景オブジェクト成分および背景オブジェクトを構成する背景オブジェクト成分が混合されてなる混合領域と、前景オブジェクト成分のみからなる前景領域と、背景オブジェクト成分のみからなる背景領域とからなる非混合領域とを特定する領域特定ステップと、領域情報により特定される、前景ォブジュクトの動き方向に基づく所定方向の混合領域の幅と、注目している注目画素の位置から混合領域の端までの所定方向に沿った距離との比率を基に、注目画素の、前景オブジェクト成分と背景オブジェクト成分との混合の比率を示す混合比を推定する混合比推定ステップとを含むことを特徴とする。 '

プログラムは、前景オブジェクトの動きべクトルを検出する動きべクトル検出ステップをさらに設け、混合比推定ステップは、動きべクトルの動き方向に沿つて、混合領域の幅、および注目画素の位置から混合領域の端までの距離を検出し、混合領域の幅と、注目画素の位置から混合領域の端までの距離との比率を基に、混合比を推定するようにすることができる。

プログラムは、前景オブジェクトの動き方向を検出する動き方向検出ステップをさらに設け、混合比推定ステップは、動き方向に沿って、混合領域の幅、および注目画素の位置から混合領域の端までの距離を検出し、混合領域の幅と、注目画素の位置から混合領域の端までの距離との比率を基に、混合比を推定するようにすることができる。

本発明の第 1のプログラムは、コンピュータに、画像データに対応して、前景オブジェクトを構成する前景オブジェクト成分および背景オブジェクトを構成する背景オブジェクト成分が混合されてなる混合領域と、前景オブジェクト成分のみからなる前景領域と、背景オブジェクト成分のみからなる背景領域とからなる非混合領域とを特定する領域特定ステップと、領域情報により特定される、前景オブジェクトの動き方向に基づく所定方向の混合領域の幅と、注目している注目画素の位置から混合領域の端までの所定方向に沿った距離との比率を基に、注目画素の、前景オブジェクト成分と背景オブジェクト成分との混合の比率を示す混合比を推定する混合比推定ステップとを実行させることを特徴とする。

プログラムは、前景オブジェクトの動きべクトルを検出する動きべクトル検出ステップをさらに設け、混合比推定ステップは、動きベクトルの動き方向に沿つて、混合領域の幅、および注目画素の位置から混合領域の端までの距離を検出し、混合領域の幅と、注目画素の位置から混合領域の端までの距離との比率を基に、混合比を推定するようにすることができる。プログラムは、前景オブジェクトの動き方向を検出する動き方向検出ステップをさらに設け、混合比推定ステップは、動き方向に沿って、混合領域の幅、および注目画素の位置から混合領域の端まで ^の距離を検出し、混合領域の幅と、注目画素の位置から混合領域の端までの距離との比率を基に、混合比を推定するようにすることができる。

本発明の第 1の撮像装置は、時間積分効果を有する所定数の画素を有する撮像素子によつて撮像された被写体画像を、所定数の画素データからなる画像データとして出力する撮像手段と、画像データに対応して、前景オブジェクトを構成する前景オブジェクト成分および背景オブジェクトを構成する背景オブジェクト成分が混合されてなる混合領域と、前景ォブジュクト成分のみからなる前景領域と、背景オブジェクト成分のみからなる背景領域とからなる非混合領域とを特定する領域特定手段と、領域情報により特定される、前景オブジェクトの動き方向に基づく所定方向の混合領域の幅と、注目している注目画素の位置から混合領域の端までの所定方向に沿った距離との比率を基に、注目画素の、前景オブジェクト成分と背景オブジェクト成分との混合の比率を示す混合比を推定する混合比推定手段とを含むことを特徴とする。

撮像装置は、前景オブジェクトの動きべクトルを検出する動きべクトル検出手段をさらに設け、混合比推定手段は、動きベクトルの動き方向に沿って、混合領域の幅、および注目画素の位置から混合領域の端までの距離を検出し、混合領域の幅と、注目画素の位置から混合領域の端までの距離との比率を基に、混合比を推定するようにすることができる。

撮像装置は、前景オブジェクトの動き方向を検出する動き方向検出手段をさらに含み、混合比推定手段は、動き方向に沿って、混合領域の幅、および注目画素の位置から混合領域の端までの距離を検出し、混合領域の幅と、注目画素の位置から混合領域の端までの距離との比率を基に、混合比を推定するようにすることができる。

動き方向検出手段に、領域情報を基に、注目している注目フレームにおける混合領域の位置、および注目フレームの近傍の近傍フレームにおける混合領域の位置を基に、動きべクトルを生成する動きべクトル生成手段を設け、動き方向検出手段は、生成した動きベクトルを基に、動き方向を検出するようにすることができる。

本発明の第 2の画像処理装置は、画像データに対応して、前景オブジェクトを構成する前景オブジェクト成分および背景オブジェクトを構成する背景オブジェクト成分が混合されてなる混合領域を特定する領域情報を出力する領域特定手段と、混合領域における前景オブジェクト成分と背景オブジェクト成分との混合の比率を示す混合比の変化が画素の位置に対して略直線的であるとして、領域情報および前景オブジェクトの動き方向に基づき、混合比を推定する混合比推定手段とを含むことを特徴とする。

混合比推定手段は、 1端が前景ォブジェクト成分のみからなる前景領域に位置し、他の 1端が背景オブジェクト成分のみからなる背景領域に位置し、かつ混合領域を横断する線分上の位置を基に、線分上の位置に対応する画素の混合比を推定するようにすることができる。

混合比推定手段は、前景ォブジェクトの動き方向と平行する線分上の位置を基に、線分上の位置に対応する画素の混合比を推定するようにすることができる。混合比推定手段は、前景オブジェクトの動き方向に斜交する線分上の位置を基に、線分上の位置に対応する画素の混合比を推定するようにすることができる。本発明の第 2の画像処理方法は、画像データに対応して、前景オブジェクトを構成する前景オブジェクト成分および背景オブジェクトを構成する背景オブジェクト成分が混合されてなる混合領域を特定する領域情報を出力する領域特定ステップと、混合領域における前景オブジェクト成分と背景オブジェクト成分との混合の比率を示す混合比の変化が画素の位置に対して略直線的であるとして、領域情報および前景ォブジユタトの動き方向に基づき、混合比を推定する混合比推定ステップとを含むことを特徴とする。

混合比推定ステップは、 1端が前景オブジェクト成分のみからなる前景領域に位置し、他の 1端が背景ォブジェクト成分のみからなる背景領域に位置し、かつ混合領域を横断する線分上の位置を基に、線分上の位置に対応する画素の混合比を推定するようにすることができる。

混合比推定ステップは、前景ォブジェクトの動き方向と平行する線分上の位置を基に、線分上の位置に対応する画素の混合比を推定するようにすることができる。

混合比推定ステップは、前景オブジェクトの動き方向に斜交する線分上の位置を基に、線分上の位置に対応する画素の混合比を推定するようにすることができる。

本発明の第 2の記録媒体のプログラムは、画像データに対応して、前景ォブジエタトを構成する前景オブジェクト成分および背景オブジェクトを構成する背景オブジェクト成分が混合されてなる混合領域を特定する領域情報を出力する領域特定ステップと、混合領域における前景ォブジェクト成分と背景オブジェクト成分との混合の比率を示す混合比の変化が画素の位置に対して略直線的であるとして、領域情報および前景ォブジ-クトの動き方向に基づき、混合比を推定する混合比推定ステップとを含むことを特徴とする。

混合比推定ステップは、 1端が前景オブジェクト成分のみからなる前景領域に位置し、他の 1端が背景オブジェクト成分のみからなる背景領域に位置し、かつ混合領域を横断する線分上の位置を基に、線分上の位置に対応する画素の混合比を推定するようにすることができる。

混合比推定ステップは、前景オブジェクトの動き方向と平行する線分上の位置を基に、線分上の位置に対応する画素の混合比を推定するようにすることができる。

本発明の第 2のプログラムは、コンピュータに、画像データに対応して、前景オブジェクトを構成する前景オブジェクト成分および背景オブジェクトを構成する背景オブジェクト成分が混合されてなる混合領域を特定する領域情報を出力する領域特定ステップと、混合領域における前景ォブジェクト成分と背景オブジェクト成分との混合の比率を示す混合比の変化が画素の位置に対して略直線的であるとして、領域情報および前景オブジェクトの動き方向に基づき、混合比を推定する混合比推定ステップとを実行させることを特徴とする。

本発明の第 2の撮像装置は、時間積分効果を有する所定数の画素を有する撮像素子によつて撮像された被写体画像を、所定数の画素データからなる画像データとして出力する撮像手段と、画像データに対応して、前景オブジェクトを構成する前景オブジェクト成分および背景オブジェクトを構成する背景オブジェクト成分が混合されてなる混合領域を特定する領域情報を出力する領域特定手段と、混合領域における前景オブジェクト成分と背景オブジェクト成分との混合の比率を示す混合比の変化が画素の位置に対して略直線的であるとして、領域情報および前景オブジェクトの動き方向に基づき、混合比を推定する混合比推定手段とを含むことを特徴とする。

混合比推定手段は、前景オブジェクトの動き方向と平行する線分上の位置を基に、線分上の位置に対応する画素の混合比を推定するようにすることができる。混合比推定手段は、前景オブジェクトの動き方向に斜交する線分上の位置を基に、線分上の位置に対応する画素の混合比を推定するようにすることができる。画像データに対応して、前景オブジェクトを構成する前景オブジェクト成分および背景オブジェクトを構成する背景オブジェクト成分が混合されてなる混合領域と、前景オブジェクト成分のみからなる前景領域と、背景オブジェクド成分のみからなる背景領域とからなる非混合領域とが特定され、領域情報により特定される、前景ォブジクトの動き方向に基づく所定方向の混合領域の幅と、注目している注目画素の位置から混合領域の端までの所定方向に沿つた距離との比率を基に、注目画素の、前景ォブジェクト成分と背景オブジェクト成分との混合の比率を示す混合比が推定される。

画像データに対応して、前景ォブジェクトを構成する前景オブジェクト成分および背景オブジェクトを構成する背景オブジェクト成分が混合されてなる混合領域を特定する領域情報が出力され、混合領域における前景オブジェクト成分と背景ォブジェクト成分との混合の比率を示す混合比の変化が画素の位置に対して略直線的であるとして、領域情報および前景オブジェクトの動き方向に基づき、混合比が推定される。

これにより、画像における混ざり合いの状態を知ることができるようになる。図面の簡単な説明

図 1は、本発明に係る画像処理装置の一実施の形態を示す図である。

図 2は、画像処理装置を示すブロック図である。

図 3は、センサによる撮像を説明する図である。

図 4は、画素の配置を説明する図である。

図 5は、検出素子の動作を説明する図である。

図 6 Aは、動いている前景に対応するオブジェクトと、静止している背景に対応するオブジェクトとを撮像して得られる画像を説明する図である。

図 6 Bは、動いている前景に対応するオブジェクトと、静止している背景に対応するオブジェク卜とを撮像して得られる画像のモデルを説明する図である。図 7は、背景領域、前景領域、混合領域、カバードバックグラウンド領域、およびアンカバードバックグラウンド領域を説明する図である。

図 8は、静止している前景に対応するオブジェクトおよび静止している背景に対応するオブジェクトを撮像した画像における、隣接して 1列に並んでいる画素の画素値を時間方向に展開したモデル図である。

図 9は、画素値を時間方向に展開し、シャッタ時間に対応する期間を分割したモデル図である。

図 1 0は、画素値を時間方向に展開し、シャツタ時間に対応する期間を分割したモデル図である。

図 1 1は、画素値を時間方向に展開し、シャツタ時間に対応する期間を分割したモデル図である。

図 1 2は、前景領域、背景領域、および混合領域の画素を抽出した例を示す図である。

図 1 3は、画素と画素値を時間方向に展開したモデルとの対応を示す図である _c 図 1 4は、画素値を時間方向に展開し、シャツタ時間に対応する期間を分割したモデル図である。

図 1 5は、画素値を時間方向に展開し、シャツタ時間に対応する期間を分割したモデル図である。

図 1 6は、画素値を時間方向に展開し、シャツタ時間に対応する期間を分割したモデル図である。

図 1 7は、画素値を時間方向に展開し、シャツタ時間に対応する期間を分割したモデル図である。

図 1 8は、画素値を時間方向に展開し、シャツタ時間に対応する期間を分割したモデル図である。

図 1 9は、動きボケの量の調整の処理を説明するフローチャートである。図 2 0は、領域特定部 1 0 3の構成の一例を示すブロック図である。

図 2 1は、前景に対応するオブジェクトが移動しているときの画像を説明する図である。

図 2 2は、画素値を時間方向に展開し、シャツタ時間に対応する期間を分割したモデル図である。 .

図 2 3は、画素値を時間方向に展開し、シャツタ時間に対応する期間を分割したモデル図である。

図 2 4は、画素値を時間方向に展開し、シャツタ時間に対応する期間を分割したモデル図である。

図 2 5は、領域判定の条件を説明する図である。

図 2 6 Aは、領域特定部 1 0 3の領域の特定の結果の例を示す図である。図 2 6 Bは、領域特定部 1 0 3の領域の特定の結果の例を示す図である。図 2 6 Cは、領域特定部 1 0 3の領域の特定の結果の例を示す図である。図 2 6 Dは、領域特定部 1 0 3の領域の特定の結果の例を示す図である。図 2 7は、領域特定部 1 0 3の領域の特定の結果の例を示す図である。

図 2 8は、領域特定の処理を説明するフローチヤ一トである。

図 2 9は、領域特定部 1 0 3の構成の他の一例を示すブロック図である。図 3 0は、画素値を時間方向に展開し、シャツタ時間に対応する期間を分割したモデル図である。図 3 1は、背景画像の例を示す図である。

図 3 2は、 2値オブジェクト画像抽出部 3 0 2の構成を示すプロック図である _c 図 3 3 Aは、相関値の算出を説明する図である。

図 3 3 Bは、相関値の算出を説明する図である。

図 3 4 Aは、相関値の算出を説明する図である。

図 3 4 Bは、相関値の算出を説明する図である。

図 3 5は、 2値ォブジェクト画像の例を示す図である。

図 3 6は、時間変化検出部 3 0 3の構成を示すプロック図である。

図 3 7は、領域判定部 3 4 2の判定を説明する図である。

図 3 8は、時間変化検出部 3 0 3の判定の例を示す図である。

図 3 9は、領域判定部 1 0 3の領域特定の処理を説明するフローチヤ一トである。

図 4 0は、領域判定の処理の詳細を説明するフローチヤ一トである。

図 4 1は、領域特定部 1 ◦ 3のさらに他の構成を示すブロック図である。

図 4 2は、ロバスト化部 3 6 1の構成を説明するブロック図である。

図 4 3は、動き補償部 3 8 1の動き補償を説明する図である。

図 4 4は、動き補償部 3 8 1の動き補償を説明する図である。

図 4 5は、領域特定の処理を説明するフローチヤ一トである。

図 4 6は、口バスト化の処理の詳細を説明するフローチヤ一トである。

図 4 7は、混合比算出部 1 0 4の構成を示すブロック図である。

図 4 8は、理想的な混合比ひの例を示す図である。

図 4 9は、画素値を時間方向に展開し、シャツタ時間に対応する期間を分割したモデル図である。

図 5 0は、画素値を時間方向に展開し、シャツタ時間に対応する期間を分割したモデル図である。

図 5 1は、画素値を時間方向に展開し、シャツタ時間に対応する期間を分割したモデル図である。図 5 2は、画素値を時間方向に展開し、シャツタ時間に対応する期間を分割したモデル図である。

図 5 3は、混合比ひの算出の処理を説明する図である。

図 5 4は、混合比ひの算出の処理を説明するフローチヤ一トである。

図 5 5は、混合領域に属する画素の混合比ひの算出の処理を説明するフローチヤ一トである。

図 5 6は、前景背景分離部 1 0 5の構成の一例を示すブロック図である。図 5 7 Aは、入力画像、前景成分画像、および背景成分画像を示す図である。図 5 7 Bは、入力画像、前景成分画像、および背景成分画像のモデルを示す図である。

図 5 8は、画素値を時間方向に展開し、シャツタ時間に対応する期間を分割したモデル図である。

図 5 9は、画素値を時間方向に展開し、シャツタ時間に対応する期間を分割したモデル図である。

図 6 0は、画素値を時間方向に展開し、シャツタ時間に対応する期間を分割したモデル図である。

図 6 1は、分離部 6 0 1の構成の一例を示すブロック図である。

図 6 2 Aは、分離された前景成分画像の例を示す図である。

図 6 2 Bは、分離された背景成分画像の例を示す図である。

図 6 3は、前景と背景との分離の処理を説明するフローチャートである。図 6 4は、本発明に係る画像処理装置の他の構成を示すプロック図である。図 6 5は、動き方向推定部 7 0 1の構成を示すブロック図である。

図 6 6は、動きべクトル検出部 7 2 1のブロックマッチングを説明する図である。

図 6 7 Aは、評価ブロックを説明する図である。

図 6 7 Bは、評価ブロックを説明する図である。

図 6 7 Cは、評価ブロックを説明する図である。図 6 7 Dは、評価ブロックを説明する図である。

図 6 8は、混合比算出部 7 0 2の構成を示すプロック図である。

図 6 9は、前景背景分離の処理を説明するフローチヤ一トである。

図 7 0は、動き方向取得の処理を説明するフローチヤ一トである。

図 7 1は、混合比ひの算出の処理を説明するフローチャートである。

図 7 2は、混合領域に属する画素の混合比 a の算出の処理を説明するフローチヤ一トである。

図 7 3は、本発明に係る画像処理装置のさらに他の構成を示すブロック図である。

図 7 4は、前景背景の分離の処理を説明するフローチャートである。発明を実施するための最良の形態

図 1は、本発明に係る画像処理装置の一実施の形態を示す図である。 CPU (Central Proces s ing Uni t) 2 1は、 ROM (Read On ly Memory) 2 2、または記憶部 2 8に記憶されているプログラムに従って各種の処理を実行する。 RAM (Random Acces s Memory) 2 3には、 CPU 2 1が実行するプログラムやデータなどが適宜記憶される。これらの CPU 2 1、 ROM 2 2 および RAM 2 3は、ノス 2 4により相互に接続されている。

CPU 2 1にはまた、バス 2 4を介して入出力ィンタフェース 2 5が接続されている。入出力インタフェース 2 5には、キーボード、マウス、マイクロホンなどよりなる入力部 2 6、ディスプレイ、スピーカなどよりなる出力部 2 7が接続されている。 CPU 2 1は、入力部 2 6から入力される指令に対応して各種の処理を実行する。そして、 CPU 2 1は、処理の結果得られた画像や音声等を出力部 2 7 に出力する。

入出力インタフェース 2 5に接続されている記憶部 2 8は、例えばハードディスクなどで構成され、 CPU 2 1が実行するプログラムや各種のデータを記憶する _c 通信部 2 9は、インターネット、その他のネットワークを介して外部の装置と通信する。この例の場合、通信部 2 9はセンサの出力を取り込む取得部として働く _c また、通信部 2 9を介してプログラムを取得し、記憶部 2 8に記憶してもよい _c 入出力インタフェース 2 5に接続されているドライブ 3 0は、磁気ディスク 5

1、光ディスク 5 2、光磁気ディスク 5 3、或いは半導体メモリ 5 4などが装着されたとき、それらを駆動し、そこに記録されているプログラムやデータなどを取得する。取得されたプログラムやデータは、必要に応じて記憶部 2 8に転送され、記憶される。

図 2は、画像処理装置を示すブロック図である。

なお、画像処理装置の各機能をハードウェアで実現するか、ソフトウェアで実現するかは問わない。つまり、本明細書の各ブロック図は、ハードウェアのブロック図と考えても、ソフトウエアによる機能プロック図と考えても良い。

この明細書では、撮像の対象となる、現実世界におけるオブジェク卜に対応する画像を、画像オブジェク卜と称する。

画像処理装置に供給された入力画像は、ォブジェクト抽出部 1 0 1、領域特定部 1 0 3、および前景背景分離部 1 0 5に供給される。

オブジェクト抽出部 1 0 1は、入力画像に含まれる前景のオブジェクトに対応する画像オブジェクトを粗く抽出して、抽出した画像オブジェクトを動き検出部

1 0 2に供給する。オブジェクト抽出部 1 0 1は、例えば、入力画像に含まれる前景のオブジェクトに対応する画像オブジェクトの輪郭を検出することで、前景のォブジェクトに対応する画像オブジェクトを粗く抽出する。

オブジェクト抽出部 1 0 1は、入力画像に含まれる背景のオブジェクトに対応する画像オブジェクトを粗く抽出して、抽出した画像オブジェクトを動き検出部

1 0 2に供給する。オブジェクト抽出部 1 0 1は、例えば、入力画像と、抽出された前景のオブジェクトに対応する画像オブジェクトとの差から、背景のォブジェタトに対応する画像オブジェクトを粗く抽出する。

また、例えば、オブジェクト抽出部 1 0 1は、内部に設けられている背景メモリに記憶されている背景の画像と、入力画像との差から、前景のオブジェク卜に対応する画像オブジェクト、および背景のオブジェクトに対応する画像オブジェクトを粗く抽出するようにしてもよい。

動き検出部 1 0 2は、例えば、ブロックマッチング法、勾配法、位相相関法、およびペルリカーシブ法などの手法により、粗く抽出された前景のォブジェクトに対応する画像オブジェクトの動きベクトルを算出して、算出した動きベクトルおよび動きべクトルの位置情報（動きべクトルに対応する画素の位置を特定する情報）を領域特定部 1 0 3および混合比算出部 1 0 4に供給する。

動き検出部 1 0 2が出力する動きべクトルには、動き量 Vに対応する情報が含まれている。

また、例えば、動き検出部 1 0 2は、画像オブジェクトに画素を特定する画素位置情報と共に、画像オブジェクト毎の動きべクトルを領域特定部 1 0 3および混合比算出部 1 0 4に出力するようにしてもよレ、。

動き量 Vは、動いているオブジェクトに対応する画像の位置の変化を画素間隔を単位として表す値である。例えば、前景に対応するオブジェクトの画像が、あるフレームを基準として次のフレームにおいて 4画素分離れた位置に表示されるように移動しているとき、前景に対応するォブジェクトの画像の動き量 V は、

4とされる。

領域特定部 1 0 3は、入力された画像の画素のそれぞれを、前景領域、背景領域、または混合領域のいずれかに特定し、画素毎に前景領域、背景領域、または混合領域のいずれかに属するかを示す情報（以下、領域情報と称する）を混合比算出部 1 0 4および前景背景分離部 1 0 5に供給する。

混合比算出部 1 0 4は、動き検出部 1 0 2から供給された動きべクトルとその位置情報、および領域特定部 1 0 3から供給された領域情報を基に、混合領域に含まれる画素に対応する混合比（以下、混合比と称する）を算出して、算出した混合比を前景背景分離部 1 0 5に供給する。

混合比ひは、後述する式（3 ) に示されるように、画素値における、背景のオブジェクトに対応する画像の成分（以下、背景の成分とも称する）の割合を示す値である。

前景背景分離部 1 0 5は、領域特定部 1 0 3から供給された領域情報、および混合比算出部 1 0 4から供給された混合比を基に、前景のオブジェクトに対応する画像の成分（以下、前景の成分とも称する）のみから成る前景成分画像と、背景の成分のみから成る背景成分画像とに入力画像を分離して、前景成分画像および背景成分画像を出力する。

従来の混合領域を考慮しないで前景と背景だけを特定し、分離していた方式に比べ正確な前景と背景を得ることが出来る。

次に、図 3乃至図 1 8を参照して、画像処理装置に供給される入力画像について説明する。

図 3は、センサによる撮像を説明する図である。センサは、例えば、固体撮像素子である CCD (Charge-Coupl ed Dev ice) エリアセンサを備えた CCD ビデオ力メラなどで構成される。現実世界における、前景に対応するォブジェクト 1 1 1 は、現実世界における、背景に対応するオブジェクト 1 1 2と、センサとの間を、例えば、図中の左側から右側に水平に移動する。

センサは、前景に対応するォブジェクト 1 1 1を、背景に対応するォブジェクト 1 1 2と共に撮像する。センサは、撮像した画像を 1フレーム単位で出力する _c 例えば、センサは、 1秒間に 3 0フレームから成る画像を出力する。センサの露光時間は、 1 Z 3 0秒とすることができる。露光時間は、センサが入力された光の電荷への変換を開始してから、入力された光の電荷への変換を終了するまでの期間である。以下、露光時間をシャツタ時間とも称する。

図 4は、画素の配置を説明する図である。図 4中において、 A乃至 Iは、個々の画素を示す。画素は、画像に対応する平面上に配置されている。 1つの画素に対応する 1つの検出素子は、センサ上に配置されている。センサが画像を撮像するとき、 1つの検出素子は、画像を構成する 1つの画素に対応する画素値を出力する。例えば、検出素子の X方向の位置は、画像上の横方向の位置に対応し、検出素子の Y方向の位置は、画像上の縦方向の位置に対応する。図 5に示すように、例えば、 CCDである検出素子は、シャツタ時間に対応する期間、入力された光を電荷に変換して、変換された電荷を蓄積する。電荷の量は、入力された光の強さと、光が入力されている時間にほぼ比例する。検出素子は、シャツタ時間に対応する期間において、入力された光から変換された電荷を、既に蓄積されている電荷に加えていく。すなわち、検出素子は、シャツタ時間に対応する期間、入力される光を積分して、積分された光に対応する量の電荷を蓄積する。検出素子は、時間に対して、積分効果があるとも言える。

検出素子に蓄積された電荷は、図示せぬ回路により、電圧値に変換され、電圧値は更にデジタルデータなどの画素値に変換されて出力される。従って、センサから出力される個々の画素値は、前景または背景に対応するオブジェクトの空間的に広がりを有するある部分を、シャツタ時間について積分した結果である、 1 次元の空間に射影された値を有する。

画像処理装置は、このようなセンサの蓄積の動作により、出力信号に埋もれてしまった有意な情報、例えば、混合比 α を抽出する。画像処理装置は、前景の画像オブジェクト自身が混ざり合うことによる生ずる歪みの量、例えば、動きボケの量などを調整する。また、画像処理装置は、前景の画像オブジェクトと背景の画像オブジェクトとが混ざり合うことにより生ずる歪みの量を調整する。

図 6 Αは、動いている前景に対応するオブジェクトと、静止している背景に対応するオブジェクトとを撮像して得られる画像を説明する図である。図 6 Βは、動いている前景に対応するオブジェクトと、静止している背景に対応するォブジヱクトとを撮像して得られる画像のモデルを説明する図である。

図 6 Αは、動きを伴う前景に対応するオブジェクトと、静止している背景に対応するオブジェクトとを撮像して得られる画像を示している。図 6 Αに示す例において、前景に対応するォブジェクトは、画面に対して水平に左から右に動いている。

図 6 Bは、図 6 Aに示す画像の 1つのラインに対応する画素値を時間方向に展開したモデル図である。図 6 Bの横方向は、図 6 Aの空間方向 Xに対応している _c 背景領域の画素は、背景の成分、すなわち、背景のオブジェクトに対応する画像の成分のみから、その画素値が構成されている。前景領域の画素は、前景の成分、すなわち、前景のオブジェクトに対応する画像の成分のみから、その画素値が構成されている。

混合領域の画素は、背景の成分、および前景の成分から、その画素値が構成されている。混合領域は、背景の成分、および前景の成分から、その画素値が構成されているので、歪み領域ともいえる。混合領域は、更に、カバードバックダラゥンド領域およびアンカバ一ドバックグラウンド領域に分類される。

カバードバックグラウンド領域は、前景領域に対して、前景のオブジェクトの進行方向の前端部に対応する位置の混合領域であり、時間の経過に対応して背景成分が前景に覆い隠される領域をいう。

これに対して、アンカバードバックグラウンド領域は、前景領域に対して、前景のォブジェクトの進行方向の後端部に対応する位置の混合領域であり、時間の経過に対応して背景成分が現れる領域をいう。

このように、前景領域、背景領域、またはカバードバックグラウンド領域若しくはアンカバードバックグラウンド領域を含む画像が、領域特定部 1 0 3、混合比算出部 1 0 4、および前景背景分離部 1 0 5に入力画像として入力される。図 7は、以上のような、背景領域、前景領域、混合領域、カバードバックグラゥンド領域、およびアンカバードバックグラウンド領域を説明する図である。図 6 Aに示す画像に対応する場合、背景領域は、静止部分であり、前景領域は、動き部分であり、混合領域のカバ一ドバックグラウンド領域は、背景から前景に変化する部分であり、混合領域のアンカバードバックグラウンド領域は、前景から背景に変化する部分である。

図 8は、静止している前景に対応するォブジェクトおよび静止している背景に対応するオブジェクトを撮像した画像における、隣接して 1列に並んでいる画素の画素値を時間方向に展開したモデル図である。例えば、隣接して 1列に並んでいる画素として、画面の 1つのライン上に並んでいる画素を選択することができる。

図 8に示す F01乃至 F04の画素値は、静止している前景のオブジェクトに対応する画素の画素値である。図 8に示す B01乃至 B04の画素値は、静止している背景のオブジェクトに対応する画素の画素値である。

図 8における縦方向は、時間に対応し、図中の上から下に向かって時間が経過する。図 8中の矩形の上辺の位置は、センサが入力された光の電荷への変換を開始する時刻に対応し、図 8中の矩形の下辺の位置は、センサが入力された光の電荷への変換を終了する時刻に対応する。すなわち、図 8中の矩形の上辺から下辺までの距離は、シャツタ時間に対応する。

以下において、シャツタ時間とフレーム間隔とが同一である場合を例に説明する。

図 8における横方向は、図 6 Aで説明した空間方向 Xに対応する。より具体的には、図 8に示す例において、図 8中の" F01 " と記載された矩形の左辺から" B04" と記載された矩形の右辺までの距離は、画素のピッチの 8倍、すなわち、連続している 8つの画素の間隔に対応する。

前景のオブジェクトおよび背景のオブジェクトが静止している場合、シャツタ時間に対応する期間において、センサに入力される光は変化しない。

ここで、シャッタ時間に対応する期間を 2つ以上の同じ長さの期間に分割する。例えば、仮想分割数を 4とすると、図 8に示すモデル図は、図 9に示すモデルとして表すことができる。仮想分割数は、前景に対応するオブジェクトのシャツタ時間内での動き量 Vなどに対応して設定される。例えば、 4である動き量 Vに対応して、仮想分割数は、 4とされ、シャツタ時間に対応する期間は 4つに分割される。

図中の最も上の行は、シャツタが開いて最初の、分割された期間に対応する。図中の上から 2番目の行は、シャツタが開いて 2番目の、分割された期間に対応する。図中の上から 3番目の行は、シャツタが開いて 3番目の、分割された期間に対応する。図中の上から 4番目の行は、シャツタが開いて 4番目の、分割された期間に対応する。

以下、動き量 Vに対応して分割されたシャツタ時間をシャツタ時間 /vとも称する。

前景に対応するオブジェク卜が静止しているとき、センサに入力される光は変化しないので、前景の成分 FO l / vは、画素値 F01を仮想分割数で除した値に等しい。同様に、前景に対応するオブジェクトが静止しているとき、前景の成分 F02/v は、画素値 F02 を仮想分割数で除した値に等しく、前景の成分 F03/v は, 画素値 F03を仮想分割数で除した値に等しく、前景の成分 F04/vは、画素値 F04を仮想分割数で除した値に等しい。

背景に対応するオブジェクトが静止しているとき、センサに入力される光は変化しないので、背景の成分 BO l /vは、画素値 B01を仮想分割数で除した値に等しい。同様に、背景に対応するォブジェク卜が静止しているとき、背景の成分 B02/vは、画素値 B02を仮想分割数で除した値に等しく、 B03/vは、画素値 B03 を仮想分割数で除した値に等しく、 B04/vは、画素値 B04を仮想分割数で除した値に等しい。

すなわち、前景に対応するオブジェクトが静止している場合、シャツタ時間に対応する期間において、センサに入力される前景のオブジェクトに対応する光が変化しないので、シャツタが開いて最初の、シャツタ時間/ Vに対応する前景の成分 FO l/vと、シャツタが開いて 2番目の、シャツタ時間/ Vに対応する前景の成分 FO l/vと、シャツタが開いて 3番目の、シャツタ時間/ Vに対応する前景の成分 FO l /vと、シャツタが開いて 4番目の、シャツタ時間/ Vに対応する前景の成分 FO l/vとは、同じ値となる。 F02/v乃至 F04/vも、 FO l/v と同様の関係を有する。

背景に対応するォブジェクトが静止している場合、シャツタ時間に対応する期間において、センサに入力される背景のオブジェクトに対応する光は変化しないので、シャツタが開いて最初の、シャツタ時間/ Vに対応する背景の成分 BO l /v と、シャツタが開いて 2番目の、シャツタ時間/ Vに対応する背景の成分 BO l /v と、シャツタが開いて 3番目の、シャツタ時間/ Vに対応する背景の成分 BO l/v と、シャツタが開いて 4番目の、シャツタ時間/ Vに対応する背景の成分 BO l/v とは、同じ値となる。 B02/v乃至 B04/vも、同様の関係を有する。

次に、前景に対応するォブジェクトが移動し、背景に対応するォブジェク卜が静止している場合について説明する。

図 1 0は、前景に対応するオブジェクトが図中の右側に向かって移動する場合の、カバードバックグラウンド領域を含む、 1つのライン上の画素の画素値を時間方向に展開したモデル図である。図 1 0において、前景の動き量 Vは、 4である。 1フレームは短い時間なので、前景に対応するオブジェクトが剛体であり、等速で移動していると仮定することができる。図 1 0において、前景に対応するオブジェクトの画像は、あるフレームを基準として次のフレームにおいて 4画素分右側に表示されるように移動する。

図 1 0において、最も左側の画素乃至左から 4番目の画素は、前景領域に属する。図 1 0において、左から 5番目乃至左から 7番目の画素は、カバードバックグラウンド領域である混合領域に属する。図 1 0において、最も右側の画素は、背景領域に属する。

前景に対応するォブジェクトが時間の経過と共に背景に対応するォブジェク卜を覆い隠すように移動しているので、カバードバックグラウンド領域に属する画素の画素値に含まれる成分は、シャツタ時間に対応する期間のある時点で、背景の成分から、前景の成分に替わる。

例えば、図 1 0中に太線枠を付した画素値 Mは、式（1 ) で表される。

M=B02/v+B02/v+F07/v+F06/v ( 1 )

例えば、左から 5番目の画素は、 1つのシャツタ時間/ Vに対応する背景の成分を含み、 3つのシャツタ時間/ Vに対応する前景の成分を含むので、左から 5 番目の画素の混合比ひは、 1/4である。左から 6番目の画素は、 2つのシャツタ時間 /vに対応する背景の成分を含み、 2つのシャッタ時間 /vに対応する前景の成分を含むので、左から 6番目の画素の混合比ひは、 1/2である。左から 7 番目の画素は、 3つのシャツタ時間/ Vに対応する背景の成分を含み、 1つのシャッタ時間/ Vに対応する前景の成分を含むので、左から 7番目の画素の混合比 a は、 3/4である。

前景に対応するオブジェクトが、剛体であり、前景の画像が次のフレームにおいて 4画素右側に表示されるように等速で移動すると仮定できるので、例えば、図 1 0中の左から 4番目の画素の、シャツタが開いて最初の、シャツタ時間/ V の前景の成分 F07/vは、図 1 0中の左から 5番目の画素の、シャツタが開いて 2番目のシャツタ時間/ Vに対応する前景の成分に等しい。同様に、前景の成分 F07/vは、図 1 0中の左から 6番目の画素の、シャツタが開いて 3番目のシャツタ時間/ Vに対応する前景の成分と、図 1 0中の左から 7番目の画素の、シャツタが開いて 4番目のシャッタ時間/ Vに対応する前景の成分とに、それぞれ等しレ、。

前景に対応するォブジェクトが、剛体であり、前景の画像が次のフレームにおいて 4画素右側に表示されるように等速で移動すると仮定できるので、例えば、図 1 0中の左から 3番目の画素の、シャツタが開いて最初のシャツタ時間/ Vの前景の成分 F06/vは、図 1 0中の左から 4番目の画素の、シャツタが開いて 2 番目のシャツタ時間/ Vに対応する前景の成分に等しい。同様に、前景の成分 F06/vは、図 1 0中の左から 5番目の画素の、シャツタが開いて 3番目のシャツタ時間/ Vに対応する前景の成分と、図 1 0中の左から 6番目の画素の、シャツタが開いて 4番目のシャツタ時間/ Vに対応する前景の成分とに、それぞれ等しい。

前景に対応するオブジェクトが、剛体であり、前景の画像が次のフレームにおいて 4画素右側に表示されるように等速で移動すると仮定できるので、例えば、図 1 0中の左から 2番目の画素の、シャッタが開いて最初のシャッタ時間/ Vの前景の成分 F05/vは、図 1 0中の左から 3番目の画素の、シャツタが開いて 2 番目のシャツタ時間 /vのに対応する前景の成分に等しい。同様に、前景の成分 F05/vは、図 1 0中の左から 4番目の画素の、シャツタが開いて 3番目のシャツタ時間/ vに対応する前景の成分と、図 1 0中の左から 5番目の画素の、シャツタが開いて 4番目のシャッタ時間 /vに対応する前景の成分とに、それぞれ等しい。

前景に対応するォブジェク卜が、剛体であり、前景の画像が次のフレームにおいて 4画素右側に表示されるように等速で移動すると仮定できるので、例えば、図 1 0中の最も左側の画素の、シャツタが開いて最初のシャツタ時間/ Vの前景の成分 F04/vは、図 1 0中の左から 2番目の画素の、シャツタが開いて 2番目のシャツタ時間 /vに対応する前景の成分に等しい。同様に、前景の成分 F04/V は、図 1 0中の左から 3番目の画素の、シャツタが開いて 3番目のシャツタ時間 /vに対応する前景の成分と、図 1 0中の左から 4番目の画素の、シャツタが開いて 4番目のシャツタ時間/ Vに対応する前景の成分とに、それぞれ等しい。

動いているオブジェクトに対応する前景の領域は、このように動きボケを含むので、歪み領域とも言える。

図 1 1は、前景が図中の右側に向かって移動する場合の、アンカバードバックグラウンド領域を含む、 1つのライン上の画素の画素値を時間方向に展開したモデル図である。図 1 1において、前景の動き量 Vは、 4である。 1フレムは短い時間なので、前景に対応するオブジェクトが剛体であり、等速で移動していると仮定することができる。図 1 1において、前景に対応するオブジェクトの画像は、あるフレームを基準として次のフレームにおいて 4画素分右側に移動する _c 図 1 1において、最も左側の画素乃至左から 4番目の画素は、背景領域に属する。図 1 1において、左から 5番目乃至左から 7番目の画素は、アンカバードバックグラウンドである混合領域に属する。図 1 1において、最も右側の画素は、前景領域に属する。

背景に対応するォブジェクトを覆っていた前景に対応するォブジェクトが時間の経過と共に背景に対応するオブジェクトの前から取り除かれるように移動しているので、アンカバードバックグラウンド領域に属する画素の画素値に含まれる成分は、シャツタ時間に対応する期間のある時点で、前景の成分から、背景の成分に替わる。

例えば、図 1 1中に太線枠を付した画素値 M'は、式（2 ) で表される。

M' =F02/v+F01/v+B26/v+B26/v ( 2 )

例えば、左から 5番目の画素は、 3つのシャツタ時間/ Vに対応する背景の成分を含み、 1つのシャツタ時間/ Vに対応する前景の成分を含むので、左から 5 番目の画素の混合比ひは、 3/4である。左から 6番目の画素は、 2つのシャツタ時間 /vに対応する背景の成分を含み、 2つのシャッタ時間 /vに対応する前景の成分を含むので、左から 6番目の画素の混合比ひは、 1/2である。左から 7 番目の画素は、 1つのシャツタ時間/ Vに対応する背景の成分を含み、 3つのシャッタ時間/ Vに対応する前景の成分を含むので、左から 7番目の画素の混合比は、 1 /4である。

式（ 1 ) および式（2 ) をより一般化すると、画素値 Mは、式（3 ) で表される。

M= - B +∑Fi/v (3)

ここで、は、混合比である。 Bは、背景の画素値であり、 Fi/vは、前景の成分である。

前景に対応するォブジェクトが剛体であり、等速で動くと仮定でき、かつ、動き量 Vが 4であるので、例えば、図 1 1中の左から 5番目の画素の、シャツタが開いて最初の、シャツタ時間/ Vの前景の成分 FO l/vは、図 1 1中の左から 6 番目の画素の、シャツタが開いて 2番目のシャツタ時間/ Vに対応する前景の成分に等しい。同様に、 FO l /vは、図 1 1中の左から 7番目の画素の、シャツタが開いて 3番目のシャツタ時間/ Vに対応する前景の成分と、図 1 1中の左から 8 番目の画素の、シャッタが開いて 4番目のシャッタ時間/ Vに対応する前景の成分とに、それぞれ等しい。

前景に対応するオブジェクトが剛体であり、等速で動くと仮定でき、かつ、仮想分割数が 4であるので、例えば、図 1 1中の左から 6番目の画素の、シャツタが開いて最初の、シャツタ時間/ Vの前景の成分 F02/vは、図 1 1中の左から 7 番目の画素の、シャッタが開いて 2番目のシャッタ時間 /vに対応する前景の成分に等しい。同様に、前景の成分 F02/v は、図 1 1中の左から 8番目の画素の、シャツタが開いて 3番目のシャツタ時間 /vに対応する前景の成分に等しい。

前景に対応するォブジェクトが剛体であり、等速で動くと仮定でき、かつ、動き量 Vが 4であるので、例えば、図 1 1中の左から 7番目の画素の、シャツタが開いて最初の、シャツタ時間/ Vの前景の成分 F03/vは、図 1 1中の左から 8 番目の画素の、シャッタが開いて 2番目のシャッタ時間/ Vに対応する前景の成分に等しい。

図 9乃至図 1 1の説明において、仮想分割数は、 4であるとして説明したが、仮想分割数は、動き量 Vに対応する。動き量 Vは、一般に、前景に対応するォブジエタトの移動速度に対応する。例えば、前景に対応するオブジェクトが、あるフレームを基準として次のフレームにおいて 4画素分右側に表示されるように移動しているとき、動き量 Vは、 4とされる。動き量 Vに対応し、仮想分割数は、 4とされる。同様に、例えば、前景に対応するオブジェクトが、あるフレームを基準として次のフレームにおいて 6画素分左側に表示されるように移動しているとき、動き量 Vは、 6とされ、仮想分割数は、 6とされる。

図 1 2および図 1 3に、以上で説明した、前景領域、背景領域、カバードバックグラウンド領域若しくはアンカバードバックグラウンド領域から成る混合領域と、分割されたシャツタ時間に対応する前景の成分および背景の成分との関係を示す。

図 1 2は、静止している背景の前を移動しているオブジェクトに対応する前景を含む画像から、前景領域、背景領域、および混合領域の画素を抽出した例を示す。図 1 2に示す例において、 Aで示す、前景に対応するォブジェク卜は、画面に対して水平に移動している。

フレーム #n+ lは、フレーム #nの次のフレームであり、フレーム #n+2は、フレ一ム#11+ 1 の次のフレームである。

フレーム #_n 乃至フレーム #_η+2 のいずれかから抽出した、前景領域、背景領域、および混合領域の画素を抽出して、動き量 Vを 4として、抽出された画素の画素値を時間方向に展開したモデルを図 1 3に示す。

前景領域の画素値は、前景に対応するオブジェクトが移動するので、シャツタ時間/ Vの期間に対応する、 4つの異なる前景の成分から構成される。例えば、図 1 3に示す前景領域の画素のうち最も左側に位置する画素は、

(^^^(^ ^(^ 、ぉょび！^^/^から構成される。すなわち、前景領域の画素は、動きボケを含んでいる。

背景に対応するォブジェクトが静止しているので、シャツタ時間に対応する期間において、センサに入力される背景に対応する光は変化しない。この場合、背景領域の画素値は、動きボケを含まない。

カバードバックグラウンド領域若しくはアンカバードバックグラウンド領域から成る混合領域に属する画素の画素値は、前景の成分と、背景の成分とから構成される。

次に、オブジェクトに対応する画像が動いているとき、複数のフレームにおける、隣接して 1列に並んでいる画素であって、フレーム上で同一の位置の画素の画素値を時間方向に展開したモデルについて説明する。例えば、オブジェクトに対応する画像が画面に対して水平に動いているとき、隣接して 1列に並んでいる画素として、画面の 1つのライン上に並んでいる画素を選択することができる。図 1 4は、静止している背景に対応するォブジェクトを撮像した画像の 3つのフレームの、隣接して 1列に並んでいる画素であって、フレーム上で同一の位置の画素の画素値を時間方向に展開したモデル図である。フレーム #nは、フレーム ttn- 1の次のフレームであり、フレーム #n+ l は、フレーム #nの次のフレームである。他のフレームも同様に称する。

図 1 4に示す B01乃至 B12の画素値は、静止している背景のオブジェクトに対応する画素の画素値である。背景に対応するオブジェクトが静止しているので、フレーム #_n_ l乃至フレーム n+ 1において、対応する画素の画素値は、変化しなレ、。例えば、フレーム #n- lにおける B05の画素値を有する画素の位置に対応する、フレーム #n における画素、およびフレーム #n+l における画素は、それぞれ、 B05の画素値を有する。

図 1 5は、静止している背景に対応するオブジェクトと共に図中の右側に移動する前景に対応するォブジェクトを撮像した画像の 3つのフ I ^一ムの、隣接して 1列に並んでいる画素であって、フレーム上で同一の位置の画素の画素値を時間方向に展開したモデル図である。図 1 5に示すモデルは、カバードバックグラウンド領域を含む。

図 1 5において、前景に対応するオブジェクトが、剛体であり、等速で移動すると仮定でき、前景の画像が次のフレームにおいて 4画素右側に表示されるように移動するので、前景の動き量 Vは、 4であり、仮想分割数は、 4である。

例えば、図 1 5中のフレーム #n-lの最も左側の画素の、シャツタが開いて最初のシャツタ時間/ Vの前景の成分は、 F12/vとなり、図 1 5中の左から 2番目の画素の、シャツタが開いて 2番目のシャツタ時間/ Vの前景の成分も、 F12/v となる。図 1 5中の左から 3番目の画素の、シャツタが開いて 3番目のシャツタ時間/ Vの前景の成分、および図 1 5中の左から 4番目の画素の、シャツタが開いて 4番目のシャツタ時間/ Vの前景の成分は、 F12/v となる。

図 1 5中のフレーム #n-lの最も左側の画素の、シャッタが開いて 2番目のシャッタ時間/ Vの前景の成分は、 Fll/vとなり、図 1 5中の左から 2番目の画素の、シャツタが開いて 3番目のシャツタ時間/ V の前景の成分も、 Fll/v となる _c 図 1 5中の左から 3番目の画素の、シャツタが開いて 4番目のシャツタ時間/ V の前景の成分は、 Fll/vとなる。

図 1 5中のフレーム t n-1の最も左側の画素の、シャッタが開いて 3番目のシャッタ時間/ Vの前景の成分は、 FlO/vとなり、図 1 5中の左から 2番目の画素の、シャツタが開いて 4番目のシャツタ時間/ V の前景の成分も、 FlO/v となる _c 図 1 5中のフレーム #n-lの最も左側の画素の、シャツタが開いて 4番目のシャッタ時間/ Vの前景の成分は、 F09/vとなる。

背景に対応するォブジェクトが静止しているので、図 1 5中のフレーム ttn - 1 の左から 2番目の画素の、シャッタが開いて最初のシャッタ時間/ Vの背景の成分は、 BO l/v となる。図 1 5中のフレーム #n- lの左から 3番目の画素の、シャッタが開いて最初および 2番目のシャツタ時間 /vの背景の成分は、 B02/vとなる。図 1 5中のフレーム itn- 1の左から 4番目の画素の、シャツタが開いて最初乃至 3番目のシャツタ時間/ Vの背景の成分は、 B03/vとなる。

図 1 5中のフレーム ttn- 1において、最も左側の画素は、前景領域に属し、左側から 2番目乃至 4番目の画素は、カバードバックグラウンド領域である混合領域に属する。

図 1 5中のフレーム #n- lの左から 5番目の画素乃至 1 2番目の画素は、背景領域に属し、その画素値は、それぞれ、 B04乃至 B 1 1 となる。

図 1 5中のフレーム ί!ηの左から 1番目の画素乃至 5番目の画素は、前景領域に属する。フレーム #ηの前景領域における、シャツタ時間/ Vの前景の成分は、 F05/v乃至 F 12/vのいずれかである。

前景に対応するオブジェクトが、剛体であり、等速で移動すると仮定でき、前景の画像が次のフレームにおいて 4画素右側に表示されるように移動するので、図 1 5中のフレーム #ηの左から 5番目の画素の、シャッタが開いて最初のシャッタ時間/ V の前景の成分は、 F 12/v となり、図 1 5中の左から 6番目の画素の、シャツタが開いて 2番目のシャツタ時間/ Vの前景の成分も、 F 12/v となる。図 1 5中の左から 7番目の画素の、シャッタが開いて 3番目のシャッタ時間/ Vの前景の成分、および図 1 5中の左から 8番目の画素の、シャツタが開いて 4番目のシャツタ時間/ Vの前景の成分は、 F12/v となる。

図 1 5中のフレーム #ηの左から 5番目の画素の、シャツタが開いて 2番目のシャツタ時間/ Vの前景の成分は、 Fl l /v となり、図 1 5中の左から 6番目の画素の、シャツタが開いて 3番目のシャツタ時間 /vの前景の成分も、 Fl l /vとなる。図 1 5中の左から 7番目の画素の、シャツタが開いて 4番目のシャツタ時間 /vの前景の成分は、 Fl l/vとなる。

図 1 5中のフレーム #nの左から 5番目の画素の、シャツタが開いて 3番目のシャツタ時間/ vの前景の成分は、 F lO/v となり、図 1 5中の左から 6番目の画素の、シャツタが開いて 4番目のシャツタ時間/ Vの前景の成分も、 F lO/vとなる。図 1 5中のフレーム #nの左から 5番目の画素の、シャツタが開いて 4番目のシャツタ時間/ Vの前景の成分は、 F09/vとなる。

背景に対応するオブジェクトが静止しているので、図 1 5中のフレーム ttnの左から 6番目の画素の、シャッタが開いて最初のシャッタ時間/ Vの背景の成分は、 B05/vとなる。図 1 5中のフレーム #nの左から 7番目の画素の、シャツタが開いて最初および 2番目のシャツタ時間 /vの背景の成分は、 B06/v となる。図 1 5中のフレーム #nの左から 8番目の画素の、シャツタが開いて最初乃至 3 番目の、シャツタ時間/ Vの背景の成分は、 B07/vとなる。

図 1 5中のフレーム #nにおいて、左側から 6番目乃至 8番目の画素は、カバ一ドバックグラウンド領域である混合領域に属する。

図 1 5中のフレーム ttnの左から 9番目の画素乃至 1 2番目の画素は、背景領域に属し、画素値は、それぞれ、 B08乃至 B 1 1 となる。

図 1 5中のフレーム #n+ lの左から 1番目の画素乃至 9番目の画素は、前景領域に属する。フレーム ttn+ 1の前景領域における、シャツタ時間/ Vの前景の成分は、 FO l/v乃至 F 12/vのいずれかである。

前景に対応するオブジェクトが、剛体であり、等速で移動すると仮定でき、前景の画像が次のフレームにおいて 4画素右側に表示されるように移動するので、図 1 5中のフレーム ίίη+ lの左から 9番目の画素の、シャツタが開いて最初のシャッタ時間/ Vの前景の成分は、 F12/vとなり、図 1 5中の左から 1 0番目の画素の、シャツタが開いて 2番目のシャツタ時間/ Vの前景の成分も、 F 12/v となる。図 1 5中の左から 1 1番目の画素の、シャツタが開いて 3番目のシャツタ時間/ Vの前景の成分、および図 1 5中の左から 1 2番目の画素の、シャツタが開いて 4番目のシャツタ時間/ Vの前景の成分は、 F12八となる。

図 1 5中のフレーム #η+ 1の左から 9番目の画素の、シャツタが開いて 2番目のシャツタ時間/ Vの期間の前景の成分は、 Fl l /vとなり、図 1 5中の左から 1 0番目の画素の、シャッタが開いて 3番目のシャッタ時間/ Vの前景の成分も、 Fl l /v となる。図 1 5中の左から 1 1番目の画素の、シャツタが開いて 4番目の、シャツタ時間/ Vの前景の成分は、 F l l/v となる。

図 1 5中のフレーム #n+ lの左から 9番目の画素の、シャツタが開いて 3番目の、シャツタ時間/ Vの前景の成分は、 F lO/vとなり、図 1 5中の左から 1 0番目の画素の、シャツタが開いて 4番目のシャツタ時間/ Vの前景の成分も、 FlO/v となる。図 1 5中のフレーム #n+ l の左から 9番目の画素の、シャツタが開いて 4番目のシャツタ時間/ Vの前景の成分は、 F09/vとなる。

背景に対応するォブジェクトが静止しているので、図 1 5中のフレーム #n+ l の左から 1 0番目の画素の、シャツタが開いて最初のシャツタ時間/ Vの背景の成分は、 B09/vとなる。図 1 5中のフレーム #n+ lの左から 1 1番目の画素の、シャッタが開いて最初および 2番目のシャッタ時間/ Vの背景の成分は、 B lO/v となる。図 1 5中のフレーム ttn+ 1の左から 1 2番目の画素の、シャツタが開いて最初乃至 3番目の、シャツタ時間/ Vの背景の成分は、 B l l /v となる。

図 1 5中のフレーム #n+l において、左側から 1 0番目乃至 1 2番目の画素は、カバードバックグラウンド領域である混合領域に対応する。

図 1 6は、図 1 5に示す画素値から前景の成分を抽出した画像のモデル図である。

図 1 7は、静止している背景と共に図中の右側に移動するォブジェクトに対応する前景を撮像した画像の 3つのフレームの、隣接して 1列に並んでいる画素であって、フレーム上で同一の位置の画素の画素値を時間方向に展開したモデル図である。図 1 7において、アンカバードバックグラウンド領域が含まれている。図 1 7において、前景に対応するォブジェクトは、剛体であり、かつ等速で移動していると仮定できる。前景に対応するオブジェクトが、次のフレームにおいて 4画素分右側に表示されるように移動しているので、動き量 V は、 4である _c 例えば、図 1 7中のフレーム #n- lの最も左側の画素の、シャツタが開いて最初の、シャツタ時間/ Vの前景の成分は、 F13/vとなり、図 1 7中の左から 2番目の画素の、シャツタが開いて 2番目のシャツタ時間/ vの前景の成分も、 F13/v となる。図 1 7中の左から 3番目の画素の、シャツタが開いて 3番目のシャツタ時間/ Vの前景の成分、および図 1 7中の左から 4番目の画素の、シャツタが開いて 4番目のシャツタ時間/ Vの前景の成分は、 F 13/vとなる。

図 1. 7中のフレーム #n- lの左から' 2番目の画素の、シャツタが開いて最初のシャツタ時間/ Vの前景の成分は、 F14/v となり、図 1 7中の左から 3番目の画素の、シャツタが開いて 2番目のシャツタ時間/ Vの前景の成分も、 F 14/v となる。図 1 7中の左から 3番目の画素の、シャツタが開いて最初の、シャツタ時間 /vの前景の成分は、 F 15/vとなる。

背景に対応するオブジェクトが静止しているので、図 1 7中のフレーム ttn- 1 の最も左側の画素の、シャツタが開いて 2番目乃至 4番目の、シャツタ時間/ V の背景の成分は、 B25/vとなる。図 1 7中のフレーム #n- lの左から 2番目の画素の、シャツタが開いて 3番目および 4番目の、シャツタ時間/ Vの背景の成分は、 B26/vとなる。図 1 7中のフレーム #n- lの左から 3番目の画素の、シャツタが開いて 4番目のシャツタ時間/ Vの背景の成分は、 B27/vとなる。

図 1 7中のフレーム #n- 1において、最も左側の画素乃至 3番目の画素は、ァンカバードバックグラウンド領域である混合領域に属する。

図 1 7中のフレーム #n- 1の左から 4番目の画素乃至 1 2番目の画素は、前景領域に属する。フレームの前景の成分は、 F13/v乃至 F24/vのいずれかである。図 1 7中のフレーム #nの最も左側の画素乃至左から 4番目の画素は、背景領域に属し、画素値は、それぞれ、 B25乃至 B28となる。

前景に対応するオブジェクトが、剛体であり、等速で移動すると仮定でき、前景の画像が次のフレームにおいて 4画素右側に表示されるように移動するので、図 1 7中のフレーム #nの左から 5番目の画素の、シャッタが開いて最初のシャッタ時間/ V の前景の成分は、 F 13/v となり、図 1 7中の左から 6番目の画素の、シャツタが開いて 2番目のシャツタ時間/ Vの前景の成分も、 F 13/v となる。図 1 7中の左から 7番目の画素の、シャッタが開いて 3番目のシャッタ時間/ Vの前景の成分、および図 1 7中の左から 8番目の画素の、シャツタが開いて 4番目のシャツタ時間/ Vの前景の成分は、 F13/v となる。

図 1 7中のフレーム #nの左から 6番目の画素の、シャツタが開いて最初のシャッタ時間/ Vの前景の成分は、 F14/Vとなり、図 1 7中の左から 7番目の画素の、シャツタが開いて 2番目のシャツタ時間/ V の前景の成分も、 F 14/v となる。図 1 7中の左から 8番目の画素の、シャッタが開いて最初のシャッタ時間/ Vの前景の成分は、 F15/vとなる。

背景に対応するォブジェクトが静止しているので、図 1 7中のフレームの左から 5番目の画素の、シャッタが開いて 2番目乃至 4番目のシャッタ時間/ V の背景の成分は、 B29/vとなる。図 1 7中のフレーム #nの左から 6番目の画素の、シャッタが開いて 3番目および 4番目のシャッタ時間/ Vの背景の成分は、 B30/vとなる。図 1 7中のフレーム #nの左から 7番目の画素の、シャツタが開いて 4番目のシャツタ時間/ Vの背景の成分は、 B31/vとなる。

図 1 7中のフレームにおいて、左から 5番目の画素乃至 7番目の画素は、アンカバードバックグラウンド領域である混合領域に属する。

図 1 7中のフレーム #nの左から 8番目の画素乃至 1 2番目の画素は、前景領域に属する。フレーム #nの前景領域における、シャツタ時間/ Vの期間に対応する値は、 F 13/v乃至 F20/vのいずれかである。

図 1 7中のフレーム ί η+ lの最も左側の画素乃至左から 8番目の画素は、背景領域に属し、画素値は、それぞれ、 Β25乃至 Β32 となる。

前景に対応するォブジュクトが、剛体であり、等速で移動すると仮定でき、前景の画像が次のフレームにおいて 4画素右側に表示されるように移動するので、図 1 7中のフレーム ttn+1の左から 9番目の画素の、シャッタが開いて最初のシャッタ時間/ Vの前景の成分は、 F13/vとなり、図 1 7中の左から 1 0番目の画素の、シャツタが開いて 2番目のシャツタ時間/ Vの前景の成分も、 F 13/vとなる。図 1 7中の左から 1 1番目の画素の、シャツタが開いて 3番目のシャツタ時間/ Vの前景の成分、および図 1 7中の左から 1 2番目の画素の、シャツタが開いて 4番目のシャツタ時間/ vの前景の成分は、 F 13/vとなる。

図 1 7中のフレーム #n+ lの左から 1 0番目の画素の、シャッタが開いて最初のシャツタ時間/ Vの前景の成分は、 F14/vとなり、図 1 7中の左から 1 1番目の画素の、シャツタが開いて 2番目のシャツタ時間/ Vの前景の成分も、 F 14/v となる。図 1 7中の左から 1 2番目の画素の、シャツタが開いて最初のシャツタ時間/ Vの前景の成分は、 F 15/vとなる。

背景に対応するォブジェクトが静止しているので、図 1 7中のフレーム ttn+ 1 の左から 9番目の画素の、シャツタが開いて 2番目乃至 4番目の、シャツタ時間 /vの背景の成分は、 B33/vとなる。図 1 7中のフレーム ίίη+ lの左から 1 0番目の画素の、シャツタが開いて 3番目および 4番目のシャツタ時間/ Vの背景の成分は、 Β34/ν となる。図 1 7中のフレーム #η+ 1の左から 1 1番目の画素の、シャッタが開いて 4番目のシャツタ時間 /νの背景の成分は、 Β35/νとなる。

図 1 7中のフレーム #η+ 1において、左から 9番目の画素乃至 1 1番目の画素は、アンカバードバックグラウンド領域である混合領域に属する。

図 1 7中のフレーム #η+ 1の左から 1 2番目の画素は、前景領域に属する。フレーム #η + 1の前景領域における、シャツタ時間/ Vの前景の成分は、 F13/v乃至 F16/vのいずれかである。

図 1 8は、図 1 7に示す画素値から前景の成分を抽出した画像のモデル図である。

図 2に戻り、領域特定部 1 0 3は、複数のフレームの画素値を用いて、前景領域、背景領域、カバードバックグラウンド領域、またはアンカバードバックダラゥンド領域に属することを示すフラグを画素毎に対応付けて、領域情報として、混合比算出部 1 0 4に供給する。

混合比算出部 1 0 4は、複数のフレームの画素値、および領域情報を基に、混合領域に含まれる画素について画素毎に混合比ひを算出し、算出した混合比ひを前景背景分離部 1 0 5に供給する。

前景背景分離部 1 0 5は、複数のフレームの画素値、領域情報、および混合比 a を基に、前景の成分のみからなる前景成分画像、および背景の成分のみからなる背景成分画像を抽出して、前景成分画像および背景成分画像を出力する。図 1 9のフローチヤ一トを参照して、画像処理装置による前景背景の分離の処理を説明する。ステップ S I 1において、動き検出部 1 0 2は、例えば、ブロックマッチング法、勾配法、位相相関法、およびペルリカーシブ法などの手法により、前景のオブジェクトに対応する画像オブジェクトの動きべクトルを算出して、算出した動きベクトルおよび動きべクトルの位置情報を領域特定部 1 0 3および混合比算出部 1 0 4に供給する。

ステップ S 1 2において、領域特定部 1 0 3は、入力画像を基に、入力画像の画素毎に前景領域、背景領域、カバードバックグラウンド領域、またはアンカバ一ドバックグラウンド領域のいずれかに属するかを示す領域情報を生成する領域特定の処理を実行する。領域特定の処理の詳細は、後述する。領域特定部 1 0 3 は、生成した領域情報を混合比算出部 1 0 4に供給する。

なお、ステップ S 1 2において、領域特定部 1 0 3は、入力画像を基に、入力画像の画素毎に前景領域、背景領域、または混合領域（カバードバックグラウンド領域、またはアンカバードバックグラウンド領域の区別をしない）のいずれかに属するかを示す領域情報を生成するようにしてもよい。この場合において、前景背景分離部 1 0 5は、動きべクトルの方向を基に、混合領域がカバードバックグラウンド領域であるか、またはアンカバードバックグラウンド領域であるかを判定する。例えば、動きべクトルの方向に対応して、前景領域、混合領域、および背景領域と順に並んでいるとき、その混合領域は、カバードバックグラウンド領域と判定され、動きべクトルの方向に対応して、背景領域、混合領域、および前景領域と順に並んでいるとき、その混合領域は、アンカバードバックグラウンド領域と判定される。

ステップ S 1 3において、混合比算出部 1 0 4は、動きベクトル、および領域情報を基に、混合領域に含まれる画素毎に、混合比ひを算出する。混合比算出の処理の詳細は、後述する。混合比算出部 1 0 4は、算出した混合比を前景背景分離部 1 0 5に供給する。

ステップ S 1 4において、前景背景分離部 1 0 5は、領域情報、および混合比ひを基に、入力画像から前景の成分および背景の成分を抽出して、抽出した前景の成分を基に、前景成分画像を合成し、抽出した背景の成分を基に、背景成分画像を合成する。前景背景分離部 1 0 5は、前景成分画像および背景成分画像を出力し、処理は終了する。前景背景の分離の処理の詳細については、後述する。このように、画像処理装置は、混合比を算出して、算出した混合比 01 を基に、前景と背景とを分離することができる。

以下、領域特定部 1 0 3、混合比算出部 1 0 4、および前景背景分離部 1 0 5 のそれぞれの構成について説明する。

図 2 0は、領域特定部 1 0 3の構成の一例を示すブロック図である。図 2 0に構成を示す領域特定部 1 0 3は、動きベクトルを利用しない。フレームメモリ 2 0 1は、入力された画像をフレーム単位で記憶する。フレームメモリ 2 0 1は、処理の対象がフレーム ίίηであるとき、フレーム ί!ηの 2つ前のフレームであるフレーム #η-2、フレーム #η の 1つ前のフレームであるフレーム #η_ 1、フレーム #η、フレーム #ηの 1つ後のフレームであるフレーム #η+ 1、およびフレーム #ηの 2つ後のフレームであるフレーム #η+2を記憶する。

静動判定部 2 0 2— 1は、フレームの領域特定の対象である画素の画像上の位置と同一の位置にあるフレーム ίίη+2の画素の画素値、およびフレーム #ηの領域特定の対象である画素の画像上の位置と同一の位置にあるフレーム Hn+ 1の画素の画素値をフレームメモリ 2 0 1から読み出して、読み出した画素値の差の絶対値を算出する。静動判定部 2 0 2— 1は、フレーム #_n+2の画素値とフレーム ίίη+ 1の画素値との差の絶対値が、予め設定している閾値 Thより大きいか否かを判定し、差の絶対値が閾値 Thより大きいと判定された場合、動きを示す静動判定を領域判定部 2 0 3— 1に供給する。フレーム ίίη+2の画素の画素値とフレーム ίίη+ lの画素の画素値との差の絶対値が閾値 Th以下であると判定された場合、静動判定部 2 0 2— 1は、静止を示す静動判定を領域判定部 2 0 3— 1に供給する。

静動判定部 2 0 2— 2は、フレーム^の領域特定の対象である画素の画像上の位置と同一の位置にあるフレーム ttn+ 1の画素の画素値、およびフレーム #nの対象となる画素の画素値をフレームメモリ 2 0 1から読み出して、画素値の差の絶対値を算出する。静動判定部 2 0 2— 2は、フレーム #n+ lの画素値とフレーム ttnの画素値との差の絶対値が、予め設定している閾値 Thより大きいか否かを判定し、画素値の差の絶対値が、閾値 Thより大きいと判定された場合、動きを示す静動判定を領域判定部 2 0 3— 1および領域判定部 2 0 3— 2に供給する。フレーム #n+ lの画素の画素値とフレーム #nの画素の画素値との差の絶対値が、閾値 Th以下であると判定された場合、静動判定部 2 0 2— 2は、静止を示す静動判定を領域判定部 2 0 3— 1および領域判定部 2 0 3— 2に供給する。

静動判定部 2 0 2— 3は、フレーム th の領域特定の対象である画素の画素値、およびフレームの領域特定の対象である画素の画像上の位置と同一の位置にあるフレーム ltn- 1の画素の画素値をフレームメモリ 2 0 1から読み出して、画素値の差の絶対値を算出する。静動判定部 2 0 2— 3は、フレーム ttnの画素値とフレーム #_n- 1の画素値との差の絶対値が、予め設定している閾値 Thより大きいか否かを判定し、画素値の差の絶対値が、閾値 Thより大きいと判定された場合、動きを示す静動判定を領域判定部 2 0 3一 2および領域判定部 2 0 3— 3に供給する。フレーム #nの画素の画素値とフレーム #n - 1の画素の画素値との差の絶対値が、閾値 Th以下であると判定された場合、静動判定部 2 0 2— 3は、静止を示す静動判定を領域判定部 2 0 3— 2および領域判定部 2 0 3— 3に供給する。

静動判定部 2 0 2 _ 4は、フレームの領域特定の対象である画素の画像上の位置と同一の位置にあるフレーム #n- lの画素の画素値、およぴフレーム #nの領域特定の対象である画素の画像上の位置と同一の位置にあるフレーム #n- 2の画素の画素値をフレームメモリ 2 0 1から読み出して、画素値の差の絶対値を算出する。静動判定部 2 0 2— 4は、フレーム ίίη- lの画素値とフレーム ttn- 2の画素値との差の絶対値が、予め設定している閾値 Thより大きいか否かを判定し、画素値の差の絶対値が、閾値 Thより大きいと判定された場合、動きを示す静動判定を領域判定部 2 0 3 - 3に供給する。フレーム #_n- lの画素の画素値とフレーム t -2の画素の画素値との差の絶対値が、閾値 Th以下であると判定された場合、静動判定部 2 0 2— 4は、静止を示す静動判定を領域判定部 2 0 3— 3に供給する。

領域判定部 2 0 3— 1は、静動判定部 2 0 2 - 1から供給された静動判定が静止を示し、かつ、静動判定部 2 0 2— 2から供給された静動判定が動きを示しているとき、フレーム #ηにおける領域特定の対象である画素がアンカバードバックグラウンド領域に属すると判定し、領域の判定される画素に対応するアンカバ一ドバックグラウンド領域判定フラグに、アンカバードバックグラウンド領域に属することを示す" 1 " を設定する。

領域判定部 2 0 3— 1は、静動判定部 2 0 2 - 1から供給された静動判定が動きを示すか、または、静動判定部 2 0 2— 2から供給された静動判定が静止を示しているとき、フレーム #ηにおける領域特定の対象である画素がアンカバードバックグラウンド領域に属しないと判定し、領域の判定される画素に対応するァンカバードバックグラウンド領域判定フラグに、アンカバードバックグラウンド領域に属しないことを示す" 0 " を設定する。

領域判定部 2 0 3— 1は、このように" 1 " または" 0 " が設定されたアンカバードバックグラウンド領域判定フラグを判定フラグ格納フレームメモリ 2 0 4 に供給する。

領域判定部 2 0 3— 2は、静動判定部 2 0 2— 2から供給された静動判定が静止を示し、かつ、静動判定部 2 0 2— 3から供給された静動判定が静止を示しているとき、フレーム t における領域特定の対象である画素が静止領域に属すると判定し、領域の判定される画素に対応する静止領域判定フラグに、静止領域に属することを示す" 1 " を設定する。

領域判定部 2 0 3— 2は、静動判定部 2 0 2— 2から供給された静動判定が動きを示すか、または、静動判定部 2 0 2— 3から供給された静動判定が動きを示しているとき、フレームにおける領域特定の対象である画素が静止領域に属しないと判定し、領域の判定される画素に対応する静止領域判定フラグに、静止領域に属しないことを示す" 0 " を設定する。

領域判定部 2 0 3— 2は、このように" 1 " または" 0 ' ' が設定された静止領域判定フラグを判定フラグ格納フレームメモリ 2 0 4に供給する。

領域判定部 2 0 3— 2は、静動判定部 2 0 2— 2から供給された静動判定が動きを示し、かつ、静動判定部 2 0 2— 3から供給された静動判定が動きを示しているとき、フレーム ίίηにおける領域特定の対象である画素が動き領域に属すると判定し、領域の判定される画素に対応する動き領域判定フラグに、動き領域に属することを示す" 1 " を設定する。

領域判定部 2 0 3— 2は、静動判定部 2 0 2— 2から供給された静動判定が静止を示すか、または、静動判定部 2 0 2— 3から供給された静動判定が静止を示しているとき、フレーム #ηにおける領域特定の対象である画素が動き領域に属しないと判定し、領域の判定される画素に対応する動き領域判定フラグに、動き領域に属しないことを示す" 0 " を設定する。

領域判定部 2 0 3— 2は、このように'' 1 " または" 0 " が設定された動き領域判定フラグを判定フラグ格納フレームメモリ 2 0 4に供給する。

領域判定部 2 0 3— 3は、静動判定部 2 0 2— 3から供給された静動判定が動きを示し、かつ、静動判定部 2 0 2 _ 4から供給された静動判定が静止を示しているとき、フレームにおける領域特定の対象である画素がカバードバックグラウンド領域に属すると判定し、領域の判定される画素に対応するカバードバックグラウンド領域判定フラグに、カバードバックグラウンド領域に属することを示す" 1 " を設定する。

領域判定部 2 0 3— 3は、静動判定部 2 0 2— 3から供給された静動判定が静止を示すか、または、静動判定部 2 0 2— 4から供給された静動判定が動きを示しているとき、フレーム ίίηにおける領域特定の対象である画素がカバードバックグラウンド領域に属しないと判定し、領域の判定される画素に対応するカバードバックグラウンド領域判定フラグに、力バードバックグラウンド領域に属しないことを示す" 0 " を設定する。

領域判定部 2 0 3— 3は、このように" 1 " または" 0 " が設定されたカバードバックグラウンド領域判定フラグを判定フラグ格納フレームメモリ 2 0 4に供給する。

判定フラグ格納フレームメモリ 2 0 4は、領域判定部 2 0 3 - 1から供給されたアンカバードバックグラウンド領域判定フラグ、領域判定部 2 0 3— 2力ゝら供給された静止領域判定フラグ、領域判定部 2 0 3— 2から供給された動き領域判定フラグ、および領域判定部 2 0 3— 3から供給されたカバードバックグラウンド領域判定フラグをそれぞれ記憶する。

判定フラグ格納フレームメモリ 2 0 4は、記憶しているアンカバードバックグラウンド領域判定フラグ、静止領域判定フラグ、動き領域判定フラグ、および力バードバックグラウンド領域判定フラグを合成部 2 0 5に供給する。合成部 2 0 5は、判定フラグ格納フレームメモリ 2 0 4から供給された、アンカバードバックグラウンド領域判定フラグ、静止領域判定フラグ、動き領域判定フラグ、およびカバードバックグラウンド領域判定フラグを基に、各画素が、アンカバードバックグラウンド領域、静止領域、動き領域、およびカバードバックグラウンド領域のいずれかに属することを示す領域情報を生成し、判定フラグ格納フレームメモリ 2 0 6に供給する。

判定フラグ格納フレームメモリ 2 0 6は、合成部 2 0 5から供給された領域情報を記憶すると共に、記憶している領域情報を出力する。

次に、領域特定部 1 0 3の処理の例を図 2 1乃至図 2 5を参照して説明する。前景に対応するォブジェクトが移動しているとき、オブジェクトに対応する画像の画面上の位置は、フレーム毎に変化する。図 2 1に示すように、フレーム

#nにおいて、 Yn (x, y)で示される位置に位置するオブジェクトに対応する画像は、次のフレームであるフレーム #n+lにおいて、 Yn+1 ( X , y )に位置する。前景のオブジェクトに対応する画像の動き方向に隣接して 1列に並ぶ画素の画素値を時間方向に展開したモデル図を図 2 2に示す。例えば、前景のオブジェクトに対応する画像の動き方向が画面に対して水平であるとき、図 2 2におけるモデル図は、 1つのライン上の隣接する画素の画素値を時間方向に展開したモデルを示す。

図 2 2において、フレーム #nにおけるラインは、フレーム #n+ lにおけるラインと同一である。

フレーム #nにおいて、左から 2番目の画素乃至 1 3番目の画素に含まれているオブジェクトに対応する前景の成分は、フレーム #n+ lにおいて、左から 6番目乃至 1 7番目の画素に含まれる。

フレーム ttnにおいて、カバードバックグラウンド領域に属する画素は、左から 1 1番目乃至 1 3番目の画素であり、アンカバードバックグラウンド領域に属する画素は、左から 2番目乃至 4番目の画素である。フレーム ίίη+ lにおいて、カバードバックグラウンド領域に属する画素は、左から 1 5番目乃至 1 7番目の画素であり、アンカバードバックグラウンド領域に属する画素は、左から 6番目乃至 8番目の画素である。

図 2 2に示す例において、フレーム #ηに含まれる前景の成分が、フレーム ί η+ l において 4画素移動しているので、動き量 V は、 4である。仮想分割数は、動き量 Vに対応し、 4である。

次に、注目しているフレームの前後における混合領域に属する画素の画素値の変化について説明する。

図 2 3に示す、背景が静止し、前景の動き量 Vが 4であるフレーム ίίηにおいて、カバードバックグラウンド領域に属する画素は、左から 1 5番目乃至 1 7番目の画素である。動き量 Vが 4であるので、 1つ前のフレーム #η-1において、左から 1 5番目乃至 1 7番目の画素は、背景の成分のみを含み、背景領域に属する。また、更に 1つ前のフレーム ί η-2において、左から 1 5番目乃至 1 7番目の画素は、背景の成分のみを含み、背景領域に属する。ここで、背景に対応するオブジェクトが静止しているので、フレーム tin- 1 の左から 1 5番目の画素の画素ィ直は、フレーム ίίη-2の左から 1 5番目の画素の画素値から変化しない。同様に、フレーム ίίη-lの左から 1 6番目の画素の画素値は、フレーム ttn-2の左から 1 6番目の画素の画素値から変化せず、フレーム - 1の左から 1 7番目の画素の画素値は、フレーム #n-2の左から 1 7番目の画素の画素値から変化しない。

すなわち、フレーム ίίηにおけるカバードバックグラウンド領域に属する画素に対応する、フレーム #η- 1およびフレーム -2の画素は、背景の成分のみから成り、画素値が変化しないので、その差の絶対値は、ほぼ 0の値となる。従って、フレーム #ηにおける混合領域に属する画素に対応する、フレーム - 1およびフレーム #η- 2の画素に対する静動判定は、静動判定部 2 0 2 _ 4により、静止と判定される。

フレーム ίίηにおけるカバードバックグラウンド領域に属する画素は、前景の成分を含むので、フレーム #η- 1における背景の成分のみから成る場合と、画素値が異なる。従って、フレーム #ηにおける混合領域に属する画素、および対応するフレーム ttn- 1の画素に対する静動判定は、静動判定部 2 0 2— 3により、動きと判定される。

このように、領域判定部 2 0 3— 3は、静動判定部 2 0 2— 3から動きを示す静動判定の結果が供給され、静動判定部 2 0 2— 4から静止を示す静動判定の結果が供給されたとき、対応する画素がカバードバックグラウンド領域に属すると判定する。

図 2 4に示す、背景が静止し、前景の動き量 Vが 4であるフレームにおいて、アンカバードバックグラウンド領域に含まれる画素は、左から 2番目乃至 4 番目の画素である。動き量 V が 4であるので、 1つ後のフレーム #η+ 1 において, 左から 2番目乃至 4番目の画素は、背景の成分のみを含み、背景領域に属する。また、更に 1つ後のフレーム ί η+2 において、左から 2番目乃至 4番目の画素は, 背景の成分のみを含み、背景領域に属する。ここで、背景に対応するオブジェクトが静止しているので、フレーム #n+2の左から 2番目の画素の画素値は、フレーム #n+ lの左から 2番目の画素の画素値から変化しない。同様に、フレーム #n+2の左から 3番目の画素の画素値は、フレーム #η+ 1の左から 3番目の画素の画素値から変化せず、フ I ^一の左力ら 4番目の画素の画素値は、フレーム #η+1の左から 4番目の画素の画素値から変化しない。

すなわち、フレームにおけるアンカバ一ドバックグラウンド領域に属する画素に対応する、フレーム #η+ 1およびフレーム ϋη+2の画素は、背景の成分のみから成り、画素値が変化しないので、その差の絶対値は、ほぼ 0の値となる。従つて、フレーム #ηにおける混合領域に属する画素に対応する、フレーム + 1およびフレーム #η+2の画素に対する静動判定は、静動判定部 2 0 2 _ 1により、静止と判定される。

■ フレームにおけるアンカバードバックグラウンド領域に属する画素は、前景の成分を含むので、フレーム #η+ 1における背景の成分のみから成る場合と、画素値が異なる。従って、フレームにおける混合領域に属する画素、および対応するフレーム #η+ 1の画素に対する静動判定は、静動判定部 2 0 2— 2により、動きと判定される。

このように、領域判定部 2 0 3— 1は、静動判定部 2 0 2— 2から動きを示す静動判定の結果が供給され、静動判定部 2 0 2— 1から静止を示す静動判定の結果が供給されたとき、対応する画素がアンカバードバックグラウンド領域に属すると判定する。

図 2 5は、フレーム #η における領域特定部 1 0 3の判定条件を示す図である _c フレーム #_ηの判定の対象となる画素の画像上の位置と同一の位置にあるフレーム #η - 2の画素と、フレームの判定の対象となる画素の画像上の位置と同一の位置にあるフレーム #η-1の画素とが静止と判定され、フレーム ίίηの判定の対象となる画素の画像上の位置と同一の位置にあるフレーム ίΐη- lの画素と、フレーム tinの画素とが動きと判定されたとき、領域特定部 1 0 3は、フレーム #nの判定の対象となる画素がカバ一ドバックグラウンド領域に属すると判定する。

フレーム #nの判定の対象となる画素の画像上の位置と同一の位置にあるフレーム ίίη- 1の画素と、フレーム itnの画素とが静止と判定され、フレーム #nの画素と、フレーム #nの判定の対象となる画素の画像上の位置と同一の位置にあるフレーム + 1の画素とが静止と判定されたとき、領域特定部 1 0 3は、フレーム #nの判定の対象となる画素が静止領域に属すると判定する。

フレーム ίίηの判定の対象となる画素の画像上の位置と同一の位置にあるフレーム ί!η - 1 の画素と、フレーム #ηの画素とが動きと判定され、フレームの画素と、フレーム ίίηの判定の対象となる画素の画像上の位置と同一の位置にあるフレーム +1の画素とが動きと判定されたとき、領域特定部 1 0 3は、フレーム #nの判定の対象となる画素が動き領域に属すると判定する。

フレーム #nの画素と、フレーム #nの判定の対象となる画素の画像上の位置と同一の位置にあるフレーム ίίη+ lの画素とが動きと判定され、フレーム #ηの判定の対象となる画素の画像上の位置と同一の位置にあるフレーム Hn+1の画素と、フレーム tinの判定の対象となる画素の画像上の位置と同一の位置にあるフレーム #n+2の画素とが静止と判定されたとき、領域特定部 1 0 3は、フレーム ttnの判定の対象となる画素がアンカバードバックグラウンド領域に属すると判定する図 2 6 A乃至 Dは、領域特定部 1 0 3の領域の特定の結果の例を示す図である _c 図 2 6 Aにおいて、カバードバックグラウンド領域に属すると判定された画素は、白で表示されている。図 2 6 Bにおいて、アンカバードバックグラウンド領域に属すると判定された画素は、白で表示されている。

図 2 6 Cにおいて、動き領域に属すると判定された画素は、白で表示されている。図 2 6 Dにおいて、静止領域に属すると判定された画素は、白で表示されている。

図 2 7は、判定フラグ格納フレームメモリ 2 0 6が出力する領域情報の内、混合領域を示す領域情報を画像として示す図である。図 2 7において、カバードバックグラウンド領域またはアンカバードバックグラウンド領域に属すると判定された画素、すなわち混合領域に属すると判定された画素は、白で表示されている _c 判定フラグ格納フレームメモリ 2 0 6が出力する混合領域を示す領域情報は、混合領域、および前景領域内のテクスチャの無い部分に囲まれたテクスチャの有る部分を示す。

次に、図 2 8のフローチャートを参照して、領域特定部 1 0 3の領域特定の処理を説明する。ステップ S 2 0 1において、フレームメモリ 2 0 1は、判定の対象となるフレーム #nを含むフレーム - 2乃至フレーム ίίη+2の画像を取得する。ステップ S 2 0 2において、静動判定部 2 0 2— 3は、フレーム Hn-1の画素とフレーム #nの同一位置の画素とで、静止か否かを判定し、静止と判定された場合、ステップ S 2 0 3に進み、静動判定部 2 0 2— 2は、フレーム #nの画素とフレーム + 1の同一位置の画素とで、静止か否かを判定する。

ステップ S 2 0 3において、フレーム ίίηの画素とフレーム ttn+ 1の同一位置の画素とで、静止と判定された場合、ステップ S 2 0 4に進み、領域判定部 2 0 3 一 2は、領域の判定される画素に対応する静止領域判定フラグに、静止領域に属することを示す" 1 " を設定する。領域判定部 2 0 3— 2は、静止領域判定フラグを判定フラグ格納フレームメモリ 2 0 4に供給し、手続きは、ステップ S 2 0 5に進む。

ステップ S 2 0 2において、フレーム #n- 1の画素とフレーム #nの同一位置の画素とで、動きと判定された場合、または、ステップ S 2 0 3において、フレーム ttnの画素とフレーム #η+ 1の同一位置の画素とで、動きと判定された場合、フレーム #ηの画素が静止領域には属さないので、ステップ S 2 0 4の処理はスキップされ、手続きは、ステップ S 2 0 5に進む。

ステップ S 2 0 5において、静動判定部 2 0 2— 3は、フレーム #η- 1 の画素とフレーム } _ηの同一位置の画素とで、動きか否かを判定し、動きと判定された場合、ステップ S 2 0 6に進み、静動判定部 2 0 2— 2は、フレームの画素とフレーム ίίη+ lの同一位置の画素とで、動きか否かを判定する。

ステップ S 2 0 6において、フレーム tinの画素とフレーム ίίη+ lの同一位置の画素とで、動きと判定された場合、ステップ S 2 0 7に進み、領域判定部 2 0 3 一 2は、領域の判定される画素に対応する動き領域判定フラグに、動き領域に属することを示す'' 1 " を設定する。領域判定部 2 0 3— 2は、動き領域判定フラグを判定フラグ格納フレームメモリ 2 0 4に供給し、手続きは、ステップ S 2 0 8に進む。

ステップ S 2 0 5において、フレーム #n- 1の画素とフレーム #nの同一位置の画素とで、静止と判定された場合、または、ステップ S 2 0 6において、フレーム itnの画素とフレーム + 1の同一位置の画素とで、静止と判定された場合、フレーム #nの画素が動き領域には属さないので、ステップ S 2 0 7の処理はスキップされ、手続きは、ステップ S 2 0 8に進む。

ステップ S 2 0 8において、静動判定部 2 0 2— 4は、フレーム ίίη- 2の画素とフレーム #_n - 1の同一位置の画素とで、静止か否かを判定し、静止と判定された場合、ステップ S 2 0 9に進み、静動判定部 2 0 2— 3は、フレーム #n-l の画素とフレーム #nの同一位置の画素とで、動きか否かを判定する。

ステップ S 2 0 9において、フレーム #n- lの画素とフレーム #nの同一位置の画素とで、動きと判定された場合、ステップ S 2 1 0に進み、領域判定部 2 0 3 一 3は、領域の判定される画素に対応するカバードバックグラウンド領域判定フラグに、カバードバックグラウンド領域に属することを示す" 1 " を設定する。領域判定部 2 0 3 _ 3は、カバードバックグラウンド領域判定フラグを判定フラグ格納フレームメモリ 2 0 4に供給し、手続きは、ステップ S 2 1 1に進む。ステップ S 2 0 8において、フレーム #n- 2の画素とフレーム #n- 1の同一位置の画素とで、動きと判定された場合、または、ステップ S 2 0 9において、フレーム #n_ lの画素とフレーム nの同一位置の画素とで、静止と判定された場合、フレーム #_nの画素がカバードバックグラウンド領域には属さないので、ステツプ S 2 1 0の処理はスキップされ、手続きは、ステップ S 2 1 1に進む。

ステップ S 2 1 1において、静動判定部 2 0 2— 2は、フレーム ίίηの画素とフレーム #η+ 1の同一位置の画素とで、動きか否かを判定し、動きと判定された場合、ステップ S 2 1 2に進み、静動判定部 2 0 2— 1は、フレーム #n+ lの画素とフレーム #n+2の同一位置の画素とで、静止か否かを判定する。

ステップ S 2 1 2において、フ ^一ム ίίη+ lの画素とフレーム #η+2の同一位置の画素とで、静止と判定された場合、ステップ S 2 1 3に進み、領域判定部 2 0 3— 1は、領域の判定される画素に対応するアンカバードバックグラウンド領域判定フラグに、アンカバードバックグラウンド領域に属することを示す'' 1 " を設定する。領域判定部 2 0 3— 1は、アンカバードバックグラウンド領域判定フラグを判定フラグ格納フレームメモリ 2 0 4に供給し、手続きは、ステップ S 2 1 4に進む。

ステップ S 2 1 1において、フレーム #ηの画素とフレーム #η+ 1の同一位置の画素とで、静止と判定された場合、または、ステップ S 2 1 2において、フレーム #η+ 1の画素とフレーム #η+2の同一位置の画素とで、動きと判定された場合、フレーム ίίηの画素がアンカバードバックグラウンド領域には属さないので、ステツプ S 2 1 3の処理はスキップされ、手続きは、ステップ S 2 1 4に進む。ステップ S 2 1 4において、領域特定部 1 0 3は、フレーム ίίηの全ての画素について領域を特定したか否かを判定し、フレーム #ηの全ての画素について領域を特定していないと判定された場合、手続きは、ステップ S 2 0 2に戻り、他の画素について、領域特定の処理を繰り返す。

ステップ S 2 1 4において、フレームの全ての画素について領域を特定したと判定された場合、ステップ S 2 1 5に進み、合成部 2 0 5は、判定フラグ格納フレームメモリ 2 0 4に記憶されているアンカバードバックグラウンド領域判定フラグ、およびカバードバックグラウンド領域判定フラグを基に、混合領域を示す領域情報を生成し、更に、各画素が、アンカバードバックグラウンド領域、静止領域、動き領域、およびカバードバックグラウンド領域のいずれかに属することを示す領域情報を生成し、生成した領域情報を判定フラグ格納フレームメモリ 2 0 6に設定し、処理は終了する。

このように、領域特定部 1 0 3は、フレームに含まれている画素のそれぞれについて、動き領域、静止領域、アンカバードバックグラウンド領域、またはカバ一ドバックグラウンド領域に属することを示す領域情報を生成することができる。なお、領域特定部 1 0 3は、アンカバードバックグラウンド領域およびカバードバックグラウンド領域に対応する領域情報に論理和を適用することにより、混合領域に対応する領域情報を生成して、フレームに含まれている画素のそれぞれについて、動き領域、静止領域、または混合領域に属することを示すフラグから成る領域情報を生成するようにしてもよい。

前景に対応するオブジェクトがテクスチャを有す場合、領域特定部 1 0 3は、より正確に動き領域を特定することができる。

領域特定部 1 0 3は、動き領域を示す領域情報を前景領域を示す領域情報として、また、静止領域を示す領域情報を背景領域を示す領域情報として出力することができる。

なお、背景に対応するオブジェクトが静止しているとして説明したが、背景領域に対応する画像が動きを含んでいても上述した領域を特定する処理を適用することができる。例えば、背景領域に対応する画像が一様に動いているとき、領域特定部 1 0 3は、この動きに対応して画像全体をシフトさせ、背景に対応するォブジエタトが静止している場合と同様に処理する。また、背景領域に対応する画像が局所毎に異なる動きを含んでいるとき、領域特定部 1 0 3は、動きに対応した画素を選択して、上述の処理を実行する。

図 2 9は、領域特定部 1 0 3の構成の他の一例を示すブロック図である。図 2 9に示す領域特定部 1 0 3は、動きべクトルを使用しない。背景画像生成部 3 0 1は、入力画像に対応する背景画像を生成し、生成した背景画像を 2値オブジェクト画像抽出部 3 0 2に供給する。背景画像生成部 3 0 1は、例えば、入力画像に含まれる背景のオブジェクトに対応する画像オブジェクトを抽出して、背景画像を生成する。

前景のオブジェク卜に対応する画像の動き方向に隣接して 1列に並ぶ画素の画素値を時間方向に展開したモデル図の例を図 3 0に示す。例えば、前景のォブジエタ卜に対応する画像の動き方向が画面に対して水平であるとき、図 3 0におけるモデル図は、 1つのライン上の隣接する画素の画素値を時間方向に展開したモデルを示す。

図 3 0において、フレーム itnにおけるラインは、フレーム #n- lおよびフレーム ίίη+ lにおけるラインと同一である。

フレーム #_ηにおいて、左から 6番目の画素乃至 1 7番目の画素に含まれているオブジェクトに対応する前景の成分は、フレーム itn- 1において、左から 2番目乃至 1 3番目の画素に含まれ、フレーム ίίη+ lにおいて、左から 1 0番目乃至 2 1番目の画素に含まれる。

フレーム #n- lにおいて、カバードバックグラウンド領域に属する画素は、左から 1 1番目乃至 1 3番目の画素であり、アンカバードバックグラウンド領域に属する画素は、左から 2番目乃至 4番目の画素である。フレーム #nにおいて、カバードバックグラウンド領域に属する画素は、左から 1 5番目乃至 1 7番目の画素であり、アンカバードバックグラウンド領域に属する画素は、左から 6番目乃至 8番目の画素である。フレーム ttn+ 1において、カバードバックグラウンド領域に属する画素は、左から 1 9番目乃至 2 1番目の画素であり、アンカバードバックグラウンド領域に属する画素は、左から 1 0番目乃至 1 2番目の画素である。

フレーム #_n- lにおいて、背景領域に属する画素は、左から 1番目の画素、および左から 1 4番目乃至 2 1番目の画素である。フレーム #nにおいて、背景領域に属する画素は、左から 1番目乃至 5番目の画素、および左から 1 8番目乃至 2 1番目の画素である。フレーム #n+lにおいて、背景領域に属する画素は、左から 1番目乃至 9番目の画素である。

背景画像生成部 3 0 1が生成する、図 3 0の例に対応する背景画像の例を図 3 1に示す。背景画像は、背景のオブジェク卜に対応する画素から構成され、前景のオブジェク卜に対応する画像の成分を含まない。

2値オブジェクト画像抽出部 3 0 2は、背景画像および入力画像の相関を基に、 2値ォブジェクト画像を生成し、生成した 2値オブジェクト画像を時間変化検出部 3 0 3に供給する。

図 3 2は、 2値オブジェクト画像抽出部 3 0 2の構成を示すブロック図である _c 相関値演算部 3 2 1は、背景画像生成部 3 0 1から供給.された背景画像および入力画像の相関を演算し、相関値を生成して、生成した相関値をしきい値処理部 3 2 2に供給する。

相関値演算部 3 2 1は、例えば、図 3 3 Aに示すように、 X₄を中心とした 3 X 3の背景画像の中のブロックと、図 3 3 Bに示すように、背景画像の中のブロックに対応する Y₄を中心とした 3 X 3の入力画像の中のブロックに、式（4 ) を適用して、 Υ₄に対応する相関値を算出する。相関値- (4)

i=0

x = (5)

9

8

∑Yi

Y = (6)

9

相関値演算部 3 2 1は、このように各画素に対応して算出された相関値をしきい値処理部 3 2 2に供給する。

また、相関値演算部 3 2 1は、例えば、図 3 4 Aに示すように、 X₄を中心とした 3 X 3の背景画像の中のブロックと、図 3 4 Bに示すように、背景画像の中のブロックに対応する Y₄を中心とした 3 X 3の入力画像の中のブロックに、式 ( 7 ) を適用して、 Υ₄に対応する差分絶対値を算出するようにしてもよい。差分絶対値和 =∑| ( - (7)

i=0 相関値演算部 3 2 1は、このように算出された差分絶対値を相関値として、しきい値処理部 3 2 2に供給する。しきい値処理部 3 2 2は、相関画像の画素値としきい値 thO とを比較して、相関値がしきい値 thO以下である場合、 2値オブジェクト画像の画素値に 1を設定し、相関値がしきい値 thOより大きい場合、 2値オブジェクト画像の画素値に 0を設定して、 0または 1が画素値に設定された 2値ォブジェクト画像を出力する。しきい値処理部 3 2 2は、しきい値 thOを予め記憶するようにしてもよく、または、外部から入力されたしきい値 thO を使用するようにしてもよい _c 図 3 5は、図 3 0に示す入力画像のモデルに対応する 2値オブジェクト画像の例を示す図である。 2値ォブジェクト画像において、背景画像と相関の高い画素には、画素値に 0が設定される。

図 3 6は、時間変化検出部 3 0 3の構成を示すブロック図である。フレームメモリ 3 4 1は、フレーム #nの画素について領域を判定するとき、 2値オブジェタト画像抽出部 3 0 2から供給された、フレーム #n- l、フレーム #n、およびフレーム #n+ lの 2値オブジェクト画像を記憶する。

領域判定部 3 4 2は、フレームメモリ 3 4 1に記憶されているフレーム - 1 , フレーム^、およびフレーム #n+ lの 2値オブジェクト画像を基に、フレームの各画素について領域を判定して、領域情報を生成し、生成した領域情報を出力する。

図 3 7は、領域判定部 3 4 2の判定を説明する図である。フレームの 2値オブジェクト画像の注目している画素が 0であるとき、領域判定部 3 4 2は、フレーム ttnの注目している画素が背景領域に属すると判定する。

フレーム #_nの 2値ォブジェクト画像の注目している画素が 1であり、フレーム ttn- 1の 2値ォブジェクト画像の対応する画素が 1であり、フレーム ίίη+ lの 2 値オブジェクト画像の対応する画素が 1であるとき、領域判定部 3 4 2は、フレーム ttnの注目している画素が前景領域に属すると判定する。

フレーム #nの 2値オブジェクト画像の注目している画素が 1であり、フレーム #n- 1の 2値オブジェクト画像の対応する画素が 0であるとき、領域判定部 3 4 2は、フレーム #nの注目している画素がカバードバックグラウンド領域に属すると判定する。

フレーム #nの 2 直オブジェクト画像の注目している画素が 1であり、フレーム ttn+ 1の 2値オブジェクト画像の対応する画素が 0であるとき、領域判定部 3 4 2は、フレーム #nの注目している画素がアンカバードバックダラゥンド領域に属すると判定する。

図 3 8は、図 3 0に示す入力画像のモデルに対応する 2値オブジェクト画像について、時間変化検出部 3 0 3の判定した例を示す図である。時間変化検出部 3 0 3は、 2値オブジェクト画像のフレーム ttnの対応する画素が 0なので、フレームの左から 1番目乃至 5番目の画素を背景領域に属すると判定する。

時間変化検出部 3 0 3は、 2値オブジェクト画像のフレーム ίίηの画素が 1であり、フレーム + 1の対応する画素が 0なので、左から 6番目乃至 9番目の画素をアンカバードバックグラウンド領域に属すると判定する。

時間変化検出部 3 0 3は、 2値オブジェクト画像のフレーム ttnの画素が 1であり、フレーム ttn- 1の対応する画素が 1であり、フレーム #n+lの対応する画素力 S 1なので、左から 1 0番目乃至 1 3番目の画素を前景領域に属すると判定する。

時間変化検出部 3 0 3は、 2値オブジェクト画像のフレーム #nの画素が 1であり、フレーム ίίη- lの対応する画素が 0なので、左から 1 4番目乃至 1 7番目の画素をカバードバックグラウンド領域に属すると判定する。

時間変化検出部 3 0 3は、 2値オブジェクト画像のフレーム #ηの対応する画素が 0なので、左から 1 8番目乃至 2 1番目の画素を背景領域に属すると判定する。

次に、図 3 9のフローチャートを参照して、領域判定部 1 0 3の領域特定の処理を説明する。ステップ S 3 0 1において、領域判定部 1 0 3の背景画像生成部 3 0 1は、入力画像を基に、例えば、入力画像に含まれる背景のオブジェクトに対応する画像オブジェクトを抽出して背景画像を生成し、生成した背景画像を 2 値ォブジェクト画像抽出部 3 0 2に供給する。ステップ S 3 0 2において、 2値ォブジェクト画像抽出部 3 0 2は、例えば、図 3 3 Aおよび図 3 3 Bを参照して説明した演算により、入力画像と背景画像生成部 3 0 1から供給された背景画像との相関値を演算する。ステップ S 3 0 3において、 2値オブジェクト画像抽出部 3 0 2は、例えば、相関値としきい値 thO とを比較することにより、相関値およびしきい値 thOから 2値オブジェクト画像を演算する。

ステップ S 3 0 4において、時間変化検出部 3 0 3は、領域判定の処理を実行して、処理は終了する。

図 4 0のフローチヤ一トを参照して、ステップ S 3 0 4に対応する領域判定の処理の詳細を説明する。ステップ S 3 2 1において、時間変化検出部 3 0 3の領域判定部 3 4 2は、フレームメモリ 3 4 1に記憶されているフレーム #nにおいて、注目する画素が 0であるか否かを判定し、フレーム ttnにおいて、注目する画素が 0であると判定された場合、ステップ S 3 2 2に進み、フレーム ίίηの注目する画素が背景領域に属すると設定して、処理は終了する。

ステップ S 3 2 1において、フレーム #ηにおいて、注目する画素が 1であると判定された場合、ステップ S 3 2 3に進み、時間変化検出部 3 0 3の領域判定部 3 4 2は、フレームメモリ 3 4 1に記憶されているフレームにおいて、注目する画素が 1であり、かつ、フレーム ttn-1において、対応する画素が 0であるか否かを判定し、フレーム ίίηにおいて、注目する画素が 1であり、かつ、フレーム ίίη - 1において、対応する画素が 0であると判定された場合、ステップ S 3 2 4に進み、フレーム #ηの注目する画素がカバードバックグラウンド領域に属すると設定して、処理は終了する。

ステップ S 3 2 3において、フレーム ttnにおいて、注目する画素が 0である力 \ または、フレーム #n - 1において、対応する画素が 1であると判定された場合、ステップ S 3 2 5に進み、時間変化検出部 3 0 3の領域判定部 3 4 2は、フレームメモリ 3 4 1に記憶されているフレーム #nにおいて、注目する画素が 1 であり、かつ、フレーム #n+lにおいて、対応する画素が 0であるか否かを判定し、フレーム #nにおいて、注目する画素が 1であり、かつ、フレーム #n+ lにおいて、対応する画素が 0であると判定された場合、ステップ S 3 2 6に進み、フレーム #_nの注目する画素がアンカバードバックグラウンド領域に属すると設定して、処理は終了する。

ステップ S 3 2 5において、フレーム ttnにおいて、注目する画素が 0であるか、または、フレーム ttn+ 1において、対応する画素が 1であると判定された場合、ステップ S 3 2 7に進み、時間変化検出部 3 0 3の領域判定部 3 4 2は、フレーム ίίηの注目する画素を前景領域と設定して、処理は終了する。

このように、領域特定部 1 0 3は、入力された画像と対応する背景画像との相関値を基に、入力画像の画素が前景領域、背景領域、カバードバックグラウンド領域、およびアンカバードバックグラウンド領域のいずれかに属するかを特定して、特定した結果に対応する領域情報を生成することができる。

図 4 1は、領域特定部 1 0 3の他の構成を示すブロック図である。図 4 1に示す領域特定部 1 0 3は、動き検出部 1 0 2から供給される動きべクトノレとその位置情報を使用する。図 2 9に示す場合と同様の部分には、同一の番号を付してあり、その説明は省略する。

口バスト化部 3 6 1は、 2値ォブジェクト画像抽出部 3 0 2から供給された、 Ν個のフレームの 2値ォブジェクト画像を基に、口バスト化された 2値オブジェクト画像を生成して、時間変化検出部 3 0 3に出力する。

図 4 2は、ロバスト化部 3 6 1の構成を説明するブロック図である。動き補償部 3 8 1は、動き検出部 1 0 2から供給された動きべクトルとその位置情報を基に、 Ν個のフレームの 2値オブジェクト画像の動きを補償して、動きが補償された 2値ォブジェクト画像をスィツチ 3 8 2に出力する。

図 4 3および図 4 4の例を参照して、動き補償部 3 8 1の動き補償について説明する。例えば、フレーム #ηの領域を判定するとき、図 4 3に例を示すフレーム #η- 1、フレーム #η、およびフレーム #η+ 1の 2値オブジェクト画像が入力された場合、動き補償部 3 8 1は、動き検出部 1 0 2から供給された動きべクトルを基に、図 4 4に例を示すように、フレーム ίίη- l の 2値オブジェクト画像、およびフレーム + 1の 2値ォブジェクト画像を動き補償して、動き補償された 2値オブジェクト画像をスィツチ 3 8 2に供給する。

スィッチ 3 8 2は、 1番目のフレームの動き補償された 2値オブジェクト画像をフレームメモリ 3 8 3— 1に出力し、 2番目のフレームの動き補償された 2値オブジェクト画像をフレームメモリ 3 8 3— 2に出力する。同様に、スィッチ 3 8 2は、 3番目乃至 Ν _ 1番目のフレームの動き補償された 2値ォブジェクト画像のそれぞれをフレームメモリ 3 8 3— 3乃至フレームメモリ 3 8 3— ( Ν— 1 ) のいずれかに出力し、 Ν番目のフレームの動き補償された 2値オブジェクト画像をフレームメモリ 3 8 3—Νに出力する。

フレームメモリ 3 8 3 _ 1は、 1番目のフレームの動き補償された 2値ォブジェクト画像を記憶し、記憶されている 2値オブジェクト画像を重み付け部 3 8 4 _ 1に出力する。フレームメモリ 3 8 3— 2は、 2番目のフレームの動き補償された 2値オブジェクト画像を記憶し、記憶されている 2値オブジェクト画像を重み付け部 3 8 4 _ 2に出力する。

同様に、フレームメモリ 3 8 3 _ 3乃至フレームメモリ 3 8 3— ( Ν - 1 ) のそれぞれは、 3番目のフレーム乃至 Ν— 1番目のフレームの動き補償された 2値オブジェクト画像のいずれかを記憶し、記憶されている 2値ォブジェクト画像を重み付け部 3 8 4 _ 3乃至重み付け部 3 8 4— ( Ν— 1 ) のいずれかに出力する _c フレームメモリ 3 8 3—Nは、 N番目のフレームの動き補償された 2値オブジェクト画像を記憶し、記憶されている 2値ォブジェクト画像を重み付け部 3 8 4 - Nに出力する。

重み付け部 3 8 4 _ 1は、フレームメモリ 3 8 3— 1から供給された 1番目のフレームの動き補償された 2値ォブジェクト画像の画素値に予め定めた重み wl を乗じて、積算部 3 8 5に供給する。重み付け部 3 8 4— 2は、フレームメモリ 3 8 3 - 2から供給された 2番目のフレームの動き補償された 2値オブジェクト画像の画素値に予め定めた重み w2を乗じて、積算部 3 8 5に供給する。同様に、重み付け部 3 8 4— 3乃至重み付け部 3 8 4— （N— 1 ) のそれぞれは、フレームメモリ 3 8 3— 3乃至フレームメモリ 3 8 3— ( N— 1 ) のいずれかから供給された 3番目乃至 N— 1番目のいずれかのフレームの動き補償された 2値オブジェクト画像の画素値に予め定めた重み w3乃至重み w (N- 1 )のいずれかを乗じて、積算部 3 8 5に供給する。重み付け部 3 8 4 _ Nは、フレームメモリ 3 8 3—Nから供給された N番目のフレームの動き補償された 2値オブジェクト画像の画素値に予め定めた重み wNを乗じて、積算部 3 8 5に供給する。

積算部 3 8 5は、 1乃至 N番目のフレームの動き補償され、それぞれ重み wl 乃至 _wNのいずれかが乗じられた、 2値オブジェクト画像の対応する画素値を積算して、積算された画素値を予め定めたしきい値 thO と比較することにより 2 値オブジェクト画像を生成する。

このように、ロバスト化部 3 6 1は、 N個の 2値オブジェクト画像から口バスト化された 2値オブジェト画像を生成して、時間変化検出部 3 0 3に供給するので、図 4 1に構成を示す領域特定部 1 0 3は、入力画像にノイズが含まれていても、図 2 9に示す場合に比較して、より正確に領域を特定することができる。次に、図 4 1に構成を示す領域特定部 1 0 3の領域特定の処理について、図 4 5のフローチヤ一トを参照して説明する。ステップ S 3 4 1乃至ステップ S 3 4 3の処理は、図 3 9のフローチヤ一トで説明したステップ S 3 0 1乃至ステップ S 3 0 3とそれぞれ同様なのでその説明は省略する。

ステップ S 3 4 4において、ロバスト化部 3 6 1は、ロバスト化の処理を実行する。

ステップ S 3 4 5において、時間変化検出部 3 0 3は、領域判定の処理を実行して、処理は終了する。ステップ S 3 4 5の処理の詳細は、図 4 0のフローチヤートを参照して説明した処理と同様なのでその説明は省略する。

次に、図 4 6のフローチャートを参照して、図 4 5のステップ S 3 4 4の処理に対応する、口バスト化の処理の詳細について説明する。ステップ S 3 6 1において、動き補償部 3 8 1は、動き検出部 1 0 2から供給される動きべクトルとそ -

57 の位置情報を基に、入力された 2値ォブジェクト画像の動き補償の処理を実行する。ステップ S 3 6 2において、フレームメモリ 3 8 3— 1乃至 3 8 3—Nのいずれかは、スィツチ 3 8 2を介して供給された動き補償された 2値オブジェクト画像を記憶する。

ステップ S 3 6 3において、ロバスト化部 3 6 1は、 N個の 2値オブジェクト画像が記憶されたか否かを判定し、 N個の 2値オブジェクト画像が記憶されていないと判定された場合、ステップ S 3 6 1に戻り、 2値オブジェクト画像の動き補償の処理および 2値オブジェクト画像の記憶の処理を繰り返す。

ステップ S 3 6 3において、 N個の 2値ォブジェクト画像が記憶されたと判定された場合、ステップ S 3 6 4に進み、重み付け部 3 8 4— 1乃至 3 8 4 _ Nのそれぞれは、 N個の 2値オブジェクト画像のそれぞれに wl乃至 wNのいずれかの重みを乗じて、重み付けする。

ステップ S 3 6 5において、積算部 3 8 5は、重み付けされた N個の 2値ォブジェクト画像を積算する。

ステップ S 3 6 6において、積算部 3 8 5は、例えば、予め定められたしきい値 th l との比較などにより、積算された画像から 2値ォブジェクト画像を生成して、処理は終了する。

このように、図 4 1に構成を示す領域特定部 1 0 3は、ロバスト化された 2値ォブジェクト画像を基に、領域情報を生成することができる。

以上のように、領域特定部 1 0 3は、フレームに含まれている画素のそれぞれについて、動き領域、静止領域、アンカバードバックグラウンド領域、または力バードバックグラウンド領域に属することを示す領域情報を生成することができる。

図 4 7は、混合比算出部 1 0 4の構成を示すブロック図である。混合領域幅検出部 4 0 1は、領域特定部 1 0 3から供給された領域情報、および動き検出部 1 0 2から供給された動きべクトルとその位置情報を基に、画素間隔を単位として、注目している画素が属する混合領域の幅を検出する。混合領域幅検出部 4 0 1は、検出した幅を混合領域幅情報として、直線当てはめ部 4 0 2に供給する。

直線当てはめ部 4 0 2は、混合領域幅検出部 4 0 1から供給された混合領域幅情報、および動き検出部 1 0 2から供給された動きべクトルとその位置情報を基に、混合領域の幅と、注目している画素から混合領域の端部に位置する画素までの距離との比を算出する。直線当てはめ部 4 0 2は、混合領域の幅と、注目している画素から混合領域の端部に位置する画素までの距離との比を基に、注目している画素の混合比ひを算出する。

前景に対応するオブジェクトがシャッタ時間内に等速で動いていると仮定できるので、混合領域に属する画素の混合比ひは、以下の性質を有する。すなわち、混合比ひは、画素の位置の変化に対応して、直線的に変化する。画素の位置の変化を 1次元とすれば、混合比ひの変化は、直線で表現することができ、画素の位置の変化を 2次元とすれば、混合比ひの変化は、平面で表現することがでさる。

なお、 1フレームの期間は短いので、前景に対応するォブジュタトが剛体であり、等速で移動していると仮定が成り立つ。

この場合、混合比ひの傾きは、前景のシャツタ時間内での動き量 Vの逆比となる。

理想的な混合比ひの例を図 4 8に示す。理想的な混合比の混合領域における傾き 1は、動き量 Vの逆数として表すことができる。

図 4 8に示すように、理想的な混合比ひは、背景領域において、 1の値を有し、前景領域において、 0の値を有し、混合領域において、 0を越え 1未満の値を有する。

図 4 9乃至図 5 3を参照して、混合比算出部 1 0 4の処理を説明する。

図 4 9は、動き量 Vが 4である、カバードバックグラウンド領域を含む画像に対応する、画素値を時間方向に展開し、シャツタ時間に対応する期間を分割したモデル図である。

フレーム ί!ηのカバードバックダラゥンド領域に属する注目している画素の画素値 Mx、対応する位置のフレーム #n より前のフレーム #n- lの背景領域に属する画素の画素値 Bx、および注目している画素の混合比ひ X との関係は、式（8 ) で表すことができる。

Mx=ひ X - Bx+fx ( 8 )

Xは、動き方向に沿った座標軸 Xにおける位置を示す。 f xは、注目している画素の画素値に含まれる前景の成分の和を示す。

図 5 0は、動き量 Vが 4である、アンカバードバックグラウンド領域を含む画像に対応する、画素値を時間方向に展開し、シャツタ時間に対応する期間を分割したモデル図である。

同様に、フレーム #nのアンカバードバックグラウンド領域に属する注目している画素の画素値 Mx、対応する位置のフレーム ttnより後のフレーム #η+ 1の背景領域に属する画素の画素値 Βχ、および注目している画素の混合比ひ Xとの関係は、式（8 ) で表すことができる。

図 4 9および図 5 0に示すように、動き量を Vとしたとき、前景のオブジェタトの動きの方向に沿った混合領域の幅は、動き量 Vから 1を減算して、求めることができる。

例えば、図 4 9において、フレーム ίίηのカバードバックグラウンド領域に属する画素は、左から 6番目の画素乃至 8番目の画素であり、カバードバックダラゥンド領域の幅は、画素間隔を単位として、 3である。図 4 9において、動き量 Vは 4であり、カバードバックグラウンド領域の幅は、動き量 Vから 1を減算した結果に等しい。

図 5 0において、フレーム #ηのアンカバードバックグラウンド領域に属する画素は、左から 5番目の画素乃至 7番目の画素であり、アンカバードバックダラゥンド領域の幅は、画素間隔を単位として、 3である。図 5 0において、動き量 Vは 4であり、アンカバードバックグラウンド領域の幅は、動き量 Vから 1を減算した結果に等しい。

動き量を V としたとき、動きベクトルの方向に沿った直線上の画素であって、フレーム ttnのカバードバックグラウンド領域に属し、背景領域に属する画素と隣接する画素（動きべクトルの先側の画素）の混合比ひは、式（9 ) で求められる。

ひ = (v- l ) /v ( 9 )

例えば、図 5 1に示す、フレーム #nの左から 4番目の画素の混合比は、動き量 Vが 4であるとき、 3/4である。

動き量を V としたとき、動きべクトルの方向に沿った直線上の画素であって. フレーム ffnのカバードバックグラウンド領域に属し、背景領域に属する画素から 2番目の画素の混合比ひは、動きべクトルの方向に沿った直線上の画素であつて、フレーム #nのカバードバックグラウンド領域に属し、背景領域に属する画素と隣接する画素の混合比から 1/vを減算することにより求めることがでさる。

例えば、図 5 1に示す、フレーム #nの左から 3番目の画素の混合比ひは、動き量 Vが 4であるとき、 1 /2であり、フレーム #nの左から 4番目の画素の混合比から 1/4を減算した値に等しい。

同様に、動き量を V としたとき、動きベクトルの方向に沿った直線上の画素であって、フレーム ίίηのカバードバックグラウンド領域に属し、背景領域に属する画素から 3番目の画素の混合比ひは、動きべクトルの方向に沿った直線上の画素であって、フレームのカバードバックグラウンド領域に属し、背景領域に属する画素と隣接する画素の混合比ひから 2/vを減算することにより求めることができる。

例えば、図 5 1に示す、フレーム ttnの左から 2番目の画素の混合比ひは、動き量 Vが 4であるとき、 1 /4であり、フレーム # nの左から 4番目の画素の混合比ひから 1 /2を減算した値に等しい。

従って、背景領域に属する画素と隣接する画素からの距離が Xである、カバードバックグラウンド領域に属する画素に対応する混合比ひ Xは、式（1 0 ) に示すように、距離 Xを基に、算出できる。ひ x二（v- l)/v- x · (1/v) ( 1 0 )

同様に、動き量を v としたとき、動きベクトルの方向に沿った直線上の画素であって、フレーム #nのアンカバードバックグラウンド領域に属し、背景領域に属する画素と隣接する画素（動きべクトルの元側の画素）の混合比ひは、式 ( 1 1 ) で求められる。

α = (ν-ΐ)/ν ( 1 1 )

例えば、図 5 2に示す、フレームの左から 2番目の画素の混合比ひは、動き量 Vが 4であるとき、 3/4である。

動き量を V としたとき、動きべクトルの方向に沿った直線上の画素であって. フレーム #ηのアンカバードバックグラウンド領域に属し、背景領域に属する画素から 2番目の画素の混合比ひは、動きべクトルの方向に沿った直線上の画素であって、フレーム #ηのアンカバードバックグラウンド領域に属し、背景領域に属する画素と隣接する画素の混合比から 1/vを減算することにより求めることができる。

例えば、図 5 2に示す、フレーム ίίηの左から 3番目の画素の混合比は、動き量 Vが 4であるとき、 1/2であり、フレーム ίίηの左から 2番目の画素の混合比ひから 1/4を減算した値に等しい。

同様に、動き量を V としたとき、動きベクトルの方向に沿った直線上の画素であって、フレーム ttnのアンカバードバックグラウンド領域に属し、背景領域に属する画素から 3番目の画素の混合比ひは、動きべクトルの方向に沿った直線上の画素であって、フレームのアンカバードバックグラウンド領域に属し. 背景領域に属する画素と隣接する画素の混合比ひから 2/vを減算することにより求めることができる。

例えば、図 5 2に示す、フレーム Hnの左から 4番目の画素の混合比は、動き量 Vが 4であるとき、 1/4であり、フレーム #nの左から 2番目の画素の混合比から 1/2を減算した値に等しい。

従って、背景領域に属する画素と隣接する画素からの距離が Xである、アンカバードバックグラウンド領域に属する画素に対応する混合比ひ xは、式（1

2 ) に示すように、距離 Xを基に、算出できる。

一般に、シャツタ時間は、十分に短いので、シャツタ時間内に前景に対応するオブジェクトが剛体であり、等速で移動していると仮定することができるので、動き方向に沿つた直線上で、混合領域における混合比が直線的に変化するという仮定が成立する。

従って、以上で説明した混合比ひの算出方法により、十分精度の高い混合比を算出することができる。

図 5 3は、画像における、混合比の算出の処理を説明する図である。

動き量が Vであって、注目している画素がカバードバックグラウンド領域に属する画素であるとき、動き方向に沿った直線上の、動き方向の元の画素の混合比は、 1 /νとされ、動き方向に沿った直線上の、動き方向の先の画素の混合比は、（ν- 1 ) /νとされる。動き方向に沿った直線上の、動き方向の先の画素および動き方向の元の画素の間の画素の混合比は、 1 /νを傾きとして、線形式により算出される（比例計算による算出される）。

例えば、動き量 Vが 6であって、注目している画素がカバードバックグラウンド領域に属する画素であるとき、動き方向に沿った直線上の、動き方向の先の画素の混合比ひ 5は、 5/6とされ、動き方向に沿った直線上の、動ぎ方向の元の画素の混合比 1は、 1 /6とされる。

動き方向の先の画素および動き方向の元の画素の間の画素の混合比ひ 2、ひ 3、および 4は、 1 /νを傾きとし、画素位置に対応して線形に算出され、それぞれ、 2/6、 3/6、 4/6 とされる。

一方、動き量が Vであって、注目している画素がアンカバードバックグラウンド領域に属する画素であるとき、動き方向に沿った直線上の、動き方向の先の画素の混合比 a は、 l /v とされ、動き方向に沿った直線上の、動き方向の元の画素の混合比ひは、（V- l ) /v とされ、動き方向に沿った直線上の、動き方向の先の画素および動き方向の元の画素の間の画素の混合比ひは、線形式により算出される（比例計算による算出される）。

次に、混合比算出部 1 0 4による、混合比ひの算出の処理を図 5 4のフローチヤ一トを参照して説明する。

ステップ S 4 0 1において、混合比幅検出部 4 0 1は、領域特定部 1 0 3から供給された領域情報を取得する。ステップ S 4 0 2において、混合比幅検出部 4 0 1および直線当てはめ部 4 0 2は、動き検出部 1 0 2から供給された動きべクトルとその位置情報を取得する。

ステップ S 4 0 3において、直線当てはめ部 4 0 2は、注目画素を選択する。ステップ S 4 0 4において、直線当てはめ部 4 0 2は、領域情報を基に、注目画素が前景領域に属するか否かを判定し、注目画素が前景領域に属すると判定された場合、ステップ S 4 0 5に進み、混合比ひに 0を設定し、ステップ S 4 0 9 に進む。

ステップ S 4 0 4において、注目画素が前景領域に属しないと判定された場合、ステップ S 4 0 6に進み、直線当てはめ部 4 0 2は、領域情報を基に、注目画素が背景領域に属するか否かを判定し、注目画素が背景領域に属すると判定された場合、ステップ S 4 0 7に進み、混合比ひに 1を設定し、ステップ S 4 0 9に進む。

ステップ S 4 0 6において、注目画素が背景領域に属しないと判定された場合、ステップ S 4 0 8に進み、直線当てはめ部 4 0 2は、混合領域に属する画素の混合比 αの算出の処理を実行し、処理は、ステップ S 4 0 9に進む。混合領域に属する画素の混合比ひの算出の処理の詳細は、後述する。

ステップ S 4 0 9において、直線当てはめ部 4 0 2は、注目画素に対応させて、算出された混合比 a を記憶する。

ステップ S 4 1 0において、直線当てはめ部 4 0 2は、フレーム全体について混合比ひを算出したか否かを判定し、フレーム全体について混合比ひを算出していないと判定された場合、ステップ S 4 0 3に戻り、他の注目画素を選択し、混合比 Οί の算出の処理を繰り返す。

ステップ S 4 1 0において、フレーム全体について混合比ひを算出したと判定された場合、ステップ S 4 1 1に進み、直線当てはめ部 4 0 2は、混合比ひを出力して、処理は終了する。

図 5 5のフ口一チャートを参照して、混合領域幅検出部 4 0 1および直線当てはめ部 4 0 2が実行する、ステップ S 4 0 8の処理に対応する、混合領域に属する画素の混合比ひの算出の処理を説明する。

ステップ S 4 2 1において、混合領域幅検出部 4 0 1は、動き検出部 1 0 2から供給された動きべクトルとその位置情報、および領域特定部 1 0 3から供給された領域情報を基に、動きベクトルの動きの方向に沿って、混合領域の幅を求める。混合領域幅検出部 4 0 1は、混合領域の幅を混合領域幅情報として、直線当てはめ部 4 0 2に供給する。混合領域幅検出部 4 0 1は、動きベクトルの大きさを基に、混合領域の幅を算出するようにしてもよい。

ステップ S 4 2 2において、直線当てはめ部 4 0 2は、動きべクトルの動き方向に沿って、注目画素から、混合領域の端までの距離を求める。

ステップ S 4 2 3において、直線当てはめ部 4 0 2は、動きベクトルの動き方向とは反対の方向に沿って、注目画素から、混合領域の端までの距離を求める。ステップ S 4 2 4において、直線当てはめ部 4 0 2は、領域情報、および混合領域の幅と、注目画素から、混合領域の端までの距離との比を基に、混合比ひを算出して、処理は終了する。

例えば、直線当てはめ部 4 0 2は、注目画素がカバードバックグラウンド領域に属するとき、混合領域の幅と、動きべクトルの動きの方向に沿った、混合領域の端までの距離との比を基に、式（1 0 ) に示す演算により、混合比ひを算出する。

例えば、直線当てはめ部 4 0 2は、注目画素がアンカバードバックグラウンド領域に属するとき、混合領域の幅と、動きべクトルの動き方向とは反対の方向に沿った、混合領域の端までの距離との比を基に、式（ 1 2 ) に示す演算により、混合比ひを算出する。

このように、混合比算出部 1 0 2は、領域特定部 1 0 3から供給された領域情報、および動き検出部 1 0 2から供給された動きべクトルとその位置情報を基に、各画素に対応する特徴量である混合比を算出することができる。

混合比ひを利用することにより、動いているオブジェクトに対応する画像に含まれる動きボケの情報を残したままで、画素値に含まれる前景の成分と背景の成分とを分離することが可能になる。

また、混合比ひに基づいて画像を合成すれば、実世界を実際に撮影し直したような動いているォブジェクトのスピードに合わせた正しい動きボケを含む画像を作ることが可能になる。

次に、前景背景分離部 1 0 5について説明する。図 5 6は、前景背景分離部 1 0 5の構成の一例を示すブロック図である。前景背景分離部 1 0 5に供給された入力画像は、分離部 6 0 1、スィッチ 6 0 2、およびスィッチ 6 0 4に供給される。カバードバックグラウンド領域を示す情報、およびアンカバードバックダラゥンド領域を示す、領域特定部 1 0 3から供給された領域情報は、分離部 6 0 1 に供給される。前景領域を示す領域情報は、スィッチ 6 0 2に供給される。背景領域を示す領域情報は、スィッチ 6 0 4に供給される。

混合比算出部 1 0 4から供給された混合比は、分離部 6 0 1に供給される _c 分離部 6 0 1は、カバードバックグラウンド領域を示す領域情報、ァンカバードバックグラウンド領域を示す領域情報、および混合比ひを基に、入力画像から前景の成分を分離して、分離した前景の成分を合成部 6 0 3に供給するとともに、入力画像から背景の成分を分離して、分離した背景の成分を合成部 6 0 5に供給する。

スィツチ 6 0 2は、前景領域を示す領域情報を基に、前景に対応する画素が入力されたとき、閉じられ、入力画像に含まれる前景に対応する画素のみを合成部 6 0 3に供給する。

スィッチ 6 0 4は、背景領域を示す領域情報を基に、背景に対応する画素が入力されたとき、閉じられ、入力画像に含まれる背景に対応する画素のみを合成部 6 0 5に供給する。

合成部 6 0 3は、分離部 6 ◦ 1から供給された前景に対応する成分、スィッチ 6 0 2から供給された前景に対応する画素を基に、前景成分画像を合成し、合成した前景成分画像を出力する。前景領域と混合領域とは重複しないので、合成部 6 0 3は、例えば、前景に対応する成分と、前景に対応する画素とに論理和の演算を適用して、前景成分画像を合成する。

合成部 6 0 3は、前景成分画像の合成の処理の最初に実行される初期化の処理において、内蔵しているフレームメモリに全ての画素値が 0である画像を格納し、前景成分画像の合成の処理において、前景成分画像を格納（上書き）する。従つて、合成部 6 0 3が出力する前景成分画像の内、背景領域に対応する画素には、画素値として 0が格納されている。

合成部 6 0 5は、分離部 6 0 1から供給された背景に対応する成分、スィッチ 6 0 4から供給された背景に対応する画素を基に、背景成分画像を合成して、合成した背景成分画像を出力する。背景領域と混合領域とは重複しないので、合成部 6 0 5は、例えば、背景に対応する成分と、背景に対応する画素とに論理和の演算を適用して、背景成分画像を合成する。

合成部 6 0 5は、背景成分画像の合成の処理の最初に実行される初期化の処理において、内蔵しているフレームメモリに全ての画素値が 0である画像を格納し、背景成分画像の合成の処理において、背景成分画像を格納（上書き）する。従つて、合成部 6 0 5が出力する背景成分画像の内、前景領域に対応する画素には、画素値として 0が格納されている。

図 5 7 Aは、前景背景分離部 1 0 5に入力される入力画像、並びに前景背景分離部 1 0 5から出力される前景成分画像および背景成分画像を示す図である。図 5 7 Bは、前景背景分離部 1 0 5に入力される入力画像、並びに前景背景分離部 1 0 5から出力される前景成分画像および背景成分画像のモデルを示す図である _c 図 5 7 Aは、表示される画像の模式図であり、図 5 7 Bは、図 5 7 Aに対応する前景領域に属する画素、背景領域に属する画素、および混合領域に属する画素を含む 1ラインの画素を時間方向に展開したモデル図を示す。.

図 5 7 Aおよび図 5 7 Bに示すように、前景背景分離部 1 0 5から出力される背景成分画像は、背景領域に属する画素、および混合領域の画素に含まれる背景の成分から構成される。

図 5 7 Aおよび図 5 7 Bに示すように、前景背景分離部 1 0 5から出力される前景成分画像は、前景領域に属する画素、および混合領域の画素に含まれる前景の成分から構成される。

混合領域の画素の画素値は、前景背景分離部 1 0 5により、背景の成分と、前景の成分とに分離される。分離された背景の成分は、背景領域に属する画素と共に、背景成分画像を構成する。分離された前景の成分は、前景領域に属する画素と共に、前景成分画像を構成する。

このように、前景成分画像は、背景領域に対応する画素の画素値が 0とされ、前景領域に対応する画素および混合領域に対応する画素に意味のある画素値が設定される。同様に、背景成分画像は、前景領域に対応する画素の画素値が 0とされ、背景領域に対応する画素および混合領域に対応する画素に意味のある画素値が設定される。

次に、分離部 6 0 1が実行する、混合領域に属する画素から前景の成分、および背景の成分を分離する処理について説明する。

図 5 8は、図中の左から右に移動するオブジェクトに対応する前景を含む、 2 つのフレームの前景の成分および背景の成分を示す画像のモデルである。図 5 8 に示す画像のモデルにおいて、前景の動き量 Vは 4であり、仮想分割数は、 4 とされている。

フレーム #nにおいて、最も左の画素、および左から 1 4番目乃至 1 8番目の画素は、背景の成分のみから成り、背景領域に属する。フレームにおいて、左から 2番目乃至 4番目の画素は、背景の成分および前景の成分を含み、アンカバードバックグラウンド領域に属する。フレーム #_nにおいて、左から 1 1番目乃至 1 3番目の画素は、背景の成分および前景の成分を含み、カバードバックグラウンド領域に属する。フレーム #nにおいて、左から 5番目乃至 1 0番目の画素は、前景の成分のみから成り、前景領域に属する。

フレーム ίίη+lにおいて、左から 1番目乃至 5番目の画素、および左から 1 8 番目の画素は、背景の成分のみから成り、背景領域に属する。フレーム #η+1において、左から 6番目乃至 8番目の画素は、背景の成分および前景の成分を含み、アンカバードバックグラウンド領域に属する。フレーム #η+1において、左から 1 5番目乃至 1 7番目の画素は、背景の成分および前景の成分を含み、カバードバックグラウンド領域に属する。フレーム +1において、左から 9番目乃至 1 4番目の画素は、前景の成分のみから成り、前景領域に属する。

図 5 9は、カバードバックグラウンド領域に属する画素から前景の成分を分離する処理を説明する図である。図 5 9において、ひ 1乃至 1 8は、フレーム #ηにおける画素のそれぞれに対応する混合比である。図 5 9において、左から 1 5番目乃至 1 7番目の画素は、カバードバックグラウンド領域に属する。

フレーム #η の左から 1 5番目の画素の画素値 C15 は、式（1 3) で表される _c C15=B15/v+F09/v+F08/v+F07/v

= a 15 · B15+F09/v+F08/v+F07/v

=α 15-P15+F09/v+F08/v+F07/v (1 3) ここで、 15 は、フレーム #n の左から 1 5番目の画素の混合比である。 P15 は、フレーム #n- 1の左から 1 5番目の画素の画素値である。

式（1 3) を基に、フレーム #nの左から 1 5番目の画素の前景の成分の和 fl5は、式（1 4) で表される。

fl5=F09/v+F08/v+F07/v

=C15-£Y 15-P15 ( 1 4)

同様に、フレーム #nの左から 1 6番目の画素の前景の成分の和 fl6は、式 ( 1 5) で表され、フレーム #nの左から 1 7番目の画素の前景の成分の和 f 17 は、式（1 6) で表される。 fl6=C16-ひ 16·Ρ16 ( 1 5 )

fl7=C17 -ひ 17·Ρ17 ( 1 6 )

このように、カバードバックグラウンド領域に属する画素の画素値 Cに含まれる前景の成分 fcは、式（1 7) で計算される。

fc=C—ひ ·Ρ ( 1 7 )

Ρは、 1つ前のフレームの、対応する画素の画素値である。

図 6 0は、アンカバードバックグラウンド領域に属する画素から前景の成分を分離する処理を説明する図である。図 6 0において、ひ 1乃至ひ 1 8は、フレ一ム^における画素のぞれぞれに対応する混合比である。図 6 0において、左から 2番目乃至 4番目の画素は、アンカバードバックグラウンド領域に属する。フレーム #ηの左から 2番目の画素の画素値 C02は、式（1 8 ) で表される。

C02=B02/v+B02/v+B02/v+F01/v

二ひ 2*B02+F01/v

= a2-N02+F01/v ( 1 8 )

ここで、 2は、フレーム #nの左から 2番目の画素の混合比である。 N02は、フレーム ίίη+lの左から 2番目の画素の画素ィ直である。

式（1 8 ) を基に、フレーム Hnの左から 2番目の画素の前景の成分の和 f02 は、式（1 9) で表される。

f02=F01/v

=C02-ひ 2-N02 ( 1 9 )

同様に、フレーム #nの左から 3番目の画素の前景の成分の和 f03は、式（2 0) で表され、フレーム ίίηの左から 4番目の画素の前景の成分の和 f04は、式 ( 2 1 ) で表される。

f03=C03-a3-N03 ( 2 0)

f04=C04 -ひ 4·謝 ( 2 1 )

このように、アンカバードバックグラウンド領域に属する画素の画素値 Cに含まれる前景の成分 fuは、式（2 2 ) で計算される。 fu=C- a · Ν ( 2 2 )

Nは、 1つ後のフレームの、対応する画素の画素値である。

このように、分離部 6 0 1は、領域情報に含まれる、カバードバックグラウンド領域を示す情報、およびァンカバードバックグラウンド領域を示す情報、並びに画素毎の混合比ひを基に、混合領域に属する画素から前景の成分、および背景の成分を分離することができる。

図 6 1は、以上で説明した処理を実行する分離部 6 0 1の構成の一例を示すブロック図である。分離部 6 0 1に入力された画像は、フレームメモリ 6 2 1に供給され、混合比算出部 1 0 4から供給されたカバードバックグラウンド領域およびアンカバードバックグラウンド領域を示す領域情報、並びに混合比ひは、分離処理プロック 6 2 2に入力される。

フレームメモリ 6 2 1は、入力された画像をフレーム単位で記憶する。フレームメモリ 6 2 1は、処理の対象がフレーム #nであるとき、フレーム ίίηの 1つ前のフレームであるフレーム #η- 1、フレーム #η、およびフレーム ίίηの 1つ後のフレームであるフレーム ίίη+ lを記憶する。

フレームメモリ 6 2 1は、フレーム #η- 1、フレーム th、およびフレームの対応する画素を分離処理ブロック 6 2 2に供給する。

分離処理ブロック 6 2 2は、カバードバックグラウンド領域およびアンカバードバックグラウンド領域を示す領域情報、並びに混合比を基に、フレームメモリ 6 2 1から供給されたフレーム #η- 1、フレーム #η、およびフレーム #η+ 1の対応する画素の画素値に図 5 9および図 6 0を参照して説明した演算を適用して、フレームの混合領域に属する画素から前景の成分および背景の成分を分離して、フレームメモリ 6 2 3に供給する。

分離処理ブロック 6 2 2は、アンカバード領域処理部 6 3 1、カバード領域処理部 6 3 2、合成部 6 3 3、および合成部 6 3 4で構成されている。

アンカバード領域処理部 6 3 1の乗算器 6 4 1は、混合比を、フレームメモリ 6 2 1から供給されたフレーム ttn+ 1の画素の画素値に乗じて、スィツチ 6 4 2に出力する。スィッチ 6 4 2は、フレームメモリ 6 2 1から供給されたフレーム ίίηの画素（フレーム ttn+ 1の画素に対応する）がアンカバードバックグラウンド領域であるとき、閉じられ、乗算器 6 4 1から供給された混合比ひを乗じた画素値を演算器 6 4 3および合成部 6 3 4に供給する。スィッチ 6 4 2から出力されるフレーム #n+ lの画素の画素値に混合比ひを乗じた値は、フレーム ίίη の対応する画素の画素値の背景の成分に等しい。

演算器 6 4 3は、フレームメモリ 6 2 1から供給されたフレーム #ηの画素の画素値から、スィッチ 6 4 2から供給された背景の成分を減じて、前景の成分を求める。演算器 6 4 3は、アンカバードバックグラウンド領域に属する、フレーム tinの画素の前景の成分を合成部 6 3 3に供給する。

カバード領域処理部 6 3 ²の乗算器 6 5 1は、混合比ひを、フレームメモリ 6 2 1から供給されたフレーム #n- lの画素の画素値に乗じて、スィツチ 6 5 2 に出力する。スィッチ 6 5 2は、フレームメモリ 6 2 1から供給されたフレーム ttnの画素（フレーム ίίη- 1 の画素に対応する）がカバードバックグラウンド領域であるとき、閉じられ、乗算器 6 5 1から供給された混合比ひを乗じた画素値を演算器 6 5 3および合成部 6 3 4に供給する。スィッチ 6 5 2から出力されるフレーム #η- 1の画素の画素値に混合比ひを乗じた値は、フレーム ίίηの対応する画素の画素値の背景の成分に等しい。

演算器 6 5 3は、フレームメモリ 6 2 1から供給されたフレームの画素の画素値から、スィッチ 6 5 2から供給された背景の成分を減じて、前景の成分を求める。演算器 6 5 3は、カバードバックグラウンド領域に属する、フレーム #ηの画素の前景の成分を合成部 6 3 3に供給する。

合成部 6 3 3は、フレームでの、演算器 6 4 3から供給された、アンカバードバックグラウンド領域に属する画素の前景の成分、および演算器 6 5 3から供給された、カバードバックグラウンド領域に属する画素の前景の成分を合成して、フレームメモリ 6 2 3に供給する。

合成部 6 3 4は、フレーム #ηの、スィッチ 6 4 2から供給された、アンカバードバックグラウンド領域に属する画素の背景の成分、およびスィッチ 6 5 2から供給された、カバードバックグラウンド領域に属する画素の背景の成分を合成して、フレームメモリ 6 2 3に供給する。

フレームメモリ 6 2 3は、分離処理プロック 6 2 2から供給された、フレーム #nの混合領域の画素の前景の成分と、背景の成分とをそれぞれに記憶する。

フレームメモリ 6 2 3は、記憶しているフレーム #nの混合領域の画素の前景の成分、および記憶しているフレーム #nの混合領域の画素の背景の成分を出力する。

特徴量である混合比ひを利用することにより、画素値に含まれる前景の成分と背景の成分とを完全に分離することが可能になる。

合成部 6 0 3は、分離部 6 0 1から出力された、フレーム tinの混合領域の画素の前景の成分と、前景領域に属する画素とを合成して前景成分画像を生成する _c 合成部 6 0 5は、分離部 6 0 1から出力された、フレーム #nの混合領域の画素の背景の成分と、背景領域に属する画素とを合成して背景成分画像を生成する。図 6 2 Aは、図 5 8のフレーム ίίηに対応する、前景成分画像の例を示す図である。図 6 2 Βは、図 5 8のフレーム #ηに対応する、背景成分画像の例を示す図である。

図 6 2 Αは、図 5 8のフレーム #nに対応する、前景成分画像の例を示す。最も左の画素、および左から 1 4番目の画素は、前景と背景が分離される前において、背景の成分のみから成っていたので、画素値が 0とされる。

左から 2番目乃至 4番目の画素は、前景と背景とが分離される前において、ァンカバードバックグラウンド領域に属し、背景の成分が 0とされ、前景の成分がそのまま残されている。左から 1 1番目乃至 1 3番目の画素は、前景と背景とが分離される前において、カバードバックグラウンド領域に属し、背景の成分が 0 とされ、前景の成分がそのまま残されている。左から 5番目乃至 1 0番目の画素は、前景の成分のみから成るので、そのまま残される。

図 6 2 Bは、図 5 8のフレーム #nに対応する、背景成分画像の例を示す。最も左の画素、および左から 1 4番目の画素は、前景と背景とが分離される前において、背景の成分のみから成っていたので、そのまま残される。

左から 2番目乃至 4番目の画素は、前景と背景とが分離される前において、ァンカバ一ドバックグラウンド領域に属し、前景の成分が 0とされ、背景の成分がそのまま残されている。左から 1 1番目乃至 1 3番目の画素は、前景と背景とが分離される前において、カバードバックグラウンド領域に属し、前景の成分が 0 とされ、背景の成分がそのまま残されている。左から 5番目乃至 1 0番目の画素は、前景と背景とが分離される前において、前景の成分のみから成っていたので、画素値が 0とされる。

次に、図 6 3に示すフローチャートを参照して、前景背景分離部 1 0 5による前景と背景との分離の処理を説明する。ステップ S 6 0 1において、分離部 6 0 1のフレームメモリ 6 2 1は、入力画像を取得し、前景と背景との分離の対象となるフレーム #nを、その前のフレーム tin- 1およびその後のフレーム #n+ l と共に ΗΞ'ι© る。

ステップ S 6 0 2において、分離部 6 0 1の分離処理ブロック 6 2 2は、混合比算出部 1 0 4から供給された領域情報を取得する。ステップ S 6 0 3において、分離部 6 0 1の分離処理プロック 6 2 2は、混合比算出部 1 0 4から供給された混合比ひを取得する。

ステップ S 6 0 4において、アンカバード領域処理部 6 3 1は、領域情報および混合比ひを基に、フレームメモリ 6 2 1から供給された、アンカバードバックグラウンド領域に属する画素の画素値から、背景の成分を抽出する。

ステップ S 6 0 5において、アンカバード領域処理部 6 3 1は、領域情報および混合比ひを基に、フレームメモリ 6 2 1から供給された、アンカバードバックグラウンド領域に属する画素の画素値から、前景の成分を抽出する。

ステップ S 6 0 6において、カバード領域処理部 6 3 2は、領域情報および混合比ひを基に、フレームメモリ 6 2 1から供給された、カバードバックグラウンド領域に属する画素の画素値から、背景の成分を抽出する。ステップ S 6 0 7において、カバード領域処理部 6 3 2は、領域情報および混合比ひを基に、フレームメモリ 6 2 1から供給された、カバードバックグラウンド領域に属する画素の画素値から、前景の成分を抽出する。

ステップ S 6 0 8において、合成部 6 3 3は、ステップ S 6 0 5の処理で抽出されたアンカバードバックグラウンド領域に属する画素の前景の成分と、ステツプ S 6 0 7の処理で抽出されたカバードバックグラウンド領域に属する画素の前景の成分とを合成する。合成された前景の成分は、合成部 6 0 3に供給される。更に、合成部 6 0 3は、スィッチ 6 0 2を介して供給された前景領域に属する画素と、分離部 6 0 1から供給された前景の成分とを合成して、前景成分画像を生成する。

ステップ S 6 0 9において、合成部 6 3 4は、ステップ S 6 0 4の処理で抽出されたアンカバードバックグラウンド領域に属する画素の背景の成分と、ステツプ S 6 0 6の処理で抽出されたカバードバックグラウンド領域に属する画素の背景の成分とを合成する。合成された背景の成分は、合成部 6 0 5に供給される。更に、合成部 6 0 5は、スィッチ 6 0 4を介して供給された背景領域に属する画素と、分離部 6 0 1から供給された背景の成分とを合成して、背景成分画像を生成する。

ステップ S 6 1 0において、合成部 6 0 3は、前景成分画像を出力する。ステップ S 6 1 1において、合成部 6 0 5は、背景成分画像を出力し、処理は終了する。

このように、前景背景分離部 1 0 5は、領域情報および混合比ひを基に、入力画像から前景の成分と、背景の成分とを分離し、前景の成分のみから成る前景成分画像、および背景の成分のみから成る背景成分画像を出力することができる。図 6 4は、本発明に係る画像処理装置の他の構成を示す図である。図 2に示す場合と同様の部分には、同一の番号を付してあり、その説明は省略する。

動き方向推定部 7 0 1は、領域特定部 1 0 3から供給された領域情報、および入力画像を基に、前景のォブジェクトに対応する動きべクトルを生成するとともに、動きべクトルから動き方向を抽出して、抽出した動き方向を混合比算出部 7 0 2に供給する。動き方向推定部 7 0 1は、生成した動きベクトルを出力することができる。

混合比算出部 7 0 2は、領域特定部 1 0 3から供給された領域情報、および動き方向推定部 7 0 1から供給された動き方向を基に、画素毎に混合比ひを算出して、算出した混合比ひを前景背景分離部 1 0 5に供給する。

図 6 5は、動き方向推定部 7 0 1の構成を示すブロック図である。動きべタトル検出部 7 2 1は、領域特定部 1 0 3から供給された領域情報および入力画像を基に、動きべクトルを生成する。

より詳細に説明すると、動きベクトル検出部 7 2 1は、フレーム #nの注目画素がカバードバックグラウンド領域に属するとき、領域特定部 1 0 3から供給された、フレーム #nおよびフレーム #n+ lの領域情報を基に、フレーム #nから注目画素に対応する評価プロックを抽出する。

例えば、図 6 6に示すように、カバードバックグラウンド領域に属する注目画素が中心に配置され、背景領域および前景領域を含む評価ブロックが抽出される。図 6 6において、 Aは、注目画素を示し、 Bは、評価ブロックを示し、 Cは、サーチエリアを示す。図 6 6において、 Dは、前景領域を示し、 Eは、背景領域を示し、 Fは、カバードバックグラウンド領域を示し、 Gは、アンカバードバックグラウンド領域を示す。

動きベクトル検出部 7 2 1は、抽出した評価ブロックに含まれるカバードバックグラウンド領域の形状と、形状が一致するフレーム ίίη+ lのカバードバックグラウンド領域を検出する。

例えば、図 6 6に示すように、動きベクトル検出部 7 2 1は、フレームの評価ブロックに対応する、フレーム + 1のサーチエリアを検索して、抽出した評価ブロックに含まれるカバードバックグラウンド領域の形状と、形状が一致するフレーム itn+ 1のカバードバックグラウンド領域を検出する。

動きベクトル検出部 7 2 1は、フレームの評価ブロックの画面上の位置と- 検出されたフレーム ίίη+lのカバードバックグラウンド領域の画面上の位置を基に、注目画素に対応する動きベクトルを算出する。動きベクトル検出部 7 2 1は、算出した動きべクトルを出力すると共に、動き方向選択部 7 2 2に供給する。図 6 7 Αおよび図 6 7 Bに示すように、動きべクトル検出部 7 2 1は、評価ブロックの 1辺の長さを、動き量 V (混合領域の幅）の 2倍の長さとする。

例えば、図 6 7 Aに示すように、注目画素が混合領域の端側に位置するとき、評価ブロックの 1辺の長さを、動き量 Vの 2倍の長さとすれば、評価ブロックには、背景領域および混合領域が含まれることとなり、検出すべき混合領域の輪郭が明らかになる。

また、同様に、図 6 7 Bに示すように、注目画素が混合領域の中心に位置するとき、評価ブロックの 1辺の長さを、動き量 Vの 2倍の長さとすれば、評価ブロックには、背景領域および混合領域が含まれることとなり、検出すべき混合領域の輪郭が明らかになる。

これに対して、図 6 7 Cに示すように、注目画素が混合領域の端側に位置するとき、評価ブロックの 1辺の長さを、動き量 V と同じ長さとすれば、評価ブロックには、背景領域または混合領域のいずれかが含まれず、検出すべき混合領域の輪郭が不明確になる。同様に、図 6 7 Dに示すように、注目画素が混合領域の中心に位置するとき、評価ブロックの 1辺の長さを、動き量 Vと同じ長さとすれば、評価ブロックには、背景領域または混合領域のいずれかが含まれず、検出すべき混合領域の輪郭が不明確になる。

このように、動きべクトル検出部 7 2 1は、評価ブロックの 1辺の長さを、動き量 Vの 2倍の長さとすることにより、確実に、評価ブロックと形状が一致するフレーム ίίη+ lのカバードバックグラウンド領域を検出することができる。

動きべクトル検出部 7 2 1は、フレーム #ηの注目画素がアンカバードノくックグラウンド領域に属するとき、領域特定部 1 0 3から供給された、フレーム ίίη およびフレーム #η + 1の領域情報を基に、フレーム t から注目画素に対応する評価ブロックを抽出する。動きべクトル検出部 7 2 1は、抽出した評価プロックに含まれるアンカバードバックグラウンド領域の形状と、形状が一致するフレーム #n + lのアンカバードバックグラウンド領域を検出する。

動きべクトル検出部 7 2 1は、フレーム #n の評価プロックの画面上の位置と、検出されたフレーム #n + lのアンカバードバックグラウンド領域の画面上の位置を基に、注目画素に対応する動きべクトルを算出する。動きべクトル検出部 7 2 1は、算出した動きべクトルを出力すると共に、動き方向選択部 7 2 2に供給する。

動きべクトル検出部 7 2 1は、フレーム #nの注目画素が前景領域に属するとき、フレーム ίίηの入力画像から注目画素に対応する評価ブロックを抽出する。動きベクトル検出部 7 2 1は、フレーム #ηの入力画像の評価ブロックと、フレーム ttn+ 1の入力画像とのマッチングをとり、フレーム #nの入力画像の評価ブロックの位置、およびフレーム #n+ lのマッチングされた画像の位置を基に、動きベタトルを生成する。

なお、動きべクトル検出部 7 2 1は、前景領域または背景領域の領域情報を基に、動きべクトルを検出するようにしてもよい。この場合、動きべクトル検出部 7 2 1は、入力画像を必要としなレ、。

また、動きベクトル検出部 7 2 1は、カバードバックグラウンド領域、アンカバードバックグラウンド領域、前景領域、または背景領域について、全画面マツチングにより、動きベクトルを検出するようにしてもよい。この場合、動きべクトル検出部 7 2 1は、入力画像を必要としない。

図 6 5に戻り、動き方向選択部 7 2 2は、動きべクトル検出部 7 2 1から供給された動きべクトルの動き方向を抽出して、抽出した動き方向を出力する。

例えば、動き方向選択部 7 2 2は、動きべクトルから水平べクトル成分および垂直べクトル成分を抽出し、水平べクトル成分の絶対値および垂直べクトル成分の絶対値を算出する。動き方向選択部 7 2 2は、水平べクトル成分および垂直べクトル成分のうち、絶対値の大きいベタトル成分を選択する。動き方向選択部 7 2 2は、選択したべクトル成分に対応する向きを動き方向として出力する。

動き方向は、例えば、左を示す 0、右を示す 1、上を示す 2、または下を示す 3の何れかの値をとる。

このように、動き方向推定部 7 0 1は、動きベクトルを検出すると共に、動き方向を出力することができる。

図 6 8は、混合比算出部 7 0 2の構成を示すブロック図である。混合領域幅検出部 7 4 1は、領域特定部 1 0 3から供給された領域情報、および動き方向推定部 7 0 1から供給された動き方向を基に、画素間隔を単位として、注目している画素が属する混合領域の幅を検出し、検出した幅を混合領域幅情報として、直線当てはめ部 7 4 2に供給する。

直線当てはめ部 7 4 2は、混合領域幅検出部 7 4 1から供給された混合領域幅情報、およびおよび動き方向推定部 7 0 1から供給された動き方向を基に、混合領域の幅と、注目している画素から混合領域に隣接する背景領域の画素までの距離との比を算出する。直線当てはめ部 7 4 2は、混合領域の幅と、注目している画素から混合領域に隣接する背景領域の画素までの距離との比を基に、注目している画素の混合比を算出する。

図 6 9のフローチヤ一トを参照して、図 6 4に構成を示す画像処理装置による、前景背景分離の処理を説明する。

ステップ S 7 0 1において、領域特定部 1 0 3は、入力画像を基に、入力画像の画素毎に前景領域、背景領域、カバードバックグラウンド領域、またはアンカバードバックグラウンド領域のいずれかに属するかを示す領域情報を生成する領域特定の処理を実行する。領域特定部 1 0 3は、生成した領域情報を混合比算出部 7 0 2に供給する。ステップ S 7 0 1の処理の詳細は、ステップ S 1 2の処理の詳細と同様なので、その説明は省略する。

ステップ S 7 0 2において、動き方向推定部 7 0 1は、領域特定部 1 0 3から供給された領域情報を基に、動き方向を検出する。動き方向の検出の処理の詳細は、後述する。動き方向推定部 7 0 1は、動き方向を混合比算出部 7 0 2に供給する。

ステップ S 7 0 3において、混合比算出部 7 0 2は、動き方向推定部 7 0 1から供給された動き方向、および領域特定部 1 0 3から供給された領域情報を基に、混合領域に含まれる画素毎に、混合比ひを算出する。混合比算出の処理の詳細は、後述する。混合比算出部 1 0 4は、算出した混合比ひを前景背景分離部 1 0 5に供給する。ステップ S 7 0 3の処理の詳細は、ステップ S 1 3の処理の詳細と同様なので、その説明は省略する。

ステップ S 7 0 4において、前景背景分離部 1 0 5は、領域情報、および混合比ひを基に、入力画像から前景の成分および背景の成分を抽出して、抽出した前景の成分を基に、前景成分画像を合成し、抽出した背景の成分を基に、背景成分画像を合成する。前景背景分離部 1 0 5は、前景成分画像および背景成分画像を出力し、処理は終了する。ステップ S 7 0 4の処理の詳細は、ステップ S 1 4 の処理の詳細と同様なので、その説明は省略する。

このように、図 6 4に構成を示す画像処理装置は、前景と背景を分離することができる。

図 7 0のフローチャートを参照して、動き方向推定部 7 0 1による、動き方向取得の処理を説明する。

ステップ S 7 2 1において、動きべクトル検出部 7 2 1は、注目フレームおよび注目フレームの次のフレームの入力画像を取得する。

ステップ S 7 2 2において、動きべクトル検出部 7 2 1は、注目フレームおよび注目フレームの次のフレームの領域情報を取得する。

ステップ S 7 2 3において、動きべクトル検出部 7 2 1は、注目画素を選択する。ステップ S 7 2 4において、動きべクトル検出部 7 2 1は、注目フレームの領域情報を基に、注目画素が静止領域に属するか否かを判定し、注目画素が静止領域に属すると判定された場合、ステップ S 7 2 5に進み、動きベクトルを 0に設定し、手続きは、ステップ S 7 3 7に進む。

ステップ S 7 2 4において、注目画素が静止領域に属しないと判定された場合、ステップ S 7 2 6に進み、動きべクトル検出部 7 2 1は、注目フレームの領域情報を基に、注目画素がカバードバックグラウンド領域に属するか否かを判定する _c ステップ S 7 2 6において、注目画素がカバードバックグラウンド領域に属すると判定された場合、ステップ S 7 2 7に進み、動きべクトル検出部 7 2 1は、力バードバックグラウンド領域、前景領域、および背景領域を含む評価ブロックを生成する。ステップ S 7 2 8において、動きべクトル検出部 7 2 1は、評価ブロックと、注目フレームの次のフレームのカバードバックダラゥンド領域を示す領域情報とマッチングをとる。

例えば、動きべクトル検出部 7 2 1は、注目フレームの次のフレームの領域情報のサーチエリア内の、評価ブロックと同じ大きさの領域について、評価ブロックとの誤差の自乗和を算出し、誤差の自乗和が最小となるサーチエリア内の領域を選択する。 ■

ステップ S 7 2 9において、動きべクトル検出部 7 2 1は、注目フレームの評価ブロックの位置、および注目フレームの次のフレームのマッチングされたカバードバックグラウンド領域の位置を基に、動きベクトルを生成し、手続きは、ステツプ S 7 3 7に進む。

ステップ S 7 2 6において、注目画素がカバードバックグラウンド領域に属しないと判定された場合、ステップ S 7 3 0に進み、動きベクトル検出部 7 2 1は、注目フレームの領域情報を基に、注目画素がアンカバードバックグラウンド領域に属するか否かを判定する。

ステップ S 7 3 0において、注目画素がアンカバードバックグラウンド領域に属すると判定された場合、ステップ S 7 3 1に進み、動きベクトル検出部 7 2 1 は、アンカバードバックグラウンド領域、前景領域、および背景領域を含む評価ブロックを生成する。ステップ S 7 3 2において、動きべクトル検出部 7 2 1は、評価ブロックと、注目フレームの次のフレームのアンカバードバックグラウンド領域を示す領域情報とマッチングをとる。

例えば、動きべクトル検出部 7 2 1は、注目フレームの次のフレームの領域情報のサーチエリア内の、評価ブロックと同じ大きさの領域について、評価ブロックとの誤差の自乗和を算出し、誤差の自乗和が最小となるサーチエリア内の領域を選択する。

ステップ S 7 3 3において、動きべクトル検出部 7 2 1は、注目フレームの評価ブロックの位置、および注目フレームの次のフレームのマッチングされたアンカバードバックグラウンド領域の位置を基に、動きベクトルを生成し、手続きは、ステップ S 7 3 7に進む。

ステップ S 7 3 0において、注目画素がアンカバードバックダラゥンド領域に属しないと判定された場合、注目画素が前景領域に属するので、ステップ S 7 3 4に進み、動きべクトル検出部 7 2 1は、入力画像の注目フレームに、評価ブロックを生成する。ステップ S 7 3 5において、動きべクトル検出部 7 2 1は、注目フレームの評価ブロックと、注目フレームの次のフレームの入力画像とのマツチングをとる。

例えば、動きべクトル検出部 7 2 1は、注目フレームの次のフレームの入力画像のサーチエリア内の、評価ブロックと同じ大きさの画像について、評価ブロックとの誤差の自乗和を算出し、誤差の自乗和が最小となるサーチエリア内の画像を選択する。

ステップ S 7 3 6において、動きべクトル検出部 7 2 1は、注目フレームの評価プロックの位置と、注目フレームの次のフレームとのマッチングされた画像の位置とを基に、動きベクトルを生成し、ステップ S 7 3 7に進む。

ステップ S 7 3 7において、動きべクトル検出部 7 2 1は、注目フレームの全ての画素について動きべクトルを生成したか否かを判定し、注目フレームの全ての画素について動きべクトルを生成していないと判定された場合、ステップ S 7 2 3に戻り、次の注目画素を選択して、動きベクトルの生成の処理を繰り返す。ステップ S 7 3 7において、注目フレームの全ての画素について動きべクトルを生成したと判定された場合、ステップ S 7 3 8に進み、動きベクトル検出部 7 2 1は、動きべクトルを動き方向選択部 7 2 2に供給すると共に、動きべクトルを出力する。

ステップ S 7 3 9において、動き方向選択部 7 2 2は、動きべクトル検出部 7 2 1から供給された動きベクトルを基に、動き方向を生成する。ステップ S 7 4 0において、動き方向選択部 7 2 2は、生成した動き方向を出力して、処理は終了する。

このように、動き方向推定部 7 0 1は、入力画像および領域情報を基に、動きベタトルおよび動き方向を生成することができる。

なお、動き方向推定部 7 0 1は、注目フレームと注目フレームの次のフレームの画像および領域情報を使用して、動きべクトルおよび動き方向を生成すると説明したが、注目フレームと注目フレームの前のフレームの画像および領域情報を使用して、動きべクトルおよび動き方向を生成するようにしてもよい。

次に、混合比算出部 7 0 2による、混合比の算出の処理を図 7 1のフローチヤートを参照して説明する。

ステップ S 7 6 1において、混合比幅検出部 7 4 1は、領域特定部 1 0 3から供給された領域情報を取得する。ステップ S 7 6 2において、混合比幅検出部 7 4 1および直線当てはめ部 7 4 2は、動き方向推定部 7 0 1から供給された動き方向を取得する。

ステップ S 7 6 3において、直線当てはめ部 7 4 2は、注目画素を選択する。ステップ S 7 6 4において、直線当てはめ部 7 4 2は、領域情報を基に、注目画素が前景領域に属するか否かを判定し、注目画素が前景領域に属すると判定された場合、ステップ S 7 6 5に進み、混合比ひに 0を設定し、ステップ S 7 6 9 に進む。

ステップ S 7 6 4において、注目画素が前景領域に属しないと判定された場合、ステップ S 7 6 6に進み、直線当てはめ部 7 4 2は、領域情報を基に、注目画素が背景領域に属するか否かを判定し、注目画素が背景領域に属すると判定された場合、ステップ S 7 6 7に進み、混合比に 1を設定し、ステップ S 7 6 9に進む。ステップ S 7 6 6において、注目画素が背景領域に属しないと判定された場合、ステップ S 7 6 8に進み、直線当てはめ部 7 4 2は、混合領域に属する画素の混合比ひの算出の処理を実行し、処理は、ステップ S 7 6 9に進む。混合領域に属する画素の混合比ひの算出の処理の詳細は、後述する。

ステップ S 7 6 9において、直線当てはめ部 7 4 2は、注目画素に対応させて、算出された混合比ひを記憶する。

ステップ S 7 7 0において、直線当てはめ部 7 4 2は、フレーム全体について混合比ひを算出したか否かを判定し、フレーム全体について混合比ひを算出していないと判定された場合、ステップ S 7 6 3に戻り、他の注目画素を選択し、混合比の算出の処理を繰り返す。

ステップ S 7 7 0において、フレーム全体について混合比ひを算出したと判定された場合、ステップ S 7 7 1に進み、直線当てはめ部 7 4 2は、混合比ひを出力して、処理は終了する。

図 7 2のフローチヤ一トを参照して、混合領域幅検出部 7 4 1および直線当てはめ部 7 4 2が実行する、ステップ S 7 6 8の処理に対応する、混合領域に属する画素の混合比ひの算出の処理を説明する。

ステップ S 7 8 1において、混合領域幅検出部 7 4 1は、動き方向推定部 7 0 1から供給された動き方向、および領域特定部 1 0 3から供給された領域情報を基に、動きべクトルの動きの方向に沿って、混合領域の幅を求める。混合領域幅検出部 7 4 1は、混合領域の幅を混合領域幅情報として、直線当てはめ部 7 4 2 に供給する。

ステップ S 7 8 2において、直線当てはめ部 7 4 2は、動き方向に沿って、注目画素から、混合領域の端までの距離を求める。

ステップ S 7 8 3において、直線当てはめ部 7 4 2は、動き方向とは反対の方向に沿って、注目画素から、混合領域の端までの距離を求める。

ステップ S 7 8 4において、直線当てはめ部 7 4 2は、領域情報、および混合領域の幅と、注目画素から、混合領域の端までの距離との比を基に、混合比ひを算出して、処理は終了する。

このように、混合比算出部 7 0 2は、領域特定部 1 0 3から供給された領域情報、および動き方向推定部 7 0 1から供給された動き方向を基に、各画素に対応する特徴量である混合比ひを算出することができる。

図 7 3は、本発明に係る画像処理装置のさらに他の構成を示すブロック図である。図 6 4に示す場合と同様の部分には、同一の番号を付してあり、その説明は省略する。

図 7 3に構成を示す画像処理装置において、動き方向は、外部から入力される。領域特定部 1 0 3は、入力された画像の画素のそれぞれを、前景領域、背景領域、または混合領域のいずれかに特定し、画素毎に前景領域、背景領域、または混合領域のいずれかに属するかを示す領域情報を混合比算出部 7 0 2および前景背景分離部 1 0 5に供給する。

混合比算出部 7 0 2は、領域特定部 1 0 3から供給された領域情報、および外部から供給された動き方向を基に、画素毎に混合比ひを算出して、算出した混合比ひを前景背景分離部 1 0 5に供給する。

前景背景分離部 1 0 5は、領域特定部 1 0 3から供給された領域情報、および混合比算出部 7 0 2から供給された混合比ひを基に、前景の成分のみからなる前景成分画像と、背景の成分のみから成る背景成分画像とに入力画像を分離して、前景成分画像および背景成分画像を出力する。

図 7 4のフローチャートを参照して、図 7 3に構成を示す画像処理装置による、前景背景の分離の処理を説明する。

ステップ S 8 0 1において、領域特定部 1 0 3は、入力画像を基に、入力画像の画素毎に前景領域、背景領域、カバードバックグラウンド領域、またはアンカバードバックグラウンド領域のいずれかに属するかを示す領域情報を生成する領域特定の処理を実行する。領域特定部 1 0 3は、生成した領域情報を混合比算出部 7 0 2に供給する。

ステップ S 8 0 2において、混合比算出部 7 0 2は、外部から入力された動き方向、および領域特定部 1 0 3から供給された領域情報を基に、混合領域に含まれる画素毎に、混合比ひを算出する。混合比算出部 1 0 4は、算出した混合比 a を前景背景分離部 1 0 5に供給する。

ステップ S 8 0 3において、前景背景分離部 1 0 5は、領域情報、および混合比ひを基に、入力画像から前景の成分および背景の成分を抽出して、抽出した前景の成分を基に、前景成分画像を合成し、抽出した背景の成分を基に、背景成分画像を合成する。前景背景分離部 1 0 5は、前景成分画像および背景成分画像を出力し、処理は終了する。

このように、図 7 3に構成を示す画像処理装置は、前景と背景とを分離することができる。

なお、動きべクトルに沿った方向で、混合領域の幅を求めて、混合領域の端までの距離を求めるか、または、動き方向に沿った方向で、混合領域の幅を求めて、混合領域の端までの距離を求めると説明したが、動きべクトルまたは動き方向に直交する方向を除く、所望の方向であれば、図 5 5または図 7 2を参照して説明した処理で混合比を算出することができる。例えば、動きベクトルまたは動き方向に平行の方向で、混合領域の幅を求めて、混合領域の端までの距離を求めることにより、図 5 5または図 7 2を参照して説明した処理で混合比を算出することができる。さらに、動きベクトルまたは動き方向に斜交する方向で、混合領域の幅を求めて、混合領域の端までの距離を求めることにより、図 5 5または図 7 2 を参照して説明した処理で混合比を算出することができる。

すなわち、画像データに対応して、前景オブジェクトを構成する前景オブジェクト成分および背景ォブジェクトを構成する背景オブジェクト成分が混合されてなる混合領域が特定され、領域情報が出力され、混合領域における前景オブジェクト成分と背景ォブジェクト成分との混合の比率を示す混合比の変化が画素の位置に対して略直線的であるとして、領域情報および前景オブジェクトの動き方向に基づき、混合比が推定されるようにした場合、画像における混ざり合いの状態を知ることが可能となる。この場合、 1端が前景オブジェクト成分のみからなる前景領域に位置し、他の 1端が背景オブジェクト成分のみからなる背景領域に位置し、かつ混合領域を横断する線分上の位置を基に、線分上の位置に対応する画素の混合比を推定することができる。

また、前景オブジェクトの動き方向と平行する線分上の位置を基に、線分上の位置に対応する画素の混合比を推定することができる。

さらに、前景オブジェクトの動き方向に斜交する線分上の位置を基に、線分上の位置に対応する画素の混合比を推定することができる。

なお、混合比 Οί は、画素値に含まれる背景の成分の割合として説明したが、画素値に含まれる前景の成分の割合としてもよい。

また、前景となるオブジェクトの動きの方向は左から右として説明したが、その方向に限定されないことは勿論である。

以上においては、 3次元空間と時間軸情報を有する現実空間の画像をビデオ力メラを用いて 2次元空間と時間軸情報を有する時空間への射影を行った場合を例としたが、本発明は、この例に限らず、より多くの第 1の次元の第 1の情報を、より少ない第 2の次元の第 2の情報に射影した場合に、その射影によって発生する歪みを補正したり、有意情報を抽出したり、またはより自然に画像を合成する場合に適応することが可能である。

なお、センサは、 CCDに限らず、固体撮像素子である、例えば、 BBD (Bucket Brigade Device) 、 CID (し narge Injection Device) 、 CPD (Charge Priming Device) 、または CMO (Complementary Mental Oxide Semiconductor) センサでもよく、また、検出素子がマトリックス状に配置されているセンサに限らず、検出素子が 1列に並んでいるセンサでもよい。

本発明の信号処理を行うプログラムを記録した記録媒体は、図 1に示すように、コンピュータとは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク 5 1 (フロッピ（登録商標）ディスクを含む）、光ディスク 5 2 (CD-ROM (Compact Disc-Read Only Memory), DVD (Digital Versati le Di sc)を含む）、光磁気ディスク 5 3 (MD (Mi ni- Disc) (商標）を含む）、もしくは半導体メモリ 5 4などよりなるパッケージメディアにより構成されるだけでなく、コンピュータに予め組み込まれた状態でユーザに提供される、プログラムが記録されている ROM 2 2や、記憶部 2 8に含まれるハードディスクなどで構成される。

なお、本明細書において、記録媒体に記録されるプログラムを記述するステツプは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。産業上の利用可能性

第 1の本発明によれば、画像における混ざり合いの状態を知ることが可能となる。

第 2の発明によれば、画像における混ざり合いの状態を知ることが可能となる _c

Claims

請求の範囲

1 . 時間積分効果を有する所定数の画素を有する撮像素子によって取得された所定数の画素データからなる画像データを処理する画像処理装置において、前記画像データに対応して、前景オブジェクトを構成する前景オブジェクト成分および背景オブジェクトを構成する背景オブジェクト成分が混合されてなる混合領域と、前記前景オブジェクト成分のみからなる前景領域と、前記背景ォブジェクト成分のみからなる背景領域とからなる非混合領域とを特定する領域特定手段と、

前記領域情報により特定される、前記前景オブジェクトの動き方向に基づく所定方向の前記混合領域の幅と、注目している注目画素の位置から前記混合領域の端までの前記所定方向に沿った距離との比率を基に、前記注目画素の、前記前景オブジェク卜成分と前記背景ォブジ-クト成分との混合の比率を示す混合比を推定する混合比推定手段と

を含むことを特徴とする画像処理装置。

2 . 前記前景オブジェクトの動きベクトルを検出する動きベクトル検出手段をさらに含み、

前記混合比推定手段は、前記動きべクトルの動き方向に沿って、前記混合領域の幅、および前記注目画素の位置から前記混合領域の端までの距離を検出し、前記混合領域の幅と、前記注目画素の位置から前記混合領域の端までの距離との比率を基に、前記混合比を推定する

ことを特徴とする請求の範囲第 1項に記載の画像処理装置。

3 . 前記前景オブジェク卜の動き方向を検出する動き方向検出手段をさらに含み、

前記混合比推定手段は、前記動き方向に沿って、前記混合領域の幅、および前記注目画素の位置から前記混合領域の端までの距離を検出し、前記混合領域の幅と、前記注目画素の位置から前記混合領域の端までの距離との比率を基に、前記混合比を推定することを特徴とする請求の範囲第 1項に記載の画像処理装置。

4 . 前記動き方向検出手段は、領域情報を基に、前記注目している注目フレームにおける混合領域の位置、および前記注目フレームの近傍の近傍フレームにおける混合領域の位置を基に、動きべクトルを生成する動きべクトル生成手段を含み、

生成した前記動きべクトルを基に、前記動き方向を検出する

ことを特徴とする請求の範囲第 3項に記載の画像処理装置。

5 . 時間積分効果を有する所定数の画素を有する撮像素子によって取得された所定数の画素データからなる画像データを処理する画像処理装置の画像処理方法において、

前記画像データに対応して、前景オブジェクトを構成する前景オブジェクト成分および背景オブジェクトを構成する背景ォブジェクト成分が混合されてなる混合領域と、前記前景オブジェクト成分のみからなる前景領域と、前記背景ォブジェクト成分のみからなる背景領域とからなる非混合領域とを特定する領域特定ステツプと、

前記領域情報により特定される、前記前景ォブジユタトの動き方向に基づく所定方向の前記混合領域の幅と、注目している注目画素の位置から前記混合領域の端までの前記所定方向に沿った距離との比率を基に、前記注目画素の、前記前景オブジェクト成分と前記背景オブジェクト成分との混合の比率を示す混合比を推定する混合比推定ステップと

を含むことを特徴とする画像処理方法。

6 . 前記前景ォブジェクトの動きべクトルを検出する動きべクトル検出ステツプをさらに含み、

前記混合比推定ステップにおいて、前記動きベクトルの動き方向に沿って、前記混合領域の幅、および前記注目画素の位置から前記混合領域の端までの距離が検出され、前記混合領域の幅と、前記注目画素の位置から前記混合領域の端までの距離との比率を基に、前記混合比が推定されることを特徴とする請求の範囲第 5項に記載の画像処理方法。

7 . 前記前景オブジェクトの動き方向を検出する動き方向検出ステップをさらに含み、

前記混合比推定ステップにおいて、前記動き方向に沿って、前記混合領域の幅、および前記注目画素の位置から前記混合領域の端までの距離が検出され、前記混合領域の幅と、前記注目画素の位置から前記混合領域の端までの距離との比率を基に、前記混合比が推定される

ことを特徴とする請求の範囲第 5項に記載の画像処理方法。

8 . 前記動き方向検出ステップは、領域情報を基に、前記注目している注目フレームにおける混合領域の位置、および前記注目フレームの近傍の近傍フレームにおける混合領域の位置を基に、動きべクトルを生成する動きべクトル生成ステップを含み、

生成した前記動きベクトルを基に、前記動き方向を検出する

ことを特徴とする請求の範囲第 7項に記載の画像処理方法。

9 . 時間積分効果を有する所定数の画素を有する撮像素子によって取得された所定数の画素データからなる画像データを処理する画像処理用のプログラムであつて、

前記画像データに対応して、前景オブジェクトを構成する前景オブジェクト成分および背景オブジェクトを構成する背景オブジェクト成分が混合されてなる混合領域と、前記前景オブジェクト成分のみからなる前景領域と、前記背景ォブジェクト成分のみからなる背景領域とからなる非混合領域とを特定する領域特定ステツプと、

前記領域情報により特定される、前記前景オブジェクトの動き方向に基づく所定方向の前記混合領域の幅と、注目している注目画素の位置から前記混合領域の端までの前記所定方向に沿った距離との比率を基に、前記注目画素の、前記前景オブジェクト成分と前記背景オブジェクト成分との混合の比率を示す混合比を推定する混合比推定ステップとを含むことを特徴とするコンピュータが読み取り可能なプログラムが記録されている記録媒体。

1 0 . 前記プログラムは、前記前景オブジェクトの動きべクトルを検出する動きべクトル検出ステップをさらに含み、

前記混合比推定ステップにおいて、前記動きベクトルの動き方向に沿って、前記混合領域の幅、および前記注目画素の位置から前記混合領域の端までの距離が検出され、前記混合領域の幅と、前記注目画素の位置から前記混合領域の端までの距離との比率を基に、前記混合比が推定される

ことを特徴とする請求の範囲第 9項に記載の記録媒体。

1 1 . 前記プログラムは、前記前景オブジェクトの動き方向を検出する動き方向検出ステップをさらに含み、

ことを特徴とする請求の範囲第 9項に記載の記録媒体。

1 2 . 前記動き方向検出ステップは、領域情報を基に、前記注目している注目フレームにおける混合領域の位置、および前記注目フレームの近傍の近傍フレームにおける混合領域の位置を基に、動きべクトルを生成する動きべクトル生成ステツプを含み、

ことを特徴とする請求の範囲第 1 1項に記載の記録媒体。

1 3 . 時間積分効果を有する所定数の画素を有する撮像素子によって取得された所定数の画素データからなる画像データを処理するコンピュータに、

前記画像データに対応して、前景オブジェクトを構成する前景オブジェクト成分および背景オブジェクトを構成する背景オブジェクト成分が混合されてなる混合領域と、前記前景オブジェクト成分のみからなる前景領域と、前記背景ォブジクト成分のみからなる背景領域とからなる非混合領域とを特定する領域特定ステツプと、

前記領域情報により特定される、前記前景オブジェクトの動き方向に基づく所定方向の前記混合領域の幅と、注目している注目画素の位置から前記混合領域の端までの前記所定方向に沿った距離との比率を基に、前記注目画素の、前記前景オブジェクト成分と前記背景オブジェクト成分との混合の比率を示す混合比を推定する混合比推定ステップと

を実行させるプログラム。

1 4 . 前記前景オブジェクトの動きべクトルを検出する動きべクトル検出ステップをさらに含み、

ことを特徴とする請求の範囲第 1 3項に記載のプログラム。

1 5 . 前記前景ォブジェクトの動き方向を検出する動き方向検出ステップをさらに含み、

ことを特徴とする請求の範囲第 1 3項に記載のプログラム。

1 6 . 前記動き方向検出ステップは、領域情報を基に、前記注目している注目フレームにおける混合領域の位置、および前記注目フレームの近傍の近傍フレームにおける混合領域の位置を基に、動きべクトルを生成する動きべクトル生成ステツプを含み、

生成した前記動きべクトルを基に、前記動き方向を検出することを特徴とする請求の範囲第 1 5項に記載のプログラム。

1 7 . 時間積分効果を有する所定数の画素を有する撮像素子によって撮像された被写体画像を、所定数の画素データからなる画像データとして出力する撮像手段と、

前記画像データに対応して、前景ォブジェクトを構成する前景ォブジェクト成分および背景オブジェクトを構成する背景オブジェクト成分が混合されてなる混合領域と、前記前景オブジェクト成分のみからなる前景領域と、前記背景ォブジエタト成分のみからなる背景領域とからなる非混合領域とを特定する領域特定手段と、

前記領域情報により特定される、前記前景オブジェクトの動き方向に基づく所定方向の前記混合領域の幅と、注目している注目画素の位置から前記混合領域の端までの前記所定方向に沿った距離との比率を基に、前記注目画素の、前記前景オブジェクト成分と前記背景オブジェクト成分との混合の比率を示す混合比を推定する混合比推定手段と

を含むことを特徴とする撮像装置。

1 8 . 前記前景オブジェクトの動きべクトルを検出する動きべクトル検出手段をさらに含み、

前記混合比推定手段は、前記動きベクトルの動き方向に沿って、前記混合領域の幅、および前記注目画素の位置から前記混合領域の端までの距離を検出し、前記混合領域の幅と、前記注目画素の位置から前記混合領域の端までの距離との比率を基に、前記混合比を推定する

ことを特徴とする請求の範囲第 1 7項に記載の撮像装置。

1 9 . 前記前景ォブジクトの動き方向を検出する動き方向検出手段をさらに含み、

前記混合比推定手段は、前記動き方向に沿って、前記混合領域の幅、および前記注目画素の位置から前記混合領域の端までの距離を検出し、前記混合領域の幅と、前記注目画素の位置から前記混合領域の端までの距離との比率を基に、前記混合比を推定する

ことを特徴とする請求の範囲第 1 7項に記載の撮像装置。

2 0 . 前記動き方向検出手段は、領域情報を基に、前記注目している注目フレームにおける混合領域の位置、および前記注目フレームの近傍の近傍フレームにおける混合領域の位置を基に、動きべクトルを生成する動きべクトル生成手段を含み、

ことを特徴とする請求の範囲第 1 9項に記載の撮像装置。

2 1 . 時間積分効果を有する所定数の画素を有する撮像素子によって取得された所定数の画素データからなる画像データを処理する画像処理装置において、前記画像データに対応して、前景オブジェクトを構成する前景オブジェクト成分および背景オブジェクトを構成する背景オブジェクト成分が混合されてなる混合領域を特定する領域情報を出力する領域特定手段と、

前記混合領域における前記前景オブジェクト成分と前記背景オブジェクト成分との混合の比率を示す混合比の変化が前記画素の位匱に対して略直線的であるとして、前記領域情報および前記前景オブジェクトの動き方向に基づき、前記混合比を推定する混合比推定手段と

を含むことを特徴とする画像処理装置。

2 2 . 前記混合比推定手段は、 1端が前記前景オブジェクト成分のみからなる前景領域に位置し、他の 1端が前記背景オブジェクト成分のみからなる背景領域に位置し、かつ前記混合領域を横断する線分上の位置を基に、前記線分上の位置に対応する前記画素の前記混合比を推定する

ことを特徴とする請求の範囲第 2 1項に記載の画像処理装置。

2 3 . 前記混合比推定手段は、前記前景オブジェクトの動き方向と平行する前記線分上の位置を基に、前記線分上の位置に対応する前記画素の前記混合比を推定する

ことを特徴とする請求の範囲第 2 2項に記載の画像処理装置。

2 4 . 前記混合比推定手段は、前記前景オブジェクトの動き方向に斜交する前記線分上の位置を基に、前記線分上の位置に対応する前記画素の前記混合比を推定する

2 5 . 時間積分効果を有する所定数の画素を有する撮像素子によって取得された所定数の画素データからなる画像データを処理する画像処理方法において、前記画像データに対応して、前景オブジェク卜を構成する前景オブジェクト成分および背景オブジェクトを構成する背景オブジェクト成分が混合されてなる混合領域を特定する領域情報を出力する領域特定ステツプと、

前記混合領域における前記前景オブジェクト成分と前記背景オブジェクト成分との混合の比率を示す混合比の変化が前記画素の位置に対して略直線的であるとして、前記領域情報および前記前景オブジェクトの動き方向に基づき、前記混合比を推定する混合比推定ステップと

を含むことを特徴とする画像処理方法。

2 6 . 前記混合比推定ステップにおいて、 1端が前記前景オブジェクト成分のみからなる前景領域に位置し、他の 1端が前記背景オブジェクト成分のみからなる背景領域に位置し、かつ前記混合領域を横断する線分上の位置を基に、前記線分上の位置に対応する前記画素の前記混合比が推定される

ことを特徴とする請求の範囲第 2 5項に記載の画像処理方法。

2 7 . 前記混合比推定ステップにおいて、前記前景オブジェクトの動き方向と平行する前記線分上の位置を基に、前記線分上の位置に対応する前記素の前記混合比が推定される

ことを特徴とする請求の範囲第 2 6項に記載の画像処理方法。

2 8 . 前記混合比推定ステップにおいて、前記前景オブジェクトの動き方向に斜交する前記線分上の位置を基に、前記線分上の位置に対応する前記画素の前記混合比が推定される

2 9 . 時間積分効果を有する所定数の画素を有する撮像素子によって取得された所定数の画素データからなる画像データを処理する画像処理用のプログラムであって、

前記画像データに対応して、前景オブジェクトを構成する前景オブジェクト成分および背景オブジェクトを構成する背景オブジェクト成分が混合されてなる混合領域を特定する領域情報を出力する領域特定ステップと、

を含むことを特徴とするコンピュータが読み取り可能なプログラムが記録されている記録媒体。

3 0 . 前記混合比推定ステップにおいて、 1端が前記前景オブジェクト成分のみからなる前景領域に位置し、他の 1端が前記背景オブジェクト成分のみからなる背景領域に位置し、かつ前記混合領域を横断する線分上の位置を基に、前記線分上の位置に対応する前記画素の前記混合比が推定される

ことを特徴とする請求の範囲第 2 9項に記載の記録媒体。

3 1 . 前記混合比推定ステップにおいて、前記前景オブジェクトの動き方向と平行する前記線分上の位置を基に、前記線分上の位置に対応する前記画素の前記混合比が推定される

ことを特徴とする請求の範囲第 3 0項に記載の記録媒体。

3 2 . 前記混合比推定ステップにおいて、前記前景オブジェクトの動き方向に斜交する前記線分上の位置を基に、前記線分上の位置に対応する前記画素の前記混合比が推定される

ことを特徴とする請求の範囲第 3 0項に記載の記録媒体。

3 3 . 時間積分効果を有する所定数の画素を有する撮像素子によって取得された所定数の画素データからなる画像データを処理するコンピュータに、前記画像データに対応して、前景オブジェクトを構成する前景オブジェクト成分および背景オブジェクトを構成する背景オブジェクト成分が混合されてなる混合領域を特定する領域情報を出力する領域特定ステップと、

前記混合領域における前記前景ォブジェクト成分と前記背景オブジェクト成分との混合の比率を示す混合比の変化が前記画素の位置に対して略直線的であるとして、前記領域情報および前記前景オブジェクトの動き方向に基づき、前記混合比を推定する混合比推定ステップと

を実行させるプログラム。

3 4 . 前記混合比推定ステップにおいて、 1端が前記前景オブジェクト成分のみからなる前景領域に位置し、他の 1端が前記背景ォブジェクト成分のみからなる背景領域に位置し、かつ前記混合領域を横断する線分上の位置を基に、前記線分上の位置に対応する前記画素の前記混合比が推定される

ことを特徴とする請求の範囲第 3 3項に記載のプログラム。

3 5 . 前記混合比推定ステップにおいて、前記前景オブジェクトの動き方向と平行する前記線分上の位置を基に、前記線分上の位置に対応する前記画素の前記混合比が推定される

ことを特徴とする請求の範囲第 3 4項に記載のプログラム。

3 6 . 前記混合比推定ステップにおいて、前記前景オブジェクトの動き方向に斜交する前記線分上の位置を基に、前記線分上の位置に対応する前記画素の前記混合比が推定される

ことを特徴とする請求の範囲第 3 4項に記載のプログラム。

3 7 . 時間積分効果を有する所定数の画素を有する撮像素子によって撮像された被写体画像を、所定数の画素データからなる画像データとして出力する撮像手段と、

前記画像データに対応して、前景オブジェクトを構成する前景オブジェクト成分および背景オブジェクトを構成する背景オブジェクト成分が混合されてなる混合領域を特定する領域情報を出力する領域特定手段と、前記混合領域における前記前景ォブジェクト成分と前記背景オブジェクト成分との混合の比率を示す混合比の変化が前記画素の位置に対して略直線的であるとして、前記領域情報および前記前景オブジェクトの動き方向に基づき、前記混合比を推定する混合比推定手段と

を含むことを特徴とする撮像装置。

3 8 . 前記混合比推定手段は、 1端が前記前景オブジェクト成分のみからなる前景領域に位置し、他の 1端が前記背景オブジェクト成分のみからなる背景領域に位置し、かつ前記混合領域を横断する線分上の位置を基に、前記線分上の位置に対応する前記画素の前記混合比を推定する

ことを特徴とする請求の範囲第 3 7項に記載の撮像装置。

3 9 . 前記混合比推定手段は、前記前景オブジェクトの動き方向と平行する前記線分上の位置を基に、前記線分上の位置に対応する前記画素の前記混合比を推定する

ことを特徴とする請求の範囲第 3 8項に記載の撮像装置。

4 0 . 前記混合比推定手段は、前記前景オブジェクトの動き方向に斜交する前記線分上の位置を基に、前記線分上の位置に対応する前記画素の前記混合比を推定する

ことを特徴とする請求の範囲第 3 8項に記載の撮像装置。