WO2006082967A1

WO2006082967A1 - 撮像装置

Info

Publication number: WO2006082967A1
Application number: PCT/JP2006/301998
Authority: WO
Inventors: Kenichi Honjo; Kyoichi Miyazaki; Mitsuyoshi Okamoto
Original assignee: Matsushita Electric Industrial Co., Ltd.
Priority date: 2005-02-07
Filing date: 2006-02-06
Publication date: 2006-08-10
Also published as: US20100277636A1; JP2008312242A; US20080131109A1; JP4245185B2; US7769285B2; JPWO2006082967A1

Description

明細書

撮像装置

技術分野

[0001] 本発明は、デジタルスチルカメラ、デジタルビデオカメラ等の撮像装置に関し、特定的には、オートフォーカス機能を備えるデジタルスチルカメラ、デジタルビデオカメラ等の撮像装置に関する。

背景技術

[0002] 現在、 CCDや CMOSなどの撮像素子を備えるデジタルスチルカメラ、デジタルビデォカメラ等の撮像装置が爆発的に普及している。これらの撮像装置は、一般的に被写体の画像信号に基づき合焦状態を検出し、検出結果に基づいて撮影光学系に含まれるフォーカスレンズ群を光軸方向に移動させることにより、オートフォーカス制御を行うものが主流である。

[0003] 撮像装置の多機能化に伴って、オートフォーカス制御に対しても高機能化が求められるようになってきている。例えば、特許文献 1には、撮像装置に適用され、フォー力ス調整を行うオートフォーカス装置が記載されて、る。当該オートフォーカス装置は、被写体の画像信号を複数のフォーカスエリアに分割し、それぞれフォーカスエリアに含まれる肌色画素の数をカウントして、フォーカス調整を行うためのフォーカスエリアを特定する。

[0004] 特許文献 1に記載された従来のオートフォーカス装置は、主被写体として人物を想定している。すなわち、当該オートフォーカス装置は、肌色画素に基づいてフォー力ス制御を行うことにより、フォーカスエリアが人物に追従し、常に人物に的確に合焦できるとしている。

特許文献 1：特開 2004— 37733号公報

発明の開示

発明が解決しょうとする課題

[0005] 特許文献 1に記載された従来のオートフォーカス装置は、人物に追従してフォー力ス追従を行うことを想定し、フォーカス追従して、るエリアをマーカーなどで表示させる、あるいは複数のフォーカスエリアの中力も選択して表示させる。し力しながら、この場合、オートフォーカス装置本体の振れなどによって、撮影前のモニタ画面に表示されているマーカーまたは選択されたフォーカスエリアの位置が小刻みに変化し、モ- タ画面が非常に見づらくなるという問題がある。特に、高倍率で撮像する場合、この影響が顕著になってしまう。

[0006] また、特許文献 1に記載の従来のオートフォーカス装置では、モニタ画面の広ヽ範囲でフォーカス追従のための特徴点抽出を行う必要があるため、演算処理の負荷が重くなつてしまう。さらに、主被写体として人物のみを想定しているため、他の被写体の場合にフォーカス追従を行うことができな、。デジタルスチルカメラやデジタルビデォカメラ等の撮像装置は、主被写体が人物である場合ばカゝりではないため、特許文献 1に記載の従来のオートフォーカス装置は、ユーザの要求に十分に応えることができない。

[0007] それゆえに、本発明の目的は、移動する被写体に対してフォーカス調整を行うことができ、かつ表示すべきフォーカスエリアの不要な変動を防止することができる撮像装置を提供することである。

課題を解決するための手段

[0008] 本発明の目的の 1つは、以下の構成を備えた撮像装置によって達成される。被写体の電気的な画像信号を出力する撮像装置であって、焦点調節を行うためのフォーカスレンズ群を含み、被写体の光学的な像を形成する撮像光学系と、被写体の光学的な像を撮像して、電気的な画像信号に変換する撮像素子と、画像信号を複数のェリアに分割する画像分割部と、複数のエリアのうち、少なくとも 1つのエリアを含む第 1 のエリア群内で撮像光学系の合焦情報を算出する合焦情報算出部と、合焦情報に基づいて、フォーカスレンズ群を光軸方向に駆動制御するレンズ駆動制御部と、複数のエリアのうち、少なくとも 1つのエリアを含む第 2のエリア群内で被写体の特徴点を抽出し、当該特徴点の位置を示す特徴点位置情報として出力する特徴点抽出部と、特徴点位置情報の時間的な振動周波数の低域成分を抽出し、抽出位置情報として出力する低域通過フィルタと、抽出位置情報に基づいて、表示すべき第 2のエリア群の位置を演算し、表示位置情報として出力するエリア選択部とを備える。発明の効果

[0009] 本発明によれば、移動する被写体に対してフォーカス調整を行うことができ、かつ表示すべきフォーカスエリアの不要な変動を防止することができる撮像装置を提供することがでさる。

図面の簡単な説明

[0010] [図 1]図 1は、本発明の実施の形態 1における撮像装置のブロック図である。

[図 2]図 2は、表示部 17に表示されるエリア枠の表示位置を示す図である。

[図 3]図 3は、本発明の実施の形態 1における撮像装置本体背面の概略図である。

[図 4]図 4は、参照色情報設定処理における撮像装置の動作を示すフローチャートである。

[図 5]図 5は、被写体が写し出された表示部 17の概観図である。

[図 6]図 6は、本発明の実施の形態 1における被写体とエリア枠が写し出された表示部 17の概観図である。

[図 7]図 7は、実施の形態 1における色相及び彩度情報の演算式である。

[図 8]図 8は、実施の形態 1における色相及び彩度情報のチャート図である。

[図 9]図 9は、実施の形態 1における参照色情報と参照近傍領域 1を示した色相及び彩度情報のチャート図である。

[図 10]図 10は、フォーカス追従撮像処理における撮像装置の動作を示すフローチヤートである。

[図 11A]図 11Aは、実施の形態 1における被写体と AFエリア枠とが写し出された表示部 17の概観図である。

[図 11B]図 11Bは、実施の形態 1における被写体と AFエリア枠とが写し出された表示部 17の概観図である。

[図 11C]図 11Cは、実施の形態 1における被写体と AFエリア枠とが写し出された表示部 17の概観図である。

[図 11D]図 11Dは、実施の形態 1における被写体と AFエリア枠とが写し出された表示部 17の概観図である。

[図 12]図 12は、図 11A〜Dにおいて、単位エリア Bla〜Bldが移動する様子を模式的に示す図である。

[図 13]図 13は、特徴点位置演算部によって演算される特徴点の座標を示す図である。

[図 14A]図 14Aは、表示部 17に表示される表示エリア枠と特徴点との座標関係を示す図である。

[図 14B]図 14Bは、表示部 17に表示される表示エリア枠と特徴点との座標関係を示す図である。

[図 15]図 15は、本発明の実施の形態 2に係る撮像装置の構成を示すブロック図である。

[図 16]図 16は、本発明の実施の形態 4に係る撮像装置の構成を示すブロック図である。

[図 17]図 17は、本発明の実施の形態 5に係る撮像装置の構成を示すブロック図である。

[図 18]図 18は、実施の形態 5に係る撮像装置のフォーカス追従撮像処理における動作を示すフローチャートである。

[図 19]図 19は、本発明の実施の形態 6に係る撮像装置の構成を示すブロック図である。

[図 20]図 20は、実施の形態 6に係る撮像装置のフォーカス追従撮像処理における動作を示すフローチャートである。

[図 21]図 21は、特徴点位置演算部によって演算される特徴点の座標を示す図である。

[図 22]図 22は、実施の形態 6における AFエリア枠が表示された表示部 17の概観図である。

[図 23A]図 23Aは、実施の形態 7に係る被写体とエリア枠が写し出された表示部 17 の概観図である。

[図 23B]図 23Bは、実施の形態 7に係る被写体とエリア枠が写し出された表示部 17の概観図である。

[図 23C]図 23Cは、実施の形態 7に係る被写体とエリア枠が写し出された表示部 17 の概観図である。

[図 23D]図 23Dは、実施の形態 7に係る被写体とエリア枠が写し出された表示部 17 の概観図である。

[図 24]図 24は、実施の形態 7に係る低域通過フィルタ 36の詳細を示すブロック図である。

[図 25A]図 25Aは、実施の形態 7に係る低域通過フィルタ 36の入力信号波形である

[図 25B]図 25Bは、実施の形態 7に係る低域通過フィルタ 36の出力信号波形である。

[図 26]図 26は、実施の形態 7に係る低域通過フィルタ 36のカットオフ周波数 fcと像ぶれ評価点との関係を示すグラフである。

符号の説明

10 撮像装置本体

10a ファインダ

11 レンズ鏡筒

12 ズームレンズ

13 フォーカスレンズ

14 CCD

15 画像処理部

16 画像メモリ

17、 67 表示部

18 メモリーカード

19 操作部

19a シャッター釦

19b カーソルキー

19c 決定釦

19d メニュー釦

21 レンズ駆動部

30 システムコントローラ 31 画像分割部

32 合焦情報算出部

33 レンズ位置制御部

34 特徴点抽出部

35 特徴点位置演算部

36 低域通過フィルタ

37 AFエリア選択部

40 単位エリア選択部

41 特徴点情報設定部

42 焦点距離演算部

43 エリア面積変更部

発明を実施するための最良の形態

[0012] (実施の形態 1)

図 1は、本発明の実施の形態 1にかかる撮像装置のブロック図である。実施の形態 1にかかる撮像装置は、レンズ鏡筒 11と、撮像光学系であるズームレンズ系 12及びフォーカスレンズ 13と、撮像素子である CCD14と、画像処理部 15と、画像メモリ 16と、表示部 17と、操作部 19と、レンズ駆動部 21と、システムコントローラ 30とを含む。

[0013] レンズ鏡筒 11は、内部にズームレンズ系 12を保持する。ズームレンズ系 12及びフオーカスレンズ 13は、被写体の光学的な像を変倍可能に形成する撮像光学系である。撮像光学系は、被写体側から順に、変倍時に光軸に沿って移動するズームレンズ群 12a及びズームレンズ群 12bと、合焦状態に調節のために光軸に沿って移動するフォーカスレンズ 13とからなる。

[0014] CCD14は、ズームレンズ系 12が形成した光学的な像を所定のタイミングで撮像し、電気的な画像信号に変換して出力する撮像素子である。画像処理部 15は、 CCD 14から出力された画像信号にホワイトバランス補正や γ補正などの所定の画像処理を施す処理部である。画像メモリ 16は、画像処理部 15から出力された画像信号を一次的に格納する。

[0015] 表示部 17は、典型的には液晶ディスプレイであり、後述するシステムコントローラ 30 力もの指令に基づき、 CCD14から出力された画像信号あるいは画像メモリ 16に格納された画像信号を、画像処理部 15を介して入力させ、この画像信号を可視画像としてユーザに表示する。また、画像処理部 15は、ユーザにより着脱可能なメモリー力ード 18と双方向にアクセス可能である。メモリーカード 18は、後述するシステムコントローラ 30からの指令に基づき、 CCD14から出力された画像信号あるいは画像メモリ 16に格納された画像信号を、画像処理部 15を介して入力させて格納したり、格納された画像信号を、画像処理部 15を介して画像メモリ 16へ出力させ一時的に格納させたりする。

[0016] 操作部 19は、撮像装置本体の外側に設けられ、ユーザが撮像装置本体の設定を行うため、あるいは操作するために用いる釦類である。なお、操作部 19は、複数の操作釦を含むが詳細は図 3を用いて後述する。

[0017] レンズ駆動部 21は、後述するシステムコントローラ 30のレンズ位置制御部 33からの指令に基づき、フォーカスレンズ 13を光軸方向（A方向あるいは B方向）に駆動する駆動信号を出力する。また、レンズ駆動部 21は、ズームレバー（図示せず)をユーザが操作することによりズームレンズ 12を光軸方向に駆動させる機能も有する。

[0018] システムコントローラ 30は、画像分割部 31と、合焦情報算出部 32と、レンズ位置制御部 33と、特徴点抽出部 34と、特徴点位置演算部 35と、低域通過フィルタ 36と、 A Fエリア選択部 37と、単位エリア選択部 40とを含む。

[0019] 画像分割部 31は、画像メモリ 16から出力される画像信号を複数の単位エリアに分割する処理を行う。

[0020] 合焦情報算出部 32は、画像分割部 31により複数の単位エリアに分割された画像信号から、各単位エリアのコントラスト情報とフォーカスレンズ 13の位置情報とに基づいてデフォーカス量を演算する。合焦情報算出部 32は、少なくとも 1以上の単位エリァを含む第 1のエリア群内において、デフォーカス量を演算する。本実施の形態では、第 1のエリア群は、後述する被写体の特徴点を抽出する処理およびデフォーカス量を演算する処理を行う最小の単位エリア群で構成される。

[0021] レンズ位置制御部 33は、合焦情報算出部 32から出力されるデフォーカス量に基づ Vヽてフォーカスレンズ 13の位置を制御するための制御信号を生成し、レンズ駆動部 21へ出力する。また、レンズ位置制御部 33は、レンズ駆動部 21によりフォーカスレンズ 13を駆動させたときの位置情報を合焦状態算出部 32に出力する。このとき、合焦状態算出部 32は、フォーカスレンズ 13の位置情報とコントラスト情報とからデフォーカス量を算出することができる。

[0022] 特徴点抽出部 34は、画像分割部 31によって複数の単位エリアに分割された画像信号力も各単位エリアの特徴点を抽出する。本実施の形態において、特徴点抽出部 34は、各単位エリアの特徴点として色情報を算出し、算出した色情報を特徴点位置演算部 35へ出力する。特徴点は、少なくとも 1以上の単位エリアを含む第 2のエリア群内から抽出されるが、本実施の形態において、特徴点が抽出されるエリアは、後述する AFエリア選択部 37から出力された AFエリアの範囲を示す表示位置情報により決定されるものとして説明する。特徴点抽出部 34は、後述する AFエリア選択部 37から出力された特徴点設定エリアの範囲を示す表示位置情報に基づき、単位エリアに分割された画像信号のうち、特徴点設定エリアの範囲に含まれる各単位エリアの特徴点として色情報を算出し、特徴点情報設定部 41へ出力する。

[0023] 特徴点情報設定部 41は、特徴点抽出部 34から出力される各単位エリアの色情報のうち、ユーザにより選択された単位エリアの色情報を算出して格納させ、特徴点情報設定処理を行う。なお、特徴点情報設定部 41は、不揮発性メモリを含み、一旦格納させた参照色情報を撮像装置本体の電源を切った場合でも保持することが可能である。特徴点情報設定部 41は、フォーカス追従撮像処理を行う場合、格納している色情報を読み出して特徴点位置演算部 35へ出力する。

[0024] 特徴点位置演算部 35は、特徴点抽出部 34から出力される各単位エリアの特徴点と、特徴点情報設定部 41から出力される特徴点とを比較してほぼ一致する位置を演算する。本実施の形態において、特徴点位置演算部 35は、各単位エリアの色情報と、特徴点情報設定部 41から出力される色情報とを比較してほぼ一致する位置を演算する。特徴点位置演算部 35は、演算により得られた特徴点位置情報を低域通過フィルタ 36及び単位エリア選択部 40へ出力する。特徴点位置情報は、例えば座標を示す情報である。

[0025] 低域通過フィルタ 36は、特徴点位置演算部 35から出力される特徴点位置情報から高域成分を除去することにより、特徴点位置情報の時間的な振動周波数の低域成分を抽出して出力する。例えば、低域通過フィルタは、特徴点位置情報を加算してその平均値を出力する加算平均や、一定期間内に得られた特徴点位置情報の平均値を出力する移動平均により、特徴点位置情報の低域成分を抜き取る。低域通過フィルタ 36は、抽出した低域成分の値を抽出位置情報として AFエリア選択部 37へ出力する。

[0026] AFエリア選択部 37は、低域通過フィルタ 36から出力される抽出位置情報に基づき、表示部 17に表示させる AFエリアの位置を示す表示位置情報を生成し、特徴点抽出部 34及び表示部 17に出力する。 AFエリア選択部 37は、フォーカス追従撮像処理において、最初に AFエリアを表示させる際、図示しないメモリに予め格納されているデフォルトの表示位置情報を読み出し、特徴点抽出部 34及び表示部 17に出力する。

[0027] また、 AFエリア選択部 37は、特徴点情報設定処理において、最初に特徴点設定エリアを表示させる際、図示しな、メモリに予め格納されて、るデフォルトの表示位置情報を読み出し、特徴点抽出部 34及び表示部 17に出力する。

[0028] 単位エリア選択部 40は、特徴点位置演算部 35から出力される特徴点位置情報に基づき、特徴点位置情報が示す位置に存在する単位エリアを選択する。例えば、特徴点位置情報が座標を示す情報である場合、単位エリア選択部 40は、特徴点位置演算部 35から出力される座標を含む単位エリアを選択する。そして、単位エリア選択部 40は、選択した単位エリアを囲む単位エリア枠を表示部 17に表示させる。

[0029] 次に、 AFエリア及び単位エリアについて説明する。図 2は、表示部 17に表示されるエリア枠を示す図である。図 2では、表示部 17に表示すべき画像信号を横方向（X方向）に 18分割、縦方向（y方向）に 13分割させた例を示している。この場合、画像信号は 18 X 13個の単位エリアに分割され、表示部 17には、 18 X 13個の単位エリアをそれぞれ囲む単位エリア枠が表示される。

[0030] 図 2において、単位エリア BOは、後述する被写体の特徴点抽出処理及び合焦情報算出処理を行う単位エリアの一つを表し、この例では座標（10, 7)で表される。なお、 18 X 13個の単位エリア枠を必ずしも表示させなくともよぐ単位エリア選択部 40により選択された単位エリアを囲む単位エリア枠のみを表示させてもよい。例えば、すベてのエリア枠を表示させる場合、表示部 17の表示を見やすくするために、単位エリァ枠の線を細くするか薄、色の線を用いて表示させてもょ、。

[0031] また、後述するフォーカス追従撮像処理の動作中は、表示部 17には少なくとも 1つ以上の単位エリアから形成される AFエリア AOを囲む AFエリア枠が表示される。 AF エリア AOは、被写体のフォーカス追従撮像処理において特徴点が抽出されるエリアである。

[0032] 図 3は、本発明の実施の形態 1における撮像装置本体背面の概略図である。実施の形態 1にかかる撮像装置は、撮像装置本体 10と、表示部 17と、操作部 19と、ファインダー 10aとを含む。

[0033] ファインダー 10aは、光学的に被写体の像をユーザの瞳に導く光学系である。表示部 17は、先に説明した液晶ディスプレイであり、撮像された画像信号を可視画像としてユーザに表示する。操作部 19は、シャッター釦 19aと、カーソルキー 19bと、決定釦 19cと、メニュー釦 19dとからなる。

[0034] シャッター釦 19aは、ユーザにより半押しされることによってフォーカス追従撮像処理を開始させ、ユーザにより全押しされることによって撮像した画像をメモリーカードに格納させる操作を行う。カーソルキー 19bは、表示部 17に表示された各種動作モードのメニュー力項目及びその内容を選択するために操作される。決定釦 19cは、カーソルキー 19bによって選択された内容を決定するために操作される。メニュー釦 19dは、撮像装置本体の一般的な各種動作モードのメニュー表示を行うために操作される。

[0035] 各種動作モードのメニューの項目には、後述する表示部 17に撮像した画像信号の特徴点情報を格納させる (特徴点情報設定)処理を開始するかどうかが含まれる。ュ一ザが、メニュー釦 19dを操作して、表示部 17に特徴点情報設定処理の開始に関するメニューを表示させると、カーソルキー 19bは、ユーザによる操作でその内容の選択を受け付ける。この状態において、ユーザがカーソルキー 19bを操作し特徴点情報設定処理の開始を選択し、決定釦 19cを操作すると、特徴点情報設定部 41〖こより特徴点情報設定処理が開始される。 [0036] 図 4は、特徴点情報設定処理における撮像装置の動作を示すフローチャートである。図 4に示すフローチャートは、システムコントローラ 30上で動作するプログラムの動作フローを示す。また、図 5は、被写体が写し出された表示部 17の概観図である。図 5では、表示部 17に被写体 P2が写し出されている例を示している。また、図 6は、本発明の実施の形態 1における被写体とエリア枠が写し出された表示部 17の概観図である。図 6は、被写体 P2に 18 X 13個の単位エリア枠を表示させた例を示している。メニュー釦 19dと決定釦 19cにより色情報を参照するモードが設定された場合、参照色情報設定処理開始から処理が開始される。

[0037] ステップ S101において、 CCD 14で撮像された画像信号が画像処理部 15から出力され、表示部 17に可視画像を表示する。単位エリア選択部 40は、単位エリア枠を表示部 17に表示させる。このとき、表示部 17に表示されている画像は、図 6に示すように、可視画像と単位エリア枠とが重畳された表示状態となる。また、画像メモリ 16からシステムコントローラ 30の画像分割部 31に入力された画像信号は、単位エリアごとに分割される。

[0038] ステップ S102において、特徴点設定エリア C1が選択されたかどうかの入力待ちになる。特徴点設定エリア C1は、特徴点を設定するために用いられる。 AFエリア選択部 37は、特徴点設定エリア C 1の範囲を示す表示位置情報を表示部 17に出力し、表示部 17に特徴点設定エリア枠を表示させる。このとき特定のエリア (特徴点設定ェリア C1)が太枠で囲まれて表示され、選択可能であることが示される。ユーザは、太枠のエリアをカーソルキー 19bで移動させることができる。例えば、ユーザが太枠のェリアを移動させて決定釦 19cを押すと、図 6に示す特徴点設定エリア C1が選択されたことになり、ステップ S 103の処理に進む。

[0039] ステップ S103において、特徴点抽出部 34は、選択された特徴点設定エリア C1内に表示されている分割された画像の色情報を算出して、ステップ S 104の処理に進む。

[0040] ステップ S104において、特徴点情報設定部 41は算出された色情報を格納し、特徴点情報設定処理を終了する。

[0041] 図 7は、実施の形態 1における色相及び彩度情報の演算式である。以下、ステップ S103において説明した、特徴点抽出部 34の色相及び彩度情報の演算原理を説明する。なお、画像信号を赤 (以降では Rと称す)，緑 (以降では Gと称す)，青 (以降では Bと称す)で分けて表し、 R, G, Bをそれぞれ 256階調として説明する。

[0042] 色相及び彩度情報の演算は、特徴点抽出部 34にお、て実行される。はじめに、特徴点抽出部 34は、画像分割部 31から出力された分割された画像信号 (以下、分割画像信号と呼ぶ）に対して、 R, G, Bの最大値を求め、求められた最大値を Vとする（式 1)。次に、特徴点抽出部 34は、画像分割部 31から出力された分割画像信号に対して、最小値を求め、求められた最小値を Vから引き算して dとする（式 2)。さらに、特徴点抽出部 34は、 Vと dから彩度 Sを求める（式 3)。

[0043] 特徴点抽出部 34は、彩度 S = 0であれば色相 H = 0とする（式 4)。また、特徴点抽出部 34は、彩度 Sが 0以外の値である場合、所定の処理を行って色相を演算する（式 5〜式 7)。ここで、所定の処理とは、 R, G, Bの最大値力 ¾と等しい場合には式 5により色相 Hを求め、 Gと等しい場合には式 6により色相 Hを求め、 Bと等しい場合には式 7により色相 Hを求める処理である。

[0044] 最後に、特徴点抽出部 34は、求められた色相 Hが負の値に成っている場合、 360 を加算して、正の値に変換する（式 8)。以上のようにして、特徴点抽出部 34は、分割画像信号の色相及び彩度情報を演算により算出する。

[0045] 図 8は、実施の形態 1における色相及び彩度情報のチャート図である。図 8において、彩度 Sはチャートの半径方向に相当し、中心を S = 0とし、周辺へ向けて 0〜255 の範囲で増加するようにプロットされる。また、図 8において、色相 Hは、回転方向に相当し、回転方向に沿って 0〜359の値で表す。

[0046] 例えば、分割画像信号の色情報が R= 250, G= 180, B= 120であったとすると、特徴点抽出部 34は、前述した各式を用いて、各式力も V= 250、 d= 250— 120 = 1 30、 ^ tS = 130 X 255/250= 133,色相 H= (180— 120) X 60/133 = 27¾- 得ることができる。

[0047] 以上の通り、特徴点抽出部 34は、分割画像信号の彩度と色相とを算出する。算出された彩度と色相とを含む参照色情報は、特徴点情報として特徴点情報設定部 41 へ出力され保存される。次に、参照色情報に隣接して設定される参照近傍領域について説明する。

[0048] 特徴点抽出部 34により算出された参照色情報は、特徴点情報設定部 41に格納され、随時参照されて撮像されるべき被写体の色情報を判断するリファレンスとして用いられる。ところで、一般に、同一被写体であっても照明光や露光時間などの要因によって、撮像した色情報が微妙に変化する場合がある。したがって、参照色情報と撮像されるべき被写体の色情報とを比較する場合、参照色情報に一定の許容幅を持たせて、同一性判断をすることが望ましい。この参照色情報の一定の許容幅を参照近傍領域と呼ぶ。

[0049] 以下、参照近傍領域を算出する例を示す。図 9は、実施の形態 1における参照色情報と参照近傍領域 1を示した色相及び彩度情報のチャート図である。図 9において、参照色情報 (HI, SI)としてプロットされた点は、特徴点情報設定部 41で格納された色情報に相当する。なお、参照色情報は、一例として先に算出した R= 250, G = 180, B= 120とした場合に求められる色相 H = 27 (=H1)、彩度 S = 130 ( = S1)を表している。

[0050] 参照近傍領域 1は、格納されて、る参照色情報 HIに対して許容幅を規定した領域である。色相の許容幅 Δ Η= 10とすると、参照近傍領域 1は、色相は Hl ± 10の領域に相当し、図 9において、 1本の円弧と 2本の半径方向の線分で囲まれる領域となる。

[0051] 以上説明した例では、いずも色相の許容幅を一律に設定した力これに限られない。補助光源を使用する場合などでは、光源の色相情報に基づいて参照される色情報の範囲を補正することで、暗所で撮像装置を使用している場合においても参照範囲を正確に規定することが可能になる。例えば、 LED等を用いた赤系色の補助光源の場合には HIを 0の方向にシフトさせるで補正が可能である。

[0052] 次に、フォーカス追従動作について説明する。図 10は、フォーカス追従撮像処理における撮像装置の動作を示すフローチャートである。図 10に示すフローチャートは、システムコントローラ 30上で動作するプログラムの動作フローを示す。また、図 11は、実施の形態 1における被写体と AFエリア枠とが写し出された表示部 17の概観図である。図 11A〜Dは、被写体 P1に 18 X 13個の単位エリア枠と AFエリア枠（エリア A1 )を表示させた例を示している。図 11A〜Dは、それぞれ lZ30[s]の時間が経過する毎に被写体 P1が表示部 17上を移動する様子を示している。これに伴い、特徴点抽出部 34において抽出される被写体の特徴点が存在する単位エリア枠は、エリア B la、エリア Blb、エリア Blc、エリア Bidの順で移動する。図 10において、ユーザによりシャッター釦 19aが半押しされた場合、フォーカス追従撮像処理が開始される。

[0053] ステップ S201において、表示部 17は、可視画像及び AFエリア枠を表示する。具体的には、表示部 17は、 CCD 14で撮像され画像処理部 15で所定の画像処理が施された画像信号を可視画像として表示する。また、画像信号は画像分割部 31により 1 8 X 13個の単位エリアで分割され、そのうちの 7 X 5個の単位エリアで AFエリア A1が形成される。 AFエリア A1を囲む AFエリア枠は、画像信号に重ねて表示される。このとき、表示部 17には、図 11Aに示すように、可視画像と AFエリア枠とが重畳された表示状態となる。なお、図 11Aには、単位エリア枠も表示している力単位エリア枠は表示しなくてちょい。

[0054] 次に、ステップ S202において、 AFエリア A1の中心座標は表示部 17の所定範囲外にあるかどうかを判定する。 AFエリア A1の中心座標が所定範囲外にある場合、 A Fエリア枠が画面の外寄りに表示されてしまう。所定範囲とは、例えば、表示部 17の中央部付近の座標を含む範囲であり、例えば、図 11A〜Dにおいて、座標（3, 2)、 ( 14, 2)、 (14, 10)、 (3, 10)を結ぶエリアで形成される。

[0055] AFエリア A1の中心座標が所定範囲外にある場合、ステップ S203において、 AF エリア A1の中心座標をデフォルトにリセットする。ここでは、 AFエリア A1の中心座標を図 4に示す表示部 17の中心座標である座標（8, 6)に移動して表示部 17に表示させる。そして、再びステップ S201において、表示部 17は、可視画像及び AFエリア枠を表示する。一方、 AFエリア A1の中心座標が所定範囲内にある場合、ステップ S20 4の処理に進む。

[0056] ステップ S204において、単位エリア選択部 40は、 AFエリア A1内に特徴点がある力どうかを判定する。具体的には、特徴点情報設定部 41に格納されている参照色情報に基づき、先の図 9において説明した方法で参照近傍領域が算出され、特徴点抽出部 34から出力される各エリアの色情報が参照近傍領域内であるかどうかが判定される。特徴点があった場合、つまり、特徴点情報である参照色情報に近い色情報を有するエリアがあった場合、ステップ S205の処理に進む。一方、特徴点がな力つた場合、つまり参照色情報に近い色情報を有するエリアがな力つた場合、ステップ S20 8の処理に進む。

[0057] 画像分割部 31は、 18 X 13個の単位エリアに分割した画像信号を特徴点抽出部 3 4及び合焦情報算出部 32へ出力する。特徴点抽出部 34は、 AFエリア選択部 37から出力された表示位置情報情報に基づき、単位エリアに分割された画像信号のうち、AFエリア A1の範囲に含まれる各単位エリアの特徴点として色情報を算出する。

[0058] 図 11Aでは、特徴点として抽出されたエリア Blaは、座標（5, 6)で表される。次の図 11Bでは、特徴点として抽出されたエリア Bibは、座標（10, 5)で表される。次の図 11Cでは、特徴点として抽出されたエリア Blcは、座標（8, 4)で表される。次の図 11Dでは、特徴点として抽出されたエリア Bidは、座標（11, 8)で表される。

[0059] 、図 12は、図 11A〜Dにおいて、単位エリア Bla〜Bldが移動する様子を模式的に示す図である。図 11A、図 11B、図 11C、図 1 IDの順に被写体が移動すると、特徴点が抽出された単位エリア枠は、図 12に示す順で移動する。以下、表示部 17が図 1 1Dに示す状態である場合を例に説明する。

[0060] 次に、ステップ S205において、特徴点位置情報力も低域成分が抽出される。低域通過フィルタ 36は、選択された単位エリア（エリア Bla〜Bld)のうち現在の特徴点の座標（エリア Bidの座標）と前回の特徴点の座標（エリア Blcの座標）との加算平均を行い、抽出位置情報として出力する。

[0061] 続くステップ S206において、抽出位置情報に基づき、 AFエリア A1の表示位置を選択する。 AFエリア選択部 37は、 AFエリア A1の表示位置を選択して表示位置情報を出力し、表示部 17に AFエリア枠 A1を表示させる。

[0062] 次に、ステップ S 207において、単位エリア選択部 40により選択された単位エリア（エリア Bid)でデフォーカス量を演算する。具体的には、合焦情報算出部 32では単位エリア選択部 40において選択された各単位エリアの画像信号力もコントラストを算出してコントラストがピークになる位置までのデフォーカス量を演算する。さらに具体的には、合焦情報算出部 32からレンズ位置制御部 33へデフォーカス量を演算するという指令を送り、レンズ位置制御部 33ではレンズ駆動部 21によってフォーカスレンズ 13を A方向あるいは B方向に駆動させ、フォーカスレンズ 13の位置情報を合焦情報算出部 32に送る。このフォーカスレンズ 13の位置情報と画像信号力も算出されたコントラスト情報力もコントラスト値が最も高くなるフォーカスレンズの位置と現在位置とからデフォーカス量を演算する。

[0063] 次に、ステップ S 207において選択された単位エリア (例えば、エリア Bid)で合焦させる。具体的には、合焦情報算出部 32で演算したデフォーカス量をレンズ位置制御部 33へ送り、レンズ位置制御部 33ではこのデフォーカス量に基づ!/、てレンズ駆動部 21にフォーカスレンズ 13を駆動させ、被写体に合焦する。そして、ステップ S209の処理に進む。

[0064] 一方、ステップ S204において AFエリア（エリア A1)内に特徴点がないと判定された場合、ステップ S208において、合焦情報算出部 32、レンズ位置制御部 33、レンズ駆動部 21によりフォーカスレンズ 13を図 1の A方向あるいは B方向に駆動することにより合焦情報算出部 32は、フォーカスレンズの位置情報と画像信号力も生成されるコントラスト信号とから、 AFエリア内のすべてのエリアに対してコントラスト値が最も高くなるフォーカスレンズ 13の位置を演算する。このコントラスト値が最も高いフォーカスレンズ 13の位置と現在位置とからデフォーカス量を演算する。

[0065] ステップ S209においては、ステップ S207あるいはステップ S208の処理にて合焦情報算出部 32で求めたデフォーカス量に基づ、てレンズ位置制御部 33、レンズ駆動部 21によりフォーカスレンズ 13を選択エリアで合焦させる動作を行い、次のステツプ S210の処理に進む。ここで、ステップ S208においてはエリア A1内すベてのエリァで求めたデフォーカス量のうち最至近エリアのデフォーカス量を選択してステップ S 209で最至近エリアに合焦させるようにしてもよいし、中央付近のエリアを優先してデフォーカス量を選択してステップ S209で中央付近のエリアに合焦させるようにしてもよい。

[0066] 次に、ステップ S210において、シャッター釦 19aが全押しされたかどうかを判定し、全押しされた場合には次のステップ S211の処理に進む。シャッター釦 19aが離された場合には以上の処理はすべてやり直しとなる。ステップ S211ではシャッター釦 19 aが全押しされたタイミングで、システムコントローラ 30からの指令に基づき、画像メモリ 16または画像処理部 15から出力される画像信号をメモリーカードに格納させる撮像処理を行い、フォーカス追従撮像処理を終了させる。

[0067] 次に、本発明の特徴である AFエリアの表示位置制御方法について説明する。

[0068] 図 13は、特徴点位置演算部 35によって演算される特徴点の座標を示す図である。

図 13の上段に示すグラフは、特徴点が存在する単位エリアの X方向への経時変化を示すグラフである。当該グラフにおいて、縦軸は、表示部 17における特徴点の存在する単位エリアの X座標を表し、横軸は時間 tを表す。また、波形 Wxlは、特徴点位置演算部 35から出力される特徴点位置情報のうち、 X方向における位置の経時変化を示す波形である。波形 Wx2は、低域通過フィルタ 36から出力される抽出位置情報のうち、 X方向における位置の経時変化を示す波形である。このように、 Wxlの低域成分を抽出することにより、 Wxlに比べて変動が小さな波形を生成することができる

[0069] 一方、図 13の下段に示すグラフは、特徴点が存在する単位エリアの y方向への経時変化を示すグラフである。当該グラフにおいて、縦軸は、表示部 17における特徴点の存在する単位エリアの y座標を表し、横軸は時間 tを表す。また、波形 Wylは、特徴点位置演算部 35から出力される特徴点位置情報のうち、 y方向における位置の経時変化を示す波形である。波形 Wy2は、低域通過フィルタ 36から出力される抽出位置情報のうち、 y方向における位置の経時変化を示す波形である。このように、 Wy 1の低域成分を抽出することにより、 Wylに比べて変動が小さな波形を生成することができる。

[0070] 図 13に示す 2つのグラフには、合焦情報算出処理あるいは特徴点抽出処理を行う周期 Ts間隔で単位エリアの特徴点位置情報がプロットされる。例えば、図 11に示す被写体の特徴点の動きを座標で表す場合、特徴点は、図 11A、図 11B、図 11C、図 11Dの順に移動する。このとき、 X座標は、図 13に示す Xa ( = 5)、 Xb ( = 10)、 Xc ( =8)、 (1 (= 11)と表され、座標は、丫& ( = 6)、丫1₎ (= 5)、丫。（=4)、丫(1 (=8)と表される。

[0071] 図 14は、 AFエリア枠及び単位エリア枠が表示された表示部 17の概観を示す図である。図 11及び図 13を用いて説明した被写体の特徴点は、図 14Aに示すように、ェリア Bla、エリア Blb、エリア Blc、エリア Bidの順に座標が大きく変化している。特徴点が抽出された単位エリアのみを表示する場合、例えば、合焦情報算出処理あるいは特徴点抽出処理を行う周期 Tsが lZ30 [s]として表示部に表示する画像を更新すると、表示される単位エリアの位置が lZ30[s]ごとに変化するため、非常に見づらい画面になってしまう。

[0072] これに対し、本発明に係る撮像装置は、これらの被写体の特徴点が抽出された単位エリア（エリア Bla〜Bld)のみを表示するのではなぐ 1以上の単位エリアを範囲として含むように AFエリア（エリア A1)を設定して表示させるようにする。具体的には、低域通過フィルタ 36から出力される特徴点の存在するエリアの X座標と y座標それぞれの低域成分にしたがつてあら力じめ決めたエリア A1のサイズ (ここでは 7 X 5個の単位エリアを含むサイズ)の中心位置を設定し、表示部 17に表示させる。これ〖こより、図 14Aに示すように、被写体の特徴点の位置がエリア Bla、 Blb、 Blc、 Bidの順で小刻みに変化した場合であっても、 AFエリア（エリア A1)を安定した位置に表示させることがでさる。

[0073] また、図 14Bに示すように、被写体の特徴点が表示部 17の右上に存在する場合には、被写体の特徴点を抽出した単位エリア（エリア B2a〜B2d)そのものではなぐこれらのエリアを範囲として含むようにエリア A2が設定され表示される。したがって、 A Fエリアが表示部 17の中央に表示されている状態（図 14Aの状態)で撮像装置本体を左下の方向にパーユングすると、表示部 17に表示されている AFエリアは右上方向へゆっくりと移動していき、図 14Aから図 14Bの状態へと変化する。これにより、被写体に追従して、ることを明示するとともに見やす、AFエリアとして表示させることが可會になる。

[0074] 以上のように、本実施の形態によれば、表示された AFエリアの位置が小刻みに変動することがないため、被写体を捉えている範囲を見やすく画面上に表示させることができる高操作性の撮像装置を提供することが可能である。また、必要最小限の最適な大きさの AFエリア内で制御情報を演算するため、演算処理における負荷が軽減されることとなる。したがって、撮像装置の機能を向上させることができる。また、特徴点として用いる被写体の色情報はユーザによって任意に設定することができるため、撮像装置の機能をさらに向上させることができる。

[0075] また、本実施の形態によれば、 AFエリアの中心座標が所定範囲外にある場合、 A Fエリアの中心座標をデフォルトにリセットし、 AFエリア枠を画面の中央部付近に移動させる。撮像装置がデジタルスチルカメラやデジタルビデオカメラである場合、一般的には、ユーザは、被写体が画面の端部に移動すると、被写体が画面の中央部付近に写し出されるように撮像装置の向きを変える。したがって、 AFエリアの中心座標が所定範囲外にある場合に、 AFエリアの中心座標をデフォルトにリセットすることにより、 AFエリアの表示位置を画面の中央部付近に素早く移動させることができる。

[0076] なお、実施の形態 1において、画像分割部は画像信号を 18 X 13個の単位エリアに分割し、表示部には 18 X 13個の単位エリア枠が表示される場合を例に説明したが、単位エリアの設定は任意であり、適宜設定すればよい。また、単位エリアをいくつか合わせて単位エリアとしてもよい。また、その場合、複数の単位エリアが互いに重なり合ってもよい。

[0077] また、実施の形態 1では、 2 X 2個のエリア枠で特徴点情報を演算し記憶する例で説明したが、エリア枠のサイズ及び位置の設定は任意である。

[0078] また、実施の形態 1では、特徴点情報設定部 41に撮像した被写体の色情報を格納させる例について説明したが、これに限られない。例えば、撮像装置本体に、肌色などあら力じめ、くつかの参照色情報を特徴点情報として格納させてぉ、てもよ、。その場合、撮像装置が備えるメモリ等の記憶装置に予め特徴点情報を格納させておく。そして、特徴点抽出部 34は、特徴点を抽出する際に、予めメモリに格納されている特徴点情報に基づいて特徴点を抽出する。この場合、撮像装置に特徴点情報設定部 41を備えて、なくてもょ、。

[0079] また、実施の形態 1では、フォーカス追従に用いられる AFエリアを囲む枠を AFエリァ枠として表示させる例について説明した力フォーカス追従撮像処理に用いるエリァと表示させるエリアとは必ずしも一致している必要はない。例えば、 AFエリア内だけでなぐ全てのエリアにおいて、合焦情報算出処理及び特徴点抽出処理を行ってもよい。なお、 AFエリア枠の小刻みな位置変動を防止し、画面を見やすくするために、表示する AFエリア枠の面積は、合焦情報が算出されるエリアの面積よりも大きくすることが好ましい。

[0080] また、実施の形態 1では、フォーカス追従処理の開始時に最初に表示される AFェリアの表示位置と、その中心座標が所定範囲外になつた場合の AFエリアの表示位置とは、画面の中央部付近である例について説明した力 AFエリアのデフォルトの表示位置はこれに限られない。例えば、監視カメラ等において、被写体は画面の端部に現れることが多い。したがって、このような場合、 AFエリアのデフォルトの表示位置を画面の端部としてもょ、。

[0081] (実施の形態 2)

実施の形態 1において、撮像装置は、特徴点を抽出する際に色情報を利用していたが、これに対し、本実施の形態に係る撮像装置は、特徴点を抽出する際に輝度に関する情報を利用することを特徴とする。

[0082] 図 15は、本発明の実施の形態 2に係る撮像装置の構成を示すブロック図である。

実施の形態 2に係る撮像装置は、実施の形態 1に係る撮像装置と概略構成が等しいので、図 1と同様に機能する構成要素については同一の参照符号を付し、詳細な説明は省略する。

[0083] 図 15に示すシステムコントローラ 30aは、図 1に示す実施の形態 1に係る撮像装置が備えるシステムコントローラ 30と比較すると、特徴点抽出部 34及び特徴点情報設定部 41が省略されている点で相違する。また、図 15に示すシステムコントローラ 30a において、画像分割部及び特徴点位置演算部の動作が実施の形態 1と異なるため、本実施の形態における画像分割部及び特徴点位置演算部を、実施の形態 1における画像分割部 31及び特徴点位置演算部 35と区別するために、それぞれ画像分割部 31a及び特徴点位置演算部 35aと呼ぶ。

[0084] 画像分割部 31aは、画像分割部 31aは、単位エリア毎に分割した画像信号を合焦情報算出部 32及び特徴点位置演算部 35aへ出力する。

[0085] 特徴点位置演算部 35aは、画像分割部 31aにより複数の単位エリアに分割された画像信号から、各単位エリアの輝度に関する情報 (以下、輝度情報と呼ぶ）に基づいて特徴点が存在する位置を演算する。具体的には、特徴点位置演算部 35aは、輝度情報が示す輝度値のうち、時間の経過と共に変化するものがあるカゝ否かを判断する。特徴点位置演算部 35aは、所定のタイミングにおける画像信号の輝度値と、当該所定のタイミングカゝら一定時間が経過したタイミングにおける画像信号の輝度値とを比較し、輝度値の差分が所定の閾値よりも大きい場合に、輝度値が変化したと判断する。そして、特徴点位置演算部 35aは、輝度値が変化した位置を特徴点が存在する位置であると判断し、演算により得られた特徴点位置情報を低域通過フィルタ 36及び単位エリア選択部 40へ出力する。

[0086] 本実施の形態にぉ、て、フォーカス追従撮像処理における撮像装置の動作は、特徴点を抽出する際に輝度情報を用いることの他は実施の形態 1に係る撮像装置の動作と同様であるため、図 10を援用し、説明を省略する。

[0087] 以上のように、本実施の形態によれば、輝度情報を利用して被写体にフォーカス追従させることができる。なお、本実施の形態では、輝度値が変化した位置を特徴点として抽出していたが、輝度値を用いた特徴点の抽出方法はこれに限られず、例えば、ある特定の輝度値または一定値以上の輝度値を特徴点として予め設定してぉ、てもよい。その場合、ある特定の輝度値または一定値以上の輝度値を予めメモリに格納させておく。特徴点位置演算部はメモリに格納されている輝度値を読み出し、特徴点抽出処理を行う。これは、撮像装置が例えば監視カメラ等の備え付けカメラであって、写し出される背景がほぼ固定されている場合に特に有効である。

[0088] (実施の形態 3)

実施の形態 1において、撮像装置は、特徴点を抽出する際に色情報を利用していたが、これに対し、本実施の形態に係る撮像装置は、特徴点を抽出する際に動きべタトルを利用することを特徴とする。

[0089] 本実施の形態に係る撮像装置の構成は、実施の形態 2に係る撮像装置の構成と同様であるため、図 15を援用する。

[0090] 特徴点位置演算部 35aは、画像分割部 31aにより複数の単位エリアに分割された画像信号から、各単位エリアの輝度情報が示す輝度値に基づいて、所定の時間あたりの被写体 (特徴点）の動きベクトルを X方向及び y方向それぞれに検出する。特徴点位置演算部 35aは、検出した動きベクトルを特徴点情報として低域通過フィルタ 36及び単位エリア選択部 40へ出力する。

[0091] 本実施の形態において、フォーカス追従撮像処理における撮像装置の動作は、特徴点として動きベクトルを抽出することの他は実施の形態 1に係る撮像装置の動作と同様であるため、図 10を援用し、説明を省略する。

[0092] 以上のように、本実施の形態によれば、動きベクトルを利用してフォーカス追従することができる。

[0093] (実施の形態 4)

実施の形態 1において、撮像装置は、特徴点を抽出する際に色情報を利用していたが、これに対し、本実施の形態に係る撮像装置は、特徴点を抽出する際にエッジ情報を利用することを特徴とする。

[0094] 図 16は、本発明の実施の形態 4に係る撮像装置の構成を示すブロック図である。

本実施の形態に係る撮像装置は、実施の形態 1に係る撮像装置と概略構成が等しいので、図 1と同様に機能する構成要素については同一の参照符号を付し、詳細な説明は省略する。

[0095] 図 16に示すシステムコントローラ 30bは、図 1に示す実施の形態 1に係る撮像装置が備えるシステムコントローラ 30と比較すると、特徴点抽出部 34及び特徴点情報設定部 41が省略されている点で相違する。また、図 16に示すシステムコントローラ 30b において、特徴点位置演算部及び合焦情報算出部の動作が実施の形態 1と異なるため、本実施の形態における特徴点位置演算部及び合焦情報算出部を、実施の形態 1における特徴点位置演算部 35及び合焦情報算出部 32と区別するために、それぞれ特徴点位置演算部 35b及び合焦情報算出部 32bと呼ぶ。

[0096] 本実施の形態において、合焦情報算出部 32bは、各単位エリアのコントラスト情報を特徴点位置演算部 35bへ出力する。

[0097] 特徴点位置演算部 35bは、合焦情報算出部 32bから出力されるコントラスト情報に基づいて、特徴点が存在する位置を演算する。具体的には、特徴点位置演算部 35 bは、コントラスト情報に基づき、背景と被写体とのコントラスト差力も生じ、被写体の輪郭を示すエッジ情報を生成する。エッジ情報を生成する方法として、例えば、輝度値の比較により 2値化する方法や、微分フィルタを用、てエッジ検出する方法があるが、エッジ情報を生成することができる方法であればよぐこれら以外の方法を用いてェッジ情報を生成してもよい。

[0098] 特徴点位置演算部 35bは、所定のタイミングにおけるエッジ情報と、当該所定のタイミングから一定時間が経過したタイミングにおけるエッジ情報とを比較し、変化したエッジの位置を特徴点として抽出し、演算により得られた特徴点の特徴点位置情報を低域通過フィルタ 36及び単位エリア選択部 40へ出力する。

[0099] 本実施の形態にぉ、て、フォーカス追従撮像処理における撮像装置の動作は、特徴点としてエッジ情報を抽出することの他は実施の形態 1に係る撮像装置の動作と同様であるため、図 10を援用し、説明を省略する。

[0100] 以上のように、本実施の形態によれば、エッジ情報を利用してフォーカス追従すること

[0101] (実施の形態 5)

実施の形態 1〜4において、撮像装置は、ユーザによりシャッター釦 19aが半押しされた場合にフォーカス追従撮像処理を開始していた。これに対し、本実施の形態に係る撮像装置は、シャッター釦が半押しされ、かつ所定の焦点距離以上になるとフォ一カス追従撮像処理を開始することを特徴とする。

[0102] 図 17は、本発明の実施の形態 5に係る撮像装置の構成を示すブロック図である。

[0103] 図 17におけるシステムコントローラ 30cは、図 1に示す実施の形態 1に係る撮像装置が備えるシステムコントローラと比較すると、焦点距離演算部 42をさらに含む点で相違する。また、図 17に示すシステムコントローラ 30cにおいて、特徴点位置演算部及びレンズ位置制御部の動作が実施の形態 1と異なるため、本実施の形態における特徴点位置演算部及びレンズ位置制御部を、実施の形態 1における特徴点位置演算部 35及びレンズ位置制御部 33と区別するために、それぞれ特徴点位置演算部 3 5c及びレンズ位置制御部 33cと呼ぶ。

[0104] レンズ位置制御部 33cは、合焦情報算出部 32から出力されるデフォーカス量に基づ、てフォーカスレンズ 13の位置を制御するための制御信号を生成し、レンズ駆動部 21及び焦点距離演算部 42へ出力する。

[0105] 焦点距離演算部 42は、レンズ位置制御部 33cから出力される制御信号に基づき、焦点距離を演算する。そして、焦点距離が所定値以上になると、焦点距離演算部 42 は、フォーカス追従撮像処理を開始するよう特徴点位置演算部 35cに指示する。特徴点位置演算部 35cは、焦点距離演算部 42からフォーカス追従撮像処理を開始するための指示を受け取ると、フォーカス追従撮像処理を開始する。

[0106] 図 18は、実施の形態 5に係る撮像装置のフォーカス追従撮像処理における動作を示すフローチャートである。図 18に示すフローチャートは、システムコントローラ 30c 上で動作するプログラムの動作フローを示す。図 18において、ユーザによりシャツター釦 19aが半押しされた場合、フォーカス追従撮像処理が開始される。

[0107] ステップ S301において、焦点距離演算部 42は、レンズ位置制御部 33cから出力される制御信号に基づいて焦点距離を演算する。続くステップ S302において、焦点距離演算部 42は、演算した焦点距離が所定値以上である力否かを判断する。焦点距離が所定値未満である場合、焦点距離演算部 42はフォーカス追従撮像処理を終える。

[0108] 一方、焦点距離が所定値以上である場合、焦点距離演算部 42は、図 10のステツプ S 201の処理へ進む。ステップ S 201以降の処理は実施の形態 1と同様であるため、図 10を援用し、説明を省略する。

[0109] 以上のように、本実施の形態によれば、ユーザによりシャッター釦が半押しされ、力つ焦点距離が一定値以上となった場合にフォーカス追従撮像処理を開始することができる。これにより、高倍率で撮像する際に被写体の移動量が大きくなつた場合にお Vヽても、被写体を捉えて、る AFエリアの表示を見やすく画面に表示させることができる。

[0110] (実施の形態 6)

実施の形態 1〜5に係る撮像装置は、特徴点の移動に伴い AFエリア枠の位置のみを変更しており、 AFエリアの大きさは常に一定であった。これに対し、本実施の形態に係る撮像装置は、被写体の移動量に応じて AFエリアの大きさを変更することを特徴とする。

[0111] 図 19は、本発明の実施の形態 6に係る撮像装置の構成を示すブロック図である。

実施の形態 6に係る撮像装置は、実施の形態 1に係る撮像装置と概略構成が等しいので、図 1と同様に機能する構成要素については同一の参照符号を付し、詳細な説明は省略する。

[0112] 図 19に示すシステムコントローラ 30dは、図 1に示す実施の形態 1に係る撮像装置が備えるシステムコントローラ 30と比較すると、エリア面積変更部 43とをさらに含む点で相違する。また、図 19に示すシステムコントローラ 30dにおいて、特徴点位置演算部 35d及び AFエリア選択部 37dの動作が実施の形態 1と異なるため、本実施の形態における特徴点位置演算部及び AFエリア選択部を実施の形態 1における特徴点位置演算部 35及び AFエリア選択部 37と区別するために、それぞれ特徴点位置演算部 35d及び AFエリア選択部 37dと呼ぶ。

[0113] 特徴点位置演算部 35dは、実施の形態 1と同様に、特徴点抽出部 34により抽出された被写体の特徴点の X方向及び y方向の座標を演算して出力する。実施の形態 1 において、特徴点位置演算部 35dは、座標情報を低域通過フィルタ 36及び単位エリァ選択部 40へ出力していた。これに対し、本実施の形態において、特徴点位置演算部 35dは、座標情報を低域通過フィルタ 36、単位エリア選択部及びエリア面積変更部 43へ出力する。

[0114] エリア面積変更部 43は、特徴点位置演算部 35dから出力された特徴点位置情報に基づき、 AFエリアの面積を算出する。具体的には、エリア面積変更部 43は、特徴点位置情報の波形に対して包絡線検波や 2乗平均を行うなどして振幅を演算する。そして、エリア面積変更部 43は、振幅の変化に応じて、 AFエリアの面積を AFエリア選択部 37dに通知する。以下、特徴点位置情報として、 X座標及び y座標の情報に基づヽて包絡線検波を行ヽ、振幅を演算する場合を例に説明する。

[0115] AFエリア選択部 37dは、エリア面積変更部 43に通知された面積と、定期通過フィルタ 36から出力された抽出位置情報とに基づいて、 AFエリアの表示位置および面積を算出する。そして、 AFエリア選択部 37dは、算出した AFエリアの表示位置および面積を表示位置情報として表示部 17へ出力し、 AFエリア枠を表示させる。 [0116] 本実施の形態において、フォーカス追従撮像処理における撮像装置の動作は、実施の形態 1と比較すると、図 10に示すフローチャートのステップ S206以降の処理が異なる。図 20は、実施の形態 6に係る撮像装置のフォーカス追従撮像処理における動作を示すフローチャートである。以下、図 10及び図 20を参照し、本実施の形態に係る撮像装置の動作につ!、て説明する。

[0117] 図 10に示すステップ S206において、 AFエリア選択部 37dは、 AFエリアの表示位置を選択する。次に、図 20に示すステップ S401において、エリア面積変更部 43は、 AFエリアの面積を変更するカゝ否かを判断する。具体的には、エリア面積変更部 43は、特徴点位置情報の波形に基づいて包絡線検波を行い、振幅の変化が所定値以上であるか否かを判断する。

[0118] AFエリアの面積に変更がある場合、つまり、振幅の変化が所定値以上である場合、エリア面積変更部 43は、 AFエリアの面積を AFエリア選択部 37dに通知する。

[0119] 続くステップ S402において、 AFエリア選択部 37dは、通知された面積と抽出位置情報とに基づいて、 AFエリアの表示位置および面積を算出し、表示位置情報として表示部 17へ出力する。表示部 17は、表示位置情報に基づき AFエリア枠を表示する。そして、処理は図 10のステップ S207へ進む。一方、 AFエリアの面積に変更がない場合、つまり、振幅の変化が所定値以下である場合、エリア面積変更部 43は、 AF エリア枠の大きさを通知せずに図 10のステップ S207の処理へ進む。

[0120] 図 21は、特徴点位置演算部 35dによって演算される特徴点の座標を示す図である。図 21の上段に示すグラフは、特徴点が存在する単位エリアの X方向への経時変化を示すグラフである。当該グラフにおいて、縦軸は、表示部 17における特徴点の存在する単位エリアの X座標を表し、横軸は時間 tを表す。また、波形 Wx3は、特徴点位置演算部 35dから出力される特徴点位置情報のうち、 X方向における位置の経時変化を示す波形である。波形 Wx4は、低域通過フィルタ 36から出力される抽出のうち、 X方向における位置の経時変化を示す波形である。

[0121] 一方、図 21の下段に示すグラフは、特徴点が存在する単位エリアの y方向への経時変化を示すグラフである。当該グラフにおいて、縦軸は、表示部 17における特徴点の存在する単位エリアの y座標を表し、横軸は時間 tを表す。また、波形 Wy3は、特徴点位置演算部 35dから出力される特徴点位置情報のうち、 y方向における位置の経時変化を示す波形である。波形 Wy4は、低域通過フィルタ 36から出力される抽出のうち、 X方向における位置の経時変化を示す波形である。ここで説明した Wx3, Wx4, Wy3, Wy4は、それぞれ実施の形態 1で説明した図 13に示す Wxl, Wx2, Wyl, Wy 2と同様である。

[0122] 包絡線検波を行う際には、予め所定の閾値が定められており、当該所定の閾値以上の値、及び所定の閾値未満の値のそれぞれについて包絡線検波が行われる。図 21において、波形 Wx5は、波形 Wx3の座標のうち、所定の閾値以上の座標に基づいて包絡線検波を行った波形を表す。また、波形 Wx6は、波形 Wx3の座標のうち、所定の閾値未満の座標に基づ！ヽて包絡線検波を行った波形を表す。この波形 Wx5 と波形 Wx6との差力方向の振幅となる。

[0123] 一方、波形 Wy5は、波形 Wy3の座標のうち、所定の閾値以上の座標に基づいて包絡線検波を行った波形を表す。また、波形 Wy6は、波形 Wy3の座標のうち、所定の閾値未満の座標に基づ!ヽて包絡線検波を行った波形を表す。この波形 Wy5と波形 Wy6との差力 ^方向の振幅となる。

[0124] このように、エリア面積変更部 43は、 X方向及び y方向について被写体の特徴点の位置変化を振幅として求め、表示すべき AFエリアの面積 (単位エリアの数)を算出する。

[0125] 図 22は、実施の形態 6における AFエリア枠が表示された表示部 17の概観図である。以下、図 21及び図 22を参照して、表示部 17に表示される AFエリア枠のサイズの制御方法にっ、て説明する。

[0126] 図 21において、時間 tlに近づくにつれて被写体の移動量が大きくなり、 X方向及び y方向における特徴点の位置変動の振幅が大きくなつている。時間 0において、 AF エリア A3aが 7 X 5個の単位エリアから形成されて!、る場合、時間 tlに近づくにつれ、 9 X 7個の単位エリアから形成される AFエリア A3b, 10 X 8個の単位エリアから形成される AFエリア A3cの順に、表示部 17に表示される AFエリア枠のサイズが拡大される。

[0127] 以上のように、本実施の形態によれば、実施の形態 1〜5において説明した効果にカロえて、被写体の動きに合わせて AFエリアのサイズを制御するような構成を有してヽるため、撮像装置本体の手振れ量の個人差や高倍率にした場合における手振れ量が大きくなる状態に合わせて AFエリアの大きさが制御され、画面上での被写体の動きに合わせて小刻みに AFエリア枠の表示位置が変動することなく被写体を捉える範囲をさらに安定に見やすく表示させることができ、かつフォーカス追従するための演算処理も最小限の負荷で行うことができる。

[0128] また、手振れ等の像ぶれによる画面上での被写体の動きの変動はズーム倍率にほぼ比例して大きくなるため、ズーム倍率にほぼ比例して AFエリアのサイズを変更するように構成することで、特徴点の位置変動の包絡線検波を用いたサイズ変更の機能に加えて応答性を向上させることが可能になる。

[0129] なお、本実施の形態では、包絡線検波の処理について、図 21に示すように、所定の閾値以上ある!/、は所定の閾値未満の特徴点の座標に基づ!、て行う場合を例に説明した。ここで、特徴点の座標が所定の閾値以上であり、かつ前回の座標を上回る値であった場合に、今回の座標を包絡線検波の出力として求める、あるいは特徴点の座標が所定の閾値未満であり、かつ前回の座標を下回る値であった場合に、今回の座標を包絡線検波の出力として求める、いわゆるピークホールドの処理を施してもよい。また、所定の時間経過後は、ピークホールドの処理をリセットし、最初からピークホールドの処理を行うようにしてもよ!、。

[0130] (実施の形態 7)

本発明に係る実施の形態 7では、実施の形態 1におヽて説明した低域通過フィルタ 36の動作原理について、さらに詳細に説明する。実施の形態 1では、特徴点位置演算部 35から出力される特徴点位置情報力高域成分を除去することにより、特徴点位置情報の時間的な振動周波数の低域成分を抽出して出力し、抽出した低域成分の値を AFエリアの表示位置情報として AFエリア選択部 37へ出力するものとして説明した。

[0131] 本実施の形態では、低域通過フィルタ 36の具体的な構成およびカットオフ周波数 f cの設定方法について説明する。なお、本実施の形態に係る撮像装置は、実施の形態 1に係る撮像装置と概略構成が等しいので、図 1と同様に機能する構成要素については同一の参照符号を付し、詳細な説明は省略する。

[0132] 図 23A〜Dは、被写体とエリア枠が写し出された表示部 17の概観図である。図 23 では、表示部 17に表示すべき画像信号を横方向（X方向）に 16分割、 y方向に 12分割した例を示している。この場合、画像信号は 16 X 12個の単位エリアに分割され、表示部 17には、 16 X 12個の単位エリアをそれぞれ囲む単位エリア枠が表示される。なお、図 23A〜Dに示す各単位エリアの座標は、 X方向が 0〜15、 y方向が 0〜11 の単位で表される。例えば、表示部 17を Q VGA (Quarter VGA)とした場合、 x方向の画素数は 320、 y方向の画素数は 240であるため、単位エリア B4a〜dは、それぞれ 20 [画素] X 20 [画素]で表されるエリアとして定義される。

[0133] 図 23A〜Dは、図 23A、図 23B、図 23C、図 23Dの順に、手振れあるいは被写体の移動により、表示部 17に写し出されて、る被写体 P 1の位置が変化する様子を示している。これに伴い、特徴点抽出部 34において抽出される被写体の特徴点が存在する単位エリア枠は、座標（7, 5)のエリア B4a、座標（8, 6)のエリア B4b、座標（8, 5)のエリア B4c、座標（7, 6)のエリア B4dの順に移動する。

[0134] 図 23A〜Dにおいて、点線枠は、従来の撮像装置のフォーカス追従により移動する AFエリア枠を示す。図 23A〜Dに示す例では、 X方向の特徴点位置情報は、 7、 8 、 8、 7の順に出力され、 y方向の特徴点位置情報は、 5、 6、 5、 6の順に出力される。先に述べたように、単位エリア B4は 20 [画素] X 20 [画素]で構成されるので、 X方向の座標が 7から 8へ、あるいは 8から 7へ変化した場合、被写体の像ぶれが X方向に 2 0 [画素]分生じ、 y方向の座標が 5から 6へ、あるいは 6から 5へ変化した場合、被写体の像ぶれが y方向に 20 [画素]分生じることとなる。例えば、特徴点位置情報が 1Z 30秒毎に出力され、被写体が AFエリアの中心に位置するように AFエリア枠の表示位置を移動させた場合、従来の撮像装置では、 AFエリア枠が 1Z30秒毎に 20 [画素]分ずつ X方向または y方向に移動する。したがって、表示される AFエリア枠の位置が小刻みに変動することとなるため、画面の表示が非常に見づらくなつてしまう。

[0135] 一方、図 23A〜Dにおいて、エリア A4a〜dを囲む実線枠は、本実施形態に係る撮像装置のフォーカス追従により移動する AFエリア枠を示す。本実施の形態に係る撮像装置は、座標の時間的な振動周波数の変動成分のうち、低域成分を抜き取る低域通過フィルタ 36を備えているため、 AFエリア枠の小刻みな位置変動を防止することがでさる。

[0136] 図 24は、本実施の形態に係る低域通過フィルタ 36の詳細を示すブロック図である。図 24は、低域通過フィルタ 36力ディジタル回路で構成された IIR (Infinite Imp ulse Response)である場合の構成例である。

[0137] 低域通過フィルタ 36は、位置情報処理部 360xと、位置情報処理部 360yとを有する。位置情報処理部 360xは、係数ブロック 361、 363と、遅延ブロック 362と、加算ブロック 364とからなり、x方向の特徴点位置情報の時間的な振動周波数力も低域成分を抜き取って出力する。位置情報処理部 360yは、係数ブロック 365、 367と、遅延ブロック 366と、加算ブロック 367とからなり、 y方向の特徴点位置情報の時間的な振動周波数力も低域成分を抜き取って出力する。位置情報処理部 360xおよび位置情報処理部 360yは処理する特徴点位置情報が相違するが、基本的な動作は同じであるため、位置情報処理部 360xを代表例として説明する。

[0138] まず、特徴点位置演算部 35から出力された X方向の特徴点位置情報が低域通過フィルタ 36の加算ブロック 364に入力される。ここで、例えば、特徴点位置演算部 35 は、 X方向の特徴点位置情報として図 23 A〜Dに示す単位エリア B4の X方向の座標を出力し、 y方向の特徴点位置の座標として図 23A〜Dに示す単位エリア B4の y方向の座標を出力する。特徴点位置情報は、例えば、 1Z30秒毎に更新して出力される。

[0139] 加算ブロック 364は、特徴点位置演算部 35から出力される値と、係数ブロック 363 力も出力される値とを加算する。係数ブロック 361は、加算ブロック 364によって加算された値を所定の係数 K1で処理し、エリア A選択部 37へ出力する。

[0140] 遅延ブロック 362は、加算ブロック 364によって加算された値を所定の時間だけ遅延させて係数ブロック 363へ出力する。本実施の形態において、遅延ブロック 362は、入力された信号を lZfs= lZ30 [s]だけ遅延させて出力するものとする（fs :サンプリング周波数)。

[0141] 係数ブロック 363は、遅延ブロック 362から出力される値を所定の係数 K2で処理し、加算ブロック 364へ出力する。 [0142] ここで、カットオフ周波数を fcとして、 fc< <fsが成り立つとすると、以下に示す数式 (1)で表される K1および数式（2)で表される K2を係数として設定することで、低域通過フィルタを構成することができる。

[0143] Κ1 = 1/{ 1 + 1/ (30 Χ 2 Χ π X fc) } - - - (1)

Κ2= 1/{ 1 + (30 Χ 2 Χ π X fc) } · · · (2)

[0144] 上記の数式（1)および（2)に示すように、カットオフ周波数 fcを小さくすると、 AFエリァ枠の変動量を減少させることができる。したがって、係数 K1および K2に含まれる力ットオフ周波数 fcを適切に設定することにより、 AFエリア枠の変動量を調整することができるため、ユーザが AFエリア枠の振動を感じないようにカットオフ周波数 fcを設定すればよいことが分かる。

[0145] 図 25A、 Bは、低域通過フィルタ 36の入出力信号波形である。図 25Aは、低域通過フィルタ 36に入力する入力信号の波形を示す図であり、図 25Bは、低域通過フィルタ 36から出力される出力信号の波形を示す図である。図 25A、 Bにおいて、縦軸は被写体の変位量に相当する画素数を表し、横軸はフレーム番号を表す。

[0146] 低域通過フィルタ 36へ入力される信号としては、 X方向および y方向の 2系統が存在するが、図 25Aおよび Bには、そのうちの一系統のみの入力信号の波形と出力信号の波形とを示している。また、図 25Bは、カットオフ周波数 fc = 0. 2[Hz]として係数 K1および K2を設定した場合に、図 25Aに示す入力信号が入力した低域通過フィルタ 36から出力される出力信号をモニタしたグラフである。

[0147] 図 25Aでは、入力信号によって表される被写体の位置が ± 20 [画素]の範囲で変動している例を示す。図 25Bに示す出力信号は、カットオフ周波数 fc = 0. 2[Hz]の低域通過フィルタ 36における位置情報処理部 360xまたは 360yに入力した入力信号が減衰して出力されている様子を示す。フレームの更新周期が 1Z30秒である場合、フレーム番号 0〜300までに力かる時間は 10秒である。

[0148] 次に、本実施形態に係る低域通過フィルタ 36のカットオフ周波数 fcを変化させ、表示部 17に写し出される被写体の像ぶれの程度を評価した。具体的には、 10名の被験者が、それぞれ QVGAの 2. 5インチのモニタ画面に写し出される被写体の像ぶれを評価し、像ぶれの程度が「像ぶれ問題なし： 1点」、「どちらとも言えない: 0. 5点」、「像ぶれ問題あり： 0点」の、ずれに該当するかを判断した。

[0149] そして、低域通過フィルタのカットオフ周波数 fcを 5 [Hz]、 4 [Hz]、 3 [Hz]、 2 [Hz] 、 l [Hz]、0. 5 [Hz]、0. 2「Hz」、0. 1 [Hz] · · ·と段階的に変化させた場合のそれ、て、被験者による像ぶれの評価を行った。

[0150] 図 26は、低域通過フィルタ 36のカットオフ周波数 fcと、被験者による像ぶれ評価点との関係を示すグラフである。図 26において、縦軸は被験者による像ぶれの評価点の平均値を表し、横軸はカットオフ周波数 fcを表す。

[0151] 図 26に示すように、評価の結果、低域通過フィルタ 36のカットオフ周波数 fcを 1 [H z]よりも大きく設定した場合、「像ぶれ問題あり」と評価される割合が多力つた。一方、カットオフ周波数 fcを 1 [Hz]以下に設定した場合、「像ぶれ問題あり」から「像ぶれ問題なし」に評価される割合が多くなつた。さらに、カットオフ周波数 fcを 0. l [Hz]以下に設定すると、ほぼ全員が「像ぶれ問題なし」と評価した。

[0152] 以上より、低域通過フィルタのカットオフ周波数 fcを 0. 1 [Hz]〜1 [Hz]の範囲で設定することで、 AFエリア枠が小刻みに変動することやぎくしゃくすることを低減することができ、比較的見やすい AFエリア枠をモニタ画面上に表示させることができる。図 23A〜Dに示すように、被写体 P1が lZ30[s]毎に小刻みに移動している場合であつても、本実施形態によれば、被写体 P1の移動範囲がほぼ中心となるように、実線枠で示された AFエリア枠の表示位置を安定させることができる。

[0153] 次に、ユーザにとって見やすい表示となる AFエリア枠の変動範囲について具体的に説明する。低域通過フィルタへ入力する入力信号において、 X方向および y方向の被写体の位置がそれぞれ 40 [画素]の範囲で lZfs[s]毎にランダムに変位すると仮定した場合、入力信号が存在する周波数の範囲は、サンプリング周波数 fsの 1Z2と定義することができる。また、 fsZ2の範囲に存在する入力信号の平均電力は、統計的に fc X π Ζ2と表される。したがって、低域通過フィルタ 36を通過した出力信号の電力は、（fc X π Ζ2)Ζ(ίβΖ2)に減衰する。ここで、電圧 ^電力の関係にあることから、カットオフ周波数 fc [Hz]の 1次の低域通過フィルタから出力される X方向の変位量 Ρχと、 y方向の変位量 Pyとは、以下に示す数式（3)および (4)で表すことができる。 [0154] Ρχ= { (ίο Χ π /2) / (fs/2) } (^1/2) X 40 · · · (3)

Ργ= { (ίο Χ π /2) / (fs/2) } (^1/2) X 40… (4)

[0155] 数式（3)および (4)において、例えば、カットオフ周波数 fcをパラメータとした場合、下記のように AFエリア枠の表示位置の変動を低減することができる。

[0156] fc = 5 [Hz]のとき Px = Py^ 29 [画素]

fc = 4 [Hz]のとき Px = Py 26 [画素]

fc = 3 [Hz]のとき Px = Py 22 [画素]

fc = 2 [Hz]のとき Px = Py 18 [画素]

fc = l [Hz]のとき Px = Py^ l3 [画素]

fc = 0. 5 [1¾]のとき1½ = ? 9 [画素]

fc = 0. 2 [Hz]のとき Px = Py 6 [画素]

fc = 0. l [Hz]のとき Px = Py 4 [画素]

[0157] 以上より、モニタ画面の更新周期が lZ30[s]である場合、 fc = 0. l [Hz]〜l [Hz ]の範囲では、像ぶれが 4 [画素]〜 13 [画素]残留する。し力しながら、 320 [画素] X 240 [画素]の QVGAの画面サイズに対して、おおよそ 1〜5%以内で AFエリア枠の表示位置の変動を低減することにより、被写体の動きに合わせて AFエリア枠が小刻みに変動することなぐ画面の表示を見やすくすることができる。

[0158] また、本実施の形態では、低域通過フィルタ 36はディジタルフィルタで構成されている。これにより、低域通過フィルタのカットオフ周波数 fcやブロックの係数を変更することで、 AFエリア枠の表示条件を容易に設定 Z変更することができる。したがって、モニタ画面のサイズや撮像装置本体の大きさ、種類の違いによる像ぶれ量の差に応じて、容易に AFエリア枠の表示を見やす、条件に設定することが可能になる。

[0159] また、本実施の形態では、被写体の位置情報に時間的な変動を抑制する低域通過フィルタを介して出力した位置情報に基づ、て AFエリア枠を表示させる際に、当該低域通過フィルタのカットオフ周波数 fcを 0. 1 [Hz]〜1 [Hz]の範囲に設定する例について説明した力カットオフ周波数 fcはユーザが AFエリア枠の小刻みな振動を感じない程度であればよぐ例えば、画面の画素数やコントラスト、被写体の大きさに応じて適宜決定するとよい。また、本実施の形態では、モニタ画像を 2. 5インチの Q VGAとした場合に、像ぶれを 4 [画素]〜 13 [画素]残留する程度に抑えれば、画面の表示を比較的見やすくすることができるという一例について説明した力モニタ画面を 2. 5インチの 640 [画素] X 480 [画素]の VGAとした場合には、一方向の解像度アップ率に比例して像ぶれを 8 [画素]〜26 [画素]残留する程度に抑えれば、画面の表示を比較的見やすくすることができる。さらに、モニタ画面を 3インチの VGAとした場合には、インチ数アップ率に反比例して像ぶれを 6. 7 [画素]〜 10. 8 [画素] 残留する程度に抑えれば、画面の表示を比較的見やすくすることができる。

[0160] また、ここでは IIRのディジタルフィルタとして、係数 K1が数式（1)で表され、係数 K 2が数式 (2)で表される場合を例に説明したが、この係数の選び方は自由であり、力ットオフ周波数が上述の範囲になるように選べばよい。また、低域通過フィルタは、 II Rフィルタに限らず、 FIR (Finite Impulse Response)フィルタや 2次のディジタルフィルタ、その他高次のディジタルフィルタで構成されていてもよい。また、低域通過フィルタはアナログのフィルタであってもよぐその場合、被写体の特徴点位置情報をー且アナログ信号として取り出すとよい。また、ディジタルフィルタはマイコンなどにプログラミングすることで構成してもよ、し、ハードウェアで構成してもよ、。

[0161] 各実施の形態に力かる撮像装置は、具体的な対応に限られず適宜変更可能である。例えば、各実施の形態にかかる撮像装置は、いずれもユーザによりシャッター釦が操作されて静止画を取得するデジタルスチルカメラである場合を例に説明した力撮像釦が操作されている間所定のタイミングで画像が取得されつづけるデジタルビデォカメラとしても適用可能である。この場合、被写体が移動してもフォーカス追従を行うことができる。また、各実施の形態に力かる撮像装置は、監視カメラ、車載カメラ、ウェブカメラに適用してもよい。この場合、ユーザによりシャッター釦を操作することが難しい場合があり得る力シャッター釦を所定のタイミングで自動的に操作したり、遠隔操作する等してもよい。

[0162] また、各実施の形態にかかる撮像装置は、システムコントローラを個別に備える例であったが、これをパーソナルコンピュータや携帯電話端末の制御 CPUに代用させてなる撮像システムに適用することも可能である。その他、各構成要素同士は、任意の糸且み合わせが可能であり、例えば、撮影光学系及び撮像素子とその他の構成が物理的に分離されたシステム例、撮影光学系、撮像素子、画像処理部と、その他の構成が物理的に分離されたシステム例などさまざまな組み合わせを考えて良い。産業上の利用可能性

本発明は、デジタルスチルカメラ、デジタルビデオカメラ等の撮像装置に好適である。

Claims

請求の範囲

[1] 被写体の電気的な画像信号を出力する撮像装置であって、

焦点調節を行うためのフォーカスレンズ群を含み、前記被写体の光学的な像を形成する撮像光学系と、

前記被写体の光学的な像を撮像して、前記電気的な画像信号に変換する撮像素子と、

前記画像信号を複数のエリアに分割する画像分割部と、

前記複数のエリアのうち、少なくとも 1つのエリアを含む第 1のエリア群内で前記撮像光学系の合焦情報を算出する合焦情報算出部と、

前記合焦情報に基づ、て、前記フォーカスレンズ群を光軸方向に駆動制御するレンズ駆動制御部と、

前記複数のエリアのうち、少なくとも 1つのエリアを含む第 2のエリア群内で前記被写体の特徴点を抽出し、当該特徴点の位置を示す特徴点位置情報として出力する特徴点抽出部と、

前記特徴点位置情報の時間的な振動周波数の低域成分を抽出し、抽出位置情報として出力する低域通過フィルタと、

前記抽出位置情報に基づいて、表示すべき前記第 2のエリア群の位置を演算し、表示位置情報として出力するエリア選択部とを備える、撮像装置。

[2] さらに、前記画像信号に基づく画像を表示する表示部を備え、

前記表示部は、前記エリア選択部から出力される前記表示位置情報に基づき前記エリア群の範囲を表示可能である、請求項 1に記載の撮像装置。

[3] 表示すべき前記第 2のエリア群の面積は、前記第 1のエリア群の面積よりも大きいことを特徴とする、請求項 1に記載の撮像装置。

[4] さらに、予め特徴点に関する情報を設定する特徴点設定部を備え、

前記特徴点抽出部は、各前記エリア毎に前記画像信号から特徴点をそれぞれ抽出し、抽出した特徴点と、前記特徴点設定部により設定された前記特徴点に関する情報とを比較した結果に基づいて、前記被写体の特徴点を抽出する、請求項 1に記載の撮像装置。

[5] 前記特徴点設定部は、前記特徴点に関する情報として参照色情報を設定し、前記特徴点抽出部は、各前記エリア毎に前記画像信号から色情報をそれぞれ算出し、算出した色情報と、前記参照色情報設定部により設定された前記参照色情報とを比較した結果に基づいて、前記被写体の特徴点を抽出する、請求項 4に記載の撮像装置。

[6] 前記参照色情報は、予め撮像された画像信号から、前記画像分割部によって分割された所望のエリアに対して、前記特徴点抽出部が算出した色情報である、請求項 5 に記載の撮像装置。

[7] 前記色情報及び前記参照色情報の内の少なくとも一方は、色相に関する情報及び彩度に関する情報の内の少なくとも一方を含む、請求項 6に記載の撮像装置。

[8] 前記特徴点抽出部は、前記被写体のエッジ情報を抽出することを特徴とする、請求項 1に記載の撮像装置。

[9] 前記特徴点抽出部は、前記被写体の輝度情報を抽出することを特徴とする、請求項 1に記載の撮像装置。

[10] 前記特徴点抽出部は、前記被写体の動きベクトルを抽出することを特徴とする、請求項 1に記載の撮像装置。

[11] さらに、前記被写体の移動量に応じて表示すべき前記第 2のエリア群の面積を変更する表示エリア変更部を備える、請求項 1に記載の撮像装置。

[12] 前記撮像光学系は、前記被写体の光学的な像を変倍するズームレンズ群を含み、前記レンズ駆動制御部は、前記ズームレンズ群を光軸方向に駆動させるズームレンズ駆動部を含み、

前記表示エリア変更部は、前記ズーム駆動部が制御するズーム倍率に応じて表示すべき前記第 2のエリア群の面積を変更することを特徴とする、請求項 11に記載の撮像装置。

[13] 前記エリア選択部は、表示すべき前記第 2のエリア群の位置が所定範囲外である場合、表示すべき前記第 2のエリア群の位置として所定の表示位置情報を出力することを特徴とする、請求項 1に記載の撮像装置。

[14] 前記所定の表示位置情報は、画面の中央部付近を示す情報であることを特徴とする、請求項 13に記載の撮像装置。

[15] さらに、前記撮像光学系により形成される焦点距離を演算する焦点距離演算部を備え、

前記特徴点抽出部は、前記焦点距離演算部によって演算された焦点距離が所定値以上となった場合に前記特徴点を抽出することを特徴とする、請求項 1に記載の撮像装置。

[16] 前記低域通過フィルタは、ディジタルフィルタで構成されることを特徴とする、請求項 1に記載の撮像装置。

[17] 前記低域通過フィルタのカットオフ周波数は、ユーザが前記 AFエリア枠の振動を感じない範囲で設定されることを特徴とする、請求項 1に記載に撮像装置。

[18] 前記低域通過フィルタのカットオフ周波数は、 0. 1Ηζ〜1Ηζの範囲で設定されることを特徴とする、請求項 17に記載の撮像装置。