WO2004012461A1 - 画像処理システム - Google Patents

Abstract

可視光域において異なる分光分布特性の発光を行う6種類のLED(6a～6f)と、これらLED(6a～6f)により照明され撮像光学系(7)により結像された被写体像を撮像して画像信号を出力するモノクロタイプのCCD(8)と、操作スイッチ(14)から被写体分光画像の撮影指示が入力されると上記LED(6a～6f)を順次点灯させて上記CCD(8)により各々撮像を行わせることにより6原色の被写体分光画像を取得するように制御するCPU(18)と、を含む撮影装置(1)と、上記撮影装置(1)により撮影された6原色の被写体分光画像を取得し高度な色再現を行うための表示信号を生成する演算装置(21)と、この演算装置(21)により生成された表示信号を表示するディスプレイ(22)と、を含む処理装置(2)と、を備えた画像処理システム。

Description

明 細 書 画像処理システム 技術分野

この発明は、 画像処理システム、 より詳しくは、 被写体分光画像を取得して被 写体を高精度に色再現するための処理を行う画像処理システムに関する。 背景技術

近年、 美容や健康に対する関心が高まっており、 例えば美容においては、 皮膚 のメラニン色素を抑制するホワイトユングが、 審美への追求の一分野として、 流 行の兆しを見せている。

従来における肌の診断には、 肌の表面を拡大してモニタ等で観察することがで きるように構成された肌診断用カメラシステムが用いられており、 例えば、 皮膚 科、 エステティックサロン、 美容カウンセリングなどで使用されている。 これら の内の例えば皮膚科の場合には、 皮溝や皮丘の画像を観察することにより、 皮膚 表面の特徴を捉えて診断し、 カウンセリング等が行われている。

このような肌診断用カメラとしては、 例えば特開平 8— 1 4 9 3 5 2号公報に 記載されたものがー例として挙げられる。 該公報に記載の肌観察装置は、 前方が 開口したケースと、 このケース内部に設けられた上記開口の中心を光軸とする光 学系と、 この光学系からの光学像が撮像面に結像する固体撮像素子と、 上記開口 の外側の被写体を上記ケース内部から上記開口を通して照明するために設けられ 、 光照射方向が上記開口側を向いて、 かつ上記光軸を中心としてリング状に複数 配置された発光色が青色の発光素子群と、 を備えたものとなっている。

また、 肌診断用カメラの他の例として、 特開平 7— 3 2 2 1 0 3号公報には、 ケース本体の前方に開設された撮影窓に対向してケース内部に配置されたレンズ

、 およびこのレンズを介して入射した光学像を撮像する撮像素子と、 上記ケース 内部に設けられており、 上記撮影窓側を照明するサークライン蛍光灯と、 このサ 一クライン蛍光灯の照明光を上記撮影窓から導出する場合、 反射により進行角度 を調整する反射部と、 上記撮影窓の周囲とほぼ同じ径で、 撮影窓と同軸的にケー ス内部に配置され、 軸方向へ移動自在な透明スライ ドパイプと、 この透明スライ ドパイプの一部に取り付けられ、 上記透明スライドパイプが上記軸方向へ移動す るのに応答して、 上記サークライン蛍光灯からの照明光が上記透明スライドバイ プの透明部を介して上記撮影窓を通り抜けることを許容するが上記反射部を介し て上記撮影窓を通り抜けることを遮光する第 1の状態と、 上記反射部を介して上 記撮影窓を通り抜けることを許容するが上記透明スライドパイプを介して上記撮 影窓を通り抜けることを遮光する第 2の状態と、 を実現する遮光リング部と、 を 備えた肌診断用テレビカメラ装置が記載されている。

また、 歯科においては、 人工 i を作成する場合などに患者の歯の色と違和感の ない色に仕上げる必要がある。 そこで、 シェードガイドを用いて患者の歯と直接 色の比較を行い判断することにより、 いわば主観によって、 歯の色に関するデー タを取得するのが一般的である。

上述したような皮膚科や歯科などに限らず、 例えば、 自動車の塗装色、 建物の 塗装色、 食料品の分光特性、 衣料品の染色などの分野では、 診断、 検査、 確認、 判別などに利用するために、 物体の色を正確に色再現する技術が求められている 高精度な色再現を行うための従来の技術としては、 例えば特開 2 0 0 0 - 1 5 2 2 6 9号公報に記載されたような、 外部照明下の被写体を、 回転式のフィルタ ターレツト上に配列した多数の分光フィルタを用いて撮像することにより多パン ドの画像データを取得し、 被写体の分光スぺク トルを高精度に推定して正確な色 再現を行い得るようにした色再現システムが挙げられる。

しかしながら、 上記特開 2 0 0 0 - 1 5 2 2 6 9号公報に記載されたような色 再現システムは、 例えば実験室等で被写体のスぺクトルデータを取得するために 用いるものであって、 固定型で重量が大きく、 さらに外部照明による色再現処理 を行っているために別途の照明センサが必要であり、 上述したような各種の利用 分野において運用上求められる小型軽量性ゃハンディ性を、 そのままでは満たす ことができない。

—方、 皮膚科などには、 従来よりハンディタイプの画像処理システムが存在し ているが、 これはいわゆるマルチバンドデータを取得するタイプのものではない ために、 高精度の色再現性に対する要求を満足するものとはなっていない。 本発明は上記事情に鑑みてなされたものであり、 小型軽量で携帯可能な高色再 現の画像処理システムを提供することを目的としている。 発明の開示

第 1の発明は、 被写体を照明するためのものであって少なくとも可視光域にお いて複数のそれぞれ互いに独立して異なる分光分布特性の発光を行う複数の発光 素子と、 上記発光素子により照明された被写体像を結像する撮像光学系と、 上記 撮像光学系により結像された被写体像を撮像して画像信号を出力する撮像素子部 と、 上記複数の発光素子を分光分布特性に応じて選択的に点灯させて該点灯と上 記撮像素子部による撮像を行わせる動作とを同期させて該複数の発光素子の選択 を異ならせて複数回行わせることにより複数の被写体分光画像を取得するように 制御する制御部と、 を含む撮影装置と、 上記画像信号から所望の画像演算を行う 演算部を含む処理装置と、 を具備した画像処理システムである。

また、 第 2の発明は、 上記第 1の発明において、 上記制御部が、 分光分布特性 に従って、 上記複数の発光素子から、 1つ以上の発光素子を含む素子群を複数有 してなるグループを設定し、 設定したグループ内における複数の素子群の点灯順 序を定めて、 この点灯順序に従って各素子群の発光素子を点灯させることにより 、 上記選択的な点灯を行わせて、 複数の被写体分光画像を取得するように制御す るものである。

さらに、 第 3の発明は、 上記第 2の発明において、 上記制御部が、 上記グルー プを複数種類設定して、 用途に応じて必要なグループを用いるように制御するも のである。

第 4の発明は、 上記第 3の発明において、 上記制御部が、 上記複数の発光素子 から、 可視光域内の青に属する発光素子の素子群と、 可視光域内の緑に属する発 光素子の素子群と、 可視光域内の赤に属する発光素子の素子群と、 で構成される グループを設定し、 撮像フレーム毎に各素子群の発光素子を順次点灯させて、 上 記撮像素子部により 3原色カラー動画像を撮像させる制御をさらに行うものであ る。

第 5の発明は、 上記第 3の発明において、 上記撮影装置が、 少なくとも分光画 像撮影動作の開始を指示入力するための撮影操作部をさらに含み、 上記制御部は 、 上記撮影操作部から分光画像撮影動作の開始が指示入力されるのに応じて、 上 記複数の被写体分光画像を取得するための制御を行うものである。

第 6の発明は、 上記第 5の発明において、 上記撮影操作部が、 押下式のボタン スィッチを有して構成され、 上記制御部は、 このボタンスィッチが押下された時 に、 上記グループを変更させるように制御するものである。

第 7の発明は、 上記第 6の発明において、 上記制御部が、 上記ボタンスィッチ が押下された時に、 さらに、 変更したグループの素子群の点灯タイミングを制御 するものである。

第 8の発明は、 上記第 1の発明において、 上記制御部が、 上記撮像素子部によ る撮像を、 発光素子の点灯開始後に開始させるとともに、 該発光素子が消灯され る前に終了させるように制御するものである。

第 9の発明は、 上記第 1の発明において、 上記撮像素子部が、 入射光を複数の 波長帯域の光に分離する分光部と、 この分光部により分光された複数の波長帯域 の光を撮像する複数の撮像素子と、 を有して構成されたものである。

第 1 0の発明は、 上記第 1の発明において、 上記撮像素子部が、 カラーフィル タアレイを備えたカラ一撮像素子を有して構成されたものである。

第 1 1の発明は、 上記第 1の発明において、 上記撮影装置が、 上記発光素子の 分光分布特性を検出するためのスぺクトル検出センサをさらに有して構成された ものである。

第 1 2の発明は、 上記第 1の発明において、 上記撮影装置が、 環境光の分光分 布特性を検出するためのスぺクトル検出センサをさらに有して構成されたもので ある。

第 1 3の発明は、 上記第 1の発明において、 上記撮影装置が、 該被写体に一端 部側が接するようになされた当て付け部をさらに有して構成されたものである。 第 1 4の発明は、 上記第 1 3の発明において、 上記当て付け部が、 柔軟性を有 する素材により略筒状に形成されたものである。 第 1 5の発明は、 上記第 1 3の発明において、 上記当て付け部が、 外光の影響 を排除または軽減する素材により構成されたものである。

第 1 6の発明は、 上記第 1 3の発明において、 上記当て付け部が、 撮影装置の 筐体に対して着脱可能となるように構成されたものである。

第 1 7の発明は、 上記第 1の発明において、 上記処理装置が、 上記撮影装置に より撮影された被写体分光画像を記憶するための画像メモリ部をさらに含み、 上 記演算部は、 上記画像メモリ部に記憶された画像信号から所望の画像演算を行う ものである。

第 1 8の発明は、 上記第 1 7の発明において、 上記演算部が、 上記画像メモリ 部に記憶された被写体分光画像に基づき、 高度に色再現された被写体の画像を表 示するための信号を演算するものである。

第 1 9の発明は、 上記第 1 8の発明において、 上記処理装置が、 上記撮影装置 により取得されるデータに基づき、 高度に色再現された被写体の画像を表示する ための信号を演算するのに必要なプロフアイル情報を算出するものである。 第 2 0の発明は、 上記第 1 7の発明において、 上記演算部が、 上記画像メモリ 部に記憶された被写体分光画像に基づき、 被写体に係る判別または解析を行いそ の結果を出力するものである。

第 2 1の発明は、 上記第 1の発明において、 上記撮像素子部が、 撮像時のフレ ームレートを変更することができるように構成されたものである。

第 2 2の発明は、 上記第 1の発明において、 上記撮影装置が、 少なくとも分光 画像撮影動作の開始を指示入力するための撮影操作部をさらに含み、 上記制御部 は、 上記撮影操作部から分光画像撮影動作の開始が指示入力されるのに応じて、 上記複数の被写体分光画像を取得するための制御を行うものである。 図面の簡単な説明

図 1は、 本発明の第 1の実施形態における画像処理システムの構成を示すプロ ック図。

図 2は、 上記第 1の実施形態における L E Dの配置例や構成例を示す図。 図 3は、 上記第 1の実施形態における、 C C Dの分光感度特性および L E Dの 発光スぺクトルと、 これら両方による分光特性と、 を示す線図。

図 4は、 上記第 1の実施形態の 6バンド分光画像取得における各 L E Dの発光 と撮像素子の画像取得との動作を示すフローチヤ一ト。

図 5は、 上記第 1の実施形態の 6バンド分光画像取得における各 L E Dの発光 と撮像素子の画像取得との動作の様子を示すタイミングチヤ一ト。

図 6は、 上記第 1の実施形態の 6バンド分光画像取得における各フレームのパ ンド特性を示す線図。

図 7は、 上記第 1の実施形態のモニタ用画像取得における各 L E Dの発光と撮 像素子の画像取得との動作を示すフローチヤ一ト。

図 8は、 上記第 1の実施形態のモニタ用画像取得における各 L E Dの発光と撮 像素子の画像取得との動作の様子を示すタイミングチャート。

図 9は、 上記第 1の実施形態のモニタ用画像取得における各フレームのバンド 特性を示す線図。

図 1 0は、 上記第 1の実施形態における、 6原色の L E Dが各 3つずつ設けら れているときの点灯のさせ方の例を示す図。

図 1 1は、 上記第 1の実施形態において、 筐体の投射口に対して着脱可能に構 成された当て付け部を示す斜視図。

図 1 2は、 上記第 1の実施形態の処理装置におけるディスプレイに表示するた めの色再現を行う構成を示すプロック図。

図 1 3は、 上記第 1の実施形態において、 取得された被写体分光画像に基づき 被写体に関する画像判別を行うための構成例を示すブロック図。

図 1 4は、 上記第 1の実施形態の処理装置において入力プロファイルを生成す る構成例を示すプロック図。

図 1 5は、 上記第 1の実施形態の撮影装置の L C Dモユタにおける表示例を示 す図。

図 1 6は、 上記第 1の実施形態の画像処理システムを使用するときの様子の一 例を示す図。

図 1 7は、 本発明の第 2の実施形態における画像処理システムの構成を示すプ ロック図。 図 1 8は、 上記第 2の実施形態において、 フルモードと読み出し 2倍速モード とにおける読み出しの様子を示すタイミングチヤ一ト。

図 1 9は、 上記第 2の実施形態において、 2 / 4ライン 2倍速モードと 2 / 8 ライン 4倍速モードとにおける読み出されるラインの様子を示す図。

図 2 0は、 上記第 2の実施形態において、 撮影モードを設定する際の動作を示 すフローチヤ一ト。

図 2 1は、 本発明の第 3の実施形態における画像処理システムの構成を示すブ ロック図。

図 2 2は、 上記第 3の実施形態の画像処理システムを使用するときの様子の一 例を示す図。

図 2 3は、 上記第 3の実施形態における、 L E Dの発光スペク トルとカラーフ ィルタアレイを通した C C Dの分光感度特性とを示す線図。

図 2 4は、 上記第 3の実施形態において、 6バンドの分光画像を生成するとき のフレーム毎の分光画像の分光特性を示す線図。

図 2 5は、 上記第 3の実施形態において、 モニタ用画像を生成するときのフレ ーム毎の分光画像の分光特性を示す線図。

図 2 6は、 上記第 3の実施形態の 6パンド分光画像取得における各 L E Dの発 光と撮像素子の画像取得との動作を示すフローチヤ一ト。

図 2 7は、 上記第 3の実施形態の 6バンド分光画像取得における各 L E Dの発 光と撮像素子の画像取得との動作の様子を示すタイミングチヤ一ト。

図 2 8は、 上記第 3の実施形態のモニタ用画像取得における各 L E Dの発光と 撮像素子の画像取得との動作を示すフローチヤ一ト。

図 2 9は、 上記第 3の実施形態のモニタ用画像取得における各 L E Dの発光と 撮像素子の画像取得との動作の様子を示すタイミングチヤ一ト。

図 3 0は、 上記第 3の実施形態における、 8パンドの分光画像を生成するとき の L E Dの発光スぺクトルとカラーフィルタアレイを通した C C Dの分光感度特 性とを示す線図。

図 3 1は、 上記第 3の実施形態において、 8バンドの分光画像を生成するとき のフレーム毎の分光画像の分光特性を示す線図。 図 3 2は、 上記第 3の実施形態の 8パンド分光画像取得における各 L E Dの発 光と撮像素子の画像取得との動作を示すフローチヤ一ト。

図 3 3は、 上記第 3の実施形態の 8バンド分光画像取得における各 L E Dの発 光と撮像素子の画像取得との動作の様子を示すタイミングチヤ一ト。

図 3 4は、 上記第 3の実施形態において、 モニタ用画像を生成するときのフレ ーム毎の分光画像の分光特性を示す線図。

図 3 5は、 上記第 3の実施形態のモニタ用画像取得における各 L E Dの発光と 撮像素子の画像取得との動作を示すフローチヤ一ト。

図 3 6は、 上記第 3の実施形態のモニタ用画像取得における各 L E Dの発光と 撮像素子の画像取得との動作の様子を示すタイミングチヤ一ト。

図 3 7は、 本発明の第 4の実施形態における画像処理システムの構成を示すプ ロック図。

図 3 8は、 上記第 4の実施形態において、 スペク トル検出センサを複数配設し た画像処理システムを使用するときの様子の一例を示す図。

図 3 9は、 上記第 4の実施形態におけるスぺクトル検出センサの構成例を示す 断面図。

図 4 0は、 上記第 4の実施形態のスぺク トル検出センサに接続される光フアイ バの入射端の様子を示す断面図。

図 4 1は、 上記第 4の実施形態のスぺクトル検出センサに接続される光フアイ パの入射端の近傍にセンサ用光学系を配設した構成例を示す断面図。

図 4 2は、 上記第 4の実施形態において、 環境光取得用に設けられたスぺクト ル検出センサに接続される光ファイバの入射端の様子を示す断面図。 発明を実施するための最良の形態

以下、 図面を参照して本発明の実施の形態を説明する。

図 1から図 1 6は本発明の第 1の実施形態を示したものであり、 図 1は画像処 理システムの構成を示すプロック図である。

この画像処理システムは、 可視光城において互いに独立して異なる複数の波長 帯域の照明光により被写体を照明して被写体分光画像を撮影可能な撮影装置 1と 、 この撮影装置 1と接続されていて該撮影装置 1から出力される被写体分光画像 を処理する処理装置 2と、 を有して構成されていて、 該処理装置 2は、 必要に応 じてネットワーク 3に接続することができるように構成されている。

上記撮影装置 1は、 本実施形態においては、 6種類の波長帯域の照明光 （6原 色の照明光） を被写体に順次照射して、 6枚の被写体分光画像を静止画として取 り込む撮像と、 6原色の照明光から 1以上の照明光を各選択して RGBの 3色の 照明光としこれらを順次に照射することにより面順次式の動画として取り込む撮 像と、 を行うことができるようになつている。

上記撮影装置 1は、 後述する照明光を被写体に投写するとともに被写体からの 反射光を入射するための投射口 5 aを備えた筐体 5と、 この筐体 5の投射口 5 a 側に着脱可能に取り付けられており該投射口 5 aを介して被写体に投射する照明 光に外光が混入することのないように遮光するための柔軟性を有する素材により 略筒状に形成された当て付け部 4と、 上記筐体 5内に組み込まれていて点灯され ることにより被写体を照明するための照明光を発光する発光素子である第 1 LE D 6 a〜第 6 LED 6 f と、 上記筐体 5内に組み込まれていてこれら第 1 LED 6 a〜第 6 LED 6 f により照明された被写体像を結像するための撮像光学系 7 と、 この撮像光学系 7により結像された被写体像を撮像して画像信号を出力する 撮像素子部に含まれる撮像素子たる CCD 8と、 この CCD 8から出力されるァ ナログ信号をデジタル信号に変換する A/D変換器 9と、 この AZD変換器 9か ら出力され後述するバス 10を介して伝送される被写体分光画像を一旦記憶する とともに後述する CPU 18による作業領域としても用いられるメモリ 1 1と、 使用者が分光画像撮影動作の開始を指示入力したり動画像撮影動作の開始や終了 を指示入力したりするための各種の操作スィツチや操作ボタンを含んでなる撮影 操作部たる操作スィツチ 14と、 この操作スィツチ 14からの指示入力を後述す る CPU 18に伝達するとともに該 CPU 1 8からの指令により上記第 1 LED 6 a〜第 6 LED 6 f の発光制御に関する命令等を行ったりこの撮影装置 1の撮 像動作に関する制御を行ったりするカメラ制御 I/F 12と、 このカメラ制御 I /¥ 12からの指令に基づき上記第 1 LED 6 a〜第 6 LED 6 f の発光開始タ ィミングゃ発光終了タイミングなどの発光動作に係る制御を行う LEDドライノ 13と、 上記 CCD 8により撮像される動画像や上記メモリ 11に記憶された被 写体分光画像 （静止画像） を後述する LCDモニタ 16に表示するための制御を 行うモニタ I/F 15と、 このモニタ I /F 15から出力される画像を表示する ための LCDモニタ 16と、 上記メモリ 11に記憶された被写体分光画像や後述 する CPU 18からの制御データ等を上記処理装置 2に出力しあるいは該処理装 置 2からの通信データを入力するための外部 I ZF 17と、 上記 A/D変換器 9 、 メモリ 1 1、 カメラ制御 I/F 12、 モニタ IZF 15、 外部 I/F 17、 後 述する CPU 18等を互いに接続するパス 10と、 上述した各回路を含むこの撮 影装置 1を統括的に制御する制御部たる CPU 18と、 を有して構成されている 上記処理装置 2は、 例えばパーソナルコンピュータ等でなり、 上記外部 I/F 17から出力される被写体分光画像を受信して、 後述するように入力プロフアイ ルを用いて X Y Z三刺激値を算出し、 さらにこの XYZ三刺激値からディスプレ ィプロフアイルを用いて被写体が与えると推定される X Y Z三刺激値とほぼ同一 の XYZ三刺激値を後述するディスプレイ 22により得られるような表示用信号 を生成する演算装置 21と、 この演算装置 21から出力される表示用信号により 高度な色再現がなされた画像を表示するディスプレイ 22と、 を有し、 さらに、 特に図示はしないが上記ネットワーク 3に接続するためのネットワークインタフ エース等も備えて構成されている。

なお、 上記撮影装置 1と処理装置 2とは、 有線により接続されていても良いし 、 例えば B 1 u e t o o t hや無線 LANなどの無線により接続されていても構 わないし、 あるいは一体に構成されていても良い。

図 3は、 CCD 8の分光感度特性おょぴ LED 6 a〜6 f の発光スぺクトルと 、 これら両方による分光特性と、 を示す線図である。

発光素子である上記第 1 LED 6 a〜第 6 LED 6 f は、 図 3 (A) に示すよ うに、 それぞれ異なる独立した発光スペク トルを有したものとなっていて、 曲線 f L1により示される第 1 LED 6 aの光は例えばやや紫がかった青、 曲線 f L2に より示される第 1 LED 6 bの光は例えばやや緑がかった青、 曲線 f L3により示 される第 1 LED 6 cの光は例えばやや青がかった緑、 曲線 fL4により示される 第 1 LED 6 dの光は例えばやや黄がかった緑、 曲線 f L5により示される第 1 L ED 6 eの光は例えばオレンジ、 曲線 f L6により示される第 1 LED 6 f の光は 例えば赤、 などとなっている。

なお、 図示の例では、 第 1 LED 6 a〜第 6 LED 6 f の各発光スぺクトルは 、 互いに重なり合うことなく完全に分離されているが、 一部が重なり合うような 発光スペク トルであっても構わない。 もちろん、 LEDの種類も 6種類に限るも のではなく、 適宜の種類数の LEDの組み合わせを採用することができる。 ここに、 各 LEDによる照明光のスぺクトル配列は、 均等波長間隔 （波長方向 に均等な間隔で例えばピークが並ぶもの） 、 均等波長比間隔 （波長方向に一定の 比率間隔でピーク等が並ぶもの） 、 特定目的用の特定配列 （特定の目的に沿って 波長方向に特定の配列でピーク等が並ぶもの） 、 特定波長色通倍設定 （特定波長 を基本波長として通倍波長位置にピーク等が並ぶもの） 、 特定偏光色配置 （波長 方向に沿って並ぶピークで表される各光が特定方向に偏光しているもの） 、 可視 域外光配置 （波長方向に沿って並ぶピークで表される光が可視域外の領域にも達 しているもの） 等の何れであっても採用することが可能であり、 使用目的に最も 合致するものを選ぶようにすると良い。

また、 ここでは、 発光素子として、 軽量、 小型、 かつ比較的安価で入手容易で ありながら高輝度の半導体発光素子である LEDを用いているが、 これに限らず 、 例えば LD (レーザダイオード） 等の半導体レーザーやその他の発光素子を用 いることも可能である。

一方、 上記 CCD 8は、 本実施形態においては、 モノクロタイプの CCDを使 用しており、 そのセンサ感度は、 図 3 (A) の曲線 f S に示すように可視光城を ほぼ力パーするようなものとなっている。 なお、 ここでは撮像素子としてモノク 口タイプの CCDを用いているが、 これに限るものではなく、 後述する実施形態 において述べるようにカラータイプの CCDを用いても良いし、 CCDに限らず CMO Sタイプやその他の各種の撮像素子を広く使用することが可能である。 そして、 上記第 1 LED 6 a〜第 6 LED 6 f によって照明された被写体の像 をこの CCD 8により受光するときの分光感度特性は、 例えば図 3 (B) に示す 曲線 f SLl 〜f SL6 のようになっている。 このようなト^"タルの分光感度特性の 波長による相異は、 後段で電気的に処理されたり、 あるいは撮影装置 1に係る入 力プロフアイルなどとして補正されたりすることになる。

また、 図 2は L EDの配置例や構成例を示す図である。

図 2 (A) は、 6種類の原色で構成される上記第 1 LED 6 a〜第 6 LED 6 f を、 リング状に順次 3セット （各色 3個ずつ） 配置した例を示している。 なお 、 図示の配置順は一例を示したのみであり、 これに限らず、 逆順やランダム配置 などの任意の配列を広く適用することが可能である。

次に、 図 2 (B) は、 リング状に発光部 6 Aを複数配置していて、 かつ、 各発 光部 6 A内に 6種類の原色を包含するように上記第 1 LED 6 a〜第 6 LED 6 f を配置した例を示している。 なお、 図示の例では、 1つの発光部 6 A内に 6原 色の全てを配置しているが、 これに限らず、 3原色ずつを配置するなどの 6原色 が複数の発光部 6 Aに分かれるようにしても構わない。

さらに、 図 2 (C) は、 上記第 1 LED 6 a〜第 6 LED 6 f のそれぞれにフ ァィババンドル 6 Bの一端側 6 B a〜 6 B f を接続し、 他端側 6 B gをリング状 に形成したものである。 これにより、 LED 6 a〜6 f から発光された照明光は 、 バンドルファイバ端 6 B a〜6 B f に入射する。 バンドルファイバ端は複数の さらに細いファイバから構成されており、 バンドルファイバの射出部 6 B gでは 各 LEDからのこれら細いファイバは互いに混ぜ合わされてリング状の均一な光 源として被写体に照射され、 被写体による全反射の影響を低減することができる なお、 LEDの配置は、 図 2に示したような例に限らず、 CCD 8による撮像 に支障を来すことのない限りは、 リング状配置、 十字状配置、 矩形状配置、 ラン ダム配置などの適宜の配置を採用することが可能である。

次に、 この撮影装置 1では、 2種類の画像取得モードがあることについて説明 する。

上述したように、 この撮影装置 1は、 通常の RGB画像としての動画と、 高度 な色再現を可能とする 6原色の被写体分光画像としての静止画と、 を撮像するこ とができるようになつており、 動画はモニタ用画像取得モードにおいて、 静止画 は分光画像取得モードにおいて、 それぞれ撮像されるようになっている。 これら 2つのモードは、 上記操作スィツチ 1 4に含まれている押下式のボタン スィッチでなる撮影ボタン 1 4 a (図 1 6参照） を押すことにより切り替えられ るように構成されている。

すなわち、 まず、 電源スィッチをオンにするなどによりモニタ用画像取得モー ドが自動的に設定され、 被写体像が動画として L E Dモニタ 1 6上に表示される 。 この状態で、 分光画像を撮影したい被写体部分を探して、 撮影装置 1の位置決 めを行う。 こうして、 撮影したい被写体部分が撮像範囲内に入って位置決めがな されたところで、 上記撮影ポタン 1 4 a (図 1 6参照） を押すことにより、 分光 画像取得モードに切り替つて被写体分光画像が静止画として取得される。

被写体分光画像が取得された後は、 再びモニタ用画像取得モードに復帰して、 次に分光画像を取得したい被写体部分を探すことができるような構成となってい る。

なお、 図示はしないが、 別途の設定を行うことにより、 取得した分光画像を用 いた色再現表示や分光画像を解析した結果の表示などを、 分光画像の取得直後に 該 L C Dモニタ 1 6、 あるいは上記ディスプレイ 2 2に行うことも可能となって いる。

次に、 図 4から図 6を参照して、 画像処理システムにおける分光画像取得モー ドの動作について説明する。 図 4は 6パンド分光画像取得における各 L E Dの発 光と撮像素子の画像取得との動作を示すフローチヤ一ト、 図 5は 6バンド分光画 像取得における各 L E Dの発光と撮像素子の画像取得との動作の様子を示すタイ ミングチャート、 図 6は 6バンド分光画像取得における各フレームのパンド特性 を示す線図である。

撮影ボタン 1 4 a (図 1 6参照） が押されることによりモユタ用画像取得モー ドから分光画像取得モードに切り替わると、 分光画像の撮像を開始するか否かを 判断する （ステップ S 1 ) 。 撮影ポタン 1 4 aの押圧により直ちに分光画像の撮 像が開始される場合にはこの判断動作を行わなくても構わないが、 撮影ボタン 1 4 aが例えば 2段式の押圧ポタンで構成されていて、 1段目の半押し状態で焦点 調節や露光量調節等を行い、 2段目の全押し状態で露光を開始する場合には、 こ のステップ S 1において 2段目が押圧されたか否かを判断する。 次に、 変数 nに 1を設定して （ステップ S 2) 、 第 n LEDを点灯させる （ス テツプ S 3) 。 ここでは n= 1に設定されているために、 第 1 LED 6 aを点灯 させることになる。 第 1 LED 6 aによる照明光は、 筐体 5の投射口 5 aを介し て被写体に照射される。 このときに、 当て付け部 4が被写体の表面に柔軟に当て 付いて外光の侵入を防いでいるために、 被写体には第 1 LED 6 aからの照明光 のみが投射されることになる。 被写体からの反射光は、 撮像光学系 7により CC D 8の表面に結像される。

この第 1 LED 6 aの点灯が開始された後に、 CCD 8による撮像、 より詳し くは電荷の蓄積、 を開始する （図 5参照） （ステップ S 4) 。

CCD 8による撮像が終了したら、 その後に第 1 LED 6 aを消灯し （ステツ プ S 5) 、 CCD 8から画像データを読み出して、 上記 変換器 9によりデ ジタルデータに変換させ、 バス 10を介してメモリ 1 1内の所定の記憶領域 （第 nメモリ ： ここでは第 1メモリ） に記憶させる (ステップ S 6) 。 6バンド分光 画像を撮像する場合には、 メモリ 1 1内に第 1メモリから第 6メモリまでの記憶 領域が設けられており、 これらの記憶領域に各分光画像が順次格納されるように なっている。

その後、 nをインクリメントする (ステップ S 7) 。 ここでは nが 1から 2に インクリメントされることになる。

nが 7以上になったか否かを判断して （ステップ S 8) 、 ここではまだ 2であ るために上記ステップ S 3に戻り、 第 2 LED 6 bを点灯して上述したようなス テツプ S 3からステップ S 7までの動作を行う。

このようにして、 n = 6のときに第 6 LED6 f を点灯してステップ S 6まで の動作を終了すると、 図 6に示すようなパンド特性の 6パンド分光画像が取得さ れ、 メモリ 1 1に保存されたことになる。 そして、 ステップ S 7で n = 7にイン クリメントされるために、 ステップ S 8の判断において nが 7に達したとして、 この 6バンド分光画像取得の動作を終了する。

なお、 図示しないが、 発光素子 （LED) と撮像素子 （CCD) による画像取 得タイミングは、 前述に限らず、 撮像素子の画像取得開始後に発光素子を点灯し 、 発光素子の消灯後に撮像素子による画像取得を終了する、 などでも同等である 次に、 図 7から図 9を参照して、 画像処理システムにおけるモニタ用画像取得 モードの動作について説明する。 図 7はモニタ用画像取得における各 LEDの発 光と撮像素子の画像取得との動作を示すフローチヤ一ト、 図 8はモニタ用画像取 得における各 LEDの発光と撮像素子の画像取得との動作の様子を示すタイミン グチャート、 図 9はモニタ用画像取得における各フレームのバンド特性を示す線 図である。

このモニタ用画像取得モードは、 第 1 LED 6 a〜第 6 LED 6 f による 6原 色の照明光から、 青 （B) の範疇に相当する第 1 LED 6 aおよび第 2 LED 6 bを発光させる状態と、 緑 （G) の範疇に相当する第 3 LED 6 cおよぴ第 4 L ED 6 dを発光させる状態と、 赤 （R) の範疇に相当する第 5 LED 6 eおよび 第 6 LED 6 f を発光させる状態と、 を順次取らせることにより、 RGB画像を 面順次式で動画像として取得するモードとなっている。

なお、 ここでは、 一般の RGB画像用を想定して発光原色を選定しているが、 これに限らず、 特殊な用途等に応じた他の発光原色の選定も行うことが可能であ る。

電源スィツチがオンされることによりモニタ用画像取得モードが設定されるか 、 あるいは分光画像取得モードが終了することによりモニタ用画像取得モードに 復帰すると、 モユタ用画像の撮像を開始するのを待機する (ステップ S 1 1) 。 ここでは直ちに撮像が開始され、 変数 nに 1を設定して （ステップ S 1 2) 、 第 n LEDおよぴ第 n+ 1 LEDを点灯させる （ステップ S 1 3) 。 ここでは n = 1に設定されているために、 第 1 LED 6 aおよび第 2 LED 6 bを点灯させ ることになる。

これら第 1 LED 6 aおよぴ第 2 LED 6 bの点灯が開始された後に、 CCD 8による撮像を開始する （図 8参照） （ステップ S 14) 。

CCD 8による撮像が終了したら、 その後に第 1 LED 6 aおよぴ第 2 LED 6 bを消灯し （ステップ S 1 5) 、 CCD 8から画像データを読み出して、 上記 A/D変換器 9によりデジタルデータに変換させ、 パス 10を介してメモリ 1 1 内の所定の記憶領域 （第 nメモリ ： ここでは第 1メモリ） に記憶させる （ステツ その後、 nを 2だけ増加させる （ステップ S 1 7) 。 ここでは nが 1から 3に 增加されることになる。

nが 7以上になったか否かを判断して （ステップ S 18) 、 ここではまだ 3で あるために上記ステップ S 1 3に戻り、 第 3 LED 6 cおよぴ第 4 LED 6 dを 点灯して、 上述したようなステップ S 1 3からステップ S 1 7までの動作を行う これにより n = 5となって、 さらに上記ステップ S 1 3に戻って第 5 LED 6 eおよび第 6 LED 6 f を点灯してステップ S 16までの動作を終了すると、 図 9に示すようなバンド特性の RGB画像が B, G, Rの順に取得され、 メモリ 1 1の第 1メモリ、 第 3メモリ、 第 5メモリに各保存されたことになる。 そして、 ステップ S 1 7で n = 7にインクリメントされるために、 ステップ S 18の判断 において nが 7に達したと判断される。

こうして、 RGB画像を取得した後に、 上記ステップ S I 1に戻って、 次の R GB画像を取得するかを判断する。 モニタ用画像取得モードが引き続いて設定さ れている場合には、 次の RGB画像の取得を行い、 これを連続的に繰り返すこと で、 RGB動画像を得ることができる。

なお、 図示しないが、 発光素子 （LED) と撮像素子 （CCD) による画像取 得タイミングは、 前述に限らず、 撮像素子の画像取得開始後に発光素子を点灯し 、 発光素子の消灯後に撮像素子による画像取得を終了する、 などでも同等である このようにしてメモリ 1 1に記憶された画像データは、 その後に読み出されて モニタ表示用の画像信号に変換され、 モニタ I 1 5を介して LCDモユタ 1 6に出力されて表示される。 また、 この画像処理システムの設定を変更すること により、 処理装置 2のディスプレイ 22に表示することも可能となっている。 なお、 ここでは照度を確保するために、 6原色の LEDを 2つずつに分けて 3 つの素子群、 つまり R素子群、 G素子群、 B素子群でなるグループを構成したが 、 これに限らず、 例えば、 B (青） については第 1 LED 6 aを、 G (緑） につ いては第 3 LED 6 cを、 R (赤） については第 5 LED 6 eをそれぞれ発光さ

- 16 - せる、 各 1色の発光を行うようしても良い。 このときには、 これらの LEDの分 光特性が、 RGB発光に適するようなものを選定するようにすると良い。

さらに、 単一あるいは複数の特定の原色の LEDのみを点灯して、 モノクロモ ユタ画像を取得することにより、 モニタ表示を高速に行うことも可能である。 図 10は、 6原色の LEDが各 3つずつ設けられているときの点灯のさせ方の 例を示す図である。

発光モードとしては、 全ての LEDを点灯する場合、 1つの原色の 1つの LE Dのみを単一点灯する場合、 1つの原色について 3つの LEDを点灯させる単一 原色点灯の場合、 6原色の LEDを各 1個ずつ点灯させる場合、 1 8個でなる 6 原色の LEDの内の例えば青 （B) に属する 6個の LEDを点灯させる場合、 1 8個でなる 6原色の LEDの內の例えば緑 （G) に属する 6個の LEDを点灯さ せる場合、 18個でなる 6原色の LEDの内の例えば赤 （R) に属する 6個の L EDを点灯させる場合、 18個でなる 6原色の LEDの内の例えば青 （B) に属 する 3個の LEDを点灯させる場合、 18個でなる 6原色の LEDの内の例えば 緑 （G) に属する 3個の LEDを点灯させる場合、 18個でなる 6原色の LED の内の例えば赤 （R) に属する 3個の LEDを点灯させる場合、 などが例として 挙げられる。 こうして、 色毎にまとめた素子群を同時に発光させたり、 位置毎に まとめた素子群を同時に発光させたりすることができるようになつている。 なお、 本実施形態の撮影装置 1は、 被写体を撮像するときに、 接触で行うこと も非接触で行うことも何れも可能であるが、 画像を正確に色再現するためには、 この撮影装置 1以外から発生する光の影響を受けることのないようにする必要が ある。

従って、 非接触で被写体を撮像する場合には、 外光照明を消灯する必要がある また、 塗装面、 皮膚面、 近接画像などの接触で撮影を行うことができる被写体 の場合には、 上述したように、 略円筒状に形成された当て付け部 4を被写体に柔 軟に当て付けることができるために （図 1参照） 、 遮光性を確保することが可能 となる。

当て付け部 4は、 接触式である場合に用いるものであるために、 被写体が人体 である場合などには細菌汚染や汚れなどを防ぐ衛生の観点から、 また、 被写体が 塗装板などである場合には汚れが転写するのを防止する観点などから、 図 1 1に 示すように、 着脱可能でデイスポーザブルな部材となっている。 図 1 1は、 筐体 5の投射口 5 aに対して着脱可能に構成された当て付け部 4を示す斜視図である この当て付け部 4は、 被写体が高温または低温のものである場合に向けて断熱 素材により形成したり、 被写体が静電気を帯びる性質のものであったり導電性を 有する電気関連のものであったりする場合に向けて絶縁性素材により形成したり 、 被写体が溶液が浸漬しているものである場合に向けて防溶液性の素材により形 成しかつ照明光を投影し反射光を受光するためのガラス窓などを形成したりする ことが可能である。 当て付け部 4は着脱可能な単体の部品であるために、 このよ うな各種の素材で種々の形状に形成するのを容易に行うことができる。 さらに、 被写体の表面を肉眼で観察するために、 当て付け部 4に開閉可能な観察用窓等を 設けることも容易に可能である。

なお、 本実施形態において、 L E Dにより発光される複数の原色の内の、 特定 の一または複数の原色を用いることによって、 特定用途の検査や判別に利用する ことも可能である。

続いて、 処理装置 2における色再現について説明する。

上述したような撮影装置 1における撮像動作によりメモリ 1 1内に記録された 被写体分光画像は、 外部 I Z F 1 7を介して処理装置 2に送信され、 該処理装置 2に内蔵される画像メモリ部 3 2 (図 1 2参照） に記録されて、 所定のソフトゥ エアによって動作する演算装置 2 1により、 色再現や画像処理が行われるように なっている。 その処理結果は、 該処理装置 2のディスプレイ 2 2に表示されるか 、 あるいは上記 L C Dモニタ 1 6に転送されて表示される。

図 1 2は、 処理装置 2におけるディスプレイ 2 2に表示するための色再現を行 う構成を示すブロック図である。

この処理装置 2は、 撮影装置 1から入力される被写体分光画像が上記第 1 L E D 6 a〜第 6 L E D 6 f の何れにより照明されたものであるかに応じて画像メモ リ部 3 2内の,記憶領域を振り分ける画像振り分け部 3 1と、 この画像振り分け部 3 1により振り分けられた被写体分光画像をそれぞれ記憶する記憶領域である第 1メモリ 3 2 a〜第 6メモリ 3 2 f を備えた画像メモリ部 3 2と、 この画像メモ リ部 3 2に記憶された被写体分光画像を読み出してディスプレイ 2 2において高 度に色再現された画像を表示するためのディスプレイ画像データを算出し出力す る色再現演算部 3 3と、 を有し、 これらは例えば図 1に示した演算装置 2 1に含 まれていて、 さらに、 上記色再現演算部 3 3から出力されるディスプレイ画像デ ータに基づき高度に色再現された画像を表示する上記ディスプレイ 2 2を有して 構成されている。

上記色再現演算部 3 3は、 撮影装置 1に関するプロファイルを記憶する入力プ 口ファイル記憶部 3 3 bと、 上記画像メモリ部 3 2の第 1メモリ 3 2 a〜第 6メ モリ 3 2 f に記憶された被写体分光画像を読み出して上記入力プロファイル記憶 部 3 3 bに記憶されている入力プロファイルと内部に設定された所定の等色関数 とを用いて推定演算を行うことにより X Y Z三刺激値の画像データを生成する X Y Z推定演算部 3 3 aと、 上記ディスプレイ 2 2に関するプロファイルを記憶す るディスプレイプロファイル記憶部 3 3 dと、 上記 X Y Z推定演算部 3 3 aによ り推定された X Y Z三刺激値の画像データと上記デイスプレイプロフアイル記憶 部 3 3 dに記憶されているディスプレイプロファイルとを用いて演算を行うこと により上記ディスプレイ 2 2に出力するためのディスプレイ画像データを生成す るディスプレイ値変換部 3 3 cと、 を有して構成されている。

上記入力プロフアイル記憶部 3 3 bに記憶されている入力プロファイルは、 例 えば特開 2 0 0 0 - 3 4 1 4 9 9号公報に記載されているようなものであって、 撮像に用いた C C D 8の分光感度を含む撮影装置 1の特性や設定 （画像入力装置 ) 、 被写体を撮影するときの照明光のスペク トルデータ （撮影照明光情報） 、 生 成した被写体画像を観察するディスプレイ 2 2が設置されている場所の照明光の スペク トルデータ （観察照明光情報） 、 撮影した被写体の分光反射率の統計的性 質等の情報 （被写体特性情報） 、 等の情報に基づき算出されたものである。 図 1 4は、 処理装置 2において入力プロファイルを生成する構成例を示すプロ ック図である。

上記入力プロファイルは、 図 1 4に示すように、 撮影装置 1から敗得した各デ ータ等に基づき処理装置 2において生成するようにしても良い。

撮影装置 1において取得されるデータとしては、 照明光スペク トルデータ、 力 メラ特性データ、 被写体特性データなどが例として挙げられる。

上記照明スぺク トルデータは、 例えば被写体を撮像するときの照明に関するス ぺクトルデータであり、 接触式である場合には撮影装置 1に内蔵した各 L E D 6 a〜6 f のスぺク トルデータとなる。 非接触式の場合には、 さらに、 被写体を撮 影する場合の外部照明のスぺタ トルデータなども含むことになる。

上記カメラ特性データは、 フォーカス値などを含む撮影光学系 7の特性、 C C D 8の撮像特性、 シャツタ速度、 絞り値、 などの諸特性を含んで構成されている 上記被写体特性は、 被写体が例えば歯、 皮膚、 塗料などである場合の分光統計 データ等で構成されていて、 高精度な入力プロファイルを作成するために、 操作 スィッチ 1 4などに被写体指定操作部を設けて、 被写体を指定するための被写体 指定信号を入力するようにしても良い。

これらのデータに基づいて入力プロファイルを生成する処理装置 2の構成は、 図 1 4に示すように、 上記照明スペク トルデータ、 カメラ特性データ、 被写体特 性データを読み込んで演算を行うことにより入力プロファイルを生成する入力プ 口ファイル演算部 3 3 eと、 この入力プロファイル演算部 3 3 eにより生成され た入力プロファイルを記憶する上記入力プロファイル記憶部 3 3 bと、 を有して 構成されている。

このような構成により、 処理装置に接続される撮影装置 1を異なる個体、 機種 などのものに変更 （撮影光学系 7の変更等） したり、 撮影を行う環境照明が変化 したり、 撮影対象となる被写体を様々に変化させたりしても、 適応的に、 高度な 色再現を行うことが可能となる。

また、 上記ディスプレイプロファイル記憶部 3 3 dに記憶されているディスプ レイプ口ファイルは、 ディスプレイ 2 2の表示原色値 （例えばディスプレイ 2 2 が R G Bモニタである場合には R G B原色値） の色度値、 ディスプレイ 2 2のト ーンカーブ、 等の情報に基づき算出されたものである。 なお、 ディスプレイは、 特開 2 0 0 0— 3 3 8 9 5 0号公報に記載されているような多原色の色再現シス テムを用いても構わない。

また、 図 1 3は、 取得された被写体分光画像に基づき被写体に関する画像判別 を行うための構成例を示すブロック図である。

上記画像メモリ部 3 2の第 1〜第 6メモリ 3 2 a〜3 2 f に記憶された被写体 分光画像は、 画像判別演算部 3 4により読み出されて被写体に関する画像判別が 行われ、 その判別結果が出力されて上記ディスプレイ 2 2に表示されるようにな つている。 また、 画像の判別演算がネットワークを介して行われ、 結果が L C D モニタ 1 6に表示されるように構成されていても構わない。

上記画像判別演算部 3 4は、 被写体に関する各種の分類/判定/診断 Z解析な どを行うための判別関数を記憶する判別関数記憶部 3 4 bと、 上記画像メモリ部 3 2の第 1〜第 6メモリ 3 2 a〜3 2 f に記憶された 6枚の被写体分光画像の全 部またはその内から選択される 1枚以上の被写体分光画像を、 この判別関数を用 いて演算することにより判別結果を算出し上記ディスプレイ 2 2に表示するため の判別結果表示用画像データを生成する判別演算部 3 4 aと、 を有して構成され ている。

なお、 上記判別関数は、 この画像処理システムをどのような用途に用いるかに よって、 種々の置き換えを行うことが可能である。 例えば、 歯科に限定して、 歯 の白さの等級判定や、 色あい判別、 皮膚科に限定して、 皮膚表面の皮溝や皮丘の 相関、 エントロピー解析などに置き換えることができる。 従って、 上記判別関数 記憶部 3 4 bを、 書き換え可能または追記可能な記憶媒体により構成して、 用途 に応じて使用する判別関数を書き加え、 あるいは書き換えるようにすると良い。 このような判別関数の具体的な例としては、 特開平 7— 1 2 0 3 2 4号公報に記 載されたような処理を行う関数を例に挙げることができる。

この図 1 3に示す画像判別演算部 3 4は、 上記図 1 2に示した色再現演算部 3 3に代えて処理装置 2に備えさせるようにしても良い。 あるいは、 図 1 2に示し た色再現演算部 3 3とともに該処理装置 2内に設けて、 これらにより処理を並列 して同時に行わせたり、 または、 必要なものだけを選択的に切り替えて処理を行 わせるようにしても構わない。

次に、 図 1 5は、 撮影装置 1の L C Dモニタ 1 6における表示例を示す図であ る。

LCDモニタ 16は、 例えば図 1 5 (A) に示すように、 撮影装置 1の筐体 5 の背面側の、 把持部 5 bの上部に配設されていて、 図 1 5 (B) や図 1 5 (C) に示すような画像を表示するようになっている。 なお、 ここでは、 手を被写体と して撮像している例を示している。

まず、 図 1 5 (B) は、 上記モニタ用画像取得モードにより撮像された動画像 を表示しているときの様子を示しており、 これにより、 LEDモエタ 16がファ ィンダとしての機能を果たすようになっている。

次に、 図 1 5 (C) は、 例えば上記画像判別演算部 34による被写体画像の判 別結果を表示している様子を示している。 ここでは、 被写体の I D番号 （例えば 医療分野の診断支援システムにおける患者番号など） と、 画像判別により得られ た数値解析結果のグラフ （例えば治療経過など） と、 が表示されている。 LCD モニタ 16には、 これらに限らず、 色再現画像、 患者カルテ、 各種データ、 図表 などの、 種々の情報を表示することが可能となっている。

こうして、 上記 LCDモニタ 1 6は、 撮影部位を選択するときのファインダと して機能したり、 色再現結果や分類 判定 診断/解析などの結果を表示すると きのモニタとして機能したりするようになっている。

一方、 処理装置 2のディスプレイ 22は、 ハンディタイプの撮影装置 1に設け られた LCDモユタ 1 6よりも大面積で高精細なタイプのものである場合が多い ために、 該処理装置 2において目的に応じて実行される処理ソフトウェアの、 起 動表示、 条件設定表示、 被写体 I Dなどの情報を入力するための GU I表示や、 患者の経歴表示、 前回情報等の被写体情報表示、 処理結果表示などを行うように しても良い。

上記ネットワーク 3には、 例えば外部データベースが接続されており、 この外 部データベースから被写体情報を処理装置 2に取得したり、 あるいは、 処理装置 2において行った処理結果を外部データベースへ格納するなどを行うようにして も良い。 このときには、 セキュリティーを確保するために、 処理装置 2と外部シ ステムとをネットワーク 3を介して接続する際に相互認証を行ったり、 被写体デ —タにセキュリティーレベルを設けてレベルに応じた認証を行ったりするように 構成することも可能である。

次に、 図 1 6は、 画像処理システムを使用するときの様子の一例を示す図であ る。

上記撮影装置 1は、 軽量小型となるように構成されており、 例えば片手で把持 部 5 bを把持して、 撮像系が設けられた筐体 5の先端側を、 当て付け部 4を介し て被写体の撮影対象部位に当てることにより、 撮像を行うことができるようにな つている。

上記当て付け部 4は、 上述したように、 着脱可能でディスポーザブルな部材と なっていて、 外部からの光が被写体の撮影対象部位に当たるのを遮蔽している。 上記把持部 5 bの上部、 例えば人差指で操作可能な位置に、 上記操作スィッチ 1 4に含まれる撮影ボタン 1 4 aが設けられており、 上記 L C Dモニタ 1 6で撮 影しょうとする部位を特定した後に、 この撮影ボタン 1 4 aを押下することによ り、 上述したようにモニタ用画像取得モードから分光画像取得モードに移行して 、 分光画像の撮像が行われるようになっている。

取得された分光画像は、 処理装置 2においてデータ処理が行われディスプレイ 2 2に表示されるが、 必要に応じて設定等を行うことにより、 撮影装置 1の L C Dモニタ 1 6に処理装置 2における処理結果を表示するようにしても良いのは上 述した通りである。

なお、 この図 1 6に示す例においては、 処理装置 2を、 ディスプレイ付きのノ ート型のパーソナルコンピュータとして図示している。 このような場合には、 ノ ート型のパーソナルコンピュータに備えられている R S— 2 3 2 C、 U S B、 I E E E 1 3 9 4などのインターフェース ( I / F ) を介して、 上記ネットワーク 3に接続するようにすると良い。

このような第 1の実施形態によれば、 画像処理システムの撮影装置内に可視光 域において各異なる分光分布を有する 6種類の L E Dを設けて、 外光を遮断しな がらこれらを発光させることにより、 被写体分光画像を撮像することができる。 このとき、 光源として L E D等の小型軽量な半導体発光素子を用いているために 、 撮影装置を小型化することができ、 ハンディタイプのものを作成することも可 倉 となる。 また、 処理装置によって処理を行うことにより、 高度に色再現された画像をデ イスプレイに表示することが可能となる。

さらに、 L E Dの発光順序や発光させる L E Dを指定することにより、 通常の R G B動画像を始めとして、 種々の目的に用いる画像を撮像することが可能とな る。

加えて、 モノクロ C C Dを用いているために、 コストをやや低減することがで きるとともに、 各色の画像データが欠落画素を生じさせることなく 1画面ずつ取 得されるために、 補間処理を省略することが可能となる。

図 1 7から図 2 0は本発明の第 2の実施形態を示したものであり、 図 1 7は画 像処理システムの構成を示すブロック図、 図 1 8はフルモードと読み出し 2倍速 モードとにおける読み出しの様子を示すタイミングチャート、 図 1 9は 2 / 4ラ イン 2倍速モードと 2 Z 8ライン 4倍速モードとにおける読み出されるラインの 様子を示す図、 図 2 0は撮影モードを設定する際の動作を示すフローチヤ一トで あ 。

この第 2の実施形態において、 上述の第 1の実施形態と同様である部分につい ては同一の符号を付して説明を省略し、 主として異なる点についてのみ説明する この第 2の実施形態は、 上述した第 1の実施形態を基本構成として、 さらに、 前面にカラーフィルタアレイ （C F A) 1 9を備えたカラー C C Dからの画像読 み出し速度を調整することができるように構成したもの ある。

画像読み出し速度は表示速度に関連しており、 表示速度を読み出し速度以上に 速くすることはできない。

一般的に、 画像をモニタする場合には、 3 0画像/秒程度以上の表示間隔が望 ましいが、 原色数 Nが増加するとそれに伴って比例的に表示間隔が長くなり、 ち らつき状態が生じたり、 あるいは各原色画像所得時間差による大きな画像位置ず れが生じたりすることがある。

従って、 本実施形態は、 表示間隔が長くなるのを回避して、 読み出し原色数 N によることなく表示間隔を一定にするために、 図 1 7に示すように、 カメラ制御 I / F 1 2 Aにより C C D 8 Aからの画像読み出し速度を調整するようにしたも のである。

図 20を参照して、 撮影モードを設定する際の動作について説明する。

操作スィッチ 14から撮影モードを選択する操作入力があると （ステップ S 2 1) 、 CPU 18がそれを検出して、 メモリ 1 1内の記録エリアの一部に、 設定 する撮影モードやそれに関連する情報等を記録するとともに （ステップ S 22) 、 カメラ制御 I ZF 1 2 Aに撮影モードを変更するように制御を行わせる命令を 発行する （ステップ S 23) 。

カメラ制御 I ZF 12 Aは、 この指令を受けて、 CCD 8 Aの駆動を制御し、 撮影モードを変更するようになっている。 このときには、 カメラ制御 I/F 1 2 は、 CCD 8 Aの動作に連動させて LEDドライバ 1 3を制御することにより、 各 LED 6 a〜6 f の発光量も合わせて調整するようになっている。

この撮影装置 1において設定可能な撮影モードは、 例えば、 次のようになって いる。

( 1 ) フルモード

(2) 読み出し 2倍速モード

(3) 2/4ライン 2倍速モード

(4) 2/8ライン 4倍速モード

(5) 2/1 6ライン 8倍速モード

(6) 第 1の中央部走査モード

(7) 第 2の中央部走査モード

(8) 第 3の中央部走查モード

(9) 第 4の中央部走査モード

(10) 第 1の中央部高速走査モード

(1 1) 第 2の中央部高速走査モード

「フルモード」 は、 図 18 (A) に示すように、 CCD 8 Aの全走查ラインの 全画素について通常の速度で順次読み出しを行っていく通常のモードである。 な お、 ここでは第 l LED6 a、 第 3 LED6 c、 第 5 L E D 6 eを同時に発光さ せるフレームと、 第 2 LED6 b、 第 4 LED6 d、 第 6 LED 6 f を同時に発 光させるフレームと、 により各フレームが構成されているが、 このような発光に より 6原色画像を取り込む手段については、 後の第 3の実施形態で説明する。

「読み出し速度 2倍速モード」 は、 図 18 (A) に示す通常のモードに対して 、 図 18 (B) に示すように、 CCD 8 Aの全走查ラインの全画素について通常 の 2倍の速度で順次読み出しを行っていくモードとなっている。 なお、 ここでは 2倍速の読み出しを例に挙げたが、 これに限らず適宜の倍数でも良いし、 さらに は可変倍としても構わない。

「2Z4ライン 2倍速モード」 は、 4ライン毎に 2ラインのみを走査すること により、 1フレームを読み出すのに要する時間を半分にするものであり、 垂直方 向の分解能は半分になるものの、 全有効ェリァの画像を取得することが可能とな つている。

「2/8ライン 4倍速モード」 は、 さらに、 8ライン毎に 2ラインのみを走査 することにより、 1フレームを読み出すのに要する時間を通常モードの 1 4に するものである。

「2 16ライン 8倍速モード」 は、 同様に、 16ライン毎に 2ラインのみを 走査することにより、 1フレームを読み出すのに要する時間を通常モードの 1 / 8にするものである。

「第 1の中央部走査モード」 は、 図 19 (A) に示すように、 全走査ラインの ライン数を Sとしたときに、 有効エリアの内の、 中央部の SZ 2ラインの部分の みを走査することにより、 1フレームを読み出すのに要する時間を半分にするも のである。

「第 2の中央部走査モード」 は、 図 19 (B) に示すように、 全走查ラインの ライン数を Sとしたときに、 有効エリアの内の、 中央部の S/4ラインの部分の みを走査することにより、 1フレームを読み出すのに要する時間を 1 /4にする ものである。

「第 3の中央部走査モード」 は、 同様に、 有効エリアの内の、 中央部の S/ 8 ラインの部分のみを走査することにより、 1フレームを読み出すのに要する時間 を 1/8にするものである。

「第 4の中央部走査モード」 は、 同様に、 有効エリアの内の、 中央部の SZ1 6ラインの部分のみを走查することにより、 1フレームを読み出すのに要する時 間を l Z l 6にするものである。

「第 1の中央部高速走査モード」 は、 上記図 1 9 (A) に示したような、 有効 エリアの内の中央部の S / 2ラインの部分のみを、 通常の 2倍の速度で走査する ことにより、 1フレームを読み出すのに要する時間を 1 Z 4にするものである。

「第 2の中央部高速走査モード」 は、 上記図 1 9 (B ) に示したような、 有効 エリアの内の中央部の S Z 4ラインの部分のみを、 通常の 2倍の速度で走査する ことにより、 1フレームを読み出すのに要する時間を 1 Z 8にするものである。 これらに限らず、 さらに他の手段による高速スキャンを行うことも可能であり 、 上記を含めて以下のようにまとめることができる。

まず第 1は、 単純なスキャン速度の高速化である。 これは、 例えば、 読み出し 開始を指示するトリガー信号のタイミングを調整することにより行うことができ る。 例えば、 1フレームの表示時間を 1 / 3 0秒とする例では、 各原色 （N原色 とする） の読み出し時間が 1 / 3 0 /Nとなるようにトリガー信号のタイミング を設定することにより達成される。

第 2に、 間引きスキャンによる高速化である。 上記第 1の高速化手段では、 撮 像素子によって高速化に限界が生じる。 これに対して、 この間引きを行う場合に は、 画質は低下するものの、 安定した走査を行って高速化を図ることができるた めに、 フレームレートが下がることはなく、 表示にちらつきを生じさせることが ない。 この間引きの例としては、 上述したような、 ライン単位で一定周期、 また は一定範囲で間引く手段以外に、 画素単位で間引くことも可能であり、 撮像素子 が X Yァドレス型のものである場合には、 きめ細かく所望の画素のみを読み出す ことも可能となる。

第 3に、 原色に応じてフレームレートを異ならせることによる高速化である。 通常の R G Bカラーフィルタ等を備えた C C Dにおいても、 輝度信号に近い緑 （ G) の画素は、 赤 （R) や青 （B ) の画素の 2倍の数だけ配設されていることが 多い。 このような点を考慮して、 6原色の内の緑 （G) に近いフレームは、 それ 以外の色のフレームの 2倍の数だけ読み出すようにすることが考えられる。 もち ろん、 これに限らず、 使用目的に応じて、 特定の原色のフレームを多く読み出す ようにしたり、 必要度に応じて読み出すレートを段階的に異ならせたりすると良 レ、。

このような第 2の実施形態によれば、 上述した第 1の実施形態とほぼ同様の効 果を奏するとともに、 読み出し速度を変更することにより、 一定の表示速度を確 保することが可能となり、 高度な色再現時にも動きが自然な動画像を表示するこ とが可能となる。

図 21から図 36は本発明の第 3の実施形態を示したものであり、 図 21は画 像処理システムの構成を示すプロック図、 図 22は画像処理システムを使用する ときの様子の一例を示す図である。 この第 3の実施形態において、 上述の第 1， 第 2の実施形態と同様である部分については同一の符号を付して説明を省略し、 主として異なる点についてのみ説明する。

この第 3の実施形態は、 上述した第 1の実施形態を基本構成として、 さらに、 CCDの撮像面上に 3パンドのカラーフィルタアレイを配設した構成としたもの である。

すなわち、 図 21や図 22に示すように、 撮影装置 1は、 撮像光学系 7により 被写体像が結像される光路上の CCD 8の近傍に、 例えば RGB 3パンドのカラ 一フィルタアレイ (図中、 CFAと省略する。 ） 1 9が配設されていて、 撮像素 子部としていわゆる単板式のカラー撮像素子が構成されている。

図 23は、 LED6 a〜6 f の発光スぺク トルとカラーフィルタアレイ 1 9を 通した C C D 8の分光感度特性とを示す線図である。

第 1の実施形態においても示したような、 曲線 f Ll〜 f L6により示される 6原 色 LEDの発光スぺクトルに対して、 カラーフィルタアレイ 1 9の透過率分布と CCD 8の受光感度分布とにより得られるトータルの分光感度特性は、 図示の曲 線 f SB， f SG, f SRとなっている。

これらの内の青色カラーフィルタに該当する分光パンド域を示す曲線 f SBは曲 線 f LI, f L2の 2つを包含して第 1 LED6 aと第 2 LED6 bの発光による光 を感受することができ、 緑色カラーブイルタに該当する分光バンド域を示す曲線 f SGは曲線 f L3, fL4の 2つを包含して第 3 LED 6 cと第 4 LED6 dの発光 による光を感受することができ、 赤色カラーフィルタに該当する分光バンド域を 示す曲線 f SRは曲線 f L5， f L6の 2つを包含して第 5 LED6 eと第 6 LED6 f の発光による光を感受することができるように構成されている。

ただし、 トータルの分光感度特性が互いに独立して分離している必要はなく、 周辺部分において互いに一部が重なり合うようになっていても構わない。 さらに

、 第 1の実施形態と同様に、 第 l LED6 a〜第 6 LED6 f の各発光スぺクト ルも、 一部が重なり合うような発光スペク トルであっても構わない。 もちろん、 LEDの種類も 6種類に限るものではなく、 適宜の種類数の LEDの組み合わせ を採用することができるのも同様である。

次に、 画像を取得するときの動作について説明する。

この画像処理システムにおいては、 上述した第 1の実施形態と同様に、 画像を 取得する際に、 モニタ用画像取得モードと分光画像取得モードとを切り替えて行 うようになっている。

図 24、 図 26、 図 27を参照して、 分光画像取得モードの動作について説明 する。 図 24は 6バンドの分光画像を生成するときのフレーム毎の分光画像の分 光特性を示す線図、 図 26は 6バンド分光画像取得における各 LEDの発光と撮 像素子の画像取得との動作を示すフローチャート、 図 27は 6パンド分光画像取 得における各 LEDの発光と撮像素子の画像取得との動作の様子を示すタイミン グチヤートである。

第 1の実施形態において説明したように、 撮影ボタン 14 aが押下されて分光 画像取得モードに切り替わると、 分光画像の撮像を開始する判断を行う （ステツ プ S 31 ) 。

ここで分光画像の撮像が開始されると、 フレーム Nの画像の取り込みを行って 、 その後にフレーム N+ 1の画像の取り込みを行う。

まず、 フレーム Nの画像の取り込みが開始されると、 第 l LED6 a, 第 3 L ED 6 c, 第 5 LED 6 eを同時に点灯させ （図 24 (A) 参照） （ステップ S 32) 、 点灯が開始された後に CCD 8による撮像を開始する （図 27参照） （ ステップ S 33) 。

CCD 8による撮像が終了したら、 CCD 8から画像データを読み出して、 上 記 AZD変換器 9によりデジタルデータに変換させ、 パス 10を介してメモリ 1 1内の所定の記憶領域 （フレームメモリ） に記憶させる （ステップ S 34) 。 そして、 該フレームメモリに記憶された各画像データを、 原色毎に分類して、 該メモリ 1 1内の所定の記憶領域 （第 1， 第 3， 第 5メモリ） に記憶させる （ス テツプ S 35 ) 。

その後に各 LED 6 a, 6 c, 6 eを消灯することで （ステップ S 36 ) 、 フ レーム Nの画像取り込みが終了する。

次のフレーム N+ 1の画像の取り込みは、 点灯させる LEDや撮像した画像デ ータを転送するメモリ領域が異なるだけで、 基本的にはフレーム Nの画像の取り 込みと同様である。

すなわち、 第 2 LED6 b， 第 4 LED6 d, 第 6 LED 6 f を同時に点灯さ せ （図 24 (B) 参照） （ステップ S 37) 、 点灯が開始された後に、 CCD 8 による撮像を開始する （図 27参照） （ステップ S 38) 。

CCD 8による撮像が終了したら、 CCD 8から画像データを読み出して、 上 記 AZD変換器 9によりデジタルデータに変換させ、 バス 1 0を介してメモリ 1 1内の所定の記憶領域 （フレームメモリ） に記憶させる （ステップ S 39) 。 そして、 該フレームメモリに記憶された各画像データを、 原色毎に分類して、 該メモリ 1 1内の所定の記憶領域 （第 2, 第 4, 第 6メモリ） に記憶させる （ス テツプ S 40) 。

その後に各 LED 6 b, 6 d, 6 f を消灯することで （ステップ S 41 ) 、 フ レーム N+ 1の画像取り込みが終了する。

なお、 図示しないが、 発光素子 （LED) と撮像素子 （CCD) による画像取 得タイミングは、 前述に限らず、 撮像素子の画像取得開始後に発光素子を点灯し 、 発光素子の消灯後に撮像素子による画像取得を終了する、 などでも同等である また、 上記ステップ S 35やステップ S 40において第 1〜第 6メモリに記憶 された各原色の画像は、 カラーフィルタアレイ 1 9の原色配列に応じた画素の欠 落が生じているために、 必要に応じて、 撮影装置 1または処理装置 2において補 間処理が行われることになる。

こうしてメモリ 1 1に記憶された 6パンドの被写体分光画像は、 処理装置 2に 送られて、 処理プログラムにより色再現や画像処理が行われる。 この処理結果は 、 他の処理プログラムによってディスプレイ 22に表示される力、 または撮影装 置 1に転送されて LCDモニタ 16に表示される。

次に、 図 25、 図 28、 図 29を参照して、 モニタ用画像取得モードの動作に ついて説明する。 図 25はモニタ用画像を生成するときのフレーム毎の分光画像 の分光特性を示す線図、 図 28はモユタ用画像取得における各 LEDの発光と撮 像素子の画像取得との動作を示すフローチャート、 図 29はモニタ用画像取得に おける各 L E Dの発光と撮像素子の画像取得との動作の様子を示すタイミングチ ヤートである。

なお、 本実施形態においても上述した各実施形態と同様に、 一般の RGB画像 用を想定して、 第 1 LED 6 aおよぴ第 2 LED 6 bが青 （B) の範疇に相当し 、 第 3 LED 6 cおよぴ第 4 LED 6 dが緑 （G) の範疇に相当し、 第 5 LED 6 eおよび第 6 LED 6 f が赤 （R) の範疇に相当するように、 各発光原色の選 定を行っている。

電源スィツチがオンされることによりモニタ用画像取得モードが設定されるか 、 あるいは分光画像取得モードが終了することによりモニタ用画像取得モードに 復帰すると、 モニタ用画像の撮像を開始するのを待機する （ステップ S 51) 。 ここでは直ちに撮像が開始され、 全ての LED 6 a〜6 f を点灯させる （図 2 5参照） （ステップ S 52) 。 全 LED 6 a〜6 f の点灯が開始された後に、 C CD 8による撮像を開始する （図 29参照） (ステップ S 53) 。

CCD 8による撮像が終了したら、 その後に全 LED 6 a〜6 f を消灯し （ス テツプ S 54) 、 CCD 8から画像データを読み出して、 上記 AZD変換器 9に よりデジタルデータに変換させ、 パス 10を介してメモリ 1 1内の所定の記憶領 域 （第 1, 第 3， 第 5メモリ） に記憶させる （ステップ S 55) 。

モニタ用画像取得モードが設定されている間は、 上記ステップ S 51に戻って このような動作を繰り返すことにより、 動画像を取得するようになっている。 このようにして得られた画像は、 モニタ用の画像データに変換されて、 モニタ I /F 1 5を介して LCDモニタ 16に表示される。 このときには、 設定によつ て、 処理装置 2のディスプレイ 22にモニタ用画像を表示することもできるよう になっている。 なお、 図 29に示したタイミングチャートでは、 CCD 8による撮像毎に LE D6 a〜6 f の全点灯と全消灯とを行って消費電力の低減を図っているが、 モニ タ用画像取得モードが設定されている間は、 LED 6 a〜6 f を連続的に点灯さ せるようにしても構わない。

また、 図示しないが、 発光素子 （LED) と撮像素子 （CCD) による画像取 得タイミングは、 前述に限らず、 撮像素子の画像取得開始後に発光素子を点灯し 、 発光素子の消灯後に撮像素子による画像取得を終了する、 などでも同等である なお、 モニタ画像取得方法として、 本実施形態における 6バンドの分光画像取 得モードを連続させることにより、 6バンドの分光画像の第 1と第 2バンドのメ モリ加算、 第 3と第 4パンドのメモリ加算、 第 5と第 6バンドのメモリ加算を同 時に行うことによってモニタ画像を生成することも可能である。 この場合は、 撮 影部アルゴリズムを変えることなくメモリ加算を行うだけでモニタ画像を生成す ることができる。 これは、 連続した分光画像測定時のモニタ方法として有効であ る。

次に、 図 30から図 36は、 この第 3の実施形態の変形例を示しており、 図 3 0は 8バンドの分光画像を生成するときの L E Dの発光スぺクトルとカラーフィ ルタアレイを通した C C Dの分光感度特性とを示す線図である。

この変形例は、 カラーフィルタアレイ 1 9を介した CCD 8による RGBの検 出バンド同士の間にまたがるような発光分光特性の LEDを設けることにより、 LEDは 6原色 （6バンド） の発光を行うだけであるのに、 検出としては 8パン ドの出力を得られるようにしたものである。

すなわち、 図 30 (A) に示すように、 カラーフィルタアレイ 1 9の透過率分 布と CCD 8の受光感度分布とにより得られるトータルの分光感度特性を示す曲 線 f SB， f SG, f SRに対して、 各 LED 6 a〜6 f による発光の分光特性 （各々 曲線 f Ll， 〜f L6， で示す） は、 次のようになっている。

まず、 青色カラーフィルタに該当する分光バンド域を示す曲線 f SB内には、 曲 線 f Ll， , f L2' の 2つが包含されていて、 曲線 f L3， も一部が包含されている 緑色カラーフィルタに該当する分光バンド域を示す曲線 f SG内には、 曲線 f L4 ' が包含されていて、 さらに、 上記曲線 f L3， の一部と、 曲線 fL5， の一部と、 が包含されている。

赤色カラーフィルタに該当する分光バンド域を示す曲線 f SR内には、 曲線 f L6 ， が包含されていて、 さらに、 上記曲線 f L5， の一部が包含されている。

こうして、 第 3 LED 6 cによる発光の分光特性 （曲線 f L3， ) は青色カラー フィルタのバンドと緑色カラーフィルタのパンドとにまたがり、 第 5 LED 6 e による発光の分光特性 （曲線 f L5， ) は緑色カラーフィルタのバンドと赤色カラ 一フィルタのバンドとにまたがるように構成されている。

このような構成により、 各 LED 6 a〜6 f により発光された光をカラーフィ ルタアレイ 1 9を介して CCD8により受光したときのトータルの分光感度特性 は、 図 30 (B) に示すように、 曲線 f SLl， （曲線 fLl， および曲線 f SBによる ) 、 曲線 f SL2' (曲線 iL2， および曲線 f SBによる） 、 曲線 f SL3， （曲線 f L3' および曲線 f SBによる） 、 曲線 f SL4' (曲線 f L3， および曲線 f SGによる） 、 曲 線 f SL5' (曲線 f L4' および曲線 f SGによる） 、 曲線 fSL6' (曲線 f L5， および 曲線 f SGによる） 、 曲線 f SL7' (曲線 f L5， および曲線 f SRによる） 、 曲線 f SL 8' (曲線 f L6' および曲線 f SRによる） の合計 8バンドとなる。

次に、 図 31から図 33を参照して、 8パンドの分光画像を取得する動作につ いて説明する。 図 31は 8パンドの分光画像を生成するときのフレーム毎の分光 画像の分光特性を示す線図、 図 32は 8バンド分光画像取得における各 L EDの 発光と撮像素子の画像取得との動作を示すフローチャート、 図 33は 8パンド分 光画像取得における各 L E Dの発光と撮像素子の画像取得との動作の様子を示す タイミングチヤ一トである。

なお、 この変形例においては、 8パンドの分光画像を撮像するために、 メモリ 1 1にはこれらに各対応して第 1〜第 8メモリの記憶領域が設けられている。 撮影ポタン 14 aが押下されて分光画像取得モードに切り替わると、 分光画像 の撮像を開始する判断を行う （ステップ S 6 1) 。

分光画像の撮像が開始されると、 まず、 図 31 (A) に示すようなフレーム N の画像の取り込み動作が開始され、 第 1 LED 6 aと第 4 LED 6 dとを同時に 点灯させ (ステップ S 62) 、 点灯が開始された後に、 CCD 8による撮像を開 始する （図 33参照） （ステップ S 63) 。

CCD 8による撮像が終了したら、 その後に LED 6 a, 6 dを消灯し （ステ ップ S 64) 、 CCD 8から画像データを読み出して、 上記 A/D変換器 9によ りデジタルデータに変換させ、 バス 10を介してメモリ 1 1内の所定の記憶領域 (第 1, 第 2メモリ） に記憶させる （ステップ S 65) 。 これにより、 フレーム Nの画像取り込み動作 （2バンドの被写体分光画像の取得） が終了する。

次に、 図 31 (B) に示すようなフレーム N+ 1の画像の取り込み動作が開始 され、 第 2 LED 6 bと第 5 LED 6 eとを同時に点灯させ （ステップ S 66) 、 点灯が開始された後に、 CCD8による撮像を開始する （図 33参照） （ステ ップ S 67 ) 。

CCD 8による撮像が終了したら、 その後に LED 6 b, 6 eを消灯し （ステ ップ S 68) 、 CCD 8から画像データを読み出して、 上記メモリ 1 1内の所定 の記憶領域 （第 3， 第 4, 第 5メモリ） に記憶させる （ステップ S 69) 。 これ により、 フレーム N+ 1の画像取り込み動作 （3バンドの被写体分光画像の取得 ) が終了する。

さらに、 図 31 (C) に示すようなフレーム N+ 2の画像の取り込み動作が開 始され、 第 3 LED 6 cと第 6 LED 6 f とを同時に点灯させ （ステップ S 70 ) 、 点灯が開始された後に、 CCD8による撮像を開始する （図 33参照） （ス テツプ S 71 ) 。

CCD 8による撮像が終了したら、 その後に LED 6 c， 6 f を消灯し （ステ ップ S 72) 、 CCD 8から画像データを読み出して、 上記メモリ 1 1内の所定 の記憶領域 （第 6， 第 7, 第 8メモリ） に記憶させる （ステップ S 73) 。 これ により、 フレーム N+ 2の画像取り込み動作 （3パンドの被写体分光画像の取得 ) が終了する。

分光画像を動画的に連続して取り込む場合には、 このようなフレーム Nからフ レーム N+ 2までの動作を繰り返して行うことになる。

なお、 図示しないが、 発光素子 （LED) と撮像素子 （CCD) による画像取 得タイミングは、 前述に限らず、 撮像素子の画像取得開始後に発光素子を点灯し 、 発光素子の消灯後に撮像素子による画像取得を終了する、 などでも同等である こうしてメモリ 1 1に記憶された 6パンドの被写体分光画像は、 処理装置 2に 送られて、 処理プログラムにより色再現や画像処理が行われる。 この処理結果は 、 他の処理プログラムによってディスプレイ 22に表示される力、、 または撮影装 置 1に転送されて LCDモニタ 1 6に表示される。

続いて、 図 34から図 36を参照して、 モニタ用画像を取得する動作について 説明する。 図 34はモニタ用画像を生成するときのフレーム毎の分光画像の分光 特性を示す線図、 図 35はモニタ用画像取得における各 LEDの発光と撮像素子 の画像取得との動作を示すフローチャート、 図 36はモニタ用画像取得における 各 LEDの発光と撮像素子の画像取得との動作の様子を示すタイミングチヤ一ト である。

電源スィツチがオンされることによりモニタ用画像取得モードが設定されるか 、 あるいは分光画像取得モードが終了することによりモニタ用画像取得モードに 復帰すると、 モニタ用画像の撮像を開始するのを待機する (ステップ S 8 1) 。 ここでは直ちに撮像が開始され、 全ての LED 6 a〜6 f を点灯させる （図 3 4参照） （ステップ S 82) 。 全 LED 6 a〜6 f の点灯が開始された後に、 C CD8による撮像を開始する （図 36参照） （ステップ S 83) 。

CCD 8による撮像が終了したら、 その後に全 LED 6 a〜6 f を消灯し （ス テツプ S 84) 、 CCD 8から画像データを読み出して、 上記 A/D変換器 9に よりデジタルデータに変換させ、 バス 10を介してメモリ 1 1内の所定の記憶領 域に記憶させる （ステップ S 85) 。

ここでは、 C C D 8による撮像毎に L E D 6 a〜 6 f の全点灯と全消灯とを行 つて消費電力の低減を図っているが、 上記図 29において説明したのと同様に、 モニタ用画像取得モードが設定されている間は、 LED6 a〜6 f を連続的に点 灯させるようにしても構わない。

なお、 図示しないが、 発光素子 （LED) と撮像素子 （CCD) による画像取 得タイミングは、 前述に限らず、 撮像素子の画像取得開始後に発光素子を点灯し 、 発光素子の消灯後に撮像素子による画像取得を終了する、 などでも同等である その後、 モニタ用画像取得モードが解除されるまで、 上記ステップ S 8 1に戻 つて、 上述したような動作を繰り返して行うことにより、 動画像用の画像データ を連続的に取得するようになっている。

このようにして得られた画像は、 モニタ用の画像データに変換されて、 モニタ I / F 1 5を介して L C Dモニタ 1 6に表示される。 このときには、 設定によつ て、 処理装置 2のディスプレイ 2 2にモニタ用画像を表示することもできるよう になっている。

なお、 上述では、 撮像素子として、 3バンドのカラーフィルタアレイとの組み 合わせによる単板撮像素子を例に挙げたが、 これに限らず、 入射光を複数の波長 帯域の光に分離する分光ミラーや分光プリズム等の分光部と、 この分光部により 分光された複数の波長帯域の光を撮像する複数の撮像素子と、 を有して構成され る 3板式の 3パンド撮像素子であっても良いし、 あるいは 2板式の撮像素子であ つても構わない。 さらに、 カラーフィルタとしては、 R G B 3パンドによる原色 系フィルタに限るものではなく、 補色系フィルタのものであってももちろん構わ なレ、。

また、 上述では 6バンドの.発光スぺクトルの L E Dから 8バンドの被写体分光 画像データを取得しているが、 これに限らず、 組み合わせにより任意の被写体分 光画像データを取得するようにしても良い。 例えば、 光源として第 3 L E Dと第 5 L E Dのみ、 すなわち 2バンドの光源のみであっても、 図 3 1に f SL3，， f SL 4' , f SL6，， f SL7'で示すように、 4パンドの被写体分光画像を得ることができ る。 この他、 様々な組み合わせが可能である。

このような第 3の実施形態によれば、 上述した第 1， 第 2の実施形態とほぼ同 様の効果を奏するとともに、 カラー撮像素子を用いることにより、 被写体分光画 像を取得するのに必要な撮像回数を減少させることができ、 高度な色再現の動画 像などもより容易に実現可能となる。

さらに、 L E Dの発光スペク トルが、 カラー撮像素子による受光の分光感度分 布にまたがるように構成することにより、 6バンドの発光スぺク トルの L E Dを 用いながら、 8パンドの被写体分光画像データを取得することが可能となる。 図 3 7から図 4 2は本発明の第 4の実施形態を示したものであり、 図 3 7は画 像処理システムの構成を示すプロック図である。 この第 4の実施形態において、 上述の第 1から第 3の実施形態と同様である部分については同一の符号を付して 説明を省略し、 主として異なる点についてのみ説明する。

この第 4の実施形態は、 上述した第 3の実施形態を基本構成として、 さらに、 スぺクトル検出センサを付加した構成としたものである。

すなわち、 図 3 7に示すように、 画像処理システムの撮影装置 1は、 光のスぺ クトル分布を検出するスぺクトル検出センサ 4 1と、 このスぺクトル検出センサ 4 1 へ検出光を導入するプローブ 4 2と、 上記スぺクトル検出センサ 4 1からの 出力をデジタル信号に変換するとともに処理して出力するセンサ I ZF 4 3と、 被写体特性を記憶する被写体特性メモリ 4 4と、 カメラ特性を記憶するカメラ特 性メモリ 4 5と、 を図 2 1に示した第 3の実施形態の構成に加えてさらに有して 構成されている。

上記スぺクトル検出センサ 4 1は、 第 1 L E D 6 a〜第 6 L E D 6 f を用いて C C D 8により 6パンド分光画像を取得する構成とは異なり、 光を画像として取 り込むのではなくスぺク トルのみを検出するものである。

このスペクトル検出センサ 4 1は、 光検出範囲が可視光域全域 （3 8 0 n m〜 8 0 0 n m) をカバーするものとなっていて、 グレーティング方式により検出を 行い、 分解能は 5 n mである。 従って、 詳細なスぺクトルデータを取得すること が可能となっている。 なお、 ここではグレーティング方式のスペクトル検出セン サを例に挙げているが、 それ以外の方式のものであっても構わない。

上記プローブ 4 2は、 例えばフレキシブルな光ファイバ （または光ファイババ ンドル） を使用しているが、 これに限らず、 検出光を導光することができるよう なものであれば、 広く使用することが可能である。

このような構成を用いて、 被写体からの光を検出すると該被写体の光スぺクト ルを検出することができる一方で、 被写体の代わりに標準白色板を置くことによ り、 照明光のスぺクトル特性を測定することも可能となる。

より詳しくは、 上記当て付け部 4等を用いて外部の照明光を遮断し、 第 1 L E D 6 a〜第 6 L E D 6 f を順次発光させて検出することにより、 各 L E D 6 a 〜 6 f のスペク トル特性を測定することができる。 これにより、 これらの発光素子 自体の劣化や、 温度等の環境変化によるスぺク トル特性の変化を検出することが できる。 ひいては、 特性の変化を反映した照明スペク トルのプロファイルを得る ことができるために、 より正確な高色再現を実現することが可能となる。

さらに、 外部の照明光を検出して、 環境照明光のスぺク トル特性を測定するこ とも可能である。

次に、 図 3 8は、 スペク トル検出センサを複数配設した画像処理システムを使 用するときの様子の一例を示す図である。

この図 3 8には、 スぺク トル検出センサのより具体的な配設例を示していて、 ここでは 2つのスぺク トル検出センサ、 すなわち、 第 1のスぺク トル検出センサ 4 7と第 2のスぺク トル検出センサ 4 6とが用いられている。

第 1のスぺク トル検出センサ 4 7は、 被写体部分の分光スぺク トルを検出する ために配設されたものであり、 プローブとなる光ファイバ 4 9の先端が、 第 1 L E D 6 a〜第 6 L E D 6 f の近傍の、 筐体 5の投射口 5 aを介して被写体光を入 射することができる位置に配設されている。

この第 1のスペク トル検出センサ 4 7は、 上述したように、 被写体の代わりに 標準白色板を配することにより、 第 1 L E D 6 a〜第 6 L E D 6 f の照明スぺク トルを検出するのに用いることができるとともに、 後述するように先端にレンズ 等を配設することにより、 被写体のスポット （特定部分） の分光反射スペク トル を直接的に取得することも可能となっている。

これにより、 第 1のスペクトル検出センサ 4 7を用いて、 自動車の塗装色、 建 物の塗装色、 食料品の分光特性、 衣料品の染色などのスぺク トルデータを直接取 得すれば、 それぞれの検査や確認のためのデータとして利用することが可能とな る。

また、 第 2のスペク トル検出センサ 4 6は、 被写体がおかれた環境の照明光ス ぺクトルを検出することができるように設けられたものであり、 プロープとなる 光ファイバ 4 8の先端が、 筐体 5の外面に露呈するとともに、 その先端を覆うよ うに白色で半透過性を有する積分球 4 8 cが取り付けられている。 この第 2のス ぺクトル検出センサ 4 6を用いることにより、 撮影装置 1から離間した位置にあ る被写体を、 太陽光や室内光のみで撮影するときの照明スぺクトルを取得するこ とが可能となる。 これにより、 被写体像の撮影と同時に、 そのときの環境照明光 に係る照明スぺクトルのプロファイルを作成することが可能であるために、 環境 照明光が変化したとしてもそれに対応して、 リアルタイムな高色再現を自動的に 行うことができる。

さらに、 撮影装置 1の周辺環境光のスペク トルを検出して、 撮影装置 1自体に 内蔵する L E Dのスぺクトルと比較することにより、 周辺環境光と L E D光との 何れを用いて撮像を行うかを適応的に切り替えることも可能となる。 例えば、 R G Bの動画像を撮像するときには周辺環境光を用いることが可能であるために、 この場合には内蔵する L E Dを発光させないことにより、 消費電力の低減を図る ことなども可能となる。

図 3 9は、 スぺクトル検出センサ 4 1の構成例を示す断面図である。

上記プローブ 4 2は、 入射端 4 2 aから光を入射して、 出射端 4 2 bから出射 するものである。

スぺクトル検出センサ 4 1は、 箱体 4 1 aと、 この箱体 4 1 aの一端部に開口 して設けられていて上記プローブ 4 2の出射端 4 2 bから出射される光をスリッ ト光として入射するための入射光スリット 4 1 bと、 上記箱体 4 1 aの内部に配 設されていて上記入射光スリツト 4 1 bから入射したスリット光を波長に応じて 分光し異なる方向に反射して集光させるグレーティング 4 1 cと、 上記箱体 4 1 aに取り付けられていて上記グレーティング 4 1 cにより波長に応じて異なる位 置に集光される光を受光してその強度に応じた信号を出力するフォトダイォード アレイ 4 I dと、 を有して構成されている。

これにより、 フォトダイオードアレイ 4 1 dは、 受光位置に応じて異なる波長 の光を光電変換し、 強度に応じた信号を出力することになる。

上記センサ I / F 4 3は、 このフォトダイォードアレイ 4 1 dから出力される アナログ信号をデジタル信号に変換するための A/D変換器 4 3 aを有して構成 されていて、 変換後のデジタル信号を上記バス 1 0を介して C P U 1 8等へ出力 するようになつている。 C P U 1 8は、 このデジタル信号を各波長の強度を示す スぺクトル情報として受けて、 解析等を行うようになっている。 図 4 0は、 スぺクトル検出センサ 4 7に接続される光ファイバ 4 9の入射端 4 9 aの様子を示す断面図である。 なお、 この図 4 0においては、 撮像光学系 7等 の図示を省略している。

光ファイバ 4 9の入射端 4 9 aには、 ある角度範囲からの光が入射するように なっている。 図示の例では、 筐体 5の投射口 5 aを介して入射する、 撮影対象で ある被写体表面からの反射光が、 上記入射端 4 9 aに到達するように設置されて いる。

この図 4 0に示す構成は、 '上述したような、 被写体として標準白色板を用い、 L E D照明のスペク トルを検出して経年変化による色の変化情報を取得するなど に用いることができるものである。

また、 図 4 1は、 スペク トル検出センサ 4 7に接続される光ファイバ 4 9の入 射端 4 9 aの近傍にセンサ用光学系 4 9 cを配設した構成例を示す断面図である 。 なお、 この図 4 1においても、 撮像光学系 7等の図示を省略している。

この図 4 1に示すように、 スぺクトル検出センサ 4 7に接続される光ファイバ 4 9の入射端 4 9 aにレンズ等でなるセンサ用光学系 4 9 cを設けることにより 、 入射端 4 9 a へ入射する光束を被写体のある範囲からの光に制限することがで きる。 これにより、 上述したように、 被写体の特定位置のスぺクトルを高い波長 分解能で測定することが可能となる。

図 4 2は、 環境光取得用に設けられたスぺク トル検出センサ 4 6に接続される 光ファイバ 4 8の入射端 4 8 aの様子を示す断面図である。 なお、 この図 4 2に おいても、 撮像光学系 7等の図示を省略している。

上述したように、 入力用の光ファイバ 4 8の入射端 4 8 aは、 筐体 5の外面に 露呈しており、 この入射端 4 8 aを取り囲むように、 白色で半透過性を有する積 分球 4 8 cが取り付けられている。

このような構成において、 環境照明光がこの積分球 4 8 cに照射されると、 拡 散して透過され、 光ファイバ 4 8の入射端 4 8 aから入射する。 この入射光は、 該光ファイバ 4 8により伝達されて、 スぺクトル検出センサ 4 6によりスぺクト ルの測定が行われる。

このような第 4の実施形態によれば、 上述した第 1力ゝら第 3の実施形態とほぼ 同様の効果を奏するとともに、 スペク トル検出センサを設けることにより、 被写 体光のスぺクトル分布を得ることができるとともに、 L E Dのスぺクトル分布を 取得して、 よりリアルタイムで正確な色再現を行うことも可能となる。

また、 センサ用光学系を用いることにより、 被写体の特定部分のスぺク トル分 布を取得することも可能となる。 このセンサ用光学系は、 上述したように、 例え ば 5 n mの分解能をもつものとなっているために、 被写体の特定部位について、 より詳細なスぺク トルデータを取得することが可能となり、 より精密な診断や判 定を行うことができる。

さらに、 環境照明光のスペク トルを検出することもできるために、 環境照明光 に係る照明スぺク トルのプロファイルをリアルタイムに取得することも可能とな る。

なお、 本発明は上述した実施形態に限定されるものではなく、 発明の主旨を逸 脱しない範囲内において種々の変形や応用が可能であることは勿論である。 産業上の利用可能性

以上説明したように本発明の画像処理システムによれば、 小型軽量で携帯可能 な高色再現の画像処理システムとなる。

Claims

請 求 の 範 囲

1 . 被写体を照明するためのものであって少なくとも可視光域において複数の それぞれ互いに独立して異なる分光分布特性の発光を行う複数の発光素子と、 上 記発光素子により照明された被写体像を結像する撮像光学系と、 上記撮像光学系 により結像された被写体像を撮像して画像信号を出力する撮像素子部と、 上記複 数の発光素子を分光分布特性に応じて選択的に点灯させて該点灯と上記撮像素子 部による撮像を行わせる動作とを同期させて該複数の発光素子の選択を異ならせ て複数回行わせることにより複数の被写体分光画像を取得するように制御する制 御部と、 を含む撮影装置と、

上記画像信号から所望の画像演算を行う演算部を含む処理装置と、

を具備したことを特徴とする画像処理システム。

2 . 上記制御部は、 分光分布特性に従って、 上記複数の発光素子から、 1っ以 上の発光素子を含む素子群を複数有してなるグループを設定し、 設定したグルー プ内における複数の素子群の点灯順序を定めて、 この点灯順序に従って各素子群 の発光素子を点灯させることにより、 上記選択的な点灯を行わせて、 複数の被写 体分光画像を取得するように制御するものであることを特徴とする請求の範囲第

1項に記載の画像処理システム。

3 . 上記制御部は、 上記グループを複数種類設定して、 用途に応じて必要なグ ループを用いるように制御するものであることを特徴とする請求の範囲第 2項に 記載の画像処理システム。

4 . 上記制御部は、 上記複数の発光素子から、 可視光域内の青に属する発光素 子の素子群と、 可視光域内の緑に属する発光素子の素子群と、 可視光域内の赤に 属する発光素子の素子群と、 で構成されるグループを設定し、 撮像フレーム毎に 各素子群の発光素子を順次点灯させて、 上記撮像素子部により 3原色カラー動画 像を撮像させる制御をさらに行うものであることを特徴とする請求の範囲第 3項 に記載の画像処理システム。

5 . 上記撮影装置は、 少なくとも分光画像撮影動作の開始を指示入力するため の撮影操作部をさらに含み、 上記制御部は、 上記撮影操作部から分光画像撮影動作の開始が指示入力される のに応じて、 上記複数の被写体分光画像を取得するための制御を行うものである ことを特徴とする請求の範囲第 3項に記載の画像処理システム。

6 . 上記撮影操作部は、 押下式のボタンスィッチを有して構成され、

上記制御部は、 このボタンスィッチが押下された時に、 上記グループを変更さ せるように制御するものであることを特徴とする請求の範囲第 5項に記載の画像 処理システム。

7 . 上記制御部は、 上記ボタンスィッチが押下された時に、 さらに、 変更した グループの素子群の点灯タイミングを制御するものであることを特徴とする請求 の範囲第 6項に記載の画像処理システム。

8 . 上記制御部は、 上記撮像素子部による撮像を、 発光素子の点灯開始後に開 始させるとともに、 該発光素子が消灯される前に終了させるように制御するもの であることを特徴とする請求の範囲第 1項に記載の画像処理システム。

9 . 上記撮像素子部は、 入射光を複数の波長帯域の光に分離する分光部と、 こ の分光部により分光された複数の波長帯域の光を撮像する複数の撮像素子と、 を 有して構成されたものであることを特徴とする請求の範囲第 1項に記載の画像処 理システム。

1 0 . 上記撮像素子部は、 カラーフィルタアレイを備えたカラー撮像素子を有 して構成されたものであることを特徴とする請求の範囲第 1項に記載の画像処理 システム。

1 1 . 上記撮影装置は、 上記発光素子の分光分布特性を検出するためのスぺク トル検出センサをさらに有して構成されたものであることを特徴とする請求の範 囲第 1項に記載の画像処理システム。

1 2 . 上記撮影装置は、 環境光の分光分布特性を検出するためのスぺク トル検 出センサをさらに有して構成されたものであることを特徴とする請求の範囲第 1 項に記載の画像処理システム。

1 3 . 上記撮影装置は、 該被写体に一端部側が接するようになされた当て付け 部をさらに有して構成されたものであることを特徴とする請求の範囲第 1項に記 載の画像処理システム。

1 4 . 上記当て付け部は、 柔軟性を有する素材により略筒状に形成されたもの であることを特徴とする請求の範囲第 1 3項に記載の画像処理システム。

1 5 . 上記当て付け部は、 外光の影響を排除または軽減する素材により構成さ れたものであることを特徴とする請求の範囲第 1 3項に記載の画像処理システム

1 6 . 上記当て付け部は、 撮影装置の筐体に対して着脱可能となるように構成 されたものであることを特徴とする請求の範囲第 1 3項に記載の画像処理システ ム。

1 7 . 上記処理装置は、 上記撮影装置により撮影された被写体分光画像を記憶 するための画像メモリ部をさらに含み、

上記演算部は、 上記画像メモリ部に記憶された画像信号から所望の画像演算を 行うものであることを特徴とする請求の範囲第 1項に記載の画像処理システム。

1 8 . 上記演算部は、 上記画像メモリ部に記憶された被写体分光画像に基づき 、 高度に色再現された被写体の画像を表示するための信号を演算するものである ことを特徴とする請求の範囲第 1 7項に記載の画像処理システム。

1 9 . 上記処理装置は、 上記撮影装置により取得されるデータに基づき、 高度 に色再現された被写体の画像を表示するための信号を演算するのに必要なプロフ アイル情報を算出するものであることを特徴とする請求の範囲第 1 8項に記載の 画像処理システム。

2 0 . 上記演算部は、 上記画像メモリ部に記憶された被写体分光画像に基づき 、 被写体に係る判別または解析を行いその結果を出力するものであることを特徴 とする請求の範囲第 1 7項に記載の画像処理システム。

2 1 . 上記撮像素子部は、 撮像時のフレームレートを変更することができるよ うに構成されたものであることを特徴とする請求の範囲第 1項に記載の画像処理 システム。

2 2 . 上記撮影装置は、 少なくとも分光画像撮影動作の開始を指示入力するた めの撮影操作部をさらに含み、

上記制御部は、 上記撮影操作部から分光画像撮影動作の開始が指示入力される のに応じて、 上記複数の被写体分光画像を取得するための制御を行うものである とを特徴とする請求の範囲第 1項に記載の画像処理システム。