WO2004106858A1 - ステレオカメラシステム及びステレオ光学モジュール - Google Patents

Abstract

本ステレオカメラシステムは、ステレオ画像を得るためのステレオ光学モジュール（１）と、ステレオ光学モジュール（１）で得られたステレオ画像より対象となる被写体の評価を行う中央制御ユニット（３）と、ステレオ光学モジュール（１）から出力されるステレオ画像データを中央制御ユニット（３）に入力させるための通信回線（２）とから構成される。そして、本ステレオカメラシステムは、ステレオ光学モジュール（１）に、ステレオ光学モジュール（１）で取得したステレオ画像に対して所定の画像処理を施す画像出力処理回路（８）を設け、この画像出力処理回路（８）にステレオ画像撮像時のアンバランスを補正するための補正演算を行わせる。

Description

明 細 書

ステレオカメ ラシステム及びステレオ光学モジュール 技術分野

本発明は、 車両、 船舶、 航空機、 及び口ポッ 卜等の移動体 や監視カメ ラシステム等の非移動体に搭載可能なステレオ力 メ ラシステム及びステレオ光学モジュールに関する。

背景技術

従来、 1 枚の画像中に視差のある左右 2 つの画像を含んだ 所謂ステレオ画像を撮像するための撮像装置について、 各種 の提案がなされている。

例えば、 特開平 1 1 一 2 1 1 4 6 9号公報には、 1 対の力 メラを用いてステレオ画像を撮像するステレオ撮像ユニッ ト (ステレオ光学モジュール） とステレオ撮像画像を処理する 画像処理ユニッ ト （中央制御ユニッ ト） とを組み合わせたス テレオ画像処理システムが提案されている。 このステレオ撮 像ユニッ トでは、 1対のカメラの互いの特性のバラツキを補 正するために、 カメラ特性データを記憶しておく不揮発性メ モリ が内部に設けられている。 そして、 このようなステレオ 撮像ュニッ 卜 とステレオ画像処理ュニッ 卜 とを通信回線を介 して接続する ことで、 不揮発性メモリ に記憶された補正デー 夕を、 通信回線を介してステレオ画像処理ュニッ 卜に転送出 力する こ とが可能である。 また、 ステレオ撮像ユニッ ト内の カメ ラで撮像されたステレオ画像データは、 アナログ形式の 映像信号として通信回線を介してステレオ画像処理ュニッ ト に出力され、 ステレオ画像処理ユニッ ト内部では、 ステレオ 撮像ュニッ 卜から入力されたそれらアナログ形式の映像信号 と補正データ とから補正演算が行われる。

また、 特開平 1 1 一 3 2 8 4 1 3 号公報には、 撮像装置 (ステレオ光学モジュール） と画像処理ユニッ ト （中央制御 ュニッ ト） との間を 1 系統のアナログの画像信号用ケーブル で接続し、 この画像信号用ケーブルを使用 してステレオ画像 の各々を選択的に送る撮像装置が提案されている。

また、 特開 2 0 0 1 — 8 8 6 0 9号公報には、 車載カメ ラ (ステレオ光学モジュール） と画像認識装置 （中央制御ュニ ッ 卜） とを映像信号線とシリ アルの通信線とを用いて接続し、 更に、 車載カメ ラに温度を検出するための温度センサを実装 しておく こ とで、 この温度センサからの出力を、 シリ アル通 信線を介して画像認識装置に送る ことが可能な車載カメ ラが 提案されている。

更に、 特開 2 0 0 2 — 2 5 9 9 6 6号公報には、 複数の車 載カメ ラ （ステレオ光学モジュール） と周辺認識装置 （中央 制御ュニッ ト） とからなるシステムが提案されている。

こ こで、 上記特開平 1 1 一 2 1 1 4 6 9号公 で提案され ているシステムや上記特開平 1 1 一 3 2 8 4 1 3号公報で提 案されている撮像装置では、 ステレオ光学モジュールと中央 制御ュ.二ッ 卜 との間でアナログ形式の通信回線を使用 してス テレオ画像データを送っている。 このため、 ステレオ光学モ ジュール内部ではアナログの映像信号しか存在しない。

また、 ステレオ光学モジュール内部で得られたステレオ画 像は、 例えば被写体までの距離を求めるの 利用されるが、 距離演算を行う前には、 1 対のカメラがそれぞれ有する 1対 の光学系の間で発生する種々のアンパランスを補正するため の補正演算が必要である。 しかしながら、 ステレオ光学モジ ユールで得られたステレオ画像をステレオ光学モジュール内 で補正する こ とは困難である。 したがって、 この場合には、 中央制御ュニッ ト側で補正を行う必要が生じてく る。 この補 正について、 上記特開平 1 1 一 2 1 1 4 6 9 号公報では、 補 正データをステレオ光学モジュールに記憶させておき、 その 補正デ一夕を、 通信回線を使用 して中央制御ユニッ ト側に送 信する ことで、 中央制御ユニッ ト側で補正演算を行う という 手法を提案している。

こ こで、 上述した光学系の間で発生する種々のアンバラン スは、 ステレオ光学モジュール内部の光学系の取り付け位置 ずれや経年変化によるずれ等のステレオ光学モジュール毎に 固有のパラツキを有する。 このため、 特開平 1 1 一 2 1 1 4 6 9号公報のような手法では、 中央制御ュニッ 卜側にステレ ォ光学モジュール固有のバラツキを補正するための演算部が 必要になるので、 中央制御ユニッ ト側の構成が複雑になって しま 。

また、 上記特開 2 0 0 2 — 2 5 9 9 6 6号公報等に示すよ うな、 複数のステレオ光学モジュールと 1 つの中央制御ュニ ッ 卜 とからなるシステムの場合には、 複数のステレオ光学モ ジュールのそれぞれにおいて発生する種々のバラツキを補正 する演算部を、 全て中央制御ユニッ ト側に持たせる必要があ り、 中央制御ユニッ トの構造が非常に複雑なものとなってし まう。 例えば、 中央制御ユニッ トをカーナビゲーシヨ ンシス テムの中央制御ユニッ ト として用いる場合等では、 製造の手 間などの観点からも補正演算部をステレオ光学モジュール内 に持たせてしまう ことが望ましい。

また、 上記特開平 1 1 — 2 1 1 4 6 9号公報では、 ステレ ォ光学モジュールと中央制御ュニッ ト との間でアナログ形式 の通信ライ ンを使用 してステレオ画像データを送っている。 こ こで、 特開平 1 1 一 2 1 1 4 6 9号公報ではデジタルデー 夕を送受信するためのシリ アル通信線とアナログの画像デー 夕を送信するためのビデオ信号線とに、 別個に設けられた 2 系統の信号線が用いられている。

こ こで、 ステレオカメ ラシステムを車載等に使用する場合、 車の中にはワイヤーハ一ネス類を設置するスペースが少なく 、 なおかつ最近の車内の電子化の進歩から非常にワイヤーハー ネス類の使用量が増えてきている。 このため、 特開平 1 1 一 2 1 1 4 6 9 号公報のよう に、 2 系統の信号線を使用するシ ステムを搭載すると、 それだけスペースを占有してしまう。 特に特開 2 0 0 2 - 2 5 9 9 6 6号公報のような複数のステ レオ光学モジュールを用いるシステムにおいては、 よ り スぺ —スを占有してしまう ことになる。

発明の開示

本発明の目的は、 ステレオ画像撮像時のアンバランスを補 正するための補正演算または当該ステレオ光学モジュールに 付随するその他の画像処理演算をステレオ光学モジュール側 で行わせる こ とが可能なステレオカメ ラシステム及びステレ ォ光学モジュールを提供する こ とである。

また、 本発明の目的は、 ステレオカメ ラシステムにおける 中央制御を行う 中央制御ュニッ トの構造を簡単化してステレ ォ画像撮像時のアンバランスを補正することも可能なステレ ォカメ ラシステム及びステレオ光学モジュールを提供する こ とである。

更に、 本発明の目的は、 使用する信号線の本数を減らすこ とが可能なステレオカメ ラシステム及びステレオ光学モジュ —ルを提供する ことである。 ―

上記の目的を達成するために、 本発明の第 1 の態様のステ レオカメ ラシステムは、 同一被写体に対して、 複数の視点か ら見た被写体像を撮影し対象となる被写体までの距離を求め るためのステレオカメ ラシステムであって、 ステレオ画像を 取得するためのステレオ光学モジュールと、 このステレオ光 学モジュールで得られた前記ステレオ画像に基づいて対象と なる被写体の評価を行うための中央制御ユニッ ト と、 前記ス テレオ光学モジュールにおいて取得した前記ステレオ画像デ —夕を前記中央制御ュニッ ト に入力させるための通信回線と、 から構成され、 前記ステレオ光学モジュールは、 同一被写体 に対して複数視点から見た被写体像を発生させるためのステ レオ光学系と、 このステレオ光学系で発生した被写体像に基 づいてステレオ画像データを発生させる撮像素子と、 この撮 像素子によって発生させたステレオ画像データを A Z D変換 してデジタルステレオ画像データを発生させる A Z D変換部 と、 この A Z D変換部で発生した前記デジタルステレオ画像 データに対して所定の画像処理を施す画像出力処理回路と、 この画像出力処理回路で画像処理されたステレオ画像データ を出力するモジュール側通信イ ンタフェース とを具備し、 前 記中央制御ユニッ トは、 前記ステレオ光学モジュールで得ら れた前記ステレオ画像に基づいて前記被写体の評価を行うた めに、 前記モジュール側通信イ ンタフェースを介して出力さ れたステレオ画像デ一夕を入力させるュニッ ト側通信イ ン夕 フェースと、 このユニッ ト側通信イ ンタフェースを介して入 力された前記ステレオ画像データに基づいて対象となる被写 体までの距離を求める距離画像評価装置とを具備する。

また、 上記の目的を達成するために、 本発明の第 2 の態様 のステレオ光学モジュールは.、 ステレオ画像を得るためのス テレオ光学モジュールと、 前記ステレオ光学モジュールで得 られたステレオ画像よ り対象となる被写体の評価を行う 中央 制御ユニッ ト と、 前記ステレオ光学モジュールから出力され るステレオ画像データを前記中央制御ュニッ 卜に入力させる ための通信回線と、 からなり、 同一被写体に対して複数の視 点から見た被写体像を撮影し対象となる被写体までの距離を 求めるステレオカメラシステムに使用するためのステレオ光 学モジュールであって、 同一被写体に対して複数視点から見 た被写体像を発生するためのステレオ光学系と、 このステレ ォ光学系において発生した被写体像に基づいてステレオ画像 データを発生させる撮像素子と、 この撮像素子で発生したス テレオ画像デ一夕を A Z D変換してデジタルステレオ画像デ —夕を発生させる A Z D変換部と、 この A Z D変換部で発生 したデジタルステレオ画像データに対して所定の画像処理を 施す画像出力処理回路と、 この画像出力処理回路において画 像処理されたステレオ画像データを通信回線に出力するモジ ユール側通信イ ンタフェース とを具備する。

これら、 第 1 及び第 2 の態様によれば、 ステレオ光学モジ ユール内で得られたステレオ画像データに対して所定の画像 処理演算が行われる。 即ち、 画像処理演算をステレオ光学モ ジュール内で行う ことによって、 中央制御ユニッ ト側の構造 を簡略化する こ とができる。

また、 上記の目的を達成するために、 本発明の第 3 の態様 のステレオカメラシステムは、 同一被写体に対して、 複数の 視点から見た被写体像を撮影.し対象となる被写体までの距離 を求めるためのステレオカメ ラシステムであって、 ステレオ 画像を取得するためのステレオ光学モジュールと、 このステ レオ光学モジュールで得られた前記ステレオ画像に基づいて 対象となる被写体の評価を行うための中央制御ユニッ ト と、 前記ステレオ光学モジュールにおいて取得した前記ステレオ 画像データを前記中央制御ュニッ 卜に入力させるための通信 回線と、 から構成され、 前記ステレオ光学モジュールは、 同 一被写体に対して複数視点か ら見た被写体像を発生させるた めのステレオ光学系と、 このステレオ光学系で発生した被写 体像に基づいてステレオ画像データを発生させる撮像素子と、 この撮像素子によって発生させたステレオ画像データを A Z D変換してデジタルステレオ画像データを発生させる A / D 変換部と、 前記ステレオカメ ラシステムのキヤ リ プレーショ ンデ一夕を記憶するための補正情報メモリ と、 前記 A / D変 換部で発生した前記デジタルステレオ画像データ と前記補正 情報メモリ に記憶された前記キヤ リ ブレーショ ンデータ とに 基づいて所定の画像処理を施す画像出力処理回路と、 この画 像出力処理回路で画像処理されたステレオ画像データを前記 通信回線に出力するモジュール側通信ィ ン夕フェースとを具 備し、 前記中央制御ユニッ トは、 前記モジュール側通信イ ン タフエースを介して前記通信回線に出力されるステレオ画像 データを該中央制御ュニッ ト に入力させるためのュニッ 卜側 通信イ ン夕フェースと、 このュニッ ト側通信イ ンタフェース を介して入力された前記ステレオ画像デ一夕に基づいて対象 となる被写体までの距離を求める距離画像評価装置とを具備 する。.

また、 上記の目的を達成するために、 本発明の第 4 の態様 のステレオ光学モジュールは、 ステレオ画像を得るためのス テレオ光学モジュールと、 前記ステレオ光学モジュールで得 られたステレオ画像よ り対象となる被写体の評価を行う 中央 制御ユニッ ト と、 前記ステレオ光学モジュールから出力され るステレオ画像デ一夕を前記中央制御ュニッ トに入力させる ための通信回線と、 からな り、 同一被写体に対して複数の視 点か ら見た被写体像を撮影し対象となる被写体までの距離を 求めるステレオカメ ラシステムに使用するためのステレオ光 学モジュールであって、 同一被写体に対して複数視点から見 た被写体像を発生するためのステレオ光学系と、 このステレ ォ光学系において発生した被写体像に基づいてステレオ画像 データを発生させる撮像素子と、 この撮像素子で発生したス テレオ画像データを A / D変換してデジタルステレオ画像デ 一夕を発生させる A / D変換部と、 前記ステレオカメ ラシス テムのキヤ リ プレーショ ンデ一夕を記憶するための補正情報 メモリ と、 前記 A / D変換部で発生したデジタルステレオ画 像データ と前記補正情報メモリ に記憶された前記キヤ リ ブレ ーショ ンデ一夕 とに基づいて所定の画像処理を施す画像出力 処理回路と、 この画像出力処理回路において画像処理された ステレオ画像データを前記通信回線に出力するモジュール側 通信イ ン夕フェース とを具備する。

これら、 第 3 及び第 4 の態様によれば、 ステレオ光学モジ ユール内に更にキヤ リ ブレーショ ンデ一夕を記憶するための 補正倩報メモリ を設ける ことによ り、 この補正情報メモリ に 記憶されたキヤ リ ブレーショ ンデータを使用 してステレオ光 学モジュール内において所定の画像処理を行う こ とができる また、 上記の目的を達成するために、 本発明の第 5 の態様 のステレオカメ ラシステムは、 同一被写体に対して、 複数の 視点から見た被写体像を撮影し対象となる被写体までの距離 を求めるためのステレオカメ ラシステムであって、 ステレオ 画像を取得するためのステレオ光学モジュールと、 このステ レオ光学モジュールで得られた前記ステレオ画像に基づいて 対象となる被写体の評価を行うための中央制御ュニッ ト と、 前記ステレオ光学モジュールにおいて取得した前記ステレオ 画像データを前記中央制御ユニッ トに入力させるための通信 回線と、 から構成され、 前記ステレオ光学モジュールは、 同 一被写体に対して複数視点から見た被写体像を発生させるた めのステレオ光学系と、 このステレオ光学系で発生した被写 体像に基づいてステレオ画像データを発生させる撮像素子と、 この撮像素子によって発生させたステレオ画像データを A D変換してデジタルステレオ画像データを発生させる A / D 変換部と、 前記ステレオカメ ラシステムのキヤ リ ブレ一ショ ンデータであって、 第 1 のキヤ リ プレーショ ンデ一夕及び第 2 のキヤ リ ブレーショ ンデータを記憶するための補正情報メ モリ と、 前記 A Z D変換部で発生したデジタルステレオ画像 データと前記補正情報メモリ に記憶された第 1 のキヤ リ ブレ —ショ ンデ一夕 とに基づいて所定の画像処理を施す画像出力 処理回路と、 前記画像出力処理回路で画像処理されたステレ ォ画像データ及び前記補正情報メモリ に記憶された第 2 のキ ャ リ プレーショ ンデ一夕を前記通信回線に出力するためのモ ジュール側通信イ ンタフェース とを具備し、 前記中央制御ュ ニッ 卜は、 前記モジュール側通信イ ンタフェースを介して前 記通信回線に出力されるステレオ画像データを該中央制御ュ ニッ 卜に入力させるためのュニッ ト側通信イ ン夕フェースと、 このュニッ 卜側通信ィ ン夕フェースを介して入力された前記 ステレオ画像データ及び前記第 2 のキヤ リ ブレ一ショ ンデ一 夕に基づいて対象となる被写体までの距離を求める距離画像 評価装置とを具備する。

また、 上記の目的を達成するために、 本発明の第 6 の態様 のステレオ光学モジュールは、 ステレオ画像を得るためのス テレオ光学モジュールと、 前記ステレオ光学モジュールで得 られたステレオ画像よ り対象となる被写体の評価を行う 中央 制御ユニッ ト と、 前記ステレオ光学モジュールから出力され るステレオ画像データを前記中央制御ュニッ ト に入力させる ための通信回線と、 からなり、 同一被写体に対して複数の視 点から見た被写体像を撮影し対象となる被写体までの距離を 求めるステレオカメ ラシステムに使用するためのステレオ光 学モジュールであって、 同一被写体に対して複数視点から見 た被写体像を発生させるためのステレオ光学系と、 このステ レオ光学系で発生した被写体像に基づいてステレオ画像デー 夕を発生させる撮像素子と、 この撮像素子によって発生させ たステレオ画像データを A Z D変換してデジタルステレオ画 像データを発生させる A Z D変換部と、 前記ステレオカメ ラ システムのキヤ リ ブレーショ ンデータであって、 第 1 のキヤ リ プレーショ ンデータ及び第 2 のキヤ リ ブレ一ショ ンデ一夕 を記憶するための補正情報メモリ と、 前記 A Z D変換部で発 生したデジタルステレオ画像データ と前記補正情報メモリ に 記憶された第 1 のキヤ リ ブレーショ ンデ一夕 とに基づいて所 定の画像処理を施す画像出力処理回路と、 前記画像出力処理 回路で画像処理されたステレオ画像データ及び前記補正情報 メモリ に記憶された.第 2 のキヤ リ プレ一ショ ンデータを前記 通信回線に出力するためのモジュール側通信ィ ン夕フェース とを具備する。

これら、 第 5及び第 6 の態様によれば、 ステレオ光学モジ ユール内に更に第 1 のキャ リ ブレーショ ンデ一夕 と第 2 のキ ャ リ ブレーショ ンデ一夕を記憶するための補正情報メモリ を 設けている。 この中で第 1 のキヤ リ プレーショ ンデータは、 ステレオ光学モジュール側で所定の画像処理演算を行う際に 用い られる。 一方、 第 2 のキャ リ ブレーショ ンデータは、 中 央制御ユニッ ト側に送信する こ とで、 中央制御ユニッ ト側で 距離演算が行われる。 即ち、 少なく とも第 1 のキヤ リ ブレー シヨ ンデータを使用する所定の画像処理演算の部分だけ、 中 央制御ュニッ トを簡略化する こ とができる。

また、 上記の目的を達成するために、 本発明の第 7 の態様 のステレオカメ ラシステムは、 同一被写体に対して、 複数の 視点から見た被写体像を撮影し対象となる被写体までの距離 を求めるためのステレオカメ ラシステムであって、 ステレオ 画像を取得するためのステレオ光学モジュールと、 このステ レオ光学モジュールで得られた前記ステレオ画像に基づいて 対象となる被写体の評価を行うための中央制御ュニッ ト と、 前記ステレオ光学モジュールにおいて取得した前記ステレオ 画像に関するデータを前記中央制御ュニッ 卜に入力させるた めの通信回線と、 から構成され、 前記ステレオ光学モジユ ー ルは、 同一被写体に対して複数視点から見た被^体像を発生 させるためのステレオ光学系と、 このステレオ光学系で発生 した被写体像に基づいてステレオ画像データを発生させる撮 像素子と、 この撮像素子によって発生させたステレオ画像デ —夕を A / D変換してデジタルステレオ画像デ一夕を発生さ せる A / D変換部と、 この A Z D変換部で発生した前記デジ タルステレオ画像データに対して所定の画像処理を施す画像 出力処理回路と、 この画像出力処理回路で画像処理されたス テレオ画像データに基づいて距離画像デ一夕を生成する距離 画像算出ユニッ ト と、 この距離画像算出ユニッ トで生成され た距離画像データを前記通信回線に出力するモジュール側通 信イ ンタフェースとを具備し、 前記中央制御ユニッ トは、 前 記モジュール側通信イ ンタフェースを介して出力された距離 画像データを入力させるュニッ 卜側通信イ ンタフェースと、 このュニッ ト側通信イ ンタフェースを介して入力された前記 距離画像データに基づいて前記被写体の評価を行う距離画像 評価装置とを具備する。

また、 上記の目的を達成するために、 本発明の第 8 の態様 のステレオ光学モジュールは、 ステレオ画像を得るためのス テレオ光学モジュールと、 前記ステレオ光学モジュールで得 られ こステレオ画像よ り対象となる被写体の評価を行う 中央 制御ユニッ ト と、 前記ステレオ光学モジュールから出力され るステレオ画像に関するデ一夕を前記中央制御ュニッ トに入 力させるための通信回線と、 からなり'、 同一被写体に対して 複数の視点から見た被写体像を撮影し対象となる被写体まで の距離を求めるステレオカメ ラシステムに使用するためのス テレオ光学モジュールであって、 同一被写体に対して複数視 点から見た被写体像を発生するためのステレオ光学系と、 こ のステレオ光学系において発生した被写体像に基づいてステ レオ画像データを発生させる撮像素子と、 この撮像素子で発 生したステレオ画像データを A / D変換してデジタルステレ ォ画像データを発生させる A / D変換部と、 この A Z D変換 部で発生したデジタルステレオ画像データに対して所定の画 像処理を施す画像出力処理回路と、 この画像出力処理回路で 画像処理されたステレオ画像データに基づいて距離画像デー 夕を生成する距離画像算出ユニッ ト と、 この距離画像算出ュ ニッ トで生成された距離画像データを前記通信回線に出力す るモジュール側通信ィ ン夕フェース とを具備する。

これら第 7 及び第 8 の態様によれば、 ステレオ光学モジュ ール内で得られたステレオ画像デ一夕に対して、 画像出力処 理回路で所定の画像処理が行われ、 さ らに、 距離画像算出ュ ニッ トにおいて距離画像データが生成される。 即ち、 画像処 理演算を行う画像出力処理回路と距離画像データを作成する 距離画像算出ュニッ ト とをステレオ光学モジュール内に設け る ことによって、 中央制御ユニッ ト側の構造を簡略化する こ とができる。

また、 上記の目的を達成するために、 本発明の第 9 の態様 のステレオカメ ラシステムは、 同一被写体に対して、 複数の 視点から見た被写体像を撮影し対象となる被写体までの距離 を求めるためのステレオカメラシステムであって、 同一被写 体に対して複数視点から見た被写体像を発生させるためのス テレオ光学系と、 このステレオ光学系で発生した被写体像に 基づいてステレオ画像データを発生させる撮像素子と、 この 撮像素子によってステレオ画像データを A / D変換してデジ タルステレオ画像データを発生させる A Z D変換部と、 この A D変換部で発生した前記デジタルステレオ画像デ一夕に 対して所定の画像処理を施す画像出力処理回路と、 この画像 出力処理回路で画像処理されたステレオ画像データに基づい て距離画像データを生成する距離画像算出ユニッ ト と、 この 距離画像算出ュニッ 卜で生成された距離画像データ及び前記 ステレオ画像データの少なく とも何れか一方の画像データを 出力するモジュール側通信イ ン夕フエ一スとを具備するステ レオ光学モジュールと、 距離画像デ一夕及び前記ステレオ画 像データの少なく とも何れか一方を入力させるュニッ ト側通 信イ ンタフェースと、 このュニッ ト側通信イ ン夕フェースを 介して入力された前記距離画像デ一タ及び前記ステレオ画像 データの少なく とも何れか一方に基づいて前記被写体の評価 を行う距離画像評価装置とを具備する中央制御ュニッ 卜 と、 前記モジュール側通信ィ ン夕フェース と前記ュニッ ト側ィ ン 夕フェース との間を接続し、 前記ステレオ光学モジュールと 前記中央制御ュニッ 卜 との間でデータの通信を可能とする通 信回線とか ら構成される。

また、 上記の目的を達成するために、 本発明の第 1 0 の態 様のステレオ光学モジュールは、 同一被写体に対して複数視 点から見た被写体像を発生させるためのステレオ光学系と、 このステレオ光学系で発生した被写体像に基づいてステレオ， 画像データを発生させる撮像素子と、 この撮像素子によって 発生させたステレオ画像データを A Z D変換してデジタルス テレオ画像デ一夕を発生させる A Z D変換部と、 この A / D 変換部で発生した前記デジタルステレオ画像データに対して 所定の画像処理を施す画像出力.処理回路と、 この画像出力処 理回路で画像処理されたステレオ画像データに基づいて距離 画像データを生成する距離画像算出ュニッ 卜 と、 この距離画 像算出ュニッ 卜で生成された距離画像データ及び前記撮像素 子によって発生させたステレオ画像デ一夕の少なく とも何れ か一方の画像データを通信回線に出力するモジュール側通信 ィ ン夕フェース とを具備する。

これら第 9 及び第 1 0 の態様によれば、 距離画像デ一夕の 他にステレオ画像データも中央制御ュニッ ト に出力する こ と が可能である。

また、 上記の目的を達成するために、 本発明の第 1 1 の態 様のステレオカメ ラシステムは、 同一被写体に対して、 複数 の視点から見た被写体像を撮影し対象となる被写体までの距 離を求めるためのステレオカメ ラシステムであって、 ステレ ォ画像を取得するためのステレオ光学モジュールと、 このス テレオ光学モジュールで得られた前記ステレオ画像に基づい て対象となる被写体の評価を行うための中央制御ュニッ ト と、 前記ステレオ光学モジュールにおいて取得した前記ステレオ 画像に関するデータを前記中央制御ュニッ トに入力させるた めの通信回線と、 から構成され、 前記ステレオ光学モジユ ー ルは、 同一被写体に対して複数視点から見た被 体像を発生 させるためのステレオ光学系と、 このステレオ光学系で発生 した被写体像に基づいてステレオ画像データを発生させる撮 像素子と、 この撮像素子によって発生させたステレオ画像デ 一夕を A Z D変換してデジタルステレオ画像データを発生さ せる A / D変換部と、 この A Z D変換部で発生した前記デジ タルステレオ画像データに基づいて距離画像データを生成す る距離画像算出ユニッ ト と、 この距離画像算出ユニッ トで生 成された距離画像データを前記通信回線に出力するモジユ ー ル側通信イ ンタフェースとを具備し、 前記中央制御ユニッ ト は、 前記モジュール側通信イ ン夕フェースを介して出力され た距離画像データを入力させるュニッ ト側通信ィ ン夕フエ一 ス と、 このユニッ ト側通信イ ンタフェースを介して入力され た前記距離画像データに基づいて前記被写体の評価を行う距 離画像評価装置とを具備する。

また、 上記の目的を達成するために、 本発明の第 1 2 の態 様のステレオ光学モジュールは、 ステレオ画像を得るための ステレオ光学モジュールと、 前記ステレオ光学モジュールで 得られたステレオ画像よ り対象となる被写体の評価を行う 中 央制御ュニッ 卜 と、 記ステレオ光学モジュールから出力さ れるステレオ画像に関するデータを前記中央制御ュニッ 卜に 入力させるための通信回線と、 からな り、 同一被写体に対し て複数の視点から見た被写体像を撮影し対象となる被写体ま での距離を求めるステレオカメ ラシステムに使用するための ステレオ光学モジュールであって、 同一被写体に対して複数 視点から見た被写体像を発生するためのステレオ光学系と、 このステレオ光学系において発生した被写体像に基づいてス テレオ画像データを発生させる撮像素子と、 この撮像素子で 発生したステレオ画像データを A / D変換してデジタルステ レオ画像データを発生させる A Z D変換部と、 この A Z D変 換部で発生した前記デジタルステレオ画像データに基づいて 距離画像データを生成する距離画像算出ユニッ ト と、 この距 離画像算出ュニッ トで生成された距離画像データを前記通信 回線に出力するモジュール側通信ィ ン夕フェースとを具備す る。

また、 上記の目的を達成するために、 本発明の第 1 3 の態 様のステレオカメ ラシステムは、 同一被写体に対して、 複数 の視点から見た被写体像を撮影し対象となる被写体までの距 離を求めるためのステレオカメ ラシステムであって、 ステレ ォ画像を取得するためのステレオ光学モジュールと、 このス テレオ光学モジュールで得られた前記ステレオ画像に関する データ'に基づいて対象となる被写体の評価を行うための中央 制御ユニッ ト と、 前記ステレオ光学モジュールと前記中央制 御ュニッ ト とをデジタル信号によ り通信する通信回線と、 か ら構成され、 前記ステレオ光学モジュールは、 同一被写体に 対して複数視点から見た被写体像を発生させるためのステレ ォ光学.系と、 このステレオ光学系で発生した被写体像に基づ いてステレオ画像データを発生させる撮像素子と、 この撮像 素子によって発生させたステレオ画像データを A Z D変換し てデジタルステレオ画像デ一夕を発生させる A Z D変換部と、 前記中央制御ユニッ トから制御コマン ドを受けた場合に、 当 該ステレオ光学モジュールで取得されたステレオ画像に関連 した情報を前記通信回線に出力するモジュール側通信イ ン夕 フェース とを具備し、 前記中央制御ユニッ トは、 前記モジュ ール側通信ィ ン夕フェースを介して出力された前記ステレオ 画像に関連した情報を入力させる と共に当該中央制御ュニッ トから前記ステレオ光学モジュールに制御コマン ドを出力さ せるュニッ 卜側通信イ ンタフェース と、 このュニッ ト側通信 イ ンタフェースを介して入力された前記ステレオ画像に関連 した情報に基づいて前記被写体の評価を行う距離画像評価装 置とを具備する。

また、 上記の目的を達成するために、 本発明の第 1 4 の態 様のステレオ光学モジュールは、 同一被写体に対して複数視 点から見た被写体像を発生させるためのステレオ光学系と、 このステレオ光学系で発生した被写体像に基づいてステレオ 画像データを発生させる撮像素子と、 この撮像素子によって 発生したステレオ画像データを A Z D変換してデジタルステ レオ画像データを発生させる A Z D変換部とを具備し、 外部 から入力された制御コマン ドに応答して前記ステレオ画像に 関連した情報を通信回線に出力する。

これら第 1 3 及び第 1 4 の態'様によれば、 ステレオ光学モ ジュールと中央制御ュニッ 卜 との間の通信をデジタル信号の みで行う こ とによ り、 信号線の本数を減らすこ とができる。

また、 上記の目的を達成するために、 本発明の第 1 5 の態 様のステレオカメ ラシステムは、 同一被写体に対して、 複数 の視点から見た被写体像を撮影し対象となる被写体までの距 離を求めるためのステレオカメ ラシステムであって、 ステレ ォ画像を取得するための少なく とも 1 つのステレォ光学モジ ユールと、 このステレオ光学モジュールとは異なる画像を取 得するための少なく とも 1 つの光学モジュールと、 前記ステ レオ光学モジュール及び前記光学モジュールのシーケンス制 御を行う 中央制御ュニッ 卜 と、 前記ステレオ光学モジュール、 前記光学モジュール、 及び前記中央制御ユニッ トを通信接続 する通信回線と から構成される。

こ の第 1 5 の態様によれば、 1 本の通信回線に複数のモ ジ ユールを接続する こ と ができ、 信号線の本数を減らすこ と が でき る。

図面の簡単な説明

図 1 は、 本発明の第 1 の実施形態に係るステ レオカ メ ラ シ ステムの基本構成について示 したプロ ッ ク 図であ り 、

図 2 は、 第 1 の実施形態におけるステ レオ光学モジュール の回路構成を示すブロ ッ ク 図であ り 、 . 図 3 Aは、 ステ レオ光学モジュールのステ レオ光学系の構 造について示す上面図であ り 、

図 3 B は、 ス テ レオ光学モジュ ールの外観図であ り 、 図 4 Aは、 ステ レオ光学モジュ ールの構造について示す斜 視図であ り 、 ' 図 4 B は、 ステ レオ光学モジュール内の回路配置について 説明するための上面図であ り 、

図 5 は、 ステ レオ画像の例を示す図であ り 、

図 6 は、 本発明の第 1 の実施形態におけるス テ レオ光学モ ジュールにおける 中央制御ュ - ッ ト の回路構成を示すプロ ッ ク 図であ り 、

図 7 は、 第 1 の実施形態のステ レオカ メ ラ シス テムを車両 に搭載する場合の例を示す図であ り 、

図 8 Aは、 視野マス ク の第 1 の変形例を示す図であ り 、 図 8 B は、 視野マス ク の第 2 の変形例を示す図であ り 、 図 9 は、 中央制御ュニ ッ ト の変形例を示すブロ ッ ク 図であ り 、 '

図 1 0 は、 本発明の第 2 の実施形態におけるス テ レオ光学 モ ジュ ールの回路構成を示すブロ ッ ク図であ り 、

図 1 1 は、 本発明の第 2 の実施形態の中央制御ユニッ トの 回路構成を示すプロ ック図であ り 、

図 1 2 は、 本発明の第 3 の実施形態におけるステ レオ光学 モジュールの回路構成を示すプロ ック図であ り 、

図 1 3 は、 D Vフォーマツ トゃ N T S C規格等のビデオフ ォーマツ トを用いた通信内容例を示す図であ り 、

図 1 4 は、 本発明の第 4 の実施形態におけるステ レオカメ ラシス テム の メ イ ン動作シーケ ンス の フ ロ ーチャー トであ り 図 1 5 は、 セ ンサチェ ッ ク シーケ ンス の フ ロ ーチヤ一 ト で あ り 、

図 1 6 は、 キ ャ リ ブ レーシ ョ ンデータ補正シーケ ンスの フ ロ ーチャ ー ト であ り 、 図 1 7 は、 運転支援シーケ ンス のフローチャー トであ り 、 図 1 8 は、 車間距離警告の表示例を示す図であ り 、 図 1 9 は、 道路面認識結果の表示例であ り 、

図 2 0 は、 回避警告の表示例であ り 、

図 2 1 は、 レーン認識結果の表示例であ り 、

図 2 2 は、 メ イ ン動作シーケ ンス の フ ロ ーチャー ト の変开 例について示すフローチヤ一 トであ り 、

図 2 3 は、 セ ンサチェ ック シーケ ンス の第 1 の変形例につ いて示すフローチャー トであ り 、 ，

図 2 4 は、 センサチェ ック シーケ ンス の第 2 の変形例につ いて示すフローチヤ一 トであ り 、

図 2 5 は、 本発明の第 5 の実施形態におけるステ レオカメ ラシステ ムの構成を示すブロ ッ ク 図であ り 、

図 2 6 は、 従来の雨滴センサの構成図であ り 、

図 2 7 は、 本発明の第 6 の実施形態と して の雨滴検出時の ステ レオ画像例を示す図であ り 、

図 2 8 は、 オーバラ ップ領域について説明するための図で' あ り 、

図 2 9 は、 従来の対応点探索を模式的に示した図であ り 、 図 3 0 は、 第 6 の実施形態における雨滴検出時の対応点探 索を模式的に示した図であ り 、

図 3 1 は、 オーバラ ップ領域外の領域に雨滴が付着した場 合のステ レオ画像例を示す図であ り 、 . 図 3 2 は、 オーバラ ップ領域外の領域の雨滴画像検出手法 について説明するための図であ り 、

図 3 3 は、 光ビーム投光器を用いた雨滴検出について説明 するための図であ り 、

図 3 4 は、 雨滴検出コーティ ングの例を示す図である。 発明を実施するための最良の形態'

以下、 本発明の実施の形態を図面を参照して説明する。

[第 1 の実施の形態]

図 1 は、 本発明の第 1 の実施形態に係るステ レオカメ ラシ ステム の基本的な構成を示すブロ ック 図である。 こ こ で、 こ のステ レオカ メ ラ システム は、 車両、 船舶、 航空機、 ロ ボ ッ ト等の移動体に搭載可能なシス テ ムを想定している。 以後図 1 〜図 9 を参照して、 車両に搭載される例について説明する。 即ち、 こ のカメ ラシステムは、 基本的に、 図 1 に示すよ う に、 ステ レオ光学モジュ ール 1 と 、 通信回線 2 と、 中央制御 ュニッ ト 3 とから構成されている。 ステ レォ'光学モジュール 1 は、 被写体の撮像を行ってステ レオ画像を取得する と共に その取得したステレオ画像の補正を行う ものである。 通信回 線 2 は、 ステ レオ光学モ ジュ ール 1 と 中央制御ュニッ ト 3 と の間の通信回線である。 中央制御ュ.ニッ ト 3 は、 通信回線 2 を介してステ レオ光学モジュール 1 から入力 されたステ レオ 画像に基づいて、 ステレオ光学モジュール 1 の撮影対象であ る被写体の評価を行う も のであ る 。 具体的には、 中央制御ュ ニッ ト 3 は、 入力されたステ レオ画像に基づいて後で説明す る距離画像を求め、 こ の求めた距離画像の評価を行う。

以下、 これらの構成について更に詳しく説明する。 .

. まず、 ステ レオ光学モジュ ール 1 について説明する。 図 2 は、 こ のステ レオ光学モ ジュ ールの内部を詳細に示したブロ ッ ク 図である。 即,ち、 ス テ レオ光学モ ジュ ール 1 は、 図 2 に 示すよ う に、 ステ レオ光学系 4 と、 撮像素子 5 と、 撮像素子 駆動回路 6 と、 捕正情報メ モ リ 7 と、 画像出力処理回路 8 と、 モジュール （ M ) 側通信イ ンタ フ'エース 9 と 、 雨滴セ ンサ 1 0 と、 显度センサ 1 1 とから構成されている。

ス テ レオ光学系 4 は、 図 3 Aに示すよ う に、 視野マ ス ク (右左） 1 9 a ， 1 9 b と、 前玉ユニッ ト （右左） 2 0 a , 2 0 b と、 1 次偏向 ミ ラー （右左） 2 1 a , 2 1 b と、 2次 偏向 ミ ラー （右左） 2 2 a， 2 2 b と、 後玉ユニッ ト 2 3 と、 ロ ーパス フ ィ ルタ 2 4 と力、ら構成されてお り 、 図示しない被 写体からの像を撮像素子 5 に結像させる。

こ こ で、 ステ レオ光学モ ジュ ール 1.の外観は、 図 3 B に示 すよ う に、 視野マス ク開口 2 5 a ， 2 5 b が設けられたケー シング部材 2 6 に覆われてお り 、 これら視野マス ク開口 2 5 a , 2 5 b からステ レオ光学系 4 に光が入射する よ う になつ ている。 こ こ で、 ケーシング部材 2 6 は ·、 当該ステ レオ光学 モジュールの内部機構を外部から保護するため の部材であ り 、 外光を遮断する機能、 防塵機能、 及び内部機構を支持する機 能等.を有するカバー部材である。

また、 図 3 A、 図 3 B に示すよ う に、 視野マス ク開口 2 5 a , 2 5 b からステ レオ光学系 4 に入射した、 一定距離離れ た図示しない被写体からの光束は、 その一部が視野マス ク 1 9 a , 1 9 b によ り遮光され、 残り が右左の前玉ユニッ ト 2 0 a , 2 0 b に入射する。 こ こ で、 視野マス ク 1 9 a ， 1 9 b は、 .前玉ュ -ッ ト 2 0 a , 2 0 b の視野を絞るための絞り と して機能する。 第 1 の実施形態では、 図 4 Aに示すよ う に、 視野マス ク 1 9 a は前玉ュニッ ト 2 0 a の上半分領域を遮蔽 してお り 、 視野マス ク 1 9 b は前玉ュニッ ト 2 0 b の下半分 領域を遮蔽している。

なお、 視野マスク 1 9 a ， 1 9 b を有する これら前玉ュニ ッ ト 2 0 a , 2 O b の レンズの実効的な光軸 （以下、 光軸と 称する） は、 被写体からの光束の中心、 即ち視野マス ク 1 9 a , 1 9 b が無い場合の中心軸と は一致しない。 また、 図 4 Aに示すよ う に、 右左の前玉ユニッ ト 2 0 a ， 2 O b の光軸 は互いに同一平面上になく 、 捩れた状態と なっている。

前玉ユニッ ト 2 0 a , 2 O b を介して入射した被写体から の光束は、 1 次偏向 ミ ラー 2 l a , 2 l b で反射される。 こ れら 1 次偏向 ミ ラー 2 1 a ， 2 1 b は、 前玉ユニッ ト 2 0 a , 2 0 b を透過 した光束を、 反射可能な程度のサイ ズを持って いる。 即ち、 1 次偏向 ミ ラー 2 1 a， 2 l b は、 前玉ュ -ッ ト 2 0 a の遮蔽されていない領域と ほぼ同 じかそれよ り も少 し大きい程度のサイズを持つ。 また、 1 次偏向 ミ ラー 2 l a , 2 1 b は、 水平方向には約 4 5度、 垂直方向には撮像素子側 数度傾いて配置されている。 このよ う に配置する こ と によ 'り 、 1 次偏向 ミ ラー 2 1 a ， 2 l b で反射された光束が 2次 偏向ミ ラー 2 2 a , 2 2 b に入射する。

2次偏向ミ ラー 2 2 a， 2 2 b は、 水平方向には 1 次偏向 ミ ラー 2 1 a , 2 1 b と略直交する よ う に、 垂直方向には撮 像素子側に数度傾いて配置されている。 このよ う に配置する こ と によ り 、 2次偏向ミ ラー 2 2 a， 2 2 b で反射された光 束が後玉ユニ ッ ト 2 3 に入射する。 図 4 B に示すよ う に、 上 面方向力 ら見る と、 2次偏向 ミ ラー 2 2 a , 2 2 b は、 互い に交差する よ う に配置されている。 即ち、 1 次偏向 ミ ラー 2 1 a カゝら入射してく る光束は、 2次偏向 ミ ラー 2 2 a で反射 されて後玉ュ -ッ ト 2 3 の下方向に入射する よ う に偏向され る。 一方、 1 次偏向 ミ ラー 2 l b 力、ら入射して く る光束は、 2次偏向 ミ ラー 2 2 b で反射されて後玉ュニッ ト 2 3 の上方 向に入射する よ う に偏向される。

このよ う に偏向された光束は、 後玉ュニッ ト 2 3 を介して、 口一パスフィ ルタ 2 4 に入.射し、 口一パスフィ ル夕で高周波 雑音成分が除去される。 その後、 右側の前玉ユニッ ト 2 0 a を介して入射した光束は、 撮像素子 5 の下半分の領域に結像 し、 左側の前玉ュニッ小 2 O b を介して入射した光束は、 撮 像素子 5 の上半分の領塽に結像する。 即ち、 視野マスク 1 9 a， 1 9 bで視野を限定する こ とによ り、 上下の画像はォ一 バラップせずに、 撮像素子上に結像する。 この結果、 図 5 に 示すよ うな左右の視差を持ったステレオ画像が、 撮像素子上 に上下に並んで結像する こ とになる。 これによ り、 1 台のス テレオ光学モジュールをのみでステレオ画像を取得する こ と が可能である。

こ こで、 2 次偏向ミ ラー 2 2 a， 2 2 bは、 撮像素子 5 に 対して垂直方向に数度の角度をつけて配置されているので、 像は、 物界に対し傾いて結像する ことになる。 そこで、 入射 光束を撮像素子 5 に効率的に結像させるために、 撮像素子 5 は、 図 4 Aに示すよう に斜めに傾けて配置する こ とが好まし い。

このよう にして撮像素子 5 に結像したステレオ画像は、 図 2 のブロック図で示す、 撮像素子駆動回路 6 の働きによ り、 アナログ信号として画像出力処理回路 8 に順次出力される。 こ こで、 画像出力処理回路 8 の内部は、 A / D変換部 1 2 と、 C — Y変換部 1 3 と、 圧縮処理部 1 4 と、 レクティ フィ ケ一 シヨ ン処理部 1 5 と、 ァ変換処理部 1 6 と、 シェーディ ング 補正処理部 1 7 と、 フレームバッファメモリ 1 8 とから構成 されている。 また、 画像出力処理回路 8 と、 上記雨滴センサ 1 0及び温 度センサ 1 1 は、 図 4 A及び図 4 B に示すよう に視野マスク 1 9 a , 1 9 b の後方、 2 次偏向ミ ラ一 2 2 a , 2 2 b の裏 面側の空きスペースである回路配置スペース 2 7 a , 2 7 b に設置される。 図 4 A及び図 4 Bに示すよう に、 右側の光学 系には 1 次偏向ミ ラ一 2 1 a及び 2 次偏向ミ ラー 2 2 a の上 方に回路配置スペース 2 7 aが存在し、 左側の光学系には 1 次偏向ミ ラ一 2 1 b及び 2 次偏向ミ ラ一 2 2 b の下方に.回路 配置スペース 2 7 bが存在ずる。 これは、 上述したよう に、 右側前玉ュニッ ト 2 0 aは上半分が視野マスク 1 9 a によ り マスクされており、' 左側前玉ュニッ ト 2 0 b は下半分が視野 マスク 1 9 b によ り マスクされているので、 それら視野マス ク 1 9 a， 1 9 bの後方には光学部材が配置される ことはな く 、 空きスペースとなるからである。 そこで、 この空きスぺ ースに画像出力処理回路 8 等の回路を設けるよう にすれば、 入射してく る光を遮る こ となく 、 かつ、 ステレオ光学モジュ ール内の空きスペースを有効利用する こ とができ、 ステレオ 光学モジュールの小型化に繋がる。 こ こで、 これらの空きス ペースに設ける ことができる回路は、 例えば電気信号を出力 する電気信号出力回路であ り 、 上記した画像出力処理回路の 他に、 例えば、 撮像素子駆動回路、 補正データを記憶するデ ジ夕ルメモリ （補正情報メモリ ） 、 温度センサ、 及び雨滴セ. ンサや、 照度センサ、 G P S アンテナ、 E T Cカー ドシステ ム等が含まれる。 また、 この空きスペースには、 ステレオ光 学モジュールの図示しない電源回路を設けても良いし、 メカ 二カルな機構部材を設けても良い。 この機構部材として、 例 えばステレオ光学系をメカニカルに調整するための図示しな い調整機構を設けても良い。 また、 ステレオ光学系に入射す る光量を調整するための図示しない N Dフィ ル夕を揷脱式に しておき、 この N Dフィ ル夕の退避スペース と して上記した 空きスペースを使用するよう にしてもよい。

次に、 図 2 の画像出力処理回路 8 の各部について説明する。 画像出力処理回路 8 内部では、 まず、 A / D変換部 1 2 でァ ナログ信号であるステレオ画像がデジタルデータであるデジ 夕ルステ—レオ画像データに変換される。 なお、 撮像素子 5 の 前面には、 図示しない光学色フィル夕が設けられており、 こ の光学色フィル夕によって撮像素子 5 は R G B の各色に対応 したステレオ画像デ一夕を出力するよう になっている。 C— Y変換部 1 3 では、 これらの R G Bの原色信号が輝度信号と 2 つの色差信号に変換される。 これは、 圧縮処理部 1 4で、 モーショ ン J P E G ( Motion-JPEG ) 信号に変換するための 準備の処理である。 その後、 これらの信号は、 フ レームバッ ファメモリ 1 8 に記憶される。

このフ レームバッ フ ァメモリ 1 8 に記憶されたステレオ画 像データは、 シェーディ ング補正処理部 1 7 に入力される。 シェーディ ング補正処理部 1 7 では、 補正情報メモリ 7 に格 納されたシヱーディ ング補正データに基づきシェ一ディ ング 補正処理が施される。 次に、 ァ変換処理部 1 6 において画像 入出力特性を適正にするためにァ変換処理が施され、 更にレ クティ フィ ケーシヨ ン処理部 1 5で補正情報メモリ 7 に格納 されたキヤ リ ブレーショ ンデータに基づきレクティ フィ ケ一 ショ ン処理が実施される。

なお、 レクティ フィ ケーシヨ ン処理とは、 ステレオ光学系 4 内部の光学部材などの機械ずれなどによ り 生じる左右画像 のェピポーラ線のずれやレンズの歪曲 （デイ ス トーシヨ ン） 等による画像の歪みを画像処理によって補正する処理である。 この様な処理では、 例えば、 左画像で選択された特徴点に対 応する点が右画像のどこにあるかを検出し、 こ の対応点が本 来のつているべき直線 （ェピポーラ線） 上から、 どれだけず れているのかを検出し、 この検出したずれに応じた画像変形 を行う。 このよう にしてレクティ フィ ケ一シヨ ン処理された 左右画像 （以後、 レクティ フィ ケーシヨ ン画像と称する） は、 規定の座標に正規化された後、 図 5 に対応するよう に上下に 配置された形でフレームバッ フ ァメモリ 1 8 に書き戻される。

また、 補正情報メモリ 7 に記憶されているキヤ リ ブレーシ ヨ ンデータは、 ステレオ光学モジュールの熱変形等を考慮す るための複数のキヤ リ ブレーショ ンデータが記憶されている。 即ち、 温度センサ 1 1 で検出した温度値は、 M側通信イ ンタ フェース 9 を介して画像出力処理回路 8 に入力され、 この入 力された温度に基づいて、 レクティ フィ ケーシ ヨ ン処理部 1 5 は、 補正情報メモリ 7 に記憶されているキヤ リ ブレ一ショ ンデ一夕を選択してレクティ フィ ケ一ショ ン処理を実施する ことで、 温度変化に口パス トな処理を実現する。

その後、 上記フ レームバッ フ ァメモリ 1 8 に書き戻された デジタルステレオ画像データは、 圧縮処理部 1 4 に入力され、 モーショ ン J P E Gのようなデータ圧縮方式を用いてデータ 圧縮が施された後、 M側通信イ ン夕フェース 9 を介して通信 回線 2 に出力される。 また、 M側通信イ ンタフェース 9 には、 雨滴センサ 1 0 及び温度センサ 1 1 も接続されており、 これ らセンサの出力も通信回線 2や画像出力処理回路 8 に出力可 能である。

次に通信回線 2 について説明する。 通信回線 2 は、 第 1 の 実施形態では、 レクティ フィ ケーショ ン画像デ一夕及びステ レオ光学モジュールの制御を行うためのデータ信号を伝送す る複数の U S B通信線を持つ。 これらの通信線は、 それぞれ ステレオ光学モジュール 1 の M側通信ィ ンタフェース 9 と中 央制御ユニッ ト 3 のユニッ ト （ u ) 側通信イ ンタ フェース 2 8 とに接続される。

こ こで、 レクティ フィ ケーシヨ ン画像はモーショ ン J P E G形式で圧縮された形で U S B信号線に伝送され、 また、 雨 滴センサ 1 0 で検出された雨滴センサ情報や温度センサ 1 1 で検出された温度センサ情報等の環境情報や、 被写体の測光 情報などの情報も、 U S B通信線を介して伝送される。 そし て、 これらの情報は、 通信回線 2 を介して、 中央制御ュニッ 卜 3 に伝送される。 こ こで、 ステレオ画像デ一夕は、 上述の よう に圧縮処理部 1 4で圧縮されているので、 通信時の情報 量を削減する こ とができ、 画像デ一夕の他のデータを送受信 可能な情報量を増すことができる。 こ こで、 通信回線 2 、 即 ち U S B通信線は、 上述したよう に、 レクティ フィ ケーショ ン画像のデータ、 雨滴センサ情報、 及び温度センサ情報等を、 デジタルデータによ りステレオ光学モジュール 1 から中央制 御ユニッ ト 3 に対して通信する。 こ こで、 ステレオ光学モジ ユール 1 は、 中央制御ュニッ ト 3 から制御コマン ドを受けて 所定のデータを発生させる温度センサ、 雨滴センサ、 補正情 報メモリなどのデータ発生装置を備えている。 通信回線 2 は 双方向のデジタル通信回線になってお り、 中央制御ュニッ ト 3 からは、 各種制御コマン ドをこの通信回線 2 を介してステ レオ光学モジュール 1 に対して送る。 この制御コマン ドは、 第 1 の実; 形態では、 詳細な記述を省略するが、 例えばステ レオ光学モジュール 1 の電源制御コマン ド （動作モ一 ド と省 電力モー ド とを切り換えるコマン ド） である とか、 温度セン サ情報、 雨滴センサ情報を中央制御ユニッ ト側に読み出すた めの要求信号、 あるいは補正情報メモリ 7 に記憶された情報 を中央制御ュニッ ト 3側に読み出すための要求信号などであ る。 このよう に 1 系統の通信.線を用いてよ り効率よく相互の データ通信を行う こ とができる。

また、 第 1 の実施形態の変形例であるが、 レクティ フィ ケ ーショ ン画像のデータをアナログの通信線を使用 して送信す る ことも可能である。 例えば.、 撮像素子 5 の出力をモジユ ー ル側の M側通信イ ンタフェース 9 にて N T S C等のフォ一マ ッ トに準拠したアナログ画像信号に変換した後に通信回線 2 に出力する。 この場合には、 ステレオ光学モジュール内で圧 縮処理部 1 4 は不要になる。 この変形例の.特徴としては、 通 信回線 2 がアナログの通信線とデジタルの通信線の 2 系統を 持つ必要があ り、 通信回線を通す部分のスペースが余分に必 要になる。 また、 通信コネクタの占有スペースが余計に必要 になる等のデメ リ ッ トはあるが、 その反面、 画像データを通 信するスピー ドを高める こ とができる という メ リ ッ トが発生 する。

またレクティ フィ ケーショ ン画像をアナログの通信線で送 信する場合に、 ブランキング信号中に情報を重畳する文字放 送用の領域などを利用 して画像データ以外の制御データを伝 送するよう にしても良い。

次に中央制御ュニッ 卜 3 について説明する。 図 6 に示すよ う に、 中央制御ユニッ ト 3 は、 u側通信イ ン夕フェース 2 8 と、 画像入力装置 2 9 と、 フレームメモリ 3 0 と、 E P R O M 3 1 と、 距離画像算出ユニッ ト 3 2 と、 距離画像などを元 に物体認識等を行う距離画像評価装置としての周辺環境判定 ユニッ ト及びシーケンスコ ン ト 口.ーラ （以下、 周辺環境判定 ユニッ ト と称する） 3 3 から構成されている。 更に、 中央制 御ユニッ ト 3 は、 画像出力装置 3 4、 ポイ ンティ ング入力装 置 3 6 、 オーディ オ出力装置 3 7 、 オーディ オ入力装置 4 0 、 及び表示灯出力装置 4 1 も有している。 以上の回路や装置は パスを介して接続されてお り、 相互にデ一夕の転送が可能に なっている。

また、 画像出力装置 3 4及びポイ ンティ ング入力装置 3 6 は表示入力装置 3 5 に接続されている。 また、 オーディ オ出 力装置 3 7 はス ピーカ 3 8 に接続されてお り、 オーディ オ入 力装置 4 0 はマイ ク ロホン 3 9 に接続されている。 更に、 表 示灯出力装置 4 1 は表示灯 4 に接続されている。 通信回線 2 を介して中央制御ュニッ ト 3 に入力されてきた レクティ フィ ケーショ ン画像は、 u側通信イ ンタフェース 2 8 、 画像入力装置 2 9 を介してフ レームメモリ 3 0 に一時格 納され、 その後、 距離画像算出ユニッ ト 3 2 に入力される。

こ こで、 中央制御ュニッ ト 3 に入力されてきたレクティ フ ィ ケーシヨ ン画像は、 モーショ ン J P E Gの規格で圧縮され たデータであるので、 上記した画像入力装置 2 9 で、 この圧 縮されたデータを伸長して復元する。

距離画像算出ユニッ ト 3 2 は、 ステレオ画像から左右別の 画像を切り 出すステレオ画像切り 出し部 4 3 と、 ウィ ン ド一 マッチング部 4 6 とを持つ。 即ち、 距離画像算出ユニッ ト 3 2 に入力されてきたレクティ フィ ケ一ショ ン画像は、 ステレ ォ画像切り 出し部 4 3 で左右画像 4 4 , 4 5 に切り出される。 そして、 これら切り 出された左右画像 4 4， 4 5 に対してゥ ィ ン ド一マッチング部 4 6 においてウイ ン ドーマッチングが 行われ、 それぞれの対応点のずれ、 即ち視差量の検出が行わ れ、 この結果、 視差画像 4 7 が生成される。 その後、 この視 差量が、 距離画像生成部 4 8 において距離情報に変換され、 この距離情報と E P R 〇 M 3 1 に記憶されているキヤ リ ブレ ーショ ンデータ 4 9 に基づいて距離画像が生成される。 こ こ で、 用語 「距離画像」 ば、 撮像された被写体画像の画素ごと に距離情報を有している画像のこ とを言う ものとする。 また、 このキャ リ ブレーショ ンデータ 4 9 は、 通信回線 2 を介して 入力されてきた雨滴センサ情報や温度センサ情報に従って選 択される距離情報補正用のデータである。 その後、 生成された距離画像は、 周辺環境判定ユニッ ト 3 3 に送られる。

周辺環境判定ュニッ 卜 3 3 は、 一般のパーソナルコ ンビュ 一夕やマイ ク ロコンピュータによる制御装置と同等に、 通信 バスに接続された、 中央演算処理部 （ C P U ) 5 0 、 メイ ン メモリ （ R A M) 5 1 、 デジタル信号処理部 （ D S P ) 5 2 、 ハー ドディ スク （H D D ) 5 3 などを持ち、 距離画像を評価 して物体を認識するシーケンスやその他の各種シーケンス制 御などをソフ トゥェァ'的に実現するよう に構成されている。

即ち、 距離画像が周辺環境判定ュニッ ト 3 3 に入力されて ぐる と、 C P U 5 0 が H D D 5 3 に格納された物体認識処理 のプログラムを R AM 5 1 に展開して実行し、 ステレオ光学 モジュール 1 で得られた 2 次元のレクティ フィ ケ一ショ ン画 像や距離画像算出ュニッ ト 3 2 で求め られた距離画像に基づ いて、 障害物 （例えば、 道路上では、 歩行者、 .車両、 落下物 など） の検出や、 特徴的な環境情報 （例えば、 道路上では白 線や、 ガー ド レール、 標識など） を認識する処理を行う。 そ して、 C P U 5 0 は、 この認識処理の結果に基づいて、 例え ば、 画像出力装置 3 4 を制御して表示入力装置 3 5 に認識結 果を表示した り 、 オーディ オ出力装置 3 7 を制御してス ピー 力 3 8 から車両が近づいている旨などを警告音によ り告知し たり、 表示灯出力装置 4 1 を制御して表示灯 4 2 を点灯した り して、 運転者などの操作者の注意を促した りする運転支援 に関する制御を実施する。 また、 逆に表示入力装置 3 5 のよ うなマニュアル操作部材ゃマイ ク ロホン 3 9 などの音声入力 装置によ り操作者からの指示があった場合には、 その指示を ポイ ンティ ング入力装置 3 6 やオーディ オ入力装置 4 0 を介 して取り込み、 その指示内容に応じた制御を実行する。

以上のようなステレオカメ ラシステムを車両に搭載した場 合には、 通信回線 2 に、 図 7 に示すよう に、 ステレオ光学モ ジュール 1 及び中央制御ユニッ ト 3 に加えて、 更に、 レーダ 一装置が搭載されたレーダーモジュール 5 4、 車両の速度を 検出するための車速センサモジュール 5 5 、 車両の位置を運 転者等に知らせるためのカーナビゲ一ショ ンモジュール 5 6 、 エンジン制御を行うエンジンコ ン ト ロールモジュール 5 7 、 車両の側方を監視するための側方カメ ラモジュール 5 8 、 車 両内を監視するための室内監視モジュール 5 9 、 ブレーキを 制御するためのブレーキセンサモジュール 6 1 、 車両の後方 を監視するための後方カメ ラモジュール 6 2 、 車内の積載量 を検出するための積載検出モジュール 6 3、 超音波レーダ一 装置が搭載された後方超音波レ一ダ一モジュール 6 4等を接 続して、 各種車載モジュール間の相互の連携がとれるよう に 構成しても勿論構わない。 なお、 これらのモジュールは、 従 来のものがそのまま使用可能である。

このような車内ネッ トワークの一部として用いる場合のュ ニッ トゃモジュール間の通信には、 無線通信技術である B 1 u e t o o t hや I E E E 8 0 2 . i l 、 I E E E 8 0 2 .1 Xなどを用いる ことも可能である。 また、 U S B、 I E E E 1 3 9 4、 イーサネッ トなどの有線ネッ トヮ一クゃ、 V o I P (ボイスオーバーアイ ピー） などの音声データの伝送プロ ト コ ルゃ、 リ アルタ イ ム メ ッ セ ージ ン グ機能 （ RTC/ SIP c li e nt ) などを用いてもよ く 、 I P V 6 などによ り 各機器に I Pア ド レスを割り 当てた車内 L A Nを構築してもよい。 更 に、 車内ノイズ等に強い車載用光ネッ トワーク規格 「 M 0 S T」 や 「 C A N」 などの、 ォ一プンスタンダー ド規格に対応 した通信バスライ ンを用いるよう にしてもよい。

以上説明したような、 この第 1 の実施形態には、 次のよう な特有の効果がある。

即ち、 この第 1 の実施形態ではステレオ光学モジュ一ル内 でレクティ フィ ケーシヨ ン、 T補正、 シェーディ ング補正、 輝度信号と色差信号への分離などの当該ステレオ光学モジュ ールのために必要となる画像処理を行う よう にしている。 こ れによって、 中央制御ユニッ ト側での回路負荷を軽減でき、 さ らに中央制御ユニッ ト側での仕様を簡略化できシステムの 汎用性を高める こ とができる。

またデジタル画像データを圧縮してから通信するよう にし ているので、 アナログ通信の場合に近いフレームレー 卜でデ ジタル画像データを伝送する こ とができる。 .

~ また、 ステレオ光学モジュール 1 に温度センサ 1 1 を設け ているので、 レクティ フィ ケ一シヨ ン処理時の温度による補 正が適切に行われる。 このため、 中央制御ユニッ ト 3 で実施 されるウイ ン ドーマッチングの探索領域をェピポ一ラ線上に 限って実施すればよ く 、 よ り高速な処理を実現できる。

なお、 この第 1 の実施形態の各構成は、 当然、 各種の変形, 変更が可能である。 例えば、 以上説明したようなステレオ光学モジュール 1 を 複数用いる こ とも可能である。 この場合には、 各ステレオ光 学モジュールから得られる レクティ フィ ケ一ショ ン画像に、 カメ ラ I D を埋め込むことによ り、 どのステレオ光学モジュ —ルからのレクティ フィ ケ一ショ ン画像なのかを明確に識別 できるよう にしてもよい。

また、 第 1 の実施形態において、 ステレオ光学モジュール 1 は、 r変換処理や、 C — Y変換処理、 圧縮処理などの処理 回路が含ま ているが、 必ずしも これらの機能は必要ではな く 、 一般的な、 ビデオカメ ラやデジタルスチルカメ ラ と同等 の画像処理が行えればよい。

また、 ステレオ光学モジュール 1 の補正情報メモリ 7 には、 レクティ フィ ケーシヨ ン処理、 シェーディ ング補正処理用の 補正情報のほかに、 各ステレオ光学モジュールが車両にどの よう に取り付けられているのかをキヤ リ ブレーショ ンした補 正情報を記憶させておく よう にしてもよい。 このよう にする ことによ り'、 中央制御ユニッ ト内の E P R O M 3 1 の省略又 は記憶容量の削減を行う こ ともできる。 更に、 キヤ リ ブレー ショ ンによって得られた中央制御ュニッ ト 3 か らの情報をス テレオ光学モジュール 1 などに通信で送り、 この情報をステ レオ光学モジュール 1 に記憶させるよう にしてもよい。 また， 中央制御ュニッ 卜 3 の距離画像算出ュニッ 卜 3 2 で用い られ るキヤ リ ブレーショ ンデ一夕も、 ステレオ光学モジュール 1 の補正情報メモリ 7 に記憶させておき、 距離画像算出時には， このキヤ リ ブレーショ ンデ一夕をステレオ光学モジュール 1 から中央制御ュニッ ト 3 に通信できるよう にしてもよい。

即ち、 この変形例は、 補正情報メモリ 7 に記憶させている 補正情報の中で一部の補正情報 （キャ リ ブレーシ ョ ンデ一 夕） をステレオ光学モジュール内での画像処理演算に使用 し、 その他の補正情報を通信回線 2 を介して中央制御ュニッ ト 3 に送信して、 中央制御ユニッ ト側での距離演算等の補正に使 用するよう にしたものである。

また、 中央制御ユニッ ト 3 は、 内部の各種処理回路が専用 の特定用途向集積回路 （A S I C ) を用いたハー ドウェア的 な結線で実現されてもよ く 、 更には、 これらをダイナミ ック に書き換える こ とができる リ コ ンフィ ギュアラブルプロセッ サなどによって構築されていても勿論よい。

また、 ステレオカメ ラシステムの制御にとどま らず、 温度 センサや雨滴センサの情報、 補正情報、 切り 出し領域の情報 などを伝送するよう にしてもよい。 これは、 ステレオ光学モ ジュール 1 、 通信回線 2 、 中央制御ユニッ ト 3 だけでなく 、 各種車載モジュール間の通信に適応する こ とができるのは勿 晒 C、め 。

また、 各通信回線 2 と、 ステレオ光学モジュール 1 、 中央 制御ュニッ ト 3 間はフォ トカブラなどで電気的に絶縁する こ とで、 ハーネスに印加される各種スパイク ノィ―ズなどの影響 を回路が受けないよう に絶縁しておいても構わない。

また、 通信回線 2 に流す映像のフォーマッ ト として、 アナ ログ方式ならば、 N T S C方式の他に. P A L方式や S E C A M方式でもよ く 、 またデジタル形式ならば各種圧縮フォーマ ッ 卜、 例えば、 静止画の圧縮方式である J P E G方式や動画 の圧縮方式である M P E G方式、 D V (デジタルビデオ） な どの規格で伝送するよう にしてもよい。

また、 入力や表示については、 例えば、 マイ ク ロソ フ ト (登録商標） 社の Automotive UI Toolkit などの車載機器用 のユーザーィ ン夕フェースデザィ ンツールによ り構築された G U I や音声イ ン夕フェースを用いてもよい。

更に、 図 4 Aにおいて、 視野マスク 1 9 a ， 1 9 bは、 前 玉ュニッ ト 2 0 a , 2 0 b を半分覆う形に描かれているが、 よ り効果的に視野を規制するために図 8 Aに示すよう に、 方 形の開口部 2 5 を持つ視野マスク 1 9 を前玉ュニッ ト 2 0 の 光軸からオフセッ ト した位置に配置してもよ く 、 また、 図 8 B に示すよう にレンズ自体を 4辺 Dカ ッ トするなどして、 視 野マスクを配置したのと同等の効果を得るよ う にしてもよい また、 図 9 に示すよう に、 中央制御ュニッ ト 3 内にステレ ォ光学系のキヤ リ ブレーショ ンデ一夕 6 6 を算出するための ステレオ光学系キヤ'リ プレーショ ン装置 6 5 や車両とステレ ォ光学モジュール 1 の位置関係を計測しシステムキヤ リブレ ーショ ンデ一夕 6 8 を算出する車両系キヤ リ ブレーショ ンを 実施する車両系キヤ リ ブレーショ ン装置 6 7 などを持つよう に構成してもよい。

更に、 補正情報メモリ 7 に記憶される補正情報は、 シェ一 ディ ング補正処理ゃレクティ フィ ケーショ ン処理のためのキ ヤ リ ブレーショ ンデータである としているが、 画像の切り 出 し領域の情報や車体との位置関係のキヤ リ ブレーショ ンデー タなどを加えても勿論構わない。 また、 補正情報メモリ 7 を 中央制御ユニッ ト 3側に配置してもよい。 また、 通信回線 2 を介して適宜読み書きする こ とができるよう に構成しておい てもよい。

[第 2 の実施の形態]

次に、 本発明のステレオカメ ラシステムの第 2 の実施形態 について説明する。 なお、 第 1 の実施形態と同様の構成につ いては、. 同一の参照符号を付すこ とで説明を省略する。

即ち、 この第 2 め実施形態においては、 図 1 0 に示すよう に、 ステレオ光学モジュール 1 に、 レクティ フィ ケーシヨ ン 処理部 1 5、 ア変換処理部 1 6 、 及びシェーディ ング補正処 理部 1 7 などの処理回路と、 補正情報メモリ 7 を搭載せず、 これらを図 1 1 に示すよう に中央制御ュニッ 卜 3 に搭載する , これによ り、 ステレオ光学モジュール内の電子回路の回路 規模を小さ くする こ とができる。 即ち、 ステレオ光学モジュ ール内で発生する熱を抑制して、 ステレオ光学モジュール内 の光学系等の熱変形によるキヤ リ ブレーショ ンデータの変動 を抑制する ことができる。 また、 撮像素子 5 の冷却が、 他の 発熱要素の減少によ り効率的に行えるので、 熱雑音の発生を 抑える ことができ、 よ り 良好なステレオ画像を通信回線 2 に 出力する ことが可能である。

なお、 この第 2 の実施形態の各構成は、 当然、 第 1 の実施 形態と同様に各種の変形、 変更が可能である。

[第 3 の実施の形態]

次に、 本発明のステレオカメ ラシステムの第 3 の実施形態 について説明する。 なお、 第 1 及び第 2 の実施形態と同様の 構成については、 同一の参照符号を付すこ とで説明を省略す る。 即ち、 第 3 の実施形態における中央制御ユニッ トは、 図 1 2 に示すよう に、 図 6 で示す第 1 の実施形態の中央制御ュ ニッ 卜から距離画像算出ュニッ トを除いたものである。

即ち、 この第 3 の実施形態においては、 .図 1 2 に示すよう に、 ステレオマッチング処理までをステレオ光学モジュール 内で実施する。 そのため、 距離画像算出ュニッ ト 3 2 もステ レオ光学モジュール 1 に内蔵している。 この場合、 通信回線 2 には、 物体認識に用いる 2 次元画像と距離画像が出力され る。 なお、 第 3 の実施形態において第 1 の実施形態と異なる 点は、 ステレオ光学モジュール内の M側通信ィ ン夕フエ一ス 9 から画像データを N T S C準拠のアナログ方式で送り 出す 点も異なる。

これら 2次元画像と距離画像とは、 図 1 3 に示すよう に、 例えば 1 つの N T S C方式の画面内に並べて再配置され、 ビ デォ信号として出力される。 これによ り、 通信回線 2 を介し て、 距離画像と 2 次元画像とを、 同期させた状態で中央制御 ユニッ ト 3 に送出する こ とが可能である。 また、 これらの画 像に、 基準画像として左右どち らの画像を用いて出力したか や温度センサ 1 1 で検出した温度や雨滴センサ 1 0 で検出し た情報等を、 例えば文字放送などに用いられている信号領域 にェンコ一ディ ングして送出する こ とによ り 、 画像と同期さ せた通信を行う こ とも可能である。

このよう にして通信が行われた後は、 中央制御ユニッ ト 3 は、 u側通信イ ン夕フエ一ス 2 8 によ りその画像をデコー ド して 2 次元画像、 距離画像、 及びセンサ情報と して処理する ことによ り、 各種認識処理を実現する。 具体的には、 中央制 . 御ユニッ ト 3 は、 u側通信イ ンタフェース 2 8 を介して入力 された距離画像データに基づいて、 距離画像評価装置である 周辺環境判定ュニッ ト 3 3 にて図示しない被写体の評価を行 う 。

なお、 これらのステレオ光学モジュールを複数用いる こ と も可能であ り、 例えば、 2 つのステレオ光学モジュールを用 いる ときには、 画面の上下画像にそれぞれのステレオ光学モ ジュールのカメ ラ I Dを示すコー ドと距離画像とを埋め込み、 単一の映像に同期させて中央制御ュニッ 卜 3 に送信するよう にしてもよい。

また、 中央制御ユニッ ト 3 は、 内部の各種処理回路が専用 の A S I Cでハー ドウェア的な結線で実現されてもよく 、 さ らにはこれらがダイナミ ック に書き換える こ とができる リ コ ンフィ ギュアラブルプロセ ^サなどによって構築されていて. も勿論よい。

また、 第 3 の実施形態では、 物体認識に用いる 2 次元画像 と距離画像とを N T S C方式のアナログ信号線を使用 して出 力したが、 上記した第 1 の実施形態と同じよう に、 デジタル デ一夕 としてデジタル通信回線に出力するよう にしてもよい。 この場合は、 上記した第 1 の実施形態と同じよう にモーショ ン J P E G、 M P E G方式等のデータ圧縮方式を用いてデー 夕圧縮処理を施した後に通信回線 2 に出力するよう にしても よい。

特に車載用にした場合には、 通信回線 2 に、 図 7 に示すよ う に、 ステレオ光学モジュール 1 、 中央制御ユニッ ト 3 、 運 転状況検出モジュール等を接続して、 各種車載モジュールの 相互の連携がとれるよう に構成しても勿論構わない。 こ こで . 運転状況検出モジュールとしては、 例えば、 図 7 に示すよう な車速センサモジュール 5 5 、 エンジンコ ン ト ロールモジュ ール 5 7 、 ブレーキセンサモジュール 6 1 等がある。 また、 環境監視モジュールとしては、 図 7 に示すようなレーダ一モ ジュール 5 4、 カーナビゲーシヨ ンモジュール 5 6 、 側方力 メ ラモジュール 5 8 、 室内監視モジュール 5 9 、 後方カメ ラ モジュール 6 2 、 積載検出モジュール 6 3 、 後方超音波レー ダーモジュール 6 4等がある。 このような車内ネッ トワーク の一部として用いる場合のユニッ トやモジュール間の通信に は、 無線通信技術である B 1 u e t o o t hや I E E E 8 0 2 .1 1 、 I E E E 8 0 2 .1 xなどを用いる こ とも可能であ る。 また、 li S B、 I E E E 1 3 9 4、 イーサネッ トなどの 有線ネッ トワークや、 V o I P (ボイスオーバーアイ ピー） などの音声データの伝送プロ トコルゃ、 リ アルタイムメ ッセ —ジング機能 （RTC/SIP client) などを用いてもよ く 、 I P V 6 などによ り 各機器に I Pア ド レスを割り 当てた車内 L A Nを構築してもよい。 更に、 車内ノイズ等に強い車載用光ネ ッ ト ワーク規格 「M O S T」 や 「 C A N」 などの、 オープン スタンダー ド規格に対応した通信バスライ ンを用いるよう に してもよい。 また、 通信回線 2 と、 ステレオ光学モジュール 1や中央制 御ュニッ ト 3 との間をフォ 卜力ブラなどで電気的に絶縁する ことで、 ハーネスに印加される各種スパイ ク ノイズなどの影 響を回路が受けないよう に絶緣しておいてもかまわない。

また、 入力や表示については、 例えば、 マイ ク ロソ フ ト (登録商標） 社の Aut o motiv e UI T o olkit などの車載機器用 のユーザ一ィ ン夕フエ一スデザィ ンッ一ルによ り構築された G U I や音声イ ンタフエ一スを用いてもよい。

即ち、 この第 3 の実施形態では、 ステレオ光学モジュール 内で得られたステレオ画像データに対して、 レクティ フィ ケ ーシヨ ン、 ァ補正、 シェーディ ング補正、 輝度信号と色差信 号への分離などの当該ステレオ光学モジュールのための必要 となる画像処理だけでなく 、 距離画像の算出までもステレオ 光学モジュール内で行う よう にした。 したがって、 第 1 の実 施形態と比 てさ らに中央制御ュニッ ト側における回路負荷 を軽減でき、 中央制御ユニッ ト側での仕様をさ らに簡略化で き、 中央制御ユニッ トの汎用性を高める ことができる。- .

[第 4 め実施形態]

次に、 本発明の第 4の実施形態について説明する。 この第 4の実施形態においては、 よ り 良好な距離画像算出を行うた めに実施するステレオカメ ラシステムの動作シーケンスを説 明する。 なお、 こ こでは、 車載用途の場合の ト リ ガ信号を例 として挙げる。 なお、 第 4 の実施形態は、 第 1 の実施形態で 示すステレオカメ ラシステムの動作シーケンスを示すもので ある。 第 2 又は第 3 の実施形態のよ うな構成においても同様 に適用可能なこ とは言う までもない。

まず、 図 1 4 を参照してステレオカメラシステムにおける メイ ン動作シーケンスについて説明する。 即ち、 運転者など の操作者によ り ドアキーのオープンや、 イ グニッショ ンキー の 0 Nを検出すると、 ス リーブ状態にあった中央制御ュニッ ト 3がレジュームし （ステッ プ S 1 ) 、 起動する （ステップ S 2 ) 。 中央制御ユニッ ト 3 は、 起動すると同時に、 ステレ ォ光学モジュール 1 の画像出力処理回路 8 及び撮像素子 5 を 起動させる （ステップ S 3 , S 4 ) 。 こ こでは、 中央制御ュ ニッ 卜 3 から通信回線 2 を介してステレオ光学モジュール 1 に対して、 ステレオ光学モジュール 1 を起動させるための

「起動コマン ド」 が送信される。 ステレオ光学モジュール 1 は、 この 「起動コマン ド」 を受けて内部の図示しない電源回 路を省電力モー ドから動作モー ドに切り換え、 それに引き続 いて画像出力処理回路 8 及び撮像素子 5 を起動させる。 これ によ り、 撮像が開始される。 また、 同時に中央制御ユニッ ト 3 は、 図 1 5 に示すセンサチェックシーケンスを開始させる

(ステップ S 5 ) 。 このセンサチェックシーケンスの詳細に ついては、 後に述べる。

センサチェッ クシーケンスの結果、 問題ない環境情報デー 夕 1 0 0 がレクティ フィ ケーシヨ ン処理部 1 5 に出力される と、 レクティ フィ ケーシヨ ン処理が開始される。 即ち、 レク ティ フィ ケ一シヨ ン処理部 1 5 は、 この環境情報データ 1 0 0 や補正情報メモリ 7 に記憶されたキャ リ ブレーショ ンデー 夕 1 0 1 等に基づいて レクティ フィ ケ一シ ョ ン処理を行う (ステップ S 7 ) 。 そして、 このレクティ フィ ケーシヨ ン処 理が実施されたレクティ フィ ケーシヨ ン画像は、 通信回線 2 を介して中央制御ユニッ ト 3 に送られる。 なお、 中央制御ュ ニッ ト 3では、 例えば周辺環境判定ユニッ ト 3 3 で、 フ レ一 ムメモリ 3 0 に記憶されたこのレクティ フィ ケーシヨ ン処理 に使用されたキャ リ ブレーショ ンデ一タ 1 0 1 が適正である か否かをレクティ フィ ケ一ショ ン画像よ りチェッ クし （ステ ップ S 8 ) 、 そのキャ リ ブレーショ ンデータ 1 0 1 に問題が ある場合には、 このときのレクティ フィ ケ一ショ ン画像は、 以降の処理に使用 しないよう に、 フ レームメモリ 3 0か ら削 除する。 そして、 後に説明するキャ リ ブレーショ ンデータ補 正処理を行い （ステップ S 9 ) 、 キャ リ ブレーショ ンこの補 正処理によって補正されたキヤ リ ブレーショ ンデ一夕を通信 回線 2 を介してステレオ光学モジュール 1 の補正情報メモリ 7 に上書きする こ とで、 そこに記憶されているキヤ リ プレー シヨ ンデータ 1 0 1 を更新する （ステップ S 1 0 ) 。 そして、 ステップ S 7 のレクティ フィ ケーシヨ ン処理において、 この 更新したキャ リ ブレーショ ンデータ 1 0 1 を使用してレクテ ィ フィ ケーシヨ ン処理を行う こ とになる。 これによ り、 常に 最新且つ正しいキヤ リ ブレーショ ンデ一夕でレクティ フィ ケ ーショ ン処理が実行される。

レクティ フィ ケ一ショ ン処理が実施されたレクティ フィ ケ ーショ ン画像よ りキヤ リ ブレーショ ンデータに問題が無いと 判別された場合には、 中央制御ユニッ ト 3 内の距離画像算出 ュニッ ト 3 2 は、 入力されたレクティ フィ ケーショ ン画像に 基づいて、 ウィ ン ド一マッチング処理を行った後 （ステップ S 1 2 ) 、 距離画像を生成し、 この生成した距離画像を周辺 環境判定ユニッ ト 3 3 に出力する （ステップ S 1 3 ) 。 この 距離画像を用いて、 中央制御ユニッ ト 3 の周辺環境判定ュニ ッ ト 3 3 は、 後に説明する運転支援を実施する （ステップ S 1 4 ) 。

こ こで、 ドアキーがオープンされたり 、 イ ダニッシヨ ンキ —が O F F される とステップ S 1 5 の判定を y e s に分岐し て、 現在のキャ リ ブレーショ ンデータを記録させ （ステップ S 1 6 ) 、 中央制御ユニッ ト 3 はス リ ープ状態に入り、 ステ レオ光学モジュール 1 も動作を停止する。 こ こでも中央制御 ュニッ 卜 3 から通信回線 2 を介してステレオ光学モジュール 1 に対して、 ステレオ光学モジュール 1 の動作を停止させる ための 「動作停止コマン ド」 が送信される。 ステレオ光学モ ジュール 1 は、 この 「動作停止コマン ド」 を受けて所定の動 作を行った後に省電力モー ドに入る。

次に、 図 1 4 のステップ S 5 におけるセンサチェックシ一 ケンス.について図 1 5 を参照して説明する。 なお、 こ こでは、 ステレオ光学モジュール 1 を、 車内のルームミ ラーに取り付 け、 フロン トウィ ン ドガラスを介して車体前方を撮像する場 合を想定して説明する。

このセンサチェックにおいて、 まず、 中央制御ユニッ ト 3 は、 既知の手法によ り フロン トウィ ン ドガラスのクモリ · 結 露の検出を行って （ステップ S 2 1 ) 、 車両のフロン トウイ ン ドガラスにクモリや結露がないか否かを判定する （ステツ プ S 2 2 ) 。 この判定においてクモリ がある と判定した場合 には、 中央制御ユニッ ト 3 は、 図示しないデフロス夕を O N してクモ リ の除去を開始する とともに （ステップ S 2 3 ) 、 表示入力装置 3 5 にクモ リ 警告表示を行う （ステッ プ S 2 4 ) 。 そして、 デフロス夕の効果によ り クモリ が除去された 場合、 中央制御ユニッ ト 3 は、 ステップ S 2 2 の判定におい てクモリ なしと判定し、 上記クモリ警告表示を消灯する （ス テツプ S 2 5 ) 。

次に、 中央制御ユニッ ト 3 は、 通信回線 2 を介して送られ てきた雨滴センサ 1 0 の出力によ り雨滴の検出を行い （ステ ップ S 2 6 ) 、 フロン トウィ ン ドガラスに雨滴がついていな いか否かを判定する （ステップ S 2 7 ) 。 この判定において 雨滴がついている と判定した場合には、 中央制御ユニッ ト 3 は、 図示しないワイパーを動作させて雨滴の除去を開始する とともに （ステップ S 2 8 ) 、 表示入力装置 3 5 に雨警告表 示を行う （ステップ S 2 9 ) 。 そして、 ワイパーの効果によ り、 雨滴がなく なつた場合、 中央制御ュニッ ト 3 は、 ステッ プ S 2 7 の判定において雨滴なしと判定し、 上記雨警告表示 を消灯する （ステヅプ S 3 0 ) 。

次に、 中央制御ユニッ ト 3 は、 温度センサ 1 1 によ りステ レオ光学モジュール 1 周囲の温度検出を行い （ステップ S 3 1 ) 、 検出した温度がステレオ光学モジュール 1 の動作に適 正な範囲内であるか否かを判定する （ステッ プ S 3 2 ) 。 こ の判定において検出した温度が適正範囲内でないと判定した 場合には、 中央制御ユニッ ト 3 は、 図示しないエアコ ンを動 作させて温度調節を行う とともに （ステップ S 3 3 ) 、 表示 入力装置 3 5 に温度警告表示を行う （ステップ S 3 4 ) 。 そ して、 エアコ ンの効果によ り 、 温度が適正温度範囲内になつ た場合、 中央制御ユニッ ト 3 は、 ステップ S 3 2 の判定にお いて適正温度範囲内.である と判定し、 上記温度警告表示を消 灯する （ステップ S 3 5 ) 。

これらのセンサチェックは、 中央制御ュニッ ト 3 が動作し ている間は実行される。 即ち、 中央制御ユニッ ト 3 は、 停止 信号が入力されたか否かを判定し （ステツプ S 3 6 ) 、 停止 信号が入力されたと判定した場合には、 このセンサチェック を終了させる。 一方、 停止信号が入力されていないと判定し た場合には、 検出された、 クモリ情報、 雨滴センサ情報、 及 び温度センサ情報といった環境情報デ一夕 1 0 0 を、 通信回 線 2 を介してステレオ光学モジュール 1 のレクティ フィ ケ一 シヨ ン処理部 1 5 に出力した後 （ステップ S 3 7 ) 、 ステツ プ S 2 1 に戻り 、 センサチェッ クを継続する。

なお、 このセンサチェックのフローチャー トよ りわかるよ う に、 上記環境情報データ 1 0 0 は、 クモリ · 結露、 雨滴、 温度が所定の条件範囲内にある ときにのみ出力されるもので あ り、 よって、 この環境情報データ 1 0 0 を使用する レクテ ィ フィ ケ一シヨ ン処理は、 たとえ撮像素子 5 によ り ステレオ 画像が撮像されていたと'しても開始される こ とはない。 従つ て、 そのような場合には、 故障によ り動作がされないのでは なく、 所定の条件が得られていないために動作しないのであ る ことを運転者に知らせるための警告表示を、 表示入力装置 3 5 によ り行う ことが好ましい。

図 1 6 は、 図 1 4 のステップ S 9 におけるキヤ リ ブレーシ ョ ンデ一夕補正のシーケンスを示すフロ一チヤ一卜である。 即ち、 この図 1 6 に示すよう に、 周辺環境判定ユニッ ト 3 3 は、 まず、 通信回線 2 を介して入手した温度センサ 1 1 で 検出した温度情報等の環境条件が変化したか否かの判定を行 い （ステップ S 4 1 ) 、 例えば、 温度変化などによる熱膨張 などのためにキヤ リ プレーショ ンデ一夕が変化する場合には、 E P O M 3 1 又は H D D 5 3 に予め用意された温度別のキ ヤ リ ブレーシヨ ンデータテーブル 1 0 2 から、 その温度に対 応するキャ リ ブレーショ ンデータ 1 0 1 を読み出し、 それを 通信回線 2 を介してステレオ光学モジュール 1 の補正情報メ モリ 7 に書き込むことで （ステップ S 4 7 ) 、 キヤ リ ブレー シヨ ンデータ 1 0 1 を更 する。

次に、 あるいは上記ステップ S 4 1 で環境条件変化なしと 判別した場合には、 既知形状物体画像 （こ こでは、 通信回線 2 を介したステレオ光学モジュール 1 からのステレオ画像） を取得し （ステップ S 4 2 ) 、 ステレオ光学モジュール 1 の 取り付け位置などの取り付け条件が変化したか否かを判定し

(ステッ プ S 4 3 ) 、 取り付け条件が変化している場合には、 その変化に応じてキャ リ ブレーショ ンデータを補正し （ステ ップ S 4 4 ) 、 その補正した更新キャ リ ブレーショ ンデータ 1 0 3 を上記キャ リ ブレーショ ンデ一夕テーブル 1 0 2 に追 記する と共に、 通信回線 2 を介してステレオ光学モジュール 1 の補正情報メモリ 7 に書き込むこ とで、 レクティ フィ ケ一 シヨ ン処理に使用されるキャ リ ブレーショ ンデ一夕 1 0 1 を 更新する。

このような補正を行う こ とによ り、 レクティ フィ ケーショ ン処理やウイ ン ドーマッチングが常に良好な状態で実施可能 である。

図 1 7 は、 図 1 4 のステップ S 1 4 の運転支援のシーケン スの一例を示すフローチヤ一 卜である。

即ち、 周辺環境判定ユニッ ト 3 3 は、 この運転支援シ一ケ ンスに入 と、 '通常画像 （ステレオ画像切り 出し部 4 3 で切 り.出した一方の画像） 1 0 4、 距離画像 1 0 5 を入力と して 用い、 距離分布に基づくセグメ ンテーショ ン処理を実施した 後 （ステップ S 5 2 ) 、 先行車両認識 （ステップ S 5 4 〜 S 5 7 ). 、 道路面認識 （ステップ S 5 .8 〜 S 5 9 ) 、 障害物認 識 （ステップ S 6 1 〜 S 7 0 ) 、 及びレーン認識 （ステップ S 7 1 〜 S 7 3 ) などを実施する。

先行車両認識では、 レーザレーダーなどを用いたレーダー モジュール 5 4 によ り車両から反射したレーザ一を検出する ことで認識された先行車両を通常画像 1 0 4から抽出し、 距 離雨像 1 0 5 のセグメンテーショ ンと整合をつけて先行車両 の領域を認識し （ステップ S 5 4 ) 、 先行車両の車幅などの 情報も含めて抽出する ことで、 先行車両との車間距離を抽出 する （ステップ S 5 5 ) 。 次に、 先行車両との距離をチエツ ク し （ステッ プ S 5 6 ) 、 先行車両との距離が適正でない (例えば、 近すぎる） 場合には、 画像出力装置 3 4 を介して 表示入力装置 3 5 に図 1 8 に示すような画像表示を行う こ と によ り、 車間距離警告を実施する （ステップ S 5 7 ) 。

道路面検出では、 距離画像 1 0 5 において、 道路面がある と想定される位置に距離画像 1 0 5 から認識できる平面を発 見して （ステップ S 5 8 ) 、 その平面の範囲を道路面と同一 平面状のある平面として認識する。 そして、 この道路平面を 基準面と して設定する （ステッ プ S 5 9 ) 。 この基準面のデ 一夕 1 0 6 を各認識処理に用いる ことで、 物体の認識や、 先 行車両の認識、 レーンの認識などに利用できる。 このときに は、 図 1 9 に示すよう に、 画像出力装置 3 4 を介して表示入 力装置 3 5 に認識平面を表示してもよい。

障害物認識では、 例えば、 上記道路面検出された平面から 立ち上がって距離画像 1 0 5 のセグメ ンテーショ ン処理によ つて認識されている物体を認識し （ステップ S 6 1 ) 、 障害 物として、 その距離、 大きさなどをラベリ ングする。 これに 応じて、 障害物の距離を抽出し （ステップ S 6 2 ) 、 衝突コ —スか否かを判定し （ステップ S 6 3 ) 、 衝突コースの場合 には、 画像出力装置 3 4 を介して表示入力装置 3 5 にて操作 者に回避を促すような回避警告をする （ステッ プ S 6 4 ) 。 次に、 上記ステップ S 6 2 で抽出した距離が、 操作者つま り 運転者の自発的なブレーキ操作によって安全に停止できる距 離か否かを判定し （ステップ S 6 5 ) 、 安全に停止可能な場 合には、 操作者にブレーキを踏ませるよう に画像出力装置 3 4 を介して表示入力装置 3 5 にて警告する （ステッ プ S 6 6 ) 。 一方、 安全に停止する こ とが出来ない距離である場合 には、 操作者にブレーキを踏むよう に画像出力装置 3 4 を介 して表示入力装置 3 5 にて指示を行う と共に、 アクセルを自 動的に緩める （ステップ S 6 7 ) 。 更に、 こ こで回避動作が 可能である場合には （ステップ S 6 8 ) 、 ェマージング ドラ イブとして画像出力装置 3 4 を介して表示入力装置 3 5 にて ハン ドル操作を促すなどして強制的に安全対策を講じる （ス テツプ S 6 9 ) 。

衝突が不可避の場合は、 エアバックなどのパッシブセーフ ティ のための前準備を行う （ステップ S 7 0 ) 。 特に、 車外 通信システムなどが作動可能な場合などは、 現在地や、 事故 発生の通報などの事故報告を自動的に実施するよう に構成し てもよい。

レ一ン認識は、 基準平面上にある白線を通常画像 1 0 4 の 輝度値からの認識や、 基準平面から一定高さ に突出したガー ド レールなどを距離画像 1 0 5 から認識する こ となどから、 レーンを認識する （ステップ S 7 1 ) 。 これによ り、 走行可 能域を認識する とともに、 レーン内から外れていないことを チェック し (ステップ S 7 2 ) 、 レーンか ら外れそう になつ たときは、 図 2 1 に示すよう に、 画像出力装置 3 4 を介して 表示入力装置 3 5 にレーン警告の表示などを行う （ステップ S 7 3 ) 。

なお、 第 4 の実施形態では、 上記警告として、 図 6 に示し た中央制御ュニッ 卜 3 に接続された表示入力装置 3 5 の画面 上に警告表示する例について示したが、 当然の変形例として ス ピーカ 3 8 からの音声警告や、 表示灯 4 2 の点灯、 また図 示していないが、 運転シー トを振動させるなどの手段で操作 者に注意を促す形で警告を行ってもよい。 これは、 特に、 上 記ステップ S 6 4 , S 6 6 ， S 6 7 のよう に緊急性が高く 、 また操作者が前方から視線をそらすことが好ましくない場合 に、 有効である。

以上説明し.たよう に、 第 4 の実施形態によれば、 環境情報 に適応させてキャ リ ブレーショ ンデータを適切に選択及び補 正しながらステレオマッチングを実施する こ とができる。

なお、 この第 4 の実施形態の各構成もまた、 当然、 各種の 変形、 変更が可能である。

例えば、 キャ リ ブレーショ ンデータの補正は、 予め温度等 によ り、 テーブルを変換した複数のキャ リ ブレーショ ンデー 夕テーブルから選択する ことで補正を行うよ う にしてもよい また、 センサチェックで、 センサが問題を発見した際の対 応手段と しては、 第 4の実施形態で示したデフロス夕、 ワイ パー、 及びエアコ ンに限定されるものではなく 、 別の手段、 例えば、 デフロス夕の代わり にクモリ 防止コーティ ングゃ熱 線ヒータを用いたり、 ワイパーの代わり に超撥水ガラスコー トゃブロアを用いたり、 エアコ ンの代わり にペルチェ素子や 空冷ファ ンを用いてもよい。

また、 図 1 4で示した動作シーケンスのフローチャー ト も 各種の変更が可能である。 例えば、 センサチェッ クにおいて クモリ · 結露、 雨滴、 温度が所定の条件範囲内にないときも 環境情報データ 1 0 0 を出力するよう にし、 図 2 2 に示すよ う に、 その環境情報データ 1 0 0 よ り環境情報の条件が不適 切であ り （ステップ S 8 7 : n o ) 、 レクティ フィ ケーショ ン処理等が行えない場合には、 センサチェックシーケンスを 起動するとともに、 距離画像の出力処理を停止し処理不能警 告を画像出力装置 3 4 を介して表示入力装置 3 5 に表示する

(ステップ S 8 8 ) ことで、 運転者などの操作者にその旨を 伝達するよう にしてもよい。

また、 図 1 5 におけるセンサチェッ ク シーケンスでは、 ク モリ除去やワイパーなどを継続的に用いるよう になつている が、 図 2 3 のよう にデフロス夕やワイパー、 エアコ ンを、 セ ンサ情報が良好になった場合に O F Fする （ステップ S 1 0 5 , S 1 1 1 , S 1 1 7 ) よう にしても勿論よい。 また、 環 境情報 （温度センサ情報等） のデータを定期的に出力させる

(ステップ S 1 2 0 ) よう にしてもよい。

また、 図 1 5 におけるセンサチェッ クシーケンスでは、 全 ての処理が直列的に実行される例を示したが、 図 2 4のよう に、 並列的に各環境条件のチェック (ステップ S 1 2 2 , S 1 2 8 , S 1 3 4 ) や、 計測不能を解消するための動作 （ス テツプ S 1 2 3 , S 1 2 9 , S 1 3 5 ) を実施するよう にし てもよい。 また、 計測不能を解消するための動作はシステム が自動的に実施するよう にしてもよ く 、 操作者には、 警告の みで、 自 らは、 処理が不能である旨を表示したりするよう に してもよい。

また、 第 4 の実施形態では、 クモリ、 雨滴、 及び温度を代 表的な環境情報として提示したが、 霧、 撮像素子の トラブル、 昼夜間の切り替え、 照度情報、 枯葉や鳥の糞、 車内に釣られ たマスコ ッ トなどによるウィ ン ドガラスの汚れや遮蔽、 又は 対向車両の相対位置などの情報などを環境情報として用いて もよい。

更に、 第 4 の実施形態は、 複数の撮像素子を用いたステレ ォカメ ラの場合でも用いる こ とが可能である。

[第 5 の実施形態]

次に、 本発明の第 5 の実施形態について説明する。 この第 5 の実施形態は、 複数の光学モジュールを有するシステムに 関して説明する。 個々の光学モジュールの構成については、 上記した第 1 か ら第 4 の実施形態に準ずる。

即ち、 図 2 5 のよう に複数のステレオ光学モジュール 1 a， 1 b、 単眼光学モジュール 7 1 a , 7 1 bが通信回線 2 に接 続される。 通信回線 2 には中央制御ユニッ ト 3 が接続される とともに、 運転状況検出モジュール 7 2 、 環境監視モジュ一 ル 6 0 などが接続される。

こ こで、 単眼光学モジュールとしては、 図 7 に示す、 側方 カメラモジュール 5 8や、 後方カメ ラモジュール 6 2が挙げ られる。 また、 運転状況検出モジュール 7 2 としては、 図 7 に示す、 エンジンコ ン ト ロールモジュール 5 7 、 ブレーキセ ンサモジュール 6 1 や、 図示しないステアリ ング角検出モジ ユール、 変速機監視モジュール等が挙げられる。 更に、 環境 監視モジュール 6 0 としては、 図 7 に示す、 レーダ一モジュ —ル 5 4、 車速センサモジュール 5 5 、 力一ナビゲ一シヨ ン モジュール 5 6 、 室内監視モジュール 5 9 、 積載検出モジュ —ル 6 3 、 後方超音波レーダーモジュール 6 4等が挙げられ る。 こ こで、 光学モジュールで得られた画像情報には、 各光学 モジュールのカメ ラ I Dや、 それぞれの光学モジュールにお けるキヤ リ ブレーショ ンデ一夕等の情報を付加して送受信を 実施し、 それを中央制御ユニッ ト 3 が判別させるよう にすれ ば、 どの光学モジュールの情報をどのキヤ リ ブレーショ ンデ 一夕を用いて処理すれば良いかを判定 能である。

また、 通信回線 2 はやはり 1 系統の通信回線であ り、 この 通信回線 2 を使用 して中央制御ュニッ ト 3 とステレオ光学モ ジュール 1 a を始めとした各ュニッ 卜の間で効率よく相互の 通信を行う こ とができるよう になつている。 即ち、 この通信 においては、 中央制御ユニッ ト 3 が、 全体システムのシ一ケ ンス制御を統括して行い、 中央制御ュニッ ト 3 から各ュニッ トに対してはデータ要求コマン ドを始めと した各種制御コマ ン ドを、 また各ュニッ 卜から中央制御ユニッ ト 3 に対しては、 要求されたデータ等を送り返す。 ：

また、 図 2 5 に示すよう に、 通信回線 2 を共通で用いる こ とによ り、 車内ハーネスの削減に繋がる。 このため、 重量の 軽減、 ノイズ混信の影響削減等の効果も得られる。

[第 6 の実施形態]

次に本発明の第 6 の実施形態について説明する。 この第 6 の実施形態は、 ステレオ光学モジュールに搭載される雨滴セ ンサ 1 0 の一実施形態である。

従来の雨滴センサは、 例えば、 図 2 6 に示すよう に、 ウイ ン ドガラス 7 3 に密着したガラスブロ ッ ク 7 4 に向けて、 赤 外光や可視光の発光ダイオー ド （投光 L E D ) 7 5 から投光 を行う。 この光を投光レンズ 7 6 で集光し、 この集光光線の ガラス外側面における反射光を、 反射ミ ラー 7 7等によ り受 光レンズ 7 8 に導く。 そして、 受光レンズ 7 8 でその導かれ た光を集光し、 この集光光線をフォ トダイオー ド等の受光セ ンサ 7 9 で検出する。 このとき、 ウィ ン ドガラス 7 3 に雨滴 が付着している場合には、 光が散乱して光量が変化するので、 雨滴量を計測する こ とが可能である。 _

しかしながら、 この従来の雨滴センサでは、 ガラス面に密着 して、 雨滴センサを設けなければならず、 スペースやコス ト 上の制約となっていた。 また、 運転者の視野の妨げになった り、 雨滴センサの他に車両の前方の障害物等を検出するため のステレオ光学モジュールを搭載する場合は、 ステレオ光学 モジュールの視野が遮蔽されてしまう 問題やステレオ光学モ ジュール 1 に対する雨滴センサの設置位置などの問題がある。 そこで、 第 6 の実施形態における雨滴センサは、 ステレオ 光学モジュール 1 で撮像された画像を用いて雨滴を検出する。

上記した実施形態で説明したステレオ光学モジュール 1 で は、 左右視差の横長の画像を、 図 5 のよう に上下に振り分け て撮像素子上に結像させるステレオ光学系が用いられてお り 、 この結果、 図 2 7 に示すような横長のステレオ画像が得られ る。 こ こで、 ステレオ計測の原理による と、 一般に遠距離の 物体は視差が小さ く 、 近距離の物体は視差が大きい。 即ち、 上記した実施形態で説明した光学系では、 計測できる視差範 囲を広く取れるので、 ステレオ画像のある領域では、 基線長 から考える と従来に比べ非常に近距離 （例えば、 十数センチ の基線長で、 十数センチから数十センチの近距離） から無限 遠方まで対応する ことができる。

図 2 8 は、 第 6 の実施形態で用いるステレオ光学モジユ ー ル 1 の左右 2 視点のステレオ画像の画角について示した図で ある。 即ち、 第 6 の実施形態では、 少なく とも雨滴検出対象 である車両のウィ ン ドガラスが、 左右視点における画角がォ ーバラ ップするオーバラップ領域 8 3 に入るよう にステレオ 光学モジュール 1 を配置する。 例えば、 図 2 7 の例における 雨滴検出用探索範囲は、 図 2 8 のオーバラッ プ領域 8 3 のう ち、 ウィ ン ドガラスの存在する距離域 （図の斜線部） になる。

特に、 車載用途を考えた場合には、 障害物認識などは数メ 一トルか ら数十、 或いは数百メー トルという遠距離を計測す るので、 視差量が小さい。 このため、 一般にウィ ン ド一マツ チングをする場合は、 処理の高速化を狙ってェピポーラ線上 における対応点の探索幅を短くする。 なお、 近距離の場合に は、 探索幅が広く なるので、 それだけ対応点の探索に時間が 力、力 る。

しかしながら、 近距離だけ、 特に第 6 の実施形態のよう に ウイ ン ドガラスのある数十センチ以内の領域だけのウイ ン ド 一マッチングを行う のであれば、 視差量を大きく とれる。 極 端な例としては、 図 2 7 に示す雨滴検出用探索範囲のみを探 索すれば、 雨滴の検出が可能である。

これを図 2 9 及び図 3 0 を参照して更に詳し く説明する と、 従来のよう に、 遠距離から近距離までの物体を連続的に測距 して距離画像を算出する ときに、 画面端の基準点から探索を 開始した場合には、 探索ウィ ン ドを、 画面を横断して移動さ せながらウィ ン ド一マッチングを行う必要がある。 これでは、 探索に時間がかかり、 特に車載など距離計測に時間的な制約 がある用途では、 致命的な欠陥になりかねない。

そこで、 第 6 の実施形態では、 雨滴検出と障害物や車両な どの検出をモー ドとして切り替える。 即ち、 雨滴検出のモー ドでは、 図 2 9 に示すよう に、 基準画像 8 0 の内、 近距離対 応の範囲でウィ ン ド一マッチングを行う。 一方、 障害物など を検出するモー ドでは、 探索範囲を限定し、 例えば 3 mから 1 0 0 mに相当する視差量分の探索を行う。

また特に、 雨滴検出を頻繁に行う場合には、 探索画像 8 1 側の探索範囲を、 図 3 0 に示すよう にウィ ン ドガラス 7 3 表 面を含む限定した距離領域 （例えば、 ウィ ン ド形状に沿った 狭い領域） に対応する探索範囲 （図中、 斜線部） に限定する よう にしてもよい。 即ち、 図 2 7 に示す右画像の左端及び左 画像の右端の南滴検出用探索範囲のみを探索範囲とするよう に、 探索範囲の値にオフセッ ドをかけるよう にしてもよい。 このよう に探索範囲を限定する こ とで、 よ り高速なウィ ン ド 一マッチングによる雨滴検出が実現できる。

更に、 図 3 0 に示すよう に、 ウィ ン ドガラス 7 3 の傾斜に 対応して探索範囲も傾斜している場合には、 画面上端はよ り 近距離であ り、 画面下端は上端に比べる と遠距離であるので、 図 3 0 に射線部で示すよう に、 探索範囲のオフセッ ト量を画 面上端側の探索から画面下端の探索にかけて、 減少させつつ ウィ ン ド一マッチングをするよう にしてもよい。 以上説明したよう に、 第 6 の実施形態では、 雨滴センサと しての機能を近距離限定のウイ ン ドーマッチングによ り実現 する ことで、 中央制御ュニッ ト 3やステレオ光学モジュール 1 に新たな装置を追加せずに、 雨滴やガラスの汚れ等を検出 する こ とが可能である。

また、 通常の障害物の距離計測は、 視差の小さな範囲での マッチングで、 雨滴検出は視差の大きな範囲でのマッチング で並列して行う、 若しく は時分割で行うなどする ことで、 障 '害物の距離計測をしながら雨滴検出の機能を実現する こ とも できる。

なお、 この第 6 の実施形態の各構成は、 当然、 各種の変形、 変更が可能である。

例えば、 第 6 の実施形態では、 撮像画像をパッシブで処理 する例を示'したが、 ウイ ン ドガラス 7 3 に特定の波長の光を 特定の周期で発光させるなどして、 それによる雨滴からの散 乱光を元に雨滴検出を行う ようなァクティ ブな方式を併用 し てもよい。 この場合、 時系列的に、 雨滴検出と距離計測とを 切り換えてステレオ光学モジュールの右左いずれかの視野内 に投光すればよい。 また、 並列して処理する場合には、 図 3 1 や図 3 2 に示すオーバラップ領域外の画像を 2 次元の画像 として撮影し、 オーバラップ領域外の領域に、 図 3 3 に示す ような光ビーム投光器 8 2 から、 赤外光などの光ビームを投 光して雨滴の検出を行うよう にしてもよい。 なお、 この場合 には、 遠距離になっても、 オーバラップしないので、 輻輳角 を外側に開いて視点を設置するよう にしてもよい。 また、 ォ ーバラップ領域外の領域は、 ステレオ計測には用い られない ので、 この視野範囲のみに赤外光を投光して雨滴の検出を実 施する こともできる。

更には、 図 3 4 のよう にオーバラ ップ領域外の領域に相当 するウィ ン ドガラス表面に雨滴検出用のコーティ ング 8 4 を 施すよう にしてもよく 、 例えば、 ウィ ン ドガラス 7 3 の表面 にクモリ ガラスになるよう拡散面を設け、 雨滴が付着した部 分の透過性が上がるよう に構成してもよい。 また、 濡れ判定 の発色シー トの貼り込みなどをする こ とによつても雨滴検出 が可能である。

また、 撥水シー ト と親水シー トのウィ ン ドへの張り込みに よ り、 よ り 明確な雨滴有無の判定ができるよう にしてもよレ、。

また、 よ り近距離撮影に適するよう に正のパワーを持つク ローズアップレンズを、 視野マスクの該当視野部に設置する ことによ り、 合焦域を近距離、 少なく ともウィ ン ドガラス面 とステレオカメ ラシステムとの間の距離に限定して、 雨滴の 検出を、 2次元画像からの検出、 赤外光の撮影、 形状抽出、 色検出等で実施してもよい。 これらの検出を距離計測に用い ない領域で行えば、 距離計測に悪影響を及ぼすこ となく 、 単 一の撮像素子だけで、 雨滴の検出を実現できる。

また、 赤外光を投影する場合は、 予め、 オーバラ ップ領域 外の領域を撮影する撮像素子に設けられた赤外カ ツ ト フィ ル 夕を除去するか、 若しく はこの部分をバン ドパスフィ ル夕に 置換する ことで、 よ り効果的な計測を実現する こ とができる。

更に、 第 6 の実施形態では、 オーバラップ領域外の領域に、 投光ゃ雨滴検出コー トをするよう に構成したが、 画面周辺部 は測距に用いないのであれば、 その部分に相当する、 画面周 囲のウィ ン ドガラスに対して、 上記した雨滴の検出手段を設 けるよう に構成しても勿論かまわない。

なお、 上記した各実施形態について、 ステレオ光学系にピ ン ト合わせ機構を設ける こ となく 、 ウィ ン ドガラスの近傍か ら前方の所定距離 （例えば、 5 0 ~ 3 0 0 m ) までを被写界 深度とするような所謂パンフォ一カスのステレオ光学系を構 成してもよい。 この場合には、 ピン ト合わせ機構を設けなく とも、 ウィ ン ドガラスに付着した雨滴又は付着物と前方の障 害物の双方に概略ピン 卜合わせが可能であ り、 双方の形状認 識を同時に行う ことが可能である。

以上実施形態に基づいて本発明を説明したが、 本発明は上 記した実施形態に限定される ものではなく 、 本発明の要旨の 範囲内で種々の変形や応用が可能なこ とは勿論である。 例え ば、 上記した実施形態では、 車両搭載型のステレオカメ ラシ ステムについて説明しているが、 例えばロボッ 卜のような移 動体において距離計測を行う場合等でも利用可能である。

さ らに、 上記した実施形態には種々の段階の発明が含まれ てお り 、 開示される複数の構成要件の適当な組合せによ り 種々の発明が抽出され得る。 例えば、 実施の形態に示される 全構成要件からいく つかの構成要件が削除されても、 発明が 解決しょう とする課題の欄で述べた課題が解決でき、 発明の 効果の欄で述べられている効果が得られる場合には、 この構 成要件が削除された構成も発明として抽出され得る。

Claims

請 求 の 範 囲

1 . 同一被写体に対して、 複数の視点から見た被写体像 を撮影し対象となる被写体までの距離を求めるためのステレ ォカメラシステムであって、

ステレオ画像を取得するためのステレオ光学モジュールと、 このステレオ光学モジュールで得られた前記ステレオ画像 に基づいて対象となる被写体の評価を行うための中央制御ュ ニッ 卜 と、

前記ステレオ光学モジュールにおいて取得した前記ステレ ォ画像データを前記中央制御ユニッ トに入力させるための通 信回線と、 から構成され、

前記ステレオ光学モジュールは、 同一被写体に対して複数 視点から見た被写体像を発生させるためのステレオ光学系と、 このステレオ光学系で発生した被写体像に基づいてステレオ 画像データを発生させる撮像素子と、 この撮像素子によって 発生させたステレオ画像データを A / D変換してデジタルス テレオ画像データを発生させる A / D変換部と、 この A Z D 変換部で発生した前記デジタルステレオ画像データに対して 所定の画像処理を施す画像出力処理回路と、 この画像出力処 理回路で画像処理されたステレオ画像データを出力するモジ ユール側通信イ ンタフェース とを具備し、

前記中央制御ュニッ トは、 前記ステレオ光学モジュールで 得られた前記ステレオ画像に基づいて前記被写体の評価を行 うために、 前記モジュール側通信ィ ン夕フェースを介して出 力されたステレオ画像データを入力させるュニッ ト側通信ィ ン夕フェース と、 このュニッ ト側通信イ ンタフェースを介し て入力された前記ステレオ画像データに基づいて対象となる 被写体までの距離を求める距離画像評価装置とを具備する こ とを特徴とするステレオカメ ラシステム。

2 . 前記画像出力処理回路は、 前記 A Z D変換部で発生 した前記デジタルステレオ画像データに対して、 レクティ フ ィ ケ一ショ ン処理を施すレクティ フィ ケ一ショ ン処理回路を 含むこ とを特徴とする請求項 1 に記載のステレオカメ ラシス テム。

3 . 前記画像出力処理回路は、 前記 A / D変換部で発生 した前記デジタルステレオ画像デ一夕に対して T変換処理を 施す r変換処理回路を含むこ とを特徴とする請求項 1 に記載 のステレオカメ ラシステム。

4 . 前記画像出力処理回路は、 前記 A / D変換部で発生 した前記デジタルステレオ画像データに対してシエーディ ン グ補正処理を施すためのシエーディ ング補正処理回路を含む こ とを特徴とする請求項 1 に記載のステレオカメ ラシステム

5 . 前記ステレオ光学モジュールは、 前記撮像素子の光 入射側に、 各々のステレオ画像を複数の色成分に分離するた めの光学色フィ ルタを更に含み、 .

前記画像出力処理回路は、 前記 A Z D変換部で発生した前 記デジタルステレオ画像データの各々に対して輝度信号と色 差信号に変換する処理を行う変換回路を更に含むこ とを特徴 とする請求項 1 に記載のステレオカメラシステム。

6 . 前記モジュール側通信イ ンタフェースは、 前記ステ レオ画像データをデジタル画像データとして前記通信回線に 出力する こ とを特徴とする請求項 1 に記載のステレオカメ ラ システム。

7 . 前記モジュール側通信イ ンタフェースは、 前記ステ レオ画像デ一夕をデ一夕圧縮して前記通信回線に出力する こ とを特徴とする請求項 6 に記載のステレオカメ ラシステム。

8 . 前記データ圧縮におけるデータ圧縮方式は、 モ一シ ヨ ン J P E G ( Motion-JPEG) の規格に準拠したデータ圧縮 方式である こ とを特徴とする請求項 7 に記載のステレオカメ ラシ'ステム。

9 . 前記データ圧縮におけるデ一夕圧縮方式は、 M P E Gの規格に準拠したデータ圧縮方式である こ とを特徴とする 請求項 7 に記載のステレオカメ ラシステム。

1 0 . 前記データ圧縮におけるデータ圧縮方式は、 D V の規格に準拠したデータ圧縮方式である ことを特徴とする請 求項 7 に記載のステレオカメ ラシステム。

1 1 . 前記モジュール側通信イ ンタフェースは、 前記ス テレオ画像データを I E E E 1 3 9 4規格に準拠したデジ夕 ルデータに変換して前記通信回線に出力する こ とを特徴とす る請求項 6 に記載のステレオカメ ラシステム。

1 2 . 前記モジュール側通信イ ンタフエ一スは、 前記ス テレオ画像データを U S B規格に準拠したデジタルデ一夕に 変換して前記通信回線に出力する こ とを特徴とする請求項 6 に記載のステレオカメラシステム。

1 3 . 前記モジュール側通信イ ンタフェースは、 前記ス テレオ画像デ一夕をイーサネッ ト規格に準拠したデジタルデ 一夕に変換して前記通信回線に出力する こ とを特徴とする請 求項 6 に記載のステレオカメ ラシステム。

1 4 . 前記モジュール側通信イ ンタフェースは、 前記ス テレオ画像データをアナログ画像データ として前記通信回線 に出力する ことを特徴とする請求項 1 に記載のステレオカメ ラシステム。

1 5 . 前記モジュール側通信イ ンタフェースは、 前記ス テレオ画像データを N T S C規格に準拠したアナログ画像デ 一夕に変換して前記通信回線に出力する こ とを特徴とする請 '求項 1 4 に記載のステレオカメ ラシステム。

1 6 . 前記.モジュール側通信イ ンタフェースは、 前記ス テレオ画像データを P A IL規格に準拠したアナログ画像デー 夕に変換して前記通信回線に出力する こ とを特徴とする請求 項 1 4 に記載のステレオカメ ラシステム。

1 7 . 前記ステレオ光学モジュールは、 前記ステレオ光 学モジュールの周囲の温度を検出する温度センサを更に有し， 前記モジュール側通信ィ ン夕フェースは、 前記温度センサで 検出された温度データを前記通信回線に出力する こ とを特徴 とする請求項 1 に記載のステレオカメラシステム。

1 8 . 前記ステレオ光学モジュールは、 雨滴量を検出す る雨滴センサを更に有し、 前記モジュール側通信ィ ン夕フエ ースは、 前記雨滴センサで検出された雨滴データを前記通信 回線に出力する こ とを特徴とする請求項 1 に記載のステレオ カメ ラシステム。

1 9 . - 前記ステレオ光学モジュールは、 当該ステレオ力 メ ラシステムのキヤ リ ブレーショ ンデ一夕を記憶するための 補正情報メモリ を更に有し、

前記モジュール側通信イ ンタフェースは、 前記補正情報メ モリ に記憶された前記キヤ リ ブレーショ ンデ一夕を通信回線 に出力し、

前記距離画像評価装置は、 前記ユニッ ト側通信イ ン夕フエ ースから出力されるステレオ画像データ と前記キヤ リ プレー シヨ ンデータ とから、 対象となる被写体までの距離を求める こ とを特徴とする請求項 1 に記載のステレオカメ ラシステム。

2 0 . 前記補正情報メモリ に記憶されるキヤ リ ブレーシ ョ ンデータは、 1 対のステレオ画像データの間で発生するァ ンバランスを補正するためのキヤ リ ブレーショ ンデ一夕であ る ことを特徴とする請求項 1 9 に記載のステレオカメ ラシス テム。

. 2 1 . 前記 1 対のステレオ画像データの間で発生するァ ンバランスを補正するためのキヤ リ ブレーショ ンデ一夕は、 前記ステレオ画像データにレクティ フィ ケーショ ン処理を施 すためのキヤ リ ブレーショ ンデ一夕である ことを特徴とする 請求項 2 0 に記載のステレオカメ ラシステム。

2 2 . 前記 1 対のステレオ画像データの間で発生するァ ンバランスを補正するためのキヤ リ ブレーショ ンデ一夕は、 前記ステレオ画像データにシェ一ディ ング補正処理を施すた めのキャ リ ブレーショ ンデータである ことを特徴とする請求 項 2 0 に記載のステレオカメ ラシステム。

2 3 . 前記距離画像評価装置は、 距離画像データを算出 する こ とを特徴とする請求項 1 に記載のステレオカメラシス テム。

2 4 . 前記中央制御ユニッ トは、 当該ステレオカメラシ ステムの前方にある障害物を認識し、 前記障害物までの距離 を判定する周辺環境判定手段を更に有する ことを特徴とする 請求項 1 に記載のステレオカメ ラシステム。

2 5 . 前記障害物は、 当該ステレオカメ ラシステムの前 方を走行する 自動車である ことを特徴とする請求項 2 4 に記 載のステレオカメラシステム。

2 6 . 前記周辺環境判定手段は、 当該ステレオカメ ラシ ステムの前方の道路の白線を検知する こ とを特徴とする請求 項 2 4 に記載のステレオカメ ラシステム。

2 7 . 前記中央制御ュニッ トは、 当該ステレオカメ ラシ ステムが搭載された移動体の運転を支援するための運転支援 装置を更に有する ことを特徴とする請求項 1 に記載のステレ ォカメ ラシステム。

2 8 . 前記運転支援.装置は、 前記移動体を運転する運転 者に警告を行う警告手段を含むこ とを特徴とする請求項 2 7 に記載のステレオカメ ラシステム。

2 9 . 前記運転支援装置は、 前記移動体を運転している 運転者に表示による情報の告知を行うための表示手段を含む こ とを特徴とする請求項 2 7 に記載のステレオカメ ラシステ ム。

3 0 . 前記運転支援装置は、 当該ステレオカメ ラシステ ムが搭載された移動体の移動を制御する移動制御装置に制御 情報を出力する こ とを特徴とする請求項 2 7 に記載のステレ ォカメ ラシステム。

3 1 . 前記中央制御ユニッ トは、 当該ステレオカメ ラシ ステムの外部から情報を入力するための情報入力装置を更に 有する ことを特徴とする請求項 1 に記載のステレオカメ ラシ ステム。

3 2 . 前記情報入力装置は、 マニュアルで情報を入力す る装置である こ とを特徴とする請求項 3 1 に記載のステレオ カメ ラシステム。

3 3 . 前記情報入力装置から入力される情報は、 当該ス テレオカメラシステムが搭載された移動体の移動を制御する 制御装置から入力される情報である こ とを特徴とする請求項 3 1 に記載のステレオカメ ラシステム。

3 4 . ステレオ画像を得るためのステレオ光学モジユ ー ルと、 前記ステレオ光学モジュールで得られたステレオ画像 よ り対象となる被写体の評価を行う 中央制御ユニッ ト と、 前 記ステレオ光学モジュールから出力されるステレオ画像デー 夕を前記中央制御ユニッ トに入力させるための通信回線と、 からなり、 同一被写体に対して複数の視点から見た被写体像 を撮影し対象となる被写体までの距離を求めるステレオカメ ラシステムに使用するためのステレオ光学モジュールであつ て、

同一被写体に対して複数視点から見た被写体像を発生する ためのステレオ光学系と、 このステレオ光学系において発生した被写体像に基づいて ステレオ画像デ一夕を発生させる撮像素子と、

この撮像素子で発生したステレオ画像データを A Z D変換 してデジタルステレオ画像データを発生させる A Z D変換部 と、

この A / D変換部で発生したデジタルステレオ画像データ に対して所定の画像処理を施す画像出力処理回路と、

この画像出力処理回路において画像処理されたステレオ画 像デ一夕を通信回線に出力するモジュール側通信ィ ン夕フエ ースと、

を具備する こ とを特徴とするステレオ光学モジュール。

3 5 . 前記画像出力処理回路は、 前記 Aノ D変換部で発 生した前記デジタルステレオ画像デ一夕に対してレクティ フ ィ ケーショ ン処理を施すレクティ フィ ケ一ショ ン処理回路を 含むことを特徴とする請求項 3 4 に記載のステレオ光学モジ ユール。 '

3 6 . 前記画像出力処理回路は、 前記 A Z D変換部で発 生した前記デジタルステレオ画像データに対してァ変換処理 を施すァ変換処理回路を含むこ とを特徴とする請求項 3 4 に 記載のステレオ光学モジュール。

3 7 . 前記画像出力処理回路は、 前記 A Z D変換部で発 生した前記デジタルステレオ画像データに対してシエーディ ング補正処理を施すシヱーディ ング補正処理回路を含むこと を特徴とする請求項 3 4 に記載のステレオ光学モジュール。

3 8 . 前記ステレオ光学モジュールは、 前記撮像素子の 光入射側に、 各々のステレオ画像を複数の色成分に分離する ための光学色フィ ルタを更に含み、

前記画像出力処理回路は、 前記 A / D変換部で発生した前 記デジタルステレオ画像データの各々 に対して輝度信号と色 差信号に変換する処理を行う変換回路を更に含むことを特徴 とする請求項 3 4 に記載のステレオ光学モジュール。

3 9 . 前記モジュール側通信イ ンタフェースは、 前記ス テレオ画像データをデジタル画像データと して前記通信回線 に出力する こ とを特徴とする請求項 3 4 に記載のステレオ光 学モジュール。

4 0 . 前記モジュール側通信イ ンタフェースは、 前記ス テレオ画像データをデータ圧縮して前記通信回線に出力する ことを特徴とする請求項 3 9 に記載のステレオ光学モジユー ル。

4 1 . 前記データ圧縮におけるデータ圧縮方式は、 モー シヨ ン J P E G ( Motion-JPEG) の規格に準拠したデータ圧 縮方式である こ とを特徴とする請求項 4 0 に記載のステレオ 光学モジュ一 レ。

4 2 . 前記データ圧縮におけるデータ圧縮方式は、 M P E Gの規格に準拠したデータ圧縮方式である こ とを特徴とす る請求項 4 0 に記載のステレオ光学モジュール。

4 3 . 前記デ一夕圧縮におけるデ一夕圧縮方式は、 D V の規格に準拠したデータ圧縮方式である ことを特徴とする請 求項 4 0 に記載のステレオ光学モジュール。

4 4 . 前記モジュール側通信イ ン夕フェースは、 前記ス テレオ画像データを I E E E 1 3 9 4規格に準拠したデジ夕 ルデータに変換して前記通信回線に出力する こ とを特徴とす る請求項 3 9 に記載のステレオ光学モジュール。

4 5 . 前記モジュール側通信イ ンタフェースは、 前記ス テレオ画像データを U S B規格に準拠したデジタルデ一夕に 変換して前記通信回線に出力する ことを特徴とする請求項 3 9 に記載のステレオ光学モジュール。

4 6 . 前記モジュール側通信イ ンタフェースは、 前記ス テレオ画像データをイーサネッ ト規格に準拠したデジタルデ 一夕に変換して前記通信回線に出力する こ とを特徴とする請 求項 3 9 に記載のステレオ光学モジュール。

4 7 . 前記モジュール側通信イ ンタフェースは、 前記ス テレオ画像データをアナログ画像データ として前記通信回線 に出力する こ とを特徴とする請求項 3 4 に記載のステレオ光 モンユール。

4 8 . 前記モジュール側通信イ ンタフェースは、 前記ス テレオ画像データを N T S C規格に準拠したアナログ画像デ —夕に変換して前記通信回線に出力する こ とを特徴とする請 求項 4 7 に記載のステレオ光学モジュール。

4 9 . 前記モジュール側通信イ ンタフェースは、 前記ス テレオ画像データを P A L規格に準拠したアナログ画像デー 夕に変換して前記通信回線に出力する こ とを特徴とする請求 項 4 7 に記載のステレオ光学モジュール。

5 0 . 当該ステレオ光学モジュールの周囲の温度を検出 する温度センサを更に有し、 前記モジュール側通信イ ンタフ エースは、 前記温度センサで検出された温度データを前記通 信回線に出力する ことを特徴とする請求項 3 4 に記載のステ レオ光学モジュール。

5 1 . 雨滴量を検出する雨滴センサを更に有し、 前記モ ジュール側通信イ ンタフェースは、 前記雨滴センサで検出さ れた雨滴デ一夕を前記通信回線に出力する こ とを特徴とする 請求項 3 4 に記載のステレオ光学モジュール。

5 2 . ステレオカメ ラシステムのキャ リ ブレーショ ンデ 一夕を記憶するための補正情報メモリ を更に有し、

前記モジュール側通信イ ンタフェースは、 前記補正情報メ モリ に記憶された前記キヤ リ ブレーショ ンデータを通信回線 に出力する こ とを特徴とする請求項 3 4 に記載のステレオ光 学モジユー Jレ。

5 3 . 前記補正情報メモリ に記憶されるキヤ リ ブレーシ ョ ンデータは、 1 対のステレオ画像データの間で発生するァ ンバランスを補正するためのキヤ リ ブレーショ ンデータであ る こ とを特徴とする請求項 5 2 に記載のステレオ光学モジュ —ル。 .

5 4 . 前記 1対のステレオ画像データの間で発生するァ ンバランスを補正するためのキヤ リ ブレーショ ンデータは、 前記ステレオ画像データにレクティ フィ ケ一ショ ン処理を施 すためのキヤ リ ブレーショ ンデータである こ とを特徴とする 請求項 5 3 に記載のステレオ光学モジュール。

5 5 . 前記 1 対のステレオ画像データの間で発生するァ ンバランスを補正するためのキヤ リ ブレーショ ンデータは、 前記ステレオ画像デ一夕にシェーディ ング補正処理を施すた めのキャ リ ブレーショ ンデータである こ とを特徴とする請求 項 5 3 に記載のステレオ光学モジュール。

5 6 . 同一被写体に対して、 複数の視点から見た被写体 像を撮影し対象となる被写体までの距離を求めるためのステ レオカメ ラシステムであって、

ステレオ画像を取得するためのステレオ光学モジュールと、 このステレオ光学モジュールで得られた前記ステレオ画像 に基づいて対象となる被写体の評価を行うための中央制御ュ ニッ ト と、

前記ステレオ光学モジュールにおいて取得した前記ステレ ォ画像デ一夕を前記中央制御ュニッ トに入力させるための通 信回線と、 から構成され、

前記ステレオ光学モジュールは、 同一被写体に対して複数 視点から見た被写体像を発生させるためのステレオ光学系と、 このステレオ光学系で発生した被写体像に基づいてステレオ 画像データを発生させる撮像素子と、 この撮像素子によって 発生させたステレオ画像デ一夕を A Z D変換してデジ夕ルス テレオ画像データを発生させる A / D変換部と、 前記ステレ ォカメ ラシステムのキヤ リ ブレーショ ンデータを記憶するた めの捕正情報メモリ と、 前記 A Z D変換部で発生した前記デ ジ夕ルステレオ画像データと前記補正情報メモリ に記憶され た前記キヤ リ プレーショ ンデ一夕 とに基づいて所定の画像処 理を施す画像出力処理回路と、 この画像出力処理回路で画像 処理されたステレオ画像データを前記通信回線に出力するモ ジュール側通信ィ ンタフエースとを具備し、

前記中央制御ユニッ トは、 前記モジュール側通信イ ンタフ エースを介して前記通信回線に出力されるステレオ画像デー タを該中央制御ュニッ 卜に入力させるためのュニッ ト側通信 イ ンタフェース と、 このユニッ ト側通信イ ン夕フエ一スを介 して入力された前記ステレオ画像データに基づいて対象とな る被写体までの距離を求める距離画像評価装置とを具備する ことを特徴とするステレオカメ ラシステム。

5 7 . 前記補正情報メモリ に記憶されるキヤ リ プレーシ ョ ンデ一夕は、 1対のステレオ画像データの間で発生するァ ンバランスを補正するためのキヤ リ プレーショ ンデ一夕であ り 、 前記画像出力処理回路で施される画像処理は、 前記 1対 のステレオ画像デ一夕の間で発生するアンバランスを補正す るための補正演算である ことを特徴とする請求項 5 6 に記載 のステレオカ メ ラシステム。

5 8 . 前記キャ リ ブレーショ ンデータは、 前記ステレオ 画像データにレクティ フィ ケーショ ン処理を施すためのデー 夕であ り 、 前記補正演算は、 前記ステレオ画像デ一夕に レク ティ ケ一ショ ン処理を施す演算である ことを特徴とする請求 項 5 7 に記載のステレオカメ ラシステム。

5 9 . 前記キャ リ ブレーショ ンデ一夕は、 前記ステレオ 画像データにシェーディ ング補正処理を施すためのデ一夕で あり、 前記補正演算は、 前記ステレオ画像デ一夕に,シェ一デ ィ ング捕正処理を施す演算である こ とを特徴とする請求項 5 7 に記載のステレオカメラシステム。

6 0 . ステレオ画像を得るためのステレオ光学モジユ ー ルと、 前記ステレオ光学モジュールで得られたステレオ画像 よ り対象となる被写体の評価を行う 中央制御ユニッ ト と、 前 記ステレオ光学モジュールから出力されるステレオ画像デー 夕を前記中央制御ュニッ トに入力させるための通信回線と、 からなり、 同一被写体に対して複数の視点から見た被写体像 を撮影し対象となる被写体までの距離を求めるステレオカメ ラシステムに使用するためのステレオ光学モジュールであつ て、

同一被写体に対して複数視点から見た被写体像を発生する ためのステレオ光学系と、

このステレオ光学系において発生した被写体像に基づいて ステレオ画像データを発生させる撮像素子と、

こ の撮像素子で発生したステレオ画像データを A Z D変換 してデジタルステレオ画像データを発生させる A Z D変換部 と、

前記ステレオカメ ラシステムのキヤ リ ブレ一ショ ンデータ を記憶するための補正情報メモリ と、

前記 Aノ D変換部で発生したデジタルステレオ画像データ と前記補正情報メモリ に記憶された前記キヤ リ ブレーショ ン データとに基づいて所定の画像処理を施す画像出力処理回路 と、

この画像出力処理回路において画像処理されたステレオ画 像データを前記通信回線に出力するモジュール側通信イ ン夕 フェースと、 を具備する こ とを特徴とするステレオ光学モジュール。

6 1 . 前記補正情報メモリ に記憶されるキヤ リ プレーシ ョ ンデータは、 1対のステレオ画像デ一夕の間で発生するァ ンバランスを補正するためのキヤ リ プレーショ ンデータであ り、 前記画像出力処理回路で施される画像処理は、 前記 1 対 のステレオ画像データの間で発生するアンバランスを補正す るための補正演算である ことを特徴とする請求項 6 0 に記載 のステレオカメ ラシステム。

6 2 . 前記キャ リ ブレーショ ンデータは、 前記ステレオ 画像データにレクティ フィ ケーショ ン処理を施すためのデー タであ り、 前記補正演算は、 前記ステレオ画像データにレク ティ ケーシヨ ン処理を施す演算である ことを特徴とする請求 項 6 1 に記載のステレオカメ ラシステム。

6 3 . 前記キャ リ ブレーショ ンデータは、 前記ステレオ 画像データにシエーディ ング補正処理を施すためのデ一夕で あ り、 前記補正演算は、 前記ステレオ画像データにシエーデ ィ ング補正処理を施す演算である ことを特徴とする請求項 6 1 に記載のステレオカメ ラシステム。

6 4 . 同一被写体に対して、 複数の視点か ら見た被写体 像を撮影し対象となる被写体までの距離を求めるためのステ レオカメ ラシステムであって、

ステレオ画像を取得するためのステレオ光学モジュールと、 このステレオ光学モジュールで得られた前記ステレオ画像 に基づいて対象となる被写体の評価を行うための中央制御ュ ニッ ト と、 前記ステレオ光学モジュールにおいて取得した前記ステレ ォ画像データを前記中央制御ユニッ トに入力させるための通 信回線と、 から構成され、

前記ステレオ光学モジュールは、 同一被写体に対して複数 視点から見た被写体像を発生させるためのステレオ光学系と、 このステレオ光学系で発生した被写体像に基づいてステレオ 画像データを発生させる撮像素子と、 この撮像素子によって 発生させたステレオ画像データを A Z D変換してデジ夕ルス テレオ画像データを発生させる A Z D変換部と、 前記ステレ ォカメラシステムのキヤ リ ブレーショ ンデ一夕であって、 第 1 のキヤ リ ブレーショ ンデ一夕及び第 2 のキヤ リ ブレーショ ンデータを記憶するための補正情報メモリ と、 前記 A D変 換部で発生したデジタルステレオ画像デ一夕 と前記補正情報 メモリ に記憶された第 1 のキャ リ ブレーショ ンデータ とに基 づいて所定の画像処理を施す画像出力処理回路と、 前記画像 出力処理回路で画像処理されたステレオ画像データ及び前記 補正情報メモリ に記憶された第 2 のキヤ リ ブレーショ ンデー 夕を前記通信回線に出力するためのモジュール側通信イ ンタ フェースとを具備し、

前記中央制御ユニッ トは、 前記モジュール側通信イ ンタフ エースを介して前記通信回線に出力されるステレオ画像デー 夕を該中央制御ュニッ トに入力させるためのュニッ ト側通信 イ ンタフェース と、 このュニッ ト側通信イ ンタフェースを介 して入力された前記ステレオ画像データ及び前記第 2 のキヤ リ ブレ一ショ ンデータに基づいて対象となる被写体までの距 離を求める距離画像評価装置とを具備する こ とを特徴とする ステレオカメ ラシステム。

6 5 . 前記第 1 のキャ リ ブレーショ ンデータは、 1 対の ステレオ画像データの間で発生するァンバランスを補正する ためのキヤ リ ブレーショ ンデータである ことを特徴とする請 求項 6 4 に記載のステレオカメ ラシステム。

6 6 . 前記第 1 のキャ リ ブレーショ ンデ一タは、 前記ス テレオ画像データにレクティ フィ ケーショ ン処理を施すため のキヤ リ ブレーショ ンデ一夕である こ とを特徴とする請求項 6 5 に記載のステレオカメ ラシステム。

6. 7 . 前記第 1 のキャ リ ブレーショ ンデータは、 前記ス テレオ画像データにシェーディ ング補正処理を施すためのキ ヤ リ ブレーシヨ ンデータである こ とを特徵とする請求項 6 5 に記載のステレオカメ ラシステム。

6 8 . 前記第 2 のキャ リ ブレーショ ンデ一夕は、 前記中 央制御ュニッ ト内部の前記距離画像評価装置から出力される 距離演算結果に対して補正を行う ための距離補正データであ る ことを特徴とする請求項 6 4 に記載のステレオカメ ラシス テム。

6 9 . ステレオ画像を得るためのステレオ光学モジユ ー ルと、 前記ステレオ光学モジュールで得られたステレオ画像 よ り対象となる被写体の評価を行う 中央制御ユニッ ト と、 前 記ステレオ光学モジュールから出力されるステレオ画像デー 夕を前記中央制御ュニッ トに入力させるための通信回線と、 からなり、 同一被写体に対して複数の視点から見た被写体像 を撮影し対象となる被写体までの距離を求めるステレオカメ ラシステムに使用するためのステレオ光学モジュールであつ て、

同一被写体に対して複数視点から見た被写体像を発生させ るためのステレオ光学系と、 このステレオ光学系で発生した 被写体像に基づいてステレオ画像データを発生させる撮像素 子と、 この撮像素子によって発生させたステレオ画像データ を A Z D変換してデジタルステレオ画像デ一夕を発生させる A Z D変換部と、 前記ステレオカメラシステムのキヤ リ ブレ ーシヨ ンデータであって、 第 1 のキャ リ ブレーショ ンデ一夕 及び第 2 のキャ リ ブレーショ ンデータを記憶するための補正 情報メモリ と、 前記 A Z D変換部で発生したデジタルステレ ォ画像データと前記補正情報メモリ に記憶された第 1 のキヤ リ ブレーショ ンデ一夕 とに基づいて所定の画像処理を施す画 像出力処理回路と、 前記画像出力処理回路で画像処理された ステレオ画像データ及び前記補正情報メモリ に記憶された第 2 のキヤ リ ブレーショ ンデ一夕を前記通信回線に出力するた めのモジュール側通信ィ ン夕フェースと、

を具備する ことを特徴とするステレオ光学モジュール。

7 0 . 前記第 1 のキャ リ ブレーショ ンデータは、 1 対の ステレオ画像データの間で発生するアンバランスを補正する ためのキヤ リ ブレーショ ンデータである ことを特徴とする請 求項 6 9 に記載のステレオ光学モジュール。

7 1 . 前記第 1 のキャ リ ブレーショ ンデータは、 前記ス テレオ.画像デ一夕にレクティ フィ ケーショ ン処理を施すため のキヤ リ ブレーショ ンデ一夕である ことを特徴とする請求項 7 0 に記載のステレオ光学モジュール。

7 2 . 前記第 1 のキャ リ ブレーショ ンデータは、 前記ス テレオ画像デ一夕にシェーディ ング補正処理を施すためのキ ヤ リ ブレーショ ンデータである こ とを特徴とする請求項 7 0 に記載のステレオ光学モジュール。

7 3 . 前記第 2 のキャ リ ブレーショ ンデータは、 前記中 央制御ュニッ ト内部の前記距離画像評価装置か ら出力される 距離演算結果に対して補正を行うための距離補正データであ る ことを特徴とする請求項 6 9 に記載のステレオ光学モジュ 一ル。

7 4 . 同一被写体に対して、 複数の視点か ら見た被写体 像を'撮影し対象となる被写体までの距離を求めるためのステ レオカメ ラシステムであって、

ステレオ画像を取得するためのステレオ光学モジュールと、 このステレオ光学モジュールで得られた前記ステレオ画像に 基づいて対象となる被写体の評価を行うための中央制御ュニ ッ ト と、 前記ステレオ光学モジュールにおいて取得した前記 ステレオ画像に関するデータを前記中央制御ユニッ トに入力 させるための通信回線と、 か ら構成され、

前記ステレオ光学モジュールは、 同一被写体に対して複数 視点から見た被写体像を発生させるためのステレオ光学系と、 このステレオ光学系で発生した被写体像に基づいてステレオ 画像デ一夕を発生させる撮像素子と、 この撮像素子によって 発生させたステレオ画像デ一夕を A / D変換してデジ夕ルス テレオ画像デ一夕を発生させる A / D変換部と、 この Aノ D 変換部で発生した前記デジタルステレオ画像データに対して 所定の画像処理を施す画像出力処理回路と、 この画像出力処 理回路で画像処理されたステレオ画像データに基づいて距離 画像データを生成する距離画像算出ユニッ ト と、 この距離画 像算出ュニッ トで生成された距離画像データを前記通信回線 に出力するモジュール側通信ィ ン夕フェース とを具備し、 前記中央制御ユニッ トは、 前記モジュール側通信イ ンタフ エースを介して出力された距離画像データを入力させるュニ ッ ト側通信イ ンタフェースと、 このュニッ ト側通信イ ンタフ エースを介して入力された前記距離画像データに基づいて前 記被写体の評価を行う距離画像評価装置とを具備する ことを 特徴とするステレオカメ ラシステム。

7 5 . 前記画像出力処理回路は、 前記 A Z D変換部で発 生した前記デジタルステレオ画像データに対して、 レクティ フィ ケ一ショ ン処理を施すレクティ フィ ケーショ ン処理回路 を含むこ とを特徴とする請求項 7 4 に記載のステレオカメ ラ システム。

7 6 . 前記画像出力処理回路は、 前記 A Z D変換部で発 生した前記デジタルステレオ画像デ一夕に対してシエーディ ング補正処理を施すためのシヱ一ディ ング補正処理回路を含 むことを特徴とする請求項.7 4 に記載のステレオカメ ラシス テム。

7 7 . 前記モジュール側通信イ ンタフェースは、 前記距 離画像データをデジタル画像デ一夕 として前記通信回線に出 力する ことを特徴とする請求項 7 4 に記載のステレオカメ ラ システム。

7 8 . 前記モジュール側通信イ ンタフェースは、 前記距 離画像データをデータ圧縮した後、 デジタルデータとして前 記通信回線に出力する こ とを特徴とする請求項 7 7 に記載の ステレオカメ ラシステム。

7 9 . 前記モジュール側通信イ ンタフェースは、 前記距 離画像データをアナログ画像データとして前記通信回線に出 力する ことを特徵とする請求項 7 4 に記載のステレオカメ ラ システム。

8 0 . 前記ステレオ光学モジュールは、 当該ステレオ力 メ ラシステムのキヤ リ ブレーショ ンデータを記憶するための 捕正情報メモリ を更に有し、

前記画像出力処理回路は、 前記 A Z D変換部で発生したデ ジタルステレオ画像データ と前記補正情報メモリ に記憶され たキャ リ ブレーショ ンデータ とから補正演算を行う—ことを特 徴とする請求項 7 4 に記載のステレオカメ ラシステム。

8 1 . 前記補正情報メモリ に記憶されるキヤ リ ブレ一シ ョ ンデータは、 1対のステレオ画像データの間で発生するァ ンバランスを補正するためのキャ リ ブレーショ ンデ一夕であ る ことを特徴とする請求項 8 0 に記載のステレオカメ ラシス テム

8 2 . 前記 1 対のステレオ画像データの間で発生するァ ンバランスを捕正するためのキヤ リ プレ一ショ ンデ一夕は、 前記ステレオ画像データにレクティ フィ ケーショ ン処理を施 すためのキヤ リ ブレーショ ンデ一夕である こ とを特徴とする 請求項 8 1 に記載のステレオカメ ラシステム。

8 3 . 前記 1 対のステレオ画像データの間で発生するァ ンバランスを補正するためのキャ リ ブレーショ ンデータは、 前記ステレオ画像データにシェ一ディ ング補正処理を施すた めのキヤ リ ブレーショ ンデータである こ とを特徴とする請求 項 8 1 に記載のステレオカメ ラシステム。

8 4 . 前記距離画像評価装置は、 前記被写体の評価とし て当該ステレオカメ ラシステムの前方の障害物を認識し、 こ の認識結果に基づいて前記障害物までの距離を判定する こと を特徴とする請求項 7 4 に記載のステレオカメ ラシステム。

8 5 . 前記距離画像評価装置は、 前記被写体の評価とし て当該ステレオカメ ラシステムの前方を走行する自動車を認 識し、 この認識結果に基づいて前記自動車までの距離を判定 する こ とを特徴とする請求項 7 4 に記載のステレオカメ ラシ ステム。

8 6 . 前記距離画像評価装置は、 前記被写体の評価とし て当該ステレオカメ ラシステムの前方の道路の白線を認識す る ことを特徴とする請求項 7 4 に記載のステレオカメ ラシス テム。

8 7 . 前記中央制御ユニッ トは、 当該ステレオカメ ラシ ステムが搭載された移動体の運転を支援するための運転支援 装置を更に有する こ とを特徴とする請求項 7 4 に記載のステ レオカメラシステム。

8 8 . 前記中央制御ユニッ トは、 当該ステレオカメ ラシ ステムの外部か ら情報を入力するための情報入力装置を更に 有する こ とを特徴とする請求項 7 4 に記載のステレオカメ ラ システム。

8 9 . ステレオ画像を得るためのステレオ光学モジユ ー ルと、 前記ステレオ光学モジュールで得られたステレオ画像 よ り対象となる被写体の評価を行う 中央制御ュニッ ト と、 前 記ステレオ光学モジュールか ら出力されるステレオ画像に関 するデータを前記中央制御ュニッ トに入力させるための通信 回線と、 からな り、 同一被写体に対して複数の視点から見た 被写体像を撮影し対象となる被写体までの距離を求めるステ レオカメラシステムに使用するためのステレオ光学モジユ ー ルであって、

同一被写体に対して複数視点から見た被写体像を発生する ためのステレオ光学系と、

このステレオ光学系において発生した被写体像に基づいて ステレオ画像データを発生させる撮像素子と、

この撮像素子で発生したステレオ画像データを A / D変換 してデジタルステレオ画像データを発生させる A / D変換部 と、

この A / D変換部で発生したデジタルステレオ画像データ に対して所定の画像処理を施す画像出力処理回路と、

この画像出力処理回路で画像処理されたステレオ画像デー 夕に基づいて距離画像データを生成する距離画像算出ュニッ 卜 と、

この距離画像算出ュニッ 卜で生成された距離画像データを 前記通信回線に出力するモジュール側通信イ ン夕フエ一スと、 を具備する こ とを特徴とするステレオ光学モジュール。

9 0 . 前記画像出力処理回路は、 前記 A Z D変換部で発 生した前記デジタルステレオ画像データに対して、 レクティ フィ ケーショ ン処理を施すレクティ フィ ケーショ ン処理回路 を含むこ とを特徴とする請求項 8 9 に記載のステレオ光学モ ジュール。

9 1 . 前記画像出力処理回路は、 前記 A Z D変換部で発 生した前記デジタルステレオ画像デ一夕に対してシエーディ ング補正処理を施すためのシェーディ ング補正処理回路を含 むことを特徴とする請求項 8 9 に記載のステレオ光学モジュ ール。

9 2 . 前記モジュール側通信イ ンタフェースは、 前記距 離画像データをデジタル画像デ一夕 と して前記通信回線に出 力する こ とを特徴とする請求項 8 9 に記載のステレオ光学モ ジュール。

9 3 . 前記モジュール側通信イ ンタフェースは、 前記距 離画像データをデータ圧縮した後、 デジタルデータ として前 記通信回線に出力する こ とを特徴とする請求項 9 2 に記載の ステレオ光学モジュール。

9 4 . 前記モジュール側通信イ ン夕フェースは、 前記距 離画像データをアナログ画像データと して前記通信回線に出 力することを特徴とする請求項 8 9 に記載のステレオ光学モ ジュ—— レ。

9 5 . 前記ステレオ光学モジュールは、 当該ステレオ力 メ ラシステムのキャ リ ブレーショ ンデ一夕を記憶するための 補正情報メモリ を更に有し、

前記画像出力処理回路は、 前記 Aノ D変換部で発生したデ ジタルステレオ画像デ一夕と補正情報メモリ に記憶されたキ ヤ リ ブレーショ ンデータとから補正演算を行う こ とを特徴と する請求項 8 9 に記載のステレオ光学モジュール。

9 6 . 前記補正情報メモリ に記憶されるキヤ リ ブレーシ ョ ンデータは、 1 対のステレオ画像データの間で発生するァ ンバランスを補正するためのキヤ リ ブレ一ショ ンデ一夕であ る ことを特徴とする請求項 9 5 に記載のステレオ光学モジュ ール。

9 7 . 前記 1 対のステレオ画像データの間で発生するァ ンバランスを補正するためのキヤ リ ブレーショ ンデ一夕は、 前記ステレオ画像データにレクティ フィ ケーショ ン処理を施 すためのキヤ リ プレーショ ンデータである こ とを特徴とする 請求項 9 6 に記載のステレオ光学モジュール。

9 8 . 前記 1 対のステレオ画像データの間で発生するァ ンバランスを補正するためのキヤ リ ブレーショ ンデ一夕は、 前記ステレオ画像デ一夕にシエーディ ング補正処理を施すた めのキャ リ ブレーショ ンデータである こ とを特徴とする請求 項 9 6 に記載のステレオ光学モジュール。

9 9 . 同一被写体に対して、 複数の視点から見た被写体 像を撮影し対象となる被写体までの距離を求めるためのステ レオカメ ラシステムであって、

同一被写体に対して複数視点から見た被写体像を発生させ るためのステレオ光学系と、 このステレオ光学系で発生した 被写体像に基づいてステレオ画像データを発生させる撮像素 子と、 この撮像素子によってステレオ画像データを A Z D変 換してデジタルステレオ画像デ一タを発生させる A / D変換 部と、 この A Z D変換部で発生した前記デジタルステレオ画 像データに対して所定の画像処理を施す画像出力処理回路と、 この画像出力処理回路で画像処理されたステレオ画像デ一夕 に基づいて距離画像データを生成する距離画像算出ュニッ ト と、 この距離画像算出ユニッ トで生成された距離画像データ 及び前記ステレオ画像データの少なく とも何れか一方の画像 データを出力するモジュール側通信ィ ン夕フェースとを具備 するステレオ光学モジュールと、

距離画像デ一夕及び前記ステレオ画像データの少なく とも 何れか一方を入力させるユニッ ト側通信イ ンタフェース と、 このュニッ ト側通信ィ ン夕フェースを介して入力された前記 距離画像デ一夕及び前記ステレオ画像データの少なく とも何 れか一方に基づいて前記被写体の評価を行う距離画像評価装 置とを具備する中央制御ュニッ ト と、

前記モジュール側通信イ ンタフェースと前記ュニッ 卜側ィ ン夕フエ一ス との間を接続し、 前記ステレオ光学モジュール と前記中央制御ュニッ ト との間でデ一夕の通信を可能とする 通信回線と、

から構成される こ とを特徴とするステレオ力メ ラシステム。 1 0 0 . 前記モジュール側通信イ ン夕フェースは、 前記 距離画像データ及び前記ステレオ画像デ一夕の少なく とも何 れか一方をデジタル画像データ として前記通信回線に出力す る こ とを特徴とする請求項 9 9 に記載のステレオカメ ラシス テム。

1 0 1 . 前記モジュール側通信イ ンタフェースは、 前記 距離画像データ及び前記ステレオ画像データの少なく とも何 れか一方をデータ圧縮した後、 デジタルデータ として前記通 信回線に出力する ことを特徴とする請求項 1 0 0 に記載のス テレオカメ ラシステム。

1 0 2 . 前記モジュール側通信イ ンタフェースは、 前記 距離画像データ及び前記ステレオ画像データの少なく と も何 れか一方をアナログ画像データ として前記通信回線に出力す る ことを特徴とする請求項 9 9 に記載のステレオカメ ラシス テム。 ·

1 0 3 . 前記モジユール側通信インタフェースは、 1 フ レームの画像データ内の第 1 の領域に前記複数視点から取得 したステレオ画像の中の何れかの視点から見た画像データを 割り付け、 前記 1 フ レームの画像データ内の前記第 1 の領域 とは異なる第 2 の領域に前記距離画像データを割り付けて、 前記通信回線に出力する ことを特徴とする請求項 1 0 2 に記 載のステレオカメラシステム。

1 0 4 . 前記中央制御ュニッ 卜は、 前記複数視点から取 得したステレオ画像の中の何れかの視点から見た画像デ一タ を表示可能な表示手段を更に有する こ とを特徵とする請求項 9 9 に記載のステレオカメラシステム。

1 0 5 . 同一被写体に対して複数視点から見た被写体像 を発生させるためのステレオ光学系と、

このステレオ光学系で発生した被写体像に基づいてステレ ォ画像データを発生させる撮像素子と、

この撮像素子によって発生させたステレオ画像データを A Z D変換してデジタルステレオ画像データを発生させる A Z D変換部と、

この A D変換部で発生した前記デジタルステレオ画像デ —夕に対して所定の画像処理を施す画像出力処理回路と、 この画像出力処理回路で画像処理されたステレオ画像デー 夕に基づいて距離画像データを生成する距離画像算出ュニッ 卜 と、

この距離画像算出ュニッ 卜で生成された距離画像データ及 び前記撮像素子によって発生させたステレオ画像データの少 なく とも何れか一方の画像データを通信回線に出力するモジ ユール側通信ィ ンタフェース と、

を具備する ことを特徴とするステレオ光学モジュール。

1 0 6 . 前記モジュール側通信イ ンタフエ一スは、 前記 距離画像データ及び前記ステレオ画像データの少なく とも何 れか一方をデジタル画像データ として前記通信回線に出力す る こ とを特徴とする請求項 1 0 5 に記載のステレオ光学モジ ュ一ル。

1 0 7 . 前記モジュール側通信イ ンタフェースは、 前記 距離画像データ及び前記ステレオ画像データの少なく とも何 れか一方をデ一夕圧縮した後、 デジタルデータ として前記通 信回線に出力する こ とを特徴とする請求項 1 0 5 に記載のス テレオ光学モジュール。

1 0 8 . 前記モジュール側通信イ ンタフェースは、 前記 距離画像データ及び前記ステレオ画像データの少なく とも何 れか一方をアナログ画像データ として前記通信回線に出力す る ことを特徴とする請求項 1 0 5 に記載のステレオ光学モジ ユール。

1 0 9 . 前記モジュール側通信イ ンタフェースは、 1 フ レームの画像データ内の第 1 の領域に前記複数視点から取得 したステレオ画像の中の何れかの視点から見た画像デ一夕を 割り付け、 前記 1 フ レームの画像デ一夕内の前記第 1 の領域 とは異なる第 2 の領域に前記距離画像データを割り付けて、 前記通信回線に出力する こ とを特徴とする請求項 1 0 5に記 載のステレオ光学モジュール。

1 1 0 . 同一被写体に対して、 複数の視点から見た被写 体像を撮影し対象となる被写体までの距離を求めるためのス テレオカメ ラシステムであって、

ステレオ画像を取得するためのステレオ光学モジュールと、 このステレオ光学モジュールで得られた前記ステレオ画像に 基づいて対象となる被写体の評価を行うための中央制御ュニ ッ 卜 と、 前記ステレオ光学モジュールにおいて取得した前記 ステレオ画像に関するデータを前記中央制御ユニッ トに入力 させるための通信回線と、 から構成され、

前記ステレオ光学モジュールは、 同一被写体に対して複数 視点から見た被写体像を発生させるためのステレオ光学系と、 このステレオ光学系で発生した被写体像に基づいてステレオ 画像データを発生させる撮像素子と、 この撮像素子によって 発生させたステレオ画像デ一夕を A Z D変換してデジ夕ルス テレオ画像データを発生させる A _ D変換部と、 この A / D 変換部で発生した前記デジタルステレオ画像データに基づい て距離画像データを生成する距離画像算出ユニッ ト と、 この 距離画像算出ュニッ 卜で生成された距離画像データを前記通 信回線に出力するモジュール側通信イ ンタフェースとを具備 し、

前記中央制御ユニッ トは、 前記モジュール側通信イ ンタフ エースを介して出力された距離画像データを入力させるュニ ッ ト側通信イ ン夕フェース と、 このュニッ ト側通信イ ンタフ エースを介して入力された前記距離画像データに基づいて前 記被写体の評価を行う距離画像評価装置とを具備する こ とを 特徵とするステレオカメ ラシステム。

1 1 1 . ステレオ画像を得るためのステレオ光学モジュ —ルと、 前記ステレオ光学モジュールで得られたステレオ画 像よ り対象となる被写体の評価を行う 中央制御ュニッ ト と、 前記ステレオ光学モジュールか ら出力されるステレオ画像に 関するデータを前記中央制御ュニッ トに入力さ.せるための通 信回線と、 からなり、 同一被写体に対して複数の視点から見 た被写体像を撮影し対象となる被写体までの距離を求めるス テレオカメ ラシステムに使用するためのステレオ光学モジュ ールであって、

同一被写体に対して複数視点から見た被写体像を発生する ためのステレオ光学系と、 このステレオ光学系において発生した被写体像に基づいて ステレオ画像デ一夕を発生させる撮像素子と、

この撮像素子で発生したステレオ画像データを A / D変換 してデジタルステレオ画像データを発生させる A / D変換部 と、

この A Z D変換部で発生した前記デジタルステレオ画像デ 一夕に基づいて距離画像データを生成する距離画像算出ュニ ッ 卜 と、

この距離画像算出ユニッ トで生成された距離画像データを 前記通信回線に出力するモジュール側通信イ ンタフェースと、 を具備する こ とを特徴とするステレオ光学モジュール。

1 1 2 . 同一被写体に対して、 複数の視点から見た被写 体像を撮影し対象となる被写体までの距離を求めるためのス テレオカメ ラシステムであって、

ステレオ画像を取得するためのステレオ光学モジュールと、 このステレオ光学モジュールで得られた前記ステレオ画像に 関するデータに基づいて対象となる被写体の評価を行うため の中央制御ュニッ ト と、 前記ステレオ光学モジュールと前記 中央制御ュニッ 卜 とをデジタル信号によ り通信する通信回線 と、 から構成され；

前記ステレオ光学モジュールは、 同一被写体に対して複数 視点から見た被写体像を発生させるためのステレオ光学系と、 このステレオ光学系で発生した被写体像に基づいてステレオ 画像データを発生させる撮像素子と、 この撮像素子によって 発生させたステレオ画像デ一夕を A Z D変換してデジ夕ルス テレオ画像データを発生させる A Z D変換部と、 前記中央制 御ユニッ トから制御コマン ドを受けた場合に、 当該ステレオ 光学モジュールで取得されたステレオ画像に関連した情報を 前記通信回線に出力するモジュール側通信ィ ン夕フェースと を具備し、

前記中央制御ユニッ トは、 前記モジュール側通信イ ンタフ エースを介して出力された前記ステレオ画像に関連した情報 を入力させる と共に当該中央制御ュニッ トか ら前記ステレオ 光学モジュールに制御コマン ドを出力させるュニッ ト側通信 イ ンタフェースと、 このュニッ ト側通信イ ン夕フェースを介 して入力された前記ステレオ画像に関連した情報に基づいて 前記被写体の評価を行う距離画像評価装置とを具備する こと を特徴とするステレオカメ ラシステム。

1 1 3 . 前記ステレオ画像に関連した情報は、 前記デジ タルステレオ画像デ一夕である こ とを特徴とする請求項 1 1 2 に記載のステレオカメ ラシステム。

1 1 4 . 前記ステレオ光学モジュールは、 前記 A Z D変 換部で発生した前記デジタルステレオ画像データに基づいて 距離画像デ一夕を演算する距離画像算出ュニッ トを更に具備 し、

前記前記ステレオ画像に関連した情報は、 前記距離画像デ 一夕である こ とを特徵とする請求項 1 1 2 に記載のステレオ カメ ラシステム。

1 1 5 . 前記ステレオ光学モジュールは、 前記 A Z D変 換部で発生した前記デジタルステレオ画像データに基づいて 距離画像データを演算する距離画像算出ュニッ 卜を更に具備 し、

前記ステレオ画像に関連した情報は、 前記ステレオ画像の 複数の視点の中の何れかの視点における画像データ及び前記 距離画像データである ことを特徴とする請求項 1 1 2 に記載 のステレオカメ ラシステム。

1 1 6 . 前記ステレオ光学モジュールは、 前記中央制御 ュニッ トから前記制御コマン ドが入力されるのに応答して所 定のデ一夕を発生させて前記中央制御ュニッ 卜に出力するデ —夕発生装置を更に具備する こ とを特徴とする請求項 1 1 2 に記載のステレオカメ ラシステム。

1 1 7 . 前記所定のデ一夕は、 温度に関するデ一夕であ り 、 前記データ発生装置は、 前記温度を検出して前記中央制 御ュニッ 卜に出力する温度センサである ことを特徴とする請 求項 1 1 2 に記載のステレオカメ ラシステム。

1 1 8 前記所定のデータは、 雨滴量に関するデ一夕であ り、 前記デ一夕発生装置は、 前記雨滴量を検出して前記中央 制御ュニッ 卜に出力する雨滴センサである こ とを特徴とする 請求項 1 1 2 に記載のステレオカメ ラシステム。

1 1 9 . 前記所定のデータは、 キャ リ ブレーショ ンデ一 夕であ り、 前記データ発生装置は、 前記キャ リ ブレーショ ン データが記憶された補正情報メモリ である こ とを特徴とする 請求項 1 1 2 に記載のステレオカメ ラシステム。

1 2 0 . 前記ステレオ光学モジュールは、 前記中央制御 ュニッ 卜から前記制御コマン ドが入力されるのに応答して当 該ステレオ光学モジュールの電力消費モー ドの制御を行う こ とを特徴とする請求項 1 1 2 に記載のステレオカメ ラシステ ム。

1 2 1 . 同一被写体に対して複数視点から見た被写体像 を発生させるためのステレオ光学系と、

このステレオ光学系で発生した被写体像に基づいてステレ ォ画像データを発生させる撮像素子と、

この撮像素干によって発生したステレオ画像デ一夕を A D変換してデジタルステレオ画像データを発生させる A Z D 変換部とを具備し、

外部から入力された制御コマン ドに応答して前記ステレオ 画像に関連した情報を通信回線に出力する こ とを特徴とする ステレオ光学モジュール。

1 2 2 . 前記ステレオ画像に関連した情報は、 前記デジ タルステレオ画像デ一夕である ことを特徴とする請求項 1 2 1 に記載のステレオ光学モジュール。

1 2 3 . 前記ステレオ光学モジュールは、 前記 A / D変 換部で発生した前記デジタルステレオ画像データに基づいて 距離画像データを演算する距離画像算出ュニッ 卜を更に具備 し、

前記ステレオ画像に関連した情報は、 前記距離画像データ である ことを特徴とする請求項 1 2 1 に記載のステレオ光学 モンユール。

1 2 4 . 前記ステレオ光学モジュールは、 前記 A / D変 換部で発生した前記デジタルステレオ画像データに基づいて 距離画像データを演算する距離画像算出ュニッ トを更に具備 し、

前記ステレオ画像に関連した情報は、 前記ステレオ画像の 複数の視点の中の何れかの視点における画像データ及び前記 距離画像データの少なく とも何れか一方である ことを特徴と する請求項 1 2 1 に記載のステレオ光学モジュール。

1 2 5 . 前記ステレオ光学モジュールは、 外部から前記 制御コマン ドが入力されるのに応答して所定のデータを前記 通信回線に出力するデ一夕発生装置を更に具備する ことを特 徴とする請求項 1 2 1 に記載のステレオ光学モジュール。

1 2 6 . 前記所定のデータは、 温度に関するデ一夕であ り、 前記データ発生装置は、 前記温度を検出して前記通信回 線に出力する温度センサである ことを特徴とする請求項 1 2 5 に記載のステレオ光学モジュール。

1 2 7 . 前記所定のデータは、 雨滴量に関するデ一夕で あ り、 前記データ発生装置は、 前記雨滴量を検出して前記通 信回線に出力する雨滴センサである こ とを特徴とする請求項 1 2 5 に記載のステレオ光学モジュール。

1 2 8 . 前記所定のデータは、 キャ リ ブレーショ ンデー 夕であ り、 前記データ発生装置は、 前記キャ リ ブレーショ ン データが記憶された補正情報メモリ である こ とを特徴とする 請求項 1 2 5 に記載のステレオ光学モジュール。

1 2 9 . 外部から入力された前記制御コマン ドが入力さ れるのに応答して当該ステレオ光学モジュールの電力消費モ ー ドの制御を行う ことを特徴とする請求項 1 2 1 に記載のス テレオ光学モジユーリレ。

1 3 0 . 同一被写体に対して、 複数の視点から見た被写 体像を撮影し対象となる被写体までの距離を求めるためのス テレオカメ ラシステムであって、

ステレオ画像を取得するための少なく とも 1 つのステレオ 光学モジュールと、

このステレオ光学モジュールとは異なる画像を取得するた めの少なく とも 1 つの光学モジュールと、

前記ステレオ光学モジュール及び前記光学モジュールのシ —ゲンス制御を行う 中央制御ュニッ 卜 と、

前記ステレオ光学モジュール、 前記光学モジュール、 及び 前記中央制御ュニッ 卜を通信接続する通信回線と、

から構成される こ とを特徴とするステレオカメ ラシステム。

1 3 1 . 当該ステレオカメ ラシステムが搭載された移動 体の運転状況を検出し、 この検出した運転状況に関する情報 を前記通信回線に出力する運転状況検出モジュールを更に有 する こ とを特徴とする請求項 1 3 0 に記載のステレオカメ ラ ンス ム。

1 3 2 . 前記運転状況検出モジュールは、 前記移動体に 搭載されたエンジンの状況を検出するエンジンコ ン ト ロール モジュールである こ とを特徴とする請求項 1 3 1 に記載のス テレオカメ ラシステム。

1 3 3 . 前記運転状況検出モジュールは、 前記移動体に 搭載されたブレーキの状況を検出するブレーキセンサモジュ —ルである こ とを特徴とする請求項 1 3 1 に記載のステレオ カメラシステム。

1 3 4 . 当該ステレオカメ ラシステムが搭載された移動 体の環境状態を検出し、 この検出した環境状態に関する情報 を前記通信回線に出力する環境監視モジュールを更に有する ことを特徴とする請求項 1 3 0 に記載のステレオカメラシス テム。

1 3 5 . 前記環境監視モジュールは、 前記移動体の外部 の状況を検出する レーダ一モジュールである こ とを特徴とす る請求項 1 3 4 に記載のステレオカメ ラシステム。

1 3 6 . 前記環境監視モジュールは、 前記移動体の積載 状況を検出する積載検出モジュールである こ とを特徴とする 請求項 1 3 4 に記載のステレオカメ ラシステム。