DE10227601B4

DE10227601B4 - Bildverarbeitungseinrichtung und damit versehener Aufzug

Info

Publication number: DE10227601B4
Application number: DE10227601A
Authority: DE
Inventors: Manabu Hashimoto; Kazuhiko Sumi
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2000-12-27
Filing date: 2002-06-20
Publication date: 2006-06-01
Anticipated expiration: 2022-06-21
Also published as: WO2002056251A1; US20020191819A1; NL1020909C2; DE10227601A1; US7079669B2

Abstract

Bildverarbeitungseinrichtung, umfassend:
eine Gesichtsbereichs-Extraktionseinheit (2), die einen ersten Bereich einschließlich des Gesichts einer Person aus einem von einer Kamera (11) aufgenommenen Bild extrahiert;
eine Erfassungsbereichs-Annahmeeinheit (3), die eine Breite des ersten Bereichs mit Referenzdaten vergleicht, einen Abstand zwischen dem ersten Bereich und der Kamera basierend auf dem Ergebnis des Vergleichs abschätzt, eine Höhe des ersten Bereichs vom Boden, auf dem sich die Person befindet, abschätzt basierend auf einem Tiefenwinkel der Kamera und des geschätzten Abstands, und die einen gewünschten Erfassungsbereich als einen zweiten Bereich annimmt innerhalb des Bildes basierend auf der geschätzten Höhe; und
eine Beurteilungseinheit (4), die beurteilt, ob ein Bild in dem zweiten Bereich, der von der Erfassungsbereichs-Annahmeeinheit (3) extrahiert worden ist, mit einer zuvor aufgezeichneten Bedingung koinzidiert.

Description

GEBIET DER ERFINDUNG
Diese Erfindung betrifft eine Bildverarbeitungseinrichtung, die die Bedingung von Passagieren eines Aufzugs oder ähnlichem beurteilt und einen Aufzug, der mit dieser Bildverarbeitungseinrichtung versehen ist.
HINTERGRUND DER ERFINDUNG
Beim Betrieb des Aufzugs ist es wichtig, zu erkennen, ob ein Passagier in einer Aufzugkabine eine körperlich behinderte Person ist, die einen Rollstuhl verwendet oder ein Nichtbehinderter. Der Grund ist, dass es möglich wird, die sichere Benutzung des Aufzugs für einen Passagier in einem Rollstuhl bereitzustellen durch Ändern des Betriebsmodus derart, dass, wenn ein normaler Nichtbehinderter den Aufzug verwendet, der Betriebsmodus ein Normalbetriebsmodus ist und wenn ein Passagier in einem Rollstuhl den Aufzug verwendet dieser geändert wird in einen Rollstuhlmodus.

Als Rollstuhlmodus kann beispielsweise die Hubgeschwindigkeit der Kabine geringer gemacht werden, als die Normalgeschwindigkeit und zur Zeit des Anhaltens in jeder Etage kann die Ankunftsgenauigkeit der Kabine in Bezug auf den Vorraumfußboden präziser eingestellt werden als im Normalfall. Wenn der Nichtbehinderte den Aufzug verwendet, kann die Hubgeschwindigkeit der Kabine nicht verringert werden und die Ankunftsgenauigkeit nicht speziell erhöht werden, wodurch die Durchlaufzeit des Aufzugs reduziert wird, und demnach die Betriebseffizienz verbessert werden kann.

Es ist erforderlich, automatisch zu erkennen, ob ein Passagier in einem Rollstuhl versucht, den Aufzug zu benutzen, um automatisch den Betriebsmodus des Aufzugs abhängig von der Art des Passagiers zu ändern.

Normalerweise ist keine Bildsverarbeitungseinrichtung erfunden oder entwickelt worden für diesen Zweck und es ist für den Passagier im Rollstuhl erforderlich, selbst einen Druckknopf zu betätigen, der dem Rollstuhlpassagier zugedacht ist, wenn er oder sie die Kabine ruft oder den ähnlichen Rollstuhlknopf in der Kabine zu betätigen, nachdem er oder sie in die Kabine eingedrungen ist, um dadurch eine Instruktion zum Ändern des Betriebsmodus bzgl. des Aufzugsystems einzugeben.

In bezug auf die Bilderkennung des Aufzugpassagiers ist beispielsweise eine Messeinrichtung der Anzahl von wartenden Passagieren in der japanischen Patentanmeldung mit der Offenlegungsnummer 6-92563 offenbart. 16 und 17 sind Diagramme, die den Inhalt der in dieser Veröffentlichung beschriebenen Technik erläutern.

16 zeigt den Aufbau einer konventionellen Anzahl Messeinrichtungen. In dieser Figur umfasst die Einrichtung eine Kamera 1001, einen Bildprozessor 1002, ein neuronales Netz 1003, eine Anzahl Beurteilungseinheit 1004, eine Übertragungseinheit 1005 und eine Aufzugsteuereinheit 1006. Die TV-Kamera ist an der oberhalb der Köpfe der wartenden Passagiere angeordneten Ecke installiert und ist vertikal nach unten gerichtet.

Zuerst wird von der TV-Kamera ein Bild aufgenommen. Das eingegebene Bild 1001 in 17 zeigt, dass drei Personen gesehen werden können. Das in der Situation, dass keine Person da ist aufgenommene Bild, das heißt, ein Hintergrundbild 1011 ist zuvor vorbereitet und das eingegebene Bild wird einer differentiellen Verarbeitung unterzogen, wobei ein menschlicher Bereich als Unterschied erscheint. Ein Beispiel des differenziellen Bildes ist in 1012 von 17 gezeigt. Dies wird digitalisiert, um hierdurch klar den menschlichen Bereich zu zeigen. Das Ergebnis der Digitalisierung ist in 1013 von 17 gezeigt. Die Serie von Verarbeitungen wird von dem Bildprozessor 1002 ausgeführt.

Dann wird das digitalisierte Bild aufgeteilt in 12 Blöcke und die aufgeteilten Bilder werden in das neuronale Netz 1003 eingegeben. Die Eingangsdaten werden von dem neuronalen Netz verarbeitet, das zuvor einen Lernvorgang durchgeführt hat und ein Ausgangssignal wird verarbeitet durch die Anzahl Beurteilungseinheit 1004, hierdurch die Anzahl von Passagieren beurteilend. Dieses Ergebnis wird zur Aufzugsteuereinheit 1006 über die Übertragungseinheit 1005 übertragen.

In der Bildverarbeitungseinrichtung, die in der obigen Veröffentlichung offenbart ist, wird eine Vielzahl von Passagieren in einem überlappenden Zustand gesehen und der Bildbereich entsprechend einem individuellen Passagier wird nicht klar separiert und in dem digitalen Bild tritt ein solches Phänomen auf, dass eine Vielzahl von Passagieren einem Bereich entsprechen. Die Kamera ist in konventioneller Weise oben montiert nach unten zeigend, um dieses Phänomen zu vermeiden. Da es ein solches Problem in einem Aufzugvorraum gibt, dass die Installation einer Kamera an der Decke die Kosten erhöht, gibt es jedoch einen Bedarf, die Kamera in der Aufzugkabine oder an dem Außenrahmen der Aufzugtür zu installieren. Das heißt, unter einer normalen Kamerainstallationsbedingung gibt es ein Problem, dass eine Bilderkennung leicht fehlschlagen kann, da der individuelle Passagierbereich nicht in dem Bild separiert ist.

Außerdem wird ein Verfahren zum Extrahieren von einer Gesichtsabbildung zum Erkennen einer individuellen Person, beispielsweise in der japanischen Patentanmeldung mit der Offenlegungsnummer 2000-193420, offenbart. Hier wird beschrieben, dass jede Position der Augen von dem Merkmal des Nasenrückens erfasst wird aber es wird nicht ein Zustand einer Person beurteilt, das heißt ob ein Rollstuhl bei dieser Person vorhanden ist.

JP 2000-211833 A offenbart eine Fahrstuhlvorrichtung, die eine Verschlechterung des Aufzugdienstes durch eine unautorisierte Betätigung eines Rollstuhlknopfes durch eine nicht-behinderte Person verhindert. Die Vorrichtung sendet Bilder einer Kamera an ein Verarbeitungsgerät, wenn der Rollstuhlknopf gedrückt wird. Dieses Verarbeitungsgerät beurteilt dann, ob ein Rollstuhlbenutzer vorhanden ist.

Ferner beschreibt US 5,323,470 ein Verfahren und eine Vorrichtung zum automatischen Verfolgen einer Person, indem das Gesicht dieser Person in ein System eingegeben wird, welches ein zuvor gespeichertes Musterbild mit dem aktuell aufgenommenen Bild vergleicht. Somit sollen Bewegungen der Person verfolgt werden, womit zum Beispiel einer behinderten Person mittels eines Roboters beim Essen geholfen werden kann.

EP 1215618 A2 beschreibt ein Bildverarbeitungsverfahren zum Erfassen einer menschlichen Gestalt in einem digitalen Bild mit den Schritten, Bereitstellen eines digitalen Farbbildes, Segmentieren des Bildes in nicht-überlagernde Bereiche, Erfassen von möglichen Bereichen mit menschlicher Gesichtsfarbe, Erfassen von möglichen Bereichen mit einem menschlichen Gesicht und Aufbauen einer menschlichen Gestalt in der Umgebung des Gesichtsbereichs mittels eines graphischen Modells, das die Größen und Positionen der restlichen Körperteile abgeschätzt.

ZUSAMMENFASSUNG DER ERFINDUNG

Um die üblichen Probleme zu lösen ist es Aufgabe dieser Erfindung, eine Bildverarbeitungseinrichtung bereitzustellen, die den Zustand eines fotografierten Individuums beurteilt und insbesondere wird eine Bildverarbeitungseinrichtung bereitgestellt, die automatisch erkennen kann, ob ein in den Aufzug zusteigender Passagier in einem Rollstuhl sitzt sowie einen Aufzug bereitzustellen, der mit dieser Bildverarbeitungseinrichtung versehen ist.

In der Erfindung dieser Anmeldung wird, nachdem ein Gesichtsbereich von einem fotografierten Bild extrahiert worden ist, ein zweiter Bereich mit beispielsweise einem Rollstuhl, von diesem Bereich extrahiert, um hierdurch das Vorhandensein (Bedingung) eines Rollstuhls zu beurteilen.

Die Bildverarbeitungseinrichtung gemäß der vorliegenden Erfindung umfasst eine Gesichtsbereichs-Extraktionseinheit, die einen ersten Bereich einschließlich des Gesichts einer Person aus einem von einer Kamera aufgenommenen Bild extrahiert; eine Erfassungsbereichs-Annahmeeinheit, die eine Breite des ersten Bereichs mit Referenzdaten vergleicht, einen Abstand zwischen dem ersten Bereich und der Kamera basierend auf dem Ergebnis des Vergleichs abschätzt, eine Höhe des ersten Bereichs vom Boden, auf dem sich die Person befindet, abschätzt basierend auf einem Tiefenwinkel der Kamera und des geschätzten Abstands, und die einen gewünschten Erfassungsbereich als einen zweiten Bereich annimmt innerhalb des Bildes basierend auf der geschätzten Höhe; sowie eine Beurteilungseinheit (4), die beurteilt, ob ein Bild in dem zweiten Bereich, der von der Erfassungsbereichs-Annahmeeinheit (3) extrahiert worden ist, mit einer zuvor aufgezeichneten Bedingung koinzidiert.

Durch diesen Aufbau kann eine individuelle Beurteilung von Personen genau durchgeführt werden, basierend auf dem Gesichtsbereich, und ein Informationsbereich, der von jeder der Personen bekannt zu sein gewünscht wird, kann schnell basierend auf der Information extrahiert werden, hierdurch die Information der Person erhaltend.

Die Bildverarbeitungseinrichtung gemäß einer anderen Ausführungsform umfasst eine TV-Kamera, die installiert ist, um ein Bild der Außenseite eines Abteils von der Nähe einer Tür aufzunehmen, die die Innenseite und die Außenseite des Abteils voneinander trennt, eine Gesichtsbereichs-Extraktionseinheit, die die Position des Gesichtsbereichs einer Person aus dem von der TV-Kamera aufgenommenen Bild erfasst, eine Rollstuhlbereichs-Annahmeeinheit, die den zweiten Bereich entsprechend einem Rollstuhlabschnitt von dem Bild unter Verwendung des extrahierten ersten Bereichs annimmt, wenn die Person in einem Rollstuhl sitzend angenommen wird, und eine Beurteilungseinheit zur Feststellung des Vorhandenseins eines Rollstuhls, die beurteilt, ob ein Rollstuhl vorhanden ist aus der Bildinformation für den angenommenen Rollstuhlbereich.

Durch diesen Aufbau wird die Position eines Passagiers basierend auf seinem Gesichtsbereich (ersten Bereich) angenommen und die Position, an der ein Rollstuhl angeordnet sein sollte, wird basierend auf dieser Position angenommen, um die Bildverarbeitung durchzuführen. Daher wird der Bildverarbeitungsbereich definiert, und ob ein Rollstuhl vorhanden ist, wird schnell und zuverlässig beurteilt.

Die Bildsverarbeitungseinrichtung umfasst außerdem eine Entfernungsmesseinheit die eine Entfernung bis zum Gesichtsbereich misst, der von der Gesichtsbereichs-Extraktionseinheit extrahiert worden ist, und die Rollstuhlbereichs-Annahmeeinheit ist konfiguriert, um einen Rollstuhlbereich anzunehmen unter Verwendung der gemessenen Abstandsdaten und demnach wird die Genauigkeit der Beurteilung des Vorhandenseins eines Rollstuhls verbessert. Das heißt, zum Zeitpunkt des Erfassens der Position des Gesichts eines Passagiers, wird die Höhe des Gesichtsabschnittes des Passagiers vom Boden berechnet durch das Schätzen der Position des Gesichts des Passagiers im dreidimensionalen Raum. Wenn die Höhe oberhalb eines voreingestellten Bereichs ist, kann klar beurteilt werden, dass der Passagier nicht in einem Rollstuhl sitzt. Wenn es innerhalb des Bereichs ist, wird ein Bereich, in dem ein Rollstuhl wahrscheinlich vorhanden ist in dem Bild, abgeschätzt, wenn angenommen wird, dass der Passagier in einem Rollstuhl sitzt und der geschätzte Bereich in dem der Rollstuhl vorliegt, wird geprüft durch die Rollstuhlvorhandenseinsbeurteilungseinheit, hierdurch beurteilend ob der Rollstuhl vorhanden ist. Demnach wird die Beurteilungsgenauigkeit verbessert.

Die Abstandsmesseinheit umfasst eine optische Strahlgeneriereinheit, die einen punktähnlichen oder schlitzähnlichen optischen Strahl generiert, eine optische Strahlabtasteinheit, die derart abtastet, dass der generierte optische Strahl projiziert wird auf einen zu messenden Bereich und eine Erfassungseinheit für reflektiertes Licht, die ein reflektiertes Licht des abgetasteten und projizierten optischen Strahls erfasst. Die Entfernungsmesseinheit misst einen Abstand bis zu einem Objekt basierend auf einem Abtastwinkel des optischen Strahls und die Position, in welcher das reflektierte Licht erfasst wird. Daher wird eine Entfernungsmessung leicht möglich.

Außerdem umfasst die Bildsverarbeitungseinrichtung eine Entfernungstoreinstelleinheit, die eine Bereichsschwelle einstellt, um zu beurteilen, dass eine Person sich einem gewissen Bereich nähert vor dem Abteil und eine Bildaufnahmezeitabstimmerfassungseinheit, die eine Zeitabstimmung bestimmt, mit der ein Bild aufgenommen wird durch Erkennen durch die Entfernungsmesseinheit, dass eine Person in ein Entfernungstor kommt, in dem ein Bild aufgenommen wird von der TV-Kamera gemäß der bestimmten Zeitabstimmung. Daher wird das Bild effizient und zuverlässig aufgenommen. Da ein Bild aufgenommen wird zu einem Zeitpunkt, zu dem der Abstand zwischen einem sich der Kamera nähernden Passagier und der Kamera im wesentlichen konstant ist, können das Gesicht des Passagiers und der Rollstuhl auf dem Bild in im wesentlichen gleichförmiger Größe aufgenommen werden. Daher kann die Zuverlässigkeit der Erkennung verbessert werden.

Der Aufzug gemäß der vorliegenden Erfindung ist ein Aufzug, der mit Bildverarbeitungseinrichtung gemäß einer der obigen Erfindungen ausgestattet ist, eine TV-Kamera ist die Fernsehkamera, die ein Bild eines Passagiers aus der Nähe der Aufzugtür aufnimmt und die Information, die von der Rollstuhlvorhandenseinsbeurteilungseinheit erhalten wird, wird eingegeben in eine Steuereinheit des Aufzugs. Daher wird es möglich, die Betriebsbedingung des Aufzugs entsprechend dem Passagier zu ändern, wodurch ein hochleistungsfähiger Aufzug bereitgestellt werden kann, der in der Lage ist, komfortableren Betrieb bereitzustellen.

Die Erfindung wird aus der folgenden Beschreibung unter Bezugnahme auf die beiliegenden Zeichnungen weiter erläutert.
KURZBESCHREIBUNG DER ZEICHNUNGEN
1 und 2 sind Blockdiagramme, die die Konfiguration einer Bildverarbeitungseinrichtung gemäß einer ersten Ausführungsform der vorliegenden Erfindung erläutern,
3 ist ein Flussdiagramm, das den Betriebsablauf der Bildverarbeitungseinrichtung zeigt;
4 ist ein Diagramm, das eine Bildverarbeitungseinrichtung gemäß einer zweiten Ausführungsform der vorliegenden Erfindung erläutert und das die Situation zeigt, dass drei Passagiere dabei sind, einen Aufzug von außen zu betreten;
5 ist ein schematisches Diagramm zum Erläutern eines von der Bildverarbeitungseinrichtung gemäß der zweiten Ausführungsform zu verarbeitendes Bild, das erhalten wird durch Fotografieren der Passagiere in 4;
6 ist ein Blockdiagramm, das die Konfiguration der Bildverarbeitungseinrichtung gemäß der zweiten Ausführungsform erläutert;
7 ist ein Flussdiagramm, das den Betriebsablauf der Bildverarbeitungseinrichtung zeigt;
8 ist ein Blockdiagramm, das die Konfiguration einer Bildverarbeitungseinrichtung gemäß einer dritten Ausführungsform erläutert;
9 ist ein Flussdiagramm, das den Betriebsablauf der Bildverarbeitungseinrichtung zeigt;
10 ist ein Blockdiagramm, das die Konfiguration einer Bildverarbeitungseinrichtung gemäß einer vierten Ausführungsform erläutert;
11 ist ein Flussdiagramm, das den Betriebsablauf der Bildverarbeitungseinrichtung zeigt;
12 ist ein Blockdiagramm, das die Konfiguration einer Bildverarbeitungseinrichtung gemäß einer fünften Ausführungsform erläutert;
13 ist ein Flussdiagramm, das den Betriebsablauf der Bildverarbeitungseinrichtung zeigt;
14 ist ein Blockdiagramm, das die Konfiguration einer Bildverarbeitungseinrichtung gemäß einer anderen Ausführungsform der vorliegenden Erfindung erläutert;
15 ist ein Flussdiagramm, das den Betriebsablauf der Bildverarbeitungseinrichtung zeigt; und
16 und 17 sind jeweils Blockdiagramm, das die Konfiguration einer Anzahlmesseinrichtung erläutert, das sich auf Bilderkennung von Aufzugpassagieren konventioneller Art bezieht und ein Diagramm, das die Verarbeitungsprozedur erläutert.
DETAILLIERTE BESCHREIBUNG
Ausführungsformen dieser Erfindung werden nun unter Bezugnahme auf die Zeichnungen erläutert.
Erste Ausführungsform:
1 und 2 sind Blockdiagramme, die die Konfiguration einer Bildverarbeitungseinrichtung gemäß der ersten Ausführungsform der vorliegenden Erfindung erläutern und 3 ist ein Flussdiagramm, das den Betriebsablauf der Bildverarbeitungseinrichtung zeigt.
In diesen Figuren kennzeichnet Bezugszeichen 1 eine Bildaufnahmeeinrichtung wie zum Beispiel eine TV-Kamera, 2 kennzeichnet eine Gesichtsbereichsextraktionseinheit, die einen Gesichtsbereich 2b von einem fotografierten Bild 2a extrahiert. 2 kennzeichnet eine Erfassungsbereichsschätzeinheit, die einen Erfassungsbereich 3c, der zuvor aufgezeichnet worden ist, schätzt, basierend auf einem fotografierten Gesichtsbereichsabschnitt 3b (entsprechend 2b) eines fotografierten Bildes 3a (entsprechend 2a), 4 kennzeichnet eine Einheit, die durch Vergleichen zwischen der Bildinformation von 3c und der zuvor aufgezeichneten Bedingung beurteilt und 5 kennzeichnet eine Ausgangsgröße des Beurteilungsergebnisses.
Die Bildverarbeitungsprozedur wird unten basierend auf dem Flussdiagramm in 3 beschrieben.
Zuerst wird in Schritt 101 (der nachstehend als ST101 in der Figur beschrieben wird) ein Graustufenbild eingegeben von der TV-Kamera. Dieses aufgenommene Bild wird in einem Speicher gespeichert. In Schritt 102 extrahiert die Gesichtsbereichsextraktionseinheit einen menschlichen Gesichtsbereich 2b in dem Bild 2a. Als Extraktionsalgorithmus des menschlichen Gesichtsbereichs kann beispielsweise eine Methode basierend auf der Extraktion eines hautfarbenen Abschnittes in einem Farbbild verwendet werden. Wenn eine Vielzahl von Personen in dem Gesichtsfeld existieren, werden mehrere Bereiche extrahiert und ausgegeben. Die Gesichtsbereichsextraktionseinheit 2 misst dann kontinuierlich den Abschnitt des Gesichtsbereichs in Schritt 103. In dieser Ausführungsform ist beispielsweise die Position eines repräsentativen Punktes in dem Bereich ausgedrückt durch Schwerpunktswerte des Bildes in dem Bereich.
In Schritt 104 führt die Erfassungsbereichsschätzeinheit 3 Bereichsschätzung eines gewünschten Erfassungsbereichs durch basierend auf der Position des extrahierten Gesichtsbereichs. In 1 ist ein Rollstuhlbereich extrahiert. Ein Beispiel der Schätzmethode des Rollstuhlbereichs wird detailliert beschrieben. Die Breite des Gesichtsbereichs, der von der Gesichtsbereichsextraktionseinheit extrahiert worden ist, wird gemessen. Durch Vergleichen dieser Breite mit den Referenzdaten bezüglich der Breite eines üblichen menschlichen Gesichts kann der Abstand des Gesichtsbereichs von der Kamera geschätzt werden. Es ist möglich, Kenntnis zu erlangen bezüglich des Tiefenwinkels der installierten Kamera, d.h. eines Winkels zwischen der optischen Achse der Kamera und der horizontalen Linie durch Messen dieses Tiefenwinkels zur. Zeit des Installierens der Kamera und daher wird die Höhe des Gesichtsbereichs vom Boden geschätzt unter Verwendung des Abstands des Gesichtsbereichs von der Kamera und des Tiefenwinkels der Kamera. Außerdem ist es möglich, die Position des zu lokalisierenden Rollstuhls anzunehmen als unterhalb eines bestimmten Abstandes angeordnet in bezug auf die Mitte des Gesichts des Passagiers. Der Bereich, in dem der Rollstuhl vorhanden sein kann in dem Bild, kann festgelegt werden unter Verwendung dieser Daten.
In Schritt 105 wird der geschätzte Rollstuhlbereich abgesucht zum Beurteilen, ob es einen Rollstuhl gibt. Das Erfassen des Rollstuhls wird durchgeführt unter Verwendung geometrischer Merkmale des Rollstuhls wie zum Beispiel des Sitzes, auf dem der Passagier sitzt und zweier Räder, die an gegenüberliegenden Seiten davon vorhanden sind und durch Farbinformation und ähnliches. Die Information kann verwendet werden zum Vergleichen und Beurteilen wie zuvor aufgezeichnete Daten.
Wenn von der Rollstuhlbeurteilungseinheit beurteilt wird, dass ein Rollstuhl innerhalb des Bereichs existiert, wird beurteilt, dass der Passagier auf dem Rollstuhl sitzt, hierdurch ein Rollstuhlerfassungssignal generierend und die Reihe der Verarbeitung ist beendet.
Das oben erläuterte Beispiel ist bereitgestellt zum Beurteilen des Vorhandenseins des Rollstuhls, wie in 1 gezeigt, aber dieses Beispiel wird in der gleichen Weise wie oben erläutert zum Zwecke der Sicherheit verwendet für das Beurteilen des Vorhandenseins eines Hutes auf dem Kopf, wie in 2 gezeigt. In 2 wird der obere Teil des Gesichtsbereichs 2b (3b) weiter analysiert und durch Vergleichen dieses Bereichs mit der Schätzung einer gewöhnlichen Kopfform ohne das Tragen eines Hutes und auch durch die Farbinformation kann beurteilt werden, ob der Passagier einen Hut trägt.
In der obigen Ausführungsform wurde das Beispiel erläutert, in dem nur ein Gesichtsbereich extrahiert worden ist im Gesichtsfeld der TV-Kamera. Wenn es mehrere Gesichtsbereichen gibt, kann jedoch durch Wiederholen der Schritte von Schritt 102 bis Schritt 105 für jeden Gesichtsbereich in derselben Weise eine Beurteilung möglich werden.
In dieser Ausführungsform wird eine Schwerpunktposition des Bereichs verwendet als Gesichtsbereichsposition, aber das Zentrum eines umschriebenen Vierecks der Gesichtsbereichs kann benutzt werden oder ein charakteristischer Abschnitt im Gesichtsbereich wie zum Beispiel die Augen oder die Nase können erfasst werden durch detaillierte Bildverarbeitung, um hierdurch die repräsentative Position zu berechnen.
In dieser Ausführungsform ist die Methode basierend auf dem Extrahieren des hautfarbenen Bereichs unter Verwendung eines Farbbildes erläutert worden für die Gesichtsbereichsextraktionseinheit, aber es ist selbstverständlich, dass der gleiche Effekt wie der dieser Ausführungsform erhalten werden kann durch Extrahieren des hautfarbenen Bereiches durch eine Mustervergleichstechnik, in der ein Monochrombild eingegeben wird zum Erfassen des Gesichtsmusters einschließlich Gesichtsteilen wie zum Beispiel Augen und Nase.
Außerdem ist in dieser Ausführungsform als Rollstuhlbeurteilungseinheit als ein Beispiel die Methode erläutert worden, die das Vorhandensein eines Rollstuhls aus seinen geometrischen Merkmalen beurteilt. Jedoch kann diese Ausführungsform auch ausgeführt werden durch Durchführung von Beurteilung unter Verwendung anderer Merkmale innerhalb des Rollstuhlbereichs. Die Merkmale wie zum Beispiel die Situation der Beine des Passagiers, der in dem Rollstuhl sitzt, können dem Unterscheiden eines Rollstuhlpassagiers von aufrecht gehenden, nicht behinderten Personen, dienlich sein.
Wie in dieser Ausführungsform erläutert, wird zuerst der Gesichtsbereich der Person extrahiert von einem die Person einschließendem Bild, ein gewünschter Erfassungsbereich wird abgeschätzt und erfasst von der Information des Gesichtsbereichs und dann wird beurteilt, ob ein Rollstuhl vorhanden ist oder die Person einen Hut trägt. Demnach ist die Verarbeitungsgeschwindigkeit verbessert und die letztendliche Beurteilungsgenauigkeit wird auch verbessert durch sequentielles Ausschneiden nur der erforderlichen Information aus dem Bild.
Zweite Ausführungsform:
Eine zweite Ausführungsform der vorliegenden Erfindung wird nun erläutert. 4 erläutert eine Bildverarbeitungseinrichtung in einer Ausführungsform der vorliegenden Erfindung und zeigt schematisch die Situation, dass Passagiere sich anschicken, in einen Aufzug von außen einzutreten, von der Seite betrachtet. 5 ist ein schematisches Diagramm, das ein momentan von der Bildverarbeitungseinrichtung dieser Ausführungsform zu verarbeitendes Bild erläutert, welches durch Fotografieren des in 4 gezeigten Zustandes mit einer Kamera erhalten worden ist. 6 ist ein Blockdiagramm, das die Konfiguration der Bildverarbeitungseinrichtung gemäß dieser Ausführungsform erläutert und 7 ist ein Flussdiagramm, das den Betriebsablauf der Bildverarbeitungseinrichtung zeigt.
In diesen Figuren kennzeichnet Bezugszeichen 11 eine TV-Kamera, die im oberen Bereich einer Außentür eines Aufzugs 16 installiert ist und die ein Bild von Passagieren 17a und 17b aufnimmt, die dabei sind, den Aufzug zu betreten. Beispielsweise werden die Passagiere angenommen als den Passagier 17a, der einen Rollstuhl verwendet einschließend und den Passagier 17b, der keinen Rollstuhl verwendet. 12 kennzeichnet eine Gesichtsbereichsextraktionseinheit, 13 kennzeichnet eine Rollstuhlbereichsabschätzeinheit, 14 kennzeichnet eine Einheit, die das Vorhandensein eines Rollstuhls beurteilt und 15 kennzeichnet ein Rollstuhlvorhandenseinerfassungssignal.
Der Betrieb dieser Bildverarbeitungseinrichtung wird nachstehend basierend auf dem Flussdiagramm in 7 erläutert. In Schritt 201 wird ein Grauzonenbild, das von der TV-Kamera 11 fotografiert ist, eingegeben. Die TV-Kamera ist am oberen Teil des äußeren Rahmens der Außentür installiert und die Sichtlinie davon ist in einer Richtung derart gerichtet, dass die Kamera alle für den Aufzug wartende Passagiere einfangen kann. Das aufgenommene Bild wird in einem Bildspeicher gespeichert. Dieses Bild, das heißt das von der TV-Kamera 11 in 4 fotografierte Bild, ist beispielsweise in 5 gezeigt.
In Schritt 202 wird ein menschlicher Gesichtsbereich extrahiert von dem Bild durch die Gesichtsbereichsextraktionseinheit 12. Als Extraktionsalgorithmus des menschlichen Gesichtsbereichs wird beispielsweise eine Methode basierend auf der Extraktion eines hautfarbenen Abschnittes in einem Farbbild verwendet. Wenn eine Vielzahl von Personen im Gesichtsfeld existieren, werden eine Vielzahl von Bereichen extrahiert und ausgegeben. Dies entspricht jedem schraffierten Bereich in den jeweiligen Bereichen, die durch unterbrochene Linie gekennzeichnet sind. Dann wird in Schritt 203 die Position des Gesichtsbereichs kontinuierlich gemessen. In dieser Ausführungsform wird die Position eines repräsentativen Punktes in jedem Bereich ausgedrückt durch Werte des Schwerpunktes des Bildes in dem Bereich wie in der ersten Ausführungsform.
In Schritt 204 wird die Position eines Rollstuhles, an der der Rollstuhl angenommen wird vorhanden zu sein, wenn die Person sich in einem Rollstuhl befindet, abgeschätzt, basierend auf den extrahierten Gesichtsbereichspositionen unter Verwendung der Rollstuhlbereichsabschätzeinheit 13. Wie in der ersten Ausführungsform beschrieben, wird dies durchgeführt durch ein Verfahren zum Messen der Weite des Gesichtsbereichs, der von der Gesichtsbereichsextraktionseinheit extrahiert worden ist oder ähnlich. Hierdurch kann der Abstand des Gesichtsbereichs von der Kamera geschätzt werden durch Vergleichen des Abstandes mit den Referenzdaten bezüglich der Weite eines gewöhnlichen menschlichen Gesichtes. Es ist möglich, Kenntnis zu erlangen bezüglich eines Tiefenwinkels der installierten Kamera, das heißt eines Winkels zwischen der optischen Achse der Kamera und der horizontalen Linie durch Messen des Winkels zum Zeitpunkt des Installierens der Kamera. Demnach wird die Höhe des Gesichtsbereichs vom Boden geschätzt unter Verwendung des Abstandes des Gesichtsbereichs von der Kamera und des Tiefenwinkels der Kamera. Außerdem ist es möglich, die Position des Rollstuhls als unterhalb eines bestimmten Abstandes in bezug auf das Zentrum des Gesichts des Passagiers anzunehmen. Der Bereich im Bild, in dem der Rollstuhl möglicherweise existiert, kann unter Verwendung dieser Daten festgelegt werden.
In Schritt 205 durchsucht die Rollstuhlvorhandenseinsbeurteilungseinheit 14 den geschätzten Rollstuhlbereich, um hierdurch zu beurteilen, ob es einen Rollstuhl gibt. Das Erfassen des Rollstuhls wird durchgeführt unter Verwendung geometrischer Merkmale des Rollstuhls wie zum Beispiel des Sitzes, auf dem der Passagier sitzt und zweier Räder, die an gegenüberliegenden Seiten davon vorhanden sind und durch Verwenden von Farbinformation und ähnlichem.
Speziell werden als nächstes die Details des Beurteilens des Vorhandenseins eines Rollstuhls unter Verwendung des Graustufenbildes erläutert werden.
Um das Vorhandensein eines Rollstuhls zu beurteilen, wird zuvor ein Lernmuster kreiert und eine Menge Lerndaten sind vorbereitet. Die Lerndaten sind Bilddaten einschließlich eines in dem Bild fotografierten Rollstuhls und einer Menge Daten sind vorbereitet durch Ändern der Kleider des Passagiers, des Typs des Rollstuhls, der Zeit der Aufnahme oder ähnlichem auf verschiedene Weise. Eine Vielzahl von Abbildungen des Bereichs in der Nähe der Beine von Passagieren in Rollstühlen sind ausgeschnitten von diesen Lernbildern und sind neu angeordnet in eindimensionalen Signalen in Übereinstimmung mit einer bestimmten Regel (beispielsweise Rasterabtastung) und in einem mehrdimensionalen Raum grafisch dargestellt, wodurch die Luminanz jedes Pixels bestimmt ist als ein Wert jeder Achse. Die aus Darstellungspunktgruppen entsprechend der Vielzahl dieser Abbildung einschließlich des Rollstuhls bestehenden Bereiche werden bestimmt als Lernpunktgruppen einschließlich eines Rollstuhls.
Die Prozedur der Beurteilung der Existenz eines Rollstuhls durch Verwenden dieses Lernmusters wird nun erläutert. Ein Bereich, in welchem ein Rollstuhl vorhanden sein wird, wird extrahiert basierend auf der Gesichtsbildbereichsinformation. Auf dieselbe Weise wie für das Lernen des Kreierens von Daten wird der extrahierte Bildbereich grafisch dargestellt im selben mehrdimensionalen Raum. Dies ist ein unbekannter Datenpunkt. Dann wird der Abstand zwischen dem unbekannten Datenpunkt und jedem Punkt, der die Vielzahl von Lernpunktgruppen bildet, jeweils berechnet und verglichen mit einem voreingestellten Schwellwert. Wenn es unbekannte Daten gibt und ein Lerndatenpunkt, der innerhalb des Bereichs unterhalb des Schwellwertes existiert, werden diese unbekannten Daten beurteilt als einen Rollstuhl einschließend.
In Schritt 206, wenn beurteilt worden ist, dass ein Rollstuhl vorhanden ist im Bereich durch die Rollstuhlbeurteilungseinheit, wird beurteilt, dass der Passagier in dem Rollstuhl sitzt und ein Rollstuhlerfassungssignal wird generiert, hierdurch die Serie von Verarbeitungen beendend.
In dieser Ausführungsform ist ein Beispiel erläutert worden, in dem nur ein Gesichtsbereich extrahiert wird im Gesichtsfeld der TV-Kamera. Wenn es jedoch eine Vielzahl von Gesichtsbereichen gibt, kann durch ähnliches Wiederholen der Schritte von Schritt 202 bis Schritt 206 für jeden Gesichtsbereich erkannt werden, ob jeder der Vielzahl von Passagieren, die sich der Aufzugskabine nähern, in einem Rollstuhl sitzt.
Wie in der ersten Ausführungsform erläutert, kann das Zentrum eines umschriebenen Vierecks des Gesichtsbereichs verwendet werden als Gesichtsbereichsposition oder ein charakteristischer Abschnitt in dem Gesichtsbereich wie zum Beispiel Augen oder Nase können erfasst werden durch weitere spezifische Bildverarbeitung, um hierdurch die repräsentative Position zu berechnen.
Außerdem, wie in der ersten Ausführungsform erläutert, ist es selbstverständlich, dass der ähnliche Effekt, wie bei dieser Ausführungsform, erhalten werden kann durch Verwendung der Musterabstimmtechnik für die Gesichtsbereichsextraktionseinheit, in welcher ein Monochrombild eingegeben wird zum Erfassen des Gesichtsmusters einschließlich Gesichtsteilen wie zum Beispiel Augen und Nase.
Wie in der ersten Ausführungsform erläutert, wurde für die Rollstuhlbeurteilungseinheit die Methode des Beurteilens des Vorhandenseins eines Rollstuhls aus einem geometrischen Merkmal als ein Beispiel erläutert. Jedoch kann diese Ausführungsform auch ausgeführt werden durch Durchführen der Beurteilung unter Verwendung anderer Merkmale innerhalb des Rollstuhlbereichs, die den Rollstuhlpassagier von nicht behinderten Fußgängern unterscheiden kann wie zum Beispiel die Situation der Beine eines Passagiers, der in einem Rollstuhl sitzt.
Wie in dieser Ausführungsform gezeigt, kann in dem Prozess, während dem die Aufzugkabine ankommt und angehalten wird, und die für die Kabine in dem Aufzugsvorraum wartende Passagiere in die Kabine gehen, die Abbildung des Passagiers erhalten werden, eine nach der anderen im Zustand ohne von anderen Personen verborgen zu sein. Daher wird eine stabile Bilderkennung möglich. Außerdem ist in der Erkennung die Position des Passagiers abgeschätzt basierend auf dem Gesichtsbereich, was der Bereich an der höchsten Position ist, der unwahrscheinlich verdeckt wird durch andere Personen und die Position eines Rollstuhls wird auch abgeschätzt, hierdurch den Abbildungsverarbeitungsbereich definierend. Daher gibt es den Effekt, dass die Rollstuhlvorhandenseinsbeurteilung stabil ausgeführt werden kann.
Dritte Ausführungsform:
Eine dritte Ausführungsform der vorliegenden Erfindung wird nun erläutert werden. Diese Ausführungsform ist eine solche Konfiguration, dass eine Entfernungsmesseinheit, die die Entfernung zu einem Abbildungsgegenstand misst, hinzugefügt worden ist zu der der zweiten Ausführungsform zusätzlich zur Kamera, die das darin bereitgestellte Bild aufnimmt.
8 ist ein Blockdiagramm, das den Aufbau einer Abbildungsverarbeitungseinrichtung gemäß dieser Ausführungsform erläutert und 9 ist ein Flussdiagramm, das den Betriebsablauf der Abbildungsverarbeitungseinheit zeigt.
In den Figuren sind die Bezugszeichen 11 bis 15 dieselben wie die in der zweiten Ausführungsform. Bezugszeichen 18 kennzeichnet die Entfernungsmesseinheit. Obgleich nicht gezeigt, ist die Entfernungsmesseinheit in dieser Ausführungsform ein Beispiel basierend auf einem Verfahren zum Analysieren eines Stereobildes unter Verwendung einer Zwillingsobjektiv-TV-Kamera.
Die Betriebsprozedur wird erläutert werden unter Bezugnahme auf 9. Da Schritte 301 bis 303 dieselben sind wie die in der ersten Ausführungsform, werden die Schritte kurz erläutert. Zuerst wird der Gesichtsbereich extrahiert in Schritt 302 basierend auf dem Bild, das von der TV-Kamera in Schritt 1 eingegeben worden ist und die Position des Gesichtsbereichs wird unter Verwendung eines Schwerpunktsverfahrens oder ähnlichem in Schritt 303 detektiert. Da die TV-Kamera eine Zwillingsobjektivreflexkamera ist, wird die Verarbeitung in Schritt 301 bis Schritt 303 jeweils basierend auf der Abbildung der jeweiligen Kameras ausgeführt.
In Schritt 304 wird die Entfernungsmessung ausgeführt von der Entfernungsmessungseinheit 18. In dieser Ausführungsform wird ein Zwillingsobjektivstereoverfahren verwendet als Entfernungsmessverfahren. Das heißt, dass als TV-Kamera zwei TV-Kameras angeordnet sind, deren geometrische Position bekannt ist und durch Erhalten der Entsprechung zwischen jeweiligen Pixeln der Abbildung, die von jeder Kamera eingefangen sind, wird eine Entfernungsverteilung des Objektes gemessen unter Verwendung des Dreiecksprinzips. Die Entfernungsverteilung wird gespeichert als Entfernungsbild, in dem die Entfernung von der Kamera zum Objekt in jedem Pixel gespeichert wird.
In Schritt 305 wird die Höhe des Gesichtsbereichs vom Boden berechnet durch die Rollstuhlbereichsabschätzeinheit 13 von der Position des extrahierten Gesichtsbereichs in dem Bild und dem Erfassungsmessergebnis entsprechend dem Gesichtsbereich. In dieser Ausführungsform wurde zuvor ein Positionszusammenhang zwischen dem Grauzonenbild, das von der TV-Kamera erhalten worden ist und dem Entfernungsbild getroffen durch die Kalibrieroperation. Da der Tiefenwinkel der TV-Kamera bekannt ist wie in der zweiten Ausführungsform, wird die dreidimensionale Position des Gesichtsbereichs durch Kombinieren dieses Tiefenwinkels mit den Abstandsdaten von der Kamera zum Gesichtsbereich identifiziert. Als ein Ergebnis wird die Höhe des Gesichtsbereichs vom Boden berechnet.
In Schritt 406 vergleicht die Rollstuhlbereichsschätzeinheit 13 die gemessene Höhe des Gesichtsbereichs vom Boden mit dem voreingestellten Schwellwert. In dieser Ausführungsform ist dieser Schwellwert eingestellt als ein mittlerer Wert zwischen der Höhe des Gesichts, wenn normale Erwachsene stehen und der Höhe des Gesichts, wenn die Erwachsenen in Rollstühlen sitzen. Wenn die Höhe des Gesichtsbereichs vom Boden größer ist als der Schwellwert, wird beurteilt, dass der Gesichtsbereich zu einem stehenden Passagier gehört und daher wird die Rollstuhlerfassungsverarbeitung nicht bis zum Ende der Verarbeitung ausgeführt. Wenn jedoch die Höhe des Gesichtsbereichs vom Boden geringer ist als der Schwellwert, wird beurteilt, dass es gut möglich ist, dass der Gesichtsbereich der eines Rollstuhlpassagiers ist und daher geht die Steuerung zu Schritt 307, wo die Position der Abbildung, bei der der Rollstuhl existieren kann, geschätzt wird.
In Schritt 308 und Schritt 309 beurteilt die Rollstuhlvorhandenseinsbeurteilungseinheit 14, ob ein Rollstuhl vorhanden ist durch Durchführen detaillierter Untersuchung bezüglich des geschätzten Rollstuhlbereichs und wenn beurteilt wird, dass ein Rollstuhl vorhanden ist, generiert die Rollstuhlvorhandenseinsbeurteilungseinheit 14 ein Rollstuhlanwesenheitssignal. Diese Operationen sind dieselben, wie die der Schritte 205 und 206 in der zweiten Ausführungsform.
In dieser Ausführungsform wird das Zwillingsobjektivstereoverfahren verwendet für die Entfernungsmesseinheit 18. Jedoch kann die ähnliche Wirkung erhalten werden durch Verwenden anderer Entfernungsmessmethoden mit einer Funktion des Messens der Entfernung des extrahierten Gesichtsbereichs von der Kamera wie zum Beispiel einer Entfernungsmessmethode unter Verwendung einer Kamera mit drei oder mehr Objektiven oder einer Entfernungsmessmethode, bei der der Abstand gemessen wird basierend auf einem unscharfen Bild durch eine Einzelobjektivkamera.
In dieser Ausführungsform ist ein Beispiel des einmaligen Bildens einer Datenstruktur gezeigt, in der ein Abstandsbild, d.h. jedes Pixel schließt Abstandsinformation von der Kamera ein. Jedoch brauchen die Abstandsdaten nur die Information entsprechend einer repräsentativen Position des extrahierten Gesichtsbereichs einzuschließen und daher kann die ähnliche Wirkung erhalten werden beispielsweise durch Aufteilen des Gesichtsfelds der TV-Kamera in eine Vielzahl von Blöcken und Installieren einer Vielzahl von Entfernungsmesssensoren eines Punktlichtabstrahltyps, die den Abstand des Gesichtsbereichs von der Kamera in bezug auf den zentralen Abschnitt jedes Blocks messen oder durch Bereitstellen einer Vielzahl von Ultraschallsensoren mit enger Richtwirkung.
Wie in dieser Ausführungsform gezeigt, kann eine genaue Schätzung des Rollstuhlbereichs durchgeführt werden durch genaues Beurteilen der dreidimensionalen Position eines Passagiers und als ein Ergebnis hiervon kann die Zuverlässigkeit der Beurteilung, ob der Passagier ein Rollstuhlpassagier ist, verbessert werden.
Vierte Ausführungsform:
Eine vierte Ausführungsform der vorliegenden Erfindung wird nun erläutert.
10 ist ein Blockdiagramm, das die Konfiguration einer Bildverarbeitungseinrichtung gemäß dieser Ausführungsform erläutert und 11 ist ein Flussdiagramm, das den Betriebsablauf der Bildverarbeitungseinrichtung zeigt. Diese vierte Ausführungsform bezieht sich auf eine Bildverarbeitungseinrichtung, die einen Laserentfernungssensor als Entfernungsmesseinheit in der dritten Ausführungsform verwendet.
In den Figuren sind die Bezugszeichen 11 bis 15 dieselben, wie die in der zweiten und dritten Ausführungsform. Bezugszeichen 19 kennzeichnet eine Entfernungsmesssteuereinheit, 20 kennzeichnet eine Generiereinheit für einen optischen Strahl, 21 kennzeichnet eine optische Strahlabtasteinheit und 22 kennzeichnet eine Erfassungseinheit reflektierten Lichts.
Der Betrieb wird unter Bezugnahme auf das Flussdiagramm in 11 erläutert. 11 zeigt eine andere Ausführungsform, bezogen auf den Schritt 304 in 9. Daher kennzeichnet START in 11 den dem Schritt 303 in 9 folgenden Schritt und END in 11 folgt dem Schritt 305 in 9. Zuerst wird ein Bild eingegeben von der TV-Kamera 11 und die Gesichtsbereichsextraktionseinheit 12 extrahiert den Bereich eines menschlichen Gesichtes von dem Bild und misst die Position eines repräsentativen Punktes in dem Gesichtsbereich.
Darauf folgend wird die Entfernungsmessung nach Schritt 401 und weiter. ausgeführt. Die Entfernungsmesssteuereinheit 19 ist eine Einheit, die die Generiereinheit des optischen Strahls 20, die optische Strahlabtasteinheit 21 und die Erfassungseinheit reflektierten Lichts 22 steuert. Das Prinzip der Entfernungsmessung, das in dieser Ausführungsform gezeigt ist, ist, einen Laserstrahl vom Schlitz- bzw. Spaltentyp zu emittieren, das Bild des auf ein Objekt treffenden und zurückkehrenden Strahls mit einer Kamera aufzunehmen und die Entfernung basierend auf dem Dreiecksprinzip zu messen und es wird bezeichnet als Lichtstreckenverfahren. Die Generiereinheit für einen optischen Strahl 20 besteht aus einem Halbleiterlaserlichtemittierenden Element und einem Objektiv, in welches erregte und ausgegebene Laserstrahlen einmal konvergieren und der konvergierte Strahl wird weiter verformt in einen Schlitz durch eine Zylinderlinse zum Generieren des schlitzförmigen Strahls. Im ersten Schritt 401 für die Entfernungsmessung wird das Emissionsmuster des Laserstrahls initialisiert durch die Entfernungsmesssteuereinheit 19. Das Emissionsmuster zeigt ein Muster, in dem ein Licht synchron zur Abtasteinheit ein- oder ausgeschaltet wird, wenn Laserschlitzstrahlen abgetastet werden. In dieser Ausführungsform wird ein solches Lichtemissionsmuster initialisiert, dass ein Licht momentan eingeschaltet wird und ausgeschaltet wird in einer anderen Periode beim Abtasten für einen Schirm, so dass eine Vielzahl von Mustern generiert werden, in denen die Beleuchtungszeitabstimmung vielfach geändert wird.
In Schritt 402 initialisiert die optische Strahlabtasteinheit 21 das Steuermuster für die Laserstrahlabtastung. Dies zielt darauf ab, dass die Abtastgeschwindigkeit und der Bereich initialisiert werden, so dass die optische Strahlabtasteinheit synchron mit der Bildeinfangzeitabstimmung abtastet.
In Schritt 403 wird die Bildakkumulation durch eines CCD-Kamera gestartet, die die Erfassungseinheit reflektierten Lichts 22 ist. In Schritt 404 startet ein Galvano-Spiegel, der die optische Strahlabtasteinheit 21 ist, den Betrieb gemäß dem initialisierten Muster und in Schritt 405 steuert die Generiereinheit des optischen Strahls 20 den EIN/AUS-Zustand des Strahls gemäß dem initialisierten Muster. In Schritt 406 wird beurteilt, ob die Laserstrahlabtastung abgeschlossen ist. Wenn sie nicht abgeschlossen worden ist, werden die Betriebsabläufe in den Schritten 404 und 405 wiederholt und wenn sie abgeschlossen worden ist, wird die Bildakkumulation durch die Erfassungseinheit reflektierten Lichts 22 beendet im nächsten Schritt 407.
In Schritt 408 wird das akkumulierte Bild des reflektierten Laserstrahllichts ausgelesen und eine Position des Bildes wird gemessen durch die Bildverarbeitung. Die dreidimensionale Position, d.h., der Abstand bei der Position auf dem Objekt, zu dem der optische Strahl projiziert worden ist, wird gemessen nach dem Dreiecksprinzip von der Position des reflektierten Lichts des Strahls auf dem erfassten Bild und dem Abtastwinkel der optische Strahlabtasteinheit 21 zur Zeit, wenn der Laserstrahl EIN-geschaltet ist. Dann wird in Schritt 409 der gemessene Abstand im Speicher der Entfernungsmesssteuereinheit 19 als Entfernungsdaten gespeichert.
In dieser Ausführungsform ist das Lichtemissionsmuster so festgelegt, dass der schlitzartige Laserstrahl, der während der Bildakkumulationsperiode abgetastet wird für ein Bild der CCD-Kamera, die die Erfassungseinheit reflektierten Lichts ist, nur einmal EIN-geschaltet wird. Demnach kann eine Entfernungsverteilung für eine Linie in Longitudinalrichtung in der Bildakkumulation für ein Bild gemessen werden. Daher können durch Wiederholen der Operationen in Schritten 403 bis 409 während des Änderns der Zeit, zu der der Strahl EINgeschaltet ist, Laserstrahlen abgestrahlt werden zu unterschiedlichen Positionen und die Entfernung an der bestrahlten Position kann gemessen werden. Als ein Ergebnis hiervon kann in Schritt 409 das Abstandsbild erhalten werden. Die Schritte zur Entfernungsmessung sind nun abgeschlossen.
Die Operation in dieser Ausführungsform wird gefolgt von Operationen, wie sie in den Schritten 305 bis 309 in 9 gezeigt sind. Das heißt, die Rollstuhlbereichsschätzeinheit 13 berechnet die Höhe des Gesichtsbereichs vom Boden aus der Position im Bild des extrahierten Gesichtsbereichs und aus dem Ergebnis des Entfernungsmessergebnisses entsprechend dem Gesichtsbereich. In ähnlicher Weise vergleicht die Rollstuhlbereichsschätzeinheit 13 die Höhe des gemessenen Gesichtsbereichs vom Boden mit dem voreingestellten Schwellwert zum Durchführen grober Beurteilung, bezogen auf das Vorliegen eines Rollstuhls. Wenn die Höhe des Gesichtsbereichs vom Boden geringer ist als der Schwellwert, wird beurteilt, dass es gut möglich ist, dass der Gesichtsbereich der eines Rollstuhlpassagiers ist und die Position im Bild, an der der Rollstuhl vorhanden sein könnte, wird geschätzt. Letztendlich führt die Rollstuhlvorhandenseinsbeurteilungseinheit 14 detaillierte Untersuchungen bezüglich des geschätzten Rollstuhlbereichs durch und beurteilt das Vorhandensein eines Rollstuhls und wenn beurteilt wird, dass es einen Rollstuhl gibt, generiert die Rollstuhlvorhandenseinsbeurteilungseinheit 14 ein Rollstuhlerfassungssignal.
In dieser Ausführungsform ist die Methode des wiederholten Generierens von Entfernungsabbildung während des Änderns der Lichtemissionszeitabstimmung erläutert worden, basierend auf dem Lichtstreckenverfahren zum Emittieren eines Laserschlitzstrahls, während der Akkumulationsperiode eines Bildes durch die CCD-Kamera, die die Erfassungseinheit reflektierten Lichts ist als Entfernungsmesseinheit, bestehend aus der Generiereinheit eines optischen Strahls, der optische Strahlabtasteinheit und der Erfassungseinheit reflektierten Lichts. Jedoch kann eine ähnliche Wirkung erhalten werden durch Verwenden eines räumlichen Codierverfahrens zum Projizieren einer Vielzahl von Laserschlitzstrahlen während der Akkumulationsperiode eines Bildes durch die CCD-Kamera.
In dieser Ausführungsform ist das Beispiel beschrieben worden, in dem der galvanische Spiegel verwendet worden ist als optische Strahlabtasteinheit 21. Jedoch kann auch ein Polygonspiegel vom polygonalen Säulentyp (polygonal pillar type mirror) verwendet werden.
Wie in dieser Ausführungsform gezeigt, gibt es den Effekt, dass stabile Entfernungsmessungen durchgeführt werden können, ohne vom Vorliegen der Komplexität eines Musters in den Kleidern, die der Passagier trägt, beeinflusst zu werden, durch das Verwenden der Entfernungsmessungseinheit, die den optischen Strahl projiziert.
Fünfte Ausführungsform:
Nun wird eine fünfte Ausführungsform der vorliegenden Erfindung beschrieben.
12 ist ein Blockdiagramm, das den Aufbau einer Bildverarbeitungseinrichtung gemäß dieser Ausführungsform erläutert und 13 ist ein Flussdiagramm, das den Betriebsablauf der Bildverarbeitungseinrichtung zeigt.
In den Figuren sind Bezugszeichen 11 bis 15 und 18 dieselben, wie die in der zweiten bis vierten Ausführungsform. 23 kennzeichnet eine Bildaufnahmezeitabstimmungs-Bestimmungseinheit und 24 kennzeichnet eine Entfernungstoreinstelleinheit.
Diese Ausführungsform wird erläutert basierend auf dem Flussdiagramm in 13.
Zuerst wird in Schritt 501 ein Entfernungstor eingestellt durch die Entfernungstoreinstelleinheit 24. Das Entfernungstor steht für einen Schwellwert bezüglich einer Entfernung zwischen der TV-Kamera 11 und einem Passagier, wenn der Passagier sich der Aufzugskabine nähert, während ihre Tür öffnet. Beispielsweise ist der Abstand zwischen der Kamera und dem Passagier, der erforderlich ist zum Aufnehmen eines Bildes des Gesichtsbereichs des Passagiers in einer erwünschten Größe durch die TV-Kamera 11 zuvor überprüft und als Schwellwert bestimmt.
In Schritt 502 wird die Entfernung zwischen der Kamera und dem Passagier durch die Entfernungsmesseinheit 18 gemessen. Als Entfernungsmessmethode ist beispielsweise die in der dritten oder vierten Ausführungsform erläuterte Methode verwendet.
In Schritt 503 wird die gemessene Entfernung zwischen der Kamera und dem Passagier verglichen mit dem voreingestellten Entfernungstorschwellwert. Wenn der Abstand zwischen der Kamera und dem Passagier nicht das Entfernungstor erreicht hat, wird die Entfernung zwischen der Kamera und dem sich nähernden Passagier noch einmal in Schritt 502 gemessen. Wenn der Abstand zwischen der Kamera und dem Passagier das Entfernungstor erreicht hat, wird die Zeitabstimmung, wann das Bild aufgenommen werden soll, durch die Bildaufnahmezeitabstimmungsbestimmungseinheit 23 in Schritt 504 bestimmt. Diese Zeitabstimmung wird derart bestimmt, dass die Größe des Gesichtsbereichs der abgebildeten Person im aufgenommenen Bild nahe dem voreingestellten Wert ist.
In Schritt 505 wird das Bild des Passagiers von der TV-Kamera 11 aufgenommen. In Schritt 506 wird der Gesichtsbereich durch die Gesichtsbereichsextraktionseinheit 12 extrahiert und die Position eines repräsentativen Punktes im Gesichtsbereich wird in Schritt 507 erfasst. In Schritt 508 wird ein Bereich, in dem ein Rollstuhl existieren könnte, abgeschätzt, basierend auf der Position des Gesichtsbereichs, extrahiert von der Rollstuhlbereichsschätzeinheit 13. Der Betrieb der Rollstuhlbereichsschätzeinheit ist derselbe, wie der in der zweiten Ausführungsform erläuterte.
In Schritt 509 wird das Innere des geschätzten Rollstuhlbereichs bildverarbeitet und das Vorhandensein eines Rollstuhls wird beurteilt durch die Rollstuhlvorhandenseinsbeurteilungseinheit 14. Als ein Ergebnis hiervon wird, wenn beurteilt wird, dass es einen Rollstuhl gibt, ein Rollstuhlerfassungssignal 15 in Schritt 510 ausgegeben und die Serie der Operationen ist beendet.
In dieser Ausführungsform wurde die Methode erläutert, die in der zweiten oder dritten Ausführungsform der Entfernungsmesseinheit gezeigt ist. Jedoch braucht diese Einheit nur einen Sensor mit einer Funktion zum Finden, dass der Passagier sich der Kamera innerhalb eines vorbestimmten Bereichs genähert hat und es braucht nicht erwähnt zu reden, das ähnliche Wirkungen auch durch Verwenden von beispielsweise eines fotoelektronischen Sensors, eines Ultraschallsensors oder eines pyroelektrischen, humansensiblen Sensors erreicht werden können.
In dieser Ausführungsform ist die Methode erläutert worden, die nur verwendet wird zum Vergleichen der Ausgangsgröße der Entfernungsmesseinheit mit dem Bereichstor, das im Voraus eingestellt worden ist. Wenn jedoch irgendeine Einheit, die ein Entfernungsbild erhalten kann, verwendet wird als Entfernungsmesseinheit, ist es auch möglich, durch eine Einrichtung mit derselben Konfiguration wie der in 12, die Zuverlässigkeit der Rollstuhlbereichsabschätzung zu erhöhen durch Bestimmen des Abstandes des Gesichtsbereichs, der extrahiert ist durch die Gesichtsbereichsextraktionseinheit in den Kameras, wie in der Ausführungsform in bezug auf die zweite Erfindung gezeigt.
Wie in dieser Ausführungsform gezeigt, können Bilder aufgenommen werden zu einem Zeitpunkt, zu dem der Abstand zwischen einem sich der Kamera näherndem Passagier und der Kamera im wesentlichen konstant ist. Demnach können das Gesicht des Passagiers und der Rollstuhl im wesentlichen in einer gleichförmigen Größe auf dem Bild aufgenommen werden und demnach gibt es den Effekt, dass die Zuverlässigkeit der Bilderkennung verbessert werden kann.
Sechste Ausführungsform:
Nun wird eine sechste Ausführungsform der vorliegenden Erfindung beschrieben. Diese Ausführungsform bezieht sich auf eine Aufzugeinrichtung, die versehen ist mit der Bildverarbeitungseinrichtung der oben beschriebenen zweiten bis fünften Ausführungsformen, in der ein Rollstuhlvorhandenseinsbeurteilungssignal, das in den obigen Ausführungsformen ausgegeben worden ist, eingegeben wird in die Steuereinheit des Aufzugs, um dadurch den Betrieb des Aufzugs zu steuern.
14 ist ein Blockdiagramm, das den Aufbau einer Bildverarbeitungseinrichtung gemäß dieser Ausführungsform erläutert und 15 ist ein Flussdiagramm, das den Betriebsablauf der Bildverarbeitungseinheit zeigt.
In diesen Figuren sind Bezugszeichen 11 bis 15 dieselben wie die in den obigen Ausführungsformen und 25 kennzeichnet eine Aufzugsteuereinheit.
Das Rollstuhlerkennungssignal 15, das durch die Bildverarbeitung in der zweiten bis fünften Ausführungsform erhalten worden ist, wird verwendet und folgendermaßen in die Aufzugsteuereinheit eingegeben. Der Steuerbetrieb schließt das folgende ein.

(a) Öffnungs-/Schließgeschwindigkeit der Aufzugstür (die Tür wird langsam geöffnet für einen Rollstuhlpassagier),
(b) Öffnungszeit der Aufzugstür (wenn der Passagier einen Rollstuhl benutzt, wird die Tür gesteuert, um für eine längere Dauer geöffnet zu sein),
(c) Abstimmen des Aufzugsbodens (in bezug auf ein Steuern einer Schrittdifferenz zwischen der Aufzugskabine und dem Außenfußboden, die Kabine wird gesteuert, um exakter mit der Fußbodenebene übereinzustimmen, wenn ein Rollstuhlpassagier in den Aufzug fährt, um hierdurch die Ebenendifferenz zu eliminieren,
(d) Sprachsteuerung (Sprachansagen wie zum Beispiel "Der Aufzug wird nun im unbehinderten Modus betrieben"),
(e) Aufzugbewegungsgeschwindigkeit (wenn ein Rollstuhlpassagier drin ist, sind die maximale Bewegungsgeschwindigkeit und Beschleunigung des Aufzugs verringert),
(f) Druckknopfsteuerung innerhalb des Aufzugs (wenn ein Rollstuhlpassagier drin ist, wird ein Rollstuhl-zugeordneter Knopf, der an einer niedrigeren Position in der Kabine installiert ist, wirksam geschaltet und zu anderen Zeiten ist der Knopf unwirksam oder er wird nur wirksam geschaltet, wenn der Knopf auf spezielle Weise wie zum Beispiel für eine längere Zeit gedrückt wird), und
(g) Steuerung eines Spezialsensors innerhalb der Aufzugskabine (wenn ein Rollstuhlpassagier drin ist, wird ein körperlich behinderten Personen zugeordneter Sensor wie zum Beispiel eine Spracherkennung, die in der Kabine installiert ist, wirksam geschaltet). Durch Ausführen dieser Steuerungen kann der Betrieb des Aufzugs, der Rollstuhlpassagier Prioritäten einräumt, ausgeführt werden und es ist demnach möglich, die Betriebseffizienz zu erhöhen und komfortable Betriebsbedingungen Passagieren zur Verfügung zu stellen.

14 dieser Ausführungsform zeigt hauptsächlich den Aufbau der Bildverarbeitungseinrichtung, die in der zweiten Ausführungsform erläutert ist, aber es ist selbstverständlich, dass es die Konfiguration irgendeiner Bildverarbeitungseinrichtung sein kann einschließlich der Entfernungsmesseinheit, die in der dritten Ausführungsform gezeigt ist, der Entfernungsmesssteuereinheit, der Generiereinheit eines optischen Strahls, der optische Strahlabtasteinheit und der Erfassungseinheit reflektierten Lichts, die in der vierten Ausführungsform gezeigt sind oder die Entfernungsmesseinheit, die Entfernungstoreinstelleinheit und die Bildaufnahmezeitabstimm-Bestimmungseinheit, die in der fünften Ausführungsform gezeigt sind.

Claims

Bildverarbeitungseinrichtung, umfassend: eine Gesichtsbereichs-Extraktionseinheit (2), die einen ersten Bereich einschließlich des Gesichts einer Person aus einem von einer Kamera (11) aufgenommenen Bild extrahiert; eine Erfassungsbereichs-Annahmeeinheit (3), die eine Breite des ersten Bereichs mit Referenzdaten vergleicht, einen Abstand zwischen dem ersten Bereich und der Kamera basierend auf dem Ergebnis des Vergleichs abschätzt, eine Höhe des ersten Bereichs vom Boden, auf dem sich die Person befindet, abschätzt basierend auf einem Tiefenwinkel der Kamera und des geschätzten Abstands, und die einen gewünschten Erfassungsbereich als einen zweiten Bereich annimmt innerhalb des Bildes basierend auf der geschätzten Höhe; und eine Beurteilungseinheit (4), die beurteilt, ob ein Bild in dem zweiten Bereich, der von der Erfassungsbereichs-Annahmeeinheit (3) extrahiert worden ist, mit einer zuvor aufgezeichneten Bedingung koinzidiert.
Bildverarbeitungseinrichtung nach Anspruch 1, wobei das von der Kamera (11) aufgenommene Bild ein Bild von der Außenseite einer Kabine ist, aufgenommen nahe einer Tür der Kabine; der zweite Bereich einem Rollstuhlbereich entspricht mit einem Rollstuhl auf dem die Person angenommen wird und die Beurteilungseinheit (4) beurteilt, ob der Rollstuhl in dem zweiten Bereich vorhanden ist.
Bildverarbeitungseinrichtung nach Anspruch 1, ferner umfassend eine Entfernungsmesseinheit (18), die einen Abstand bis zum ersten Bereich misst, wobei die Erfassungsbereichs-Annahmeeinheit (3) den zweiten Bereich annimmt unter Verwendung des gemessenen Abstands durch die Entfernungsmesseinheit (18).
Bildverarbeitungseinrichtung nach Anspruch 3, wobei die Entfernungsmesseinheit (18) umfasst: eine Generiereinheit für einen optischen Strahl (20), die einen punktförmigen oder schlitzförmigen optischen Strahl generiert; eine optische Strahlabtasteinheit (21), die so abtastet, dass der generierte optische Strahl auf einen zu messenden Bereich projiziert wird; und eine Erfassungseinheit von reflektiertem Licht (22), die ein reflektiertes Licht des abgetasteten und projizierten optischen Strahls erfasst, und die Entfernungsmesseinheit (18) einen Abstand bis zu einem Objekt basierend auf einem Abtastwinkel des optischen Strahls und einer Position, an der das reflektierte Licht erfasst wird, misst.
Bildverarbeitungseinrichtung nach Anspruch 3, außerdem umfassend: eine Entfernungstoreinstelleinheit (24), die einen Entfernungsschwellwert einstellt, um zu beurteilen, ob eine Person einen bestimmten Abstandsbereich von der Kabine erreicht; und eine Bestimmungseinheit zur Zeitabstimmung einer Bildaufnahme (23), die eine Zeitabstimmung bestimmt, zu der ein Bild aufgenommen wird durch Erkennen von der Entfernungsmesseinheit (18), dass die Person in das Entfernungstor kommt, wobei ein Bild aufgenommen wird von der TV-Kamera (11) entsprechend der vorbestimmten Zeitabstimmung.
Aufzug, versehen mit der Bildverarbeitungseinrichtung nach einem der Ansprüche 2 bis 5, wobei eine TV-Kamera die Kamera (11) ist, die einen Passagier in der Nähe der Tür des Aufzugs aufnimmt und Information, die von der Beurteilungseinheit zur Feststellung eines Vorhandenseins eines Rollstuhls (14) erhalten wird, in eine Steuereinheit des Aufzugs eingegeben wird.