DE102009044083A1

DE102009044083A1 - System und Verfahren zur Zählung der Personenanzahl

Info

Publication number: DE102009044083A1
Application number: DE102009044083A
Authority: DE
Inventors: Pei-Chi Lujhu Hsiao; Pang-Wei Hsu
Original assignee: Micro Star International Co Ltd
Current assignee: Micro Star International Co Ltd
Priority date: 2009-03-12
Filing date: 2009-09-23
Publication date: 2010-09-23
Also published as: TW201033908A; JP2010218550A; DE102009044083A9; US20100232644A1

Abstract

Diese Erfindung beschreibt ein Verfahren und ein System zur Zählung der Personenanzahl. Zuerst wird eine erste Gesichtsinformation im Speicher gespeichert (202). Dann wird ein Bild als Hautbereich bestimmt oder nicht (204). Der Hautbereich wird als tatsächliches Gesicht bestimmt oder nicht (206). Anschließend wird ein Eins-zu-eins-Ähnlichkeitsabgleich (208) zwischen einer möglichen Gesichtsinformation und der ersten Gesichtsinformation bearbeitet, wenn der Ähnlichkeitsabgleich eine vorgegebene Bedingung erreicht, soll die mögliche Gesichtsinformation verwendet werden, um die erste Gesichtsinformation zu aktualisieren (208a), und wenn der Ähnlichkeitsabgleich keine vorgegebene Bedingung erreicht und das mögliche Gesicht das tatsächliche Gesicht ist, wird das mögliche Gesicht als eine zweite Gesichtsinformation betrachtet und dem Speicher hinzugefügt und die erste Gesichtsinformation wird als verdeckt gewesen bestimmt (208b). Schließlich wird die Personenanzahl vor der Kamera gemäß den im Speicher gespeicherten Gesichtern gezählt (210).

Description

Gebiet der Erfindung
Die vorliegende Erfindung bezieht sich auf ein System und ein Verfahren zur Zählung der Personenanzahl. Insbesondere bezieht sich die Erfindung auf ein System und ein Verfahren zur Zählung und Analyse der Personen, die durch das Sichtfeld der Kamera laufen.
Stand der Technik
Digitale Anzeigen haben wegen den Verbesserungen in der drahtlosen Kommunikations- und Computertechnik und dem rasanten Sinken der Flachbildschirmpreise schrittweise die herkömmlichen Plakatwände ersetzt. Die digitalen Anzeigen übertragen in Nahverkehrsbahnhöfen, Flughäfen, Warenhäusern und Nachbarschaftsläden sowohl öffentliche Nachrichten und kommerzielle Werbeanzeigen. Deshalb kann der Werbemarkt, der die digitalen Anzeigen gebracht hat, nicht unterschätzt werden.
Wenn Werbeanzeigen auf einer Plattform übertragen werden, können wir eine entsprechende Strategie verwenden, um zu messen wieviel Personen ihnen Aufmerksamkeit schenken. Im Webservice wird die Anzahl der Klicks aufgezeichnet, um Bescheid zu wissen, wie oft die Webseite besucht wurde. Bei TV Werbespots zeichnet die digitale Fernsehinstallationsbox die Information aus den Antworten der Fernbedienungen auf. Darüber hinaus können Marketingmitarbeiter traditionellere Arten von Umfrageverfahren verwenden, um mehr über die Wahrnehmung der Produkte durch die Verbraucher zu erfahren. Umfragen sind jedoch teuer und deshalb müssen der Nutzen und die Kosten bewertet werden, um zu erkennen, ob Umfragen das kostengünstigste Verfahren zur Ermittlung der Wahrnehmung eines Produktes sind. Umfragen weisen im Allgemeinen Antworten mit Abweichungen auf, die durch die Interviewer und das uneinheitliche Bearbeiten durch die Umfragebearbeiter oder durch Leute, die ungeduldig sind und den vorliegenden Fragen nicht wirklich die richtige Aufmerksamkeit schenken, hervorgerufen werden oder auch nicht. Deshalb ist es bei der Untersuchung, welche Werbung die Leute bevorzugen, der beste Weg, die Ergebnisse durch Bearbeiten der Umfragen ohne Interviewer und Umfragebearbeiter zu erlangen und es den Leuten zu ermöglichen sich so zu fühlen als ob sie in einer natürlichen Umgebung wären. Wenn die Ergebnisse weniger durch die äußeren Faktoren beeinflusst werden, wird sich die Zuverlässigkeit erhöhen.
Ein Verfahren zur Zählung der Personenanzahl, die durch ein Tor gehen, wird im Stand der Technik angeführt. In dem Verfahren ist eine Kamera an der Decke des Tores angebracht, um die Anzahl der Leute, die das Tor durchlaufen, aufzuzeichnen, so dass die Anzahl der Leute gezählt werden kann, indem erkannt wird, wie viele unabhängige Objekte sich durch das Tor bewegen. Durch das oben erwähnte Verfahren kann jedoch das Gesicht nicht erkannt werden, also kann die Anzahl der Leute, die die Werbeanzeigen zur gleichen Zeit betrachten, nicht erfasst werden. In einem anderen Stand der Technik wird die Anzahl der Leute, die eine Werbeanzeige in einer vorgegebener Zeit betrachten, durch eine Gesichtserkennungsvorrichtung erlangt. Trotzdem stellt der Stand der Technik nur die Anzahl der Leute, die die Werbeanzeige in einer vorgegebenen Zeit betrachten, zur Verfügung und stellt diesbezüglich keine Funktion zur weiteren Analyse der Daten zur Verfügung. Somit kann trotz der Funktion des Zählens der Personenanzahl, das Ausmaß, mit dem die Leute die Werbeanzeige mögen, berechnet werden und der Nutzen, der durch die Werbeanzeige gebracht wird, kann zielgenauer beziffert werden.
Kurzfassung
Das Ziel dieser Ausführungsform ist es, die Anzahl der Leute, die die Werbeanzeige zu irgendeiner Zeit betrachten, auszuwerten und dann den Nutzen der Werbeanzeige zu beziffern. Um dies zu erreichen, stellt die Erfindung ein System zur Verfügung, das die Personenanzahl zählt, wobei das Hautaussehen verwendet wird, um mögliche Gesichter für eine weitere Gesichtsidentifikation auszuwählen und das System wird durch eine Technologie unterstützt, die eine Vielzahl von Gesichtern verfolgt. Außerdem kann die erlangte Information zur weiteren Analyse verwendet werden. Die Anzahl der Leute mit einem unterschiedlichen Grad an Aufmerksamkeit für die Werbeanzeige kann Grundlage für das Werbemarketing sein.
Somit werden das System und das Verfahren zur Zählung der Personenanzahl in der Erfindung zur Verfügung gestellt. Die Dauer, die jedes Gesicht auf die Werbeanzeige schaut, wird auch durch die Ermittlung, wie lange die Stirnseite auf den Bildschirm gerichtet ist, und dadurch, dass unterschieden werden kann, was die Stirnseite und die Profilseite ist, berechnet. Mit dem System und dem Verfahren können wir dem Ziel gerecht werden, die Personenanzahl zu zählen und zu analysieren und es kann bei vielen verschiedenen elektronischen Vorrichtungen Anwendung finden.
Folglich stellt eine Ausführungsform der Erfindung ein System zur Zählung der Personenanzahl vor einer elektronischen Werbeanzeige zur Verfügung. Das System zur Zählung der Personenanzahl beinhaltet ein Objektverfolgungsaufzeichnungsgerät, einen Hautbereichsdetektor, einen Gesichtsdetektor, einen Relevanzabgleichsrechner und einen Zählrechner. Das Objektverfolgungsaufzeichnungsgerät zeichnet eine erste Gesichtsinformation zu einem ersten Zeitpunkt auf. Der Hautbereichsdetektor legt fest, ob ein Bild, das von einer Kamera zu einem zweiten Zeitpunkt aufgenommen wurde, ein Hautbereich ist, wobei der zweite Zeitpunkt dem ersten Zeitpunkt folgt. Der Gesichtsdetektor legt fest, ob der Hautbereich ein tatsächliches Gesicht ist, und falls der Hautbereich ein tatsächliches Gesicht ist, wird beim tatsächlichen Gesicht bestimmt, ob es eine Stirnseite oder eine Profilseite ist und das bestimmte Ergebnis wird als eine mögliche Gesichtsinformation aufgezeichnet. Der Relevanzabgleichsrechner bearbeitet einen Eins-zu-Eins Ähnlichkeitsabgleich zwischen einer möglichen Gesichtsinformation und der ersten Gesichtsinformation. Wenn der Ähnlichkeitsabgleich eine vorgegebene Bedingung erreicht, aktualisiert die mögliche Gesichtsinformation die erste Gesichtsinformation, und wenn der Ähnlichkeitsabgleich keine vorgegebene Bedingung erreicht und das mögliche Gesicht das tatsächliche Gesicht ist, wird das mögliche Gesicht als zweite Gesichtsinformation betrachtet und wird dem Objektverfolgungsaufzeichnungsgerät hinzugefügt und die erste Gesichtsinformation wird als verdeckt festgelegt. Der Zählrechner zählt die Personenanzahl vor der Kamera, gemäß den Gesichtern, die durch das Objektverfolgungsaufzeichnungsgerät aufgezeichnet wurden.
Eine andere Ausführungsform stellt ein Verfahren zur Zählung der Personenanzahl zur Verfügung. Zuerst wird eine erste Gesichtsinformation zu einem ersten Zeitpunkt in einem Speicher gespeichert. Danach wird ein Bild als Hautbereich bestimmt oder nicht, wobei das Bild zu einem zweiten Zeitpunkt von einer Kamera aufgenommen wird und der zweite Zeitpunkt dem ersten Zeitpunkt folgt. Der Hautbereich wird als tatsächliches Gesicht bestimmt oder nicht, und falls der Hautbereich ein tatsächliches Gesicht ist, wird das tatsächliche Gesicht als Stirnseite oder als Profilseite bestimmt und das bestimmte Ergebnis wird als mögliche Gesichtsinformation aufgezeichnet. Anschließend wird ein Eins-zu-Eins Ähnlichkeitsabgleich zwischen einer möglichen Gesichtsinformation und der ersten Gesichtsinformation bearbeitet, und wenn der Ähnlichkeitsabgleich eine vorgegebene Bedingung erreicht, aktualisiert die mögliche Gesichtsinformation die erste Gesichtsinformation, und wenn der Ähnlichkeitsabgleich keine vorgegebene Bedingung erreicht und das mögliche Gesicht das tatsächliche Gesicht ist, wird das mögliche Gesicht als zweite Gesichtsinformation betrachtet und wird dem Speicher hinzugefügt und die erste Gesichtsinformation wird als verdeckt bestimmt. Schließlich wird die Personenanzahl vor der Kamera gemäß den im Speicher gespeicherten Gesichtern gezählt.
Gemäß einer anderen Ausführungsform der Erfindung wird ein Analyseschaubild zur Zählung der Personenanzahl verwendet, um die Personenanzahl darzustellen. Das Analysediagramm zur Zählung der Personenanzahl für die Darstellung der Personenanzahl beinhaltet ein Aufmerksamkeitsmaßhistogramm, einen Leute-zur-Zeit Farbbalken und eine multimediale Interaktionsmitteilungstafel. Das Aufmerksamkeitsmaßhistogramm beinhaltet eine Vielzahl verschiedener Farben im Histogramm, um das Aufmerksamkeitsmaß der Personenanzahl, die durch die Werbeanzeige auf einer digitalen Anzeige gefesselt werden, anzuzeigen. Der Leute- im Verhältnis zur-Zeit Farbbalken beinhaltet eine Vielzahl verschiedener Farben, um die Personenanzahl vor der Kamera zu verschiedenen Zeitpunkten anzuzeigen.
Wie oben erwähnt wertet die Erfindung die Verhaltensweisen der Personenanzahl durch das Festlegen, ob die Gesichter der Passanten entsprechend Stirnseiten oder Profilseiten sind, wesentlich präziser aus und ergänzt die Gesichtsverfolgungstechnik. Ferner können wir durch das Zählen, wie oft das Gesicht überschrieben (verdeckt) wurde, bestimmen, ob das Gesicht überschrieben ist oder bereits das Sichtfeld der Kamera verlassen hat. Die Erfindung ermöglicht es den Werbetreibenden Informationen zur Verfügung zu stellen und mit der Zielgruppe wesentlich direkter und präziser zu interagieren und erstreckt sich auf weitere verwandte Anwendungen.
Kurzbeschreibung der Zeichnungen
Die Erfindung kann durch das Lesen der folgenden ausführlichen Beschreibung der Ausführungsform unter Bezugnahme auf die beigefügten Zeichnungen besser verstanden werden:
1 zeigt einen Server des Personenzählsystems gemäß einer Ausführungsform dieser Erfindung;
1a zeigt einen Gesichtsdetektor des Personenzählsystems gemäß einer Ausführungsform dieser Erfindung;
1b zeigt ein Objektverfolgungsaufzeichnungsgerät des Personenzählsystems gemäß einer Ausführungsform dieser Erfindung;
2 zeigt einen Ablaufplan des Personenzählsystems gemäß einer Ausführungsform dieser Erfindung; und
3 zeigt ein Analyseschaubild des Personenzählsystems gemäß einer Ausführungsform dieser Erfindung.
Ausführliche Beschreibung
Das System zur Zählung der Personenanzahl dieser Erfindung findet bei einer Vielzahl elektronischer Vorrichtungen Anwendung und das Wesentliche des Systems ist die Auswertung der Personenanzahl durch mehrfache Gesichtsverfolgung. Die Reihenfolge der Schritte, die in dieser Ausführungsform erwähnt wird, ist so zu verstehen, dass ungeachtet derjenigen, die in einer bestimmten Reihenfolge beschrieben werden, diese den Erfordernissen angepasst werden können und sogar teilweise oder vollständig gleichzeitig ausgeführt werden können.
Das System zur Zählung der Personenanzahl dieser Erfindung beinhaltet Kameras und kann Server beinhalten. Das System wird bei digitalen Anzeigen verwendet und übernimmt verteilte Strukturen, was bedeutet, dass der Betrag jeder Vorrichtung über dem der anderen sein kann. Das System kann durch das Internet verbunden werden, um ein größeres System zu bilden und daher kann es auf andere Anwendungen ausgeweitet werden. Die Stellposition der Kameras muss vermeiden, dass das Kameraobjektiv durch irgendetwas verdeckt wird und es muss den Kameras ermöglichen die Bilder genau einzufangen, wenn die Passanten die Werbeanzeigen auf der digitalen Anzeige betrachten. Zum Beispiel können die Kameras auf, links und rechts der digitalen Anzeige angeordnet sein.
1 zeigt einen Server 100 des Personenzählsystems gemäß einer Ausführungsform dieser Erfindung. Der Server 100 beinhaltet ein Objektverfolgungsaufzeichnungsgerät 130, einen Hautbereichsdetektor 110, einen Gesichtsdetektor 120, einen Relevanzabgleichsrechner 140 und einen Zählrechner 150. Der in 1a gezeigte Gesichtsdetektor 120 beinhaltet ein Erscheinungsbildregistriergerät 122, ein Stirnseitenbeurteilungsmodul 124a und ein Profilseitenbeurteilungsmodul 124b. Das Objektverfolgungsaufzeichnungsgerät 130 beinhaltet ein Erscheinungsbildregistriergerät 132, einen Stirnseitenzähler 134a, einen Profilseitenzähler 134b, einen Gesichtsanzahlkennzeichner 136 und einen verdeckten Zähler 138.
Zuerst wählt die Kamera die Bilder der das Sichtfeld passierenden Leute aus. Dann ermittelt der Hautbereichsdetektor 110 die Hautbereiche in den Bildern. Der Hautbereichsdetektor 110 erhält eine Vielzahl von Hautbereichen unter Verwendung eines bekannten Hautbereichermittlungs- und Unterscheidungsverfahrens. Zum Beispiel wird die Erscheinungsbildregistrierung eines Bildbereiches einschließlich Beschaffenheit, Farben und Größen ausgewertet, um eine Vielzahl von Hautbereichen zu erhalten. Wenn der Hautbereichsdetektor 110 die Hautbereiche ermittelt, teilt der Hautbereichsdetektor 110 einen Hautbereich nicht in verschiedene Teile auf. Zum Beispiel wird der Hautbereich eines Gesichtes nicht in den Hautbereich der Stirn, in den Hautbereich der Nase und in den Hautbereich der Backen aufgeteilt. Der Hautbereich der Hand wird auch nicht in den Hautbereich der fünf Finger, den Hautbereich der Handrücken und den Hautbereich der Handflächen aufgeteilt.
Nachdem die Hautbereiche erhalten wurden, ermittelt der Gesichtsdetektor 120, ob die Hautbereiche tatsächliche Gesichter sind oder nicht. Zum Beispiel wird der Hautbereich mit den relativen Positionen der Gesichtsmerkmale in einer Erscheinungsbildregistrierdatenbank verglichen oder die Rundung der Gesichtsmerkmale wird berechnet. Die Ergebnisse werden als mögliche Gesichtsinformation aufgezeichnet. Der Gesichtsdetektor 120 ermittelt ebenso, ob das mögliche Gesicht eine Stirnseite oder eine Profilseite ist. Wird zum Beispiel die mögliche Gesichtsinformation mit den relativen Positionen der Gesichtsmerkmale in einer Erscheinungsbildregistrierdatenbank verglichen, so ist entsprechend der Winkel des möglichen Gesichts relativ zum Kameraobjektiv bekannt. Es gibt vier Situationen, die nachfolgend aufgeführt werden: Das mögliche Gesicht ist die Stirnseite, aber nicht die Profilseite; das mögliche Gesicht ist nicht die Stirnseite, aber die Profilseite; das mögliche Gesicht ist die Stirnseite, ist aber auch die Profilseite; das mögliche Gesicht ist weder die Stirnseite, noch die Profilseite.
Falls das mögliche Gesicht als tatsächliches Gesicht bestimmt wurde, kann das Ergebnis für den Gesichtsdetektor 120, der das mögliche Gesicht als Stirnseite oder als Profilseite bestimmt, bedeuten, dass das Gesicht die Werbung jetzt „betrachtet” oder „nicht betrachtet”. Zum Beispiel: Wenn das mögliche Gesicht als tatsächliches Gesicht und als Stirnseite bestimmt wird, „betrachtet” das tatsächliche Gesicht die Werbung jetzt. Wenn das mögliche Gesicht als tatsächliches Gesicht und als Profilseite bestimmt wird, „betrachtet” das tatsächliche Gesicht die Werbung jetzt „nicht”. Wenn das mögliche Gesicht als tatsächliches Gesicht, gleichzeitig als Stirnseite und als Profilseite bestimmt wird, ist es in dieser Erfindung bestimmt, dass das tatsächliche Gesicht die Werbung jetzt „betrachtet”. Zusammenfassend ist dann, wenn das mögliche Gesicht als tatsächliches Gesicht bestimmt ist, das tatsächliche Gesicht die Stirnseite oder die Profilseite. Jedoch kann, wenn das mögliche Gesicht nicht als Stirnseite bestimmt wird und auch nicht als Profilseite, das mögliche Gesicht teilweise verdeckt sein, so dass die vollständige Information nicht erhalten werden kann, um das Gesicht zu erkennen.
In einer Ausführungsform ist die mögliche Gesichtsinformation des Gesichtsdetektors 120 in einer Zeit t wie folgt definiert:
{S^t _m|m = 1, ..., M}, wobei M die Menge der Hautbereiche darstellt, die durch den Hautbereichsdetektor 110 erkannt wurden.
In dieser Ausführungsform zeichnet der Gesichtsdetektor 120 jede der möglichen Gesichtsinformationen (S^t _m) wie folgt auf:
Erscheinungsbild = Beschaffenheit, Farbe, Größe, ...
IstStirnseite = {richtig/falsch}
IstProfilseite = {richtig/falsch}
Der Gesichtsdetektor zeichnet 1 bis M mögliche Gesichtsinformationen in der Zeit t auf. Jede mögliche Gesichtsinformation erfasst die Erscheinungsbildinformation des möglichen Gesichts und die Information darüber, ob das mögliche Gesicht als Stirnseite oder als Profilseite bestimmt wird. Um festzulegen, ob das mögliche Gesicht die Stirnseite oder die Profilseite ist, wird die mögliche Gesichtsinformation mit den relativen Positionen der Gesichtsmerkmale in der Erscheinungsbildregistrierdatenbank verglichen, so dass deshalb jetzt der Winkel des möglichen Gesichts relativ zum Kameraobjektiv bekannt ist.
Erscheinungsbild = Beschaffenheit, Farbe, Größe, ..., in dieser Gleichung erfasst das Erscheinungsbildregistriergerät 122 des Gesichtsdetektors 120 die Erscheinungsbildinformation des möglichen Gesichts einschließlich der Beschaffenheit, Farben und Größen. Die Gleichung IstStirnseite = {richtig/falsch} bedeutet, dass das Stirnseitenbeurteilungsmodul 124a des Gesichtsdetektors 120 das Ergebnis IstStirnseite bestimmt und dass das Ergebnis richtig oder falsch sein kann. Falls das Ergebnis richtig ist, wird das mögliche Gesicht als Stirnseite bestimmt, also wird der Wert 1 erreicht. Falls das Ergebnis falsch ist, wird das mögliche Gesicht nicht als Stirnseite bestimmt, also wird der Wert 0 erreicht. IstProfilseite = {richtig/falsch} bedeutet, dass das Profilseitenbeurteilungsmodul 124b des Gesichtsdetektors 120 das Ergebnis IstProfilseite bestimmt und dass das Ergebnis richtig oder falsch sein kann. Falls das Ergebnis richtig ist, wird das mögliche Gesicht als Profilseite bestimmt, also wird der Wert 1 erreicht. Falls das Ergebnis falsch ist, wird das mögliche Gesicht nicht als Profilseite bestimmt, also wird der Wert 0 erreicht. Falls zum Beispiel der Wert, der vom Stirnseitenbeurteilungsmodul 124a erzielt wird, 1 ist und der Wert, der vom Profilseitenbeurteilungsmodul 124b erzielt wird, 0 ist, wird das mögliche Gesicht als Stirnseite nicht als Profilseite bestimmt; falls der Wert, der vom Stirnseitenbeurteilungsmodul 124a erzielt wird, 0 ist und der Wert, der vom Profilseitenbeurteilungsmodul 124b erzielt wird, 1 ist, wird das mögliche Gesicht als Profilseite und nicht als Stirnseite bestimmt; falls der Wert, der vom Stirnseitenbeurteilungsmodul 124a erzielt wird, 1 ist und der Wert, der vom Profilseitenbeurteilungsmodul 124b erzielt wird, 1 ist, wird das mögliche Gesicht als Profilseite und auch als Stirnseite bestimmt; falls der Wert, der vom Stirnseitenbeurteilungsmodul 124a erzielt wird, 0 ist und der Wert, der vom Profilseitenbeurteilungsmodul 124b erzielt wird, 0 ist, wird das mögliche Gesicht weder als Profilseite noch als Stirnseite bestimmt.
Das Objektverfolgungsaufzeichnungsgerät 130 kann eine Vielzahl von ersten Gesichtsinformationen zu einer Vielzahl von Zeitpunkten aufzeichnen, so dass die Berechnung für die Gesichtsverfolgung durch Eintragung der möglichen Gesichtsinformation des Gesichtsdetektors 120 und der ersten Gesichtsinformation des Objektverfolgungsaufzeichnungsgeräts 130 in dem Relevanzabgleichsrechner 140 bearbeitet werden kann. Die Objektverfolgung kann durch das Vorhersagen der möglichen Bewegungsbahnen des Objekts oder durch Berechnen des Überschneidungsmaßes der Hautbereiche zu verschiedenen Zeitpunkten verwirklicht werden. Wir wählen das folgende Relevanzabgleichsverfahren, um das Ziel des Erkennens und Verfolgens einer Vielzahl von Gesichtern bei dieser Erfindung zu erreichen.
In einer Ausführungsform ist die erste Gesichtsinformation des Objektverfolgungsaufzeichnungsgeräts 130 in einer Zeit t – 1 wie folgt definiert:
{T^t-1 _n|n = 1, ..., N}, wobei N die Anzahl der Gesichter ist.
In dieser Ausführungsform ist die erste Gesichtsinformation (T^t-1 _n) des Objektverfolgungsaufzeichnungsgerät 130 wie folgt definiert:
Erscheinungsbild = Beschaffenheit, Farbe, Größe, ...
numStirnSeite = 0
numProfilSeite = 0
GesichtsKennzeichen = 0
NumVerdeckt = 0
Das oben erwähnte Objektverfolgungsaufzeichnungsgerät 130 zeichnet 1 bis N erste Gesichtsinformationen in einer Zeit t – 1 auf. Jede der ersten Gesichtsinformationen zeichnet die Erscheinungsbildinformationen des Gesichts, die Häufigkeit, mit der die Gesichtsinformationen als Stirnseite bestimmt wurden, die Häufigkeit, mit der die Gesichtsinformationen als Profilseite bestimmt wurden, die Gesichtsanzahl und die Häufigkeit, mit der das Gesicht verdeckt wurde, auf.
Erscheinungsbild = Beschaffenheit, Farbe, Größe, ... In dieser Gleichung erfasst das Erscheinungsbildregistriergerät 132 des Objektverfolgungsaufzeichnungsgeräts 130 die Erscheinungsbildinformation des Gesichts einschließlich der Beschaffenheit, Farben und Größen. Der Stirnseitenzähler 134a des Objektverfolgungsaufzeichnungsgeräts 130 benutzt numStirnSeite, um die Häufigkeit, mit der eine Gesichtsinformation als Stirnseite bestimmt wurde, zu zählen, wobei der Anfangswert des Stirnseitenzählers 134a 0 ist. Dann wird der Wert durch das Stirnseitenbeurteilungsmodul 124a des Gesichtsdetektors 120 erhöht. Der Profilseitenzähler 134b des Objektverfolgungsaufzeichnungsgeräts 130 benutzt numProfilSeite, um die Häufigkeit, mit der eine Gesichtsinformation als Profilseite bestimmt wurde, zu zählen, wobei der Anfangswert des Profilseitenzählers 134b 0 ist. Dann wird der Wert durch das Profilseitenbeurteilungsmodul 124b des Gesichtsdetektors 120 erhöht. Der Gesichtsanzahlkennzeichner 136 benutzt die Gesichtskennzeichen, um die verfolgte Gesichteranzahl zu kennzeichnen, wobei der Anfangswert des Gesichtsanzahlkennzeichners 136 0 ist. Dann wird der Wert um den Betrag der neu verfolgten Objekte erhöht. Wenn sich zwei verfolgte Objekte gegenseitig verdecken, kann ein Austausch der Gesichtszahlen des Objektverfolgungsaufzeichnungsgeräts 130 erfolgen. Jedoch beeinflusst der Austausch der Gesichtszahlen nicht das Ziel und den Nutzen dieser Erfindung. Der verdeckte Zähler 138 benutzt NumVerdeckt, um die Häufigkeit, mit der ein Gesicht verdeckt wurde, zu zählen. Wenn die Häufigkeit, bei der das Gesicht verdeckt wurde, einen Schwellenwert passiert, wird es so betrachtet, dass das Gesicht das Kamerasichtfeld bereits verlassen hat.
Der Relevanzabgleichsrechner 140 bearbeitet einen Eins-zu-Eins Ähnlichkeitsabgleich zwischen einer möglichen Gesichtsinformation und der ersten Gesichtsinformation, wobei der Gesichtsdetektor 120 die mögliche Gesichtsinformation zu einem zweiten Zeitpunkt bestimmt und das Objektverfolgungsaufzeichnungsgerät 130 die erste Gesichtsinformation zum ersten Zeitpunkt bestimmt. Der Eins-zu-Eins Ähnlichkeitsabgleich zwischen einer möglichen Gesichtsinformation und der ersten Gesichtsinformation wird durch die Erscheinungsbildinformation der möglichen Gesichtsinformation und durch die Erscheinungsbildinformation der ersten Gesichtsinformation bearbeitet. Der Prozentsatz stellt die Ähnlichkeit der beiden dar, und danach wird der Prozentsatz mit dem Schwellwert verglichen, um festzulegen, ob die mögliche Gesichtsinformation mit der ersten Gesichtsinformation übereinstimmt. Die Erscheinungsbildinformation des möglichen Gesichts und die Erscheinungsbildinformation des ersten Gesichts beinhalten die Beschaffenheit, Farben und Größen und der zweite Zeitpunkt folgt dem ersten Zeitpunkt.
Wenn der Ähnlichkeitsabgleich die vorgegebene Bedingung erreicht, aktualisiert die mögliche Gesichtsinformation zum zweiten Zeitpunkt die erste Gesichtsinformation zum ersten Zeitpunkt und erhält die zweite Gesichtsinformation zum zweiten Zeitpunkt. Wenn der Ähnlichkeitsabgleich keine vorgegebene Bedingung erreicht und das mögliche Gesicht das tatsächliche Gesicht ist, wird das mögliche Gesicht zum zweiten Zeitpunkt als zweite Gesichtsinformation zum zweiten Zeitpunkt betrachtet. Dann wird die zweite Gesichtsinformation zum zweiten Zeitpunkt dem Objektverfolgungsaufzeichnungsgerät 130 hinzugefügt und die Häufigkeit, mit der die erste Gesichtsinformation verdeckt wurde, wird erhöht. Wenn die Häufigkeit, mit der die erste Gesichtsinformation verdeckt wurde, den Grenzwert überschreitet, hat die erste Gesichtsinformation das Sichtfeld der Kamera verlassen. Ferner beinhaltet die oben erwähnte erste Gesichtsinformation eine Vielzahl von Gesichtsinformationen. Die folgende Ausführungsform veranschaulicht den Ähnlichkeitsabgleich zwischen der möglichen Gesichtsinformation und ersten Gesichtsinformation, um die zweite Gesichtsinformation zu erhalten.
In dieser Ausführungsform wird, wenn der Ähnlichkeitsabgleich die vorgegebene Bedingung erreicht, der Algorithmus, der die erste Gesichtsinformation zum ersten Zeitpunkt durch die mögliche Gesichtsinformation zum zweiten Zeitpunkt aktualisiert, wie folgt definiert:
T^t _j.Erscheinungsbild = S^t _i.Erscheinungsbild
T^t _j.numStirnSeite = T^t-1 _j.numStirnSeite + S^t _i.istStirnSeite
T^t _j.numProfilSeite = T^t-1 _j.numProfilSeite + S^t _i.istProfilSeite
T^t _j.numVerdeckt = 0
Wenn der Ähnlichkeitsabgleich die vorgegebene Bedingung erreicht, kann die zweite Gesichtsinformation zum zweiten Zeitpunkt mit dem Relevanzabgleichsrechner 140 erhalten werden, wobei der Relevanzabgleichsrechner 140 die erste Gesichtsinformation durch die zweite Gesichtsinformation zum zweiten Zeitpunkt aktualisiert. Im Algorithmus dieser Ausführungsform lautet die erste Gleichung T^t _j.Erscheinungsbild = S^t _i.Erscheinungsbild. In dieser Gleichung ersetzt die Erscheinungsbildinformation des möglichen Gesichts zum zweiten Zeitpunkt (S^t _i.Erscheinungsbild) die Erscheinungsbildinformation des ersten Gesichts zum ersten Zeitpunkt (T^t-1 _j.Erscheinungsbild). Wir können den Unterschied zwischen den Erscheinungsbildinformationen des Gesichts zu zwei Zeitpunkten vergleichen, wie zum Beispiel den Unterschied zwischen dem zehnten und ersten Zeitpunkt und den Unterschied zwischen dem zweiten und ersten Zeitpunkt. Aus allgemeinen Grundsätzen abgeleitet, ist der Unterschied des Ersten mit größerer Wahrscheinlichkeit größer als der des Letzten. Daher ersetzt die Erscheinungsbildinformation des möglichen Gesichts zum zweiten Zeitpunkt fortwährend die Erscheinungsbildinformation des ersten Gesichts zum ersten Zeitpunkt, so dass die Genauigkeit der zweiten Gesichtsinformation zum zweiten Zeitpunkt (T^t _j) erhöht werden kann.
Die zweite Gleichung lautet T^t-1 _j.numStirnSeite = T^t-1 _j.numStirnSeite + S^t _i.istStirnSeite, was bedeutet, ob das mögliche Gesicht zum zweiten Zeitpunkt als Stirnseite (S^t _i.istStirnSeite) erkannt wird. Das Ergebnis kann richtig oder falsch sein. Wenn das Ergebnis richtig ist, wird das mögliche Gesicht zum zweiten Zeitpunkt als Stirnseite erkannt, also erhält es den Wert 1. Wenn das Ergebnis falsch ist, wird das mögliche Gesicht zum zweiten Zeitpunkt nicht als Stirnseite erkannt, also erhält es den Wert 0. Wir können die Häufigkeit, mit der eine erste Gesichtsinformation zum ersten Zeitpunkt als Stirnseite (T^t-1 _j.numStirnSeite) bestimmt wurde, mit dem Wert erhöhen, der angibt, ob die mögliche Gesichtsinformation zum zweiten Zeitpunkt als Stirnseite erkannt wird, so dass die Häufigkeit, mit der die zweite Gesichtsinformation zum zweiten Zeitpunkt als die Stirnseite bestimmt wurde (T^t _j.numStirnSeite), erhalten wird.
Als Nächstes bestimmt die Gleichung T^t _j.numProfilSeite = T^t-1 _j.numProfilSeite + S^t _i.istProfilSeite, ob das mögliche Gesicht zum zweiten Zeitpunkt als Profilseite (S^t _i.istProfilSeite) erkannt wird. Das Ergebnis kann richtig oder falsch sein. Wenn das Ergebnis richtig ist, wird das mögliche Gesicht zum zweiten Zeitpunkt als Profilseite erkannt, also erhält es den Wert 1. Wenn das Ergebnis falsch ist, wird das mögliche Gesicht zum zweiten Zeitpunkt nicht als Profilseite erkannt, also erhält es den Wert 0. Wir können die Häufigkeit, mit der die erste Gesichtsinformation zum ersten Zeitpunkt als Profilseite (T^t-1 _j.numProfilSeite) bestimmt wurde, mit dem Wert erhöhen, der angibt, ob die mögliche Gesichtsinformation zum zweiten Zeitpunkt als Profilseite erkannt wird, so dass die Häufigkeit, mit der die zweite Gesichtsinformation zum zweiten Zeitpunkt als Profilseite erkannt wurde (T^t _j.numProfilSeite), erhalten wird.
Die letzte Gleichung T^t _j.numVerdeckt = 0 bedeutet, dass die Häufigkeit, mit der die zweite Gesichtsinformation zum zweiten Zeitpunkt verdeckt wurde, mit 0 bestimmt wird und die Häufigkeit, mit der sie verdeckt war, wird erhöht. Dann kann genau bestimmt werden, ob die Häufigkeit, mit der sie verdeckt war, erreicht wird, so dass der Grenzwert bestimmt wird, und ob das Gesicht das Sichtfeld der Kamera verlassen hat.
In einer Ausführungsform wird, wenn der Ähnlichkeitsabgleich keine vorgegebene Bedingung erreicht und das mögliche Gesicht das tatsächliche Gesicht ist, das mögliche Gesicht als neues Verfolgungsobjekt betrachtet und der zweiten Gesichtsinformation hinzugefügt. Unterdessen muss das Objekt in der Verfolgungsliste verdeckt werden, was bedeutet, dass die erste Gesichtsinformation zum zweiten Zeitpunkt (T^t-1 _k) als verdeckt bestimmt wird und die Häufigkeit, mit der es verdeckt wurde, wird erhöht, um die zweite Gesichtsinformation zum zweiten Zeitpunkt (T^t _k) zu aktualisieren. Der Algorithmus ist wie folgt definiert:
T^t _k.Erscheinungsbild = T^t-1 _k.Erscheinungsbild
T^t _k.numStirnSeite = T^t-1 _k.numStirnSeite
T^t _k.numProfilSeite = T^t-1 _k.numProfilSeite
T^t _k.numVerdeckt = T^t-1 _k.numVerdeckt + 1
Die erste Gleichung des Algorithmus in dieser Ausführungsform lautet T^t _k. Erscheinungsbild = T^t-1 _k.Erscheinungsbild. Nachdem ein Verfolgungsobjekt nicht erkannt werden kann, wird es zum zweiten Zeitpunkt immer noch als mögliches Gesicht betrachtet und die Erscheinungsbildinformation der möglichen Gesichtsinformation (T^t-1 _k.Erscheinungsbild) verbleibt als Erscheinungsbildinformation der zweiten Gesichtsinformation zum zweiten Zeitpunkt (T^t _k.Erscheinungsbild).
In den Gleichungen T^t _k.numStirnSeite = T^t-1 _k.NumStirnSeite und T^t _k.numProfilSeite = T^t-1 _k.NumProfilSeite verbleiben die Häufigkeiten, mit der das Verfolgungsobjekt als Stirnseite (T^t-1 _k.NumStirnSeite) und als Profilseite (T^t-1 _k.numProfilSeite) bestimmt wurden, bei der zweiten Gesichtsinformation zum zweiten Zeitpunkt. Wenn jedoch T^t _k.numVerdeckt = T^t-1 _k.numVerdeckt + 1, wird das Verfolgungsobjekt so betrachtet, als ob es durch andere Objekte verdeckt wurde. Wenn die Häufigkeit, mit der es verdeckt wurde, den Grenzwert überschreitet, wird es so betrachtet, als ob die erste Gesichtsinformation das Sichtfeld der Kamera verlassen hat.
Die zweite Gesichtsinformation zum zweiten Zeitpunkt, die durch das Objektverfolgungsaufzeichnungsgerät 130 aufgezeichnet wurde, wird in den Zählrechner 150 eingegeben, um die Anzahl der Leute vor der Kamera (numPassant) und der Leute, die die Werbeanzeige betrachten, zu berechnen (numBlick). Falls die zweite Gesichtsinformation als neues Gesicht bestimmt wird, wird der zweiten Gesichtsinformation eine Gesichtsnummer zugeordnet und die Anzahl der Leute vor der Kamera wird erhöht. Falls die zweite Gesichtsinformation als Verfolgungsobjekt, das weggegangen ist, bestimmt wird, dann wird bestimmt, ob die zweite Gesichtsinformation die digitale Anzeige betrachtet hat, und die Anzahl der Leute, die die Werbeanzeige betrachten, wird erhöht. Der Standard, um festzulegen, ob eine zweite Gesichtsinformation die digitale Anzeige betrachtet hat, ist das Überprüfen, ob die Häufigkeit, mit der verdeckt wurde, den Grenzwert überschreitet.
In einer Ausführungsform wird der Algorithmus wie folgt aufgezeigt:
Eingabe: numPassant, numBlick, T^t _n, n = 1, ..., N
Ausgabe: numPassant', numBlick', T^t _n', n' = 1, ..., N'
solange n < N ausführen
falls((T^t _n.numStirnSeite ! = 0)||T^t _n.numProfilSeite ! = 0) und (T^t _n.GesichtsKennzeichen = 0)
dann

T^t _n.GesichtsKennzeichen = numPassant

numPassant' ← numPassant + 1

falls (T^t _n.istVerdeckt > Grenzwert)
dann

falls (T^t _n.numStirnseite ! = 0)
dann

numBlick' ← numBlick + 1

lösche T^t _n
N' ← N' – 1
n ← n + 1
In dieser Erfindung wird das Verfahren zur Zählung der Personenanzahl zur Verfügung gestellt. Mit Verweis auf 2 wird ein Ablaufplan des Personenzählsystems gemäß einer Ausführungsform dieser Erfindung veranschaulicht. Zuerst wird eine erste Gesichtsinformation zu einem ersten Zeitpunkt im Speicher (Schritt 202) gespeichert. Dann wird ein Bild bestimmt, das einen Hautbereich darstellt oder nicht, wobei der zweite Zeitpunkt dem ersten Zeitpunkt folgt (Schritt 204). Der Hautbereich wird als tatsächliches Gesicht bestimmt oder nicht, falls der Hautbereich ein tatsächliches Gesicht ist, wird das tatsächliche Gesicht als Stirnseite oder als Profilseite bestimmt und das bestimmte Ergebnis wird als mögliche Gesichtsinformation aufgezeichnet (Schritt 206). Folgend wird ein eins-zu-eins Ähnlichkeitsabgleich zwischen einer möglichen Gesichtsinformation und der ersten Gesichtsinformation bearbeitet (Schritt 208). Letztendlich wird die Personenanzahl vor der Kamera gemäß den im Speicher gespeicherten Gesichtern bearbeitet (Schritt 210). Im Schritt 208 soll, wenn der Ähnlichkeitsabgleich eine vorgegebene Bedingung erreicht, die mögliche Gesichtsinformation benutzt werden, um die erste Gesichtsinformation zu aktualisieren (Schritt 208a). Wenn der Ähnlichkeitsabgleich keine vorgegebene Bedingung erreicht und das mögliche Gesicht das tatsächliche Gesicht ist, wird das mögliche Gesicht als eine zweite Gesichtsinformation betrachtet und dem Speicher hinzugefügt und die erste Gesichtsinformation wird als verdeckt gewesen bestimmt (Schritt 208b).
Zuerst wird in Schritt 202 eine erste Gesichtsinformation zu einem ersten Zeitpunkt im Speicher gespeichert. Eine Vielzahl von ersten Gesichtsinformationen zu einer Vielzahl von Zeitpunkten wird so aufgezeichnet, dass der Ähnlichkeitsabgleich durch Eingabe der möglichen Gesichtsinformationen und der ersten Gesichtsinformationen bearbeitet werden kann. Um die ersten Gesichtsinformationen zu einer Vielzahl von Zeitpunkten verfolgen zu können, kann das Verfolgungsverfahren von den möglichen Bewegungsbahnen der Objekte oder von der Wiederholungsanzahl der Erscheinungsbildinformationen der Hautbereiche Gebrauch machen. Der Ähnlichkeitsabgleich erreicht das Ziel der Erfindung, eine Vielzahl von Gesichtern zu erkennen und zu verfolgen.
In einer Ausführungsform zeichnet jede der ersten Gesichtsinformation die Erscheinungsbildinformation des Gesichts auf, die Häufigkeit, mit der die Gesichtsinformation als Stirnseite bestimmt wurde, die Häufigkeit, mit der die Gesichtsinformation als Profilseite bestimmt wurde, die Gesichtsnummer und die Häufigkeit, mit der das Gesicht verdeckt wurde. Die Erscheinungsbildinformation des Gesichts beinhaltet Beschaffenheit, Farben und Größen und die Gesichtsnummer kennzeichnet das mögliche Gesicht, das als tatsächliches Gesicht bestimmt wird, wobei der Anfangswert 0 ist. Dann wird der Wert um den Betrag der steigenden Verfolgungsobjekte erhöht. Wenn sich zwei Verfolgungsobjekte gegenseitig verdecken, kann ein Austausch der Gesichtsnummern erfolgen. Jedoch beeinflusst der Austausch der Gesichtsnummern nicht das Ziel und den Nutzen dieser Erfindung. In einer exemplarischen Ausführungsform der Erfindung wird das Gesicht, wenn es nicht erkannt werden kann, als verdeckt betrachtet. Wenn die Häufigkeit, mit der das Gesicht verdeckt wurde, den Grenzwert übersteigt, wird es so betrachtet, als ob das Gesicht das Aufzeichnungsgebiet der Kamera bereits verlassen hat.
Dann wird in Schritt 204 ein Bild als Hautbereich bestimmt oder nicht, wobei der zweite Zeitpunkt dem ersten Zeitpunkt folgt. In diesem Schritt wird das bekannte Hautbereichserkennungs- und -unterscheidungsverfahren verwendet. Zum Beispiel wird die Erscheinungsbildinformation eines Bildbereichs untersucht, die die Beschaffenheit, Farben und Größen beinhaltet, um eine Vielzahl von Hautbereichen zu erhalten. Wenn das durch die Kamera eingefangene Bild als Hautbereich erkannt wird oder nicht, wird ein vollständiger Hautbereich nicht in mehrere Teile aufgeteilt. Zum Beispiel wird der Hautbereich des Gesichts nicht in den Hautbereich der Stirn, in den Hautbereich der Nase und in den Hautbereich der Backen aufgeteilt. Der Hautbereich der Hand wird auch nicht in den Hautbereich der fünf Finger, den Hautbereich der Handrücken und den Hautbereich der Handflächen aufgeteilt.
Nachdem die Hautbereiche erhalten wurden, wird in Schritt 206 der Hautbereich als tatsächliches Gesicht bestimmt oder nicht, und falls der Hautbereich ein tatsächliches Gesicht ist, wird das tatsächliches Gesicht als Stirnseite oder als Profilseite bestimmt und das bestimmte Ergebnis wird als mögliche Gesichtsinformation aufgezeichnet. In einer exemplarischen Ausführungsform wird, um festzulegen, ob der Hautbereich ein tatsächliches Gesicht ist, der Hautbereich mit den relativen Positionen der Gesichtsmerkmale in einer Erscheinungsbildregistrierdatenbank verglichen oder die Rundungen der Gesichtsmerkmale werden berechnet. Außerdem wird auch bestimmt, ob das mögliche Gesicht eine Stirnseite oder eine Profilseite ist. Es gibt vier Situationen, die nachfolgend aufgeführt werden: das mögliche Gesicht ist die Stirnseite, aber nicht die Profilseite; das mögliche Gesicht ist nicht die Stirnseite, aber die Profilseite; das mögliche Gesicht ist die Stirnseite, ist aber auch die Profilseite; das mögliche Gesicht ist weder die Stirnseite, noch die Profilseite.
Falls das mögliche Gesicht als tatsächliches Gesicht bestimmt wurde, werden die oben erwähnten Bedeutungen der vier Situationen wie folgt aufgelistst: Wenn das mögliche Gesicht als tatsächliches Gesicht und als Stirnseite bestimmt wird, „betrachtet” das tatsächliche Gesicht die Werbung jetzt. Wenn das mögliche Gesicht als tatsächliches Gesicht und als Profilseite bestimmt wird, „betrachtet” das tatsächliche Gesicht die Werbung jetzt „nicht”. Wenn das mögliche Gesicht als tatsächliches Gesicht, gleichzeitig als Stirnseite und als Profilseite bestimmt wird, ist es in dieser Erfindung bestimmt, dass das tatsächliche Gesicht die Werbung jetzt „betrachtet”. Zusammenfassend ist dann, wenn das mögliche Gesicht als tatsächliches Gesicht bestimmt ist, das tatsächliche Gesicht die Stirnseite oder die Profilseite. Wenn jedoch das mögliche Gesicht nicht als Stirnseite bestimmt wird und auch nicht als Profilseite, ist das mögliche Gesicht teilweise verdeckt, so dass die vollständige Information nicht erhalten werden kann, um das Gesicht zu erkennen.
Danach wird in Schritt 208 ein eins-zu-eins Ähnlichkeitsabgleich zwischen der möglichen Gesichtsinformation zum zweiten Zeitpunkt und der ersten Gesichtsinformation zum ersten Zeitpunkt bearbeitet. Der Eins-zu-Eins Ähnlichkeitsabgleich zwischen einer möglichen Gesichtsinformation und der ersten Gesichtsinformation wird durch die Erscheinungsbildinformation der möglichen Gesichtsinformation und durch die Erscheinungsbildinformation der ersten Gesichtsinformation bearbeitet. Der Prozentsatz stellt die Ähnlichkeit der beiden dar, und danach wird mit dem Grenzwert verglichen, um festzulegen, ob die mögliche Gesichtsinformation mit der ersten Gesichtsinformation übereinstimmt. Die Erscheinungsbildinformation des möglichen Gesichts und die Erscheinungsbildinformation des ersten Gesichts beinhalten die Beschaffenheit, Farben und Größen und der zweite Zeitpunkt folgt dem ersten Zeitpunkt.
Der Schritt 208a wird bearbeitet, wenn der Ähnlichkeitsabgleich eine vorgegebene Bedingung erreicht, die erste Gesichtsinformation zum ersten Zeitpunkt durch die mögliche Gesichtsinformation zum zweiten Zeitpunkt aktualisiert ist und die zweite Gesichtsinformation zum zweiten Zeitpunkt erhalten wurde.
Der Schritt 208b wir bearbeitet, wenn der Ähnlichkeitsabgleich keine vorgegebene Bedingung erzielt und das mögliche Gesicht das tatsächliche Gesicht ist. Das mögliche Gesicht zum zweiten Zeitpunkt wird als zweite Gesichtsinformation zum zweiten Zeitpunkt betrachtet. Die Häufigkeit, mit der die erste Gesichtsinformation verdeckt wurde, wird erhöht. Ferner beinhaltet die oben erwähnte erste Gesichtsinformation eine Vielzahl von Gesichtsinformationen.
Letztendlich wird in Schritt 210 die Personenanzahl vor der Kamera gemäß den im Speicher gespeicherten Gesichtern gezählt. Falls die zweite Gesichtsinformation als neues Gesicht bestimmt wird, wird der zweiten Gesichtsinformation eine Gesichtsnummer zugewiesen und die Anzahl der Passanten wird erhöht. Falls die zweite Gesichtsinformation als Verfolgungsobjekt, das weggegangen ist, bestimmt wird, dann wird die betrachtende Personenanzahl dann erhöht, wenn die zweite Gesichtsinformation die digitale Anzeige betrachtet hat. Der Standard zur Festlegung, ob die zweite Gesichtsinformation die digitale Anzeige betrachtet hat, ist durch die Überprüfung gegeben, ob die zweite Gesichtsinformation als Stirnseite erkannt wurde.
Der Vorteil der mehrfachen Gesichtserkennung und -verfolgung in dieser Erfindung ist, die Hautbereiche durch die Erkennung der Stirnseite und der Profilseite schnell zu sichern und dass die Hautbereiche als tatsächliches Gesicht bestimmt werden oder nicht. Wenn beim Bearbeiten der Gesichtsverfolgung das Gesicht für einen kurzen Augenblick verdeckt wurde, ist dies für eine Reduzierung der Fehleineinschätzungen akzeptabel. Die unten erwähnte Information kann durch das System zur Zählung der Personenanzahl erhalten werden: die Personenanzahl vor der Kamera, die die Kamera passiert (numPassant) und die Information der Personenanzahl, die die digitale Anzeige betrachten (numBlick). Wenn jedes Verfolgungsgesicht das Sichtfeld der Kamera verlasst, werden die Elemente der Gesichtsinformation, numStirnSeite und numProfilSeite, die die Betrachtungsdauer und entsprechend die Dauer des Nichtbetrachtens der digitalen Anzeige darstellen, benutzt, um das Verhältnis zwischen Personenanzahl und dem Nutzen der Werbeanzeige auszuwerten.
3 zeigt einen Auswertungsgrafik 300 zum Leutezählen. In dieser Erfindung wird die beispielhafte Ausführungsform für drei analytische Verfahren zum Zählen der Personenanzahl und die Anwendung multimedialer Interaktion zur Verfügung gestellt. Die Auswertungsgrafik zum Leutezählen 300 beinhaltet einen Leute- im Verhältnis zur-Zeit Farbbalken 302a, ein Aufmerksamkeitsmaßhistogramm 304, einen Werbungsanziehungsindex 306a und eine multimediale Interaktionsmitteilungstafel 308. Der Leute- im Verhältnis zur-Zeit Farbbalken 302a beinhaltet ferner einen Personenanzahl Farbbalken 302b, und der Werbungsanziehungsindex 306a beinhaltet ferner eine Werbungsnutzeneinschätzung 306b.
Der Leute- im Verhältnis zur-Zeit Farbbalken 302a verwendet eine Vielzahl von Farben, um die Personenanzahl vor der Kamera zu kennzeichnen, wobei die Kennzeichnungsposition zu verschiedenen Zeitpunkten auf der Zeitachse ermittelt wird. Die durch den Personenanzahl Farbbalken 302b ausgegebenen Farben stellen die Personenanzahl auf dem Personen- im Verhältnis zur-Zeit Farbbalken 302a dar. Mit den unterschiedlichen Farben und der Zeitachse können wir allgemein die beliebte und unbeliebte Zeit in Echtzeit wissen. Der Leute- im Verhältnis zur-Zeit Farbbalken 302a kann angezeigt oder verborgen werden. In 3 stellen zehn Farben die Personenanzahl von 0 bis 9 dar. Jedoch wird die Personenanzahl nicht durch diese Ausführungsform begrenzt.
Das Aufmerksamkeitsmaßhistogramm 304 stellt das Aufmerksamkeitsmaß, mit dem die Passanten die digitale Anzeige betrachten, dar, wobei das Aufmerksamkeitsmaßhistogramm 304 in 5 Maßeinheiten aufgeteilt werden kann, gemäß dem Aufmerksamkeitsmaß: groß, mittelgroß, mittel, mittelklein und klein. Das Aufmerksamkeitsmaßhistogramm 304 wird anstatt mit Zahlen mit einem bunten Histogramm dargestellt. Die Maßeinheiten werden durch das Berechnen des Prozentsatzes der Zeit, in der die Gesichter die digitale Anzeige „betrachten” oder „nicht betrachten”, erhalten und dann werden die Ergebnisse auf die fünf Maßeinheiten konvertiert.
In einer beispielhaften Ausführungsform wird die Formel für die fünf Maßeinheiten wie folgt aufgezeigt: NumStirnSeiteNumStirnSeite + numProfilSeite
Der Werbungsanziehungsindex 306a zeigt wie groß die Anziehung der Werbeanzeige auf die Passanten ist, wenn die Werbeanzeige ausgestrahlt wird. Der Werbungsanziehungsindex 306a gehört zur Werbungsnutzeneinschätzung 306b. Der Werbungsanziehungsindex 306a wird durch die Personenanzahl im Sichtfeld der Kamera in einem gewissen Zeitraum (numPassant) und durch die Personenanzahl, die die elektronische Anzeige betrachten (numBlick), erhalten. Die Formel wird wie folgt aufgezeigt: numBlicknumPassant
Falls der bestimmte Zeitraum als Ausstrahlungszeitraum für die Werbeanzeige bestimmt wird, kann die Anziehung des Ausstrahlungszeitraums für eine Werbeanzeige erhalten werden, so dass die gemessene und objektivere Werbungsnutzeneinschätzung 306b erhalten werden kann. Ferner kann eine Vielzahl von Werbeanzeigen gleichzeitig ausgestrahlt werden, so dass der Ausstrahlungszeitraum für die Werbeanzeigen gemäß der Zeitachse angegeben werden kann. Die Werbungsnutzeneinschätzung 306b und der Personen- im Verhältnis zur-Zeit Farbbalken 302a werden aufeinander abgestimmt, um die Bedeutung zwischen der Personenanzahl, der Zeit und den Werbungsnutzen aufzuzeigen.
Die multimediale Interaktionsmitteilungstafel 308 kann anderen Bilder oder eine visuelle Sprachnachricht senden, wenn Freunde zu einer Verabredung kommen und sich nicht finden können. Die Suche zur Partnerabstimmung ist ebenso eine Anwendung. Zum Beispiel findet das System einen besten Partner vor einer digitalen Anzeige nach der Eingabe der Abstimmungsvoraussetzungen. Die Erfindung kann angewendet werden, um Zufallszahlen zu erzeugen, um Preisträger vor der digitalen Anzeige aufzugreifen, wenn vor der digitalen Anzeige eine Lotterie ausgetragen wurde, die ebenso die Verbraucher anziehen kann. Ferner kann die Erfindung angewendet werden, um vermisste Demenzpatienten zu finden. Nachdem die Bilder des Patienten in das System eingegeben wurden, verfolgt dieses automatisch. Falls das System die Ziele entdeckt, ertönt ein Alarm, um die Passanten aufzufordern, Hilfe zur Verfügung zu stellen, oder direkt mit der Polizei zu verbinden. Die multimediale Interaktionsmitteilungstafel 308 ist nur ein Beispiel für eine örtliche Serviceanwendung. Mit der Funktion ein Gesicht beim Betrachten einer digitalen Anzeige zu erkennen, kann die örtliche Serviceanwendung entwickelt werden. Dies kann vom Mobiltelefonservice und der Internetverbindung durch Computer abgegrenzt werden und stellt eine freundlichere örtliche Serviceanwendung zur Verfügung. Zuerst werden die die digitale Anzeige betrachtenden Gesichter als mögliche Verbraucher erfasst und rechts am Erkennungsbildschirm gezeigt, wie es durch die multimediale Interaktionsmitteilungstafel 308 gezeigt wurde. Falls ein Verbraucher an der Werbeanzeige interessiert ist, kann der Verbraucher dafür den Bluetoothservice, das Senden von Kurzmitteilungen auf Mobiltelefone oder das Anklicken seines eigenen Bildes auf dem Berührungspanel benötigen, das durch die drahtlose Verbindungstechnologie übertragen wird. Daher kann das System verschiedene Anforderungen erwidern und die Kommunikation mit den Verbrauchern herstellen, so dass die Interaktionsanwendung weiterentwickelt werden kann. Die Anwendungen der Erfindung können es nicht nur zulassen, dass es jeder Verbraucher bedient, sondern können für jeden Verbraucher ebenso einen persönlichen Service zur Verfügung stellen. Die oben erwähnten Ausführungsformen basieren alle auf der Erfindung, also kann der gewerbliche Wert der Erfindung nicht unterschätzt werden.
Wir müssen die Stärken kennen, um die Erfindung der oben erwähnten Ausführungsformen anzuwenden. Die Erfindung stellt eine Bewertung und ein Analyseverfahren zur Verfügung, das auf die Zählung der Personenanzahl, die die digitale Anzeige betrachten, angewendet wird. Nach dem Erhalten der Verfolgungsinformationen von einer Vielzahl von Gesichtern wird die Auswertung des Werbenutzens bearbeitet. Der Stand der Technik, der auf der Technologie der Gesichtserkennung basierte, kann nur die Menge der Gesichter zu jedem Zeitpunkt erkennen. Verglichen mit dem Stand der Technik, kann die Erfindung die Gesichter verfolgen. Ungeachtet dessen, kann die Erfindung die Information der Passanten, die die Werbeanzeigen betrachten, erhalten und ein Histogramm über das Aufmerksamkeitsmaß erstellen. Außerdem wird die Bedeutung zwischen der Personenanzahl und der Werbeanzeige durch einen Farbbalken und eine Zeitachse ausgedrückt, so dass die Auswertung des Werbungsnutzens visuell zur Verfügung gestellt wird, wodurch die Werbefachleute die beste Auswahl treffen können.
Die Erfindung kann bei industriellen Computer als digitale Anzeige verwendet werden. Sie kann den Werbefachleuten eine objektivere und genauere Auswertung des Werbenutzens zur Verfügung stellen, um die bessere Auswahl der Werbungszeit zu treffen, und kann ihre selbst hergestellten industriellen Computer nützlicher machen. Die Erfindung gehört zur wegweisenden und intelligenten Technologie, ungeachtet der Anwendung auf Sicherheitsüberwachung kann es in multimedialen Interaktionsanwendungen weiterentwickelt werden und daher verschiedene Arten von gewerblichen Diensten zur Verfügung stellen. Da die Erfindung Webcams verwendet, um visuell zu überwachen, kann sie automatisch längerfristige Überwachungen bearbeiten, also kann sie leicht auf Sicherheitsüberwachungen ausgeweitet werden. Ferner hat die Erfindung die Auswertung des Werbenutzens automatisch bearbeitet, also kann sie die Minimalkosten und den besten Nutzen zur Verfügung stellen. Bei der Erfindung müssen die Betrachter nicht in einem speziellem Bereich stehen oder irgendeinen drahtlosen Sensor tragen, um erkannt zu werden. Daher kann sie geringe Kosten und großen praktischen Nutzen zur Verfügung stellen.
Obwohl die vorliegende Erfindung mit Bezug auf bestimmte Ausführungsformen von ihr in beträchtlichen Details beschrieben wurde, sind andere Ausführungsformen möglich. Deshalb wird es für Durchschnittsfachleute offensichtlich sein, dass verschiedenen Modifikationen und Variationen mit dem Aufbau der vorliegenden Erfindung gemacht werden können, ohne über den Schutzbereich oder den Geist der Erfindung hinauszugehen. In Anbetracht des Vorangegangenen ist es beabsichtigt, dass die vorliegenden Erfindung Modifikationen und Variationen abdeckt, sofern sie unter den Schutzbereich der folgenden Ansprüche fallen.

Claims

System zur Zählung der Personenanzahl mit: einem Objektverfolgungsaufzeichnungsgerät (130) zum Aufzeichnen einer ersten Gesichtsinformation zu einem ersten Zeitpunkt; einem Hautbereichsdetektor (110) zur Festlegung, ob ein von der Kamera zu einem zweiten Zeitpunkt eingefangenes Bild ein Hautbereich ist, wobei der zweite Zeitpunkt auf den ersten Zeitpunkt folgt; einem Gesichtsdetektor (120) zur Festlegung, ob der Hautbereich ein tatsächliches Gesicht ist; falls der Hautbereich ein tatsächliches Gesicht ist, wird das tatsächliche Gesicht als Stirnseite oder als Profilseite bestimmt und das bestimmte Ergebnis wird als eine mögliche Gesichtsinformation aufgezeichnet; einem Relevanzabgleichsrechner (140) zum Bearbeiten eines Eins-zu-Eins Ähnlichkeitsabgleich zwischen einer möglichen Gesichtsinformation und der ersten Gesichtsinformation, wobei, wenn der Ähnlichkeitsabgleich eine vorgegebene Bedingung erreicht, die mögliche Gesichtsinformation die erste Gesichtsinformation aktualisiert, und wobei, wenn der Ähnlichkeitsabgleich keine vorgegebene Bedingung erreicht und das mögliche Gesicht das tatsächliche Gesicht ist, das mögliche Gesicht als zweite Gesichtsinformation betrachtet wird und dem Objektverfolgungsaufzeichnungsgerät hinzugefügt wird und die erste Gesichtsinformation als verdeckt bestimmt wird; und einem Zählrechner (150) zum Zählen der Personenanzahl vor der Kamera, gemäß den Gesichtern, die durch das Objektverfolgungsaufzeichnungsgerät (130) aufgezeichnet wurden.
System zur Zählung der Personenanzahl gemäß Anspruch 1, wobei der Gesichtsdetektor (120) umfasst: ein Erscheinungsbildregistriergerät (122), zum Aufzeichnen der Erscheinungsbildregistrierung des möglichen Gesichts; ein Stirnseitenbeurteilungsmodul (124a), zur Festlegung, ob das mögliche Gesicht eine Stirnseite ist; und ein Profilseitenbeurteilungsmodul (124b) zur Festlegung, ob das mögliche Gesicht eine Profilseite ist.
System zur Zählung der Personenanzahl gemäß Anspruch 1, wobei, wenn das mögliche Gesicht gleichzeitig als Stirnseite und als Profilseite bestimmt wird, der Gesichtsdetektor (120) das mögliche Gesicht als Stirnseite bestimmt.
System zur Zählung der Personenanzahl gemäß Anspruch 1, wobei das Objektverfolgungsaufzeichnungsgerät (130) umfasst: ein Erscheinungsbildregistriergerät (132) zum Aufzeichnen einer Erscheinungsbildinformation eines Gesichts; ein Stirnseitenzähler (134a) zum Zählen der Häufigkeit, mit der eine Gesichtsinformation als Stirnseite bestimmt worden ist; ein Profilseitenzähler (134b) zum Zählen der Häufigkeit, mit der eine Gesichtsinformation als Profilseite bestimmt worden ist; einen Gesichtsanzahlkennzeichner (136) zur Kennzeichnung eines jeden möglichen Gesichts, das als Gesicht bestimmt wurde; und einen verdeckten Zähler (138) zum Zählen der Häufigkeit, mit der ein Gesicht verdeckt wurde.
System zur Zählung der Personenanzahl gemäß Anspruch 1, wobei ein Relevanzabgleichsrechner (140) einen Eins-zu-Eins Ähnlichkeitsabgleich mittels der Erscheinungsbildinformation der möglichen Gesichtsinformation und der Erscheinungsbildinformation der ersten Gesichtsinformation zum ersten Zeitpunkt bearbeitet.
System zur Zählung der Personenanzahl gemäß Anspruch 5, wobei die Erscheinungsbildinformation Beschaffenheiten, Farben und Größen umfasst.
System zur Zählung der Personenanzahl gemäß Anspruch 5, wobei eine Vielzahl von ersten Gesichtsinformationen zum ersten Zeitpunkt umfasst sind.
System zur Zählung der Personenanzahl gemäß Anspruch 4, wobei, wenn die Häufigkeit, mit der ein Gesicht verdeckt wurde, einen Grenzwert überschreitet, die erste Gesichtsinformation betrachtet wird, als ob sie das Sichtfeld der Kamera verlässt.
System zur Zählung der Personenanzahl gemäß Anspruch 1, ferner wenigstens eine digitale Anzeige umfassend.
System zur Zählung der Personenanzahl gemäß Anspruch 9, wobei die Personenanzahl auf der digitalen Anzeige angezeigt werden kann und die Personenanzahl vom Zählrechner (150) gezählt wird.
Verfahren zur Zählung der Personenanzahl, umfassend: eine erste Gesichtsinformation (202) wird zu einem ersten Zeitpunkt im Speicher gespeichert; ein Bild wird als Hautbereich bestimmt (204) oder nicht, wobei das Bild zum zweiten Zeitpunkt eingefangen wird und der zweite Zeitpunkt dem ersten Zeitpunkt folgt; der Hautbereich wird als tatsächliches Gesicht bestimmt (206) oder nicht, falls der Hautbereich ein tatsächliches Gesicht ist, wird das tatsächliche Gesicht als Stirnseite oder als Profilseite bestimmt und das bestimmte Ergebnis wird als mögliche Gesichtsinformation aufgezeichnet; ein eins-zu-eins Ähnlichkeitsabgleich (208) wird zwischen einer möglichen Gesichtsinformation und der ersten Gesichtsinformation bearbeitet, wenn der Ähnlichkeitsabgleich eine vorgegebene Bedingung erreicht, soll die mögliche Gesichtsinformation benutzt werden, um die erste Gesichtsinformation zu aktualisieren (208a), und wenn der Ähnlichkeitsabgleich keine vorgegebene Bedingung erreicht und das mögliche Gesicht das tatsächliche Gesicht ist, wird das mögliche Gesicht als eine zweite Gesichtsinformation betrachtet und dem Speicher hinzugefügt und die erste Gesichtsinformation wird als verdeckt gewesen bestimmt (208b); und die Personenanzahl vor der Kamera wird gemäß den im Speicher gespeicherten Gesichtern gezählt (210).
Verfahren zur Zählung der Personenanzahl gemäß Anspruch 11, wobei, wenn das tatsächliche Gesicht gleichzeitig als Stirnseite und als Profiseite bestimmt wurde, das tatsächliche Gesicht als Stirnseite bestimmt wird.
Verfahren zur Zählung der Personenanzahl gemäß Anspruch 11, ferner umfassend: eine Häufigkeit, mit der eine Gesichtsinformation verdeckt wurde, wird gezählt.
Verfahren zur Zählung der Personenanzahl gemäß Anspruch 11, wobei der eins-zu-eins Ähnlichkeitsabgleich (208) durch eine Erscheinungsbildinformation der möglichen Gesichtsinformation und eine Erscheinungsbildinformation der ersten Gesichtsinformation bearbeitet wird.
Verfahren zur Zählung der Personenanzahl gemäß Anspruch 14, wobei die Erscheinungsbildinformation Beschaffenheiten, Farben und Größen umfasst.
Verfahren zur Zählung der Personenanzahl gemäß Anspruch 13, wobei, wenn die Häufigkeit, bei der ein Gesicht verdeckt wurde, einen Grenzwert überschreitet, die erste Gesichtsinformation betrachtet wird, als ob sie das Sichtfeld der Kamera verlässt.
Verfahren zur Zählung der Personenanzahl gemäß Anspruch 11, ferner umfassend eine Auswertungsgrafik (300) zum Zählen der Personenanzahl, um die Personenanzahl anzuzeigen, wobei die Auswertungsgrafik (300) zum Zählen der Personenanzahl umfasst: ein Aufmerksamkeitsmaßhistogramm (304), wobei eine Vielzahl von verschieden Farben im Histogramm verwendet wird (304), um das Aufmerksamkeitsmaß der Personen, die durch die Werbeanzeige auf der elektronischen Anzeige angezogen sind, anzuzeigen; einen Personen- im Verhältnis zur-Zeit Farbbalken (302a), wobei eine Vielzahl verschiedener Farben die Personenanzahl vor der Kamera zu verschiedenen Zeitpunkten anzeigt; und eine multimediale Interaktionsmitteilungstafel (308).