DE69926864T2

DE69926864T2 - Farbquantisierung und ähnlichkeitsmass für die auf dem ihnalt basierte wiederauffindung von bildern

Info

Publication number: DE69926864T2
Application number: DE69926864T
Authority: DE
Inventors: Santhana Krishnamachari
Original assignee: Koninklijke Philips Electronics NV
Current assignee: Koninklijke Philips NV
Priority date: 1998-07-06
Filing date: 1999-06-29
Publication date: 2006-07-06
Anticipated expiration: 2019-06-30
Also published as: EP1040403A2; JP2002520688A; WO2000002111A2; KR20010023667A; KR100649338B1; WO2000002111A3; US20010053249A1; EP1040403B1; DE69926864D1; US7215791B2; US6721449B1

Description

Bereich der Erfindung
Die vorliegende Erfindung bezieht sich im Allgemeinen auf den Bereich der Computer und insbesondere auf das Wiederauffinden von Bildern aus großen Bild-Dateien, wie Fotoarchiven, digitalen Bibliotheken, Katalogen und Videos.
Hintergrund der Erfindung
Üblicherweise werden mehrere Techniken angewandt zum Wiederauffinden von Bilder, die in einer Datei gespeichert sind. Die meist konventionelle Technik zum Speichern und Wiederauffinden von Bildern, die mit einer gewünschten Charakteristik übereinstimmt, ist, Schlüsselwörter mit jedem Bild zu assoziieren, wie "Portrait", "Seelandschaft", "Gebirge", "Präsidenten". Wenn derartige Schlüsselwörter mit den Bildern assoziiert sind, schickt ein Benutzer ein oder mehrere Suchwörter zu dem Such- oder Wiederauffindungssystem und das System präsentiert ein oder mehrere Bilder in Abhängigkeit von dem Grad der Übereinstimmung zwischen den Suchwörtern und den gespeicherten Schlüsselwörtern. Herkömmliche Internet-Suchmaschinen sind Beispiele derartiger text-basierter Auffindungsmittel.
Text-basierte Bildwiederauffindung erfordert aber die Kategorisierung jedes Bildes durch Schlüsselwörter, was ein zeitaufwendiger Prozess sein kann, wenn es auf Hunderte oder Tausende von Bildern angewandt wird; auch die individuelle Wahl von Schlüsselwörtern begrenzt die Effektivität der Suche auf den Grad der Übereinstimmung zwischen den Wörtern, die der Kategorisierer benutzte zum Beschreiben der gespeicherten Bilder und die Wörter, die der Sucher benutzt um das gewünschte Bild zu beschreiben.
Graphik-basiertes Wiederauffinden ist eine mehr intuitive Annäherung um Bilder wieder aufzufinden. Herkömmliche Graphik-basierte Wiederauffindungssysteme benutzen mehrere Formen von Farb- oder Musterübereinstimmung. Ein Graphik-basiertes System aber kann rechnerisch aufwendig sein. Computerbilder werden typischerweise als eine Gliederung von Tausenden Pixeln gespeichert, und das Farbe jedes der Tausenden von Pixeln wird als eine 24-Bit Rot-Grün-Blau-Wert (RGB-Wert) gespeichert. Der Vergleich eines Zielbildes mit einer Sammlung Bezugsbilder auf Basis dieser Tausenden von 24-Bit Werten ist rechnerisch unpraktisch und ein pixelweiser Vergleich kann nicht ein Maß der Übereinstimmung schaffen, die mit dem menschlichen Gesichtsvermögen korreliert. Praktische Graphik-basierte Systeme kennzeichnen deswegen ein Bild auf Basis einer Abstraktion des Bildes und die Vergleiche mit Bildern sind auf Abstraktionen basiert. Die herkömmlichen Abstraktionen umfassen eine Aufteilung des Bildes in eine Gliederung von Aufteilungen, wobei die Anzahl Aufteilungen wesentlich geringer ist als die Anzahl Pixel in dem Bild. Vergleiche von Bildern basieren auf einem vergleich jeder entsprechenden Aufteilung in den Bildern, eher als ein Vergleich jedes entsprechenden Pixels in den Bildern.
Die herkömmlichen Abstraktionen umfassen ebenfalls eine Quantisierung des Farbwertes in einen kleineren, weniger genauen Farbwert. So kann beispielsweise ein 24-Bit RGB-Wert in eine von 64 gemeinsamen Farben quantisiert werden, beispielsweise den 64 Farben, die in einem Kasten von 64 Malstiften vorhanden sind. Eine derartige Abstraktion hält die wesentlichen Farbqualitäten des Bildes fest, benutzt aber nur 6-Bits je Pixel, statt 24. Unter Verwendung dieser Quantisierung werden die Kennzeichen einer Aufteilung eines Bildes als ein Histogramm der Anzahl Auftritte von Pixeln jedes quantisierten Farbwertes innerhalb der Aufteilung codiert.
Ein Vergleich der Histogramme, welche die Farben in jeder Aufteilung in den Bildern darstellen, kann ein Maß der Übereinstimmung zwischen Bildern liefern. Histogramme sind aber durch ihre Art multidimensional. Ein Vergleich zwischen zwei Histogrammen ist multidimensional und schafft nicht unmittelbar ein einwertiges Maß der Übereinstimmung. Herkömmliche statistische Methoden zum Vergleichen der Einzahl Auftritte von Ereignissen, basiert beispielsweise auf einem Chi-2-Unabhängigkeitstest, können zum Vergleichen von Histogrammen angewandt werden. Herkömmliche Verfahren, die angewandt werden zum Vergleichen von Histogrammen berücksichtigen aber nicht die Empfindlichkeiten des menschlichen Wahrnehmungssystems. So können beispielsweise von den 64 quantisierten Farben, wie oben beschrieben, viele Schattierungen von Grün geschaffen werden, einschließlich "efeugrün" und "smaragdgrün". Das eine Bild kann eine beträchtliche Anzahl Auftritte der quantisierten "efeugrünen" Farbe enthalten, während ein anderes Bild eine beträchtliche Anzahl Auftritte der quantisierten "smaragdgrünen" Farbe enthalten kann. Ein herkömmlicher Histogrammvergleicher würde nicht unbedingt eine Übereinstimmung zwischen diesen Bildern ermitteln, weil sie "verschiedene" Farben enthalten. Wenn die Anzahl Quantisierungspegel reduziert werden, beispielsweise auf die sechs primärfarben plus Schwarz und Weiß, wird dieses Problem dadurch eliminiert, dass alle Schattierungen von grün auf denselben "Grün"-Wert quantisiert werden. Eine derartige Reduktion aber wird eine Fähigkeit zum Identifizieren einer stärkeren Übereinstimmung zwischen Bildern ausschließen, die im Wesentlichen übereinstimmende Farbschattierungen haben, wie "efeugrün" und "smaragdgrün".
Das herkömmliche Verfahren der Quantisierung von Farben benutzt auch eine a priori Determinierung der Quantisierungspegel. Die Wahl der 64 Farben eines üblichen Kastens mit Farbstiften kann ein effektives Quantisierungsschema für Bilder im Allgemeinen schaffen, aber es kann sein, dass es nicht geeignet ist für alle Dateisammlungen. Wenn beispielsweise die Bilderdatei eine Datei von Portraits ist, die viele Schattierungen von Grün oder Violett hat, würde diese nicht die gleichen unterscheidenden Fähigkeiten schaffen wie variierende Haarfarben- und Fleischfarbenschattierungen.
In einer veröffentlichten Europäischen Patentanmeldung Nr. EP 0713186 ist ein Bildwiederauffindungsgerät beschrieben worden zum Wiederauffinden von Bilddaten, die ein Bild enthalten entsprechend einem bestimmten wieder aufzufindenden Bild. Eine derartige Wiederauffindung benutzt Bildbeschreibungsinformation als Bezugsinformation. Die Bildbeschreibungsinformation beschreibt Information für einzelne Gebiete des Bildes. Das Gerät umfasst einen Einzelgebietprozessor zum Detektieren eines Einzelgebietes in dem zugeordneten Bild aus den Einzelgebieten entsprechend den zu suchenden Einzelgebieten in dem Bild und dem zugeordneten Bild. Weiterhin umfasst das Gerät auch einen Sammelgebietprozessor zum Erhalten eines Sammelgebietes als eine Kombination der Einzelgebiete in dem zugeordneten Bild entsprechend den Kombinationen der Einzelgebiete und des zugeordneten Bildes. Weiterhin umfasst das Gerät auch einen Übereinstimmungsdetektor zum Berechnen einer Übereinstimmung zwischen dem Sammelgebiet und dem zugeordneten Bild. Außerdem umfasst das Gerät eine Suchanordnung zum Suchen von Bilddaten entsprechend der von dem Übereinstimmungsdetektor berechneten Übereinstimmung.
Deswegen gibt es ein Bedürfnis nach einem Verfahren und ein Gerät, das ein Übereinstimmungsmaß zwischen Bildern schafft, das auf dem menschlichen Wahrnehmungssystem basiert. Es gibt ebenfalls ein Bedürfnis nach einem Verfahren und ein Gerät, das einen Vergleich zwischen Bildern schafft, basiert auf dem erwarteten Farbinhalt der Bilder.
Die vorliegende Erfindung ist in dem Hauptanspruch bzw. in den Hauptansprüchen definiert. Die Nebenansprüche definieren die vorteilhaften Ausführungsformen.
Im Allgemeinen schafft die vorliegende Erfindung ein Verfahren und ein Gerät zum Ermitteln eines Übereinstimmungsgrades zwischen einem Zielbild und jedem der vielen Bezugsbilder. Das für den Grad der Übereinstimmung zwischen Bildern angewandte Maß basiert auf dem menschlichen Wahrnehmungssystem, so dass Bilder, die einem Menschen als ähnlich in der Farbe erscheinen, ein höheres Übereinstimmungsmaß haben als Bilder, die einem Menschen als verschieden in der Farbe erscheinen. Jede der beliebtesten Farben jedes Teilbereichs des Zielbildes wird mit einer Farbe in einem entsprechenden Teilbereich des Bezugsbildes assoziiert, die der Zielbildfarbe am nächsten liegt. Das Übereinstimmungsmaß basiert auf der Anzahl Auftritte jeder dieser assoziierten Farben in den entsprechenden Teilbereichen, sowie auf der Farbdifferenz zwischen diesen assoziierten Farben. Auf diese Art und Weise werden Bilder, die gleiche, sei es nicht identische, Farben haben, ein höheres Übereinstimmungsmaß haben als Bilder, die verschiedene Farben haben. In einer bevorzugten Ausführungsform wird Farbdifferenz auf Basis des CIE Leuchtdichte-Farbart-Farbraums ermittelt. Auch wird in einer bevorzugten Ausführungsform die Zielbildfarbe in einen Satz diskreter Farben quantisiert, die auf den vorherrschenden Farben in den Bezugsbildern basiert sind.
Ausführungsbeispiele der Erfindung sind in der Zeichnung dargestellt und werden im Folgenden näher beschrieben. Es zeigen:
1 ein Beispiel eines Blockschaltbildes eines Bildvergleichssystems nach der vorliegenden Erfindung,
2 ein Beispiel eines Blockschaltbildes eines Charakterisierers zur Erleichterung der Kennzeichnung eines Bildes nach der vorliegenden Erfindung,
3 ein Beispiel eines Blockschaltbildes eines Kennzeichenvergleichers zur Erleichterung des Vergleichs von Bildern nach der vorliegenden Erfindung,
4 ein Beispiel eines Flussdiagramms zum Vergleichen von Bildkennzeichnen nach der vorliegenden Erfindung.
1 zeigt ein Beispiel eines Bildvergleichssystems nach der vorliegenden Erfindung. Das Bildvergleichssystem nach 1 umfasst einen Charakterisierer 120, der Bilder 101, 111 in Bildkennzeichen 102, 112 kennzeichnet, und eine Suchmaschine 150, die einen Subsatz 151 der Bilder 111 auffindet, die dem Bild 101 ähnlich sind, und zwar basiert auf den Bildkennzeichen 102, 112. Wie in 1 dargestellt, werden Bezugsbilder 111 in einer Bezugsbilddatei 110 aufgefunden. Diese Datei kann eine Sammlung von Bitmaps, JPEG-Bildern, MPEG-Videos und dergleichen sein. Üblicherweise kann die Datei örtlich oder fern sein, vereint oder verteilt, homogen oder nicht homogen. So kann beispielsweise die Datei eine Codierung aller Portraits in einem bestimmten Museum sein, die auf der Web-site des Museums im Word-Wide-Web gespeichert sind. Oder es können alle Werke von Artisten einer bestimmten Zeitperiode sein, gespeichert an vielen Stellen im WWW. Oder aber es kann eine bestimmte Sammlung von Autobildern des Benutzers sein, gespeichert auf Disks beim Benutzer daheim.
Im Betrieb sendet ein Benutzer des Bildvergleichssystems nach 1 ein Zielbild 101 zu dem System und das System schafft danach eine Liste 171 derjenigen Bilder 111 in der Datei 101, die dem Zielbild 101 am ähnlichsten sind. Der Charakterisierer 120 kennzeichnet das Zielbild 101 in Zielbildkennzeichen 101. Der Charakterisierer 120 kennzeichnet ebenfalls jedes Bezugsbild 111 in Bezugsbildkennzeichnen 112, zum Vergleich mit den Zielbildkennzeichen 101. Aus Gründen der Effizienz werden die Bezugsbilder 111 in der Bezugsbilddatei 110 durch den Charaktersierer 120 nur einmal gekennzeichnet, und in einer Bezugsbildkennzeichendatei 140 gespeichert. Auf diese Weise können alternative Zielbilder 101 zur Kennzeichnung und Suche aufgeteilt werden, ohne dass es erforderlich ist, dass alle Bezugsbilder 111 der Bezugsbilddatei abermals gekennzeichnet werden.
Die Suchmaschine 150 umfasst eine Kennzeichenvergleichsschaltung 160, welche die Zielbildkennzeichen 102 mit allen Bezugsbildkennzeichen 112 aus der Bezugsbildkennzeichendatei 140 vergleicht und ein Übereinstimmungsmaß 161 erzeugt für alle Bezugsbildkennzeichen 112. Assoziiert mit jedem Bezugsbildkennzeichen 112 ist ein Identifizierer zu dem entsprechenden Bezugsbild 111 in der Bezugsbilddatei 110. Der Sortierer 170 sortiert die Identifizierer zu den Bezugsbildern 111, und zwar auf Basis des Übereinstimmungsmaßes 161 und liefert eine sortierte Liste der Identifizierer 171 zu einer Wiedergabeanordnung 190. Auf alternative Weise wird die sortierte Liste einem selektor 180 zugeführt, der die Bilder 111 entsprechend der Liste mit Identifizierern 171 selektiert und liefert einen sortierten Subsatz 151 der Bilder 111 zu der Wiedergabeanordnung 190. Das heißt, der Benutzer erhält eine Liste oder eine Wiedergabe der Bilder 111 in der Datei 110, die dem Zielbild 101 am ähnlichsten sind.
In 1 ist ebenfalls einen etwaigen Quantisierungsdeterminator 130 dargestellt. In einer bevorzugten Ausführungsform der vorliegenden Erfindung werden die Farbquantisierungspegel 131 auf Basis eines oder mehrerer repräsentativer Bilder in der Bezugsbilddatei 110 ermittelt. Die Farben der repräsentativen Bilder werden benutzt um einen Satz von Farbzentren zu ermitteln, wobei jedes Farbzentrum ein Schwerpunkt eines Subsatzes der Farben ist, die innerhalb der repräsentativen Bilder liegen. Jede beliebige Technik kann angewandt werden um einen geeigneten Satz Farbzentren zu ermitteln. Wenn beispielsweise 64 Quantisierungspegel erwünscht sind, könnten die 64 Farbzentren als die Farben der 64 beliebtesten Pixelfarben in den repräsentativen Bildern definiert werden. In dem Quantisierungsprozess wird ein quantisierter Wert eines Pixels der Wert des nächsten Farbzentrums sein. Die Differenz zwischen dem Istwert eines Pixels und dem quantisierten Wert eines Pixels wird als Quantisierungsfehler bezeichnet. Um die Wahl der Farbzentren weiter zu verfeinern, können die Farbzentren als die 64 Pixelfarben ermittelt werden, was zu einem minimalen gesamten Quantisierungsfehler führt, und zwar unter Anwendung beispielsweise in dem betreffenden technischen Bereich üblicher Annäherungstechniken. Durch Ermittlung von Farbzentren, die auf die Ist-Farbwerten basieren, die in den repräsentativen Bildern enthalten sind, wird die Farbauflösung des Charakterisierungsprozesses in dem Charakterisierer 120 dadurch dynamisch eingestellt um zwischen Schattierungen der vorherrschenden Farben in den repräsentativen Bildern unterscheiden zu können. Wenn beispielsweise die repräsentativen Bilder viele braune Gebiete enthalten und wenig grüne Gebiete, werden mehr Farbzentren mit Schattierungen von Braun assoziiert als mit Schattierungen von Grün. Danach wird eine feinere Unterscheidung von Schattierungen von Braun durch den Charakterisierer 120 angewandt um das Zielbild 101 und die Bezugsbilder 111 zu kennzeichnen, und die Bezugsbilder 111, die ähnliche Schattierungen von Braun gegenüber dem Zielbild 101 werden ein höheres Übereinstimmungsmaß 161 haben als Bezugsbilder 111 mit verschiedenen Schattierungen von Braun. Im Gegensatz dazu kann ein Bezugsbild 111 mit einer anderen Schattierung von Grün gegenüber dem Zielbild 111 dasselbe Übereinstimmungsmaß 161 wie ein anderes Bezugsbild 111 erzeugen, das genau dieselbe Schattierung von Grün hat wie das Zielbild 101, weil nur ein einziges Farbzentrum mit allen Schattierungen von Grün assoziiert sein kann.
Eine bevorzugte Ausführungsform der vorliegenden Erfindung benutzt eine Farbcodierung, die eine Kennzeichnung schafft, die das menschliche Wahrnehmungssys tem ähnlich ist. Das heißt, die Codierung ist derart, dass Farben, die in dem menschlichen Wahrnehmungssystem als ähnlich erscheinen, eine geringfügige Farbdifferenz, oder Abstand zwischen ihnen in dieser Codierung haben, und Farben, die für das menschliche Wahrnehmungssystem als ungleich erscheinen, einen großen Farbunterschied haben. Der euklidische Abstand zwischen zwei Farben in dem herkömmlichen RGB-Codierungsraum reflektiert nicht wirklich die von dem menschlichen Wahrnehmungssystem wahrgenommene Differenz. Die "Commission Internationale de l'Eclairage" (CIE) hat zwei Farbgebietcodierungen empfohlen, die eine hohe Korrelation zu den Wahrnehmungen des menschlichen Gesichtsvermögens haben: CIELUV und CIELAB. In der bevorzugten Ausführungsform wird die CIELUV Codierung, die ein Maß der Leuchtdichte (L) und zwei Maße Farbart (U, V) des Bildes benutzt, angewandt. Die Umsetzung von dem einen Farbraum in einen anderen Farbraum ist dem Fachmann durchaus bekannt, ebenso wie die Mittel zum Umwandeln aus mehreren Bildcodierungsformaten, wie JPEG, MPEG, NTSC, PAL und dergleichen. Wenn die Codierung des Zielbildes oder eines Bildes in der Datei die wahrgenommenen Differenzen zwischen Farben in dem menschlichen Wahrnehmungssystem nicht reflektiert, umfassen der Charakterisierer 120 und der Quantisierungsdeterminator 130 die geeigneten Umsetzungsmittel zum Codieren des Bildes in eine Codierung, die eine hohe Korrelation mit dem menschlichen Wahrnehmungssystem hat.
2 zeigt ein Beispiel eines Blockschaltbildes des Charakterisierers 120, der ein Bild 201 kennzeichnet zum Erzeugen einer Bildcharakteristik 202. Der Charakterisierer 120 umfasst einen Verteiler 210, einen Quantisierer 220 und einen Akkumulator 230. Der Charakterisierer 120 umfasst ebenfalls einen etwaigen Umsetzer 280 zum Umsetzen der Codierung des Bildes, wie oben beschrieben. Der Verteiler 210 verteilt das Bild in eine Anzahl Teile. Die Anzahl Teile ist einigermaßen subjektiv. Der Detailpegel der Bildkennzeichen 202 wird abhängig sein von der Anzahl Teile. Eine Vielzahl von Teilen schafft einen höheren Detailpegel in den Kennzeichen und nachfolgenden Vergleichsprozessen, aber auf Kosten der Verarbeitungszeit. Es kann auch zu einer fehlerhaften Übereinstimmungsermittlung führen, wenn beispielsweise die Bilder auf einem feinen Detailpegel ungleich sind, aber auf einem groben Detailpegel gleich sind. Auf alternative Weise wird eine geringe Anzahl Teile weniger Verarbeitungszeit nehmen, kann aber zu vielen Bezugsbildern führen, die gleiche Übereinstimmungsmaße 161 schaffen, wobei der beabsichtigte Zweck des Bildvergleichssystems der Trennung der gleichen von den ungleichen Bildern, unnötig gemacht wird. In einer bevorzugten Ausführungsform wird das Bild in eine Gliederung von 4×4, 8×8, oder 16×16 Teilen aufgeteilt.
Der Quantisierer 220 ermittelt das Farbzentrum oder den Quantisierungspegel 131, der der Bildfarbe jedes Pixels am nächsten liegt. Auf diese Art und Weise wird der Bereich möglicher Farben von dem ganzen Bereich von Bildfarbencodierungen. auf den Bereich der quantisierten Farben reduziert. Auf Basis dieses reduzierten Bereichs quantisierter Farben ermittelt der Akkumulator 230 die Anzahl Auftritte jeder der quantisierten Farben innerhalb jeder Aufteilung des Bildes 201. In einer bevorzugten Ausführungsform schafft der Akkumulator 230 ein normalisiertes Histogramm des Anteils der Auftritte jeder quantisierten Farbe in jedem Teil.
Jedes Bezugsbild 111 der Benutzbilddatei 110 wird von dem Charakterisierer 120 verarbeitet zum Erzeugen der Bezugsbildkennzeichen 112, die den Anteil der Auftritte jeder quantisierten Farbe in jedem Teil des Bezugsbildes 111 darstellen. Die gleiche Charakterisierung wird angewandt zum Charakterisieren des Zielbildes 101 zum Erzeugen der Zielbildkennzeichen 102 und danach wird der Vergleich des Zielbildes mit den Bezugsbildern durchgeführt, und zwar durch einen vergleich des Anteils an Auftritten der quantisierten Farben in jedem der Bilder.
3 zeigt ein Blockschaltbild eines Beispiels eines Kennzeichenvergleichers 160 zum Ermöglichen des Vergleichs von Anteilen von Auftritten quantisierter Farben zwischen zwei Bildern, Bild 1 und Bild 2. Der Kennzeichenvergleicher 160 umfasst einen Gleichfarbenermittler 320, einen Übereinstimmungsermittler 330 und einen Akkumulator 340. Der Kennzeichenvergleicher vergleicht jeden Teil 302 des Bildest 301 mit einem entsprechenden teil 312 des Bildes 2 311. Eine vorbestimmte Anzahl D der quantisierten Farben mit dem höchsten Anteil Auftritte werden benutzt zum Ermitteln von Farbübereinstimmung zwischen den zwei Teilen 302, 312. In einer typischen Ausführungsform liegt D zwischen 4 und 16. Jede der D quantisierten Farben des Teils 302 wird mit einer der D quantisierten Farben des Teils 312 gekoppelt. Der Gleichfarbenermittler 320 ermittelt den Farbabstand 322 zwischen jeder quantisierten Farbe des Teils 302 und jeder der quantisierten Farben des Teils 312. Die am nächsten liegende Farbe des Teils 312 wird mit der quantisierten Farbe des Teils 302 gepaart. Diese Übereinstimmungspaarung wird dem Übereinstimmungsermittler 330 als Gleichfarbenpaar 321 mitgeteilt. Das Gleichfarbenhaar 321 umfasst die Anteile der entsprechenden quantisierten gepaarten Farben in jedem Teil 302, 312. Der entsprechende Farbabstand 322 zwischen jeder der quantisierten Farben des Farbpaares 321 wird ebenfalls dem Übereinstimmungsermittler 330 mitgeteilt um zu vermeiden, dass dieser den Farbabstand abermals berechnet.
Der Übereinstimmungsermittler 330 berechnet ein Teilübereinstimmungsmaß 331, das eine Zusammensetzung ist aus einem Vergleich des Anteils der quantisierten Farben in jedem Gleichfarbenpaar 321 sowie dem Grad, in dem die quantisierten Farben miteinander übereinstimmen, dies auf Basis des Farbabstandes 322. In einer bevorzugten Ausführungsform ist das für den Vergleich verwendete Maß proportional zu der Summe der Anteile der gepaarten Farben, und umgekehrt proportional zu der Differenz zwischen den Anteilen der gepaarten Farben und umgekehrt proportional zu der Differenz zwischen den Farbwerten der gepaarten Farben. Das heißt, das Übereinstimmungsmaß 331 basiert auf der Anzahl Auftritte gleicher Farben in jedem Bild und gewichtet durch den Grad der Übereinstimmung zwischen den gleichen Farben. Bedenke beispielsweise ein Bild, das inhaltlich einem anderen gleich ist, aber verschiedene Farben hat, beispielsweise Fotos einer Seelandschaft zu verschiedenen Tageszeiten. Die Bilder werden eine hohe Korrelation zwischen der Anzahl Auftritte gleicher Farben haben und werden eine hohe Summe der Anteile erzeugen und eine geringe Differenz der Anteile und deswegen ein hohes Übereinstimmungsmaß, basiert auf Anteile gleicher Farben. Fas gesamte Übereinstimmungsmaß wird durch die Differenz zwischen den Schattierungen gleicher Farben gedämpft, erzeugt durch die verschiedenen Tageszeiten, wie dies mit einer menschlichen Schätzung der Übereinstimmung derartiger Fotos von Seelandschaften vereinbar ist.
Der Akkumulator 340 akkumuliert das Übereinstimmungsmaß 331 jedes Teils des Bildes zum Schaffen des Bildübereinstimmungsmaßes 161. Wenn das Bild 1 das Zielbild ist und das Bild 2 eine Sequenz von Bezugsbildern ist, schafft die resultierende Sequenz von Bildübereinstimmungsmaßen 161 ein Maß der Übereinstimmung zwischen dem Zielbild und jedem der Bezugsbilder. Diese Sequenz von Übereinstimmungsmaßen 161 und ein Identifizierer zu dem Bezugsbild, das mit jedem Übereinstimmungsmaß 161 assoziiert ist, werden dem Sortierer 170 zugeführt, der eine Liste der Bilder wiedergibt, die mit dem Zielbild am meisten übereinstimmen.
Es sei bemerkt, dass die oben genannte Bildvergleichstechnik nicht unbedingt auswechselbar ist, dass ein anderes Übereinstimmungsmaß das Ergebnis sein kann, je nachdem, welches der zwei Bilder als Bild 1 bzw. Bild 2 verwendet wird. Nach Wahl ist zum Schaffen mathematischer Konsistenz und Symmetrie die Zuordnung des Zielbildes oder des Bezugsbildes zu Bild 1 oder Bild 2 für jeden Teil dynamisch. Der Teil, der dem Kennzeichenvergleicher 160 als Bild 1 zugeordnet wird, ist der Teil, der die höchsten kumulativen Anteile der D quantisierten Farben hat. Fas heißt beispielsweise, wenn die D beliebtesten quantisierten Farben des Teils des Zielbildes 90% der Farben in dem Teil beträgt, und die D beliebtesten quantisierten Farben des Teils des Bezugsbildes zu 85% der Farben in dem Teil beträgt, wird der Teil des Zielbildes dem Kennzeichenvergleicher 160 als Bild 1 zugeführt. Wenn die kumulativen Anteile der D quantisierten Farben in dem Zielbild und dem Bezugsbild einander gleich sind, wird das Teilübereinstimmungsmaß 331 zweimal berechnet, wobei die Ziel- und Bezugsteile vertauscht werden, und das höhere Übereinstimmungsmaß 331 der beiden wird dem Akkumulator 340 zugeführt.
4 zeigt ein Beispiel eines Flussdiagramms zum Vergleichen von Bildkennzeichen, wie diese in einem Kennzeichenvergleicher 160 entsprechend der vorliegenden Erfindung implementiert werden können. Die Kennzeichen des Zielbildes werden durch 400 bezeichnet. Die Kennzeichen jedes Bezugsbildes werden mit den Zielbildkennzeichen in der Schleife 410-419 verglichen. Das mit jedem Bildvergleich assoziierte Übereinstimmungsmaß wird bei 412 auf Null initialisiert. Jeder Teil innerhalb jedes Bezugsbildes wird mit einem entsprechenden Teil des Zielbildes in der Schleife 420-429 verglichen. Bei 422 wird derjenige Teil, der den höchsten kumulativen Anteil an D beliebtesten quantisierten Farben in dem Teil hat, ermittelt, wie oben beschrieben. Der Einfachheit halber wird das Ziel- oder Bezugsbild, das bei 422 als die höchsten kumulativen Anteile aufweisend ermittelt wird, als der große Teil, L, bezeichnet und der restliche Bezugs- oder Zielteil wird als kleiner Teil, S, bezeichnet. Für jede der D Farben in dem großen Teil L wird ein vergleich mit der meist ähnlichen Farbe in dem kleinen Teil S in der Schleife 430-439 gemacht. Die Farbe in dem kleinen Teil S, die der Farbe in dem großen Teil L am meisten ähnlich ist, wird als die am meisten übereinstimmte Farbe zu der Farbe in dem großen Teil L bezeichnet. Diese am meisten übereinstimmende Farbe wird bei 432 ermittelt. Das Übereinstimmungsmaß, herrührend aus dieser Ermittlung wird bei 434-436 berechnet. Bei 434 wird die Differenz zwischen der Farbe in dem großen Teil L und die am meisten übereinstimmende Farbe in dem kleinen Teil S als ColDiff berechnet. Das Doppelstabsymbol "||" wird verwendet um anzugeben, dass die Berechnung der Differenz zwischen Farben nicht unbedingt eine arithmetische Subtraktion ist, weil die Farbe als ein mehrdimensionaler Wert codiert ist, beispielsweise ein Wert bestehend aus Leuchtdichte- und Farbartanteilwerten, wie bei einer CIELUV-Codierung. Das Verfahren zum berechnen einer Differenz zwischen Farben wird durch das gewählte Farbcodierungsverfahren bestimmt, was dem Fachmann bekannt ist. Auch bei 434 wird die Summe und die Differenz der Anteile der Farbe in dem großen Teil L und der am meisten übereinstimmenden Farbe in dem kleinen Teil S als SumP bzw. DiffP berechnet. Bei 436 wird das mit der Farbe in dem großen Teil L assoziierte Übereinstimmungsmaß und die am meisten übereinstimmende Farbe in dem kleinen Teil S als SumP geteilt durch eine Offset-Summe von DiffP und ColDiff berechnet. Das Übereinstimmungsmaß jeder der D Farben wird bei 436 akkumuliert. Nach Akkumulation des Übereinstimmungsmaßes jeder Farbe in jedem Teil des Bildes wird das akkumulierte Übereinstimmungsmaß für das Bezugsbild gespeichert, bei 415, und das nächste Bezugsbild wird auf gleiche Art und Weise verarbeitet 410-419. Nach Ermittlung der Übereinstimmung jedes Bezugsbildes mit dem Zielbild werden die Bezugsbilder, welche die höchste Übereinstimmung mit dem Zielbild haben, für den Benutzer bei 480 wiedergegeben.
Obenstehende illustriert vorwiegend die Grundlagen der vorliegenden Erfindung. Es dürfte folglich einleuchten, dass der Fachmann imstande ist, mehrere Anordnungen zu bedenken, die obschon an dieser Stelle nicht explizit beschrieben oder dargestellt, die Grundlagen der vorliegenden Erfindung verkörpern und folglich im Geiste und im Rahmen der vorliegenden Erfindung liegen. So können beispielsweise die Gleichungen bei 434 und 436 nach 4 derart modifiziert werden, dass sie eine andere Gewichtung zwischen dem Effekt, der jeder Faktor (Farbverteilung und Farbdifferenz) auf das resultierende Übereinstimmungsmaß hat. So werden beispielsweise die Summe und die Differenz zwischen den Anteilen des Ziel- und Bezugsbildes in der bevorzugten Ausführungsform berechnet, obschon ein Übereinstimmungsmaß auf Basis der Summe oder der Differenz ermittelt werden kann, oder auf Basis anderer bekannter Vergleichsmessungen, wie Verhältnisse und dergleichen, und wobei nicht ausdrücklich Anteile verwendet werden. Auf gleiche Art und Weise kann ein Fachmann dafür wählen, nicht ausdrücklich das Übereinstimmungsmaß durch die Farbdifferenz ColDiff 332 zu dämpfen, weil die Farbdifferenz derart betrachtet werden kann, dass diese einen indirekten Effekt auf das Übereinstimmungsmaß hat, und zwar über die Verwendung in der Ermittlung davon, welche Farbe mit der anderen übereinstimmt. Außerdem kann, obschon die Berechnung einer Farbdifferenz ausdrücklich als eine Differenzberechnung bei 434 dargestellt ist, eine derartige Berechnung durch eine Nachschlagtabelle oder durch eine andere bekannte Technik effektuiert werden, damit Rechenzeit gespart wird. Auf gleiche Weise dürfte die spezielle Trennung der Funktionen, wie diese in der vorliegenden Beschreibung gegeben wird, Beispielstrukturen und alternative Strukturen dar, welche die Grundlagen der vorliegenden beanspruchten Erfindung verkörpern, dem Fachmann einleuchten.

Claims

Verfahren zum Vergleichen eines ersten Bildes mit einem zweiten Bild, dadurch gekennzeichnet, dass das genannte Verfahren die nachfolgenden Verfahrensschritte umfasst: (a) das Aufteilen des ersten Bildes (301) in eine erste Anzahl Teile und des zweiten Bildes (311) in eine Anzahl Teile, wobei jeder Teil der ersten Anzahl Teile einen entsprechenden Teil der zweiten Anzahl Teile aufweist, (b) das Bestimmen Farbverhältnissen (302, 312) in jedem Teil der ersten Anzahl Teile und der zweiten Anzahl Teile, wobei die genannten Farbverhältnisse (302, 312) von der Auftrittsfrequenz der Farben in den Teilen hergeleitet werden; (c) das Bestimmen eines Farbabstandes (322) zwischen gleichen Farben (321) in jedem übereinstimmenden Teil der ersten und der zweiten Anzahl Teile; und (d) das Vergleichen der Verhältnisse der gleichen Farben (321) in jedem Teil der ersten Anzahl Teile und der zweiten Anzahl Teile um ein Ähnlichkeitsmaß (331) zwischen dem ersten Bild und dem zweiten Bild zu bestimmen, das auf den Verhältnissen gleicher Farben (321) und dem Farbabstand (322) basiert ist.
Verfahren nach Anspruch 1, wobei der Verfahrensschritt (d) des Vergleichs der Verhältnisse der gleichen Farben Folgendes umfasst: – das Bestimmen einer Summe der Verhältnisse gleicher Farben (321) in jedem entsprechenden Teil der ersten und der zweiten Anzahl Teile, – das Bestimmen einer Differenz der Verhältnisse gleicher Farben (321) in jedem entsprechenden Teil der ersten und zweiten Anzahl Teile, und – das Bestimmen eines Ähnlichkeitsfaktors, der auf der Summe und der Differenz der Verhältnisse gleicher Farben basiert ist.
Verfahren nach Anspruch 1, wobei der Verfahrensschritt (b) der Bestimmung der Verhältnisse von Farben in jedem Teil der ersten Anzahl Teile und der zweiten Anzahl Teile Folgendes umfasst: (i) das Quantisieren eines Satzes von Bildfarbwerten innerhalb jedes Teils zum Schaffen eines Satzes quantisierter Farbwerte; und (j) das Schaffen eines Histogramms der Auftritte jedes quantisierten Farbwertes der quantisierten Farbwerte, wobei die Verhältnisse der Farben auf den Auftritten der quantisierten Werte des Satzes quantisierter Farbwerte basiert sind.
Verfahren nach Anspruch 3, wobei der Verfahrensschritt (i) der Quantisierung des Satzes von Bildfarben Folgendes umfasst: – das Bestimmen eines Satzes von Farbmitten, auf Basis eines beobachteten Verhältnisses der Bildfarben in wenigstens einem repräsentativen Bild (111), und – das Bestimmen (220), dass jeder quantisierte Farbwert des Satzes quantisierter Farbwerte einer Farbe des Satzes von Farbmitten entspricht, die dem entsprechenden Bildfarbwert des Satzes von Bildfarbwerten am nächsten liegt.
Verfahren nach Anspruch 1, wobei der Farbabstand auf wenigstens einer der nachfolgenden Komponenten basiert ist: einer Leuchtdichtekomponente, einer Farbartkomponente, und einer Rot-Grün-Blau-Komponente.
Verfahren nach Anspruch 1, wobei der Verfahrensschritt (d) des Vergleichs der Verhältnisse gleicher Farben in jedem entsprechenden Teil der ersten und der zweiten Anzahl Teile Folgendes umfasst: – das Selektieren eines ersten Bildteils (L) und eines zweiten Bildteils (S) aus entsprechenden Teilen der ersten und der zweiten Anzahl Teile, und zwar auf Basis eines kumulativen Verhältnisses von Farben in den entsprechenden Teilen der ersten und der zweiten Anzahl Teile, und – das Bestimmen jedes zweiten Farbe in dem zweiten Bildteil entsprechend einer ersten Farbe in dem ersten Bildteil, auf Basis des Farbabstandes zwischen der ersten Farbe und der zweiten Farbe, wobei jede der entsprechenden ersten und zweiten Farben ein gleiches Farbpaar (321) einer Anzahl Farbpaare bildet, und – das Vergleichen der Verhältnisse jeder Farbe in jedem gleichen Farbpaar.
Bildvergleichssystem zum Vergleichen eines Zielbildes (101) mit einer Anzahl Bezugsbilder (111), wobei das genannte System Folgendes umfasst: – einen Bildcharakterisierer (120) zum Kennzeichnen des Zielbildes (101) und jeder der Anzahl Bezugsbilder (111) in Zielbildkennzeichen (102) bzw. eine Anzahl Bildkennzeichen (112), und – eine Kennzeichenvergleichsanordnung (160) zum Vergleichen der Zielbildkennzeichen (102) mit jeder der Anzahl Bezugsbildkennzeichen (112) zum Erzeugen einer Anzahl Ähnlichkeitsmaße (151) entsprechend jedem der Anzahl Bezugsbilder (111), wobei das genannte Bildvergleichssystem weiterhin Mittel aufweist, die dazu vorgesehen sind, alle Verfahrensschritte des Verfahrens nach Anspruch 1 durchzuführen.
Bildvergleichssystem nach Anspruch 7, wobei die Kennzeichenvergleichsanordnung (160) Folgendes umfasst: – einen Gleiche-Farbe-Bestimmer (320) zum Bestimmen gleicher Farbe einer Anzahl gleicher Farben in einem zweiten Teil (312) wenigstens eines Zielbildkennzeichens (102) und der Bezugsbildkennzeichen (112), wobei jede gleiche Farbe jeder Farbe einer Anzahl Farben der Anzahl Farben in dem ersten Teil (302) und der Anzahl gleicher Farben in dem zweiten Teil (302) entspricht; – einen Ähnlichkeitsbestimmer (330), der mit dem Gleiche-Farbe-Bestimmer (320) wirksam gekoppelt ist, zum Erzeugen eines Teilsymmetriemaßes (331) auf Basis der Verhältnisse der Farben in dem ersten Teil (302) und der Verhältnisse gleicher Farben in dem zweiten Teil (312); und – einen Akkumulator (340), der mit dem Ähnlichkeitsbestimmer (330) wirksam gekoppelt ist, zum Empfangen des Teilähnlichkeitsmaßes entsprechend jedem Teil einer Anzahl Teile jedes Bezugsbildkennzeichens (112) und bestimmt daraus jedes Maß der Anzahl Ähnlichkeitsmaße (161).
Bildvergleichssystem nach Anspruch 8, wobei das Teilähnlichkeitsmaß (331) ebenfalls ausdrücklich auf dem Farbabstand (322) zwischen jeder Farbe der Anzahl Farben (321a) in dem ersten Teil (302) und den entsprechenden ähnlichen Farben (321b) in dem zweiten Teil basiert ist.
Bildvergleichssystem nach Anspruch 7, wobei dieses System weiterhin Folgendes umfasst: – einen Sortierer (170), der mit dem Kennzeichenvergleicher (160) wirksam verbunden ist, zum Liefern einer sortierter Liste (151) der Anzahl Bezugsbilder (111) auf Basis der Anzahl Ähnlichkeitsmaße (161), und – einen Selektor (180), der mit dem Sortierer (170) wirksam gekoppelt ist, zum Selektieren wenigstens eines Bildes der Anzahl Bezugsbilder zum Aufbereiten an einer Wiedergabeanordnung (190) auf Basis der sortierten Liste (151).
Bildvergleichssystem nach Anspruch 7, wobei der Bildcharakterisierer (120) einen Übersetzter (280) aufweist, der vorgesehen ist um wenigstens ein Zielbild (101) oder die Anzahl Bezugsbilder (111) in eine Farbcodierung umzusetzen, die dem menschlichen visuellen System entspricht.
Bildvergleichssystem nach Anspruch 11, wobei die Farbcodierung einen Leuchtdichtewert und einen Farbwert aufweist.
Bildvergleichssystem nach Anspruch 7, wobei der Bildcharakterisierer (120) Folgendes umfasst: – einen Quantisierer (220) zum Quantisieren jeder Farbe einer Anzahl Bildfarben in dem Zielbild (1) und der Anzahl Bezugsbilder (112) in eine quantisierte Farbe eines Satzes von Quantisierungspegeln (131), und – einen Akkumulator (230), der mit dem Quantisierer (220) wirksam gekoppelt ist, und zwar zum Akkumulieren einer Anzahl Auftritte der quantisierten Farbe entsprechend jeder der Anzahl Bildfarben und dadurch die Verhältnisse von Farben in den Zielbildkennzeichen (102) und die Verhältnisse von Farben in der Anzahl Bezugsbilder (112) erzeugt.
Bildvergleichssystem nach Anspruch 13, das weiterhin einen Quantisierungsbestimmer (130) aufweist, der den Satz mit Quantisierungspegeln (131) bestimmt, und zwar auf Basis wenigstens eines Bildes der Anzahl Bezugsbilder (111).
Suchmaschine (150) zum Finden wenigstens eines Bezugsbildes (151) in einer Datei (110) einer Anzahl Bezugbilder (111), das einem Zielbild ähnlich ist, wobei die genannte Suchmaschine (150) dazu vorgesehen ist, das System nach Anspruch 7 zu enthalten und zu benutzen zum Finden des genannten wenigstens einen Bezugsbildes (151) in der Datei in Reaktion auf den Empfang des Zielbildes.