-
Die
vorliegende Erfindung betrifft allgemein den Bereich der Verarbeitung
und der Interpretation von Digitalbildern und insbesondere ein System
zum Erkennen von Himmelsbereichen in fotografischen und ähnlichen
Bildern und vor allem ein System zur Himmelserkennung, das auf Farbtonklassifizierung,
Strukturanalyse und physikalisch motivierter Spurenanalyse beruht.
-
Der
Himmel zählt
zu dem wichtigsten Motiven, die in fotografischen Bildern häufig zu
sehen sind. Die Erkennung des Himmels ermöglicht es oft, bestimmte Aufgaben
in Bezug auf Bildinterpretation, Bildverbesserung und Bildbearbeitung
durchzuführen.
Der Himmel ist ein wichtiger Hinweis auf eine Außenaufnahme zur Kategorisierung
der Szene (z.B. Außenaufnahmen
gegenüber
Innenaufnahmen, Picknick-Szenen gegenüber Besprechungsszenen, Stadt
gegenüber
Landschaft usw.). Siehe beispielsweise M. Szummer und R.W. Picard, "Indoor-Outdoor Image Classification," in Proc. IEEE Intl.
Workshop on Content-based Access of Image and Video Database, 1998
sowie A. Vailaya, A. Jain und H.J. Zhang, "On Image Classification: City vs. Landscape," in Proc. IEEE Intl.
Workshop on Content-based Access of Image and Video Database, 1998.
Mit Informationen über
den Himmel ist es möglich,
Abfragen zu formulieren, wie "Außenaufnahmen,
die erhebliche "Himmelsanteile" oder "Sonnenuntergänge" enthalten usw. (siehe
beispielsweise J.R. Smith und C.-S. Li, "Decoding Image Semantics Using Composite
Region Templates," in
Proc. IEEE Intl. Workshop on Content-based Access of Image and Video
Database, 1998). Die Himmelserkennung kann somit zu einem wesentlich
effektiveren, inhaltsgestützten
Bildabruf führen.
-
Zur
Erkennung der Formatlage oder Ausrichtung eines Bildes können der
Himmel und seine Ausrichtung ein Hinweis auf die Ausrichtung von
Außenaufnahmen
sein (im Unterschied zu der gängigen
Meinung befindet sich ein Himmelsbereich nicht immer oben im Bild).
Zur Erkennung der Hauptmotive in dem Bild können Himmelsbereiche im Allgemeinen
ausgeschlossen werden, weil sie mit hoher Wahrscheinlichkeit Bestandteil
des Hintergrunds sind.
-
Das
herausragende Merkmal des Himmels ist dessen Farbe, die bei klarem
Himmel normalerweise blau ist. Ein derartiges Merkmal wird bislang
zur Himmelserkennung in Bildern benutzt. Beispielsweise erwähnt US-A-5,889,578
mit dem Titel "Method
and Apparatus for Using Film Scanning Information to determine the Type
and Category of an Image" von
F.S. Jamzadeh die Verwendung des Farbtons ("hellblau"), um den Himmel zu erkennen, enthält jedoch
keine weitere Beschreibung.
-
US-A-5,642,443, "Whole Order Orientation
Method and Apparatus" von
Robert M. Goodwin, verwendet Farbe und (das Fehlen von) Struktur,
um Pixel zu bezeichnen, die in dem Bild dem Himmel zuzuordnen sind.
Goodwin bedient sich insbesondere der Partitionierung nach Farbsättigungsdomänen in Sektoren.
Es werden Pixel mit Abtastzonen entlang der beiden Längsseiten
eines nicht ausgerichteten Bildes überprüft. Falls eine asymmetrische
Verteilung von Himmelsfarben gefunden wird, wird die Ausrichtung
des Bildes ausgewertet. Die Ausrichtung einer Reihenfolge von Fotos
wird nach den Auswertungen der einzelnen Bilder vorgenommen. Damit
das Verfahren nach Goodwin für
die gesamte Reihenfolge erfolgreich ist, wird eine ausreichend große Gruppe
von Merkmalen (so dass diese mit einer Erfolgsquote von mindestens
80% in nahezu jedem Bild gefunden werden können) oder eine kleinere Gruppe
von Merkmalen (mit einer Erfolgsquote von mehr als 90%, wobei die
Merkmale in ca. 40% aller Bilder gefunden werden) benötigt. Nach
Goodwin ist daher ein besonders robustes Verfahren zur Himmelserkennung
nicht erforderlich.
-
In
einer Veröffentlichung
von Saber et al. (E. Saber, A.M. Tekalp, R. Eschbach, and K. Knox, "Automatic Image Annotation
Using Adaptive Color Classification", CVGIP: Graphical Models and Image
Processing, Band 58, Seite 115–126,
1996, wurde eine Farbklassifizierung zur Himmelserkennung herangezogen. Dabei
wird davon ausgegangen, dass die Himmelspixel einer zweidimensionalen
Gaußschen
Wahrscheinlichkeits-Dichtefunktion (PDF) folgen. Es wird daher eine
Metrik ähnlich
der Mahalonobis-Distanz zusammen mit einem adaptiv bestimmten Schwellenwert
für ein
gegebenes Bild verwendet, um Himmelspixel zu bestimmen. Schließlich werden
Informationen über
das Vorhandensein von Himmel, Wiese und Haut, die aus dem Bild ausschließlich anhand
der zuvor erwähnten
Farbklassifizierung extrahiert werden, benutzt, um ein Bild zu kategorisieren
und zu kommentieren (z.B. "Außenaufnahme", "Menschen").
-
Die
Erkennung von zueinander passenden natürlichen Bildern anhand globaler Ähnlichkeiten
findet hier ihre Grenzen. J.R. Smith (siehe oben) entwickelte daher
ein Verfahren zur Decodierung der Bildsemantik anhand zusammengesetzter
Bereichsvorlagen (Composite Regions Templates/CRT) im Zusammenhang
mit dem inhaltsgestützten
Bildabruf. Nach dem Verfahren von J.R. Smith werden nach der Partitionierung
des Bildes mithilfe der Farbbereichssegmentierung vertikale und
horizontale Abtastungen in einem typischen 5×5-Gitter durchgeführt, um
die CRT zu erzeugen, bei der es sich im Wesentlichen um eine 5×5-Matrix
handelt, die die räumliche
Beziehung unter den Regionen zeigt. Wenn die Bildausrichtung bekannt
ist, stellt ein sich oben am Bild erstreckendes blaues Feld wahrscheinlich
einen klaren Himmel dar, und die Regionen, die dem Himmel und den
Wolken entsprechen, sind wahrscheinlich über den Regionen angeordnet,
die der Wiese und den Bäumen
entsprechen. Obwohl diese Annahmen nicht immer gültig sind, hat J.R. Smith,
siehe oben, gezeigt, dass mithilfe von CRTs, Farbhistogrammen und
Strukturen durchgeführte
Abfragen für
derartige Kategorien, wie "Sonnenuntergang" und "Natur" viel effektiver
sind.
-
Der
Hauptnachteil konventioneller Techniken besteht darin, dass diese
nicht zwischen ähnlich
farbigen oder strukturierten Motivgegenständen unterscheiden können, wie
einer blauen Wand, einer Wasserfläche, einem blauen Hemd usw.
Zudem müssen
einige dieser Techniken zudem auf die Kenntnis der Bildausrichtung zurückgreifen.
Das Unvermögen,
das Vorhandensein des Himmels zu erkennen und insbesondere eine
Falscherkennung können
zu Fehlern in den nachgeordneten Anwendungen führen.
-
Die
vorliegende Erfindung stellt ein zuverlässiges System zum Erkennen
von Himmelsbereichen bereit, das auf Farbtonklassifizierung, Strukturanalyse
und physikalisch motivierter Spurenanalyse (Traces) beruht. Die
vorliegende Erfindung nutzt Farbtoninformationen, um helle, himmelfarbene
Pixel auszuwählen
und bedient sich der Analyse verbundener Komponenten, um potenzielle
Himmelsbereiche zu finden. Die Erfindung nutzt zudem Gradienten,
um die Bestätigung
zu erhalten, dass Himmelsbereiche einen geringen Strukturgehalt
aufweisen, sowie offene Räume
von Segmenten, die als glatte Flächen
definiert sind, um benachbarte Regionen mit ähnlichen Himmelsfarbanmutungen,
jedoch verschiedenen Himmelsfarben, zu zerlegen. Die Erfindung nutzt
zudem Gradienten, um die Zenith-Horizont-Richtung zu ermitteln,
und eine physikalisch motivierte Spurenkennzeichnung (Trace-Kennzeichnung),
um zu ermitteln, ob eine zu prüfende
Region in ein bestimmtes Himmelsmodell passt.
-
Insbesondere
kann die Erfindung als Verfahren, als Bilderkennungssystem, Computerprogramm
usw. ausgeprägt
sein, um Himmelsbereiche in einem Bild zu erkennen, und umfasst
das Klassifizieren potenzieller Himmelspixel in dem Bild nach Farbe,
das Extrahieren verbundener Komponenten in den potenziellen Himmelspixeln,
das Eliminieren einiger der verbundenen Komponenten, deren Struktur über einem
vorbestimmten Strukturschwellenwert liegt, das Berechnen von Desaturierungsgradienten
der verbundenen Komponenten und das Vergleichen der Desaturierungsgradienten
der verbundenen Komponenten mit einem vorbestimmten Desaturierungsgradienten
für den
Himmel, um die wahren Himmelsbereiche in dem Bild zu identifizieren.
-
Die
Desaturierungsgradienten weisen Desaturierungsgradienten für rote,
grüne und
blaue Spurenkomponenten (Trace-Komponenten) des Bildes auf, und
der vorbestimmte Desaturierungsgradient für Himmel weist vom Horizont
zum Zenith eine Abnahme der roten und grünen Lichtspurenkomponenten
und eine im Wesentlichen konstante Spurenkomponente für blaues
Licht auf.
-
Die
Farbklassifizierung umfasst die Bildung eines Wahrscheinlichkeitsrasters
von Pixeln in dem Bild mithilfe eines Pixelklassifizierers, der
einen Wahrscheinlichkeitswert für
jedes Pixel erzeugt, der die Wahrscheinlichkeit bezeichnet, mit
der ein Pixel eine Himmelsfarbe ist (worin das Wahrscheinlichkeitsraster
durch Einstellen der Helligkeit jedes Pixels im Verhältnis zum
Wahrscheinlichkeitswert erzeugt wird), Berechnen eines für den Wahrscheinlichkeitswert
des Wahrscheinlichkeitsrasters entsprechenden adaptiven Schwellenwerts
für die
Himmelsfarbe und Klassifizieren der Pixel, deren Wahrscheinlichkeitswerte
den Schwellenwert der potenziellen Himmelspixel übersteigen. Der adaptive Schwellenwert
wird durch Erzeugen eines Histogramms der das Wahrscheinlichkeitsraster
bildenden Wahrscheinlichkeitswerte, Glätten des Histogramms, um Rauschstörungen zu
eliminieren, Identifizieren einer ersten Talsohle im geglätteten Histogramm
und Verwenden des Wahrscheinlichkeitswerts der ersten Talsohle als
adaptiven Schwellenwert berechnet. Das Wahrscheinlichkeitsraster
und das Wahrscheinlichkeitshistogramm werden für jedes Bild separat berechnet.
-
Die
vorliegende Erfindung ermittelt zudem eine horizontale Richtung
einer Szene innerhalb des Bildes durch Identifizieren eines ersten
Gradienten, der sich parallel zu einer Breitenrichtung des Bildes
erstreckt, Identifizieren eines zweiten Gradienten, der sich rechtwinklig zur
Breitenrichtung des Bildes erstreckt und Vergleichen des ersten
Gradienten mit dem zweiten Gradienten. Die horizontale Richtung
der Szene wird durch den kleineren Gradienten des ersten und zweiten
Gradienten identifiziert.
-
Ein
Vorteil der vorliegenden Erfindung besteht in der Verwendung eines
physikalischen Modells des Himmels, das sich auf die Lichtstreuung
durch kleine Partikel in der Luft stützt. Durch Verwendung eines
physikalischen Modells (im Unterschied zu einem Farb- oder Strukturmodel)
wird die Erfindung nicht durch ähnlich farbige
Motivgegenstände
getäuscht,
wie Wasserflächen,
Wände,
Spielzeuge und Kleidung. Das erfindungsgemäße Verfahren zur Bereichsextraktion
ermittelt automatisch einen geeigneten Schwellenwert für das Himmelsfarben-Wahrscheinlichkeitsraster.
Durch Nutzung des physikalischen Modells in Kombination mit Farb- und
Strukturfiltern erzeugt die Erfindung Ergebnisse, die herkömmlichen
Systemen überlegen
sind.
-
Die
vorliegende Erfindung arbeitet sehr gut mit 8-Bit-Bildern aus derartigen
Quellen, wie Film- und Digitalkameras, und zwar nach Vorabgleich
und Einstellung des richtigen Dynamikumfangs. Die von der Erfindung
erkannten Himmelsbereiche weisen eine hervorragende räumliche
Ausrichtung mit den wahrgenommenen Himmelsgrenzen auf.
-
Die
Erfindung wird im folgenden anhand in der Zeichnung dargestellter
Ausführungsbeispiele
näher erläutert.
-
Es
zeigen:
-
1 eine schematische Darstellung
der Architektur eines Ausführungsbeispiels
der vorliegenden Erfindung;
-
2 eine schematische Darstellung
der Architektur eines Ausführungsbeispiels
der vorliegenden Erfindung;
-
3A-3B schematische Darstellungen
der Farben von Tageslicht bzw. Zwielicht an einem klaren Himmel;
-
4A-4D eine dreidimensionale
grafische Darstellung des Clusters eines blauen Himmels im Farbraum
und jeder Farbebene, die den Cluster erzeugt;
-
5 eine grafische Darstellung
der Receiver Operating Characteristic (ROC) der Klassifizierung
der Himmelsfarben;
-
6 eine schematische Darstellung
der Architektur der Bereichsextraktion der vorliegenden Erfindung;
-
7 eine grafische Darstellung
der erfindungsgemäßen Schwellenwertbestimmung
für die
Himmelsfarbenwahrscheinlichkeiten;
-
8A-8B grafische Darstellungen
typischer Verteilungen der Gradientengrößen in einem Himmelsbereich;
-
9 eine schematische Darstellung
der Architektur der erfindungsgemäßen Spurenanalyse (Trace-Analyse);
-
10A eine Kurve zur Darstellung
einer typischen Spur eines klaren Himmels;
-
10B eine Kurve zur Darstellung
einer typischen Spur einer blauen Wand;
-
11A eine Kurve zur Darstellung
einer typischen Spur von Himmel mit Wolken;
-
11B eine Kurve zur Darstellung
einer typischen Spur von Wasser;
-
12A-12H unterschiedliche
Stufen erfindungsgemäß verarbeiteter
Bilder und
-
13A-12H unterschiedliche
Stufen erfindungsgemäß verarbeiteter
Bilder.
-
Wie
zuvor gezeigt, muss ein zuverlässiges
Himmelserkennungsverfahren über
Farbe und Struktur hinausgehen. Es ist ein physikalisches Modell
des Himmels wünschenswert,
um zwischen wahren Himmelsbereichen und anderen, ähnlich farbigen
und strukturierten Motivgegenständen
unterscheiden zu können.
Die vorliegende Erfindung beschreibt nachfolgend ein zuverlässiges Verfahren
zur Himmelserkennung, das zwischen wahren Himmelsbereichen und anderen, ähnlich farbigen
und strukturierten Motivgegenständen
unterscheidet.
-
In
dieser Anwendung umfasst die Himmelserkennung alle Pixel in einem
Bild, die dem nicht verdeckten Teil des Himmels entsprechen. Die
Himmelserkennung weist zudem jeder einzelnen segmentierten Region eine
Wahrscheinlichkeit in Bezug auf die Tatsache zu, dass es sich um
Himmel handelt Es ist der nachfolgenden herkömmlichen Verarbeitung des Bildinterpretationssystems überlassen,
die Wahrscheinlichkeitsdarstellung zu nutzen oder diese in eine "scharfe" (crisp) Entscheidung
umzuwandeln. Zu wichtigen Merkmalen der Erfindung zählen ein
zuverlässiges
Verfahren zur Himmelserkennung, das auf der Farbtonklassifizierung,
der Strukturanalyse (Trace-Analyse) und der physikalisch motivierten
Himmelsspurenanalyse beruht, die Nutzung der Farbtoninformationen
zur Auswahl heller, himmelfarbener Pixel, die Nutzung einer Analyse
verbundener Komponenten, um potenzielle Himmelsbereiche zu finden,
die Nutzung eines Gradienten zur Bestätigung, dass die Himmelsbereiche
einen geringen Strukturanteil aufweisen (d.h. offenen Raum), die
Nutzung einer Segmentierung in offene Räume zur Trennung benachbarter
Bereiche mit ähnlichen
Himmelsfarbenwahrscheinlichkeiten und unterschiedlichen Himmelsfarben,
die Nutzung des Gradienten zur Bestimmung der Zenith-Horizont-Richtung
und die Nutzung einer physikalisch motivierten Himmelsspurensignatur,
um zu ermitteln, ob ein betreffender Bereich in ein Himmelsmodell
passt.
-
Der
Gegenstand der vorliegenden Erfindung betrifft die digitale Bildinterpretationstechnik,
worunter die Technik zu verstehen ist, die ein Digitalbild digital
verarbeitet, um menschlich verständlichen
Objekten, Attributen oder Bedingungen eine sinnvolle Bedeutung zuzuweisen
und dann die in der weiteren Verarbeitung des Digitalbildes erzielten
Ergebnisse zu nutzen.
-
Ein
Blockdiagram des Systems zur Himmelserkennung (z.B. der digitalen
Bildinterpretationstechnologie) wird in 1 gezeigt. Ein Digitalbild 10 wird
digital verarbeitet 20. Die aus der Verarbeitung 20 erzielten Ergebnisse 30 werden
zusammen mit dem ursprünglichen
Digitalbild 10 in einem Bildbearbeitungsschritt 40 zur
Erstellung eines modifizierten Bildes 50 verwendet.
-
2 zeigt ein detaillierteres
Blockdiagramm des erfindungsgemäßen Verfahrens
zur Himmelserkennung. Das erfindungsgemäße Verfahren umfasst drei Hauptstufen.
In der ersten Stufe (z.B. Position 201) wird eine Farbklassifizierung
von einem mehrschichtigen, neuronalen Netz durchgeführt, das
in Bootstrapping-Weise unter Verwendung positiver und negativer
Beispiele nach dem Backpropagation-Lernverfahren (Fehlerrückführungsverfahren)
trainiert ist, wie detailliert nachfolgend besprochen wird. Die
Ausgabe der Farbklassifizierung ist ein Raster fortlaufender "Wahrscheinlichkeitswerte", die gegenüber einem
binären
Raster zu bevorzugen sind.
-
In
der nächsten
Hauptstufe ermittelt ein Bereichsextraktionsprozess (z.B. Position 202)
automatisch einen entsprechenden Schwellenwert für das Himmelsfarben-Wahrscheinlichkeitsraster,
indem der erste Talsohlenpunkt ermittelt wird, indem das Verfahren
in dem Wahrscheinlichkeitsraster von den niedrigeren Wahrscheinlichkeiten
zu den höheren
Wahrscheinlichkeiten verfährt
und eine Analyse der verbundenen Komponenten durchführt. Die
Erkennung offener Räumen
(z.B. Position 204) wird ebenfalls einbezogen, um (1) stark strukturierte
Bereiche zu eliminieren und (2) den Himmel von anderen blaufarbenen
Bereichen zu trennen, beispielsweise Wasserflächen. Indem man die Schnittmenge
zwischen Pixeln mit Wahrscheinlichkeitswerten, die über dem
Schwellenwert liegen, und verbundenen Komponenten im Raster der
offenen Räume
bildet, werden Seed-Bereiche erzeugt. Für Pixel, deren Wahrscheinlichkeitswerte
unter dem Schwellenwert liegen, bestimmt die Kontinuität der Wahrscheinlichkeitswerte
sowie die Kontinuität
der Farbwerte das Bereichswachstum aus den Seed-Bereichen.
-
In
der dritten Hauptstufe bewertet der Bewertungsprozess für Himmelskennzeichen
(z.B. Position 205–209)
die Ausrichtung des Himmels durch Prüfung vertikaler/horizontaler
Gradienten für
jeden extrahierten Bereich, Extrahieren eindimensionaler Spuren
innerhalb des Bereichs in Horizont-Zenith-Richtung, Ermitteln (anhand
nachfolgend besprochener Regeln), ob eine Spur einer Spur aus dem
Himmel ähnlich
ist und Berechnen der Himmelwahrscheinlichkeit des Bereichs anhand
des Prozentsatzes der Spuren, die in das physikalisch gestützte Himmelsspurmodell
passen. In einem Ausführungsbeispiel
identifiziert die vorliegende Erfindung die horizontale Richtung
einer Szene in dem Bild durch Identifizierung eines ersten Gradienten,
der parallel zu einer Breitenrichtung des Bildes verläuft, und
eines zweiten Gradienten, der rechtwinklig zur Breitenrichtung des Bildes
verläuft,
wobei der kleinere aus dem ersten und zweiten Gradienten die horizontale
Richtung der Szene bezeichnet.
-
2 zeigt den Empfang eines
Eingabebildes in digitaler Form 200. Die Pixel werden dann
in himmelfarbene und nicht himmelfarbene Pixel klassifiziert 201,
und zwar unter Verwendung des erfindungsgemäßen Farbklassifizierungsverfahrens,
wie nachfolgend besprochen.
-
Anhand
der nachfolgend besprochenen Analyse der verbundenen Komponenten
wird ein räumlich
zusammenhängender
Bereich himmelfarbener Pixel extrahiert 202. Auf jedes
innere Pixel der verbundenen Komponente (oder des "Bereichs") werden Gradientenoperatoren
gelegt, um die horizontalen und vertikalen Gradientenwerte zu berechnen 203.
Die Pixel in Nähe
der Grenze zur verbundeten Komponente sind in einem Ausführungsbeispiel
vorzugsweise ausgeschlossen, weil sie oft den Größenübergang zwischen Himmel und anderen
Motivgegenständen
darstellen, beispielsweise am Horizont.
-
Die
mittleren horizontalen und vertikalen Gradientenwerte Gx und Gy
werden mithilfe aller in dem Bereich liegenden Pixel berechnet.
Ein betreffender Bereich wird mit eine Anzahl von Tests eliminiert,
falls eine übermäßige Struktur
festgestellt wird. Wenn ein Gradientenwert über einem vorgegebenen hohen
Schwellenwert Thigh liegt, was darauf hinweist,
dass der Bereich stark strukturiert ist, wird dieser Bereich nicht
als Himmelsbereich erkannt. Wenn |GX| und
|Gy| nahezu identisch sind, wird der Bereich ebenfalls nicht als
Himmelsbereich erkannt. Wenn die Farb(ton)verteilung aller Pixel
in dem betreffenden Bereich nicht den erwarteten Eigenschaften eines
Himmelsbereichs entspricht, wird der Bereich ebenfalls nicht als
Himmelsbereich erkannt.
-
Das
erfindungsgemäße Verfahren
berücksichtigt,
dass die dreidimensionale Form der Himmelsfarbverteilung einer geneigten
Ellipse ähnlich
sein sollte, wobei die Längsachse
ungefähr
in der Helligkeitsrichtung verläuft,
was teilweise auf den Desaturierungseffekt zurückzuführen ist, wie nachfolgend detailliert
besprochen wird.
-
Wenn
der Bereich den Test auf geringe Strukturierung besteht 204,
wird die mögliche
Richtung der Zenith/Horizont-Ausrichtung ermittelt 205.
Falls der Test nicht bestanden wird, kehrt die Verarbeitung nach
Position 202 zurück,
um den nächsten
potenziellen Bereich von himmelfarbenen Pixeln zu analysieren. Der
Gradient im Rotkanal wird untersucht. Wenn |Gx| > |Gy|, ist das ein Hinweis darauf, dass
es sich um eine Landschaftsaufnahme handelt. Andernfalls ist das
Bild höchstwahrscheinlich
eine Porträtaufnahme.
Gx<0 ist bei einer
Landschaftsaufnahme ein Hinweis auf eine lagerichtige Aufnahme,
andernfalls steht die Aufnahme höchstwahrscheinlich
auf dem Kopf. Gy<0
ist bei einer Porträtaufnahme
ein Hinweis auf eine Aufnahme, deren linke Seite oben liegt, andernfalls
liegt die rechten Seite der Aufnahme oben.
-
Die
Spuren werden dann über
einen betreffenden Himmelsbereich in Horizont/Zenith-Richtung extrahiert 206.
Für jede
Spur wird eine Vielzahl von Himmelsspurkennzeichen 207 gemessen,
um zu ermitteln, ob jede Spur wahrscheinlich aus einem Himmelsbereich
stammt.
-
Die
Wahrscheinlichkeit 208, dass ein betreffender Bereich ein
Himmel ist, wird ermittelt, indem alle extrahierten Himmelsspuren
einer Bewertung unterzogen werden. Wenn die Gesamtwahrscheinlichkeit
eines betreffenden Bereich über
einer vorbestimmten Schwelle 209 liegt, wird der betreffende
Bereich als Himmelsbereich 210 deklariert. Die Verarbeitung
kehrt dann zurück,
um alle betreffenden Bereiche in gleicher Weise zu analysieren (z.B.
kehrt die Verarbeitung nach Position 202 zurück). Wenn
die erkannten Himmelsbereiche nicht mit der Himmelsausrichtung übereinstimmen,
wird über
die Gesamtausrichtung des Bildes anhand der Ergebnisse aus größeren Himmelsbereichen
mit höherer
Wahrscheinlichkeit entschieden. Die Regionen, die mit der Himmelsausrichtung
in Konflikt stehen, werden dann zurückgewiesen.
-
Es
ist nahezu axiomatisch, dass der Himmel für das menschliche Auge blau,
die Wiese grün,
Schmutz grau/rot/braun und Wasser blaugrün ist. Die tatsächliche
Aufzeichnung in einem Digitalbild weicht davon jedoch etwas ab.
Dies gilt nicht nur für
Himmelsbereiche, die warme Farben enthalten, die dem Sonnenaufgang und
Sonnenuntergang zugeordnet sind, sondern auch für Himmelsbereiche, die blauer
erscheinen als es die Farbaufzeichnung zeigt. Das Problem verschärft sich
möglicherweise
noch durch die Tatsache, dass die Farbbalance des gesamten Bildes
aufgrund des Fehlers verschoben sein kann, der während der Bildaufnahme und in
anderen Stufen der Bebilderungskette eingebracht wird.
-
Die
Blaudarstellung des Himmels in einem Farbbild ist das Ergebnis der
menschlichen Physiologie und Psychologie sowie der Physik; die roten
und grünen
Komponenten eines blau erscheinenden Himmelspixels können (um
einen kleinen Prozentsatz) stärker
als die Blaukomponente sein. Zudem ist ein klarer, wolkenloser Himmel
normalerweise der hellste Motivgegenstand in einem Bild, obwohl
die Sonne selbst, beleuchtete Wolken, Schnee, Eis oder einige künstliche
Objekte heller als der blaue Himmel sein können. Die Sonne scheint in
dem orange-gelben Wellenlängenbereich
am hellsten. Nach dem Rayleighschen Gesetz verteilt die wellenlängenselektive
Streuung von Luftpartikeln die blaue Lichtkomponente der Sonnenstrahlen
viel stärker
als die längere
Wellenlänge
(siehe beispielsweise C.F. Bohren und D.R. Huffman, Absorption and
Scattering of Light by Small Particles, New York, USA, John Wiley
and Sons, 1983). Die Farbe des Himmels setzt sich allerdings vorwiegend
aus Violett zusammen (gegenüber
dem unsere Augen nicht sehr empfindlich sind) und einem größeren Anteil von blau, einem kleinen Anteil von
grün und
einem sehr kleinen Anteil von gelb und rot, wobei die Summe aller
dieser Komponenten himmelblau ist (siehe beispielsweise M. Minnaert,
The Nature of Light and Color in the Open Air. New York, USA, 1954).
-
Die
blaue Erscheinung des Himmels ist jedoch nicht gleichmäßig. Der
Himmel erscheint oft gegenüber dem
Horizont desaturiert. Wenn man sich den Himmel direkt seitlich über der
Sonne anschaut, dominiert das gestreute blaue Licht, und der Himmel
erscheint tiefblau. Wenn man sich dem entfernten Horizont zuwendet, gleichen
sich die verschiedenen selektiven Faktoren tendenziell an, und der
Himmel erscheint desaturiert bis nahezu weiß.
-
Es
gibt eine Reihe interessanter Effekte bezüglich der Lichtverteilung im
Himmel, z.B. Lichthöfe,
Luftspiegelungen und Regenbögen.
Dabei steigt die Lichtintensität
vom Zenith zum Horizont an, während
sich gleichzeitig die Farbe von dunkelblau nach weiß ändert. Dieser
Effekt ist vorwiegend auf die Dicke der Luftschicht zwischen unseren
Augen und dem Horizont zurückzuführen. Obwohl
die kleinen Luftpartikel vorzugsweise die blauen Strahlen streuen,
werden die gestreuten Strahlen vor allem in ihrer langen Bahn von
den Streupartikeln bis zum Auge hin geschwächt. Aufgrund der sehr dicken
Luftschicht wirken die Streuung und die Dämpfung gegeneinander.
-
Es
sei angenommen, ein kleiner Partikel im Abstand x zu einem gegebenen
Punkt streut mit dem Bruchteil sdx (wobei s der farbabhängige Streufaktor
und dx die Größe des Partikels
ist). Die Lichtmenge wird im Verhältnis e
–sx abgeschwächt, bevor
Sie den gegebenen Punkt erreicht. Das von einer unendlich dicken Luftschicht
empfangene Licht (eine Näherung)
besteht aus der Summe der Anteile aller Partikel dx, als,
die gleich eins ist. Die
Menge des empfangenen Lichts und somit auch die Farbe des Lichts
ist von s unabhängig.
-
Der
Himmel in Nähe
des Horizonts zeigt daher die gleiche Helligkeit und Farbe wie ein
weißer,
von der Sonne beleuchteter Schirm. Die Schichten der Luft in Nähe des Bodens
können
zudem mehr schwebende große
Staubpartikel enthalten, die das Licht aller Farben in gleichem
Maße streuen
und die Farbe des Lichtes weißer
werden lassen (auch wenn die Luftschicht keine unendliche Dicke
haben kann).
-
Wenn
sich der Beobachter von der Sonne abwendet, so dass die Sonne den
Beobachter von hinten anleuchtet, erfolgt die konzentrische Verteilung
des Lichts aufgrund der Position der Sonne (hoch über dem Horizont)
und der eingeschränkten
Sicht des Betrachters ungefähr
parallel zum Horizont. Wenn der Betrachter in Richtung der Sonne
blickt (wobei er im Schatten eines Gebäudes in Nähe der Schattenkante steht),
nimmt die Helligkeit der Sonne schnell in Richtung der Sonne zu
und wird grell, wobei die Farbe immer weißer wird. In fotografischen
Bildern ist es äußerst ungewöhnlich,
dass man ein Bild der direkten Sonnenstrahlung aufnimmt, es sei
denn, es handelt sich um einen Sonnenaufgang oder Sonnenuntergang,
wenn die Sonne am Horizont steht und die Lichtintensität wesentlich
schwächer
ist.
-
Obwohl
der blaue Himmel als das beste Beispiel für eine gleichmäßige Farbabstufung
gelten kann, weist Zwielicht eine viel dramatischere Farbabstufung
in ähnlicher
Form einer konzentrischen Verteilung mit konstanter Helligkeit und
Farbe auf, wie in 3A-B gezeigt. 3A-B zeigt die verschiedenen
Farben, die am östlichen
Horizont zu sehen sind, wenn die Sonne im Osten untergeht (z.B.
Tageslicht gegenüber
Zwielicht). Der Gegenstand der vorliegenden Erfindung betrifft zwar
nicht die Erkennung eines Himmels im Zwielicht, aber es lassen sich
bestimmte eindeutige Merkmale der Zwielichthimmels für ein allgemeineres
Verfahren zur Himmelserkennung nutzen. Wenn eines der in der vorliegenden
Erfindung verwendeten Merkmale abgeschaltet wurde, erfasste das
Verfahren weiterhin erfolgreich den Zwielichthimmel in 3B, wie nachfolgend besprochen.
-
Es
ist zudem wichtig, die Faktoren zu betrachten, die die Farbe des
Wassers bestimmen, die oft von der des Himmels nicht zu unterscheiden
ist. Ein Teil des Lichts, das vom Wasser auf unser Auge fällt, wird
von dessen Oberfläche
reflektiert; es funktioniert wie ein Spiegel, wenn es glatt ist,
wobei die Farbe des Wassers, je nach Farbe des Himmels, blau oder
grau erscheint. Die Farbe der See (oder einer großen, offenen
Wasserfläche)
in der Entfernung ist so wie die des Himmels in einer Höhe von 20° bis 30° und erscheint
unmittelbar über
dem Horizont dunkler als der Himmel. Das ist darauf zurückzuführen, dass
nur ein Teil des Lichts reflektiert wird, wenn unser Blick auf die
Gefälle
entfernter Wavelets fällt
(siehe z.B. Minnaert, The Nature of Light and Color in the Open
Air. New York, USA, 1954).
-
Abgesehen
von der Reflexion hat tiefes Wasser eine "Eigenfarbe", nämlich
die Farbe des von unten zurückgeworfenen
Lichts. In der Tiefsee kann die Wassertiefe so groß sein,
dass praktisch kein Licht vom Boden zurückgeworfen wird. Die "Eigenfarbe" ist auf die kombinierte
Wirkung der Streuung und Absorption im Wasser zurückzuführen. Die
Farbe von tiefem, nahezu reinem Wasser ist blau, und zwar aufgrund
der Absorption des Lichts in den orangefarbenen und roten Bestandteilen
des Spektrums, nachdem Licht das Wasser durchdrungen hat und wieder
zurückgeworfen
wird.
-
Um
den Himmel erkennen zu können,
muss man zwischen blauem (normalerweise tiefem) Wasser und dem Himmel
unterscheiden können,
gleichgültig,
ob die Wasserfläche
zusammen mit dem Himmel abgebildet ist oder nicht. Das größte Augenmerk
liegt dabei auf der Absorption der orangefarbenen und roten Komponenten
des Lichts durch das Wasser. Die Wellen und Bewegungen tiefer Wasserflächen erzeugen
kleine Oberfläche
mit unterschiedlichen Gefällen.
Im Allgemeinen erscheint die Farbe einer Oberfläche dunkler, wenn die Fläche zu unserem
Blick hin rechtwinkliger oder näher
angeordnet ist. Diese Änderungen
betreffen jedoch vorwiegend die Helligkeit und nicht den Farbton.
-
Was
die zuvor erwähnte
Farbklassifizierung angeht (siehe Position 201, 2), wird von der vorliegenden
Erfindung zunächst
der Einfachheit halber ein Farbklassifizierer für klaren, hellblauen Himmel
bei Tageslicht trainiert. Himmelsbereiche, die die warmen Farben
enthalten, die Sonnenaufgang und Sonnenuntergang zugeordnet sind,
fallen aus den Bereichen blauen oder grauen Himmels heraus, die
den Hintergrund in vielen Außenaufnahmen
stellen. Im Zusammenhang mit der vorliegenden Erfindung identifiziert
die farbgestützte
Erkennung alle betreffenden blauen Himmelspixel, die dann als Bereiche
für räumliche
Merkmale abgetastet werden, die dem klaren Himmel entsprechen.
-
Ein
neuronales Netz wird dann trainiert, um das Training des Farbklassifizierer
abzuschließen.
Der erste Trainingssatz umfasst Bilder mit idealen Eigenschaften
für blauen
Himmel, grauen Himmel und Bildern ohne Himmel (vorwiegend Innenaufnahmen).
Alle blauen Himmelspixel wurden als positive Beispiele aufgenommen,
alle Pixel, die weder einem blauem Himmel noch einer Wasserfläche zugeordnet
werden konnten, wurden als negative Beispiele aufgenommen.
-
Ein
neuronales Netz mit Feedforward-Strategie wurde mit zwei verdeckten
Schichten aufgebaut, die 3 oder 2 Neuronen enthielten, sowie ein
einzelnes Ausgabeneuron (siehe z.B. Howard Demuth und Mark Beale, Matlab
Neural Network Toolbox, The MathWorks, Inc., 1998). Die Neuronen
in der verdeckten Schicht wiesen tangential-sigmoide Übertragungsfunktionen
auf, während
die Übertragungsfunktion
des Ausgabeneurons logarithmisch-sigmoid
war. Das Netz wurde mit der Backpropagation von Levenberg-Marquardt
trainiert, um Pixelwerte als idealen blauen Himmel oder als nicht
dem Himmel zugehörig
zu klassifizieren (siehe z.B. Howard Demuth und Mark Beale). Die
Zielantwort ist a=1 für
ideal blaue Himmelspixel und a=0 für nicht dem Himmel zugehörige Pixel.
-
Der
so trainierte Farbklassifizierer gab einen Wahrscheinlichkeitswert
zwischen 0 und 1 für
jedes verarbeitete Pixel aus, wobei 1 ein Pixel bezeichnet, das
sehr wahrscheinlich blauen Himmel darstellt, während 0 ein Pixel bezeichnet,
das sehr wahrscheinlich keinen blauen Himmel darstellt. Um das Ansprechen
der vorliegenden Erfindung auf Punkte im (r,g,b) Eingaberaum zu
veranschaulichen, zeigt 4A ein
regelmäßig beabstandetes
Gitter aus (r,g,b)-Triplets
aus Beispielbildern, die mit der Erfindung verarbeitet wurden, wobei
jede Farbebene in 4B-4D getrennt
dargestellt wird.
-
Die
Punkte, die Wahrscheinlichkeit von größer 0,1 für blauen Himmel aufweisen,
sind in 4A mit "." markiert. Die Projektionen dieser Verteilung
auf die drei Ebenen wird ebenfalls gezeigt (mit "o" markiert).
Es sei darauf hingewiesen, dass sich die Verteilung in die Helligkeitsrichtung
erstreckt und mit abnehmender Helligkeit etwas divergiert. Für jedes
Eingabebild wird jedes Pixel unabhängig klassifiziert, und es
wird ein Wahrscheinlichkeitsraster erstellt, indem die Helligkeit
jedes Pixels proportional zu dessen Wahrscheinlichkeitswert eingestellt
wird. Beispiele dieser Wahrscheinlichkeitsraster sind in 12E-F und 13E-F zu sehen.
-
5 zeigt eine Receiver Operating
Characteristic (ROC) auf Pixelebene des erfindungsgemäßen Farbklassifizierers.
Die Kurve zeigt die richtig positive und die falsche positive Bestimmung,
wenn der Verarbeitung im Farbklassifizierer unmittelbar ein harter
Schwellenwert auf verschiedenen Ebenen folgt.
-
Herkömmlicherweise
ist der globale Schwellenwert nicht dynamisch und lässt sich
finden, indem man die Position auf der Kurve sucht, die der oberen
linken Ecke der in 5 gezeig ten
Kurve an nächsten
ist. Ein Schwellenwert von beispielsweise 0,0125 ergibt eine richtige
Erkennung von 90,4% an blauen Himmelspixeln, erkennt aber auch (fälschlicherweise)
13% nicht blaue Himmelspixel. Unter den erkannten nicht blauen Himmelspixeln
macht Wasser einen wesentlichen Anteil aus. Im Unterschied dazu
nutzt die Erfindung keinen vordefinierten "harten" Schwellenwert, sondern führt einen
Bereichsextraktionsprozess durch, bevor jeder Bereich gegenüber einer
Menge von Himmelsmerkmalen ausgewertet wird. Dieser Prozess wird
nachfolgend detailliert in Bezug auf 7 besprochen.
-
Das
erfindungsgemäße Bereichsextraktionsverfahren
(z.B. Position 202, wie zuvor besprochen) ermittelt automatisch
einen entsprechenden Schwellenwert für das Himmelsfarben-Wahrscheinlichkeitsraster,
indem der erste Talsohlenpunkt ermittelt wird, wobei das Verfahren
in dem Wahrscheinlichkeitshistogramm von den niedrigeren Wahrscheinlichkeiten
zu den höheren
Wahrscheinlichkeiten verfährt
und eine Analyse der verbundenen Komponenten durchführt, wie
in 7 gezeigt. Bei der
Erfindung werden zudem die verbundenen Komponenten so verarbeitet,
dass eine Darstellung der Himmelssegmente auf Bereichsebene erfolgt,
was eine Auswertung der Himmelmerkmale ermöglicht, die andernfalls auf
Pixelebene unmöglich
wäre.
-
6 zeigt eine detailliertere
Darstellung des Bereichsextraktionsverfahrens 202 (aus 2). Für ein Wahrscheinlichkeitsraster 71,
in dem der Wert jedes Pixels proportional zu der Wahrscheinlichkeit
ist, dass das Pixel eine Himmelsfarbe aufweist, wird in adaptiver
Weise ein globaler Schwellenwert 72 ermittelt, wie nachfolgend
in Bezug auf 7 besprochen.
Mithilfe dieses Schwellenwerts wird ein binäres Raster 73 erzeugt, wobei
ein Pixel "1" als ein potenzielles
Himmelspixel gilt und ein Pixel "0" als kein Himmelspixel.
Verbundene Komponenten, die Bereiche räumlich zusammenhängender
Pixel mit dem Wert "1" sind, werden dann
eindeutig markiert 74, um räumlich getrennte Bereiche von
Himmelsfarben zu erzeugen, die nicht null sind. Pixel, die keine
Himmelsfarbe aufweisen, sind mit "0" gekennzeichnet
(was im vorliegenden Zusammenhang als "ungekennzeichnet" gilt), und zwar unabhängig davon,
ob sie miteinander verbunden sind. Jede verbundene Komponente der
Himmelsfarbe wird mithilfe von zwei Operationen verarbeitet 75,
die nachfolgend detaillierter besprochen werden, um die verbundenen
Komponenten der Himmelsfarbe zu erzeugen 76. Ein Offenraum-Raster 77 (wie
nachfolgend besprochen) wird mit den verbundenen Komponenten kombiniert,
um die betreffenden Himmelsbereiche zu erzeugen, die von Position 202 in 2 ausgegeben werden.
-
7 zeigt das erfindungsgemäße Verfahren
für die
dynamische Bestimmung des globalen Schwellenwerts. Zunächst wird
ein Histogramm der Wahrscheinlichkeitswerte aus dem Wahrscheinlichkeitsraster
von Himmelsfarben erstellt. Dann wird das Histogramm geglättet, um
Rauschen zu entfernen (wodurch z.B. die in 7 gezeigte Kurve entsteht). Das erste
signifikante Tal (z.B. "erstes
Tal" in 7) wird in dem geglätteten Histogramm
gefunden. In einem einfachen Bild, in dem ein Himmelsbereich vorhanden
ist und alles andere als nicht dem Himmel zugehörig erkannt wird, hat das Histogramm
nur zwei Spitzen und dazwischen ein Tal. In komplexen Bildern gibt
es Himmel, Wasser und andere blaue Bereiche. Die vorliegende Erfindung
nutzt daher ein anderes Histogramm für jedes Bild, was es ermöglicht,
einen dynamischen Schwellenwert für jedes durch die Erfindung
zu verarbeitende, einzelne Bild zu erzeugen.
-
In
Saber (siehe oben) wurde das letzte Tal in dem geglätteten Histogramm
verwendet, um eine universelle Schwelle in einer maximalen Wahrscheinlichkeitsbewertung
einzustellen, die auf der Annahme fußt, dass der wahre Himmelsbereich
in einem Bild stets die höchste
Wahrscheinlichkeit aufweist. In einigen Fällen kann ein blauer Bereich,
der kein Himmel ist, bezüglich
der Farbe eine höhere
Himmelswahrscheinlichkeit aufweisen. Die Erfindung unterzieht daher
alle himmelfarbenen Bereiche einer weiteren Analyse und sortiert
in den weiteren Stufen des Himmelserkennungsverfahrens Bereiche
aus, die zwar Himmelsfarben aufweisen, aber kein Himmel sind. Der
Wahrscheinlichkeitswert, an dem sich das erste Tal befindet, wird
daher als globaler Schwellenwert gewählt. Wie zuvor erwähnt, wird
dieser Schwellenwert adaptiv für
jedes einzelne Bild ermittelt, um unterschiedliche Schattierungen
des Himmels sowie die Bildaufnahmebedingungen zu berücksichtigen.
-
Die
erste der beiden Weiterverarbeitungsoperationen, wie in Position 75 oben
besprochen, ist eine Bereichsaufteilung. Die Bereichsaufteilung
wird benutzt, um räumlich
verbundene, bläuliche
Bereiche (potenzielle Himmelsbereiche) aufzuteilen, die zu verschiedenen
Objekten gehören,
aber ansonsten die gleichen Wahrscheinlichkeitswerte in Bezug auf
Himmelsfarbe aufweisen. Ein derartiger Bereich könnte beispielsweise ein blaues
Tuch gegenüber
einem blauen Himmel sein. Derartige Bereiche weisen ähnliche
Wahrscheinlichkeiten auf (insofern, als dass es typische Himmelsfarben
sind), und sind daher in dem Wahrscheinlichkeitsraster nicht trennbar.
-
Derartige
Bereiche haben eine unterschiedliche Blauschattierung und sind daher
mit universellen Farbsegmentierungsprozessen unterscheidbar, wie
dem adaptiven k-Means-Verfahren (siehe z.B. J. Luo, R.T. Gray und
H.-C. Le "Towards
a Physics-Based Segmentation of Photographic Color Images," in Proc. IEEE Int. Conf.
Image Process., 1997). Die Erfindung verwendet dieses Verfahren
und teilt einen gekennzeichneten Bereich von Himmelsfarben in zwei
oder mehrere Bereiche auf (mit eindeutigen neuen Kennzeichen), wenn
der Bereich ein Konglomerat aus mehreren Bereichen ist, wie durch
das Farbsegmentierungsverfahren bezeichnet.
-
In
einem anderen Ausführungsbeispiel
der Erfindung ist ein Offenraum-Erkennungsverfahren 77 (wie in J.
Warnick, R. Mehrotra und R. Senn, US-A-5,901,245, "Method and system
for detection and characterization of open space in digital images" beschrieben) anstelle
eines universellen Farbsegmentierungsverfahrens verwendbar. Ein
offener Raum ist als glatter und zusammenhängender Bereich in einem Bild
definiert. Er ist sehr dafür
geeignet, einen Text oder ein figürliches Element in einem Bild
anzuordnen.
-
Das
zuvor erwähnte
automatische Offenraum-Erkennungsverfahren (Warnick, siehe oben)
beruht auf zwei getrennten Bearbeitungsstufen. Zunächst wird
nach Durchführung
einer Farbraumtransformation ein gradientengestütztes Aktivitätenraster
berechnet und ein entsprechender Schwellenwert gemäß einer
Mehrbereichs-Histogrammanalyse ermittelt. In der zweiten Stufe wird
das binäre
Aktivitätenraster
einer Analyse auf verbundene Komponenten unterzogen, um Lücken aufzufüllen und
kleine Bereiche zu eliminieren. Das in Warnick (siehe oben) implementierte
Offenraumverfahren ist effektiv und effizient. Es läuft in einem
Bruchteil der Zeit ab, die für
das Farbsegmentierungsverfahren erforderlich ist. Die Offenraumerkennung
liefert zudem eine zusätzliche
Bestätigung
bezüglich
der Glätte
der potenziellen Bereiche. In dem bevorzugten Ausführungsbeispiel
nutzt die vorliegende Erfindung daher das Offenraum-Erkennungsverfahren.
Zudem wird die Offenraumerkennung verwendet, um (1) stark strukturierte
Bereiche zu eliminieren und (2) den Himmel von anderen blaufarbenen
Bereichen zu trennen, beispielsweise Wasserflächen.
-
Die
in Position 75 in 6 durchgeführte zweite
Verfeinerungsoperation umfasst das Bereichswachstum. Das erfindungsgemäße Bereichswachstumsverfahren
wird benutzt, um Löcher
auszufüllen
und Grenzen auszudehnen. Dies ist besonders sinnvoll, wenn "marginale" Pixel Himmelsfarben-Wahrscheinlichkeitswerte aufweisen,
die den globalen Schwellenwert nicht erfüllen, aber dicht genug an den
Wahrscheinlichkeitswerten benachbarter Pixel liegen, die den globalen
Ausgangsschwellenwert bestanden haben.
-
Mit
der vorliegenden Erfindung wird ein "Wachstumsschwellenwert" benutzt, um derartige
marginale Pixel neu als eine verbundene Komponente zu kennzeichnen,
wenn die Differenz in den Wahrscheinlichkeitswerten zwischen einem "ungekennzeichneten" Pixel und seinem
benachbarten "gekennzeichneten" Pixel kleiner als
ein zweiter Schwellenwert für
das Bereichswachstum ist. Es werden Seed-Bereiche erzeugt, indem man
die Schnittmenge zwischen Pixeln mit Wahrscheinlichkeitswerten,
die über
dem Schwellenwert liegen, und verbundenen Komponenten im Offenraumraster
bildet. Für
Pixel, deren Werte unter den Wahrscheinlichkeitswerten liegen, beruht
das Bereichswachstum auf der Kontinuität in den Wahrscheinlichkeitswerten
und der Kontinuität
in den Farbwerten. Kleine, isolierte Himmelsbereiche werden ignoriert.
-
In
den Messungen der Himmelsspurkennzeichen, wie zuvor mit Bezug auf
Position 207 in 2 besprochen,
werden eindimensionale Spuren innerhalb des Bereichs entlang der
Richtung vom Horizont zum Zenith extrahiert. Die Erfindung ermittelt
automatisch die Himmelsausrichtung gestützt auf die Verteilung der
vertikalen und horizontalen Gradienten in jedem extrahierten Bereich.
-
Durch
das physikalisch motivierte Modell des Himmels nutzt die Erfindung
insbesondere das Rotsignal, um die Himmelsausrichtung zu ermitteln.
Wie zuvor besprochen, hängt
beim physikalisch motivierten Himmelsmodell die Menge des Streulichts
von der Wellenlänge
des Lichts und dem Streuwinkel ab. Im Allgemeinen wird der Desaturierungseffekt
zum Horizont durch eine Zunahme des roten und grünen Lichts im Verhältnis zum
blauen Licht bewirkt. Im Zuge der vorliegenden Erfindung wurde zudem
festgestellt, dass blaues Licht entlang der Horizont-Zenit-Richtung
relativ unverändert
bleibt. Die Veränderung
des Grünsignals
ist möglicherweise
nicht so ausgeprägt
wie in dem Rotsignal. Das Rotsignal liefert daher den zuverlässigsten
Hinweis auf den Desaturierungseffekt. Die ungleichmäßige Gradientenverteilung
ist daher am deutlichsten im Rotsignal zu beobachten.
-
Aufgrund
des Desaturierungseffekts hat der Himmel einen niedrigen Gradienten
in der Horizont-Zenith-Richtung, ist aber in rechtwinkliger Richtung
im Wesentlichen konstant. Wenn die Sonne hoch über dem Horizont steht, erfolgt
die konzentrische Verteilung des Streulichts ungefähr durch
horizontale Streifen verschiedener Farbbereiche (siehe z.B. 3, Abfalleffekt der Verriegelungslinse).
Die Gradientenverteilung hat daher in horizontaler und vertikaler
Richtung verschiedene Eigenschaften, wie in 8A und 8B gezeigt
(deren Gradienten jeweils parallel bzw. senkrecht zum Horizont verlaufen),
wobei Mean 1<<Mean2 Nach der Bereichsextraktion 202 und
der Ausrichtungsbestimmung 205 extrahiert der Prozess zur
Bewertung der Himmelskennzeichnen eindimensionale Spuren in dem
Bereich entlang der ermittelten Horizont-Zenith-Richtung 206,
ermittelt weiter anhand eines Regelsatzes, ob die Spur einer Spur
aus dem Himmel 207 gleicht, und berechnet dann die Himmelswahrscheinlichkeit
des Bereichs durch den Prozentsatz der Spuren, die in das physikalisch
basierende Himmelsspurenmodell 208 passen, wie zuvor erläutert.
-
Gestützt auf
die Analyse zahlreicher eindimensionaler Spuren aus dem Himmel sowie
einiger weiterer typischer himmelsfarbener Motivmerkmale in Bildern
setzt die Erfindung Modelle zur Quantifizierung dieser Spuren ein.
Insbesondere weisen Spuren, die entlang der Horizont-Zenith-Richtung extrahiert
werden, ein Kennzeichen von Himmelsspuren auf, wie in 10A gezeigt. Das Blausignal
einer wichtigen Spur ist tendenziell über den gesamten Himmel konstant;
das Grünsignal
und das Rotsignal nehmen allmählich
mit Entfernung zum Horizont ab; das Rotsignal nimmt schneller als
das Grünsignal
ab. Alle drei Signale können
ungefähr anhand
von Polynomen niedrigerer Ordnung approximiert werden (z.B. quadratische
Polynome). Die Mikroabweichungen in den drei Signalen werden nicht
korreliert. Im Vergleich dazu weisen einige andere blaufarbene Gegenstände keine
derartige Kennzeichnung auf. Im Gegenteil, und wie in 10B gezeigt, gibt es eine
typische Spur einer blauen Wand in einem mit Blitzlicht belichteten
Bild, in dem sich die drei Signale gleichmäßig parallel zueinander ändern.
-
11B zeigt eine typische
Spur durch eine Wasserfläche,
wobei die drei Signale in lokalen Variationen stark korreliert sind.
Beide Fälle
weisen darauf hin, dass die Änderungen
im Wesentlichen die Leuchtdichte (Bildhelligkeit) betreffen. Wie
in 11A gezeigt, liegt
ein gemischter Himmel vor, in dem (weiße) Wolken zusammen mit klarem,
blauem Himmel vorhanden sind, wobei die Rot- und Grünsignale
in den Wolken stark ausschlagen, während das Blausignal gleich
bleibt und einen neutralen Wolkenbereich erzeugt. Das Rotsignal schlägt in den
Wolken typischerweise um einen größeren Betrag als das Grünsignal
aus.
-
9 ist ein Ablaufdiagramm
zur Darstellung der Verarbeitung der eingegebenen Spur. In Position 100 wird
eine extrahierte Spur in Bezug auf die in 10A-11B gezeigten Spurmodelle analysiert.
Zunächst wird
eine Anpassung eines quadratischen Polynoms (Fitting) 101 für die drei
Signale rot, grün
bzw. blau berechnet. Das quadratische Polynom ist gegeben durch
y = f(x) = c1 + c2 * x + c3 * x2, wobei
x den Index der eindimensionalen Spur bezeichnet und y den Codewert
des entsprechenden Signals.
-
Als
nächstes
wird eine Vielzahl von Merkmalen ("Kennzeichen") berechnet 102, und zwar gestützt auf der
rohen Kurve oder der angepassten Kurve. Die Merkmale werden klassifiziert
103, so dass eine Spur als eine blaue Himmelsspur gekennzeichnet
werden kann 104 oder als eine nicht blaue Himmelsspur (eine
gemischte Himmelsspur 105, eine Wasserspur 106 oder
eine "unbekannte" Spur (107).
In dem nachfolgend gezeigten Beispiel werden zehn Maße ("Kennzeichen") für jede extrahierte
Himmelsspur berechnet. Ein einschlägiger Fachmann könnte allerdings
jede Anzahl dieser Kennzeichen unter Bezug auf diese Beschreibung
erstellen.
-
Das
erste Kennzeichen betrifft den Versatz der Anpassung des quadratischen
Polynoms. Der Versatz bezieht sich auf die mittleren Werte in den
roten, grünen
und blauen Kanälen.
Dieses Kennzeichen erfordert, dass die mittlere blaue Komponente
größer als
die mittlere rote und grüne
Komponente ist. Aufgrund der besonderen Weise, in der eine Spur
extrahiert wird, ist mit diesem Kennzeichen die Forderung verbunden,
dass die blaue Komponente auf der blauesten Seite der Spur am stärksten ist.
Der Pseudo-Code in der Programmiersprache C für eine derartige Logikanweisung
lautet:
-
Anstatt
die vorausgehende scharfe Regel zu verwenden, kann es vorteilhaft
sein, eine trapezoide Fuzzy-Benotungsfunktion von stetigen Werten
und einen Abschaltpunkt mit einer bestimmten HUGEPENALTY zu verwenden,
wenn diese Bedingung verletzt wird.
-
Das
zweite Beispielkennzeichen betrifft das Gefälle der Anpassung des quadratischen
Polynoms. Aufgrund der Art und Weise, in der eine Spur extrahiert
wird, sind die Gefälle
der RGB-Signale negativ. Das macht es erforderlich, dass das Blausignal
langsamer abfällt
(soweit zutreffend) als die Rot- und Grünsignale. Dieses Kennzeichen
erlaubt andererseits auch einen monotonen Anstieg (positives Gefälle). Der
Pseudo-Code in der Programmiersprache C für eine derartige Logikanweisung
lautet:
-
Diese
ist als scharfe Regel implementiert. Eine Ausnahme wird ermöglicht,
um die strenge Bedingung von sig2 oder von zwei nicht ganz so streng
definierten Bedingungen sig2bg und sig2br zu lockern, wenn sig2 nicht
erfüllt
wird.
-
Das
dritte Kennzeichen betrifft die Ähnlichkeit
oder Parallelität
unter den angepassten Signalen. Der entsprechende Pseudo-Code für eine Logikanweisung
lautet:
-
Es
sei darauf hingewiesen, dass rgdist dazu dient, die Differenz ("Distanz") zwischen zwei angepassten
Rot- und Grünsignalen
zu bezeichnen. Es lässt
sich auf folgende Weise bestimmen. Zunächst wird eines der beiden
Signale entsprechend verschoben, so dass das verschobene Signal
den gleichen Wert am Ausgangspunkt wie das nicht verschobene Signal
hat. Wenn die angepassten Rot- und Grünsignale wie folgt sind:
dann
so dass r ^(0) = g(0).
-
Als
nächstes
wird die Differenz oder die Distanz zwischen den angepassten Rot-
und Grünsignalen gegeben
durch:
wobei L für die gesamte Länge der
Spur steht. Mit anderen Worten misst dieses Merkmal die Differenz
zwischen zwei angepassten Signalen durch die Distanz an zwei Mittelpunkten,
wenn einer der beiden so verschoben wird, dass beide Signale den
gleichen Ausgangswert aufweisen. Die beiden anderen Terme bgdist
und brdist sind in ähnlicher
Weise definiert. Eine Möglichkeit
besteht darin, nicht die Absolutwerte zu verwenden, so dass Vorzeicheninformationen
in Verbindung mit der absoluten Differenz benutzt werden.
-
Das
vierte Kennzeichen betrifft die Rot-/Grün-Ähnlichkeit. Die Rot- und Grünsignale
sollten recht ähnlich
sein. Der entsprechende Pseudo-Code für eine Logikanweisung lautet:
-
Das
vierte Kennzeichen betrifft die niedrige Nichtlinearität. Alle
drei Signale sollten eine niedrige Nichtlinearität aufweisen. Der entsprechende
Pseudo-Code für
eine Logikanweisung lautet:
-
Anstatt
die vorausgehende scharfe Regel zu verwenden, kann es vorteilhaft
sein, eine S-förmige Fuzzy-Benotungsfunktion
von stetigen Werten und einen Abschaltpunkt mit einer bestimmten
HUGEPENALTY zu verwenden, wenn diese Bedingung verletzt wird.
-
Das
sechste Kennzeichen betrifft die Rot-Grün-Blau-Korrelation für große Modulation.
Der entsprechende Pseudo-Code für
eine Logikanweisung lautet:
wobei
corr-xy den Korrelationskoeffizienten zwischen dem Signal x und
y bezeichnet. Anstatt die vorausgehende scharfe Regel zu verwenden,
kann es auch hier vorteilhaft sein, eine S-förmige Fuzzy-Benotungsfunktion
von stetigen Werten und einen Abschaltpunkt (z.B. >0,95) mit einer bestimmten
HUGEPENALTY zu verwenden, wenn diese Bedingung verletzt wird.
-
Das
siebte Kennzeichen betrifft die Rot-Grün-Blau-Ähnlichkeit oder Beinahparallelität.
-
Der
entsprechende Pseudo-Code für
eine Logikanweisung lautet:
-
Anstatt
die vorausgehende scharfe Regel zu verwenden, kann es auch hier
vorteilhaft sein, eine S-förmige
Fuzzy-Benotungsfunktion von stetigen Werten und einen Abschaltpunkt
(z.B. >0,95) mit einer
bestimmten HUGEPENALTY zu verwenden, wenn diese Bedingung verletzt
wird.
-
Das
achte Kennzeichen betrifft das negative Rot-/Grün-Gefälle. Der entsprechende Pseudo-Code für eine Logikanweisung
lautet:
-
Diese
ist als scharfe Regel implementiert.
-
Das
neunte Kennzeichen betrifft die Qualität dieser Passung. Der entsprechende
Pseudo-Code für eine
Logikanweisung lautet:
wobei
CHISQ einen x-Quatratanpassungsfehler bezeichnet.
-
Anstatt
die vorausgehende scharfe Regel zu verwenden, kann es auch hier
vorteilhaft sein, eine S-förmige
Fuzzy-Benotungsfunktion von stetigen Werten und einen Abschaltpunkt
(z.B. <0,1) mit
einer bestimmten HUGEPENALTY zu verwenden, wenn diese Bedingung
verletzt wird.
-
Kennzeichnung
zehn betrifft den Abfall der Rot- und Grünsignale. Der entsprechende
Pseudo-Code für
eine Logikanweisung lautet:
sigA = rdec*gdec;wobei
rdec die Tatsache bezeichnet, ob das Rotsignal (monoton) abnimmt.
rdec wird mithilfe des angepassten Rotsignals bestimmt, indem man
zwei Proben nimmt, und zwar zuerst x1 am 1/4 Punkt und dann x2 am
3/4 Punkt der Gesamtlänge.
Der entsprechende Pseudo-Code für
eine Logikanweisung lautet:
-
Der
andere Term gdec wird für
das Grünsignal
auf ähnliche
Weise bestimmt. Dieser ist als scharfe Regel implementiert. Es sei
darauf hingewiesen, dass sigA = 1 wenn, und nur wenn rdec = 1 und
gdec = 1.
-
Diese
zehn Merkmale sind in dem aktuellen regelgestützten Prozess als scharfe Entscheidung
implementiert; eine gegebene Spur wird nur als Himmelsspur deklariert,
wenn alle Bedingungen erfüllt
sind, d.h. wenn
oder,
in einem auf Fuzzy-Logik basierenden Algorithmus,
-
Bei
Prüfung
aller betreffenden Spuren, was die meisten (z.B. 95%) der himmelfarbenen
Pixel betrifft, wird die Himmelswahrscheinlichkeit als der Prozentsatz
der Spuren berechnet, die das physikalisch basierende Himmelsspurenmodell
erfüllen.
Ein himmelfarbener Bereich wird als himmelfremder Bereich deklariert, wenn
die Himmelswahrscheinlichkeit unterhalb eines Schwellenwerts liegt
(in diesem Beispiel für
eine universelle Verwendung empirisch auf 0,25 festgelegt).
-
12A-13H zeigen das Verhalten
der Erfindung in Bezug auf verschiedene Bilder. 12A-B und 13A-B zeigen
die zu verarbeitenden Originalbilder. 12C-D und 13C-D stellen die Ergebnisse
des in Position 201 von 2 gezeigten
erfindungsgemäßen Farbklassifizierungsprozesses
dar, wie zuvor erläutert. 12E-F und 13E-F zeigen das Ergebnis des von der
Erfindung erzeugten Offenraumrasters (Position 77 in 6). 12G-H und 13G-H zeigen
die erfindungsgemäße Bestimmung
der Himmelsbereiche als weiße
Anteile und der himmelsfremden Bereiche als schwarze Anteile. Die
Helligkeitspegel in 12C-D und 13C-D sind proportional zu
den Himmelswahrscheinlichkeitswerten, obwohl der Helligkeitspegel
in 12E-F und 13E-F einfach auf separat gekennzeichnete Bereiche
hinweist.
-
Die
Erfindung arbeitet mit RGB-Bildern einwandfrei zusammen, die mit
derartigen Quellen, wie Film- und Digitalkameras aufgenommen worden
sind. Die erkannten Himmelsbereiche weisen eine exzellente Übereinstimmung
mit den wahrgenommenen Grenzen auf. Die in 12A-12H gezeigten Beispiele zeigen die Leistung
der Erfindung. Der Himmel und die See werden richtig voneinander
getrennt, und in 12G wird der
wahre Himmelsbereich erkannt. Das Bild in 12B ist ein Beispiel für eine ungültige Annahme,
dass sich der Himmel oben am Bild befindet, aber der Himmel wird
von dem erfindungsgemäßen Prozess
trotzdem aufgrund der richtigen Erkennung der Himmelsausrichtung
richtig erkannt. Ein glattes blaues Objekt in 13A und ein strukturiertes Tischtuch
in 13B werden von der
Erfindung richtig zurückgewiesen.
-
Unter
Berücksichtigung
der Effektivität
des erfindungsgemäßen Bewertungsverfahrens
auf Himmelskennzeichen ist es möglich,
die Farbklassifizierungsstufe zu lockern und andere, nicht blaue
Schattierungen des Himmels einzubeziehen, wie die Farbtöne bei Sonnenuntergang
oder Sonnenaufgang. Im Unterschied zu einem bewölkten Himmel weist der wolkenlose
Himmel bei Sonnenuntergang oder Sonnenaufgang ähnliche Streueffekte wie am
Tage auf. Der Hauptunterschied betrifft die warme Farbtönung durch
die aufgehende oder untergehende Sonne.
-
Eine
alternative Möglichkeit
zur Durchführung
der Himmelsauswertung ist die zweidimensionale Planar-Fit-Methode
eines betreffenden Bereichs. Für
Bereiche, die Löcher
enthalten, kann der gewichtete Faktor an der Lochposition auf null
gesetzt werden, so dass nur die himmelfarbenen Pixel zum Planar-Fit
beitragen. Um eine mögliche
Zunahme der falschen, positiven Erkennung zu vermeiden, kann die
Bedingung gestellt werden, dass die Löcher nur aufgrund heller neutraler
Objekte (Wolken) zustande kommen.
-
Die
Erfindung umfasst daher ein System zur Himmelserkennung, das auf
der Farbklassifizierung, der Bereichsextraktion und der physikalisch
motivierten Bewertung der Himmelskennzeichen beruht. Die vorliegende
Erfindung arbeitet sehr gut mit 8-Bit-Bildern aus derartigen Quellen,
wie Film- und Digitalkameras, zusammen, und zwar nach einem Vorabgleich
und Einstellung des richtigen Dynamikumfangs. Die von der Erfindung
erkannten Himmelsbereiche weisen eine hervorragende räumliche
Ausrichtung mit den wahrgenommenen Himmelsgrenzen auf.
-
Wie
bereits erwähnt,
verwendet die vorliegende Erfindung ein physikalisches Modell des
Himmels, gestützt
auf die Streuung des Lichts durch kleine Partikel in der Luft. Durch
Verwendung eines physischen Modells (im Unterschied zu einem Farb-
oder Strukturmodel) wird die Erfindung nicht durch ähnlich farbige
Motivgegenstände
getäuscht,
wie Wasserflächen,
Wände,
Spielzeuge und Kleidung. Der erfindungsgemäße Verfahren zur Bereichsextraktion
ermittelt automatisch einen geeigneten Schwellenwert für das Himmelsfarben-Wahrscheinlichkeitsraster.
Durch Nutzung des physischen Modells in Kombination mit Farb- und Strukturfiltern
erzeugt die Erfindung Ergebnisse, die herkömmlichen Systemen überlegen
sind.
so dass r ^(0) = g(0).
