DE60320178T2 - Verfahren und System zur Verbesserung von Portraitbildern - Google Patents

Verfahren und System zur Verbesserung von Portraitbildern Download PDF

Info

Publication number
DE60320178T2
DE60320178T2 DE60320178T DE60320178T DE60320178T2 DE 60320178 T2 DE60320178 T2 DE 60320178T2 DE 60320178 T DE60320178 T DE 60320178T DE 60320178 T DE60320178 T DE 60320178T DE 60320178 T2 DE60320178 T2 DE 60320178T2
Authority
DE
Germany
Prior art keywords
skin
image
enhancement
face
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
DE60320178T
Other languages
English (en)
Other versions
DE60320178D1 (de
Inventor
Richard Alan c/o Eastman Rochester Simon
Tomasz c/o Eastman Rochester Matraszek
Mark R. c/o Eastman Rochester Bolin
Henry c/o Eastman Rochester Nicponski
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Eastman Kodak Co
Original Assignee
Eastman Kodak Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Eastman Kodak Co filed Critical Eastman Kodak Co
Application granted granted Critical
Publication of DE60320178D1 publication Critical patent/DE60320178D1/de
Publication of DE60320178T2 publication Critical patent/DE60320178T2/de
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/56Processing of colour picture signals
    • H04N1/60Colour correction or control
    • H04N1/62Retouching, i.e. modification of isolated colours only or in isolated picture areas only
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T5/77
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/30Noise filtering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • G06V40/171Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/56Processing of colour picture signals
    • H04N1/60Colour correction or control
    • H04N1/62Retouching, i.e. modification of isolated colours only or in isolated picture areas only
    • H04N1/628Memory colours, e.g. skin or sky
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/24Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20004Adaptive image processing
    • G06T2207/20012Locally adaptive
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • G06T2207/30201Face

Description

  • Die Erfindung bezieht sich allgemein auf das Gebiet der digitalen Bildverarbeitung und insbesondere auf die Erzeugung verbesserter Bilder aus Portraitaufnahmen von Personen.
  • Jahrhunderte lang konnten es sich nur reiche oder privilegierte Gesellschaftsschichten leisten, erfahrene Künstler mit der Herstellung schöner Bildnisse in Form von Gemälden, Skulpturen und Zeichnungen zu beauftragen. In vielen Fällen dienten Portraits nicht nur dazu, die Wirklichkeit mit guter Ähnlichkeit wiederzugeben. Vielmehr gab die Arbeit des Künstlers oftmals in subtiler oder auch offenkundiger Weise die Wünsche und Absichten der portraitierten Personen wieder. Die Verbesserung der Wirklichkeit war eine Art künstlerischer Freiheit. So wurden die portraitierten Personen in einer Weise wiedergegeben, die ihre physischen Unvollkommenheiten minimierten und sie möglichst attraktiv erscheinen ließ. Heute sind Portraits nicht mehr nur die Domäne der Reichen und Mächtigen. Mit dem Vordringen der Fotografie in allen Gesellschaftsschichten hat sich die Anfertigung von Portraits zu einem untrennbaren Teil der meisten wichtigen Ereignisse im Lebenslauf entwickelt. Hochzeiten, Hochschulabschlüsse, Geburtstage, Geburten – alle diese und noch viele andere Ereignisse werden heute in den westlichen Kulturen in relativ standardisierten Portraits festgehalten. Die technologische Entwicklung macht es heute selbst Amateuren möglich, Bilder wie diese aufzunehmen und zu verbessern; immer noch gibt es aber eine Klasse von professionellen Fotografen, die qualitativ bessere Portraits anbieten können. Es erstaunt nicht, dass die Portraitisten auch heute noch wie in vergangenen Jahrhunderten bestrebt sind, die dargestellte Person so ansprechend wie möglich darzustellen. Im Grunde möchten die dargestellten Personen so gesehen werden, wie sie sein möchten, nicht wie sie wirklich sind.
  • Um diesem Wunsch der Menschen, so zu erscheinen, wie sie sein möchten und nicht wie sie wirklich sind, nachzukommen, greifen professionelle Fotografen auf das Mittel der Retouche zurück, um den betreffenden Personen das bevorzugte Aussehen zu geben. Durch das Retouchieren werden an einem Foto Veränderungen einer Art vorgenommen, die im ursprünglichen fotografischen Bild nicht vorhanden waren oder erfasst wurden. Eines der Ziele des Retouchierens von Portraitaufnahmen besteht darin, die fotografierte Person besser aussehen zu lassen, vorübergehende Unvollkommenheiten wie Schönheitsfehler oder Augenringe oder dauerhafte Unvollkommenheiten wie Leberflecke oder Falten zu entfernen, dabei aber die Persönlichkeit der betreffenden Person zu erhalten. Das Entfernen von Unvollkommenheiten im Gesicht, von Leberflecken und Narben, das Abmildern von Linien und Falten und Augensäcken, das Verstärken des Weißegrades der Zähne und der Augen sind nur einige Beispiele von Retouchen, die zur Verbesserung des Aussehens einer Person in einem Portraitfoto durchgeführt werden.
  • Bis zum digitalen Zeitalter wurden Bilder entweder am Negativ oder am gedruckten Bild in der Weise retouchiert, dass man Unvollkommenheiten im Portrait mittels Farben maskierte oder veränderte. Nachdem digitale Bildaufnahmegeräte allgemein verfügbar sind, erfolgt das Retouchieren von Bildern vorzugsweise durch Anwendung digitaler Abbildungstechniken auf erfasste digitale Bilder. Digitale Verfahren ermöglichen heute Verbesserungen, die früher im analogen Bild entweder nur sehr schwer oder gar nicht möglich waren. Mittels Bildbearbeitungssoftware wie Adobe Photoshop® können heute zur Verbesserung der Portraits Unvollkommenheiten entfernt, Nasen gerade gemacht, die Augenstellung ausgeglichen und ein digitales Make-up aufgebracht werden.
  • Verbesserungen der Computertechnologie und der Bildverarbeitungsalgorithmen ermöglichen heute neue automatisierte und halbautomatisierte Bildverbesserungen. Bezogen auf die portraitierte Person betreffen die entsprechenden technologischen Entwicklungen unter anderem das Bestimmen und Erkennen des Gesichts, das Erkennen und Maskieren von Gesichtsmerkmalen, die Änderung der Gesichtsposition und das Erkennen und Korrigieren von roten Augen.
  • In der veröffentlichten PCT-Patentanmeldung WO 00/76398 A1 , "Analyse-Systeme und Verfahren für die Bildwiedergabe von Haut", beschreiben Hillebrand et al. ein System, das in der Lage ist, Hautunvollkommenheiten zu erkennen und einen Hautzustands-Index zu berechnen. Dieses System richtet sich an den Kosmetik- und Hautpflegemarkt. Das System kann auch Verbesserungen mit Unvollkommenheiten behafteter Hautbereiche simulieren, welche nach einer empfohlenen Behandlung oder bei Anwendung eines Produkts erzielt werden können, das die Hautunvollkommenheiten abmildert. Das Erkennen von Hautunvollkommenheiten geschieht über Farbinformation, und zum Simulieren von Verbesserungen in den betroffenen Hautbereichen dienen Standard-Morphingtechniken.
  • In EP 1 030 276 A1 , "Verfahren zur Korrektur von Gesichtsabbildungen, Make-up-Simulierverfahren, Make-up-Hilfsgerät und Grundierungs-Transferfilm", beschreibt Utsugi ein Verfahren zum Erzeugen eines idealen Gesichts nach einem Make-up durch Bildbearbeitung auf der Grundlage eines erwünschten Gesichts oder eines Modellgesichts. Das Verfahren besteht darin, Highlightbereiche und die Form von Augenbrauen sowie Lippenlinien so weit einem Wunschgesicht oder einem Modellgesicht anzunähern, wie dies durch ein Make-up möglich ist.
  • Der Nachteil solcher Systeme, besonders für Mengen-Portraitaufnahmen, wie sie zum Beispiel bei Hochzeiten, Hochschulabschlüssen, Schul- und Sportaufnahmen, Geburtstagen, Geburten, usw. üblich sind, liegt in der erforderlichen intensiven Mitarbeit des Kunden, der seine Präferenzen mitteilen und die Ergebnisse beurteilen muss. Zum Beispiel ist bei Utsugi die Anwesenheit des Make-up Kunden erforderlich, um ein Modellgesicht, zum Beispiel aus der Gruppe populärer Künstler, Schauspielerinnen oder Schauspieler, zu bestimmen und die verschiedenen Anpassungen an das Modellgesicht vorzunehmen. Außerdem bedarf es eines erfahrenen Fotografen, der mit dem Kunden zusammen ein annehmbares Ergebnis erarbeitet.
  • US-A-6 160 923 beschreibt ein Verfahren zum Entfernen von Flecken wie Sommersprossen oder Unvollkommenheiten aus einem Bild eines Gesichts. Dabei werden die Ersatzwerte für die lokalen Pixel von Pixelattributen in der Nachbarschaft des betreffenden Ortes abgeleitet. Auf alle Gesichtsbereiche werden dabei die gleichen Filteroperationen angewandt.
  • Selbst im heutigen Zeitalter der digitalen Bilder ist das Retouchieren von Portraits immer noch eine Kunst für sich und bis heute immer noch mehr Kunst als Wissenschaft. Darüber hinaus ist das Retouchieren von Portraitbildern immer noch ein von erfahrenen Fotografen auszuführender, höchst manueller und zeitaufwändiger Vorgang. Es wäre deshalb von Vorteil, ein System zu entwickeln, dass das einfache Retouchieren von Portraits durch die Verwen dung automatisierter und haltautomatisierter Portrait-Bildverbesserungsverfahren ermöglicht. Die Erfindung löst die vorstehend beschriebenen Mängel der bekannten Techniken dadurch, dass sie Verfahren und Systeme für die automatisierte Verbesserung des Aussehens von Personen in Bildern bereitstellt.
  • Die Erfindung richtet sich auf die Überwindung einer oder mehrerer der vorstehend dargelegten Probleme. Die Erfindung ist im beiliegenden Anspruch 1 beschrieben.
  • Der Vorteil der Erfindung liegt darin, dass sie das Retouchieren von Portraits durch effiziente Anwendung automatisierter und halbautomatisierter Portrait-Bildverbesserungsverfahren ermöglicht, ohne dass die Mitwirkung erfahrener Fotografen für die Durchführung und Überwachung der Retouche-Korrekturen erforderlich ist. So werden die von erfahrenen Fotografen durchzuführenden, stark manuellen und zeitaufwändigen Verfahren vermieden, und das Retouchierverfahren lässt sich auch als Stapelprozess durchführen.
  • Diese und andere Aspekte, Gegenstände, Merkmale und Vorteile der Erfindung werden beim Lesen der folgenden detaillierten Beschreibung der bevorzugten Ausführungsformen und der beiliegenden Ansprüche und aus den beiliegenden Zeichnungen besser ersichtlich und verständlich.
  • Die Erfindung wird im Folgenden anhand eines in der Zeichnung dargestellten Ausführungsbeispiels näher erläutert.
  • Es zeigen:
  • 1A und 1B Diagramme eines Systems zur Durchführung der Erfindung bzw. einer grafischen Benutzerschnittstelle für den Einsatz in Verbindung mit dem System;
  • 2A ein Flussdiagramm einer Ausführungsform der Erfindung mit einem optionalen Maß an Intervention durch den Benutzer:
  • 2B ein Flussdiagramm einer automatischen Ausführungsform der Erfindung in einem Batch-Modus ohne Intervention durch einen Benutzer;
  • 3 ein Flussdiagramm der in 2A und 2B dargestellten Gesichtserkennungs- und Gesichtspunktelokalisierungs-Schritte;
  • 4 ein Bildbeispiel der Position der Punkte ausgeprägter Merkmale in einem detektierten Gesicht;
  • 5A ein Flussdiagramm eines Verfahrens zum Bestimmen eines Halsbereichs;
  • 5B5D Bildbeispiele, die das Verfahren der Erzeugung der endgültigen Halswahrscheinlichkeits-Map darstellen;
  • 6 ein Diagramm der Gesamtheit von Verbesserungsfiltern, die in dem in den Flussdiagrammen gemäß 2A und 2B dargestellten System Anwendung finden;
  • 7A ein Flussdiagramm eines in 6 dargestellten Hauttextur-Verbesserungsfilters;
  • 7B ein Diagramm einer Pixelumgebung mit dem im Hauttextur-Verbesserungsfilter verwendeten Randfilter-Talwertkern;
  • 8 ein Flussdiagramm der bevorzugten erfindungsgemäßen Ausführungsform des Auswählen und Modifizieren von Hautmerkmalen gemäß der Erfindung;
  • 9 ein Bildbeispiel eines Sprossenradfilters, in dem die um ein defektes Pixel herum definierten Zeilensegmente zu erkennen sind;
  • 10A und 10B ein Flussdiagramm eines Prozesses, bei dem der Sprossenradfilter gemäß 9 zum Schätzen korrigierter Werte für das defekte Pixel verwendet wird;
  • 11 ein Flussdiagramm einer bevorzugten Ausführungsform zur Berechnung neuer Pixelwerte in dem in 10 dargestellten Prozess;
  • 12 ein Flussdiagramm eines Verfahrens zum Erzeugen von Zeilensegmenten durch ein Merkmalspixel im Sprossenradfilter gemäß 9;
  • 13 ein Flussdiagramm einer derzeit bevorzugten Ausführungsform eines Hautton-Verbesserungsfilters gemäß 6;
  • 14 ein Flussdiagramm einer derzeit bevorzugten Ausführungsform der Berechnung der Schatten-/Highlight-Stärke für den Farbton-Verbesserungsfilter gemäß 13;
  • 15A, 15B und 15C Darstellungen verschiedener Funktionen, die die Wirkung verschiedener im Haut-Verbesserungsfilter gemäß 3 verwendeter Mischungskoeffizienten illustrieren;
  • 16 ein Flussdiagramm einer derzeit bevorzugten Ausführungsform der Verbesserungsfilter für Zähne und Augen gemäß 6;
  • 17 eine Darstellung einer im Hauttextur-Verbesserungsfilter verwendeten Mischfunktion;
  • 18 ein Bildbeispiel der bei der Durchführung einer Formkorrektur an einem Auge verwendeten Referenzpunkte; und
  • 19 ein Flussdiagramm einer derzeit bevorzugten Ausführungsform eines Form-Verbesserungsfilters gemäß 6.
  • Da Bildverarbeitungssysteme, die mit Gesichtsmerkmalerkennung und Merkmalsverbesserung arbeiten, allgemein bekannt sind, richtet sich die folgende Beschreibung insbesondere auf Attribute, die Bestandteil des erfindungsgemäßen Verfahrens und Systems sind oder direkter mit diesen zusammenwirken. Hier nicht besonders dargestellte oder beschriebene Attribute können aus den nach dem Stand der Technik bekannten ausgewählt werden. Die nachfolgende Beschreibung geht davon aus, dass eine bevorzugte Ausführungsform der Erfindung normalerweise als Softwareprogramm implementiert wird, wobei für den Fachmann natürlich ersichtlich ist, dass eine einer solchen Software entsprechende Lösung auch hardwaremäßig implementiert sein kann. Bei dem erfindungsgemäßen, im Folgenden beschriebenen System ist hierin nicht besonders dargestellte, vorgeschlagene oder beschriebene Software, die sich für die Ausführung der Erfindung eignet, als bekannt und im Rahmen der Kenntnisse des Fachmanns liegend anzusehen. Terminologisch sind in der Beschreibung der Erfindung unter Verbesserungsfiltern Verfahren zu verstehen, die das Aussehen eines Gesichts in einem digitalen Bild verbessern. Zum Beispiel ist ein Augen-Verbesserungsfilter ein Verfahren zum Verbessern des Weißegrades und/oder der Irisfarbe der Augen.
  • Wird die Erfindung als Computerprogramm implementiert, kann das Programm auf herkömmlichen computerlesbaren Speichermedien gespeichert werden, zum Beispiel auf magnetischen Speichermedien wie Magnetplatten (etwa Disketten oder Festplatten) oder auf Magnetbändern, optischen Speichermedien wie optischen Platten, optischen Bändern oder in maschinenlesbarem Strichcode, auf elektronischen Halbleiterspeichergeräten wie RAM- oder ROM-Speichern oder auf anderen physischen Geräten oder Medien zum Speichern von Computerprogrammen.
  • 1A zeigt ein für die Ausführung der Erfindung geeignetes System 10. Das System 10 weist einen PC 12 mit einer Zentraleinheit (CPU) auf, die geeignet ist, im Rahmen der Ausführung des erfindungsgemäßen Verfahrens einen Satz vorgegebener Schritte auszuführen. Außerdem ist in Verbindung mit dem PC 12 ein digitales Speichermedium 20 zum Speichern digitaler Bilder vorgesehen. Das digitale Speichermedium 20 kann aus verschiedenen Geräten bestehen, etwa einem RAM, einem ROM, Festplatten oder Disketten, usw. Darüber hinaus kann das digitale Speichermedium 20 auch zum örtlichen Speichern der verbesserten Bilder eingesetzt werden. Ferner können dem Computer 12 auch digitale Bilderfassungsgeräte, wie ein Scanner 28 und eine digitale Kamera 30, als zusätzliche digitale Bildquellen zugeordnet sein. Es versteht sich jedoch, dass die digitalen Bilder aus jeder beliebigen Quelle stammen können. Benutzer kommunizieren mit dem Computer 12 über Eingabegeräte 40, etwa eine Maus und/oder eine Tastatur sowie einen mit dem Computer 12 verbundenen Monitor 50. Das System kann ferner weitere Geräte, etwa einen Drucker 34 für die örtliche Ausgabe der Bilder aufweisen. Normalerweise sind die vorstehend genannten Komponenten Bestandteil des PC 12 in dem Sinne, dass sie direkt mit ihm verbunden sind.
  • Alternativ müssen die genannten Komponenten nicht alle direkt an den Host-Computer 12 angeschlossen sein, sondern können mit einem Server 62 verbunden sein, der seinerseits über ein Kommunikationsnetzwerk 70 mit einen Client-PC 12 verbunden ist. Ferner kann der Computer eine Zentraleinheit (CPU) enthalten, die bei der Ausführung des erfindungsgemäßen Verfahrens einen Satz vorgegebener Schritte ausführt. Der Server kann auch mit einem Speichermedium 65 und einem oder mehreren Druckern 60 verbunden sein. Dadurch können Bilder an einem entfernten Ort erfasst, gespeichert und über das Kommunikationsnetzwerk 70 mittels des Speichermediums 65 und des mit dem Server 62 verbundenen Druckers 60 ausgedruckt werden. Die Software für die Ausführung der Erfindung ist typischerweise auf einem Speichermedium 20 gespeichert. Alternativ kann diese Software auch über das Kommunikationsnetzwerk 70 vom Server herunter geladen werden. Die Software für die Ausführung der Erfindung kann entweder mittels der im PC 12 enthaltenen Zentraleinheit auf dem Client oder auf Seiten des Servers mittels der im Server 62 enthaltenen Zentraleinheit ausgeführt werden. Das Kommunikkationsnetzwerk 70 kann ein privates Netzwerk, etwa ein Local Area Network (LAN), oder ein öffentliches Netzwerk sein, etwa das Internet, auf das eine Person über einen Internet Service Provider (ISP) zugreifen kann. Bei solchen Netzwerken ist es üblich, dass der Kunde, der einen Verkaufs-Kiosk oder ein anderes entsprechendes Kommunikationsgerät nutzt, auch über dieses auf den Service Provider des externen Netzwerks zugreifen kann.
  • 1B zeigt ein Beispiel einer grafischen Benutzerschnittstelle (GUI) für die die Erfindung ausführende Software. Die Software läuft lokal auf dem System 10 oder auf einem entfernten Server 62 und erzeugt einen GUI-Bildschirm 78 der in 1B dargestellten Art. Der Benutzer aktiviert die Software und lädt ein zu verbesserndes Bild herunter. Nach dem Herunterladen des Bildes wird der GUI-Bildschirm 78 auf dem Display 50 angezeigt. Ein Bild 80 auf der linken Seite des GUI-Bildschirms 78 stellt das herunter geladene Ursprungsbild mit dem durch das erfindungsgemäße Verfahren zu verbessernden Gesicht dar. Auf der rechten Seite ist ein Bild 82 mit dem verbesserten Gesicht dargestellt. Bei einer Ausführungsform klickt der Benutzer nach dem Herunterladen des Bildes auf die Augen des zu verbessernden Gesichts 80. Wie weiter unten noch im einzelnen beschrieben wird, findet das System daraufhin automatisch Gesichtsmerkmalspunkte und unterteilt das Gesicht in verschiedene Merkmale (zum Beispiel Augen, Augenbrauen, usw.) und einen Halsbereich. Das System stellt Standard-Parameter bereit und wendet alle Verbesserungsfilter in einer vorgegebene Reihenfolge auf das Ursprungsbild an.
  • Das so erzeugte Bild 82 wird auf der rechten Seite des GUI-Bildschirms 78 angezeigt. Mit den Schiebern 90, 92, 94, 96 und 98 kann der Benutzer die Parameter verschiedener Verbesserungsfilter interaktiv verändern. Die Ausgangspositionen der Schieber entsprechen den Standardwerten, die das System automatisch eingestellt hat. Alle Teil-Verbesserungsschieber sind im Haupt-Verbesserungsschieber 90 zusammengefasst. Die Teil-Schieber umfassen einen Textur-Verbesserungsschieber 92, einen Haut-Verbesserungsschieber 94, einen Augen-Verbesserungsschieber 96 und einen Zahn-Verbesserungsschieber 98. Der Textur-Verbesserungsschieber 92 regelt die Parameter des Textur-Verbesserungsfilters. Der Haut-Verbesserungsschieber 94 regelt die Parameter des Hautton-Verbesserungsfilters. Der Augen-Verbesserungsschieber 96 und der Zahn-Verbesserungsschieber 98 regeln die Parameter der Augenweiß- bzw. Zahnweißfilter. Alle Verbesserungsfilter werden in den folgenden Abschnitten noch im einzelnen beschrieben. Das Minimum und das Maximum aller Schieber sind auf "keine Verbesserung" (z. B. ganz linke Stellung des betreffenden Schiebers) und "maximale Verbesserung" (z. B. ganz rechte Stellung des betreffenden Schiebers) eingestellt.
  • Der Benutzer kann den Grad und das Aussehen der Gesichtsverbesserung entweder mittels eines Verbesserungsschiebers 90 oder der einzelnen Teil-Verbesserungsschieber 9298 steuern. Jedes Mal wenn der Benutzer die Position des Haupt-Verbesserungsschiebers 90 verändert, bildet das System die Position des Schiebers in entsprechenden Parameterwerten der Verbesserungsfilter ab und wendet alle Verbesserungsfilter in der vorgegebenen Reihenfolge auf das Ursprungsbild an. Dann wird das verbesserte Bild 82 auf der rechten Seite des GUI-Bildschirms 78 angezeigt. Immer wenn der Benutzer einen der Teil-Verbesserungsschieber 9298 verändert, wendet das System alle Verbesserungsfilter in der vorgegebenen Reihenfolge und auf der Grundlage der jeweiligen Positionen der einzelnen Teil-Verbesserungsschieber auf das Ursprungsbild an. Dann wird das verbesserte Bild 82 auf der rechten Seite des GUI-Bildschirms 78 dargestellt. In der bevorzugten Ausführungsform umfasst der GUI-Bildschirm die Option, Gesichtsmerkmalspunkte und den Umriss eines Halsbereichs zu verändern. Wenn der Benutzer diese Option aus dem Menü "Editieren" wählt, das er in der oberen Leiste des GUI-Bildschirms aufgerufen hat, werden die Gesichtsmerkmalspunkte und die Umrisspunkte des Halsbereichs über das Ursprungsbild 80 gelegt, und der Benutzer kann die Position der dargestellten Punkte über das Benutzereingabegerät 40, etwa einen Zeiger, verändern. Die Werkzeugleiste 84 enthält bestimmte Tools, mit denen der Benutzer auf die dargestellten Bilder einwirken und sie verändern kann, zum Beispiel ein Tool zum Heran- und zum Wegzoomen, ein Tool zum Editieren von Merkmalspunkten, ein Mischtool zum lokalen Mischen des Ursprungsbildes mit dem verbesserten Bild, ein Tool zum räumlichen Verändern der Ergebnisse eines Verbesserungsfilters, usw.
  • 2A zeigt ein schematisches Flussdiagramm einer Ausführungsform eines erfindungsgemäßen Verfahrens zum Verbessern eines Portraitbildes. Nach Einleitung des Prozesses im Schritt 200 wird ein digitales Bild in einem Erfassungs- und Displayschritt 205 zunächst vom System erfasst und dann auf dem Monitor 50 angezeigt. Im Sinne der Erfindung sind unter digitalen Bildern nicht nur von Fotos abgeleitete Bilder zu verstehen, sondern allgemein digitale Bilder, die ohne Einschränkung von einer beliebigen Quelle stammen können, zum Beispiel einer digitalen Kamera, einem gescannten Papierbild, oder die elektronisch aus einer anderen Quelle übernommen werden. In einem Lokalisierungsschritt 210 werden die einzelnen Gesichter im Bild erkannt und die Positionen der Gesichtsmerkmalspunkte jedes Bildes festgestellt. Der Prozess der Lokalisierung der Gesichter und ihrer zugehörigen Merkmalspunkte kann vom Benutzer manuell oder halb- oder vollautomatisch unter Verwendung von Bildverarbeitungstechniken ausgeführt werden. Die Positionen der Gesichtsmerkmalspunkte dienen dazu, verschiedene Bereiche des Gesichts (etwa Haut, Augen, Nase, Mund, Haare, usw.) und den Halsbereich zu identifizieren und zu segmentieren. In einem Anzeigeschritt 215 werden die Gesichtsmerkmalspunkte mit dem Bild überlagert und auf dem Monitor 50 angezeigt. Wahlweise werden auch die Merkmalspunkte des Halsbereichs dargestellt. Wurden die Gesichtsmerkmalspunkte automatisch oder halbautomatisch bestimmt, kann der Benutzer in einem Entscheidungsschritt 220 entscheiden, ob eine Korrektur der Merkmalspunkte nötig ist. Entscheidet der Benutzer, dass die Merkmalspunkte korrigiert werden müssen, kann der Benutzer in einem Änderungsschritt 225 die Gesichtsmerkmalspunkte mittels des Eingabegeräts 40 anpassen. Wahlweise kann der Benutzer auch die Umriss-Merkmalspunkte des Halsbereichs anpassen.
  • In einem Standard-Einrichtschritt 230 identifiziert und segmentiert das System anhand der Positionen der Gesichtsmerkmalspunkte verschiedene Bereiche des Gesichts, wie Haut, Augen, Nase, Mund, Haare, Gesichtshaar, usw., und bestimmt die entsprechenden Standard-Parameter für die Verbesserungsfilter. Bei der bevorzugten Ausführungsform wird der Halsbereich automatisch auf der Grundlage der Position der Gesichtsmerkmalspunkte segmentiert. Das Verfahren der Segmentierung eines Halsbereichs wird später noch im einzelnen beschrieben. Im Schritt 230 bestimmt das System somit die entsprechenden Standard-Parameter für die Verbesserungsfilter auch für den Halsbereich. Wahlweise kann in diesem Stadium auch das Geschlecht und Alter des Gesichts durch Anwendung von Geschlechts- und Alters-Klassifizierungsalgorithmen manuell oder automatisch bestimmt werden. Ein Beispiel der automatischen Geschlechts-Klassifikation ist in der Veröffentlichung "Gender Classification with Support Vektor Machines (Geschlechtsklassifikation mit unterstützenden Vektor-Maschinen)" von B. Moghaddam und M. H. Yang, Protokoll der 4. IEEE – Int'l Konf. zu Gesichts- und Gestikerkennung, März 2000, beschrieben, die durch Verweis hierin aufgenommen wird. Typische Algorithmen für die Altersklassifikation beinhalten eine Analyse eines digitalen Bildes eines Gesichts eines Menschen auf besondere detaillierte Gesichtsmerkmale, etwa Gesichtsmerkmalsfaktoren, sowie eine Faltenanalyse. Ein für die Ausführung der Erfindung nützlicher automatischer Alters-Klassifikationsalgorithmus ist im Patent US-A-5 781 650 , erteilt an Lobo und Kwon, beschrieben, das durch Verweis hierin aufgenommen wird. Aufgrund der Geschlechts- und Altersklassifizierung kann entschieden werden, welche Verbesserungsfilter mit welchen geschlechtsspezifischen Parametern ausgeführt werden sollen. Zum Beispiel kann als Standardwert bei weiblichen Gesichtern eine stärkere Textur- und Hautverbesserung vorgesehen werden als bei männlichen Gesichtern.
  • Dann führt das System die Verbesserungsfilter in einem Ausführungsschritt 235 mit den entsprechend gewählten Parametern aus. Alternativ kann der Benutzer, wie durch die gestrichelte Linie dargestellt, in einem Benutzer-Auswahlschritt 240 entscheiden, welche Verbesserungsfilter mit den entsprechenden Parametern für die Verbesserungsfilter ausgeführt werden sollen. Nach Beendigung der Ausführung der Verbesserungsfilter durch das System im Schritt 235 wird das verbesserte Bild in einem Display 245 auf dem Monitor 50 angezeigt. An diesem Punkt kann der Benutzer entscheiden, ob das verbesserte Bild akzeptabel ist. Andernfalls kann der Benutzer entscheiden, die Verbesserungsfilter und/oder deren Parameter im Benutzer-Auswahlschritt 240 zu ändern oder die Position der Gesichtsmerkmalspunkte im Änderungsschritt 225 anzupassen. Bei einer Ausführungsform kann der Benutzer sich entscheiden, verschiedene Verbesserungsfilter nacheinander auszuführen um zu sehen, welche Wirkung ein bestimmter Verbesserungsfilter auf das Bild hat. Bei dieser Ausführungsform wird der Benutzer durch Ausführung der Schritte 240, 235, 245, 250 die Verbesserungsfilter und Parameter so lange verändern, bis ein akzeptables Ergebnis erreicht ist. Wird das verbesserte Bild in einem Entscheidungsschritt 250 als akzeptabel beurteilt, kann der Benutzer das Bild entweder in einem Druckschritt 255 lokal auf dem Drucker 60 ausdrucken oder es in einem Archivier schritt 260 lokal auf dem Speichermedium 20 archivieren. Alternativ kann der Benutzer, wenn das System über eine Kommunikationsverbindung 70 mit einem Server 62 verbunden ist, auch entscheiden, das Bild entweder in einem Druckschritt 265 auf einem entfernten Drucker 60 auszudrucken oder es in einem Archivierungsschritt 270 auf einem entfernten Speichermedium 65 zu speichern. Nachdem die entsprechende Aktion ausgewählt und ausgeführt ist, fragt das System nach einem neuen Bild (Anfrage-Schritt 275) und beginnt je nach der Antwort erneut mit dem Erfassungs- und Anzeigeschritt 205 für das nächste Bild oder beendet den Prozess (Beendigungsschritt 280).
  • 2B zeigt eine alternative Ausführungsform der Verbesserung eines Portraitbildes gemäß der Erfindung, die sich eher für eine hoch automatisierte und effiziente Produktion in einem gewerblichen Fotodienst eignet. Diese Ausführungsform beschreibt ein automatisches Batch-Verfahren für die Bearbeitung einer großen Zahl von Bildern mittels des Portrait-Verbesserungssystems ohne die Notwendigkeit der Intervention eines Benutzers. Im Erfassungsschritt 282 wird ein Bild aus einer Liste (Computerdatei) von Bildern, die für die Verbesserung ausgewählt wurden, erfasst. In einem Gesichtserkennungs- und Lokalisierungsschritt 284 werden die Gesichter im Bild automatisch erkannt und die Positionen der Gesichtsmerkmalspunkte jedes Gesichts automatisch festgestellt. In einem Verbesserungs-Auswahlschritt 286 charakterisiert das System das Bild und bestimmt den entsprechenden Satz von Verbesserungsfiltern und Standard-Parametern für die Verbesserungsfilter. Wahlweise können in diesem Stadium (wie weiter oben bereits beschrieben wurde) auch das Geschlecht und Alter des Gesichts automatisch mittels Geschlechts- und Alters-Klassifizierungsalgorithmen bestimmt werden.
  • Alternativ können Alter und Geschlecht der Gesichter im Bild dem System auch über dem Bild zuordnete Metadaten mitgeteilt werden; zum Beispiel können Alter und Geschlecht einer vom Kunden gelieferten Bearbeitungs-Auftragstasche entnommen oder sonst durch Befragung des Benutzers festgestellt werden. Die Standardfilter und Standardparameter können auch als bildabhängige Metadaten oder als bildunabhängige Einstellungen vor der Implementierung des Verbesserungsprozesses festgelegt werden. Dann führt das System alle Verbesserungsfilter in einem Verbesserungs-Ausführungsschritt 288 mit den entsprechend gewählten Parametern aus. Wenn in einem Bild mehrere Gesichter vorkommen, wird dieser Umstand im Gesichts-Abfrageschritt 290 festgestellt, und das System durchlauft dann die Schritte 286, 288 und 290, bis alle Gesichter im Bild verbessert sind. In einem Speicherschritt 292 wird dann das verbesserte Bild gespeichert. Der Prozess der Bildverbesserung wird so lange fortgeführt, bis alle eingegebenen Bilder verbessert sind (Bildabfrageschritt 294). Nachdem alle Bilder verarbeitet sind (Beendigungsschritt 296), können die verbesserten Bilder den in 2A dargestellten Verwendungsschritten 255270 zugeführt werden. Wahlweise können die verbesserten Bilder nach Verarbeitung aller Bilder (Beendigungsschritt 296) dann zum Beispiel in das in 2A beschriebene interaktive Benutzersystem überführt werden, wo sie geprüft und gegebenenfalls vor dem Verwendungsstadium (Schritte 255270 in Fig.) verändert werden können.
  • 3 zeigt ein Flussdiagramm des Gesichtserkennungs- und Punktlokalisierungsschritts 210 gemäß 2A und 2B, das den erfindungsgemäßen Prozess der Lokalisierung der ausgeprägten Gesichtsmerkmalspunkte der im Bild vorhandenen Gesichter wiedergibt. Hierzu wird ein Gesichtserkennungsmodul 310 auf das digitale Bild angewandt, das die Positionen und ungefähren Größen aller im Bild vorhandenen menschlichen Gesichter markiert, wobei ein Gesichtsmerkmalsdetektor 315 die ausgeprägten Gesichtsmerkmalspunkte auf den erkannten Gesichtern lokalisiert. Der Benutzer kann den Gesichtserkennungsschritt manuell oder automatisch mittels einer der zahlreichen in der akademischen Literatur beschriebenen Gesichtserkennungs-Methodiken ausführen. Ein bevorzugtes automatisches Gesichtserkennungsverfahren für diese Anwendung ist in der Doktorarbeit von Henry Schneiderman, A Statistical Model for 3D Object Detection Applied to Faces and Cars (Statistisches Modell für 3D-Objekterkennung, angewandt auf Gesichter und Autos), Robotics Institute, Carnegie Mellon University, Mai 2000, beschrieben, die durch Verweis hierin aufgenommen wird. Wenn andernfalls ein manuelles Verfahren zum Erkennen von Gesichtern verwendet wird, besteht ein bevorzugtes Verfahren darin, dass der Benutzer beide Augen eines oder mehrerer der im Bild vorhandenen Gesichter anklickt. Der räumliche Abstand der Augen kann dann zur Berechnung der Größe des Gesichts dienen.
  • Nach dem Erkennen eines oder mehrerer Gesichter werden die Bildkoordinaten und die geschätzte Größe jedes Gesichts wiederum dem Gesichtsmerkmalsdetektor 315 zugeführt, der dann die Aufgabe hat, die ausgeprägten Gesichtsmerkmalspunkte auf den erkannten Gesichtern zu lokalisieren. Bei der bevorzugten Ausführungsform dient ein aktives Formmodell als Gesichtsmerkmalsdetektor. Das aktive Formmodell wird in der Veröffentlichung "Automatic interpretation and coding of face images using flexible models (Automatische Interpretation und Codierung von Bildern von Gesichtern mittels flexibler Modelle)" von A. Lanitis, C. J. Taylor, und T. F. Cootes in IEEE Trans. an PAMI, Bd. 19, Nr. 7, S. 743–756, 1997, beschrieben, die durch Verweis hierin aufgenommen wird. Die erkannten Merkmalspunkte dienen dazu, verschiedene Bereiche des Gesichts, etwa den Bereich der Gesichtshaut, Augen, Nase, Mund, Augenbrauen, Haar, Gesichtshaare, usw., sowie einen Halsbereich zu identifizieren, deren Kontur festzulegen und sie zu segmentieren. Die erkannten Bereiche werden durch die entsprechenden Binärmasken identifiziert. Die Binärmasken der Bereiche werden dann räumlich verwischt, um Alphamasken zu erzeugen. Die Alphamasken werden in den Schritten 235 und 288 dazu verwendet, die Ergebnisse des Verbesserungsfilters (zum Beispiel des Hauttextur-Verbesserungsfilters) mit dem Ursprungsbild zu mischen. Das Verwischen der binären Masken und das Anwenden der so erhaltenen Alphamasken zum Mischen garantiert eine sanften Übergang zwischen verbesserten und nicht verbesserten Bereichen. Zum Erzeugen von Alphamasken werden die Binärmasken in der Weise verwischt, dass man sie mit einer Unschärfefunktion unscharf macht, wobei der Unschärferadius auf der Grundlage der Größe des Gesichts gewählt wird. Die Binärmasken dienen zum Bestimmen, wo die Verbesserungsfilter gemäß 2A und 2B räumlich anzuwenden sind.
  • In 4 ist in einer beispielhaften Ansicht die Position ausgeprägter Merkmalspunkte 420 in einem erkannten Gesicht 410 dargestellt. Normalerweise werden diese Gesichtsmerkmalspunkte entweder manuell oder automatisch mittels Bildverarbeitungstechniken lokalisiert.
  • Bei vielen Bildern ist es wichtig, die Haut-Verbesserungsfilter nicht nur auf den Gesichtsbereich, sondern auch auf den Halsbereich anzuwenden. Bei einer derzeit bevorzugten Ausführungsform wird der Halsbereich durch Kombination eines Standardmodells für die Halsform mit einem Hautfarben-Klassifizierer bestimmt. Das Flussdiagramm des Verfahrens zum Bestimmen des Halsbereichs ist in 5A dargestellt. Dabei wird in einem allgemeinen Mapping-Schritt 550 eine allgemeine Wahrscheinlichkeits-Map für einen Halsbereich erzeugt. Eine allgemeine Halswahrscheinlichkeits-Map basiert auf der vorherigen Kenntnis der Form des Halses. Bei einer bevorzugten Ausführungsform wird eine allgemeine Wahrscheinlichkeits-Map durch Mittelung einer Muster-Gesamtheit standardisierter Bilder erzeugt, die eine erwartete Gesamtheit von zu verbessernden Bildern repräsentieren (zum Beispiel portraitartige Bilder). Die Musterbilder werden durch Skalieren der einzelnen Bilder nach derselben vorgegebenen Position der Augen standardisiert. Bei jedem Musterbild wird manuell der Umriss eines Halsbereichs festgelegt. Die endgültige Hals-Wahrscheinlichkeit jedes Pixels ist dann die mittlere Summe einer Auswertefunktion, wobei 1 bezeichnet, dass ein gegebenes Pixel Teil des Halsbereichs ist, und 0 für alle anderen Pixel derselben Bilder steht. Eine allgemeine Halswahrscheinlichkeits-Map lässt sich durch heuristische Annäherung erzeugen. Wenn das Geschlecht einer Person im Bild bekannt ist, wird gemäß der bevorzugten Ausführungsform für Männer und Frauen jeweils eine andere Wahrscheinlichkeits-Map verwendet. Normalerweise ist der Halsbereich in weiblichen Portraits stärker sichtbar als in männlichen Portraits. In einem Skalierschritt 554 wird die allgemeine Halswahrscheinlichkeits-Map dann nach individuellen Merkmalspunkten der Kinnlinie und des Gesichtsumrisses skaliert.
  • In einem Hautfarben-Klassifizierungsschritt 556 wird eine Halswahrscheinlichkeits-Map auf der Grundlage einer Farbsegmentierung erzeugt. Dabei werden mittels eines überwachten pixelbasierten Farbklassifizierers alle Pixel markiert, die innerhalb eines vorgegebenen Abstandes von der Hautfarbe liegen. Der pixelbasierte Farbklassifizierer, bei dem es sich um eine bedingte Wahrscheinlichkeitsfunktion handelt, dass die Pixelfarbe C zur Haut gehört, ist als Gaußsche Funktion
    Figure 00150001
    aufgebaut, worin der mittlere Vektor μ und die Kovarianz-Matrix Σ aus dem definierten Hautbereich berechnet werden. Der Vektor C entspricht dem roten (R), grünen (G) und blauen (B) Signal des Pixels. Dieser Ansatz gilt auch dann, wenn C in anderen Farbräumen wiedergegeben ist, etwa CIELAB, YUV, HSV, usw. Zum Bestimmen einer bedingten Haut-Wahrscheinlichkeitsverteilung wird eine Teilmenge des Gesichtshautbereichs verwendet. Bei einer derzeit bevorzugten Ausführungsform werden der Hautbereich über den Augen und Hautbereiche, in denen Gesichtshaar erkannt wird, von der Verwendung zur Berechnung des mittleren Vektors μ und der Kovarianz-Matrix Σ nach der Gleichung EQ. 1 ausgeschlossen. Nach der Gleichung EQ. 1 wird die Hautwahrscheinlichkeit für alle Pixel außerhalb des Gesichtsbereichs und unterhalb der Kinnlinie, sonst als 0 festgestellt.
  • In einem abschließenden Map-Erzeugungsschritt 558 wird die endgültige Wahrscheinlichkeits-Map durch Kombination der skalierten allgemeinen Halswahrscheinlichkeits-Map mit der hautfarbenbasierten Wahrscheinlichkeits-Map erzeugt. Bei der bevorzugten Ausführungsform werden die beiden Wahrscheinlichkeits-Maps arithmetisch multipliziert. Die so erhaltene Halswahrscheinlichkeits-Map dient als Alphakanal zum Bestimmen, wie die Ergebnisse der Verbesserungsfilter mit dem Ursprungsbild gemischt werden sollen. Durch eine auf die endgültige Halswahrscheinlichkeits-Map angewandte Schwellwertoperation wird die binäre Halsbereichsmaske erzeugt. Ist die Wahrscheinlichkeit für ein gegebenes Pixel größer als 0, ist der entsprechende Maskenwert gleich 1 und zeigt damit den Halsbereich an. Andernfalls ist der Maskenwert gleich 0 und weist auf einen nicht zum Hals gehörenden Bereich hin. Die binäre Halsbereichsmaske wird verwendet um zu bestimmen, wo die Verbesserungsfilter anzuwenden sind.
  • In 5F5D ist der Prozess der Erzeugung der endgültigen Halswahrscheinlichkeits-Map abgebildet. Dabei zeigt 5B eine skalierte allgemeine Halswahrscheinlichkeits-Map. Eine allgemeine Wahrscheinlichkeits-Map wird entsprechend den individuellen, den Gesichtsumriss kennzeichnenden Merkmalspunkten skaliert. Wie im vorherigen Abschnitt bereits beschrieben wurde, basiert eine allgemeine Halswahrscheinlichkeits-Map auf der vorherigen Kenntnis der Position des Halses relativ zum Gesichtsumriss. Die in 5B dargestellte allgemeine Halswahrscheinlichkeit ist ein Beispiel, das statt auf der im vorherigen Abschnitt empfohlenen statistischen Analyse auf heuristischen Regeln beruht. Sie dient der Darstellung qualitativer Charakteristika des Prozesses. Ein zentraler Bereich 570 in der allgemeinen Maske weist hohe Werte (d. h. Werte über 0,5 und unter oder gleich 1) auf, die einer hohen Wahrscheinlichkeit für einen Halsbereich entsprechen. Ein Randbereich 572 zeigt niedrigere Werte (d. h. über 0 und unter 0,5), die einer geringeren Wahrscheinlichkeit für einen Halsbereich entsprechen. Die Wahrscheinlichkeit für den Halsbereich sinkt außerhalb des Bereichs 572 bis auf den Wert 0. Im Allgemeinen nimmt die Wahrscheinlich von der Mitte des Bereichs 570 zu den Rändern des Bereichs 572 in horizontaler Richtung und von oben nach unten in vertikaler Richtung kontinuierlich ab. Der mittlere Bereich der Maske rechts unterhalb der Kinnlinie repräsentiert die größte Wahrscheinlichkeit.
  • In 5C ist ein Umriss 574 der durch einen Hautfarben-Klassifizierer bestimmten Halswahrscheinlichkeits-Map dargestellt. Die auf der Hautfarbe basierende Wahrscheinlichkeit wird, wie im vorherigen Abschnitt beschrieben, nach der Gleichung EQ. 1 berechnet. Die Wahrscheinlichkeitswerte außerhalb des Umrissbereichs 574 sind gleich 0. Die Wahrschein lichkeitswerte innerhalb des Bereichs 574 sind gemäß der Gleichung EQ. 1 größer als 0. Die beiden Halswahrscheinlichkeits-Maps, nämlich die skalierte allgemeine Halswahrscheinlichkeits-Map und die auf der Hautfarben-Klassifikation basierende Halswahrscheinlichkeits-Map, werden durch arithmetische Multiplikation kombiniert. Der Umriss der dadurch erhaltenen Halswahrscheinlichkeits-Map ist in 5D dargestellt. Der mittlere Bereich 576 entspricht dem durch den Hautfarben-Wahrscheinlichkeitsbereich 574 beschnittenen Bereich hoher Wahrscheinlichkeit 570. Der Bereich 587 entspricht dem durch den Hautfarben-Wahrscheinlichkeitsbereich 574 beschnittenen Bereich niedriger Wahrscheinlichkeit 572.
  • Nachdem die Gesichtsmerkmalspunkte und der Halsbereich lokalisiert sind, kann eine Gruppe (d. h. zwei oder mehr) von Erscheinungs-Verbesserungsfiltern auf die Gesichts- und Halsbereiche im Bild angewandt werden. In 6 sind mehrere verschiedene Verbesserungsfilter dargestellt. Bei einer bevorzugten Ausführungsform werden die folgenden Verbesserungsfilter ausgeführt: Ein Hauttextur-Verbesserungsfilter 610, ein Hautton-Verbesserungsfilter 620, ein Zahn-Verbesserungsfilter 630, ein Augen-Verbesserungsfilter 640 und ein Gesichtsmerkmals-Formverbesserungsfilter 650. Alle diese Filter werden im einzelnen noch in den folgenden Abschnitten der Beschreibung beschrieben. Die Anwendung der Verbesserungsfilter kann in beliebiger Reihenfolge erfolgen. Bei einer Ausführungsform kann der Benutzer jeden der Verbesserungsfilter in der Reihenfolge auswählen, in der er ihn auf die Gesichts- und Halsbereiche im Bild anwenden möchte. Bei der bevorzugten Ausführungsform gibt das System jedoch eine Standard-Reihenfolge für die Anwendung der Verbesserungsfilter mit den entsprechenden Parametern vor.
  • Entscheidet der Benutzer sich für die Übernahme der Standard-Einstellungen, werden alle Verbesserungsfilter in der Standard-Reihenfolge und mit den Standard-Parametern ausgeführt und das verbesserte Bild dann auf dem Monitor angezeigt. Standardmäßig werden die Verbesserungsfilter in der folgenden Reihenfolge angewandt: Der Hauttextur-Verbesserungsfilter, der Hautton-Verbesserungsfilter, der Zahn- und Augenweißfilter (in beliebiger Reihenfolge) und der Gesichtsmerkmals-Formverbesserungsfilter. In den folgenden Abschnitten werden die Verbesserungsfilter in derselben Reihenfolge beschrieben, in der sie standardmäßig auf das Ursprungsbild angewandt werden.
  • Hauttextur-Verbesserungsfilter
  • Aufgabe des Hauttextur-Verbesserungsfilters ist es, die örtliche Textur der Haut zu verbessern, Unvollkommenheiten, dunkle Flecken, usw. zu beseitigen und Falten entweder zu beseitigen oder ihren Umfang und ihre Tiefe zu vermindern. 7A zeigt ein Flussdiagramm eines erfindungsgemäßen Hauttextur-Verbesserungsfilters. In einem Gesichtsmerkmals-Generierschritt 710 werden die Hautmerkmale erkannt, die sich in dem durch die Gesichtsmerkmalspunkte begrenzten Hautbereich befinden. Dann werden die erkannten Hautmerkmale in einem Merkmal-Modifizierschritt 720 modifiziert. Die Hautmerkmal-Map enthält die zu modifizierenden Merkmale wie Unvollkommenheiten, dunkle Flecken, Falten, usw.
  • Erfindungsgemäß werden bestimmte Hautmängel durch Farbanalyse lokalisiert. Außerdem werden erfindungsgemäß Hautunvollkommenheiten dadurch erkannt, dass man das Histogramm der Farbsignale analysiert, die den in einem endlichen zweidimensionalen Fenster, das über den Hautbereich gelegt wird, befindlichen Pixeln zugeordnet sind. Bei einem bimodalen Histogramm wird davon ausgegangen, dass der entsprechende Bereich eine Hautunvollkommenheit enthält. Da diese Techniken auch Farbinformation als primäre Erkennungsmittel nutzen, muss das Abbildungssystem farbkalibriert und/oder das zu analysierende Bild korrekt farbausgeglichen sein. Die Wirksamkeit der Anwendung von Farbinformation wird durch kontrollierte Belichtung und/oder Farbfilter beim Erfassen der Bilder verbessert. Außerdem ist eine korrekte Farbwiedergabe nötig, wenn die erkannten Mängel nach der Farbe des Mangels weiter als Unvollkommenheiten, braune Flecken, usw. klassifiziert werden sollen.
  • In Fotos zeigen sich Unvollkommenheiten wie Falten, Flecken, usw. (tatsächlich nur) als helle Stellen und Schatten an Stellen, wo diese nicht sein sollten. Somit entsprechen die Hautunvollkommenheiten lokalen Intensitäts-Maxima und -Minima. Die hellen Flecken entsprechen Spitzenwerten, die Schatten Talwerten im Luminanzbild. In Abweichung vom Stand der Technik werden nach einer bevorzugten Ausführungsform der Erfindung Hautunvollkommenheiten durch Anwenden von Spitzenwert- und Talwert-Detektoren auf das aus den RGB-Teilsignalen erzeugte Luminanzbild erkannt. Talwert-/Spitzenwert-Detektoren sind Differenzoperatoren zweiter Ordnung. Die Luminanz ist gemäß der folgenden Formel definiert als gewichtete lineare Kombination der Rot-, Grün und Blau-Signale R, G und B: L = k1R + k2G + k3B (Gleichung 2)worin k-Werte die Gewichte repräsentieren. Eine derzeit bevorzugte Gewichtungswahl für die Erzeugung des Luminanz-Bildes ist k1 = k2 = k3 = 0,333. Beispiele von Talwert-/Spitzenwert-Operationen sind in D. E. Pearson and J. A. Robinson, "Visual Communikation at Very Low Data Rates (Visuelle Kommunikation mit sehr niedrigen Datenraten)" IEEE-Protokoll, Bd. 73, Nr. 4, April 1985, beschrieben.
  • Ein derzeit bevorzugter Spitzenwert-/Talwert-Operator besteht aus einer Reihe von vier Richtungs-Operatoren des von Pearson et al. beschriebenen Typs. Ein vertikaler Operator V, der an das mittlere Pixel m der in 7B dargestellten 5×5-Pixelumgebung angewandt wird, wobei die Pixelpositionen mit a bis y bezeichnet sind, ist durch die folgende Gleichung EQ. 3 definiert: V = f + k + p + j + o + t – 2(h + m + r) (Gleichung 3)
  • Dieser Operator wird an jede Pixelposition in dem begrenzten Hautbereich angewandt. Desgleichen werden ein horizontaler Operator H der durch die Gleichung EQ. 4 definierten Form und ein Paar rechter und linker diagonaler Operatoren DL und DR der durch die Gleichungen EQ. 5 bzw. EQ. 6 definierten Art auf jede Pixelposition in dem begrenzten Hautbereich wie folgt angewandt: H = b + c + d + v + w + x – 2(l + m + n) (Gleichung 4) DR = c + g + k + o + s + w – 2(i + m + q) (Gleichung 5) DL = c + i + o + k + q + w – 2(g + m + s) (Gleichung 6)
  • Diese Operatoren erkennen nicht nur Talwerte/Spitzenwerte, sondern haben auch eine Sekundärreaktion auf den unteren/oberen Wert von Rändern. Sie werden deshalb auch Talrand-/Spitzenrand-Detektoren genannt. Talrandmerkmale entsprechen positiven Werten der Operatorausgabe, während Spitzenrandmerkmale negativen Werten entsprechen. Den nicht nur für Talwerte/Spitzenwerte empfindlichen Talwert-/Spitzenwert-Detektor erhält man durch Anwenden logischer Bedingungen auf Operatoren. Für vertikale Talwerte ist die logische Entsprechung des Talwertdetektors gegeben durch: Wenn (f + k + p) > (h + m + r) und (j + o + t) > (h + m + r) dann V = (f + k + p + j + o + t) – 2(h + m + r), sonst V = 0 (Gleichung 7)
  • Für vertikale Spitzenwerte ist die logische Entsprechung des Spitzenwertdetektors gegeben durch: Wenn (f + k + p) < (h + m + r) und (j + o + t) < (h + m + r) dann V = (f + k + p + j + o + t) – 2(h + m + r), sonst V = 0 (Gleichung 8)
  • Die logischen Detektoren für horizontale und diagonale Talwerte/Spitzenwerte weisen dieselbe Form auf. Sowohl Talwert-/Spitzenwert- und Talrand-/Spitzenrand-Operationen sind zur Erzeugung der erfindungsgemäßen Hautmerkmals-Map geeignet. Von jetzt an wird sowohl für Talwert-/Spitzenwert-Operatoren als auch für Talrand-/Spitzenrand-Operatoren nur noch der Begriff Talwert-/Spitzenwert-Operatoren verwendet.
  • Vor dem Anlegen der orientierten Talwert-/Spitzenwert-Filter an das Bild werden die Auswirkungen eines eventuellen Rauschens im Bild durch Anlegen eines Rauschfilters unterdrückt. Geeignet als Rauschfilter sind Tiefpassfilter, Medianfilter und andere lineare und nicht lineare Filter, wie sie üblicherweise zur Verminderung des Rauschens in digitalen Bildern eingesetzt werden.
  • Die durch die Operatoren erzeugten orientierten Talwert-/Spitzenwert-Bilder werden einem Schwellwertverfahren unterworfen, so dass nur entsprechende (starke) Hautmerkmale festgehalten werden. Bei Maps von Talwert-Merkmalen werden Pixel mit Werten unter einem vorgegebenen Schwellwert Tv auf null gesetzt. Bei Maps von Spitzenwert-Merkmalen werden Pixel mit Werten über einem Schwellwert Tp auf null gesetzt. Der Schwellwert kann dabei entweder ein fester allgemeiner Schwellwert oder ein adaptiver Schwellwert sein. Eine derzeit bevorzugte Schwellwertmethode verwendet einen adaptiven Schwellwert, dessen Wert durch die Gleichung EQ 9 bestimmt wird: T = βLavg (Gleichung 9)worin β eine Konstante und Lavg die lokale mittlere Luminanz um das Pixel herum ist. Für vertikale, horizontale und diagonale Komponenten können unterschiedliche β-Werte verwendet werden. Die lokale mittlere Luminanz Lavg kann entweder der Wert des Pixels selbst oder die mittlere Luminanz einer Pixelumgebung von, beispielsweise, 3×3 Pixeln sein.
  • Bevorzugt ist derzeit das Generieren einer kombinierten Hautmerkmals-Map F durch Kombinieren der einzelnen orientierten Merkmals-Maps. F = max{H, V, DR, DL} (Gleichung 10)
  • Außerdem kann jedes Pixel von F entsprechend dem orientierten Filter markiert sein, von dem es kommt. Die orientierten markierten Daten und/oder die einzelnen orientierten Hautmerkmal-Maps können zum Entfernen von Merkmalen wie Falten nützlich sein, wenn vorzugsweise Merkmale einer bestimmten Ausrichtung entfernt werden sollen.
  • Aufgabe des Hauttextur-Verbesserungsfilters ist es, die örtliche Textur der Haut zu verbessern. Die räumliche Größe der durch den Hauttextur-Verbesserungsfilter zu glättenden Textur ist abhängig von der Größe des Gesichts. Damit wird die räumliche Größe der Talwert-/Spitzenwert-Filter adaptiv nach der Größe des Gesichts bestimmt. Insbesondere wird der Augenabstand zur Bestimmung der Größe des Talwert-/Spitzenwert-Filters herangezogen. Allgemein lässt sich der vertikale Talwert-/Spitzenwert-Operator zum Beispiel wie folgt wiedergeben:
    Figure 00210001
    worin w und h in Abhängigkeit von der Größe des Gesichts gewählt werden. Allgemeine Talwert-/Spitzenwert-Detektoren für horizontale und diagonale Talwerte/Spitzenwerte haben eine ähnliche Form.
  • Ein derzeit bevorzugter isotroper Talwert-/Spitzenwert-Detektor wird erhalten durch Subtraktion des unscharf gemachten Luminanzbildes Ib vom Luminanzbild I. F(x, y) = Ib(x, y) – Ib(x, y) (Gleichung 12)
  • Das unscharf gemachte Luminanzbild kann erzeugt werden durch Anlegen eines Unschärfe-Filters, etwa eines Gaußschen oder eines Boxfilters, auf das Luminanzbild. Zum Erzeugen von Spitzenwert- und Talwert-Merkmalmaps wird die Ausgabe des Talwert-/Spitzenwert-Detektors wie vorstehend beschrieben einem Schwellwertverfahren unterzogen. Der Radius des Unschärfefilters wird in Abhängigkeit von der Größe des Gesichts (als Beispiel eines Standard-Parameters) und der Größe des Hautmerkmals gewählt, das erkannt werden soll.
  • Die Merkmal-Maps werden durch Gruppieren von miteinander verbundenen Pixeln mittels Markierung verbundener Komponenten weiter verfeinert. Bei der Markierung verbundener Komponenten wird ein Bild gescannt, und seine Pixel werden nach dem Grad der Verbindung der Pixel zu Komponenten gruppiert, d. h. dass alle Pixel in einer verbundenen Komponente in irgendeiner Weise miteinander verbunden sind. Nachdem alle Gruppen bestimmt wurden, wird jedes Pixel entsprechend der Komponente, der es zugeordnet wurde, markiert. Jede verbundene Komponente entspricht einem Hautmerkmal. Jedes Hautmerkmal ist durch seine merkmalsbasierten Charakteristika, wie Größe, Form und Position im Hautbereich, charakterisiert und danach klassifiziert. Die Größe entspricht der Anzahl von Pixeln in der Komponente (als Beispiel eines Standard-Parameters). Zur Abgrenzung von Falten-Merkmalen gegenüber anderen Hautmerkmalen wie Flecken sind Forminformationen nützlich. Ferner können die in der Hautmerkmal-Map abgegrenzten Merkmale mittels der Farbinformation, die den als Hautmerkmale identifizierten Pixeln zugeordnet ist, noch weiter klassifiziert werden. Nach dem Erzeugen der Hautmerkmal-Maps werden diese zur Auswahl jener Hautmerkmale verwendet, die im Schritt 720 modifiziert werden sollen.
  • In 8 ist ein Flussdiagramm dargestellt, das eine bevorzugte Ausführungsform der Auswahl und Modifizierung von Hautmerkmalen gemäß der Erfindung darstellt. In einem Merkmal-Auswahlschritt 810 werden die Merkmale nach ihren Charakteristika ausgewählt. Wie bereits erwähnt wurde, entsprechen die Merkmal-Charakteristika der Größe, Form und Farbe und werden nach der Position dieser Merkmale im Hautbereich ausgewählt. In einem Dilatationsschritt 820 werden die ausgewählten Hautmerkmale dann (adaptiv) ausgeweitet und dann in einem Filterschritt 830 modifiziert. Die Dilatation eines Hautmerkmals hat die Wirkung, die Größe des Hautmerkmals zu vergrößern. Dabei kann der Grad der Dilatation für alle ausgewählten Hautmerkmale fest oder auf der Grundlage der Charakteristika des Hautmerkmals adaptiv sein. Bei einer derzeit bevorzugten Ausführungsform werden die Hautmerkmale adaptiv auf der Grundlage ihrer Größe und der Größe des Gesichts (als Beispiel eines Standard-Parameters) ausgeweitet. Größere Hautmerkmale werden stärker ausgeweitet als kleinere Hautmerkmale. Der Dilatationsprozess kann mittels üblicher morphologischer Operatoren durchgeführt werden.
  • Eine optimale Hautverbesserung wird erreicht, wenn die Hautmerkmale nacheinander modifiziert werden, indem die Schritte 810, 820 und 830 ausgeführt werden, während die Art des zu modifizierenden Hautmerkmals geändert wird. Es können jedoch auch alle gewünschten Hautmerkmale in einem Durchlauf der Schritte 810, 820 und 830 ausgewählt und modifiziert werden. Bei einer derzeit bevorzugten Ausführungsform werden zunächst die Talwert-Hautmerkmale in den Schritten 810830 ausgewählt und modifiziert, wonach die übrigen Spitzenwert-Hautmerkmale in einem zweiten Durchlauf der Schritte 810830 ausgewählt und modifiziert werden. Um die Hauttextur zu erhalten, werden nur Hautmerkmale modifiziert, deren Größe zwischen einer vorgegebenen Mindestgröße und einer vorgegebenen Höchstgröße liegt. Alternativ werden, um die Hauttextur zu erhalten, nur Hautmerkmale modifiziert, deren Größe über einer vorgegebenen Mindestgröße liegt. Darüber hinaus werden die Mindest- und Höchstgröße der zu modifizierenden Hautmerkmale direkt entsprechend der Größe des Gesichts skaliert.
  • Im Schritt 830 wird ein Sprossenradfilter an jedes Pixel der ausgeweiteten Merkmale angelegt. Pixel der ausgeweiteten Merkmale werden als Merkmalspixel bezeichnet. Alle übrigen Pixel werden als Nicht-Merkmalspixel bezeichnet. Bei der erfindungsgemäßen Ausführungsform werden Merkmalspixel durch eine binäre Maske definiert, wobei der Wert 0 Merkmalspixeln und der Wert 1 Nicht-Merkmalspixeln entspricht. Der Sprossenradfilter interpoliert neue Werte eines gegebenen Merkmalspixels anhand benachbarter Nicht-Merkmalspixel, die auf in einem Merkmalspixel zentrierte Zeilensegmente ausgerichtet sind. Der Sprossenradfilter ist in dem gemeinsam abgetretenen US-Patent 6 104 839 "Method and Apparatus for Correcting Pixel Values in a Digital Image (Verfahren und Vorrichtung zum Korrigieren von Pixelwerten in einem digitalen Bild)", erteilt am 15. August 2000 an David R. Cok et al, das durch Verweis hierin aufgenommen wird, im Detail beschrieben. Hier soll der Sprossenradfilter nur der Klarheit halber beschrieben werden, und auch um einige Modifikationen des ursprünglich im Patent von Cok et al. beschriebenen Algorithmus anzugeben. In 9 ist der SATZ von vier Zeilensegmenten 930 (vertikaler Abschnitt V, horizontaler Abschnitt H, zwei diagonale Zeilensegmente D1 und D2) für das ausgewählte Merkmalspixel 940 grafisch dargestellt. Die vier Zeilensegmente sind um jeweils 45 Grad zueinander versetzt. Die ausgeweiteten Merkmale 920 sind grau (schattiert) dargestellt. Die Linie 910 repräsentiert eine Gesichtsgrenze. Jedes Zeilensegment des SATZES besteht beiderseits des Pixels 940 aus Merkmals- und aus Nichtmerkmals-Pixeln. Die Nichtmerkmalspixel und die Merkmalspixel im Zeilensegment sind relativ zum ausgewählten Merkmalspixel 940 lokale Pixel in einer vom Zeilensegment definierten Richtung. Das Verfahren der Erzeugung des SATZES der Zeilensegmente wird im Folgenden noch im einzelnen beschrieben.
  • 10A und 10B zeigen das Verfahren zum Berechnen neuer Werte für jedes Merkmalspixel im Bild durch Anwendung des Sprossenradfilters. Im Schritt 1004 werden die Anzahl der Zeilensegmente NL, die Höchstzahl der Pixel auf einer Seite des Zeilensegments MAX_NP1 und die Mindestzahl der Pixel auf einer Seite des Zeilensegments MIN_NP1 eingestellt. Diese Parameter werden unter Bezugnahme auf 12 noch im einzelnen erläutert. Die Höchstzahl der Pixel auf einer Seite des Zeilensegments MAX_NP1 und die Mindestzahl der Pixel auf einer Seite des Zeilensegments MIN_NP1 werden nach der Größe des Gesichts (als Beispiel eines Standard-Parameters) eingestellt. Je größer das Gesicht ist, desto größer sind auch die Werte für MAX_NP1 und MIN_NP1. Die Abhängigkeit dieser beiden Parameter von der Größe des Gesichts ist ein einzigartiges Merkmal der Erfindung gegenüber dem von Cok et al. beschriebenen Verfahren. Im Schritt 1006 wird das erste Merkmalspixel PSEL ausgewählt. Im Schritt 1008 wird der SATZ von NL Zeilensegmenten durch das Pixel PSEL erzeugt. Bei der bevorzugten Ausführungsform sind im SATZ vier Zeilensegmente NL enthalten, entsprechend den vertikalen, horizontalen und zwei diagonalen Zeilensegmenten.
  • In 12 ist ein Verfahren zum Erzeugen von Zeilensegmenten dargestellt. Im Schritt 1110 in 12 wird das erste Zeilensegment ausgewählt, zum Beispiel das vertikale Zeilensegment (V). Im Schritt 1120 wird die Richtung einer Seite des Zeilensegments gewählt. Es ist dies die Richtung, in der dem Zeilensegment, beginnend mit dem Pixel PSEL, weitere Pixel hinzugefügt werden. Für jeden Abschnitt werden zwei Richtungen definiert, die den beiden Seiten des am Pixel PSEL zentrierten Zeilensegments entsprechen. Im Schritt 1130 werden dem Zeilensegment Merkmalspixel hinzugefügt, bis entlang einer gegebenen Richtung ein erstes Nichtmerkmalspixel erreicht wird. Im Schritt 1140 wird das erste Nichtmerkmalspixel dem Zeilensegment hinzugefügt, und die in einer gegebenen Richtung benachbarten Nichtmerkmalspixel werden dem Zeilensegment hinzugefügt, bis eine der folgenden Bedingungen erfüllt ist:
    • – Die Höchstzahl der Nichtmerkmalspunkte auf einer Seite MAX_NP1 ist erreicht,
    • – die Grenze des Gesichts oder die Gesichtsmerkmalsgrenze ist erreicht,
    • – ein neues Merkmalspixel ist erreicht.
  • Die Höchstzahl der Nichtmerkmalspunkte auf einer Seite des Zeilensegments MAX_NP1 wird im Schritt 1004 (1A) auf Grundlage der Größe des Gesichts eingestellt. Die Zeilensegmente dürfen die Grenze des Gesichts oder die Grenzen der von dem Texturverbesserungsprozess ausgeschlossenen Bereiche (wie Augenbereiche, Mundbereiche, usw.) nicht kreuzen. Die vorstehende einschränkende Bedingung für die Erzeugung gültiger Zeilensegmente ist gegenüber dem von Cok et al. beschriebenen Verfahren ein einmaliger Aspekt der Erfindung. Wenn das Hinzufügen von Pixeln auf einer Seite des Zeilensegments abgeschlossen ist, wird im Schritt 1160 die Richtung für die zweite Seite des Zeilensegments eingestellt und der Prozess für die zweite Seite des Zeilensegments in den Schritten 11301140 wiederholt. Nachdem beide Seiten abgeschlossen sind (Schritt 1150) wird das nächste Zeilensegment aus dem SATZ ausgewählt (Schritt 1180) und der Prozess gemäß den Schritten 11201160 wiederholt. Der Prozess ist abgeschlossen (Schritt 1190), wenn alle NL Zeilensegmente im SATZ erzeugt sind (Schritt 1170).
  • Nachdem der SATZ der NL Zeilensegmente wie vorstehend beschrieben im Schritt 1008 erzeugt wurde, werden gemäß 10A Zeilensegmente, die weniger als MIN_NP1 Nichtmerkmalspunkte auf mindestens einer Seite enthalten, aus dem SATZ entfernt (Schritt 1010). Bleiben danach im SATZ keine gültigen Zeilensegmente übrig (Schritt 1014), werden die Pixelwerte für das Pixel PSEL nicht verändert (Schritt 1052), und es wird ein neues Merkmalspixel PSEL ausgewählt (Schritte 1046 und 1048) und der Prozess wiederholt (beginnend mit Schritt 1008). Ist die verbleibende Anzahl gültiger Zeilensegmente N im SATZ größer als 0 (Schritt 1014), wird für jedes verbleibende gültige Zeilensegment eine lineare Anpassung für die Nichtmerkmalspixel in dem gültigen Zeilensegment je Kanal berechnet (Schritt 1016). Im Schritt 1018 wird anhand der vorher im Schritt 1016 berechneten linearen Anpassung für jedes gültige Zeilensegment für Nichtmerkmalspixel für jeden Kanal der mittlere quadratische Anpassungsfehler berechnet. Im Schritt 1020 wird für ein gegebenes gültiges Zeilensegment der gesamte mittlere quadratische Anpassungsfehler für jedes gültige Zeilensegment nach der folgenden Gleichung als Durchschnitt der mittleren quadratischen Anpassungsfehler für alle Kanäle berechnet:
    Figure 00260001
    worin K eine Anzahl von Kanälen im Bild ist. Bei Schwarz/Weiß-Bildern ist K gleich 1. Bei Farbbildern ist K üblicherweise gleich 3 (entsprechend 3 Kanälen für R, G, B).
  • Im Schritt 1022 werden für das Pixel PSEL für alle gültigen Zeilensegmente n für jeden Kanal k die Werte PSELn,k auf der Grundlage der im Schritt 1016 errechneten linearen Anpassung berechnet. Im Schritt 1024 werden neue Pixelwerte PSELk für jeden Kanal k berechnet. Die endgültigen Pixelwerte des verbesserten Bildes werden durch Mischen der neuen Pixelwerte PSELk für jeden Kanal k mit den ursprünglichen Pixelwerten gemäß den in den vorhergehenden Abschnitten erzeugten Alphamasken bestimmt. Der Mischvorgang sorgt für einen glatten Übergang zwischen verbesserten und nicht verbesserten Hautbereichen. Der Mischvorgang gemäß Schritt 1024 und die Alphamasken sind gegenüber dem von Cok et al. beschriebenen Verfahren einmalige Aspekte der Erfindung. Bei einer alternativen Ausführungsform werden die endgültigen Pixelwerte PSEL_OUTk des verbesserten Bildes dadurch bestimmt, dass die neuen Pixelwerte PSELk mit den ursprünglichen Pixelwerten PSEL_INk für jeden Kanal k adaptiv gemischt werden. PSEL_OUTk = αPSELk + (1 – α)PSEL_INk (Gleichung 14)
  • Der zum Mischen der neuen und der ursprünglichen Pixelwerte verwendete Mischkoeffizient α ist abhängig von den Charakteristika des Hautmerkmals, von dem das Pixel stammt. Zum Beispiel kann gemäß 17 der Mischkoeffizient α abhängig sein von der Größe des Hautmerkmals, von dem das Pixel stammt. In 17 werden die ursprünglichen Pixelwerte bei kleiner Hautmerkmalsgröße unter min nicht modifiziert. Bei Hautmerkmalen, deren Größe zwischen min und mid liegen, werden die neuen Pixelwerte als endgültige Pixelwerte verwendet. Und bei großen Hautmerkmalen mit einer Größe über mid werden die endgültigen Pixelwerte durch Mischen der neuen und der ursprünglichen Pixelwerte bestimmt. In bestimmten Bereichen (z. B. um die Augen herum) ist es manchmal bevorzugt, ein Hautmerkmal nicht vollständig zu entfernen, sondern nur das harte Aussehen zu modifizieren. Bei einer anderen Ausführungsform ist daher der Mischkoeffizient α auch abhängig vom Ort des Hautmerkmalspixels. Andere Verfahren zur Berechnung neuer Pixelwerte PSELk werden im Folgenden noch beschrieben. Ist das gewählte Merkmalspixel PSEL nicht das letzte Merkmalspixel (Schritt 1046), wird das nächste Merkmalspixel ausgewählt (Schritt 1048) und der Prozess beginnend mit Schritt 1008 wiederholt. Andernfalls ist der gesamte Prozess abgeschlossen (Schritt 1050).
  • Für die bevorzugte Ausführungsform, in der die Anzahl der Zeilensegmente NL gleich 4 ist, ist der Schritt der Berechnung neuer Werte PSELk für das ausgewählte Merkmalspixel PSEL (Schritt 1024 in 10) im einzelnen in 11 dargestellt. Das hier in 11 dargestellte Verfahren ist gegenüber dem von Cok et al. beschriebenen Verfahren einzigartig. Es wird vorausgesetzt, dass der SATZ (N > 0) mindestens ein gültiges Zeilensegment enthält. Wenn in 11 die Anzahl der gültigen Zeilensegmente N im SATZ gleich 1 ist (Schritt 1026), sind die neuen Werte PSELk für jeden Kanal K gleich dem für jenes Zeilensegment berechneten Wert PSELl,k. Andernfalls wird im Schritt 1030 der SATZ gültiger Zeilensegmente in absteigender Ordnung nach dem Fehlereffektivwert MSEn für jedes Zeilensegment n sortiert. Infolge der Sortierung im Schritt 1030 hat das erste gültige Zeilensegment im SATZ (n = 1) den höchsten Fehlereffektivwert und das letzte Zeilensegment (n = N) den niedrigsten Fehlereffektivwert im SATZ. Wenn die Anzahl gültiger Zeilensegmente N im SATZ gleich 2 ist (Schritt 1032), sind die neuen PSELk-Werte für jeden Kanal k gleich den gemittelten Werten von PSELl,k und PSEL2,k (Schritt 1034). Andernfalls, wenn die Anzahl gültiger Zeilensegmente N im SATZ gleich 3 ist (Schritt 1036), sind die neuen PSELk-Werte für jeden Kanal k gleich den für das gültige Zeilensegment mit dem mittleren Fehlereffektivwert (n = 2) berech neten PSEL2,k-Werten (Schritt 1038). Andernfalls ist die Anzahl gültiger Zeilensegmente n gleich 4, und die neuen PSELk-Werte für jeden Kanal k sind gleich den gemittelten Werten von PSEL2,k und PSEL3,k (Schritt 1040). Die endgültigen Pixelwerte des verbesserten Bildes werden durch Mischen neuer Pixelwerte PSELk für jeden Kanal k mit den ursprünglichen Pixelwerten (Schritt 1024) entsprechend den in den vorhergehenden Abschnitten erzeugten Alphamasken berechnet.
  • Bei einer zweiten Ausführungsform der Berechnung neuer Pixelwerte werden neue PSELk-Werte für jeden Kanal k (Schritt 1024 in 10) wie folgt berechnet: Zuerst werden für jedes Zeilensegment n für jeden Kanal k Gewichtungswerte Wn,k nach der Gleichung EQ. 15 berechnet.
  • Figure 00280001
  • Danach werden neue PSELk-Werte für jeden Kanal als gewichtete Summe der PSELn,k-Werte berechnet, die für jedes gültige Zeilensegment n für jeden Kanal k nach der Gleichung EQ. 16 bestimmt werden.
  • Figure 00280002
  • Die endgültigen Pixelwerte des verbesserten Bildes werden durch Mischen neuer Pixelwerte PSELk für jeden Kanal k mit den ursprünglichen Pixelwerten entsprechend den in den vorherigen Abschnitten erzeugten Alphamasken berechnet (Schritt 1024). Der Mischvorgang und die Alphamasken der Erfindung sind gegenüber dem von Cok et al. beschriebenen Verfahren einzigartig.
  • Die Mehrheit der Hautmerkmale, die wir modifizieren möchten, entspricht Talwert-Merkmalen, d. h. einem von einem hellen Bereich umgebenen dunklen Bereich. In den meisten Fällen werden Hautmerkmale unabhängig von der Farbinformation modifiziert, die den als Hautmerkmale identifizierten Pixeln zugeordnet sind; es kann aber Fälle geben, in denen jemand nicht wünscht, dass ein definiertes Gesichtsmerkmal, etwa ein Schönheitsfleck, aus dem Foto der betroffenen Person entfernt wird. In diesen Fällen kann die den Hautmerkmalspixeln zugeordnete Farbinformation zur Bestimmung des Hautmerkmalstyps verwendet werden, der entfernt werden soll oder nicht entfernt werden soll. Gemäß einer alternativen Lösung kann in der grafischen Benutzerschnittstelle ein Tool vorgesehen werden, mittels dessen die Bedienungsperson eine unerwünschte Änderung (zum Beispiel die Entfernung eines erwünschten Schönheitsflecks) rückgängig machen kann. Bei einer bevorzugten Ausführungsform wählt der Benutzer ein Tool "Rückgängig machen/Wiederherstellen" aus der Liste grafischer Tools 84 aus und bewegt das Tool "Rückgängig machen/Wiederherstellen", indem er mit dem Gerät 40, etwa einer Maus, auf die Position des Hautmerkmals im ursprünglichen Bild 80 zeigt, das der Benutzer wiederherstellen möchte. Durch Anklicken des Hautmerkmals im auf der linken Seite dargestellten ursprünglichen Bild 80 wird das Merkmal wieder in das auf der rechten Seite angezeigte verbesserte Bild 82 eingefügt. Durch nochmaliges Anklicken des wiederhergestellten Hautmerkmals im ursprünglichen Bild wird das Hautmerkmal wieder aus dem verbesserten Bild entfernt. Das Tool "Rückgängig machen/Wiederherstellen" kann also durch wiederholtes Umschalten entweder ein Hautmerkmal aus dem verbesserten Bild entfernen, sofern es in dem verbessertes Bild enthalten ist, oder wieder in das verbesserte Bild einfügen, wenn es dort nicht enthalten ist. Bei einer alternativen Ausführungsform kann der Hauttextur-Verbesserungsschieber 92 auf "keine Verbesserung" eingestellt werden, wobei der Benutzer mittels des Werkzeugs 84 dann wählen kann, welche Hautmerkmale entfernt werden sollen.
  • Bei einer anderen Ausführungsform erfasst die grafische Benutzerschnittstelle ein Bild, das ein Gesicht oder mehrere Gesichter enthält, und zeigt dieses an. Mit Hilfe einer der vorstehend beschriebenen Techniken wird eine Hautmerkmals-Map erzeugt, in der die Hautmerkmale identifiziert und abgebildet sind; die Hautmerkmals-Map gibt daher die Hautmerkmale im einen oder in den mehreren Gesichtern im digitalen Bild wieder. Mittels des Zeigegeräts 40 zeigt der Benutzer dann auf ein bestimmtes Hautmerkmal. Durch Zeigen und Anklicken mittels des Zeigegeräts wird das betreffende Merkmal in der Hautmerkmals-Map angesprochen und die entsprechende Verbesserung des betreffenden Merkmals durch einen geeigneten Verbesserungsfilter für das angezeigte Hautmerkmal eingeleitet.
  • Hautton-Verbesserungsfilter
  • Aufgabe des Hautton-Verbesserungsfilters 620 (6) ist es, die Gesamtwirkung des Hauttons zu verbessern. Der Hauttonfilter gleicht einen unausgeglichenen Hautton aus und erzeugt eine gleichmäßigeren Hautton. Darüber hinaus dient der Hauttonfilter dazu, die Farbe des Hauttons zu verbessern, um eine gewünschte Hautton-Darstellung zu erzielen. Dies entspricht der Änderung sowohl der Luminanz als auch der Chrominanz der Haut in Anpassung an persönliche und kulturelle Präferenzen hinsichtlich der Hautton-Wiedergabe. Außerdem erstrecken sich Hauttonprobleme eher über größere räumliche Bereiche als Texturprobleme. Wichtig ist, den Hautton nicht zu sehr auszugleichen, da Gesichter ohne Lichter oder Schatten flach und uninteressant aussehen.
  • 13 zeigt ein Flussdiagramm einer derzeit bevorzugten Ausführungsform eines erfindungsgemäßen Hautton-Verbesserungsfilters. Der Hautton-Verbesserungsfilter komprimiert Lichter und Schatten adaptiv, indem er das Eingabebild I(x) mit einer unscharf gemachten Version Ib(x) des Eingabebildes, das in einem Mischschritt 1210 erzeugt wurde, wie folgt (in einem Mischschritt 1240) adaptiv mischt: O(x) = α(x)Ib(x) + (1 – α(x))I(x) (Gleichung 17)worin α(x) ein durch einen Koeffizienten-Erzeugungsschritt 1230 erzeugter Mischkoeffizient und x = (x, y) die Position eines Pixels ist. Der Mischvorgang wird auf alle Farbkanäle angewandt.
  • Der Mischkoeffizient ist eine Funktion des Schatten-/Highlightstärke-Bildes SH(x), das bei x im Schatten-/Spitzenwert-Erzeugungsschritt 1220 erhalten wurde: α(x) = f[SH(x)] (Gleichung 18)
  • 14 zeigt eine derzeit bevorzugte Ausführungsform der Berechnung des erfindungsgemäßen Schatten-/Lichtstärke-Bildes. Das im Schritt 1220 erstellte Schatten-/Lichtstärke-Bild wird erzeugt durch Subtraktion eines mittleren Luminanzbildes 1320 von einem Luminanzbild 1310. Das Luminanzbild wird mittels der Gleichung EQ. 2 berechnet. Das mittlere Lumi nanzbild kann entweder ein lokales mittleres Luminanzbild oder eine globale mittlere Luminanz sein. Ein lokales mittleres Luminanzbild kann dadurch erzeugt werden, dass man einen Unschärfefilter, etwa einen Gaußschen Filter oder einen Boxfilter, auf das Luminanzbild anwendet, wohingegen die globale mittlere Luminanz berechnet wird durch Bestimmen der mittleren Luminanz der Haut innerhalb des durch die Merkmalspunkte begrenzten Hautbereichs. Bei Verwendung des lokalen mittleren Bildes für die Berechnung des Schatten-/Licht-Bildes entspricht die Schatten-/Licht-Stärke einem Talwert-/Spitzenwert-Bild. Bei einer bevorzugten Ausführungsform sollte der für die Berechnung der Schatten-/Highlight-Map verwendete Unschärferadius größer sein als der Unschärferadius oder Umfang des im Textur-Verbesserungsfilter verwendeten Talwert-/Spitzenwert-Detektors. In jedem Fall ist der Unschärferadius abhängig von der Größe des Gesichts (als Beispiel eines Standard-Parameters).
  • In der einfachsten Ausführungsform ist der Mischkoeffizient eine Konstante f[SH(x)] = α(x) = α, als Beispiel eines Standard-Parameters, und nicht abhängig von dem Schatten-/Lichtstärke-Bild gemäß 15A. Die in 15B und 15C dargestellten Mischfunktionen sind geeignet, Highlights und starke Lichtflecke, die durch Lichter und/oder fettige Haut verursacht sind, abzumildern, wobei Schattenregionen unverändert bleiben.
  • Der Hauttonfilter kann auch dazu dienen, die Farbwiedergabe der Haut zu modifizieren. Bei einer derzeit bevorzugten Ausführungsform kann die Farbe C einer Region, etwa einer Hautregion, durch Verschieben des Mittelwertes und der Varianz der Farbverteilung einer Region wie folgt zu Cmod verändert werden: Cmod(x, y) = k(C(x, y) – C ) + Cpreferred(x, y) (Gleichung 19)worin der Vektor C(x, y) dem roten (R), grünen (G) und blauen (B) Signal des Pixels entspricht, Cpreferred der bevorzugte Farbvektor ist, C der aktuelle mittlere Farbvektor ist und k eine Konstante ist, die zwischen 0 und 1 variieren kann. Die bevorzugte Farbe Cpreferred(x, y) kann je nach der zu modifizierenden Hautregion räumlich variieren.
  • Eine bevorzugte Ausführungsform zum Aufhellen oder Abdunkeln des Hautbereichs besteht darin, den Kontrast des Hautbereichs wie folgt zu modifizieren: Cmod(x, y) = Cy(x, y) (Gleichung 20)worin γ-Werte unter 1 einem Aufhellen der Hautfarbe und γ-Werte über 1 dem Abdunkeln der Hautfarbe entsprechen.
  • Eine alternative Ausführungsform für das Aufhellen ist durch
    Figure 00320001
    und zum Abdunkeln des Hautbereichs durch
    Figure 00320002
    gegeben, worin zwischen 0 und 1 variiert.
  • Die obige Lösung ist auch anwendbar, wenn C in anderen Farbräumen wiedergegeben ist, etwa CIELAB, YUV, HSV, usw. Ferner können diese Gleichungen auf alle oder nur eine Untergruppe der Komponenten von C angewandt werden. Dies gilt insbesondere, wenn C in einem Farbraum (etwa CIELAB) wiedergegeben ist, in dem die Komponenten auf die Luminanz (L*) und Chrominanz (a*b*) bezogen sind.
  • Zahn- und Augen-Verbesserungsfilter
  • Aufgabe der Zahn- und Augen-Verbesserungsfilter 630 und 640 (6) ist es, die Luminanz und den Weißegrad der Zähne und Augen zu verstärken. 16 zeigt ein Flussdiagramm einer derzeit bevorzugten Ausführungsform eines erfindungsgemäßen Zahn- und Augenweiß-Filters. In einem Augen-/Zahn-Maskenerzeugungssschritt 1510 dienen die ausgeprägten Gesichtsmerkmalspunkte 420 (4) zum Erzeugen einer Maske, die den Augen- und Zahnbereichen entsprechende Pixel identifiziert. In einem Talwert-/Spitzenwert-Mappingschritt 1520 wird auf Grundlage des Eingabebildes mittels der Gleichung 12 das Talwert-/Spitzen wert-Abbild erzeugt, wobei der Unschärferadius durch den Augenabstand bestimmt ist (als Beispiel eines Standard-Parameters). In einem Skalierfaktor-Erzeugungsschritt 1530 werden mittels der Talwert-/Spitzenwert-Map und der Farbinformation Skalierfaktoren (als Beispiele von Standard-Parametern) für die Luminanz- und Chrominanzwerte der Pixel innerhalb der Augen- und Zahnmasken berechnet. Dann werden die Skalierfaktoren in einem Pixel-Modifikationsschritt 1540 auf die Luminanz- und Chrominanzwerte der Pixel innerhalb der Augen- und Zahnregionen angewandt und so neue Luminanz- und Chrominanzwerte erzeugt.
  • Bei einer derzeit bevorzugten Ausführungsform werden die RGB-Werte der Pixel innerhalb der Maskenbereiche in den CIELAB(L*a*b*)-Raum umgesetzt, und die Luminanz- und Chrominanzwerte werden wie folgt geändert: L* = L*·(1 + kP) (Gleichung 23) a* = a*/(1 + kP) (Gleichung 24) b* = b*/(1 + kP) (Gleichung 25)worin k der vorstehend genannte Standard-Parameter und P die Wahrscheinlichkeit ist, dass das Pixel entweder zum Weißen der Augen oder zu einem Zahn gehört. Ein derzeit bevorzugter Ausdruck der Wahrscheinlichkeit P ist:
    Figure 00330001
    worin F mittels der Gleichung 12 unter Verwendung eines Unschärferadius berechnet wird, der in Abhängigkeit von der Größe des Gesichts gewählt wird, und β ein Schwellwert ist.
  • Form-Verbesserungsfilter
  • Aufgabe des Form-Verbesserungsfilters 650 (in 6 dargestellt) ist es, die Form von Gesichtsmerkmalen wie Augen, Nase und Mund zu verändern. Für das Verändern der Form von Gesichtsmerkmalen verwendet man Standard-Verwerfungstechniken. Ein für die Durchfüh rung dieser Erfindung geeignetes Beispiel einer Verwerfungstechnik wird von T. Geier und S. Neely in "Feature-Based Image Metamorphosis (Merkmalsbasierte Bildmetamorphose", Computer Graphics, 26(2): 35–42, New York, NY, Juli 1992, Protokoll der SIGGRAPH '92, beschrieben und durch Verweis hierin aufgenommen.
  • 19 zeigt ein Flussdiagramm einer derzeit bevorzugten Ausführungsform eines erfindungsgemäßen Form-Verbesserungsfilters 650. In einem Quellen-Referenzpunkt-Bestimmungsschritt 1910 werden die für das Verwerfen des Bildes verwendeten Quellen-Referenzpunkte 1810 (siehe 18) mittels der Merkmalspunkte 420 (siehe 4) bestimmt, die das in der Form zu verbessernde Gesichtsmerkmal (z. B. ein Auge) begrenzen. In einem Ziel-Referenzpunkt-Bestimmungsschritt 1920 werden die Ziel-Referenzpunkte 1820 bestimmt. Die Position der Ziel-Referenzpunkte 1820 definiert die neue Position der Quellen-Referenzpunkte 1810 in dem Bild, dessen Form verändert wurde. Die Ziel-Referenzpunkte 1820 (D1, D2, D3 und D4) geben jeweils die neuen Positionen der Quellen-Referenzpunkte 1810 (S1, S2, S3 und S4) wieder. Die Quellen- und Ziel-Referenzpunkte dienen in einem Verwerfungsschritt 1930 zum Verwerfen des Bildes. Die Position der Ziel-Referenzpunkte 1820 wird bestimmt durch die gewünschte Änderung der Form des Gesichtsmerkmals. Wenn zum Beispiel die Größe der Augen vergrößert werden soll, werden die Ziel-Referenzpunkte 1820 wie in 18 dargestellt positioniert.
  • Bei einer derzeit bevorzugten Ausführungsform wird mittels der Parameter des Form-Verbesserungsfilters durch Vorgeben der Positionen der Ziel-Referenzpunkte 1820 bestimmt, ob die Form des Gesichtsmerkmals vergrößert oder verkleinert werden soll. Der Form-Verbesserungsfilter kann durch einen zusätzlichen Steuerschieber in den GUI-Bildschirm 78 (siehe 1B) integriert werden. Außerdem kann für jedes Gesichtsmerkmal ein besonderer Formverbesserungs-Schieber vorgesehen werden. Das System bildet die Position des Schiebers als entsprechenden Parameterwert der Form-Verbesserungsfilter ab. Bewegt man den Schieber in eine Richtung, verringert sich dadurch die Größe des Gesichtsmerkmals, während sich bei Bewegung des Schiebers in die entgegengesetzte Richtung das Gesichtsmerkmal vergrößert. Die vorgegebene Position des betreffenden Schiebers könnte daher eine neutrale Position sein, die keine Formverbesserung bewirkt (bis der Schieber in die eine oder die andere Richtung bewegt wird).
  • In der vorstehenden Beschreibung wurden bestimmte Parameter als Beispiele für System-Standardparameter bezeichnet, die zum Beispiel die Ersteinstellungen der Verbesserungsfilter und die Ersteinstellung der Verbesserungsschieber in der grafischen Benutzerschnittstelle bestimmen. Diese Parameter wurden ohne jede Einschränkung nur als Beispiele entsprechender Standard-Parameter ausgewählt und sind keinesfalls als endgültige oder einschränkende Parameter anzusehen. Für den Fachmann sollte klar sein, dass viele andere Parameter, auch andere, die in dieser Beschreibung erwähnt wurden, als Standard-Parameter gewählt und/oder bezeichnet werden könnten.

Claims (12)

  1. Computerimplementiertes Verfahren zum Verbessern des Aussehens eines Gesichts in einem digitalen Bild, mit folgenden Schritten: a) Erfassen eines digitalen Bildes mit einem oder mehreren Gesichtern; b) Erkennen eines Ortes mit gesichtscharakteristischen Merkmalen eines oder mehrerer Gesichter, wobei die charakteristischen Gesichtsmerkmale Punkte umfassen, die ausgeprägte Merkmale betreffen, welche mindestens die Haut, die Augen, die Augenbrauen, die Nase, den Mund oder das Haar umfassen; c) Verwenden des Orts der charakteristischen Gesichtsmerkmale zum Segmentieren des Gesichts in unterschiedliche Bereiche, die einen oder mehrere Bereiche mit Haut, Augen, Augenbrauen, Nase, Mund, Nacken und Haar umfassen; wobei das Verfahren gekennzeichnet ist durch die Schritte: d) Bestimmen eines oder mehrerer gesichtsrelevanter Charakteristika der unterschiedlichen Bereiche und einer oder mehrerer Hautunvollkommenheiten in einem bestimmten Bereich; e) Auswählen (1) zweier oder mehrerer Verbesserungsfilter, die jeweils speziell für einen bestimmten Bereich personenspezifisch angepasst sind, wobei mindestens einer der Filter ein Texturverbesserungsfilter ist, der personenspezifisch auf den bestimmten Bereich mit den Hautunvollkommenheiten angepasst ist; und (2) Auswählen der Standardparameter für die Verbesserungsfilter auf der Grundlage der bestimmten, gesichtsrelevanten Charakteristika; und f) Anwenden des Verbesserungsfilters auf die entsprechenden Bereiche, wobei die Texturverbesserungsfilter die lokale Textur der Hautunvollkommenheiten glätten und dadurch ein verbessertes digitales Bild des digitalen Bildes erzeugen.
  2. Verfahren nach Anspruch 1, worin die Hautunvollkommenheiten bestimmt werden auf der Grundlage merkmalbasierender Charakteristika, einschließlich eines oder mehrerer Bereiche wie Größe, Farbe, Form und Ort in den entsprechenden Bereichen.
  3. Verfahren nach Anspruch 1 oder 2, worin die Hautunvollkommenheiten einen oder mehrere Bereiche umfassen wie Schönheitsfehler, dunkle Hautflecken und Falten.
  4. Verfahren nach Anspruch 1, worin ein geschlechtsspezifischer Klassifizierungsalgorithmus angewandt wird zum Bestimmen, ob es sich um das Gesicht eines Mannes oder einer Frau handelt, ehe die Verbesserungsfilter ausgewählt werden.
  5. Verfahren nach Anspruch 1, worin ein Altersklassifizierungsalgorithmus angewandt wird zum Bestimmen des Alters der betreffenden Person, ehe die Verbesserungsfilter ausgewählt werden.
  6. Verfahren nach Anspruch 1, worin ein Abstand zwischen den Augen des Gesichts dazu verwendet wird, die Standardparameter für einen oder mehrere der ausgewählten Verbesserungsfilter zu bestimmen.
  7. Verfahren nach Anspruch 2, mit dem Schritt des Ausdruckens des verbesserten digitalen Bildes auf einer lokalen Vorrichtung.
  8. Verfahren nach Anspruch 2, mit dem Schritt des Archivierens des verbesserten digitalen Bildes auf einer lokalen Vorrichtung.
  9. Verfahren nach Anspruch 2, mit dem Schritt des Ausdruckens des verbesserten digitalen Bildes auf einem entfernten Gerät.
  10. Verfahren nach Anspruch 2, mit dem Schritt des Archivierens des verbesserten digitalen Bildes auf einem entfernten Gerät.
  11. Verfahren nach Anspruch 1, worin die bestimmten gesichtsrelevanten Charakteristika mindestens ein Charakteristikum umfassen, das aus der Gruppe auswählbar ist bestehend aus der Größe des Gesichts, dem Abstand zwischen Gesichtsmerkmalen in einem bestimmten Bereich, dem Geschlecht einer Person im Bild und dem Alter der Person.
  12. Computerspeichermedium mit darauf gespeicherten Anweisungen zur Veranlassung eines Computers, das Verfahren nach Anspruch 1 auszuführen.
DE60320178T 2002-05-31 2003-05-19 Verfahren und System zur Verbesserung von Portraitbildern Expired - Lifetime DE60320178T2 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US10/160,421 US7082211B2 (en) 2002-05-31 2002-05-31 Method and system for enhancing portrait images
US160421 2002-05-31

Publications (2)

Publication Number Publication Date
DE60320178D1 DE60320178D1 (de) 2008-05-21
DE60320178T2 true DE60320178T2 (de) 2009-05-07

Family

ID=29583145

Family Applications (1)

Application Number Title Priority Date Filing Date
DE60320178T Expired - Lifetime DE60320178T2 (de) 2002-05-31 2003-05-19 Verfahren und System zur Verbesserung von Portraitbildern

Country Status (8)

Country Link
US (1) US7082211B2 (de)
EP (1) EP1372109B1 (de)
JP (1) JP4294371B2 (de)
CN (1) CN1475969B (de)
AU (1) AU2003204466B2 (de)
CA (1) CA2424963A1 (de)
DE (1) DE60320178T2 (de)
TW (1) TWI268097B (de)

Families Citing this family (183)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001283079A (ja) * 2000-03-28 2001-10-12 Sony Corp 通信サービス方法とその装置、通信端末装置、通信システム、広告宣伝方法
EP1353516A1 (de) * 2002-04-08 2003-10-15 Mitsubishi Electric Information Technology Centre Europe B.V. Verfahren und Vorrichtung zum Erfassen bzw. Verfolgen einer oder mehrerer Farbzonen in einem Bild oder einer Bildsequenz
AUPS170902A0 (en) * 2002-04-12 2002-05-16 Canon Kabushiki Kaisha Face detection and tracking in a video sequence
JP2004030370A (ja) * 2002-06-27 2004-01-29 Noritsu Koki Co Ltd 画像処理方法、画像処理プログラム、および画像処理プログラムを記録した記録媒体
JP2004062651A (ja) * 2002-07-30 2004-02-26 Canon Inc 画像処理装置、画像処理方法、その記録媒体およびそのプログラム
US7035461B2 (en) * 2002-08-22 2006-04-25 Eastman Kodak Company Method for detecting objects in digital images
JP4045929B2 (ja) * 2002-11-18 2008-02-13 セイコーエプソン株式会社 被写体の大きさに応じた画質の自動調整
JP4277534B2 (ja) * 2003-02-12 2009-06-10 オムロン株式会社 画像編集装置および画像編集方法
JP4072071B2 (ja) * 2003-02-13 2008-04-02 富士フイルム株式会社 顔画像補正方法および装置、並びに顔画像補正プログラム
US20040207743A1 (en) * 2003-04-15 2004-10-21 Nikon Corporation Digital camera system
US7343028B2 (en) * 2003-05-19 2008-03-11 Fujifilm Corporation Method and apparatus for red-eye detection
US7440593B1 (en) * 2003-06-26 2008-10-21 Fotonation Vision Limited Method of improving orientation and color balance of digital images using face detection information
US8948468B2 (en) * 2003-06-26 2015-02-03 Fotonation Limited Modification of viewing parameters for digital images using face detection information
US7574016B2 (en) 2003-06-26 2009-08-11 Fotonation Vision Limited Digital image processing using face detection information
US7269292B2 (en) 2003-06-26 2007-09-11 Fotonation Vision Limited Digital image adjustable compression and resolution using face detection information
US7606417B2 (en) 2004-08-16 2009-10-20 Fotonation Vision Limited Foreground/background segmentation in digital images with differential exposure calculations
US7792970B2 (en) 2005-06-17 2010-09-07 Fotonation Vision Limited Method for establishing a paired connection between media devices
US7844076B2 (en) * 2003-06-26 2010-11-30 Fotonation Vision Limited Digital image processing using face detection and skin tone information
US7469072B2 (en) 2003-07-18 2008-12-23 Canon Kabushiki Kaisha Image processing apparatus and method
US7164410B2 (en) * 2003-07-28 2007-01-16 Sig G. Kupka Manipulating an on-screen object using zones surrounding the object
US7706624B2 (en) * 2003-08-04 2010-04-27 Thomson Licensing Apparatus and method for reducing noise in an image
KR100580624B1 (ko) * 2003-09-19 2006-05-16 삼성전자주식회사 영상 표시 방법과 장치 및 컴퓨터 프로그램을 저장하는컴퓨터로 읽을 수 있는 기록 매체
US7412105B2 (en) 2003-10-03 2008-08-12 Adobe Systems Incorporated Tone selective adjustment of images
US7466868B2 (en) 2003-10-03 2008-12-16 Adobe Systems Incorporated Determining parameters for adjusting images
US7379071B2 (en) * 2003-10-14 2008-05-27 Microsoft Corporation Geometry-driven feature point-based image synthesis
JP4344925B2 (ja) * 2003-12-15 2009-10-14 富士フイルム株式会社 画像処理装置、画像処理方法およびプリントシステム
TWI227444B (en) * 2003-12-19 2005-02-01 Inst Information Industry Simulation method for make-up trial and the device thereof
US7426296B2 (en) * 2004-03-18 2008-09-16 Sony Corporation Human skin tone detection in YCbCr space
JP4396387B2 (ja) 2004-05-13 2010-01-13 オムロン株式会社 画像補正装置
US7397964B2 (en) * 2004-06-24 2008-07-08 Apple Inc. Gaussian blur approximation suitable for GPU
JP4537779B2 (ja) * 2004-06-30 2010-09-08 京セラ株式会社 撮像装置および画像処理方法
US20060008174A1 (en) * 2004-07-07 2006-01-12 Ge Medical Systems Global Technology Count adaptive noise reduction method of x-ray images
US7372597B2 (en) * 2004-07-27 2008-05-13 Eastman Kodak Company Tonescales for geographically localized digital rendition of people
US8244019B2 (en) * 2004-07-27 2012-08-14 Duerr Dental Gmbh & Co. Kg Method and device for improving perceptibility different structures on radiographs
JP2006059162A (ja) * 2004-08-20 2006-03-02 Noritsu Koki Co Ltd 歯画像補正方法及び装置
JP4677753B2 (ja) * 2004-10-01 2011-04-27 株式会社ニコン 動画像処理装置及び方法
US7593603B1 (en) 2004-11-30 2009-09-22 Adobe Systems Incorporated Multi-behavior image correction tool
KR100777462B1 (ko) * 2005-01-19 2007-11-21 삼성전자주식회사 스캐닝장치, 그것을 구비하는 스캐닝시스템 및 스캐닝방법
JP4593314B2 (ja) * 2005-02-28 2010-12-08 富士フイルム株式会社 画像再生装置、プログラム及び方法、並びにフォトムービー作成装置、プログラム及び方法
US8374403B2 (en) * 2005-05-16 2013-02-12 Cisco Technology, Inc. Methods and apparatus for efficient, automated red eye detection
US7831067B2 (en) * 2005-05-16 2010-11-09 Cisco Technology, Inc. Methods and apparatus for automated, multi-level red eye correction
US8139068B2 (en) * 2005-07-29 2012-03-20 Autodesk, Inc. Three-dimensional animation of soft tissue of characters using controls associated with a surface mesh
KR101303877B1 (ko) * 2005-08-05 2013-09-04 삼성전자주식회사 얼굴 검출과 피부 영역 검출을 적용하여 피부의 선호색변환을 수행하는 방법 및 장치
US8007062B2 (en) 2005-08-12 2011-08-30 Tcms Transparent Beauty Llc System and method for applying a reflectance modifying agent to improve the visual attractiveness of human skin
FR2891641B1 (fr) * 2005-10-04 2007-12-21 Lvmh Rech Procede et appareil de caracterisation des imperfections de la peau et procede d'appreciation de l'effet anti-vieillissement d'un produit cosmetique.
US7982747B1 (en) * 2005-12-19 2011-07-19 Adobe Systems Incorporated Displaying generated changes to an image file
US8265392B2 (en) * 2006-02-07 2012-09-11 Qualcomm Incorporated Inter-mode region-of-interest video object segmentation
US8265349B2 (en) * 2006-02-07 2012-09-11 Qualcomm Incorporated Intra-mode region-of-interest video object segmentation
US8150155B2 (en) * 2006-02-07 2012-04-03 Qualcomm Incorporated Multi-mode region-of-interest video object segmentation
US7590344B2 (en) * 2006-02-28 2009-09-15 Microsoft Corp. Adaptive processing for images captured with flash
JP4753025B2 (ja) * 2006-03-22 2011-08-17 花王株式会社 メイクアップシミュレーション方法
JP4362489B2 (ja) 2006-03-29 2009-11-11 日本電気株式会社 3次元顔データ登録システム、3次元顔データ登録方法、及び登録処理プログラム
DE602007012246D1 (de) 2006-06-12 2011-03-10 Tessera Tech Ireland Ltd Fortschritte bei der erweiterung der aam-techniken aus grauskalen- zu farbbildern
US7778482B2 (en) * 2006-07-19 2010-08-17 Trident Microsystems (Far East) Ltd. Method and system for reducing mosquito noise in a digital image
US8184901B2 (en) 2007-02-12 2012-05-22 Tcms Transparent Beauty Llc System and method for applying a reflectance modifying agent to change a person's appearance based on a digital image
US8942775B2 (en) * 2006-08-14 2015-01-27 Tcms Transparent Beauty Llc Handheld apparatus and method for the automated application of cosmetics and other substances
TWI376930B (en) * 2006-09-04 2012-11-11 Via Tech Inc Scenario simulation system and method for a multimedia device
GB2442256A (en) * 2006-09-28 2008-04-02 Tandberg Television Asa Position-dependent spatial filtering
KR100857463B1 (ko) * 2006-11-17 2008-09-08 주식회사신도리코 포토프린팅을 위한 얼굴영역 검출장치 및 보정 방법
US7945075B2 (en) * 2006-12-19 2011-05-17 Seiko Epson Corporation Converting a digital image from color to gray-scale
US8055067B2 (en) 2007-01-18 2011-11-08 DigitalOptics Corporation Europe Limited Color segmentation
US20080187184A1 (en) * 2007-02-01 2008-08-07 Kabushiki Kaisha Toshiba System and method for facial image enhancement
EP2117721B8 (de) * 2007-02-12 2012-08-08 YEAGER, Rick B. System und verfahren zur elektrostatischen anbringung eines wirkstoffs auf der menschlichen haut
US7576755B2 (en) 2007-02-13 2009-08-18 Microsoft Corporation Picture collage systems and methods
US8615112B2 (en) * 2007-03-30 2013-12-24 Casio Computer Co., Ltd. Image pickup apparatus equipped with face-recognition function
US20080263449A1 (en) * 2007-04-20 2008-10-23 Microsoft Corporation Automated maintenance of pooled media content
US10092082B2 (en) * 2007-05-29 2018-10-09 Tcms Transparent Beauty Llc Apparatus and method for the precision application of cosmetics
TWI366181B (en) * 2007-06-12 2012-06-11 Au Optronics Corp Method and apparatus for image enlargement and enhancement
US20090016617A1 (en) * 2007-07-13 2009-01-15 Samsung Electronics Co., Ltd. Sender dependent messaging viewer
KR101414612B1 (ko) * 2007-10-01 2014-07-03 엘지전자 주식회사 휴대 단말기 및 그 제어 방법
US8184925B1 (en) 2007-10-22 2012-05-22 Berridge & Associates System for converting a photograph into a portrait-style image
US8254716B2 (en) * 2007-12-12 2012-08-28 Intel Corporation Method for adaptive image enhancement
JP5432532B2 (ja) * 2008-01-22 2014-03-05 株式会社 資生堂 化粧方法、化粧シミュレーション装置、及び化粧シミュレーションプログラム
US20100284616A1 (en) * 2008-02-01 2010-11-11 Dan Dalton Teeth locating and whitening in a digital image
US9058765B1 (en) * 2008-03-17 2015-06-16 Taaz, Inc. System and method for creating and sharing personalized virtual makeovers
KR100986101B1 (ko) * 2008-05-30 2010-10-08 이승철 얼굴 분석 서비스 제공 방법 및 장치
US8194992B2 (en) * 2008-07-18 2012-06-05 Xerox Corporation System and method for automatic enhancement of seascape images
CN102027505A (zh) 2008-07-30 2011-04-20 泰塞拉技术爱尔兰公司 使用脸部检测的自动脸部和皮肤修饰
US8520089B2 (en) * 2008-07-30 2013-08-27 DigitalOptics Corporation Europe Limited Eye beautification
US9053524B2 (en) 2008-07-30 2015-06-09 Fotonation Limited Eye beautification under inaccurate localization
JP5168030B2 (ja) * 2008-08-28 2013-03-21 大日本印刷株式会社 皮革形状データ生成装置、皮革形状データ生成方法及び皮革形状データ生成プログラム
JP5434020B2 (ja) * 2008-09-09 2014-03-05 カシオ計算機株式会社 撮影装置及びプログラム
TWI381322B (zh) * 2009-04-17 2013-01-01 Hon Hai Prec Ind Co Ltd 成像系統及其成像方法
TWI387319B (zh) * 2009-06-02 2013-02-21 Novatek Microelectronics Corp 影像處理電路及方法
US8265410B1 (en) * 2009-07-11 2012-09-11 Luxand, Inc. Automatic correction and enhancement of facial images
US8374454B2 (en) * 2009-07-28 2013-02-12 Eastman Kodak Company Detection of objects using range information
US8509519B2 (en) * 2009-07-29 2013-08-13 Intellectual Ventures Fund 83 Llc Adjusting perspective and disparity in stereoscopic image pairs
US8213052B2 (en) * 2009-07-31 2012-07-03 Eastman Kodak Company Digital image brightness adjustment using range information
US8218823B2 (en) * 2009-08-11 2012-07-10 Eastman Kodak Company Determining main objects using range information
US8270731B2 (en) * 2009-08-19 2012-09-18 Eastman Kodak Company Image classification using range information
CN102028482B (zh) * 2009-09-30 2012-11-14 同方威视技术股份有限公司 人体检查图像处理方法和人体检查设备
US8498453B1 (en) * 2009-09-30 2013-07-30 Lifetouch, Inc. Evaluating digital images using head points
JP2011090569A (ja) * 2009-10-23 2011-05-06 Sony Corp 画像処理装置および画像処理方法
US9128602B2 (en) * 2009-11-25 2015-09-08 Yahoo! Inc. Gallery application for content viewing
WO2011077164A2 (en) * 2009-12-24 2011-06-30 Bae Systems Plc Image enhancement
US8550818B2 (en) * 2010-05-21 2013-10-08 Photometria, Inc. System and method for providing and modifying a personalized face chart
US8523570B2 (en) * 2010-05-21 2013-09-03 Photometria, Inc System and method for providing a face chart
JP5408037B2 (ja) * 2010-05-28 2014-02-05 カシオ計算機株式会社 画像処理装置及び方法、並びにプログラム
US8355039B2 (en) 2010-07-06 2013-01-15 DigitalOptics Corporation Europe Limited Scene background blurring including range measurement
FR2975804B1 (fr) 2011-05-27 2022-06-17 Lvmh Rech Procede de caracterisation du teint de la peau ou des phaneres
US9111130B2 (en) * 2011-07-08 2015-08-18 Microsoft Technology Licensing, Llc Facilitating face detection with user input
US8760674B2 (en) 2011-07-28 2014-06-24 Xerox Corporation Multiple setting user interface with visual icons for customized usability
US8824808B2 (en) 2011-08-19 2014-09-02 Adobe Systems Incorporated Methods and apparatus for automated facial feature localization
JP5657494B2 (ja) * 2011-09-22 2015-01-21 富士フイルム株式会社 シワ検出方法、シワ検出装置およびシワ検出プログラム、並びに、シワ評価方法、シワ評価装置およびシワ評価プログラム
TWI467498B (zh) 2011-12-19 2015-01-01 Ind Tech Res Inst 影像識別方法及系統
US8433107B1 (en) * 2011-12-28 2013-04-30 Arcsoft (Hangzhou) Multimedia Technology Co., Ltd. Method of enhancing a nose area of an image and related computing device
US8538089B2 (en) * 2011-12-28 2013-09-17 Arcsoft (Hangzhou) Multimedia Technology Co., Ltd. Method of performing eyebrow shaping on an image and related computing device
JP5949481B2 (ja) * 2012-03-14 2016-07-06 富士通株式会社 画像処理方法、プログラム及び装置
US20140015854A1 (en) * 2012-07-13 2014-01-16 Research In Motion Limited Application of Filters Requiring Face Detection in Picture Editor
US10192290B2 (en) * 2012-07-23 2019-01-29 Sheri Engler Interface for revealing latent figures within images
US9202138B2 (en) * 2012-10-04 2015-12-01 Adobe Systems Incorporated Adjusting a contour by a shape model
US8873850B2 (en) * 2012-11-30 2014-10-28 Google Inc. Detecting exposure quality in images
CN103945104B (zh) * 2013-01-21 2018-03-23 联想(北京)有限公司 信息处理方法及电子设备
US20160042224A1 (en) * 2013-04-03 2016-02-11 Nokia Technologies Oy An Apparatus and Associated Methods
EP3005288A4 (de) * 2013-05-24 2016-11-30 Intel Corp Auf den hautton abgestimmte bildverbesserung
CN105407799B (zh) * 2013-07-31 2017-12-26 松下电器(美国)知识产权公司 皮肤分析方法、皮肤分析装置、皮肤分析装置的控制方法以及记录介质
CN103413270A (zh) * 2013-08-15 2013-11-27 北京小米科技有限责任公司 一种图像的处理方法、装置和终端设备
US9779527B2 (en) 2013-08-15 2017-10-03 Xiaomi Inc. Method, terminal device and storage medium for processing image
US20150089446A1 (en) * 2013-09-24 2015-03-26 Google Inc. Providing control points in images
CN104655284B (zh) * 2013-11-25 2022-04-19 杭州美盛红外光电技术有限公司 分析装置、处理装置和分析方法、处理方法
WO2015074625A1 (zh) * 2013-11-25 2015-05-28 王浩 分析设置装置、处理装置和分析设置方法、处理方法
CN103605975B (zh) * 2013-11-28 2018-10-19 小米科技有限责任公司 一种图像处理的方法、装置及终端设备
EP3077987B1 (de) * 2013-12-04 2017-07-05 Koninklijke Philips N.V. Fluoreszenzbildverarbeitungsvorrichtung und -verfahren
US10114532B2 (en) * 2013-12-06 2018-10-30 Google Llc Editing options for image regions
WO2015095529A1 (en) * 2013-12-19 2015-06-25 Google Inc. Image adjustment using texture mask
KR102327779B1 (ko) 2014-02-21 2021-11-18 삼성전자주식회사 이미지 처리 방법 및 장치
CN103914699B (zh) * 2014-04-17 2017-09-19 厦门美图网科技有限公司 一种基于色彩空间的自动唇彩的图像增强的方法
US9614724B2 (en) 2014-04-21 2017-04-04 Microsoft Technology Licensing, Llc Session-based device configuration
US9639742B2 (en) 2014-04-28 2017-05-02 Microsoft Technology Licensing, Llc Creation of representative content based on facial analysis
US9773156B2 (en) 2014-04-29 2017-09-26 Microsoft Technology Licensing, Llc Grouping and ranking images based on facial recognition data
US9384334B2 (en) 2014-05-12 2016-07-05 Microsoft Technology Licensing, Llc Content discovery in managed wireless distribution networks
US10111099B2 (en) 2014-05-12 2018-10-23 Microsoft Technology Licensing, Llc Distributing content in managed wireless distribution networks
US9384335B2 (en) 2014-05-12 2016-07-05 Microsoft Technology Licensing, Llc Content delivery prioritization in managed wireless distribution networks
US9430667B2 (en) 2014-05-12 2016-08-30 Microsoft Technology Licensing, Llc Managed wireless distribution network
US9874914B2 (en) 2014-05-19 2018-01-23 Microsoft Technology Licensing, Llc Power management contracts for accessory devices
FR3013871A1 (fr) * 2014-05-22 2015-05-29 Thomson Licensing Procede et dispositif de retouche d'images de visage
CN104468578B (zh) * 2014-12-10 2017-12-26 怀效宁 一种无线通讯的优先通讯系统和通讯方法
US10037202B2 (en) 2014-06-03 2018-07-31 Microsoft Technology Licensing, Llc Techniques to isolating a portion of an online computing service
US9367490B2 (en) 2014-06-13 2016-06-14 Microsoft Technology Licensing, Llc Reversible connector for accessory devices
US9460493B2 (en) 2014-06-14 2016-10-04 Microsoft Technology Licensing, Llc Automatic video quality enhancement with temporal smoothing and user override
US9373179B2 (en) 2014-06-23 2016-06-21 Microsoft Technology Licensing, Llc Saliency-preserving distinctive low-footprint photograph aging effect
US9717006B2 (en) 2014-06-23 2017-07-25 Microsoft Technology Licensing, Llc Device quarantine in a wireless network
JP6472183B2 (ja) * 2014-07-28 2019-02-20 キヤノン株式会社 画像処理装置、その制御方法、プログラム
US9390478B2 (en) 2014-09-19 2016-07-12 Intel Corporation Real time skin smoothing image enhancement filter
US9471966B2 (en) * 2014-11-21 2016-10-18 Adobe Systems Incorporated Area-dependent image enhancement
CN104537630A (zh) * 2015-01-22 2015-04-22 厦门美图之家科技有限公司 一种基于年龄估计的图像美颜方法和装置
CN104660905B (zh) * 2015-03-04 2018-03-16 广东欧珀移动通信有限公司 拍照处理方法及装置
JP6583660B2 (ja) * 2015-03-26 2019-10-02 パナソニックIpマネジメント株式会社 画像合成装置及び画像合成方法
US10453270B2 (en) * 2015-09-11 2019-10-22 Intel Corporation Scalable real-time face beautification of video images
US9864901B2 (en) * 2015-09-15 2018-01-09 Google Llc Feature detection and masking in images based on color distributions
GB2544307B (en) * 2015-11-12 2018-02-07 Cambridge Touch Tech Ltd Processing signals from a touchscreen panel
CN105447827B (zh) * 2015-11-18 2018-01-16 广东欧珀移动通信有限公司 图像降噪方法和系统
EP3391290A4 (de) * 2015-12-16 2019-08-07 Intel Corporation Vollständig faltbare pyramidennetzwerke zur fussgängerdetektion
US10055821B2 (en) * 2016-01-30 2018-08-21 John W. Glotzbach Device for and method of enhancing quality of an image
GB2550344B (en) * 2016-05-13 2020-06-03 Holition Ltd Locating and augmenting object features in images
US11741639B2 (en) 2016-03-02 2023-08-29 Holition Limited Locating and augmenting object features in images
CN106023104B (zh) * 2016-05-16 2019-01-08 厦门美图之家科技有限公司 人脸眼部区域的图像增强方法、系统及拍摄终端
US10049425B2 (en) * 2016-05-23 2018-08-14 Google Llc Merging filters for a graphic processing unit
CN106375747B (zh) * 2016-08-31 2018-11-23 广州市百果园网络科技有限公司 一种图像处理方法、及设备
US11120495B2 (en) * 2016-09-15 2021-09-14 GlamST LLC Generating virtual makeup products
CN106778524A (zh) * 2016-11-25 2017-05-31 努比亚技术有限公司 一种基于双摄像头测距的颜值估算装置及其方法
CN106791733A (zh) * 2016-12-05 2017-05-31 奇酷互联网络科技(深圳)有限公司 基于单摄像头图像合成的方法及装置
US10096089B2 (en) * 2017-01-04 2018-10-09 Facebook, Inc. Accelerated skin smoothing effect
CN107229905B (zh) * 2017-05-05 2020-08-11 广州视源电子科技股份有限公司 嘴唇渲染颜色的方法、装置及电子设备
JP2020525087A (ja) * 2017-06-30 2020-08-27 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. 拡張される顔のスケッチを使用してマスクを選択する方法及び装置
CN109426767A (zh) * 2017-08-24 2019-03-05 丽宝大数据股份有限公司 眼线描绘指引装置及其方法
US10496902B2 (en) * 2017-09-21 2019-12-03 International Business Machines Corporation Data augmentation for image classification tasks
JP7003558B2 (ja) * 2017-10-12 2022-01-20 カシオ計算機株式会社 画像処理装置、画像処理方法、及びプログラム
TWI638336B (zh) 2017-11-22 2018-10-11 瑞昱半導體股份有限公司 影像增強方法及影像增強裝置
KR102079091B1 (ko) * 2018-01-31 2020-02-19 주식회사 하이퍼커넥트 단말기 및 그것의 이미지 처리 방법
CN108550154A (zh) * 2018-04-11 2018-09-18 中国科学院西双版纳热带植物园 一种精准量测喀斯特地表裸露岩石占比的方法
US11172751B2 (en) * 2018-12-19 2021-11-16 The Procter & Gamble Company Method of defining a treatment area of an applicator for registration with a condition to be treated
CN111814520A (zh) * 2019-04-12 2020-10-23 虹软科技股份有限公司 肤质检测方法、肤质等级分类方法及肤质检测装置
CN110796617B (zh) 2019-10-24 2022-09-02 北京小米智能科技有限公司 面部图像的增强方法及装置、电子设备
US20220292799A1 (en) * 2019-10-30 2022-09-15 Nec Corporation Matching support apparatus, matching support method, and computer-readable recording medium
CN111028169B (zh) * 2019-12-09 2024-02-06 Oppo广东移动通信有限公司 图像校正方法、装置、终端设备和存储介质
CN111369478B (zh) * 2020-03-04 2023-03-21 腾讯科技(深圳)有限公司 人脸图像增强方法、装置、计算机设备和存储介质
CN111524062B (zh) * 2020-04-22 2023-11-24 北京百度网讯科技有限公司 图像生成方法和装置
CN111667426B (zh) * 2020-06-04 2023-10-13 四川轻化工大学 一种基于频域变分的医学图像增强方法
JP2023553836A (ja) * 2020-12-17 2023-12-26 アルコン インコーポレイティド 眼画像の可視化を向上させるためのシステム及び方法
US11404061B1 (en) * 2021-01-11 2022-08-02 Ford Global Technologies, Llc Speech filtering for masks
US20220237753A1 (en) * 2021-01-22 2022-07-28 Apical Limited Image adjustment based on local contrast
US20230162447A1 (en) * 2021-11-24 2023-05-25 Meta Platforms, Inc. Regionally enhancing faces in a digital video stream

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0691011B1 (de) 1993-03-25 2002-09-04 MGI Software Corporation Bildverarbeitungsverfahren und -system
JPH06319613A (ja) * 1993-04-30 1994-11-22 Onishi Netsugaku:Kk 顔のメークアップ支援装置
US5974189A (en) 1993-05-24 1999-10-26 Eastman Kodak Company Method and apparatus for modifying electronic image data
US5835616A (en) 1994-02-18 1998-11-10 University Of Central Florida Face detection using templates
US5781650A (en) 1994-02-18 1998-07-14 University Of Central Florida Automatic feature detection and age classification of human faces in digital images
JPH07270862A (ja) * 1994-04-01 1995-10-20 Toshio Nokura 遺影写真の作成パーツおよび作成方法
JP3370770B2 (ja) 1994-04-15 2003-01-27 松下電器産業株式会社 映像信号の肌色再生回路
US5710839A (en) 1994-04-20 1998-01-20 Eastman Kodak Company Method and apparatus for obscuring features of an image
US6104839A (en) 1995-10-16 2000-08-15 Eastman Kodak Company Method and apparatus for correcting pixel values in a digital image
US5960099A (en) 1997-02-25 1999-09-28 Hayes, Jr.; Carl Douglas System and method for creating a digitized likeness of persons
JP3912834B2 (ja) * 1997-03-06 2007-05-09 有限会社開発顧問室 顔画像の修正方法、化粧シミュレーション方法、化粧方法、化粧サポート装置及びファンデーション転写膜
US5990901A (en) 1997-06-27 1999-11-23 Microsoft Corporation Model based image editing and correction
US6160923A (en) 1997-11-05 2000-12-12 Microsoft Corporation User directed dust and compact anomaly remover from digital images
JPH11143352A (ja) * 1997-11-13 1999-05-28 Onishi Netsugaku Kogyosho:Kk 化粧シミュレーション自動描画方法および装置
US6101000A (en) 1998-01-30 2000-08-08 Eastman Kodak Company Photographic processing apparatus and method
US6571003B1 (en) 1999-06-14 2003-05-27 The Procter & Gamble Company Skin imaging and analysis systems and methods
JP3319727B2 (ja) * 1999-10-20 2002-09-03 日本放送協会 画像処理装置
JP2001268594A (ja) 2000-03-15 2001-09-28 Infiniteface.Com Inc 三次元ビューティーシミュレーション用クライアントサーバシステム
WO2001077976A2 (en) 2000-03-28 2001-10-18 Eyeweb, Inc. Image segmenting to enable electronic shopping for wearable goods and cosmetic services
AU3662600A (en) 2000-03-30 2001-10-15 Lucette Robin Digital remote data processing system for transforming an image, in particular an image of the human face
JP4291963B2 (ja) * 2000-04-13 2009-07-08 富士フイルム株式会社 画像処理方法
JP2002109555A (ja) * 2000-07-24 2002-04-12 Mitsubishi Electric Corp 仮想美容整形システム及び仮想美容整形方法
JP4681166B2 (ja) * 2000-07-28 2011-05-11 大日本印刷株式会社 ヘアカラー商品提示方法及びヘアカラー商品検索装置
US20020081003A1 (en) 2000-12-27 2002-06-27 Sobol Robert E. System and method for automatically enhancing graphical images
JP3529759B2 (ja) * 2001-01-26 2004-05-24 株式会社ソニー・コンピュータエンタテインメント 画像処理プログラム、画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体、プログラム実行装置、画像処理装置、及び画像処理方法
US20030063102A1 (en) * 2001-10-01 2003-04-03 Gilles Rubinstenn Body image enhancement

Also Published As

Publication number Publication date
TW200402231A (en) 2004-02-01
CN1475969B (zh) 2011-04-13
AU2003204466B2 (en) 2007-06-07
US20030223622A1 (en) 2003-12-04
EP1372109B1 (de) 2008-04-09
EP1372109A2 (de) 2003-12-17
JP4294371B2 (ja) 2009-07-08
JP2004005660A (ja) 2004-01-08
DE60320178D1 (de) 2008-05-21
CA2424963A1 (en) 2003-11-30
CN1475969A (zh) 2004-02-18
TWI268097B (en) 2006-12-01
US7082211B2 (en) 2006-07-25
EP1372109A3 (de) 2005-02-09
AU2003204466A1 (en) 2003-12-18

Similar Documents

Publication Publication Date Title
DE60320178T2 (de) Verfahren und System zur Verbesserung von Portraitbildern
US7184578B2 (en) Method and system for enhancing portrait images that are processed in a batch mode
US5978519A (en) Automatic image cropping
DE69822545T2 (de) Bildverbesserung unter Benutzung einer Flächeninterpolation
DE10319094B4 (de) Verfahren und Vorrichtung zum Zuordnen einer Bildverbesserung zu einer Farbe
DE60116949T2 (de) Gesichtserfassungsverfahren
DE60127016T2 (de) Verfahren und Gerät zur Durchführung einer lokalen Farbkorrektur
EP1231564A1 (de) Digitale lokale Bildeigenschaftssteuerung mittels Masken
JP2002044473A (ja) 画像処理方法、画像処理装置および画像処理方法を実行するプログラムを記録した記録媒体
JP2006523343A (ja) ディジタル画像の選択的エンハンスメント
DE10246102A1 (de) Verfahren und Vorrichtung zum Filtern von Rauschen von einem digatalen Bild
US7212674B1 (en) Method, apparatus and recording medium for face extraction
US9020255B2 (en) Image processing apparatus, image processing method, and storage medium
JP5569504B2 (ja) 画像処理装置、画像処理方法、及びプログラム
DE10250781B4 (de) Verfahren und Vorrichtung zur automatischen Segmentierung eines Vordergrundobjektes in einem Bild
JP5896204B2 (ja) 画像処理装置及びプログラム
DE112021002288T5 (de) Inhaltsbasierte bildverarbeitung
JP2004242068A (ja) 画像処理方法、画像処理装置及び画像処理プログラム
DE102012007838A1 (de) Hochdynamikbereich-Bildaufnahme mit Mehrfachbelichtung
Kingsnorth et al. Image Correction and Retouching
EP1231566A1 (de) Digitale lokale Bildeigenschaftssteuerung mittels Masken

Legal Events

Date Code Title Description
8364 No opposition during term of opposition