DE112004000393T5

DE112004000393T5 - System und Verfahren zum Verfolgen einer globalen Form eines in Bewegung befindlichen Objekts

Info

Publication number: DE112004000393T5
Application number: DE112004000393T
Authority: DE
Inventors: Dorin Comaniciu; Sriram Krishnan; Xiang Sean Zhou; Bogdan Georgescu
Original assignee: Siemens Medical Solutions USA Inc; Siemens Corporate Research Inc
Current assignee: Siemens Medical Solutions USA Inc
Priority date: 2003-03-07
Filing date: 2004-03-08
Publication date: 2006-03-02
Anticipated expiration: 2024-03-09
Also published as: US7558402B2; JP2006524534A; US20040208341A1; JP4861165B2; WO2004081875A2; CN1781123A; WO2004081875A3; DE112004000393B4; CN1781123B

Abstract

Verfahren zum Verfolgen einer globalen Form eines sich in Bewegung befindlichen Objekts mit folgenden Schritten:
Definieren eines oder mehrerer Bezugspunkte entlang der globalen Form;
Verfolgen jedes des einen oder der mehreren Bezugspunkte, wenn sich das Objekt in Bewegung befindet;
Darstellen von Ungewißheit eines Orts eines sich in Bewegung befindlichen Bezugspunkts; und
Auswerten der Ungewißheit zum Einschränken der globalen Form unter Verwendung eines vorhergehenden Formmodells.

Description

Querverweis auf verwandte Anmeldung
Die vorliegende Anmeldung beansprucht den Nutzen der am 7. März 2003 eingereichten vorläufigen US-Anmeldung Serien-Nr. 60/452,669, der am 27. Mai 2003 eingereichten vorläufigen US-Anmeldung Serien-Nr. 60/473,425, und der am 3. Oktober 2003 eingereichten vorläufigen US-Anmeldung Serien-Nr. 60/508,367, die durch Bezugnahme in ihrer Gesamtheit aufgenommen werden.
Erfindungsgebiet
Die vorliegende Erfindung richtet sich auf ein Verfahren zum Verfolgen einer Form, die sich in Bewegung befindet, und insbesondere auf ein Verfahren, zum Verfolgen einer Form mit linearen Beschränkungen in der Gegenwart heteroskedastischen Rauschens.
Stand der Technik
Für die meisten optischen Verfolgungsanwendungen sind Meßdaten ungewiß und fehlen manchmal: Bilder werden mit Rauschen und Verzerrung aufgenommen, während Okklusionen einen Teil des interessierenden Objekts unerkennbar machen können. Ungewißheit kann global gleichförmig sein; aber in den meisten Szenarios der realen Welt ist sie heteroskedastischet Beschaffenheit, d.h. sowohl anisotropisch als auch inhomogen. Ein gutes Beispiel ist das Echokardiogramm (Ultraschall-Herzdaten). Ultraschall neigt zu Reflexionsartefakten, z.B. Spiegelreflektoren, wie denen, die von Membranen kommen. Aufgrund der einzigen „Blickrichtung" erzeugt die senkrechte Oberfläche einer Spiegelstruktur starke Echos, aber geneigte außeraxiale Oberflächen können schwache Echos oder überhaupt keine Echos erzeugen (akustischer Ausfall). Bei einem Echokardiogramm kann der Ausfall an dem Bereich des Herzens auftreten, wo die Gewebeoberfläche zum Ultraschallstrahl parallel ist.
Aufgrund ihrer Verfügbarkeit, relativ geringen Kosten und des Nichteindringens werden Ultraschall-Herzbilder weitläufig zur Bewertung von Herzfunktionen benutzt. Insbesondere ist die Analyse von Ventrikelbewegung ein wirkungsvoller Weg zur Auswertung des Maßes an Ischämie und Infarktbildung. Segmentierung oder Erkennung der Endokardialwand ist der erste Schritt zur Quantifizierung von Elastizität und Zusammenziehbarkeit des linken Ventrikels. Beispiele einiger bestehender Verfahren umfassen pixelbasierte Segmentierung/Anhäufungsansätze (z.B. Farbkinese), Varianten optischen Flusses, deformierbare Schablonen und Markov-Zufallsverfahren/Felder und aktive Konturen/Schlangen. Einige Verfahren werden im zweidimensionalen, dreidimensionalen oder vierdimensionalen (3D + Zeit) Raum eingesetzt.
Die meisten bestehenden Segmentierungs- oder Erkennungsverfahren versuchen jedoch nicht, genaue regionale Bewegungen der Endokardialwand wiederzugewinnen und in den meisten Fällen werden Bewegungskomponenten entlang der Wand außer acht gelassen. Diese vereinfachte Behandlung wird auch durch Konturverfolger eingesetzt, die nur entlang den Normalen der gegenwärtigen Kontur suchen. Dies ist nicht für regionale Wandabnormalitätserkennung geeignet, da regionale Bewegung eines abnormalen linken Ventrikels wahrscheinlich abseits der Normalen der Kontur liegt, ganz zu schweigen davon, daß globale Bewegung wie Translation oder Drehung (aufgrund der Handbewegung des Sonographen oder Atembewegung des Patienten) ebenfalls außernormale lokale Bewegung auf der Kontur verursacht. Zur Erkennung regionaler Wandbewegungsabnormalitäten ist es wünschenswert, die globale Form der Endokardialwand wie auch ihre lokale Bewegung zu verfolgen. Diese Information kann für weitere Diagnose von Ischämie und Infarktbildung benutzt werden.
Im allgemeinen können Bildmerkmalen oder Flußschätzungen Kovarianzen zugewiesen werden, die ein darunterliegendes heteroskedastisches Rauschen widerspiegeln. Wenn die Daten sauber mit geringem Gesamt-Rauschpegel sind, kann die heteroskedastische Beschaffenheit ignorierbar sein und die lokalen Schätzungen können durch eine globale Ungewißheit ersetzt werden. Bei sehr rauschbehafteten Eingaben, besonders denjenigen mit räumlich veränderlichem strukturellem Rauschen werden jedoch die in der lokalen Kovarianzmatrix codierten Informationen kritisch bei der Sicherstellung zuverlässiger und robuster Auslegung von Objekten oder darunterliegenden Bildstrukturen.
Es ist ein weitverbreiteter Brauch, in einem VerfolgungsBilder Modellbeschränkungen aufzuerlegen. Beispiele umfassen einfache Modelle wie beispielsweise Flecken oder parametrisierte Ellipsen und komplexe Modelle wie beispielsweise selektive Schablonen. In den meisten praktischen Fällen ist ein Teilraummodell für die Formverfolgung geeignet, da die Anzahl von die Hauptformvariationen erfassenden Modi begrenzt und gewöhnlich viel kleiner ist, als die ursprüngliche Anzahl von zur Beschreibung der Form benutzten Merkmalskomponenten. Weiterhin kann ein PCA-basierter (Principal Component Analysis) Eigenformteilraum willkürlich komplizierte Formvariationen erfassen, die im Ursprungsraum selbst bei einem sehr einfachen parametrischen Modell stark nichtlinear sind.
Wenn ein Meßvektor durch heteroskedastisches Rauschen beeinflußt ist, ist eine orthogonale Projektion in den beschränkenden Teilraum nicht nur ungerechtfertigt, sondern auch hinsichtlich des Informationsverlustes sehr schadhaft. Sie kann nur für den Sonderfall gerechtfertigt sein, wenn das Rauschen sowohl isotropisch als auch homogen ist.
Die meisten bestehenden Arbeiten über teilraumbeschränkte Verfolgung berücksichtigen jedoch nicht das heteroskedastische Rauschen in den Messungen. In dem „Point Distribution Model" (Modell mit Punktverteilung) oder „Active Shape Model" (Modell mit aktiver Form) wird ein PCA-basiertes Teilraum-Formmodell auf Grundlage von Training-Formen mit Kennungspunktentsprechung abgeleitet. Der sich ergebende Teilraum von Eigenformen erfaßt die bedeutendsten Variationen in der Training-Datenmege. Zur Erkennungszeit wird ein Modell gestört, um synthetische Bilder zum Vergleichen mit dem Prüfbild an einem infrage kommenden Ort zu erstellen. Das Meßrauschen wurde jedoch in diesem Verfahren nicht modelliert.
Selbst wenn heteroskedastische Rauscheigenschaften zur Verfügung stehen, wurden sie typischerweise während der Teilraummodellanpassung außer acht gelassen. Beispielsweise wird bei einem bekannten Ansatz, wo die volle Kovarianzmatrix in den Messungen erfaßt wurde, eine ziemlich ad-hoc-artige Schwellwertbestimmung angelegt, so daß das Meßmittel auf eine durch die Modellkovarianz definierte Hyperellipsoid-Bedingung beschränkt ist. Diese Operation ist unabhängig von dem Meßrauschen.
Bei einem weiteren bekannten Ansatz wird ein zweistufiger Ansatz zur Auferlegung einer Formraumbedingung in einem Kalman-FilterungsBilder angewandt. Der Formraum ist ein linear transformierter affiner Teilraum oder Eigen-Teilraum. Die Projektion in den Formraum ist jedoch orthogonal, ohne Berücksichtigung des heteroskedastischen Rauschens der Messung. Dieser Ansatz führt daher zu Informationsverlust während der Projizierung.
Bei einem weiteren bekannten Ansatz wird eine Gaußsche Verteilung zum adaptiven Modellieren des Aussehens des interessierenden Objekts (in diesem Fall Gesicht) benutzt, was unter Verwendung des EM-Algorithmus gelernt wird. Wie bei der vorliegenden Erfindung wird lokale Ungewißheit in der Kovarianzmatrix erfaßt. Der Unterschied besteht darin, daß die vorliegende Erfindung spezifisch die Teilraummodellbedingungen und die kritische Wahl des Schnittpunkts über Projizierung untersucht, wenn anisotropische Ungewißheit vorliegt.
Bei einem weiteren bekannten Ansatz wird eine Teilraumbedingung implizit während der optischen Flußschätzung benutzt, die ebenfalls Flußungewißheiten nutzt. Obwohl sie in einem anderen Bilder für eine andere Anwendung liegt, erkennt die vorliegende Erfindung, daß „zuverlässigere Flußvektoren einen größeren Einfluß auf den Teilraumprojizierungsvorgang haben werden".
Bei einem weiteren bekannten Ansatz wird heteroskedastische Regression zum Überlagern von Ellipsen und Grundmatritzen angewandt. Die Anpassung wird im ursprünglichen Raum mit parametrisierten Modellen erreicht. Bei der vorliegenden Erfindung wird Parametrisierung von Formvariationen vermieden – sie kann sehr kompliziert und sehr nichtlinear sein. Statt dessen baut die vorliegende Erfindung lineare probabilistische Teilraummodelle durch z.B. PCA und erhält Lösungen geschlossener Form an sowohl dem Mittel als auch der Kovarianz der angepaßten Daten.
Zum Begrenzen oder Eliminieren des Einflusses von Datenkomponenten, die in bezug auf das Modell Abreißer sind, ist auch robuste Modellanpassung angewandt worden, die von M-Schätzern oder RANSAC abhängig ist. Wiederum werden in diesen Bilder die lokal (räumlich oder zeitlich) veränderlichen Ungewißheiten nicht ausgenutzt.
Andere verwandte Ansätze umfassen Datenzuteilung, die Praxis des „Ausfüllens" von fehlenden Daten mit plausiblen Werten. Die Arbeit auf diesem Gebiet basiert auf der Statistik, mit allgemeinen Anwendungen auf Spracherkennung, medizinische Bildanalyse und Gesellschaftswissenschaft usw. Die Formulierung von Datenzuteilungsproblemen nimmt jedoch typischerweise eine Verfügbarkeit 0-1 an, d.h. eine Datenkomponente fehlt entweder oder ist verfügbar. Es besteht ein Bedarf an einem vereinheitlichten Bilder zum Zusammenschmelzen von Teilraummodellbedingungen mit Informationen über die Formdynamik und die heteroskedastische Beschaffenheit des Meßrauschens und über die Formdynamik.
Kurze Beschreibung der Erfindung
Die vorliegende Erfindung richtet sich auf ein System und ein Verfahren zum Verfolgen einer globalen Form eines sich in Bewegung befindlichen Objekts. Es werden ein oder mehrere Bezugspunkte entlang einer Anfangskontur der globalen Form definiert. Jeder des einen oder der mehreren Bezugspunkte wird verfolgt, wenn sich das Objekt in Bewegung befindet. Es wird Ungewißheit eines Orts eines sich in Bewegung befindlichen Bezugspunkts geschätzt. Eine Form zur Darstellung der Ungewißheit ist eine Kovarianzmatrix. Bei Verwendung eines Teilraum-Formbedingungsmodells wird die Ungewißheit unter Verwendung einer nichtorthogonalen Projektion und/oder Informationsverschmelzung ausgenutzt. Es wird jede nachfolgende Kontur angezeigt.
Die vorliegende Erfindung richtet sich auch auf ein System zur optischen Verfolgung der Bewegung einer Form eines Objekts. Es werden ein oder mehrere erste Farbvektoren erzeugt, um Kontraktion von Bezugspunkten entlang der Kontur der Form darzustellen. Es werden ein oder mehrere zweite Bezugsvektoren erzeugt, um Dilatation von Bezugspunkten entlang der Kontur der Form darzustellen. Die ersten und zweiten Farbvektoren werden periodisch angezeigt und zeigen dadurch Bewegung der Form an.
Auch richtet sich die vorliegende Erfindung auf ein Verfahren zum Verfolgen einer globalen Form eines sich in Bewegung befindenden Objekts. Es werden ein oder mehrere Bezugspunkte entlang der globalen Form definiert. Jeder des einen oder der mehreren Bezugspunkte wird verfolgt, wenn sich das Objekt in Bewegung befindet. Für jeden Bezugspunkt werden mehrere Erscheinungsmodelle aufgebaut. Durch jedes Modell erzeugte Bewegungsvektoren zum Verfolgen der Form werden kombiniert.
Kurze Beschreibung der Zeichnungen
Untenstehend werden bevorzugte Ausführungsformen der vorliegenden Erfindung ausführlicher beschrieben, wobei gleiche Bezugsziffern gleiche Elemente anzeigen, unter Bezugnahme auf die beiliegenden Zeichnungen, in denen:
1 ein Blockschaltbild eines beispielhaften Systems zum Implementieren eines Verfahrens zur Formverfolgung gemäß der vorliegenden Erfindung ist;
2 ein Echokardiographiebild eines Herzens ist, das Bereiche akustischen Ausfalls und geschätzte lokale Wandbewegungsungewißheiten darstellt;
3 ein Echokardiographiebild eines linken Ventrikels ist, das eine Endokardialkontur mit Lokalisierungsungewißheiten ihrer Bezugspunkte darstellt, die stark anisotropisch und inhomogen sind;
4 Beispiele eines inkrementalen PCA-Modells und eines stark angepaßten PCA-(SA-PCA-)Modells mit unterschiedlichen α-Werten darstellt;
5a–5c Echokardiographiebilder eines linken Ventrikels darstellen, in dem die Endokardialwand initialisiert (a) und unter Verwendung von IPCA (b) und SA-PCA (c) verfolgt wird;
6a und 6b Echokardiographiebilder eines linken Ventrikels darstellen, wobei die Bewegung der Endokardialwand gemäß der vorliegenden Erfindung verfolgt wird;
7a–7d Testkonturen darstellen, die Echokardiographiebilder einer Endokardialwand eines linken Ventrikels aus einer apikalen Vierkammersicht gemäß der vorliegenden Erfindung darstellen;
8a–8d Testkonturen darstellen, die Echokardiographiebilder einer Endokardialwand eines linken Ventrikels aus einer parasternalen Sicht entlang der kurzen Achse gemäß der vorliegenden Erfindung darstellen;
9 Echokardiographiebilder darstellt, die ein Verfahren zur Visualisierung der Bilder gemäß der vorliegenden Erfindung veranschaulichen; und
10 einen Bezugspunkt-basierten Mehrmodell-Verfolger gemäß einer Ausführungsform der vorliegenden Erfindung darstellt.
Ausführliche Beschreibung
Die vorliegende Erfindung richtet sich auf ein Verfahren zum Verfolgen von Formen mit linearen Beschränkungen beim Vorhandensein heteroskedastischen Rauschens. Ein Beispiel, wo ein solches Verfahren benutzt werden würde, ist zur Verfolgung der globalen Form einer myokardialen Wand wie auch ihrer lokalen Bewegung zur Erkennung regionaler Wandbewegungsabnormalitäten im Herz. Das Verfahren kann auch zum Verfolgen der Endokardialwand oder Epikardialwand des Herzens benutzt werden. Der Fachmann soll verstehen, daß die vorliegende Erfindung in anderen Anwendungen benutzt werden kann, wo Formverfolgung nützlich ist, wie beispielsweise die Erkennung der Bewegung menschlicher Merkmale wie beispielsweise Kopfbewegungen, Gesichtsmerkmale, Handbewegungen oder sonstiger Körperbewegungen, aber nicht darauf begrenzt ist. Auch kann die vorliegende Erfindung in zweidimensionalen, dreidimensionalen und vierdimensionalen (3D + Zeit) medizinischen Analysen anatomischer Strukturen wie beispielsweise des Herzens, der Lungen oder von Geschwüren benutzt werden, die sich mit der Zeit entwickeln.
Zum Zweck der Beschreibung der vorliegenden Erfindung wird ein Beispiel zur Verfolgung der Endokardialwand des linken Ventrikels beschrieben. 1 zeigt eine beispielhafte Architektur eines Echokardiographensystems, das ein Verfahren zum Verfolgen der Form einer Endokardialwand eines linken Ventrikels gemäß der vorliegenden Erfindung benutzt. Ein medizinischer Sensor 102 wie beispielsweise ein Ultraschallwandler wird zur Durchführung einer Untersuchung an einem Patienten benutzt. Der Sensor 102 wird dazu benutzt, medizinische Messungen entsprechend einer bestimmten medizinischen Untersuchung zu erhalten. Beispielsweise kann an einem Herzprobleme erfahrenden Patienten ein Echokardiogramm durchgeführt werden, um die Diagnose der bestimmten Herzkrankheit zu unterstützen. Ein Ultraschallsystem liefert zwei-, drei- und vier- (3D + Zeit) dimensionale Bilder des Herzens aus verschiedenen Perspektiven.
Die vom Sensor 102 erhaltenen Informationen werden einem Prozessor 104 übermittelt, der ein Arbeitsplatz oder ein Personal Computer sein kann. Der Prozessor 104 wandelt die Sensordaten in ein Bild um, das der Anzeige 108 übermittelt wird. Die Anzeige 108 kann auch andere graphische Informationen oder Tabellen von Informationen bezüglich des Bildes übermitteln. Gemäß der vorliegenden Erfindung werden dem Prozessor 104 auch Daten zugeführt, die eine Anfangskontur der Endokardialwand darstellen. Die Daten können von Hand von einem Benutzer wie beispielsweise einem Arzt oder einem Sonographen oder automatisch vom Prozessor 104 bereitgestellt werden. Die Kontur umfaßt eine Reihe von Einzelpunkten, deren Bewegung vom Prozessor 104 verfolgt und auf der Anzeige 108 angezeigt wird. Die besonderen Einzelheiten bezüglich der Art und Weise der Verfolgung der Einzelpunkte werden nachstehend ausführlicher beschrieben.
Zusätzlich zu Daten von dem medizinischen Sensor 102 kann der Prozessor 104 auch andere Dateneingaben empfangen. Beispielsweise kann der Prozessor Daten von einer dem Prozessor 104 zugeordneten Datenbank 106 empfangen. Diese Daten können Teilraummodelle enthalten, die mögliche Konturformen für die Endokardialwand darstellen. Diese Teilraummodelle können Bilder von linken Ventrikeln sein, die für eine Mehrzahl von Patienten repräsentativ sind, oder können vom Computer erzeugte Modelle von Konturformen auf Grundlage von statistischen Informationen sein. Der Prozessor 104 verfolgt die Einzelpunkte der Konturform unter Verwendung von bekannten Ansätzen wie beispielsweise Bayesscher Kernanpassung oder auf optischem Fluß basierenden Verfahren. Fehleransammlung während der Verfolgung wird durch Verwendung eines adaptiven AnpassungsBilders mit mehreren Schablonen behoben. Verfolgungsungewißheit wird an jedem Punkt in der Form einer Kovarianzmatrix dargestellt, die danach voll durch eine Teilraumformbedingung unter Verwendung einer nichtorthogonalen Projektion ausgenutzt wird.
2 zeigt ein typisches Echokardiogrammbild eines Herzens. Der Teil der Endokardialwand des linken Ventrikels mit akustischem Ausfall ist durch die durchgezogene Ellipse 208 markiert. Schätzungen von lokaler Wandbewegung sind durch die gepunkteten Ellipsen 202, 204 angezeigt. Wegen des akustischen Ausfalls befindet sich die Endokardialwand nicht immer am stärksten Rand im Bild. Gemäß der vorliegenden Erfindung wird ein vereinheitlichter Bilder zum Verschmelzen von Teilraummodellbedingungen mit Informationen über die Formdynamik und die heteroskedastische Beschaffenheit des Meßrauschens und über die Formdynamik benutzt. Das Teilraummodell kann die Form einer spezifischen Teilraumverteilung, z.B. einer Gaußschen Verteilung, oder eine einfache Teilraumbedingung, z.B. das Eigenraummodell annehmen.
Die vorliegende Erfindung verfolgt einzelne Bezugspunkte auf einer Kontur, die die Endokardialwand darstellt. Die Verfolgung kann unter Verwendung eines Bayesschen Kernanpassungsansatzes oder eines flußbasierten Ansatzes durchgeführt werden. Ein Beispiel eines Bayesschen Kernanpassungsansatzes ist in dem vom Miterfinder Dorin Comaniciu verfaßten Artikel mit dem Titel: Bayesian Kernel Tracking (Bayessche Kernverfolgung), Annual Conf. of the German Society for Pattern Recognition (DAGM'02) Zürich, Schweiz, 438-445, 2002 beschrieben, der durch Bezugnahme in seiner Gesamtheit aufgenommen wird. Ein Beispiel eines auf optischem Fluß basierenden Verfahrens zum Verfolgen der Einzelpunkte ist in der gleichzeitig anhängigen Anmeldung Serien-Nr.-10/681,702 mit dem Titel „Density Estimation-Based Information Fusion for Multiple Motion Computation" (Auf Dichteschätzung basierende Informationsverschmelzung zur Berechnung mehrfacher Bewegung) beschrieben, die durch Bezugnahme in ihrer Gesamtheit aufgenommen wird. Gemäß der vorliegenden Erfindung wird einer Fehleransammlung während der Verfolgung durch Verwendung eines adaptiven AnpassungsBilders mit mehreren Schablonen abgeholfen, wobei die Periodizität der Herzbewegung ausgenutzt wird. Verfolgungsungewißheit ist an jedem Punkt in der Form einer Kovarianzmatrix dargestellt, die danach voll durch eine Teilraumformbedingung unter Verwendung einer nichtorthogonalen Projektion ausgenutzt wird.
Die Verfolgungsstruktur ist ein zweistufiger iterativer Prozeß über die Bildfolgen. Auf dem ersten Bild wird eine Anfangskontur mit Bezugspunkten gezeichnet (entweder automatisch oder von Hand); dann wird für jedes nachfolgende Bild in der Reihenfolge jeder Bezugspunkt zuerst unabhängig verfolgt, wobei die anisotropische Ungewißheit ebenfalls aufgezeichnet wird. Als zweiter Schritt wird die neue Kontur unter Verwendung nichtorthogonaler Projektion in einen zulässigen Teilraum projiziert. Der zulässige Teilraum wird auf Grundlage von Trainingkonturen erlernt und auch unter Verwendung der dem Verfolger verfügbaren Anfangskontur an den gegenwärtigen Fall angepaßt, wobei auch der Vertrauensgrad der Initialisierung berücksichtigt wird (d.h. eine Handinitialisierung erbringt einen höheren Vertrauensgrad als eine voll automatische).
Wie oben angedeutet werden während des Verfolgungsverfahrens mehrere Schablonen eingesetzt. Die Verwendung der mehreren Schablonen ergibt eine genauere Darstellung der Formstatistiken für den gegenwärtigen Fall. Bei dem Bayesschen Kernanpassungsansatz wird eine erste Schablone von dem initialisierten Bilder genommen. Nachfolgende Schablonen werden zugefügt, wenn sie beide unterschiedlich genug von den bestehenden Schablonen und auch genügend aufschlußreich für Lokalisierungszwecke sind, was durch Kernanpassung mit sich selbst gemessen wird: eine aufschlußreichere Stelle ist eine, die bei Anpassung an sich selbst einen höheren Vertrauensgrad aufweist.
Die Entscheidung zur Verwendung von mehr als einer Schablone beruht auf der Beobachtung, daß die Herzbewegung periodisch ist, und daher unterschiedliche Erscheinungsmuster in einem Zyklus alle in späteren Zyklen wieder auftreten werden. Zur Anpassung an mehrere Schablonen wird ein Vergleich mit jeder Schablone durchgeführt und diejenige mit der besten Übereinstimmung wird ausgewählt. Oder es werden, um Berechnung zu sparen, nur die Nachbarschablonen der vorherigen übereinstimmenden Schablone angepaßt, wodurch wieder die periodische Bewegung ausgenutzt wird.
Ungewißheit bei der Anpassung von Standort wird in der Nachbarschaft des optimalen Ortes berechnet, wobei die Wahrscheinlichkeitsabbildung auf gleiche Weise unter Verwendung des Kernanpassungsverfahrens berechnet wird. Die Wahrscheinlichkeitsfläche wird dann zum Schätzen einer Kovarianzmatrix benutzt, beispielsweise durch Überlagern einer zweidimensionalen Gaußschen Verteilung oder der Inversion einer gewichteten Schätzung der Hess'schen Matrix.
Im Fall des flußbasierten Ansatzes benutzt eine typische Implementierung mit optischem Fluß nur NachbarBilder, wodurch der Verfolgungsvorgang über lange Folgen hinweg für Fehleransammlung und Driften empfindlich wird. Für die Flußberechnung werden mehrere Schablonen eingesetzt, auf ziemlich die gleiche Weise wie bei Kernanpassung. Jedes Mal wenn die Flußungewißheit hoch ist, wird eine neue Schablone zugefügt, während der lokale Gradient sich von bestehenden Schablonen unterscheidet.
Nachdem die neuen Orte für jeden Bezugspunkt erhalten worden sind, besteht der nächste Schritt in der Beschränkung der Gesamtform durch ein statistisches Modell, das die „legitimen" Formvariationen eines menschlichen Herzens erfaßt. Es werden PCA-basierte Formmodelle benutzt, die auch als Punktverteilungsmodelle bekannt sind, oder aktive Formmodelle.
Da die Ungewißheiten über die Herzkontur auch nicht homogen sind, sind einige Bereiche schlechter als andere aufgrund beispielsweise von Signalausfällen; und auch nicht isotropisch, beispielsweise ist die Lokalisierung schlimmer entlang einer Kante als entlang der Gradientenrichtung. Die 3 zeigt ein Beispiel eines solchen anisotropischen und inhomogenen Rauschens führt zu über eine Kontur. Wie ersichtlich ist sind Einzelpunkte wie Punkte 302, 304, 306 und 308 anfänglich entlang der Kontur der Endokardialwand identifiziert worden. Für jeden Punkt wird eine Gewißheitsmessung genommen und um jedem Punkt herum wird ein Ellipsoid erzeugt, das den Gewißheitsgrad anzeigt, daß sich dieser bestimmte Punkt am richtigen Ort befindet; je größer das Ellipsoid, desto größer der Ungewißheitsgrad hinsichtlich des Ortes eines bestimmten Punkts. Wie aus 3 ersichtlich umgibt den Punkt 302 ein relativ kleines Ellipsoid, wodurch angezeigt wird, daß ein hohes Maß an Gewißheit hinsichtlich des Ortes des Punkts auf der Kontur besteht. Die Punkte 306 und 308 sind von relativ großen Ellipsoiden umgeben, wodurch ein großer Ungewißheitsgrad hinsichtlich des Ortes dieser Punkte angezeigt wird.
Unter Berücksichtigung eines gewissen Ungewißheitsmodells über den neuen Konturpunkten wird die optimale Projektion nicht länger orthogonal sein. Die optimale Lösung im Teilraum ist in der Tat die Form mit der maximalen Wahrscheinlichkeit auf der geschnittenen Verteilung in dem Formmodell-Teilraum. Wenn es weiterhin ein Verteilungsmodell im Teilraum gibt, gibt es keinen Grund, diese Extrainformationen außer acht zu lassen. Im folgenden wird die ausführliche Analyse hinsichtlich der Durchführung- von nichtorthogonaler Projektion bereitgestellt; und wenn die Teilraummodellverteilung zur Verfügung steht, wie die Informationen eines solchen Modells mit einer ungewissen Eingabe zu verschmelzen sind.
Die vorliegende Erfindung benutzt einen auf einem Teilraummodell basierenden Verschmelzungsansatz. Mit zwei rauschbehafteten Messungen der gleichen n-dimensionalen Variablen x, die jeweils durch eine multidimensionale Gaußsche Verteilung p₁ und p₂ charakterisiert sind, ist die Schätzung mit der maximalen Wahrscheinlichkeit von x der Punkt mit der minimalen Summe von Mahalanobischen Abständen von den zwei Zentroiden: x* = argmin d_m, mit dm = (x – x1)TC1 –1(x – x1) + (x – x2)TC2 –1(x – x2) (1)
Mit der Ableitung bezüglich x erhält man: x* = C(C1 –1x + C2 –1x2) C = (C1 –1 + C2 –1)–1 (2)
Dies ist auch als die beste lineare erwartungstreue Schätzung (BLUE – Best Linear Unbiased Estimate) von x bekannt.
Angenommen, daß eine der Gaußschen Verteilungen in einem Teilraum von Dimension p liegt, z.B. C₂ singular ist. Mit der Zerlegung des singularen Wertes von C₂ = UΛU^T, wobei U = [u₁, u₂, ..., u_n] mit u/s orthonormal und Λ = diag.{λ₁, λ₂, ..., λ_p, 0, ..., 0} ist, wird im Mahalanobischen Abstand von x₂ in Gl. (1) in kanonischer Form umgeschrieben:
Wenn λ_i zu 0 tendiert, geht d_m,2 gegen Unendlichkeit, es sei denn U₀ ^Tx = 0, wobei U₀ = [u_p+1, u_p+2, ..., u_n]. (Hier wurde angenommen, ohne Verlust von Allgemeinheit, daß der Teilraum den Ursprung des ursprünglichen Raums durchläuft. Da x₂ im Teilraum resident ist, ist U₀ ^Tx₂ = 0).
In Gl. (3) müssen daher nur diejenigen Glieder beibehalten werden, die einem λ_i von nicht-null entsprechen.
wobei C⁺ die Pseudoinverse von C und U_p = [u₁, u₂, ..., u_p] ist.
Da weiterhin U₀ ^Tx = 0, kann x in einer anderen Form ausgedrückt werden, um diese Bedingung widerzuspiegeln: x = UUTx = U([Up|U0]Tx) = U[y|0] = Upy, (5)für einen 1xp Vektor y. Gl. (1) nimmt nunmehr trotz Singularität die folgende allgemeine Form an: dm = (Upy – x1}TC1 –1(Upy – x1) + (Upy – x2}TC+2 (Upy - x2) (3)
Mit der Ableitung bezüglich y ergibt sich y* = Cy*UTp (C1 –1x1 + C+2 x2) (7) Cy* = [UTp (C1 –1 + C+2 )Up]–1 (8) x* = Upy* = Cx*(C1 –1x1 + C+2 x2) (9) Cx* = UpCy*UTp (10)
Gl. (7) zeigt eine Verschmelzung im Informationsraum gefolgt von einer Transformation in den Teilraum an. Gl. (9) ist eine Koordinatentransformation zurück in den ursprünglichen Raum. Es läßt sich zeigen, daß C_x* und C_y* die entsprechenden Kovarianzmatrizen für x* und y* sind.
Man beachte, daß diese Lösung keine einfache Verallgemeinerung der Gl. (2) durch Ersetzen von Pseudoinversen für regelrechte Inversen ist, wodurch x* nicht in den Teilraum gezwungen wird.
Als Alternative können Gl. (7) und (8) folgendermaßen ausgeschrieben werden y* = (UTp C1 –1Up + Λp –1)–1(UTp C1 –1x1 + Λp –1y2) (11)y₂ sind die transformierten Koordinaten von x2 in dem von U_p und Λ_p= diag{λ₁, λ₂, ..., λ_p} überspannten Teilraum.
Gl. (11) läßt sich auch als eine BLUE-Verschmelzung im Teilraum von zwei Verteilungen darstellen, eine ist N(y₂, Λ_p) und die andere ist der „Schnittpunkt" (nicht die Projektion!) von N(x₁, C₁) im Teilraum, N((U T / pC₁ ^–1U_p)^–1U T / pC₁ ^–1x₁, (U T / pC₁ ^–1U_p)^–1).
Die Verwendung eines aus einem großen Vorrat von Trainingproben erlernten statistischen Formmodells zum Führen der Konturen aus einem bestimmten Herz kann manchmal problematisch sein. Gemäß der vorliegenden Erfindung werden die Trainingproben dazu benutzt, ein Formmodell des gegenwärtigen Herzens zu erhalten, und nicht eines generischen Herzens. Es besteht daher eine starke Motivierung, das generische Modell in Richtung dessen, was für den gegenwärtigen Fall bekannt ist, anzupassen. Gemäß der vorliegenden Erfindung wird die Anfangskontur (von Hand oder durch automatische Erkennung) der Endokardialwand des Herzens des Patienten untersucht, um das bestehende PCA-Modell anzupassen.
Bei der Bestimmung der eigentlichen Kontur der Endokardialwand und Verfolgung ihrer Bewegung werden zwei Ansätze in Betracht gezogen: einer bei dem die Anfangskontur deterministisch ist, und der andere, bei dem die Anfangskontur ungewiß ist (dies kann der Fall sein, wenn die Anfangskontur aus einem automatischen Erkennungsalgorithmus stammt, der auch Ungewißheiten bereitstellt).
Wenn angenommen wird, daß die Anfangskontur ein Punkt ist (deterministisch gewiß ist), wird ein SA-PCA-Modell (Strongly-Adapted-PCA) zur Verfolgung der Bewegung des Punkts benutzt. Es wird angenommen, daß das alte PCA-Modell (ausschließlich des gegenwärtigen Falls) und die initialisierte Kontur für den gegenwärtigen Fall zusammen die Variationen des gegenwärtigen Falls darstellen, aber mit relativer Energie (d.h. repräsentativer Leistung) gleich α bzw. (1 – α), wobei 0 < α < 1. Anders gesagt wird angenommen, daß ein Teil von Formvariationen des gegenwärtigen Falls im generischen Modell dargestellt wird, während der Rest in Richtung der Anfangskontur erfaßt wird.
Das PCA-Modell wird durch seinen Mittelwert, seine Eigenwert-Matrix und Eigenvektor-Matrix durch x_m, Λ bzw. U bezeichnet. Wenn die ursprüngliche volle Kovarianzmatrix C gespeichert ist (was der Fall sein würde, wenn die ursprüngliche Dimensionalität nicht unannehmbar hoch ist), sind der angepaßte Mittelwert und die Kovarianzmatrix einfach die gewichtete Summe der zwei beitragenden Quellen: xm,neu = αxm + (1 – α)x (12) Cneu = α(C + (xm – xm,neu)(xm – xm,neu)T) + (1 – α)(x – xm,neu)(x – xm,neu)T = αC + α(1 – α)(x – xm)(x – xm)T (13)
Eigenanalyse kann an C_neu durchgeführt werden, um das neue Teilraummodell zu erhalten.
Im Fall, daß C nicht gespeichert ist, sondern nur {x_m, Λ, U} im Teilraum zu Verfügung steht, können die angepaßten Eigenanalyseergebnisse {x_m,neu, Λ_neu, U_neu} durch einfache algebraische Manipulationen wie folgt berechnet werden:
Die Anfangskontur x weist eine Teilraumkomponente als x_s = U^Tx_d auf, wobei x_d = x – x_m, und einen Restvektor als x_r = (x – x_m) – Ux_s. x_ru sei die normierte Version von x_r mit Norm 1 (oder null, wenn x_r Norm null ist).
Die angepaßte Eigenvektormatrix, die die kombinierte Energie darstellt, wird die folgende Form aufweisen: Uneu = [U,xru]R (14)
R und Λ_neu werden die Lösungen für das folgende Eigenanalyseproblem sein:
wobei e_r = x_ru ^T(x – x_m) die Restenergie ist.
Die obigen Formeln sind allgemeiner als IPCA, mit abstimmbaren Energieverhältnissen zwischen den neuen Daten und den alten Daten. Sie werden mit IPCA gleichwertig, wenn α als der Bruchteil von Punkten im Modell gegenüber der Gesamtzahl von Punkten gesetzt wird. Dies wird typischerweise eine Nummer sehr nahe bei 1 sein, da die Anzahl von Konturen in der Trainingmenge gewöhnlich groß ist. Wenn α auf einen kleineren Wert (z.B. 0,5) gesetzt wird, ist das PCA-Modell stark in Richtung des gegenwärtigen Falls angepaßt, woher der Name stammt. 4 zeigt eine einfache zweidimensionahe Darstellung von IPCA und SA-PCA mit unterschiedlichen α-Werten.
Punkt 404 stellt den gegenwärtigen Fall dar. Jedes x 402 stellt einen Trainingpunkt entsprechend einem bestimmten Modell dar. Die Ellipse 406 zeigt die ursprüngliche Modellverteilung. Die Ellipse 408 zeigt ein inkrementales PCA-Modell, das einem stark angepaßten PCA-Modell entspricht, bei dem α = 0,99. die Ellipse 410 zeigt ein stark angepaßtes PCA-Modell, bei dem α = 0,5. Die Ellipse 412 zeigt ein stark angepaßtes PCA-Modell, bei dem α = 0,1. Jede Ellipse zeigt eine 90% gleichwahrscheinliche Kontur der entsprechenden Verteilung.
In der Tat ähneln die Konturen vom gegenwärtigen Herz viel wahrscheinlicher der Anfangskontur des gleichen Herzens als den Konturen in der generischen Trainingmenge, besonders wenn das gegenwärtige Herz eine unregelmäßige Form aufweist, die in der Trainingmenge nicht gut repräsentiert ist. Im gegenwärtigen System wird α auf 0,5 gesetzt. Dies erlaubt eine starke Beeinflussung aus der Anfangskontur: 50% der Modellenergie kommt von der Anfangskontur (dies reduziert sich auf nur 1%, wenn IPCA mit einem mit 99 Beispielen trainierten Modell angewandt wird).
5a–5c zeigen einen Vergleich von IPCA und SA-PCA. Diese parasternale Ansicht entlang der kurzen Achse weist eine unregelmäßige Form (mit einem konkaven Teil) auf, während die Trainingmenge überwältigend mit kreisförmigen Formen bevölkert ist. Das inkrementale PCA-Modell, das die Anfangskontur (5a) aufnimmt, aber mit sehr geringem Gewicht (< 0,01%), erfaßt nicht die konkave Beschaffenheit der gegenwärtigen Form; und hat die Konturen auf eine typische kreisförmige Form beschränkt (5b). Dieses Ergebnis ist in der Tat das gleiche, wie das unter Verwendung des alten PCA-Modells erhaltene, ohne einen Inkrementalschritt. Das gegenwärtige adaptive PCA-Modell mit α = 0,5 paßt viel besser zu den wahren Grenzen (5c).
Eine subtile und dabei wichtige Wechselwirkung zwischen der nichtorthonogalen Projektion mit Verschmelzungsansatz und der SA-PCA-Modellanpassung ist folgende: die Verschmelzung mit dem Modell-Mittelwert und der Modellkovarianz ist notwendig zum Ausfiltern von Konturen, die sich im Teilraum befinden, aber zu weit von der Modellverteilung entfernt sind. Durch diese stärkere Beschränkung (als orthogonale Projektion) werden jedoch unvermeidlich Herzkonturen mit geringer Wahrscheinlichkeit oder Ausreißer geändert. Vom SA-PCA-Modell wird dieses Dilemma durch eine starke Modellverschiebung in Richtung des gegenwärtigen Falls unter Verwendung der in der gegebenen Anfangskontur bereitgestellten zusätzlichen Informationen vermittelt.
Mit einem Kalman-Filter werden Informationen von der durch einen dynamischen Prozeß definierten Vorhersage und aus rauschbehafteten Messungen verschmolzen. Wenn sie für Formverfolgung angewandt werden, sind zusätzliche globale Beschränkungen notwendig, um die Gesamtform in einem zulässigen Bereich zu stabilisieren. Die vorliegende Erfindung nutzt einen vereinheitlichten VerschmelzungsBilder zur Aufnahme von Teilraummodellbeschränkungen in ein Kalman-Filter.
Für ein Kalman-Filter weist die Messungsaktualisierungsgleichung folgende Form auf: xk+1|k+1 = xk+1|k + K(zk+1 – Hxk+1|k) (16)wobei K = Pk+1|kHT(HPk+1|kHT + R)–1 (17) Pk+1|k+1 = (I – KH)Pk+1|k (18) Pk+1|k = SPk|kST + Q (19)
P ist hier die SchätzungsfehlerkOVARIANZ und x_i/j ist die Zustandschätzung zur Zeit i bei gegebenem Zustand zur Zeit j. Das Messungsmodell ist z_k = H x_k + r_k, wobei r_k Messungsrauschen mit Kovarianz R darstellt. Das System-/Prozeßmodell ist x_k+1 = Sx_k + q_k, wobei q_k Systemrauschen mit Kovarianz Q darstellt.
Unter Verwendung des obigen Ansatzes sind die Aktualisierungsgleichungen des Kalman-Filters mit Teilraumbeschränkung und heteroskedastischem Rauschen gegeben durch xk+1|k+1 = Pk+1|k+1((Pk|k + Q)+xk|k + R–1z + C+2 x2) (20) Pk+1|k+1 = Up[UTp (((Pk|k + Q)+ + R–1 + C+2 )Up]–1UTp (21)wobei angenommen wird, daß die Systemrauschkovarianz Q im Teilraum enthalten ist. Man beachte die Symmetrie der Lösung, die alle verfügbaren Kenntnisse im Informationsraum kombiniert. Diese Gleichungen bieten eine vereinheitlichte Verschmelzung der Systemdynamik, Teilraumbeschränkung und Rauschinformationen. Sie stellen die vollständige Darstellung verschiedener Ungewißheiten dar, die das Verfolgungssystem beeinflussen.
Gemäß einer alternativen Ausführungsform der vorliegenden Erfindung wird ein Verfolgungsverfahren benutzt, daß von bezugspunktbasierten Objektdarstellungen und von robuster Verschmelzung zum Integrieren von Modellinformationen über Bilder abhängig ist. Es wird eine Menge von bezugspunktbasierten Objektdarstellungen unterhalten und in unterschiedlichen Zeitaugenblicken erfaßt. Die von den Bezugspunkten angedeutete geschätzte Bewegung wird zur Bestimmung der nächsten Position des Objekts robust kombiniert. Optische Verfolgung des Objekts wird durch Unterhalten von mehreren Modellen mit der Zeit erreicht. Das Ergebnis ist eine nichtparametrische Darstellung der Wahrscheinlichkeitsdichtefunktion, die das Aussehen des Objekts charakterisiert. Die Verfolgung wird durch unabhängiges Erlangen von jedem Modell einer Bewegungsschätzung und ihrer Ungewißheit durch optischen Fluß durchgeführt. Die Endschätzung für jeden Bezugspunkt wird unter Verwendung eines robusten Verschmelzungsverfahrens wie beispielsweise eines VBDF-Verfahrens berechnet (Variable-Bandwith Density-based Fusion). VBDF berechnet den Ort des bedeutsamsten Modus der Verschiebungsdichtefunktion und berücksichtigt dabei ihre Ungewißheit. Die VBDF-Prozedur verwaltet die mehreren Datenquellen und Ausreißer in den Verschiebungsschätzungen. Okklusionen werden auf natürliche Weise durch die Schätzungsungewißheit für große Restfehler behandelt. Das Modell ist in mehrere Regionen eingeteilt, für die der Fluß unabhängig berechnet wird. Der Rest-Ausrichtungsfehler wird zur Berechnung des Maßstabes der Kovarianzmatrix der Schätzung benutzt und verringert damit den Einfluß der unzuverlässigen Verschiebungen.
Objektverfolgungsherausforderungen aufgrund von Okklusionen und Variationen im Aussehen werden in der vorliegenden Erfindung durch einen multimodalen bezugspunktbasierten Ansatz behandelt. Die Unterhaltung mehrerer Vertreter für ein 2-dimensionales Aussehensmodell beschränkt es nicht auf eine einmodale Verteilung und der VDBF-Mechanismus integriert robust mehrere Schätzungen zur Bestimmung der dominantesten Bewegung für jeden Bezugspunkt. Zum Modellieren von Änderungen während der Verfolgung werden mehrere Muster des Objektaussehens mit der Zeit unterhalten.
10 zeigt einen beispielhaften bezugspunktbasierten Mehrmodell-Verfolger gemäß der vorliegenden Erfindung. Die obersten drei Bilder 1002, 1004 und 1006 zeigen die gegenwärtigen Muster in der Modellmenge, mit denen jeweils ein Satz überlappender Bezugspunkte verbunden ist. Ein bezugspunktbasierter Ansatz ist robuster als eine globale Darstellung und daher weniger empfindlich für Belichtungsänderungen und Haltung. Ein weiterer Vorteil der vorliegenden Erfindung besteht darin, daß teilweise Okklusion durch Analysieren der Übereinstimmungswahrscheinlichkeit auf Bezugspunktebene behandelt werden kann.
Jeder Bezugspunkt wird unabhängig verarbeitet; sein Ort und seine Kovarianzmatrix werden im gegenwärtigen Bild bezüglich aller Modellschablonen geschätzt. Beispielsweise ist einer der Bezugspunkte durch das graue Rechteck 1014 dargestellt und sein Ort und seine Ungewißheit bezüglich jedes Modells sind in I_neu 1008 gezeigt. Das robuste VBDF-Verschmelzungsverfahren wird zur Bestimmung der dominantesten Bewegung (Modus) mit der zugehörigen Ungewißheit nach der Darstellung im Bild. 1010 angewandt. Man beachte die Varianz in dem geschätzten Ort jedes Bezugspunktes aufgrund von Okklusion oder Aussehensänderung.
Der Ort der Bezugspunkte im gegenwärtigen Bild wird weiterhin beschränkt durch ein globales parametrisches Bewegungsmodell. Ein Ähnlichkeitstransformationsmodell und seine Parameter werden unter Verwendung des Vertrauens an jedem Bezugspunktort geschätzt. Die zuverlässigen Bezugspunkte tragen daher mehr zu der globalen Bewegungsschätzung bei. Das gegenwärtige Bild wird zu der Modellmenge hinzugefügt, wenn der Restfehler der Bezugserscheinungsbilder relativ gering ist. Der Schwellwert wird so gewählt, daß die Bilder nicht addiert werden, wenn das Objekt eine bedeutende Okklusion aufweist. Die Anzahl von Schablonen im Modell kann variabel oder fest sein. Wenn die Anzahl von Schablonen fest ist, kann ein Schema bereitgestellt werden, nach dem gewisse Schablonen verworfen werden können (z.B. älteste Schablone verwerfen).
Ein VBDF-Schätzer basiert auf nichtparametrischer Dichteschätzung mit adaptiven Kernbandbreiten. Der VBDF-Schätzer wird als der Ort des bedeutsamsten Modus der Dichtefunktion definiert. Die Modenberechnung basiert auf dem Verfahren mittlerer Verschiebung variabler Bandbreite in einem Mehrskalen-Optimierungsbild.
x_i ε R^d, i = 1 ... n seien die verfügbaren d-dimensionalen Schätzungen jeweils mit einer durch die Kovarianzmatrix C_i gegebenen zugehörigen Ungewißheit. Der bedeutsamste Modus der Dichtefunktion wird iterativ auf multiskale Weise bestimmt. Eine Bandbreitenmatrix H_i = C_i + a²I ist jedem Punkt x_i zugeordnet, wobei I die Identitätsmatrix ist und der Parameter α die Skala der Analyse bestimmt. Der Abtastpunktdichteschätzer am Ort x wird definiert durch
wobei D den Mahalanobischen Abstand zwischen x und x_i darstellt. D2{x, xi, Hi) = (x – xi)THi –1(x – xi) (23)
Der mittlere Schiebevektor variabler Bandbreite am Ort x ist gegeben durch
wobei H_h das harmonische Mittel der Bandbreitenmatrizen gewichtet durch die datenabhängigen Gewichte ω_i(x) darstellt
Die am gegenwärtigen Ort x berechneten datenabhängigen Gewichte weisen den Ausdruck
auf und man beachte, daß sie
genügen.
Es läßt sich zeigen, daß die Dichte entsprechend dem Punkt x + m(x) stets höher oder gleich dem x entsprechenden ist. Iterative Aktualisierung des gegenwärtigen Orts unter Verwendung des mittleren Schiebevektors ergibt daher eine Gradientenprozedur, die zu einem stationären Punkt der darunterliegenden Dichte konvergiert.
Der VBDF-Schätzer findet den wichtigsten Modus durch iteratives Anlegen der adaptiven mittleren Schiebeprozedur mit mehreren Skalen. Er beginnt mit einer großen Skala durch Wählen eines großen Parameters α bezüglich der Ausbreitung der Punkte x_i. In diesem Falle ist die Dichtefläche unimodal und der bestimmte Modus wird daher der global dichtesten Region entsprechen. Die Prozedur wiederholt sich bei gleichzeitiger Verringerung des Wertes des Parameters α und Beginnen der mittleren Schiebeiterationen von dem mit der vorhergehenden Skala bestimmten Modus. Für den Endschritt ist die jedem Punkt zugeordnete Bandbreitenmatrix gleich der Kovarianzmatrix, d.h. H_i = C_i.
Der VBDF-Schätzer ist ein leistungsfähiges Werkzeug zur Informationsverschmelzung mit der Fähigkeit, mehrere Ursprungsmodelle zu bearbeiten. Dies ist für die Bewegungsschätzung von Bedeutung, da. Punkte in einer lokalen Nachbarschaft mehrere Bewegungen aufweisen können. Der bedeutendste Modus entspricht der relevantesten Bewegung.
Angenommen, es gibt n Modelle M₀, M₁, ... M_n. Für jedes Bild werden c Komponenten unterhalten, deren Ort durch x_ij, i = 1... n, j = 1 ... c bezeichnet wird. Wenn ein neues Bild zur Verfügung steht, werden der Ort und die Ungewißheit für jede Komponente und für jedes Modell geschätzt. Dieser Schritt kann durch Verwendung mehrerer Verfahren wie beispielsweise solchen, die auf Bildkorrelation, räumlichem Gradienten oder Regularisierung von Raumzeitenergie basieren, durchgeführt werden. Bei Verwendung des VBDF-Verfahrens ist das Ergebnis die Bewegungsschätzung x_ij für jede Komponente und die Ungewißheit C_ij. So stellt x_ij die Ortschätzung der Komponente j bezüglich des Modells i dar. Die Skala der Kovarianzmatrix wird ebenfalls aus den passenden Restfehlern geschätzt. Dies steigert die Größe der Kovarianzmatrix, wenn der entsprechende Bezugspunkt okkludiert ist, und Okklusionen werden daher auf Bezugspunktebene bearbeitet.
Das VBDF-Verfahren mit robuster Verschmelzung wird zur Bestimmung des relevantesten Ortes x_j für die Komponente j im gegenwärtigen Bild angewandt. Die Modenverfolgung über Skalen ergibt
wobei die Gewichte ω_i wie bei (26) definiert sind
und man beachte, daß sie
genügen.
Es läßt sich zeigen, daß die dem Punkt x + m(x) entsprechende Dichte stets höher oder gleich der x entsprechenden ist. Iterative Aktualisierung des gegenwärtigen Ortes unter Verwendung des mittleren Schiebevektors ergibt daher eine Gradientenprozedur, die zu einem stationären Punkt der darunterliegenden Dichte konvergiert.
Der VBDF-Schätzer findet den wichtigsten Modus durch iteratives Anlegen der adaptiven mittleren Schiebeprozedur bei mehreren Skalen. Er beginnt bei einer großen Skala, indem er einen großen Parameter α bezüglich der Ausbreitung der Punkte x_i wählt. In diesem Fall ist die Dichtefläche unimodal und der bestimmte Modus entspricht daher der global dichtesten Region. Das Verfahren wiederholt sich bei gleichzeitiger Verringerung des Wertes des Parameters α und Beginnen der mittleren Schiebeiterationen von dem bei der vorhergehenden Skala bestimmten Modus aus. Für den Endschritt ist die mit jedem Punkt verbundene Bandbreitenmatrix gleich der Kovarianzmatrix, d.h. H_i = C_i.
Der VBDF-Schätzer ist ein leistungsfähiges Werkzeug zur Informationsverschmelzung, mit der Fähigkeit, mehrere Ursprungsmodelle zu bearbeiten. Dies ist für die Bewegungsschätzung von Bedeutung, da Punkte in einer lokalen Nachbarschaft mehrere Bewegungen aufweisen können. Der bedeutendste Modus entspricht der relevantesten Bewegung.
Es wird nunmehr ein Beispiel zur Verfolgung von mehreren Bezugspunktmodellen gemäß der vorliegenden Erfindung beschrieben. Es gibt n Modelle M₀, M₁, ..., M_n. Für jedes Bild werden c Bezugspunkte mit ihrem Ort bezeichnet durch x_ij, i = 1 ... n, j = 1 ... c unterhalten. Wenn ein neues Bild zur Verfügung steht, werden der Ort und die Ungewißheit für jeden Bezugspunkt und für jedes Modell geschätzt. Dieser Schritt kann unter Verwendung mehrerer Verfahren wie den auf Bildkorrelation, Raumgradient oder Regularisierung der Raumzeitenergie basierenden durchgeführt werden. Bei Verwendung des VBDF-Verfahrens ist das Ergebnis die Bewegungsschätzung x_ij für jeden Bezugspunkt und seine Ungewißheit c_ij. So stellt x_ij die Ortsschätzung der Komponente j bezüglich des Modells i dar. Die Skala der Kovarianzmatrix wird ebenfalls aus den passenden Restfehlern geschätzt. Dadurch steigert sich die Größe der Kovarianzmatrix, wenn der jeweilige Bezugspunkt okkludiert ist und Okklusionen werden daher auf Bezugspunktebene bearbeitet.
Das VBDF-Verfahren mit robuster Verschmelzung wird zur Bestimmung des relevantesten Ortes x_j für die Komponente j im gegenwärtigen Bild angewandt. Die Modenverfolgung über Skalen hinweg ergibt
wobei die Gewichte ω_i der Definition in (28) entsprechen
Nach der Berechnung jedes Bezugpunkts wird eine gewichtete Rechteckanpassung ausgeführt, wobei die Gewichte durch die Kovarianzmatrix der Schätzungen gegeben werden. Die Bildflecken werden durch eine durch 4 Parameter definierte Ähnlichkeitstransformation T in Beziehung gebracht. Die Ähnlichkeitstransformation des dynamischen Bezugpunktortes x wird durch folgende Gleichungen charakterisiert:
wobei t_x, t_y die Translationsparameter sind und a, b die 2D-Drehung und Skalierung parametrisieren.
Das minimierte Kriterium ist die Summe von Mahalanobischen Abständen zwischen dem Bezugsort x⁰ _j und den geschätzten x_j(j^-ter Bezugspunktort im gegenwärtigen Bild).
Minimierung geschieht durch standardmäßige gewichtete mindeste Quadrate. Man beachte, da die Kovarianzmatrix für jeden Bezugspunkt benutzt wird, der Einfluß von Punkten mit hoher Ungewißheit verringert wird.
Nachdem das Rechteck an die verfolgten Bezugspunkte angepaßt ist, wird der dynamische Komponentenkandidat innerhalb des Rechtecks gleichförmig neu abgetastet. Es wird angenommen, daß die relative Position jedes Bezugspunkts bezüglich des Rechtecks sich nicht viel ändert. Wenn der Abstand der Neuabtastposition und der durch den optischen Fluß eines gewissen Bezugspunktes berechneten Verfolgungsspurposition größer als ein zulässiger Schwellwert ist, wird die Verfolgungsspurposition als ein Ausreißer erachtet und mit einem neu abgetasteten Punkt ersetzt. Das gegenwärtige Bild wird zu der Modellmenge hinzugefügt, wenn genügend Bezugspunkte einen niedrigen Restfehler aufweisen. Der mittlere Restfehler zwischen den Modellen und dem gegenwärtigen Bild wird mit einem vorbestimmten Schwellwert T_h verglichen.
Bei einer gegebenen Menge von Modellen M₀, M₁, ..., M_n, in der die Komponente j den Ort x_ij im Bild i aufweist, läßt sich der vorliegende Objektverfolgungsalgorithmus durch folgende Schritte zusammenfassen:

1. Bei einem gegebenen neuen Bild I_f, Berechnen durch
robusten optischen Fluß [8] beginnend von
, dem im vorhergehenden Bild geschätzten Ort;
2. Für j = 1 ... c, Schätzen des Ortes x ^ (f) / j der Komponente j unter Verwendung des VBDF-Schätzers (Teilabschnitt 3.2), was (6) ergibt;
3. Einschränken des Komponentenortes unter Verwendung der durch Minimieren berechneten Transformation (9);
4. Zufügen des neuen Aussehens zu der Modellmenge, wenn ihr mittlerer Restfehler weniger als T_h ist.

Die vorgeschlagene Mehrschablonenstruktur läßt sich direkt in dem Zusammenhang der Formverfolgung anwenden. Wenn die verfolgten Punkte die Bezugspunkte einer durch Splines modellierten Form darstellen, steigert die Verwendung der robusten Verschmelzung mehrerer Positionsschätzungen die Zuverlässigkeit der Ortsschätzung der Form. Auch ergibt sie geringere Korrekturen, wenn der Formraum durch gelernte Teilraumbeschränkungen begrenzt ist. Wenn die Kontur zur Verfügung steht, können die zur Verfolgung benutzten Modellschablonen on-line aus der Modellmenge basierend auf dem Abstand zwischen Formen ausgewählt werden.
6a und 6b zeigen Echokardiographiebilder eines linken Ventrikels, in dem Bewegung der Endokardialwand gemäß der vorliegenden Erfindung verfolgt wird. Bild 1 für jede Figur 602, 610 zeigt die Anfangskontur der Wand, sowie sie durch die Punkte im Bild dargestellt ist. Die nachfolgenden Bilder 604, 606, 608, 612, 614, 616 veranschaulichen, wie die Bewegung der Wand mit der Zeit verfolgt wird. Messungen für jeden Punkt werden gemäß der vorliegenden Erfindung durchgeführt.
Beispiel
Von Hand verfolgte Herzkonturen in Echokardiographiebildern werden als die Trainingmenge im vorliegenden Beispiel benutzt. Nach der Darstellung in 7a–7d und 8a–8d werden sowohl apikale Vierkammeransichten (offene Kontur) als auch parasternale Ansichten entlang der kurzen Achse (geschlossene Kontur) geprüft. Auch werden für jede Kontur Kennungspunkte bezeichnet. 7b und 8b zeigen die Menge von Trainingkonturen zusammengezeichnet. Der Eigenanalyseansatz wird angewandt, wo jede Kontur ein Vektor mit Koordinaten der geordneten Kennungspunkte als seine Komponenten ist (34 Komponenten für die offene Kontur und 36 für die geschlossene Kontur). Dann wird PCA an der Matrix durchgeführt, deren Spalten die Trainingvektoren sind. lind die Eigenwerte werden zur Bildung einer Diagonalmatrix als die Modell-Kovarianzmatrix im Teilraum benutzt. Die Messungs-Kovarianzmatrix wird zum Prüfen unterschiedlicher Szenarios eingestellt.
7a und 8a veranschaulichen Prüfungskonturen, wo die durchgezogenen Kurven 704, 802 die Bezugskurven darstellen und die gestrichelten Kurven 702, 804 die rauschbehafteten Messungen sind. Es ist erwünscht, eine Kontur im Eigenkontur-Teilraum zu finden, die der gegenwärtigen rauschbehafteten Kontur am nächsten kommt, wobei ungewissere Punkte mehr verstellt werden. 7c und 8c zeigen das Ergebnis, wenn an die Konturen der 7a und 8a orthogonale Projektion angelegt wird (wobei isotropische Kovarianz durch kleine Kreise 712, 812 um die Kennungspunkte herum gezeigt wird). 7d und 8d zeigen die Ergebnisse. Es ist ersichtlich, daß das Ergebnis dem Bezugswert viel näher liegt. Es paßt nicht perfekt, da die Trainingdaten sich ziemlich von den Prüfdaten unterscheiden, weswegen eine geringe Formverformung in der Prüfkontur im Teilraum nicht realisierbar sein mag.
Gemäß der vorliegenden Erfindung können die Konturen unter Verwendung eines Visualisierungswerkzeuges zur Erleichterung der Diagnose betrachtet werden. Um dem Arzt die Diagnose der Herzerkrankungen aus den Echokardiogrammen zu erleichtern, werden LV-Konturen durch Farbvektoren in Echtzeit angezeigt. Die Länge der Vektoren stellt die Verschiebungsgröße dar, während die Richtung der Vektoren die Bewegungsrichtung der Punkte an den LV-Wandkonturen darstellt. Für Beispielszwecke wird die Farbe Orange benutzt, um darzustellen, wenn die Bewegung Kontraktion ist und die Farbe Dunkelblau wird benutzt, um darzustellen, wenn die Bewegung Dilatation ist. 9 zeigt eines der darstellenden Ergebnisse. Es werden die Bewegungen der Punkte an den LV-Konturen verfolgt. Die Bewegungen werden durch Gaußsche Verteilung sowohl im Zeit- als auch Raumbereich geglättet. Um es für die Ärzte leichter sichtbar zu machen, ist die Länge der Vektoren um das Dreifache vergrößert.
Durch dieses Visualisierungsverfahren kann der Arzt leicht die Bewegung jedes Segments des Endokards mit Größe und Richtungen sehen. Kombination der globalen Bewegungskompensation mit diesem Visualisierungsverfahren kann für die Ärzte leicht die Kontraktionsrichtung und -größe in allen Segmenten des LV sichtbar machen. Ein ischämisches Gebiet oder sonstige abnormale Gebiete können direkt und leicht vom menschlichen Auge identifiziert werden.
Nach der Beschreibung von Ausführungsformen für ein Verfahren zur Bestimmung von Merkmalsempfindlichkeit während einer medizinischen Untersuchung ist zu bemerken, daß angesichts der obigen Lehre Abänderungen und Variationen vom Fachmann ausgeführt werden können. Es versteht sich daher, daß Änderungen an den bestimmten Ausführungsformen der offenbarten Erfindung durchgeführt werden können, die im Bilder und Sinn der Erfindung entsprechend den beiliegenden Ansprüchen liegen. Nach dieser Beschreibung der Erfindung mit den von den Patentgesetzen erforderlichen Einzelheiten und Besonderheiten wird das beanspruchte Schutzbegehren in den beiliegenden Ansprüchen aufgeführt.
ZUSAMMENFASSUNG
Es wird ein System und Verfahren zum Verfolgen einer globalen Form eines sich in Bewegung befindlichen Objekts offenbart. Es werden ein oder mehrere Bezugspunkte entlang einer Anfangskontur der globalen Form definiert. Jeder des einen oder der mehreren Bezugspunkte wird verfolgt, wenn sich das Objekt in Bewegung befindet. Ungewißheit eines Orts eines sich in Bewegung befindlichen Bezugspunktes wird unter Verwendung einer Anzahl von Verfahren dargestellt. Die Ungewißheit zur Einschränkung der globalen Form wird unter Verwendung eines vorhergehenden Formmodells ausgewertet. In einer alternativen Ausführungsform werden mehrfache Aussehensmodelle für jeden Bezugspunkt aufgebaut und die durch jedes Modell erzeugten Bewegungsvektoren werden kombiniert, um die Form des Objekts zu verfolgen. Die Bewegung der Form des Objekts kann unter Verwendung einer Anzeige und von Farbvektoren optisch verfolgt werden.

Claims

Verfahren zum Verfolgen einer globalen Form eines sich in Bewegung befindlichen Objekts mit folgenden Schritten: Definieren eines oder mehrerer Bezugspunkte entlang der globalen Form; Verfolgen jedes des einen oder der mehreren Bezugspunkte, wenn sich das Objekt in Bewegung befindet; Darstellen von Ungewißheit eines Orts eines sich in Bewegung befindlichen Bezugspunkts; und Auswerten der Ungewißheit zum Einschränken der globalen Form unter Verwendung eines vorhergehenden Formmodells.
Verfahren nach Anspruch 1, wobei der Schritt des Verfolgens jedes des einen oder der mehreren Bezugspunkte einen Bayesschen Kernanpassungsansatz benutzt.
Verfahren nach Anspruch 1, wobei der Schritt des Verfolgens jedes des einen oder der mehreren Bezugspunkte einen auf optischem Fluß basierenden Ansatz benutzt.
Verfahren nach Anspruch 1, weiterhin mit dem Schritt des Berichtigens von Fehleransammlung während der Verfolgung des einen oder der mehreren Bezugspunkte durch Verwendung eines adaptiven Anpassungsbildes mit mehreren Schablonen.
Verfahren nach Anspruch 1, wobei das vorhergehende Formmodell ein Teilraum-Formbeschränkungsmodell ist.
Verfahren nach Anspruch 1, wobei ein SA-PCA-Modell (Strongly Adapted Principal Component Analysis) zum Einschränken der Form benutzt wird.
Verfahren nach Anspruch 1, wobei der Schritt des Auswertens der Ungewißheit weiterhin die Verwendung einer Kovarianzmatrix zum Einsetzen eines Teilraum-Formbeschränkungsmodells unter Verwendung einer nichtorthogonalen Projektion oder Informationsverschmelzung umfaßt.
System zum Verfolgen einer globalen Form eines sich in Bewegung befindlichen Objekts, mit folgendem: Mitteln zum Definieren eines oder mehrerer Bezugspunkte entlang einer Anfangskontur der globalen Form; Mitteln zum Verfolgen jedes des einen oder der mehreren Bezugspunkte, wenn sich das Objekt in Bewegung befindet; Mitteln zum Darstellen von Ungewißheit eines Orts eines sich in Bewegung befindlichen Bezugspunkts; Mitteln zum Auswerten der Ungewißheit zum Einschränken der globalen Form unter Verwendung eines vorhergehenden Formmodells.
System nach Anspruch 8, wobei das Verfolgungsmittel einen Bayesschen Kernanpassungsansatz benutzt.
System nach Anspruch 8, wobei das Verfolgungsmittel einen auf optischem Fluß basierenden Ansatz benutzt.
System nach Anspruch 8, weiterhin mit folgendem: Mitteln zum Berichtigen von Fehleransammlung während des Verfolgens des einen oder der mehreren Bezugspunkte durch Verwendung eines adaptiven Anpassungsbildes mit mehreren Schablonen.
System nach Anspruch 8, wobei ein SA-PCA-Modell (Strongly Adapted Principal Component Analysis) zum Einschränken der Form der Kontur benutzt wird.
System nach Anspruch 8, wobei der Schritt des Auswertens der Ungewißheit weiterhin das Verwenden einer Kovarianzmatrix zum Einsetzen eines Teilraum-Formeinschränkungsmodells unter Verwendung einer nichtorthogonalen Projektion oder Informationsverschmelzung umfaßt.
Verfahren zum optischen Verfolgen der Bewegung einer Form eines Objekts, mit folgenden Schritten: Erzeugen eines oder mehrerer erster Farbvektoren zur Darstellung von Kontraktion von Bezugspunkten entlang der Kontur der Form; Erzeugen eines oder mehrerer zweiter Farbvektoren zur Darstellung von Dilatation von Bezugspunkten entlang der Kontur der Form; periodisches Anzeigen der ersten und zweiten Farbvektoren und dadurch Anzeigen der Bewegung der Form.
System zum optischen Verfolgen der Bewegung einer Form eines Objekts, mit folgendem: Mitteln zum Erzeugen eines oder mehrerer erster Farbvektoren zum Darstellen der Kontraktion von Bezugspunkten entlang der Kontur der Form; Mitteln zum Erzeugen eines oder mehrerer zweiter Farbvektoren zur Darstellung der Dilatation von Bezugspunkten entlang der Kontur der Form; Mitteln zum periodischen Anzeigen der ersten und zweiten Farbvektoren und dadurch Anzeigen der Bewegung der Form.
Verfahren zum Verfolgen einer globalen Form eine s sich in Bewegung befindenden Objekts, mit folgenden Schritten: Definieren eines oder mehrerer Bezugspunkte entlang der globalen Form; Verfolgen jedes des einen oder der mehreren Bezugspunkte, wenn sich das Objekt in Bewegung befindet; Aufbauen von mehreren Aussehensmodellen für jeden Bezugspunkt; und Kombinieren von durch jedes Modell erzeugten Bewegungsvektoren zum Verfolgen der Form.
Verfahren nach Anspruch 16, weiterhin mit folgendem Schritt: Benutzen von robuster Informationsverschmelzung zum Berechnen einer Schätzung des Ortes jedes Bezugspunkts.
Verfahren nach Anspruch 16, wobei die mehreren Aussehensmodelle auf Grundlage der Ungewißheit eines Ortes eines oder mehrerer der Bezugspunkte aufgebaut werden.
Verfahren nach Anspruch 18, wobei die robuste Informationsverschmelzung VBDF ist (Variable-Bandwith Density-based Fusion – auf Dichte basierende Verschmelzung mit veränderlicher Bandbreite).
Verfahren nach Anspruch 19, wobei die robuste Informationsverschmelzung folgende Schritte umfaßt: Eingeben einer Anzahl von durch mittlere Vektoren und Kovarianzmatrizen dargestellten Messungen; Verschmelzen der Messungen durch Berechnen von Dichteschätzungen mit veränderlicher Bandbreite; und Erkennen eines höchstwertigen Knotens der Dichteschätzung mit veränderlicher Bandbreite.