DE69731775T2

DE69731775T2 - Verfahren und system zur durchführung einer virtuellen untersuchung

Info

Publication number: DE69731775T2
Application number: DE69731775T
Authority: DE
Inventors: E. Arie KAUFMAN; Lichon Hong; Zhengrong Liang; R. Mark WAX; Ajay Viswambharan
Original assignee: Research Foundation of State University of New York
Current assignee: Research Foundation of State University of New York
Priority date: 1996-09-16
Filing date: 1997-09-10
Publication date: 2005-12-22
Anticipated expiration: 2017-09-11
Also published as: IL128884A0; AU4267897A; CN1230271A; EP1482470A2; EP1012812A4; KR20000036177A; ATE283528T1; CN1265331C; ES2234029T3; WO1998011524A1; CA2265808A1; AU734557B2; IL128884A; EP1012812B1; US5971767A; EP1482470A3; JP2001502197A; EP1012812A1; CA2265808C; DE69731775D1

Description

GEBIET DER ERFINDUNG
Die vorliegende Erfindung betrifft ein System und ein Verfahren zum Durchführen einer dreidimensionalen virtuellen Untersuchung auf Volumenbasis unter Nutzung geplanter und geführter Navigationstechniken. Eine solche Anwendung ist das Durchführen einer virtuellen Endoskopie.
ALLGEMEINER STAND DER TECHNIK
Kolonkrebs ist weiterhin eine der wichtigsten Todesursachen in der Welt. Ein frühes Erkennen von Krebstumoren, die sich im Kolon des Menschen zuerst als Polypen zeigen, kann die Überlebenschance eines Patienten weitgehend verbessern. Derzeit gib es zwei herkömmliche Wege zum Erkennen von Polypen oder anderer Massen in dem Kolon eines Patienten. Das erste Verfahren ist ein Kolonoskopieverfahren, das eine biegsame Lichtleitfaserröhre, ein Kolonoskop genannt, verwendet, um den Kolon über rektales Einfügen mit dem Kolonoskop visuell zu untersuchen. Der Arzt kann das Rohr manipulieren, um nach irgendwelchen anormalen Wucherungen in dem Kolon zu suchen. Die Kolonoskopie ist zwar verlässlich, ist jedoch sowohl relativ kostspielig als auch zeitaufwändig und ist eine invasive, unbequeme und schmerzliche Vorgehensweise für den Patienten.
Die zweite Erkennungstechnik ist der Einsatz eines Bariumeinlaufs und der zweidimensionalen Röntgenbildtechnik des Kolons. Der Bariumeinlauf wird verwendet, um den Kolon mit Barium zu beschichten, und ein zweidimensionales Röntgenbild wird aufgenommen, um ein Bild des Kolons aufzunehmen. Bariumeinläufe können jedoch nicht immer eine Ansicht des gesamten Kolons bieten, sie erfordern umfangreiche Vorbehandlung und Patientenmanipulation, hängen beim Durchführen des Vorgangs oft von der Bedienperson ab, exponieren den Patienten mit übermäßiger Strahlung und können weniger empfindlich sein als eine Kolonoskopie. Aufgrund der Mängel der herkömmlichen oben beschriebenen Praktiken, ist ein verlässlicherer, weniger invasiver und kostengünstigerer Weg wünschenswert, um den Kolon auf Polypen zu untersuchen. Ein Verfahren zum Untersuchen anderer menschlicher Organe, wie zum Beispiel der Lungen, auf Wucherungen auf verlässliche und kosteneffiziente Art und mit weniger Unbehagen für den Patienten ist ebenfalls wünschenswert.
Die zweidimensionale („2D") Anzeige menschlicher Organe, die derzeit verfügbare medizinische Bildsynthesegeräte verwendet, wie zum Beispiel Computertomographie und MRI (magnetic resonance imaging – Magnetresonanzbildsynthese) wurden weitgehend für die Patientendiagnose verwendet. Dreidimensionale Bilder können durch Stapeln und Interpolierung zwischen zweidimensionalen Bildern, die von Abtastmaschinen erzeugt werden, gebildet werden. Das Abbilden eines Organs und Anzeigen seines Volumens im dreidimensionalen Raum wäre aufgrund des Mangels physischen Eindringens und der Leichtigkeit der Datenmanipulation günstig. Das Erforschen des dreidimensionalen Volumenbilds muss jedoch richtig ausgeführt werden, um die Vorteile des virtuellen Anzeigens eines Organs von der Innenseite her voll zu nutzen.
Beim Anzeigen des virtuellen dreidimensionalen („3D") Volumenbilds einer Umgebung, muss ein funktionales Modell verwendet werden, um den virtuellen Raum zu erforschen. Ein mögliches Modell ist eine virtuelle Kamera, die als ein Referenzpunkt für den Betrachter zum Erforschen des virtuellen Raums verwendet werden kann. Die Kamerasteuerung in dem Kontext der Navigation innerhalb einer allgemeinen virtuellen 3D-Umgebung wurde früher bereits untersucht. Es gibt zwei herkömmliche Typen von Kamerasteuerung, die für die Navigation im virtuellen Raum angeboten werden. Der erste lässt der Bedienperson die volle Kontrolle der Kamera, was es der Bedienperson erlaubt, die Kamera in verschiedenen Positionen und Ausrichtungen zu manipulieren, um die erwünschte Ansicht zu erzielen. Die Bedienperson steuert nämlich die Kamera. Das erlaubt es der Bedienperson, einen bestimmten Abschnitt von Interesse zu erforschen, während sie andere Abschnitte ignoriert. Die komplette Kontrolle der Kamera ist jedoch ein weiter Bereich und wäre langwierig und ermüdend, und eine Bedienperson könnte nicht alle wichtigen Merkmale zwischen dem Start- und Endpunkt der Erforschung anzeigen. Die Kamera könnte auch leicht in entfernten Zonen „verloren" werden oder mit einer der Wände durch eine unaufmerksame Bedienperson oder zahlreiche überraschende Hindernisse kollidieren.
Die zweite Technik der Kamerasteuerung ist ein geplantes Verfahren, das der Kamera einen vorbestimmten einzuschlagenden Pfad zuweist und der von der Bedienperson nicht geändert werden kann. Das ähnelt einem eingelegten „Autopiloten". Es erlaubt es dem Bediener, sich auf den virtuellen Raum, der angezeigt wird, zu konzentrieren, und sich keine Sorgen über das Lenken in Wände der untersuchten Umgebung zu machen. Diese zweite Technik verleiht dem Betrachter jedoch nicht die Anpassungsfähigkeit, den Weg zu ändern oder eine interessante Zone, die entlang der Bahn angezeigt wird, zu untersuchen.
Systeme zum Durchführen einer dreidimensionalen virtuellen Untersuchung eines Objekts sind bekannt, wie zum Beispiel die in den folgenden Referenzen beschriebenen:
D1: LORENSEN W E ET AL: ,The exploration of crosssectional data with a virtual endoscope' INTERACTIVE TECHNOLOGY AND THE NEW PARADIGM FOR HEALTHCARE. MEDICINE MEETS VIRTUAL REALITY III PROCEEDINGS, INTERACTIVE TECHNOLOGY AND THE NEW PARADIGM FOR HEALTHCARE. MEDICINE MEETS VIRTUAL REALITY III PROCEEDINGS, SAN DIEGO, CA, USA, 19.–22. JAN. 1995, Seiten 221–230, XP002196134 1995, Amsterdam, Niederlande, IOS Press, Niederlande
D2: LICHAN HONG ET AL: '3D virtual colonoscopy' BIOMEDICAL VISUALIZATION, 1995. PROCEEDINGS. ATLANTA, GA, USA, 30. OKT.–3. NOV. 1995, LOS ALAMITOS, CA, USA, IEEE COMPUT. SOC, US, 30. Oktober 1995 (1995-10-30), Seiten 26–32, 83, XP010196689 ISBN: 0-8186-7198-X
Beide Referenzen D1 und D2 betreffen Techniken zum Erlauben der Durchführung einer virtuellen Untersuchung, die dort beschriebenen Systeme weisen jedoch eines oder mehrere der in Zusammenhang mit den oben erwähnten Techniken beschriebenen Probleme auf.
Es wäre wünschenswert, eine Kombination der zwei oben beschriebenen Navigationstechniken zu verwenden, um die Vorteile beider Techniken zu verwirklichen, während ihre jeweiligen Nachteile minimiert werden. Es wäre wünschenswert, eine anpassungsfähige Navigationstechnik an die Untersuchung menschlicher oder tierischer Organe anzuwenden, die in virtuellem 3D-Raum dargestellt sind, um eine nicht invasive schmerzlose gründliche Untersuchung durchzuführen. Die wünschenswerte Navigationstechnik soll ferner eine komplette Untersuchung eines virtuellen Organs im 3D-Raum durch eine Bedienperson mit Anpassungsfähigkeit erlauben, während ein gleichmäßigen Pfad und eine komplette Untersuchung durch und um das Organ sichergestellt werden. Es wäre weiter wünschenswert, die Erforschung des Organs in Echtzeit anhand einer Technik anzeigen zu können, die die Berechnungen minimiert, die zum Anzeigen des Organs erforderlich sind. Die wünschenswerte Technik sollte auch zum Erforschen irgendeines virtuellen Objekts gleichermaßen anwendbar sein.
KURZFASSUNG DER ERFINDUNG
Die Erfindung produziert ein dreidimensionales Anzeigebild eines Objekts, wie zum Beispiel eines menschlichen Organs durch Verwenden von Volumenanzeigetechniken und erforscht das virtuelle Bild anhand eines geführten Navigationssystems, das es der Bedienperson erlaubt, einer vordefinierten Bahn zu folgen und sowohl die Position als auch den Anzeigewinkel an einen bestimmten Teil von Interesse in dem Bild von dem vordefinierten Pfad weg einzustellen, um Polypen, Zysten oder andere anormale Merkmale in dem Organ zu identifizieren.
Die erfindungsgemäße Technik für die dreidimensionale virtuelle Untersuchung eines Objekts enthält das Produzieren einer einzelnen Darstellung des Objekts in Volumenelementen, die den Abschnitt des Objekts, das zu untersuchen ist, definieren, wobei eine Navigationsoperation in dem virtuellen Objekt durchgeführt und das virtuelle Objekt in Echtzeit während der Navigation angezeigt wird.
Die erfindungsgemäße Technik für eine dreidimensionale virtuelle Untersuchung zur Anwendung auf ein Organ eines Patienten umfasst das Vorbereiten des Organs auf das Abtasten, wenn erforderlich das Abtasten des Organs und Umwandeln der Daten in Volumenelemente, das Definieren des Abschnitts des Organs, der zu untersuchen ist, das Durchführen einer geführten Navigationsoperation in dem virtuellen Organ und das Anzeigen des virtuellen Organs in Echtzeit während der geführten Navigation.
Es ist eine Aufgabe der Erfindung, ein System und ein Verfahren zu verwenden, um eine relativ schmerzlose, kostengünstige und nicht invasive In-Vivo-Untersuchung eines Organs durchzuführen, wobei die eigentliche Analyse des abgetasteten Kolons eventuell in Abwesenheit des Patienten durchgeführt werden kann. Der Kolon kann abgetastet und in Echtzeit angezeigt werden, oder die gespeicherten Daten können zu einem späteren Zeitpunkt angezeigt werden.
Eine weitere Aufgabe der Erfindung ist das Erzeugen von 3D-Volumendarstellungen eines Objekts, wie zum Beispiel eines Organs, wobei Zonen des Objekts schichtweise abgeschält werden können, um eine Analyse unter der Oberfläche einer Zone des abgebildeten Objekts bereitzustellen. Eine Oberfläche eines Objekts (wie zum Beispiel eines Organs) kann durchsichtig oder durchscheinend gemacht werden, um weitere Objekte innerhalb oder hinter der Objektwand anzuzeigen. Das Objekt kann auch zerschnitten werden, um einen spezifischen Querschnitt des Objekts zu untersuchen.
Eine weitere Aufgabe der Erfindung besteht darin, ein System und ein Verfahren geführter Navigation durch eine 3D-Volumendarstellung eines Objekts, wie zum Beispiel eines Organs unter Einsatz von Potenzialfeldern bereitzustellen.
Eine weitere Aufgabe der Erfindung ist das Berechnen der Mittellinie eines Objekts, wie zum Beispiel eines Organs, für eine virtuelle Bahn unter Einsatz einer hier beschriebenen Abschälschichtentechnik.
Eine weitere Aufgabe der Erfindung besteht darin, eine modifizierte Z-Puffertechnik zu verwenden, um die Anzahl der Berechnungen zu minimieren, die zum Produzieren der Anzeige erforderlich sind.
Eine weitere Aufgabe der Erfindung besteht darin, jedem Volumenelement in der Darstellung Opazitätskoeffizienten zuzuweisen, um bestimmte Volumenelemente in verschiedenen Graden transparent oder durchscheinend zu machen, um die Anzeige des Abschnitts des angezeigten Objekts anzupassen. Ein Abschnitt des Objekts kann auch unter Einsatz von Opazitätskoeffizienten zusammengesetzt werden.
KURZBESCHREIBUNG DER ZEICHNUNGEN
Weitere Aufgaben, Merkmale und Vorteile der Erfindung ergeben sich aus der folgenden detaillierten Beschreibung gemeinsam mit den begleitenden Figuren, die eine bevorzugte Ausführungsform der Erfindung darstellen, in welchen:
1 ein Flussdiagramm der Schritte zum erfindungsgemäßen Durchführen einer virtuellen Untersuchung eines Objekts, insbesondere eines Kolons ist;
2 eine Darstellung eines „Unterseebot"-Kameramodells ist, welches eine geführte Navigation in einem virtuellen Organ durchführt;
3 eine Darstellung eines Pendels ist, um das Neigen und Rollen der „Unterseeboot"-Kamera zu modellieren;
4 ein Diagramm ist, das einen zweidimensionalen Querschnitt eines volumetrischen Kolons darstellt, der zwei blockierende Wände identifiziert;
5 ein Diagramm ist, das einen zweidimensionalen Querschnitt eines volumetrischen Kolons darstellt, auf dem Start- und Endvolumenelemente ausgewählt sind;
6 ein Diagramm ist, das einen zweidimensionalen Querschnitt eines volumetrischen Kolons darstellt, der ein einzelnes Untervolumen zeigt, das von blockierenden Wänden und der Kolonüberfläche eingeschlossen ist;
7 ein Diagramm ist, das einen zweidimensionalen Querschnitt eines volumetrischen Kolons darstellt, von dem mehrfache Schichten abgeschält sind;
8 ein Diagramm ist, das einen zweidimensionalen Querschnitt eines volumetrischen Kolons darstellt, der die restliche Bahn enthält;
9 ein Flussdiagramm der Schritte des Produzierens einer Volumenanzeige des abgetasteten Organs ist;
10 eine Darstellung eines virtuellen Kolons ist, der in Zellen unterteilt wurde;
11A eine grafische Darstellung eines Organs ist, das virtuell untersucht wird;
11B eine grafische Darstellung einer Fahnenstruktur ist, die beim Darstellen des Organs in 11A produziert wird;
11C eine weitere grafische Darstellung einer Fahnenstruktur ist, die beim Abbilden des Organs in 11A produziert wird;
12A eine grafische Darstellung einer Szene ist, die mit Objekten innerhalb bestimmter Zellen der Szene wiedergegeben werden soll;
12B eine grafische Darstellung einer Fahnenstruktur ist, die beim Darstellen der Szene in 12A produziert wird;
12C–12E weitere grafische Darstellungen von Fahnenstrukturen sind, die beim Darstellen des Bilds in 12A produziert werden;
13 eine zweidimensionale Darstellung eines virtuellen Kolons ist, der einen Polypen enthält, dessen Schichten entfernt werden können, und
14 ein Diagramm eines Systems ist, das verwendet wird, um eine virtuelle Untersuchung eines menschlichen Organs erfindungsgemäß durchzuführen.
DETAILLIERTE BESCHREIBUNG
Auch wenn die Verfahren und Systeme, die in dieser Anwendung beschrieben werden, an jedes zu untersuchende Objekt angewandt werden können, ist die bevorzugte Ausführungsform, die hier beschrieben wird, die Untersuchung eines Organs im menschlichen Körper, spezifisch des Kolons. Der Kolon ist lang und gewunden, was ihn besonders für eine virtuelle Untersuchung geeignet macht, wobei dem Patienten sowohl Geld als auch das Unbehagen und die Gefahr eines physischen Eindringens erspart bleiben. Weitere Beispiele von Organen, die untersucht werden können, umfassen die Lungen, den Magen und Teile des Magen-Darmsystems, das Herz und Blutgefäße.
1 stellt die Schritte dar, die notwendig sind, um eine virtuelle Kolonoskopie mit Volumenanzeigetechniken durchzuführen. Schritt 101 bereitet den Kolon, der abgetastet werden soll, vor, um für die Untersuchung angezeigt zu werden, wenn das vom Arzt oder von dem spezifischen Abtastgerät gefordert wird. Diese Vorbereitung könnte das Reinigen des Kolons mit einem „Cocktail" oder einer Flüssigkeit enthalten, die in den Kolon eindringt, nachdem sie oral eingenommen wurde und durch den Magen gelaufen ist. Der Cocktail zwingt den Patienten, Abfall auszuwerfen, der im Kolon präsent ist. Ein Beispiel für eine verwendete Substanz ist Golytely. Zusätzlich kann bei dem Kolon Luft oder CO₂ in den Kolon forciert werden, um ihn auszudehnen und leichter abzutasten und zu untersuchen zu machen. Das wird anhand einer kleinen Röhre durchgeführt, die in das Rektum gesteckt wird, wobei etwa 1000 ccm³ Luft in den Kolon gepumpt werden, um ihn auszudehnen. Je nach dem Typ des verwendeten Abtastgeräts kann es erforderlich sein, dass der Patient ein Kontrastmittel trinkt, wie zum Beispiel Barium, um nicht ausgeworfenen Kot zu beschichten, um den Abfall in dem Kolon von den Kolonwänden selbst unterscheiden zu können. Alternativ kann das Verfahren zum virtuellen Untersuchen des Kolons zuerst den virtuellen Abfall vor oder während der virtuellen Untersuchung eliminieren, wie in dieser Spezifikation weiter unten erklärt wird. Schritt 101 braucht, wie durch die gestrichelte Linie in 1 dargestellt, nicht bei allen Untersuchungen durchgeführt zu werden.
Schritt 103 tastet das zu untersuchende Organ ab. Das Abtastgerät kann ein gemäß dem Stand der Technik gut bekanntes Gerät sein, wie zum Beispiel ein Spiral-CT-Scanner zum Abtasten eines Kolons oder eine Zenita MRI-Maschine zum Abtasten einer Lunge, die zum Beispiel mit Xenongas markiert ist. Der Scanner muss in der Lage sein, vielfache Bilder aus verschiedenen Positionen um den Körper während der angehaltenen Atmung aufzunehmen, um die Daten zu produzieren, die für die Volumenanzeige erforderlich sind. Ein Beispiel eines einfachen CT-Bilds würde einen Röntgenstrahl zu 5 mm Breite, 1 : 1 oder 2 : 1 Neigung verwenden, wobei ein 40 cm-Sichtfeld von der Oberseite der Milzbiegung des Kolons zum Rektum durchgeführt wird.
Einzelne Datendarstellungen des Objekts können durch andere Verfahren als Abtasten produziert werden. Voxeldaten, die ein Objekt darstellen, können von einem geometrischen Modell durch die im U.S. Patent Nr. 5 038 302 beschriebenen Techniken abgeleitet werden, welches Patent den Titel „Method of Converting Continuous Three-Dimensional Geometrical Representations into Discrete Three-Dimensional Voxel- Based Representations Within a Three-Dimensional Voxel-Based System" trägt, von Kaufman, herausgegeben am 8. August 1991, angemeldet am 26. Juli 1988, welches hiermit durch Bezugnahme eingegliedert wird. Zusätzlich können durch ein Computermodell Daten eines Bilds produziert werden, das in dreidimensionale Voxel umgewandelt und erfindungsgemäß untersucht werden kann. Ein Beispiel dieses Typs von Daten ist eine Computersimulation der Turbulenz, die eine Raumfähre umgibt.
Schritt 104 wandelt die abgetasteten Bilder in dreidimensionale Volumenelemente (Voxel) um. Bei der bevorzugten Ausführungsform zum Untersuchen eines Kolons werden die Abtastdaten in 5 mm dicke Scheiben in Inkrementen von 1 mm oder 2,5 mm neu formatiert, wobei jede Scheibe als eine Matrix aus 512 × 512 Bildpunkten dargestellt wird. Daher wird eine große Anzahl von 2D-Scheiben in Abhängigkeit von der Länge der Abtastung erzeugt. Der Satz 2D-Scheiben wird dann in 3D-Voxel umstrukturiert. Das Umwandlungsverfahren von 2D-Bildern aus dem Scanner in 3D-Voxel kann entweder durch den Scanner selbst oder durch eine getrennte Maschine durchgeführt werden, wie zum Beispiel einen Computer, anhand von Techniken, die gemäß dem Stand der Technik gut bekannt sind (siehe zum Beispiel U.S. Patent Nr. 4 985 856 mit dem Titel „Method and Apparatus for Storing, Accessing, and Processing Voxel-based Data" von Kaufman et al., herausgegeben am 15. Januar 1991, angemeldet am 11. November 1988, das hierbei durch Bezugnahme eingegliedert wird).
Schritt 105 erlaubt es der Bedienperson, den Abschnitt des ausgewählten Organs, das zu untersuchen ist, zu definieren. Ein Arzt kann an einem bestimmten Abschnitt des Kolons, der leicht Polypen entwickeln kann, interessiert sein. Der Arzt kann eine zweidimensionale Scheibenübersichtkarte anzeigen, um den zu untersuchenden Abschnitt anzugeben. Ein Startpunkt und ein Endpunkt des anzuzeigenden Pfads können von dem Arzt/der Bedienperson angegeben werden. Ein herkömmlicher Computer und eine Computerschnittstelle (zum Beispiel Tastatur, Maus oder Spaceball) können verwendet werden, um den Abschnitt des Kolons, der zu untersuchen ist, zu bezeichnen. Ein Rastersystem mit Koordinaten kann für die Tastatureingabe verwendet werden, oder der Arzt/die Bedienperson kann auf die gewünschten Punkte „klicken". Das gesamte Bild des Kolons kann auf Wunsch ebenfalls angezeigt werden.
Schritt 107 führt den geplanten oder geführten Navigationsvorgang des untersuchten virtuellen Organs durch. Das Durchführen einer geführten Navigationsoperation wird als das Navigieren durch eine Umgebung entlang einer vordefinierten oder automatisch vordefinierten Bahn definiert, die von einer Bedienperson jederzeit manuell angepasst werden kann. Nach dem Umwandeln der Abtastdaten in 3D-Voxel, muss das Innere des Organs von dem ausgewählten Startpunkt bis zum ausgewählten Endpunkt durchquert werden. Die virtuelle Untersuchung wird nach dem Modell einer winzigen Kamera modelliert, die durch den virtuellen Raum reist, wobei eine Linse zu dem Endpunkt gerichtet ist. Die Technik der geführten Navigation stellt ein Interaktionsniveau mit der Kamera bereit, so dass die Kamera automatisch durch eine virtuelle Umgebung navigieren kann, wenn keine Wechselbeziehung mit der Bedienperson existiert, und es der Bedienperson gleichzeitig erlaubt, die Kamera nach Bedarf zu handhaben. Die bevorzugte Ausführungsform zum Erzielen der geführten Navigation besteht darin, ein physikalisch basiertes Kameramodell zu verwenden, das Potenzialfelder benutzt, um die Bewegung der Kamera zu steuern, wobei die Potenzialfelder detailliert in 2 und 3 beschrieben sind.
Schritt 109, der gleichzeitig mit Schritt 107 ausgeführt werden kann, zeigt das Innere des Organs aus der Sicht des Kameramodells entlang des ausgewählten Pfads der geführten Navigationsoperation an. Dreidimensionale Anzeigen können anhand von Techniken produziert werden, die gemäß dem Stand der Technik gut bekannt sind, wie zum Beispiel die Marching-Cubes-Technik. Um jedoch eine Echtzeitanzeige des Kolons zu produzieren, ist eine Technik erforderlich, die die umfangreiche Anzahl von Berechnungen von Daten reduziert, die für das Anzeigen des virtuellen Organs erforderlich ist. 9 beschreibt diesen Anzeigeschritt detaillierter.
Das in 1 beschriebene Verfahren kann auch zum Abtasten mehrerer Organe in einem Körper gleichzeitig angewandt werden. Ein Patient kann zum Beispiel auf Krebstumore sowohl im Kolon als auch in den Lungen untersucht werden. Das Verfahren der 1 würde modifiziert, um alle Zonen von Interesse in Schritt 103 abzutasten und das aktuelle Organ, das zu untersuchen ist, in Schritt 105 auszuwählen. Der Arzt/die Bedienperson kann anfänglich zum Beispiel den Kolon auswählen, um ihn virtuell zu untersuchen, und später die Lunge untersuchen. Alternativ können zwei verschiedene Ärzte mit unterschiedlichen Fachbereichen virtuell verschiedene abgetastete Organe in Zusammenhang mit ihren jeweiligen Fachbereichen untersuchen. In dem darauf folgenden Schritt 109 wird das nächste zu untersuchende Organ ausgewählt, und sein Abschnitt wird definiert und erforscht. Das wird fortgesetzt, bis alle Organe, die untersucht werden müssen, verarbeitet wurden.
Die in Zusammenhang mit 1 beschriebenen Schritte können auch an die Untersuchung jedes Objekts angewandt werden, das durch Volumenelemente dargestellt werden kann. Eine architektonische Struktur oder ein unbelebtes Objekt kann zum Beispiel in der gleichen Art dargestellt und untersucht werden.
2 stellt ein „Unterseeboot"-Kamerasteuermodell dar, das die Technik der geführten Navigation in Schritt 107 durchführt. Wenn während der geführten Navigation keine Bedienersteuerung besteht, ist die Standardnavigation ähnlich der der geplanten Navigation, die die Kamera automatisch entlang einer Bahn von einem ausgewählten Ende des Kolons zu einem anderen lenkt. Während der geplanten Navigationsphase bleibt die Kamera in der Mitte des Kolons, um bessere Ansichten der Kolonoberfläche zu erzielen. Wenn man auf eine interessante Zone trifft, kann die Bedienperson der virtuellen Kamera anhand der geführten Navigation die Kamera interaktiv einer spezifischen Zone nähern und die Bewegung und den Winkel der Kamera lenken, um die interessante Zone im Detail zu untersuchen, ohne unbeabsichtigt mit den Wänden des Kolons zu kollidieren. Die Bedienperson kann die Kamera mit einer Standardschnittstellenvorrichtung, wie zum Beispiel einer Tastatur, Maus oder einer Nichtstandardvorrichtung, wie zum Beispiel einem Spaceball steuern. Um eine Kamera in einer virtuellen Umgebung voll zu bedienen, sind für die Kamera sechs Freiheitsgrade erforderlich. Die Kamera muss sich in der Horizontalen, Vertikalen und Z-Richtung (Achsen 217) bewegen können und muss nach drei weiteren Freiheitsgraden (Achsen 219) drehen können, um es der Kamera zu erlauben, sich zu bewegen und alle Seiten und Winkel einer virtuellen Umgebung abzutasten. Das Kameramodell für die geführte Navigation enthält einen nicht ausdehnbaren gewichtlosen Stab 201, der zwei Partikel x₁ 203 und x₂ 205 verbindet, wobei beide Partikel einem Potenzialfeld 215 unterworfen werden. Das Potenzialfeld wird an den Organwänden als das höchste definiert, um die Kamera von den Wänden weg zuschieben.
Die Positionen der Partikel werden gegeben durch x₁ und x₂ und werden als mit der gleichen Masse m angenommen. Eine Kamera wird an dem Kopf des U-Boots x₁ 203 befestigt, dessen Sichtrichtung mit x₁x₂ zusammen fällt. Das Unterseeboot kann Verschiebung und Drehung um die Mitte der Masse x des Modells durchführen, weil die zwei Partikel von den Kräften des Potenzialfelds V(x), das unten definiert ist, jeder Reibungskraft und simulierten externen Kraft beeinflusst werden. Die Verhältnisse zwischen x₁, x₂ und x sind die folgenden: x = (x, y, z) r = (rsinθcosϕ, rsinθsinϕ, rcosθ), x1 = x + r, x2 = x – r, (1)wobei r, θ und ϕ die polaren Koordinaten des Vektors xx₁ sind. Die kinetische Energie des Modells, T, wird als die Summierung der kinetischen Energien der Bewegungen von x₁ und x₂ definiert:
Danach werden die Gleichungen für die Bewegung des Unterseebootmodells anhand der LaGrange-Gleichung erzielt:
wobei q_js die verallgemeinerten Koordinaten des Modells sind und als die Variablen der Zeit t wie folgt betrachtet werden können: (q1, q2, q3, q4, q5, q6) = (x, y, z, θ, ϕ, ψ) = q(t), (4) wobei ψ den Rollwinkel unseres Kamerasystems, das später erklärt wird, bezeichnet. Die F_js werden die verallgemeinerten Kräfte genannt. Die Steuerung des Unterseeboots erfolgt durch Anwenden einer simulierten externen Kraft an x₁, Fext = (Fx, Fy, Fz),und es wird angenommen, dass sowohl x₁ als auch x₂ von den Kräften des Potenzialfelds und den Reibungen beeinflusst werden, die in die entgegengesetzte Richtung der Geschwindigkeit jedes der Partikel wirken. Die verallgemeinerten Kräfte werden daher wie folgt formuliert: F1 = –m∇V(x1) – kx1 + Fext, F2 = –m∇V(x2) – kx2, (5)wobei k den Reibungskoeffizienten des Systems bezeichnet. Die externe Kraft F_ext wird von der Bedienperson durch einfaches Klicken auf die Maustaste in die gewünschte Richtung 207 in dem produzierten Bild wie in 2 gezeigt angelegt. Dieses Kameramodell würde dann in diese Richtung bewegt. Das erlaubt es der Bedienperson, zumindest fünf Freiheitsgrade der Kamera mit einem einzigen Klicken auf die Maustaste zu steuern. Aus den Gleichungen (2), (3) und (5) können die Beschleunigungen der fünf Parameter unseres Unterseebootmodells abgeleitet werden:

wobei ẋ und ẍ jeweils die erste und die zweite Ableitung von x sind und
den Gradienten des Potenzials in einem Punkt x bezeichnet. Die Glieder ϕ .²sinθcosθ von θ .. und
von ϕ .. werden jeweils Zentrifugalkraft genannt und die Coriolis-Kraft, und sie befassen sich mit dem Austausch von Winkelgeschwindigkeiten des Unterseeboots. Da das Modell für den Stab des Unterseeboots kein Trägheitsmoment definiert hat, tendieren diese Glieder dazu, ein Überfließen der numerischen Berechnung von ϕ . zu verursachen. Glücklicherweise werden diese Glieder nur signifikant, wenn die Winkelgeschwindigkeiten des Unterseebootmodells signifikant sind, was im Wesentlichen bedeutet, dass sich die Kamera zu schnell bewegt. Da es sinnlos ist, es der Kamera zu erlauben, sich so schnell zu bewegen, weil das Organ nicht richtig angezeigt werden könnte, werden diese Glieder in unserer Implementierung minimiert, um das Problem des Überfließens zu vermeiden.
Aus den ersten drei Formeln der Gleichung (6) ist bekannt, dass das Unterseeboot nicht von der externen Kraft gegen das Potenzialfeld angetrieben werden kann, wenn die folgende Bedingung erfüllt ist:
Da die Geschwindigkeit des Unterseeboots und der externen Kraft F_ext in unserer Implementierung obere Limits haben, indem an der Grenze der Objekte ausreichend hohe Potenzialwerte zugewiesen werden, kann dafür garantiert werden, dass das Unterseeboot nie gegen Objekte oder Wände in der Umgebung stößt.
Wie zuvor erwähnt, muss der Rollwinkel ψ des Kamerasystems berücksichtigt werden. Eine mögliche Option erlaubt der Bedienperson volle Kontrolle des Winkels ψ. Obwohl die Bedienperson die Kamera frei um den Stab des Modells drehen kann, kann er oder sie jedoch leicht die Orientierung verlieren. Die bevorzugte Technik geht davon aus, dass die Aufwärtsrichtung der Kamera mit einem Pendel mit der Masse m₂ 301 verbunden ist, das frei um den Stab des Unterseeboots dreht, wie in 3 gezeigt. Die Richtung des Pendels, r₂, wird wie folgt ausgedrückt: r2 = r2(cosθcosϕsinψ + sinϕcosψ, cosθsinϕsinψ – cosϕcosψ, –sinθsinψ).
Obwohl es möglich ist, die präzise Bewegung dieses Pendels gemeinsam mit der Bewegung des Unterseeboots zu berechnen, macht das die Systemgleichungen zu kompliziert. Es wird daher angenommen, dass alle verallgemeinerten Koordinaten mit Ausnahme des Rollwinkels ψ Konstanten sind, und daher die unabhängige kinetische Energie des Pendelsystems wie folgt definieren:
Das vereinfacht das Modell für den Rollwinkel. Da in diesem Modell angenommen wird, dass die Schwerkraft Fg = m2g = (m2gx, m2gy, m2gz)als der Massepunkt m₂ wirkt, kann die Beschleunigung von ψ anhand der LaGrange-Gleichung wie folgt abgeleitet werden:
Aus den Gleichungen (6) und (7) werden die verallgemeinerten Koordinaten q(t) und ihre Ableitungen q(t) asymptotisch anhand von Taylor-Serien wie folgt berechnet:
q .(t + h) = q .(t) + hq ..(t) + O(h2),um das Unterseeboot frei zu bewegen. Um die Bewegung des Unterseeboots zu glätten, wird der Zeitschritt h als ein Gleichgewichtswert ausgewählt, der so klein wie möglich ist, um die Bewegung zu glätten, aber so groß wie erforderlich, um die Berechnungskosten zu reduzieren.
DEFINITION DES POTENZIALFELDS
Das Potenzialfeld des Unterseebootmodells in 2 definiert die Grenzen (Wände oder andere Materie) in dem virtuellen Organ, indem der Grenze ein hohes Potenzial zugeordnet wird, um sicherzustellen, dass die Unterseebootkamera nicht mit den Wänden oder anderen Grenzen kollidiert. Versucht die Bedienperson, das Kameramodell in eine Zone mit hohem Potenzial zu bewegen, wird das Kameramodell daran gehindert, außer wenn die Bedienperson wünscht, zum Beispiel das Organ hinter der Grenze oder innerhalb eines Polypen zu untersuchen. Beim Durchführen einer virtuellen Kolonoskopie, wird jedem Teil der volumetrischen Kolondaten (Volumenelement) ein Potenzialfeldwert zugeordnet. Wenn eine bestimmte Zone von Interesse in Schritt 105 der 1 mit einem Start- und einem Endpunkt bezeichnet wird, werden die Voxel innerhalb der ausgewählten Zone des abgetasteten Kolons anhand konventioneller blockierender Operationen identifiziert. Daher wird jedem Voxel x des ausgewählten Volumens auf der Basis der folgenden drei Entfernungswerte ein Potenzialwert zugewiesen: die Entfernung von dem Endpunkt dt(x), die Entfernung von der Kolonoberfläche ds(x) und die Entfernung von der Mittellinie des Kolonraums dc(x). dt(x) wird unter Anwendung einer herkömmlichen Wachstumsstrategie berechnet. Die Entfernung von der Kolonoberfläche ds(x) wird anhand einer herkömmlichen Wachstumstechnik von den Oberflächenvoxeln nach innen berechnet. Zum Bestimmen von dc(x) wird die Mittellinie des Kolons von dem Voxel zuerst extrahiert, und dann wird dc(x) unter Verwenden der herkömmlichen Wachstumsstrategie ab der Mittellinie des Kolons berechnet.
Zum Berechnen der Mittellinie der ausgewählten Kolonzone, die durch den vom Benutzer festgelegten Startpunkt und Endpunkt definiert wird, wird der maximale Wert von ds(x) geortet und dmax bezeichnet. Danach wird jedem Voxel innerhalb der Zone von Interesse ein Kostenwert von dmax–ds(x) zugewiesen. Die Voxel, die der Kolonoberfläche nahe liegen, haben daher hohe Kostenwerte, und die Voxel in der Nähe der Mittellinie haben relativ niedrige Kostenwerte. Danach wird auf der Grundlage der Kostenzuweisung die Einzelursprungs-Routensuchtechnik angewandt, die gut bekannt ist, um effizient einen Mindestkostenpfad von dem Ursprungspunkt zu dem Endpunkt zu berechnen. Diese Kostengünstigkeitslinie zeigt die Mittellinie oder das Skelett des Kolonabschnitts an, der erforscht werden soll. Diese Technik zum Bestimmen der Mittellinie ist die bevorzugte Technik der Erfindung.
Zum Berechnen des Potenzialwerts V(x) für ein Voxel x innerhalb der Zone von Interesse wird die folgende Formel verwendet:
wobei C₁, C₂, μ und ν Konstanten sind, die für die Aufgabe ausgewählt wurden. Um jede Kollision zwischen der virtuellen Kamera und der virtuellen Kolonoberfläche zu vermeiden, wird allen Punkten außerhalb des Kolons ein ausreichend großer Potenzialwert zugewiesen. Der Gradient des Potenzialfelds wird daher so signifikant, dass die Unterseebootmodellkamera beim Betrieb nie mit der Kolonwand kollidiert.
Eine andere Technik zum Bestimmen der Mittellinie des Pfads in dem Kolon wird „Schälschichten"-Technik genannt und ist in 4 bis 8 gezeigt.
4 zeigt einen 2D-Querschnitt des volumetrischen Kolons, wobei zwei Seitenwände 401 und 403 des Kolons gezeigt sind. Zwei Blockierungswände werden von der Bedienperson ausgewählt, um den Abschnitt des Kolons zu definieren, der zur Untersuchung interessant ist. Über diese Blockierungswände hinaus kann nichts angezeigt werden. Das hilft dabei, die Anzahl der Berechnungen beim Anzeigen der virtuellen Darstellung zu reduzieren. Die Blockierungswände identifizieren gemeinsam mit den Seitenwänden eine geschlossene volumetrische Form des Kolons, die zu erforschen ist.
5 zeigt zwei Endpunkte der Bahn der virtuellen Untersuchung, das Startvolumenelement 501 und das Endvolumenelement 503. Der Start- und der Endpunkt werden von der Bedienperson in Schritt 105 der 1 ausgewählt. Die Voxel zwischen dem Start- und dem Endpunkt und den Kolonseiten werden identifiziert und markiert, wie von der Zone mit der Bezeichnung „x"-en in 6 angezeigt. Die Voxel sind dreidimensionale Darstellungen des Bildelements.
Die Schälschichtentechnik wird dann auf die identifizierten und gekennzeichneten Voxel in 6 angewandt. Die äußerste Schicht aller Voxel (die den Kolonwänden am nächsten liegt) wird schrittweise abgeschält, bis nur noch eine innere Voxelschicht verbleibt. Mit anderen Worten wird jedes Voxel, das von dem Mittelpunkt am weitesten entfernt ist, eliminiert, wenn das Eliminieren nicht zu einer Unterbrechung des Pfads zwischen dem Startvoxel und dem Endvoxel führt. 7 zeigt das Zwischenergebnis, nachdem eine Anzahl von Wiederholungen des Schälens von Voxeln in dem virtuellen Kolon durchgeführt wurde. Die Voxel, die den Kolonwänden am nächsten sind, wurden eliminiert. 8 zeigt die Endbahn des Kameramodells in der Mitte des Kolons hinunter nach dem Vollenden der Schälwiederholungen. Das ergibt im Wesentlichen ein Skelett in der Mitte des Kolons und wird zur gewünschten Bahn des Kameramodells.
SICHT MIT Z-PUFFERUNTERSTÜTZUNG
9 beschreibt eine Echtzeitsichttechnik zum Anzeigen virtueller Bilder, die von dem Kameramodell in der virtuellen dreidimensionalen Volumen darstellung eines Organs gesehen werden. 9 zeigt eine Anzeigetechnik, die einen modifizierten Z-Puffer verwendet, der Schritt 109 in 1 entspricht. Die Anzahl der Voxel, die möglicherweise von dem Kameramodell angezeigt werden können, ist extrem groß. Wenn die Gesamtanzahl der Elemente (oder Vielecke), die zu berechnen und anzuzeigen ist, nicht von einem Gesamtsatz von Voxeln in der abgetasteten Umgebung reduziert wird, macht die Gesamtanzahl der Berechnungen den Anzeigeprozess für eine große interne Zone übermäßig langsam. Bei der vorliegenden Erfindung brauchen jedoch nur die Bilder, die auf der Kolonoberfläche sichtbar sind, zur Anzeige berechnet zu werden. Die abgetastete Umgebung kann in kleinere Abschnitte oder Zellen unterteilt werden. Die Z-Puffer-Technik gibt dann nur einen Abschnitt der Zellen wieder, die von der Kamera aus sichtbar sind. Die Z-Puffer-Technik wird auch für dreidimensionale Voxeldarstellungen verwendet. Der Einsatz eines modifizierten Z-Puffers reduziert die Anzahl sichtbarer Voxel, die zu berechnen sind, und ermöglicht die Echtzeituntersuchung des virtuellen Kolons durch einen Arzt oder medizinischen Techniker.
Die Zone von Interesse, von der die Mittellinie in Schritt 107 berechnet wurde, wird in Zellen unterteilt, bevor die Anzeigetechnik angewandt wird. Zellen sind kollektive Gruppen von Voxeln, die zu einer Sichteinheit werden. Die Voxel in jeder Zelle werden als eine Gruppe angezeigt. Jede Zelle enthält eine Anzahl von Portalen, durch welche die anderen Zellen angezeigt werden können. Der Kolon wird am ausgewählten Startpunkt beginnend und entlang der Mittellinie 1001 zu dem Endpunkt unterteilt. Der Kolon wird dann in Zellen unterteilt (zum Beispiel Zellen 1003, 1005 und 1007 in 10), wenn eine vordefinierte Schwellenentfernung entlang des Mittelpfads erreicht wird. Die Schwellenentfernung basiert auf den Spezifikationen der Plattform, auf welcher die Anzeigetechnik durchgeführt wird, und auf ihren Speicher- und Verarbeitungsfähigkeiten. Die Zellengröße hängt direkt von der Anzahl der Voxel ab, die von der Plattform gespeichert und verarbeitet werden kann. Ein Beispiel für eine Schwellenentfernung ist 5 cm, obwohl die Entfernung stark variieren kann. Jede Zelle hat zwei Querschnitte als Portale für das Anzeigen außerhalb der Zelle wie in 10 gezeigt.
Schritt 901 in 9 identifiziert innerhalb des ausgewählten Organs die Zelle, die derzeit die Kamera enthält. Die aktuelle Zelle wird angezeigt, sowie alle anderen Zellen, die gemäß der Richtung der Kamera sichtbar sind. Schritt 903 bildet eine Fahnenstruktur (Baumdiagramm) hierarchischer Daten potenziell von der Kamera (durch definierte Portale) sichtbarer Zellen wie weiter unten detailliert beschrieben wird. Die Fahnenstruktur enthält einen Knoten für jede Zelle, die für die Kamera sichtbar sein kann. Einige der Zellen können transparent ohne jede anwesende Blockierungskörper sein, so dass mehr als eine Zelle in eine einzelne Richtung sichtbar ist. Schritt 905 speichert einen Untersatz von Voxeln von einer Zelle, die den Schnittpunkt benachbarter Zellenkanten enthalten, und speichert sie an der Außenseitenkante der Fahnenstruktur, um effizienter zu bestimmen, welche Zellen sichtbar sind.
Schritt 907 prüft, ob in der Fahnenstruktur irgendwelche Schleifenknoten vorhanden sind. Ein Schleifenknoten tritt auf, wenn zwei oder mehrere Kanten einer einzelnen Zelle gleichzeitig an die gleiche benachbarte Zelle grenzen. Das kann auftreten, wenn eine einzelne Zelle von einer anderen Zelle umgeben ist. Wird in der Fahnenstruktur ein Schleifenknoten identifiziert, setzt das Verfahren bei Schritt 909 fort. Besteht kein Schleifenknoten, setzt das Verfahren bei Schritt 911 fort.
Schritt 909 faltet die zwei Zellen, so dass der Schleifenknoten in einen großen Schleifenknoten gebildet wird. Die Fahnenstruktur wird dann entsprechend korrigiert. Das eliminiert das Problem des Anzeigens der gleichen Zelle zweimal aufgrund des Schleifenknotens. Der Schritt wird an allen identifizierten Schleifenknoten ausgeführt. Dann setzt das Verfahren bei Schritt 911 fort.
Schritt 911 initiiert dann den Z-Puffer mit dem größten Z-Wert. Der Z-Wert definiert die Entfernung von der Kamera weg entlang des Skelettpfads. Die Baumstruktur wird dann durchquert, um zuerst die Schnittpunktwerte an jedem Knoten zu prüfen. Wird ein Schnittpunktknoten gedeckt, was bedeutet, dass die aktuelle Portalsequenz verschlossen ist (was von dem Z-Puffertest bestimmt wird), wird das Durchqueren des aktuellen Zweigs in der Baumstruktur gestoppt. Schritt 913 durchquert jeden der zweige, um zu prüfen, ob die Knoten gedeckt sind, und zeigt sie an, wenn das nicht der Fall ist.
Schritt 915 konstruiert dann das auf dem Bedienerbildschirm anzuzeigende Bild ausgehend von den Volumenelementen innerhalb der sichtbaren Zellen, die in Schritt 913 identifiziert werden, indem eine Vielzahl von Techniken gemäß dem Stand der Technik verwendet wird, wie zum Beispiel die Volumendarstellung durch Zusammensetzen. Die einzigen gezeigten Zellen sind die, die als potenziell sichtbar identifiziert werden. Diese Technik schränkt die Anzahl der Zellen ein, die Berechnungen erfordert, um eine Echtzeitanzeige zu erzielen, und steigert die Geschwindigkeit der Anzeige im Sinne der besseren Leistung entsprechend. Diese Technik ist eine Verbesserung im Vergleich zu früheren Techniken, die alle möglichen sichtbaren Datenpunkte berechnen, ob sie nun tatsächlich angezeigt werden oder nicht.
11A ist eine zweidimensionale bildliche Darstellung eines Organs, das durch geführte Navigation erforscht wird und für einen Bediener angezeigt werden muss. Das Organ 1101 zeigt zwei Seitenwände 1102 und ein Objekt 1105 in der Mitte des Pfads. Das Organ wurde in vier Zellen A 1151, B 1153, C 1155 und D 1157 unterteilt. Die Kamera 1103 ist zur Zelle D 1157 gerichtet und hat ein Sichtfeld, das von Sichtvektoren 1107, 1108 definiert wird, die ein kegelförmiges Feld identifizieren können. Die Zellen, die potenziell angezeigt werden können, sind die Zellen B 1153, C 1155 und D 1157. Die Zelle C 1155 ist komplett von Zelle B umgeben und stellt daher einen Schleifenknoten dar.
11B ist eine Darstellung einer Fahnenstruktur, die aus den Zellen in 11A gebildet ist. Der Knoten A 1109, der die Kamera enthält, befindet sich an der Wurzel der Baumstruktur. Eine Sichtlinie oder ein Sichtkonus, die der sichtbare Pfad ohne Blockieren ist, wird zum Knoten B 1110 gezogen. Der Knoten B hat direkt sichtbare Sichtlinien sowohl zu Knoten C 1112 als auch zu Knoten D 1114, was durch die Verbindungspfeile gezeigt wird. Die Sichtlinie des Knotens C 1112 in Richtung der Kamera kombiniert sich mit Knoten B 1110. Knoten C 1112 und Knoten B 1110 werden daher in einen großen Knoten B' 122 wie in 11C gezeigt zusammengefaltet.
11C zeigt den Knoten A 1109, der die Kamera benachbart zum Knoten B' 1122 (der die beiden Knoten B und Knoten C enthält) und den Knoten D 1114 enthält. Die Knoten A, B' und D werden zumindest teilweise für die Bedienperson angezeigt.
12A–12E stellen den Einsatz des modifizierten Z-Puffers mit Zellen dar, die Objekte enthalten, die die Sichten verstellen. Ein Objekt könnte Abfall in einem Abschnitt des virtuellen Kolons sein. 12A zeigt einen virtuellen Raum mit 10 potenziellen Zellen: A 1251, B 1253, C 1255, D 1257, E 1259, F 1261, G 1263, H 1265, I 1267 und J 1269. Einige der Zellen enthalten Objekte. Wenn die Kamera 1201 wie von den Sichtvektoren 1203 angezeigt in Zelle I 1267 positioniert und zu Zelle F 1261 gerichtet ist, wird eine Fahnenstruktur in Übereinstimmung mit der Technik produziert, die durch das Flussdiagramm in 9 dargestellt ist. 12B zeigt die Fahnenstruktur, die mit den Schnittknoten für die virtuelle Darstellung wie in 12A gezeigt produziert wird. 12B zeigt Zelle I 1267 als den Wurzelknoten der Baumstruktur, weil sie die Kamera 1201 enthält. Der Knoten I 1211 zeigt zum Knoten F 1213 (wie durch einen Pfeil angezeigt), weil die Zelle F direkt mit der Sichtlinie der Kamera verbunden ist. Knoten F 1213 ist sowohl zum Knoten B 1215 als auch zum Knoten E 1219 gerichtet. Knoten B 1215 ist zum Knoten A 1217 gerichtet. Knoten C 1202 ist komplett von der Sichtlinie durch die Kamera 1201 blockiert und daher nicht in der Fahnenstruktur enthalten.
12C zeigt die Fahnenstruktur nachdem der Knoten I 1211 auf dem Display für den Bediener wiedergegeben wurde. Knoten I 1211 wird dann aus der Fahnenstruktur entfernt, weil er bereits angezeigt wurde, und Knoten F 1213 wird zur Wurzel. 12D zeigt, dass der Knoten F 1213 nun angezeigt wird, um Knoten I 1211 zu erreichen. Die nächsten Knoten in der Baumstruktur, die mit Pfeilen verbunden sind, werden dann geprüft, um zu sehen, ob sie bereits gedeckt (bereits verarbeitet) sind. In diesem Beispiel wurden alle der schneidenden Knoten von der Kamera, die in Zelle I 1267 positioniert ist, gedeckt, so dass Knoten B 515 (und daher der abhängige Knoten A) nicht auf dem Display angezeigt werden müssen.
12E zeigt Knoten E 515, der geprüft wird, um zu bestimmen, ob sein Schneiden gedeckt wurde. Da es gedeckt wurde, sind die einzigen in diesem Beispiel der 12A–12E dargestellten Knoten die Knoten 1 und F, während die Knoten A, B und E nicht sichtbar sind und ihre Zellen nicht zum Anzeigen vorzubereiten sind.
Die modifizierte Z-Puffer-Technik, die in 9 beschrieben ist, erlaubt weniger Berechnungen und kann auf ein Objekt angewandt werden, das durch Voxel oder andere Datenelemente, wie zum Beispiel Vielecke dargestellt wurde.
13 zeigt eine zweidimensionale virtuelle Anzeige eines Kolons mit einem großen Polypen entlang einer seiner Wände. 13 zeigt einen ausgewählten Abschnitt des Kolons des Patienten, der weiter untersucht werden muss. Die Ansicht zeigt zwei Kolonwände 1301 und 1303 mit der Wucherung, die als 1305 angegeben ist. Die Schichten 1307, 1309 und 1311 zeigen innere Schichten der Wucherung. Für einen Arzt ist es wünschenswert, die Schichten des Polypen oder Tumors abschälen zu können, um innerhalb der Masse nach krebsartigem oder anderem schädlichem Material zu suchen. Dieser Prozess würde in der Tat eine virtuelle Biopsie der Masse durchführen, ohne wirklich in die Masse zu schneiden. Sobald der Kolon virtuell durch Voxel dargestellt ist, kann der Prozess des Abschälens von Schichten von einem Objekt leicht ähnlich durchgeführt werden wie in Verbindung mit 4 bis 8 beschrieben. Die Masse kann in Scheiben geschnitten werden, so dass ein bestimmter Querschnitt untersucht werden kann. In 13 kann ein flacher Schnitt 1313 angelegt werden, so dass ein bestimmter Abschnitt der Wucherung untersucht werden kann. Zusätzlich können benutzerdefinierte Scheiben 1319 in beliebiger Art in der Wucherung angelegt werden. Die Voxel 1319 können entweder abgeschält oder wie weiter unten erklärt modifiziert werden.
An jedem Voxel in der Zone von Interesse kann eine Transferfunktion durchgeführt werden, die das Objekt durchsichtig, halbdurchsichtig oder opak machen kann, indem Koeffizienten verändert werden, die die Durchsichtigkeit für jedes Voxel darstellen. Ein Opazitätskoeffizient wird jedem Voxel auf der Basis seiner Dichte zugewiesen. Eine Kartenfunktion formt dann den Dichtewert in einen Koeffizienten um, der seine Durchsichtigkeit darstellt. Ein abgetastetes Voxel mit hoher Dichte kann entweder eine Wand oder andere dichte Materie außer einfachem freiem Raum anzeigen. Eine Bedienperson oder ein Hilfsprogramm könnte dann den Opazitätskoeffizienten eines Voxels oder einer Gruppe von Voxeln verändern, um sie für das Unterseebootkameramodell transparent oder halbtransparent erscheinen zulassen. Eine Bedienperson kann zum Beispiel einen Tumor innerhalb oder außerhalb einer ganzen Wucherung anzeigen. Oder ein transparentes Voxel kann für den Anzeigeschritt der 9 als nicht vorhanden scheinend gemacht werden. Eine Zusammensetzung eines Abschnitts des Objekts kann anhand eines gewichteten Mittels der Opazitätskoeffizienten der Voxel in diesem Abschnitt geschaffen werden.
Wenn der Arzt wünscht, die verschiedenen Schichten eines Polypen anzuzeigen, um nach Krebszonen zu suchen, kann das durchgeführt werden, indem die äußere Schicht des Polypen 1305 eliminiert wird, was eine erste Schicht 1307 ergibt. Zusätzlich kann die erste innere Schicht 1307 zurückgezogen werden, um die zweite innere Schicht 1309 anzuzeigen. Die zweite innere Schicht kann zurückgezogen werden, um die dritte innere Schicht 1311 anzuzeigen usw. Der Arzt könnte den Polypen 1305 auch in Scheiben schneiden und nur die Voxel anzeigen, die in einem gewünschten Abschnitt liegen. Die Scheibenschnittzone kann komplett vom Benutzer festgelegt werden.
Das Hinzufügen eines Opazitätskoeffizienten kann auch auf andere Art verwendet werden, um bei der Untersuchung eines virtuellen Systems zu helfen. Wenn Abfallmaterial vorhanden ist und er eine Dichte wie andere Eigenschaften innerhalb eines bestimmten bekannten Bereichs hat, kann der Abfall für die virtuelle Kamera durchsichtig gemacht werden, indem sein Opazitätskoeffizient während der Untersuchung verändert wird. Das erlaubt es dem Patienten, das Einnehmen eines Darmreinigungsmittels vor der Vorgehensweise zu vermeiden und die Untersuchung schneller und einfacher zu machen. Weitere Objekte können je nach der laufenden Anwendung gleichermaßen zum Verschwinden gebracht werden. Zusätzlich können bestimmte Objekte, wie zum Beispiel Polypen, elektronisch durch ein Kontrastmittel gefolgt vom Einsatz einer entsprechenden Transferfunktion verstärkt werden.
14 zeigt ein System zum Durchführen der virtuellen Untersuchung eines Objekts, wie zum Beispiel eines menschlichen Organs, unter Einsatz der in dieser Spezifikation beschriebenen Techniken. Der Patient 1401 legt sich auf eine Plattform 1402, während die Abtastvorrichtung 1405 die Zone abtastet, die das oder die Organe enthält, die zu untersuchen sind. Die Abtastvorrichtung 1405 enthält einen Abtastabschnitt 1403, der die Bilder des Patienten aufnimmt, und einen Elektronikabschnitt 1406. Der Elektronikabschnitt 1406 enthält eine Schnittstelle 1407, eine Zentralverarbeitungseinheit 1409, einen Speicher 1411 zum vorübergehenden Speichern der Abtastdaten und eine zweite Schnittstelle 1413 zum Senden der Daten zu der virtuellen Navigationsplattform. Die Schnittstellen 1407 und 1413 könnten in einem einzigen Schnittstellenbauteil enthalten oder der gleiche Bauteil sein. Die Bauteile im Abschnitt 1406 sind untereinander mit den üblichen Steckern verbunden.
Im System 1400 werden die Daten, die der Vorrichtung 1403 von dem Abtastabschnitt geliefert werden, zum Abschnitt 1405 zur Verarbeitung übertragen und im Speicher 1411 gespeichert werden. Die Zentralverarbeitungseinheit 1409 wandelt die abgetasteten 2D-Daten in 3D-Voxeldaten um und speichert die Ergebnisse in einem anderen Teil des Speichers 1411. Alternativ könnten die umgewandelten Daten direkt zu der Schnittstelleneinheit 1413 gesendet werden, um zu dem virtuellen Navigationsterminal 1416 übertragen zu werden. Das Umwandeln der 2D-Daten könnte auch in dem virtuellen Navigationsterminal 1416 nach dem Übertragen von der Schnittstelle 1413 her stattfinden. Bei der bevorzugten Ausführungsform werden die umgewandelten Daten über den Träger 1414 zu dem virtuellen Navigationsterminal 1416 übertragen, so dass eine Bedienperson die virtuelle Untersuchung durchführen kann. Die Daten könnten auch auf andere herkömmliche Arten transportiert werden, wie zum Beispiel Speichern der Daten auf einem Speichermittel und physikalisches Transportieren der Daten zu dem Terminal 1416 oder durch Einsatz von Satellitenübertragungen.
Die abgetasteten Daten können auch nicht in ihre 3D-Darstellung umgewandelt werden, bis die Anzeigedarstellungsmaschine sie in 3D-Form braucht. Das spart an Berechnungsschritten und Speicherplatz.
Das virtuelle Navigationsterminal 1416 umfasst einen Bildschirm zum Anzeigen des virtuellen Organs oder anderen abgetasteten Bilds, einen Elektronikabschnitt 1415 und eine Schnittstellensteuerung 1419, wie zum Beispiel eine Tastatur, Maus oder einen Spaceball. Der Elektronikabschnitt 1415 umfasst eine Schnittstelle 1421, eine Zentralverarbeitungseinheit 1423, andere Bauteile 1427, die für den Betrieb des Terminals erforderlich sind, und einen Speicher 1425. Die Bauteile im Terminal 1416 sind miteinander mit herkömmlichen Steckern verbunden. Die umgewandelten Voxeldaten werden an der Schnittstelle 1421 empfangen und im Speicher 1425 gespeichert. Die Zentralverarbeitungseinheit 1423 baut dann die 3D-Voxel in eine virtuelle Darstellung zusammen und betätigt das Unterseebootkameramodell wie in 2 und 3 beschrieben, um die virtuelle Untersuchung durchzuführen. Während die Unterseebootkamera durch das virtuelle Organ reist, wird die Sichttechnik wie in 9 beschrieben verwendet, um nur die Zonen zu berechnen, die von der virtuellen Kamera gesehen werden können, und um auf dem Bildschirm 1417 angezeigt zu werden. Ein Grafikbeschleuniger kann ebenfalls beim Produzieren der Darstellungen verwendet werden. Die Bedienperson kann die Schnittstellenvorrichtung 1419 verwenden, um anzuzeigen, welcher Abschnitt des abgetasteten Körpers erforscht werden soll. Die Schnittstellenvorrichtung 1419 kann ferner verwendet werden, um die Unterseebootkamera nach Wunsch und wie in 2 und ihrer begleitenden Beschreibung besprochen zu steuern und zu bewegen. Der Terminalabschnitt 1415 kann die dedizierte Systembox Cube-4 sein, die im Allgemeinen beim Department of Computer Science der State University of New York in Stony Brook erhältlich ist.
Die Abtastvorrichtung 1405 und das Terminal 1416 oder deren Teile können zu der gleichen Einheit gehören. Eine Einzelplattform würde verwendet, um die Abtastbilddaten zu empfangen, sie bei Bedarf mit 3D-Voxel zu verbinden und die geführte Navigation durchzuführen.
Ein wichtiges Merkmal des Systems 1400 besteht darin, dass das virtuelle Organ zu einem späteren Zeitpunkt ohne Anwesenheit des Patienten untersucht werden kann. Ferner könnte die virtuelle Untersuchung stattfinden, während der Patient abgetastet wird. Die Abtastdaten können auch zu einer Vielzahl von Terminals gesendet werden, was es erlauben würde, dass mehr als ein Arzt das Innere des Organs gleichzeitig anzeigt. Ein Arzt in New York könnte daher den gleichen Abschnitt des Organs des Patienten gleichzeitig wie ein anderer Arzt in Kalifornien ansehen, während sie den Fall diskutieren. Alternativ können die Daten zu verschiedenen Zeiten angezeigt werden. Zwei oder mehrere Ärzte könnten in einem schwierigen Fall ihre eigene Untersuchung an den gleichen Daten durchführen. Mehrere virtuelle Navigationsterminals könnten zum Anzeigen der gleichen Abtastdaten verwendet werden. Durch Darstellen des Organs als ein virtuelles Organ mit einem einzelnen Satz von Daten erzielt man eine Vielzahl von Vorteilen in Bereichen wie zum Beispiel Präzision, Kosten und eventuell Datenmanipulationen.
Die oben stehende Beschreibung stellt nur die Konzepte der Erfindung dar. Natürlich kann der Fachmann zahlreiche Systeme, Geräte und Verfahren erdenken, die zwar hier nicht explizit gezeigt oder beschrieben sind, jedoch Konzepte der Erfindung darstellen und daher im Geltungsbereich der Erfindung, wie er durch seine Ansprüche definiert ist, liegen.
Zum Beispiel könnten die hier beschriebenen Verfahren und Systeme zum virtuellen Untersuchen eines Tiers, Fischs oder unbelebten Objekts angewandt werden. Neben den erwähnten Verwendungszwecken im medizinischen Bereich könnten Anwendungen der Technik verwendet werden, um den Inhalt versiegelter Objekte, die nicht geöffnet werden können, zu erfassen. Die Technik könnte auch innerhalb einer architektonischen Struktur, wie zum Beispiel in einem Gebäude oder einer Höhle verwendet werden, um es der Bedienperson zu erlauben, durch die Struktur zu navigieren.

Claims

Verfahren zur Durchführung einer dreidimensionalen virtuellen Untersuchung mindestens eines Objekts, wobei das Verfahren folgende Schritte umfasst: Abtasten (103) des Objekts mit einer Abtastvorrichtung und Produzieren zweidimensionaler Abtastdaten, die für das Objekt repräsentativ sind; Umwandeln (104) der zweidimensionalen Abtastdaten in einen Satz dreidimensionaler Volumenelemente, wodurch eine dreidimensionale Volumendarstellung des Objekts erzeugt wird; Berechnen (105) eines definierten Pfads innerhalb der dreidimensionalen Volumendarstellung; Verwendung einer virtuellen Kamera (201, 203, 205), um eine geführte Navigation (107) der dreidimensionalen Darstellung entlang dem Pfad durchzuführen; Anzeigen (109) in Echtzeit der Volumenelemente auf einer Anzeigevorrichtung, wobei das Verfahren dadurch gekennzeichnet ist, dass eine benutzergesteuerte Navigationsphase zum Navigieren vom Pfad weg bereitgestellt wird, um das manuelle Einstellen der geführten Navigation zu ermöglichen, wobei die benutzergesteuerte Phase Werte eines Potentialfelds (215) nutzt, um die Bewegung der Kamera (201, 203, 205) gemäß folgendem Schritt zu steuern: Berechnen eines Potentialfeldwerts für jedes der Volumenelemente, so dass die Potential werte während der virtuellen Untersuchung eine virtuelle Kraft auf die Kamera (201, 203, 205) definieren, wobei die Kamera daran gehindert wird, mit der Objektbegrenzung zu kollidieren, indem die höchsten Potentialfeldwerte für die Begrenzung des Objekts und niedrigere Potentialfeldwerte entlang dem definierten Pfad berechnet werden.
Verfahren nach Anspruch 1, wobei die benutzergesteuerte Navigationsphase so konfiguriert ist, dass ein Benutzer sowohl die Position als auch den Betrachtungswinkel der virtuellen Kamera zu einem bestimmten Teil von Interesse in der dreidimensionalen Volumendarstellung des Objekts einstellen kann.
Verfahren nach Anspruch 1, wobei sich der definierte Pfad ungefähr äquidistant von den Außenwänden des Objekts befindet.
Verfahren nach Anspruch 1, wobei es sich bei dem Objekt um ein Organ handelt.
Verfahren nach Anspruch 4, wobei es sich bei dem Organ um einen Dickdarm handelt.
Verfahren nach Anspruch 4, wobei es sich bei dem Organ um eine Lunge handelt.
Verfahren nach Anspruch 4, wobei es sich bei dem Organ um mindestens ein Blutgefäß handelt.
Verfahren nach Anspruch 1, wobei der Anzeigeschritt das Identifizieren jedes der entlang dem Pfad sichtbaren Volumenelements einschließt.
Verfahren nach Anspruch 8, wobei das Identifizieren unter Verwendung einer Betrachtungsdaten enthaltenden, hierarchischen Datenstruktur durchgeführt wird.
Verfahren nach Anspruch 1, wobei die Position der virtuellen Kamera in sechs Freiheitsgraden geändert werden kann.
Verfahren nach Anspruch 1, wobei der Pfad vorgewählt ist und weiter Änderungen in der Ausrichtung der Kamera basierend auf Eingaben von einer Bedienperson berücksichtigt.
Verfahren nach Anspruch 11, wobei die virtuelle Untersuchung nur die Volumenelemente in einem Sichtkegel der virtuellen Kamera anzeigt.
Verfahren nach Anspruch 1, wobei der Navigationsschritt das Wählen einer Mittellinie durch Entfernen von den Objektwänden m nächsten liegenden Volumenelementen einschließt, bis nur ein Pfad zurückbleibt.
Verfahren nach Anspruch 1, wobei die virtuelle Untersuchung weiter einen Schritt des Berechnens von Opazitätskoeffizienten für jedes der Volumenelementen einschließt.
Verfahren nach Anspruch 14, wobei die Opazitätskoeffizienten ausgewählter Volumenelementen als Reaktion auf eine Eingabe von einer Bedienperson verändert werden.
Verfahren nach Anspruch 15, wobei die Volumenelemente mit niedrigen Opazitätskoeffizienten während des Anzeigeschritts nicht angezeigt werden.
Verfahren nach Anspruch 16, wobei der Opazitätskoeffizienten mindestens eines Volumenelements verändert wird, so dass das veränderte Volumenelement im Anzeigeschritt nicht angezeigt wird.
Verfahren nach Anspruch 15, wobei die Volumenelemente als zu einem Grad durchsichtig angezeigt werden, der auf die Opazitätskoeffizienten der Volumenelemente reagiert.
Verfahren nach Anspruch 1, wobei die zu mindestens einem Volumenelement gehörenden Daten verändert werden, so dass das veränderte Volumenelement im Anzeigeschritt nicht angezeigt wird.
Verfahren nach Anspruch 1, das weiter den Schritt der Vorbereitung des Objekts für das Abtasten umfasst.
Verfahren nach Anspruch 20, wobei der Schritt des Produzierens einer diskreten Datendarstellung des Objekts das Erzeugen eines Voxelbilds von einem geometrischen Modell einschließt.
Verfahren nach Anspruch 1, wobei der Schritt des Produzierens einer diskreten Datendarstellung des Objekts das Erzeugen eines Voxelbilds von einem geometrischen Modell einschließt.
Verfahren nach Anspruch 1, wobei das Objekt ein Organ umfasst und die Abtastvorrichtung eine radiologische Abtastvorrichtung umfasst.
Verfahren nach Anspruch 23, wobei der Anzeigeschritt das Identifizieren jedes der entlang dem Pfad sichtbaren Volumenelemente einschließt.
Verfahren nach Anspruch 24, wobei das Identifizieren unter Verwendung einer Betrachtungsdaten enthaltenden, hierarchischen Datenstruktur durchgeführt wird.
Verfahren nach Anspruch 23, das weiter den Schritt der Vorbereitung des Organs für das Abtasten umfaßt, wobei der Vorbereitungsschritt die Reinigung des Organs von beweglichen Objekten einschließt.
Verfahren nach Anspruch 26, wobei der Vorbereitungsschritt das Beschichten des Organs mit einer Substanz einschließt, um den Kontrast des Organs zum Abtasten zu verbessern.
System zur Durchführung einer virtuellen dreidimensionalen Untersuchung eines Objekts, das folgendes umfasst: eine Abtastvorrichtung (103) und Produzieren zweidimensionaler Abtastdaten, die für das Objekt repräsentativ sind; eine Vorrichtung (104) zum Umwandeln der zweidimensionalen Abtastdaten in einen Satz dreidimensionaler Volumenelemente, wodurch eine dreidimensionale Volumendarstellung des Objekts erzeugt wird; eine Vorrichtung (105) zum Berechnen eines definierten Pfads innerhalb der dreidimensionalen Volumendarstellung; eine virtuelle Kameravorrichtung (201, 203, 205) zum Durchführen einer geführten Navigation der dreidimensionalen Darstellung entlang dem Pfad; und eine Vorrichtung (109) zum Anzeigen in Echtzeit der Volumenelemente auf einer Anzeigevorrichtung, wobei das System dadurch gekennzeichnet ist, dass: die Vorrichtung für die Durchführung der geführten Navigation so konfiguriert ist, dass eine benutzergesteuerte Navigationsphase zum Navigieren vom Pfad weg bereitgestellt wird, wodurch das manuelle Einstellen der geführten Navigation ermöglicht wird, wobei die benutzergesteuerte Phase Werte eines Potentialfelds (215) nutzt, um die Bewegung der Kamera (201, 203, 205) gemäß folgendem Schritt zu steuern: Berechnen eines Potentialfeldwerts für jedes der Volumenelemente, so dass die Potentialwerte während der virtuellen Untersuchung eine virtuelle Kraft auf die Kamera definieren, wobei die Kamera daran gehindert wird, mit der Objektbegrenzung zu kollidieren, indem die höchsten Potentialfeldwerte für die Begrenzung des Objekts und niedrigere Potentialfeldwerte entlang dem definierten Pfad berechnet werden.
System nach Anspruch 28, wobei die benutzergesteuerte Navigationsphase so konfiguriert ist, dass ein Benutzer sowohl die Position als auch den Betrachtungswinkel der virtuellen Kamera zu einem bestimmten Teil von Interesse in der dreidimensionalen Volumendarstellung des Objekts einstellen kann.
System nach Anspruch 28, wobei die dreidimensionalen Datenelemente Opazitätskoeffizienten einschließen und die Anzeigevorrichtung auf die Opazitätskoeffizienten reagiert.
System nach Anspruch 30, wobei die Durchführungsvorrichtung fähig ist, die Opazitätskoeffizienten eines ausgewählten Volumendatenelements zu verändern.
System nach Anspruch 31, wobei die Anzeigevorrichtung fähig ist, als Reaktion auf die Opazitätskoeffizienten ein Volumenelement durchsichtig anzuzeigen.
System nach Anspruch 28, wobei die Umwandlungsvorrichtung und die Durchführungsvorrichtung in einer einzigen Einheit enthalten sind.
System nach Anspruch 28, wobei die Vorrichtung zum Produzieren einer Darstellung des Objekts Abtastdaten produziert und die Abtastdaten getrennt von der Umwandlungsvorrichtung gespeichert werden.
System nach Anspruch 28, wobei die Vorrichtung zum Produzieren einer Darstellung des Objekts Abtastdaten produziert und die Abtastdaten getrennt von der Auswahlvorrichtung gespeichert werden.
System nach Anspruch 28, das weiter mindestens eine zusätzliche Auswahlvorrichtung, Durchführungsvorrichtung und Anzeigevorrichtung einschließt, um zusätzliche virtuelle Untersuchungen des Objekts durchzuführen.
System nach Anspruch 28, wobei das Objekt ein Organ umfasst.
System nach Anspruch 28, wobei die Anzeigevorrichtung fähig ist, ein Volumenelement durchsichtig anzuzeigen.