DE60035723T2

DE60035723T2 - Bildübertragungsobjekt

Info

Publication number: DE60035723T2
Application number: DE60035723T
Authority: DE
Inventors: Paul Joseph Allison Park CHANG; John C. Menlo Park HUFFMAN; Benjamin J. San Francisco MCCURTAIN; Jonathan Los Gatos REIS; Bradford V. Piedmont HEBERT
Original assignee: Koninklijke Philips Electronics NV
Current assignee: Koninklijke Philips NV
Priority date: 1999-11-24
Filing date: 2000-11-21
Publication date: 2008-04-30
Anticipated expiration: 2020-11-22
Also published as: WO2001039048A3; WO2001039048A2; EP1388086B1; US6938211B1; DE60035723D1; EP1388086A2; AU4305001A; ATE368263T1

Description

HINTERGRUND DER ERFINDUNG
Anwendungsgebiet der Erfindung
Die vorliegende Erfindung betrifft sich auf den Bereich der Übertragung, des Durchsuchens und des Betrachtens von Bildern und insbesondere auf ein Bildobjekt, das die schnelle und wirksame Übertragung, Verarbeitung und Betrachtung von großen Bildern erlaubt.
Technischer Hintergrund
Das Internet bietet die Möglichkeit, Informationen schnell, zuverlässig und wirksam zu übertragen. Beispielsweise ist das Internet ein gutes Medium, um E-Mails zu übertragen, die eine Größe von weniger als ein paar Kilobytes Daten haben. E-Mails werden auch allgemein verwendet, um Datendateien zu übertragen, die typischerweise an die E-Mails angehängt werden. Beispielsweise ist es üblich, Dateien wie Textverarbeitungsdokumente anzuhängen, die aus mehreren Kilobytes mit Daten bestehen. Im Rahmen der Weiterentwicklung der Video- und Bildgebungstechnologie besteht eine wachsende Nachfrage nach der Übertragung von großen Dateien. Beispielsweise ist es für Internetbenutzer üblich, aus Fotos erzeugte digitalisierte Bilder zu übertragen. Auf dem Gebiet der Wissenschaft und der Medizin ist es wünschenswert, große Bilddateien zu übertragen. Diese Bilddateien können ausführliche Karten, von Sensoren erfasste Bilddaten, medizinische Bilder usw. sein.
Im Bereich der medizinischen Bildgebung ist es üblich geworden, Bilder in digitaler Form mit Hilfe von Computertechnik zu speichern, zu verteilen und zu betrachten. Zurzeit ist der Einsatz von Bildarchivierungs- und Kommunikationssystemen (eng. Picture Archival and Communication System, PACS) weit verbreitet. Bei einer typischen PACS-Anwendung werden Bilddaten, die durch Bildgebungssysteme wie CT-Scanner oder MRI-Scanner erzielt wurden, in Form von Computerdatendateien gespeichert. Die Größe einer Datendatei für ein Bild schwankt in Abhängigkeit von der Größe und Auflösung des Bildes. Beispielsweise liegt eine typische Bilddatei für ein Röntgenbild der Brust mit Diagnosequalität in der Größenordnung von 10 MB. Die Bilddatendateien werden im Allgemeinen in einem „Standardformat" oder einem allgemein akzeptierten Format formatiert. Im medizinischen Bereich ist ein weit verbreitetes Bildformat als DICOM bekannt. Die DICOM-Bilddatendateien werden über Computernetzwerke an spezielle Anzeigestationen gesendet, die in der Lage sind, die Bilddaten in Bilder mit hoher Auflösung zur Anzeige auf einem CRT-Bildschirm umzuwandeln.
Das Internet ist zwar ein gutes Medium zum Übertragen kleiner Dateien, beim Übertragen von großen Bildern, beispielsweise großen Bilddateien, die Dateien mit mehr als 10 MB mit Daten umfassen können, wird das Internet jedoch langsam. Zurzeit stehen beispielsweise vielen Computernutzern, insbesondere Privatnutzern, für die Übertragung von Daten im Internet lediglich 56K-Modems (mit 56 KB/s) zur Verfügung. Selbst bei Internetverbindungen mit größerer Bandbreite, die eine schnellere Datenübertragung erlauben, wird die Fähigkeit, extrem große Datendateien zu übertragen, nicht geboten.
In der US-amerikanischen Patentschrift 5.838.906 wird ein System dargelegt, das es dem Benutzer eines Browserprogramms in einem mit einem offenen verteilten Hypermedia-System verbundenen Client-Computer erlaubt, auf ein eingebettetes Programmobjekt zuzugreifen und es auszuführen. Nach dem Starten des Programmobjekts kann der Benutzer mit dem Objekt interagieren, da das System eine kontinuierliche Interprozesskommunikation zwischen dem Programmprojekt und dem Browserprogramm schafft. Eine Anwendung des eingebetteten Programmobjektes erlaubt es einem Benutzer, ein mehrdimensionales Bildobjekt innerhalb des Browserfensters zu betrachten, das medizinische Daten für einen Embryo darstellt. Der Benutzer kann ein Bedienfeld bedienen, um den zum Betrachten des Bildes verwendeten Betrachtungspunkt zu verändern. Infolgedessen berechnet ein Remote-Server oder andere Remote-Computer die Darstellungsveränderungen. Haben der Remote-Server oder andere Remote-Computer einmal die neue Ansicht berechnet, werden die Bilddaten für die neue Ansicht über ein Netzwerk zu der Anwendung im Client gesendet, so dass die Anwendung das Darstellungsfenster aktualisieren kann, das aktuell das Embryobild zeigt. Der Server kann die neue Ansicht als Rahmenpuffer- oder Rasteranzeigedaten, beispielsweise als Pixelwerte, an den Anwendungs-Client senden. Techniken, wie Datenkomprimierung und Deltacodierung, können eingesetzt werden, um die Daten vor der Übertragung über das Netzwerk zu komprimieren.
Dementsprechend ist es wünschenswert, ein System zu entwickeln, das es Benutzern erlaubt, Bilder über Netzwerke, einschließlich des Internets, zu übertragen, ohne große Datendateien per E-Mail schicken zu müssen. Es ist ebenfalls wünschenswert, ein System zu entwickeln, das es Benutzern ermöglicht, diese Bilder als dynamische Bilder zu bearbeiten.
ZUSAMMENFASSUNG DER ERFINDUNG
Ein Bildübertragungsobjekt schafft den notwendigen Mechanismus, um einen dynamischen Übertragungsvorgang durchzuführen. Das Bildübertragungsobjekt umfasst mindestens einen statischen Verweis auf dynamische Daten, beispielsweise Bilddaten. Ein Bilder empfangender Computer empfängt den statischen Verweis, um ein oder mehrere Quellenbilder auf einem Server zu identifizieren. Zum Initiieren des dynamischen Übertragungsvorgangs erzeugt der Bilder empfangende Computer eine erste auf dem statischen Verweis basierende Anforderung für eine Ansicht des/der Quellenbildes/-bilder an den Server. Als Reaktion sendet der Server Daten zum Bilder empfangenden Computer. Der Bilder empfangende Computer zeigt die erste Ansicht des Quellenbildes zur Betrachtung durch den Benutzer an. Die Bilddaten sind insofern „dynamisch", als der Benutzer zusätzliche Ansichten des Bildes anfordern kann. Zu diesem Zweck wählt der Benutzer ein anderes Teilstück des Quellenbildes und/oder eine andere Auflösung aus, um eine zweite Ansicht des Quellenbildes zu kennzeichnen. Der Bilder empfangende Computer erzeugt eine zweite Anforderung an den Bildserver für die zweite Ansicht, und der Bildserver sendet zusätzliche Daten, um die zweite Ansicht des Quellenbildes zu erzeugen. Danach wird die zweite Ansicht des Quellenbildes auf dem Bilder empfangenden Computer angezeigt.
Die Erfindung legt ein Verfahren zum Übertragen einer Vielzahl von Ansichten eines Quellenbildes an einen Empfangscomputer dar, wie es in Anspruch 1 beschrieben ist.
Ein Absender des Bildes kann einen Kontext für das Bild (d.h. eine erste Ansicht) über jegliche Mittel zum Empfänger senden. Bei einem Ausführungsbeispiel sendet der Absender den statischen Verweis und das Bildübertragungsobjekt per E-Mailan einen Empfangscomputer. Bei anderen Ausführungsbeispielen empfängt der Empfangscomputer den statischen Verweis und das Bildübertragungsobjekt durch Herunterladen des statischen Verweises von einer Website.
Bei einem Ausführungsbeispiel legt das Bildübertragungsobjekt ebenfalls fest, ob irgendwelche zusätzlichen Softwarekomponenten erforderlich sind, um den dynamischen Bildübertragungsvorgang durchzuführen. Wenn zusätzliche Softwarekomponenten erforderlich sind, überträgt ein Server die zusätzlichen Softwarekomponenten zum Durchführen der dynamischen Bildübertragung.
KURZE BESCHREIBUNG DER ZEICHNUNGEN
1 zeigt ein Ausführungsbeispiel zum Konfigurieren des Bildübertragungsobjektes der vorliegenden Erfindung in einem Client-Computer;
2a zeigt ein Ausführungsbeispiel für die dynamische Bildübertragung mit Hilfe des Bildübertragungsobjektes der vorliegenden Erfindung;
2b zeigt einen zweiten dynamischen Übertragungsvorgang für das Beispiel aus 2a zum Betrachten eines anderen Teilstückes des Quellenbildes;
3 zeigt einen Ablaufplan, der ein Ausführungsbeispiel für die dynamische Bildübertragung mit Hilfe des Bildübertragungsobjektes der vorliegenden Erfindung darstellt;
4a zeigt ein Ausführungsbeispiel zum Übertragen eines Bildes und einer Ansicht an einen Bildempfänger;
4b zeigt ein weiteres Ausführungsbeispiel zum Übertragen eines Bildes an einen Bilder empfangenden Computer;
4c zeigt ein drittes Ausführungsbeispiel zum Übertragen des Bildübertragungsobjektes der vorliegenden Erfindung an einen Client-Computer;
4d zeigt ein weiteres Ausführungsbeispiel zum Übertragen eines Bildes an einen Empfangscomputer;
5 zeigt ein Ausführungsbeispiel zum Verarbeiten von Quellenbildern für die Verwendung mit dem Bildübertragungsobjekt der vorliegenden Erfindung;
6a zeigt ein Beispiel für eine pyramidenförmige Datenstruktur; 6b zeigt Zerlegungen der dritten und vierten Ebene für das Quellenbild mit 4K × 4K aus 6a;
7a zeigt ein Quellenbild, das in eine Mallat-Struktur der ersten Ebene zerlegt wurde; und
7b zeigt ein Quellenbild, das in eine Mallat-Struktur der zweiten Ebene zerlegt wurde.
AUSFÜHRLICHE BESCHREIBUNG
Die vorliegende Erfindung schafft einen Mechanismus zum Übertragen eines statischen Verweises auf dynamische Daten. Bei einem Ausführungsbeispiel bestehen die dynamischen Daten aus Bilddaten. Für dieses Ausführungsbeispiel erlaubt es das Bildübertragungsobjekt einem Benutzer, das Bild zu durchsuchen, um verschiedene Ansichten zu erzielen (d.h. verschiedene Teilstücke des Bildes zu betrachten und das Bild mit verschiedenen Auflösungen zu betrachten). Das Bildübertragungsobjekt wird hier zwar für den Einsatz beim Betrachten von Bildern beschrieben, es kann jedoch jegliche Art von Daten verwendet werden. Das Bildübertragungsobjekt schließt sowohl die Funktionalität ein, ein Bild zu betrachten (d.h. den Viewer), als auch den statischen Verweis auf ein Bild. Wie weiter unten ausführlicher beschrieben, empfängt der Empfänger eines Bildes ein Bildübertragungsobjekt, konfiguriert einen dynamischen Bildvorgang durch die Verwendung des Bildübertragungsobjektes, empfängt eine erste Ansicht des Bildes und durchsucht das Bild, um verschiedene Ansichten zu erzielen.
Konfiguration des Bildübertragungsobjekts
1 zeigt ein Ausführungsbeispiel zum Konfigurieren des Bildübertragungsobjekts der vorliegenden Erfindung in einem Client. Wie in 1 dargestellt speichert ein Server 100 eine Vielzahl von Quellenbildern 110 und Bildübertragungs-Softwarekomponenten 120 oder greift auf sie zu. Die Quellenbilder 110 umfassen jegliche Bildart für die Verwendung bei den dynamischen Bildübertragungsvorgängen der vorliegenden Erfindung. Die Bildübertragungs-Softwarekomponenten 120 umfassen Softwaremodule, die erforderlich sind, um die dynamische Bildübertragung von Quellenbildern 110 durchzuführen.
Das Diagramm aus 1 zeigt eine Netzwerkkonfiguration zwischen Client(s) (d.h. den Clients 150 und 160) und einem Server (d.h. dem Server 100). Die Clients 150 und 160 empfangen ein Bildübertragungsobjekt. Im Allgemeinen schließt das Bildübertragungsobjekt (beispielsweise 170 oder 175) Daten, auch als Eigenschaften bezeichnet, und Vorgänge oder Verfahren ein. Bei einem Ausführungsbeispiel beinhaltet das Bildübertragungsobjekt als Eigenschaften eine Identifikation für eine Konfigurationssoftware (beispielsweise das Konfigurationsobjekt 125 in 1), eine Identifikation für (ein) Quellenbild(er) sowie eine Identifikation für eine erste Ansicht des Quellenbildes. Bei einem Ausführungsbeispiel beinhaltet das Bildübertragungsobjekt als Verfahren oder Eigenschaften Software zum Durchführen eines dynamischen Bildübertragungsprozesses, Software zum Konfigurieren ausführbarer Software im Client zum Durchführen eines dynamischen Bildübertragungsvorgangs oder Software zum Initiieren des Prozesses zum Konfigurieren ausführbarer Software im Client zum Durchführen des dynamischen Bildübertragungsvorgangs. Wie weiter unten ausführlicher beschrieben wird, erlauben es die dynamischen Bildübertragungsvorgänge dem Client, zumindest Teilstücke des Quellenbildes mit den gewünschten Auflösungen anzufordern.
Als erstes empfängt der Client zumindest ein minimales Bildübertragungsobjekt. Einige Ausführungsbeispiele zum Empfangen des Bildübertragungsobjektes im Client werden unten im Zusammenhang mit den 4a, 4b, 4c und 4d erläutert. Bei einem Ausführungsbeispiel empfangt der Client einen „Keim", um Prozesse in einem Server zum Konfigurieren von Software im Client aufzurufen. Wie in 1 dargestellt, umfasst der Server 100 ein Konfigurationsobjekt 125. Im Allgemeinen installiert das Konfigurationsobjekt 125 Software im Zusammenhang mit dem Bildübertragungsobjekt, um es dem Client zu erlauben, die dynamischen Bildübertragungsvorgänge durchzuführen. Für dieses Ausführungsbeispiel empfängt der Client als Teil des Bildübertragungsobjekts einen „Zeiger", um einen Prozess im Server aufzurufen. Für ein Ausführungsbeispiel, bei dem CORBA-Dienste für die dynamischen Bildübertragungsvorgänge genutzt werden, leitet der Client einen interoperativen Objektverweis (engl. interoperative object reference, IOR) weiter, um den Serverprozess (d.h. das Konfigurationsobjekt 125) aufzurufen. Mit diesem Zeiger stellt der Client (beispielsweise der Client 150 oder 160, 1) eine Proxy-Verbindung zu dem Server (beispielsweise dem Server 100, 1) her und ruft einen Prozess im Server (beispielsweise das Konfigurationsobjekt 125) auf, um ausführbare Software im Client vollständig zu konfigurieren. Beispielsweise kann der Client einen Remote-Prozeduraufruf (engl. remote procedure call, RPC) erzeugen, um den Prozess im Server aufzurufen. Der Client und der Server können jegliches Protokoll für diese erste Verbindung nutzen. Beispielsweise können der Client und der Server über ein Hypertext-Übertragungsprotokoll (engl. hypertext transfer protocol, http), Socket-Dienste, CORBA-Kommunikationsdienste (engl. common object request broker architecture) usw. kommunizieren. Die Ausführung des ersten Protokolls mit „http" umfasst jedoch eine breit installierte Computerbasis, die http-Übertragungen unterstützt.
Bei diesem Ausführungsbeispiel fragt der Serverprozess (beispielsweise das Konfigurationsobjekt 125) den Client (beispielsweise die Clients 150 und 160) ab, um sicherzustellen, dass der Client die erforderlichen Ressourcen besitzt, um die dynamischen Bildübertragungsvorgänge auszuführen. Beispielsweise nutzt das Bildübertragungsobjekt bei einem Ausführungsbeispiel zum Implementieren des dynamischen Übertragungsvorgangs Dienste von CORBA. Bei diesem Ausführungsbeispiel ermittelt das Bildübertragungsobjekt, ob die notwendigen CORBA-Komponenten beim Client verfügbar sind. Werden zusätzliche Softwarekomponenten benötigt, sendet der Server die Softwarekomponenten an den Client. Jeder Client kann in Abhängigkeit von der im Client installierten Software verschiedene Softwarekomponenten benötigen. Bei dem Ausführungsbeispiel des Bildübertragungsobjektes, das Dienste von CORBA nutzt, kann der Client 150 die notwendigen CORBA-Komponenten verarbeiten, während es der Client 160 nicht kann. Dies ist in 1 durch den Server 100 dargestellt, der Softwarekomponenten 130 an den Client 150 und Softwarekomponenten 140 an den Client 160 (d.h. verschiedene Softwarekomponenten) sendet. Die Kommunikation zwischen Client und Server kann jegliches Protokoll zum Übertragen der Softwarekomponenten nutzen, einschließlich des Dateiübertragungsprotokolls (engl. file transfer protocol, FTP), http, Socket-Dienste oder CORBA-Dienste.
Bei anderen Ausführungsbeispielen umfasst das Bildübertragungsobjekt die Funktionalität für den Client (beispielsweise die Clients 150 und 160) zu ermitteln, ob irgendwelche Softwarekomponenten notwendig sind, um die dynamischen Bildübertragungsvorgänge vollständig zu konfigurieren. Wenn zusätzliche Softwarekomponenten notwendig sind, fragt der Client (beispielsweise die Clients 150 und 160) den Server (beispielsweise den Server 100) durch die Erzeugung einer Proxy-Verbindung ab, um die notwendigen Softwarekomponenten zu empfangen. Wie oben beschrieben kann jegliches Softwareprotokoll verwendet werden, um die Softwarekomponenten zu übertragen, beispielsweise das Dateiübertragungsprotokoll (FTP).
Bei einem Ausführungsbeispiel umfasst das Bildübertragungsobjekt eine Dateninstanz, um den dynamischen Bildübertragungsvorgang für ein spezielles Bild durchzuführen und eine spezielle Ansicht innerhalb des Bildes zu identifizieren. Zur Durchführung dieser Funktionen umfasst das Bildübertragungsobjekt eine eindeutige Identifikation (engl. unique identification, UID), um ein oder mehrere Quellenbilder im Server zu identifizieren. Bei einem Ausführungsbeispiel identifiziert die UID eine Sammlung von Bildern. Bei diesem Ausführungsbeispiel ist eine zusätzliche Dateninstanz enthalten, um ein Quellenbild innerhalb der Sammlung von Quellenbildern zu identifizieren. In einer medizinischen Informatikanwendung, die unten beschrieben wird, umfasst die Sammlung von Quellenbildern medizinische Bilder (d. h. Bilder und Serien) für eine Patientenstudie.
Die erste Ansicht des Quellenbildes, die in dem Bildübertragungsobjekt identifiziert wurde, wird als „Anforderung" ausgedrückt. Der hier verwendete Begriff der „Ansicht" des Quellenbildes betrifft sowohl den Teil des Quellenbildes (d.h. das gesamte Quellenbild oder einen Teil davon) als auch die Auflösung des Quellenbildes. Wie weiter unten ausführlicher beschrieben wird, umfasst die Anforderung einen Satz von Koeffizientenkoordinaten, die auf die Pixelkoordinaten für die Anzeige beim Client abgebildet werden und zum Rekonstruieren der Ansicht des Quellenbildes erforderlich sind. Ferner umfasst das Bildübertragungsobjekt als Dateninstanz den Zeiger (beispielsweise IOR) zum Identifizieren des Konfigurationsobjektes im Server (d.h. das Konfigurationsobjekt 125 im Server 100, 1). Ferner kann der zum Konfigurieren des Objektes verwendete Server ein anderer Server als derjenige sein, der das/die Bild(er) speichert. Bei diesem Ausführungsbeispiel identifiziert die Dateninstanz auch eine Netzwerkadresse für den Bildserver.
Bei einem Ausführungsbeispiel umfasst der dynamische Bildübertragungsvorgang teilweise ausführbare Software, die als ein Microsoft^®-ActiveX-Steuerelement konfiguriert ist. Für dieses Ausführungsbeispiel ist das ActiveX-Steuerelement ein Ergänzungsmodul (engl. plug-in) zu einer Webbrowseranwendung. Im Besonderen implementiert das ActiveX-Steuerelement für den dynamischen Bildübertragungsvorgang eine Benutzerschnittstelle (innerhalb der Browseranwendung), Serveranforderungen basierend auf der Benutzerauswahl von Quellenbildansichten und die Bildrekonstruktion im Client. Ein Ausführungsbeispiel für die Implementierung einer Benutzerschnittstelle für den dynamischen Bildübertragungsvorgang ist in der gleichzeitig hiermit eingereichten US-amerikanischen Patentanmeldung mit der Seriennummer ... und dem Titel „User Interface for a Medical Informatics System" von den Erfindern Paul Joseph Chang M.D., Bradford V. Hebert und Ben McCurtain [Express Mail Label Nr. EL497530676US], beschrieben und wird ausdrücklich durch Nennung als hierin aufgenommen betrachtet. Als Teil der Konfigurationsprozesse besitzt der Client oder empfängt er von dem Server die Ressourcen, die erforderlich sind, um ein ActiveX- Steuerelement als ein ausführbares Ergänzungsmodul zu einer Webbrowseranwendung zu aktivieren. Der Client empfangt das ActiveX-Steuerelement ausführbar als Teil des Bildübertragungsobjektes oder lädt das ActiveX-Steuerelement ausführbar vom Server herunter.
Bei einem Ausführungsbeispiel nutzt der dynamische Bildübertragungsvorgang Kommunikationsressourcen von CORBA. Für dieses Ausführungsbeispiel erzeugt ein Client ein Ereignis, und der Server 100 beteiligt sich an diesem Ereignis. Es kann jedoch jeglicher Kommunikationsmechanismus zum Einrichten der Kommunikation zwischen mehreren Computern in einem Netzwerk genutzt werden. Beispielsweise können der Server und die Clients Socket-Dienste nutzen, die über Betriebssysteme auf Unix-Basis geliefert werden. Nach der Konfiguration des Bildübertragungsobjekts im Client besitzt der Client die notwendigen Komponenten, um den dynamischen Bildübertragungsvorgang durchzuführen.
2a zeigt ein Ausführungsbeispiel für die dynamische Bildübertragung, die das Bildübertragungsobjekt der vorliegenden Erfindung nutzt. 2a zeigt eine Vielzahl von pyramidenförmigen Datenbildern, auf die vom Server 100 zugegriffen werden kann. Wie weiter unten ausführlicher im Zusammenhang mit den 5 und 6 beschrieben wird, werden die Quellenbilder 110 in eine oder mehrere hierarchische oder pyramidenförmige Datendarstellungen zerlegt. Bei einem Ausführungsbeispiel bestehen die pyramidenförmigen Datendarstellungen der Quellenbilder 110 aus Transformationsdaten, die ausreichen, um das Quellenbild oder Teilstücke davon mit verschiedenen Auflösungen zu rekonstruieren. Das Bildübertragungsobjekt kann in der medizinischen Informatik angewendet werden. Bei dieser Anwendung stellen die Quellenbilder 110 digitalisierte medizinische Bilder dar, die in die hierarchische Darstellung zerlegt werden. Wie in 2a gezeigt, wird jedes pyramidenförmige Datenbild durch eine eindeutige Identifikationsnummer (UID) identifiziert, damit das Bild im Server eindeutig identifiziert wird.
Bei dem Beispiel aus 2a empfangt ein Client 160 als Teil des Bildübertragungsobjektes 170 eine Identifikation der pyramidenförmigen Datendarstellung 1 (d.h. UID1). Ebenfalls bei diesem Beispiel empfangt der Client 150 als Teil des Bildübertragungsobjektes 175 eine Identifikation der pyramidenförmigen Datendarstellung 2 (d.h. UID2). Das Bildübertragungsobjekt im Client 160 erzeugt eine Anforderung an den Server 100, um eine Ansicht des in dem Bildübertragungsobjekt identifizierten Quellenbildes zu erhalten. Im Besonderen erzeugt der Client 160 bei diesem Ausführungsbeispiel eine Anforderung an den Server 100, um Transformationsdaten zu erhalten, die ausreichen, um diese Ansicht im Client 160 zu rekonstruieren. Dieser Vorgang ist in 2a dadurch dargestellt, dass der Client die „Anforderung A" für ein Bild UID1 sendet und der Server 100 „Transformationsdaten A" für das Bild UID1 überträgt. In gleicher Weise erhält der Client 150 seine Ansicht von dem Quellenbild UID2, indem er die „Anforderung X" für die pyramidenförmige Datendarstellung UID2 erzeugt und der Server 100 „Transformationsdaten X" überträgt. Die Transformationsdaten X umfassen Daten, die erforderlich sind, um die Ansicht im Client 150 zu rekonstruieren.
Das Bildübertragungsobjekt der vorliegenden Erfindung erlaubt es dem Bildempfänger, eine „Ansicht" eines von dem Bildabsender ausgewählten Bildes zu empfangen. Diese Ansicht ist jedoch kein statisches Bild, sondern ein dynamisches Bild. Nach dem Betrachten der ersten Ansicht kann der Client Anforderungen erzeugen, um andere Ansichten des Bildes zu empfangen (d.h. andere Teilstücke des Quellenbildes zu empfangen und/oder das Quellenbild mit anderen Auflösungen zu betrachten). Dadurch wird eine echte dynamische Umgebung geschaffen, bei der der Bildempfänger lediglich einen ersten „Zeiger" auf die erste Ansicht empfängt und der Bildempfänger dann das Quellenbild durchgehen kann, um so viele verschiedene Ansichten des Quellenbildes zu betrachten wie er wünscht.
2b zeigt einen zweiten dynamischen Übertragungsvorgang für das Beispiel aus 2a, um ein anderes Teilstück des Quellenbildes zu betrachten. Im Besonderen erzeugt der Client 160 bei diesem Beispiel eine „Anforderung B", eine andere Anforderung als die „Anforderung A", um eine zweite Ansicht des Quellenbildes 1 (d.h. UID1) zu empfangen. Der Server 100 sendet seinerseits „Transformationsdaten B" zum Client 160, um die Rekonstruktion der zweiten Ansicht des Quellenbildes im Client 160 zu erlauben. In gleicher Weise erzeugt der Client 150 bei diesem Beispiel eine Anforderung für eine zweite Ansicht von UID2, die „Anforderung Y", und empfangt vom Server 100 die „Transformationsdaten Y".
3 zeigt einen Ablaufplan, der ein Ausführungsbeispiel für eine dynamische Bildübertragung zeigt, die das Bildübertragungsobjekt der vorliegenden Erfindung nutzt. Der Client empfangt ein lokales Bildobjekt (Block 200, 3). Das „lokale" Bildobjekt enthält mindestens die Daten, die erforderlich sind, um ein Quellenbild zu identifizieren, eine erste Ansicht des Quellenbildes, Verfahren zum Implementieren des dynamischen Bildübertragungsvorgangs sowie Verfahren zum Beschaffen der Softwarekomponenten, die erforderlich sind, um das Bildübertragungsobjekt vollständig zu installieren. Der Client ermittelt über das Bildübertragungsobjekt, ob der Client die erforderlichen Ressourcen besitzt, um das Bildübertragungsobjekt auszuführen. Bei einem Ausführungsbeispiel wird das Bildübertragungsobjekt beispielsweise als ein ActiveX-Steuerelement implementiert. Bei diesem Ausführungsbeispiel benötigt der Client-Computer Software, um das Bildübertragungsobjekt als ein ActiveX-Ergänzungsmodul ausführen zu lassen. Bei einem Ausführungsbeispiel implementiert das Bildübertragungsobjekt auch CORBA-Dienste, um die Kommunikation zwischen dem Client und dem Server für die dynamische Bildübertragung herzustellen. Bei diesem Ausführungsbeispiel stellt der Client fest, ob er die erforderlichen CORBA-Dienste besitzt, um das Kommunikationsprotokoll zu implementieren. Benötigt der Client keine zusätzlichen Softwarekomponenten, dann kann das Bildübertragungsobjekt im Client zum Durchführen des dynamischen Bildübertragungsprozesses installiert werden. Benötigt der Client zusätzliche Softwarekomponenten, dann stellt der Client eine Proxy-Verbindung zum Server her (Blöcke 210 und 215, 3). Der Client stellt eine Proxy-Verbindung zum Server mit Hilfe des interoperativen Objektverweises (IOR) her, um das Konfigurationsobjekt 125 (1) im Server 100 zu identifizieren. Über diesen Dialog fordert der Client die erforderlichen Softwarekomponenten vom Server an (Block 215, 3). Der Server sendet dann die erforderlichen Softwarekomponenten zum Client (Block 220, 3). Nach dem Empfang installiert der Client die Softwarekomponenten und besitzt somit die erforderlichen Ressourcen, um die dynamische Bildübertragung durchzuführen (Block 225, 3).
Aus den eingekapselten Daten sendet das Bildübertragungsobjekt 170 eine Anforderung für die Ansicht zum Server, die aus der UID (die beispielsweise eine Identifikation eines Quellenbildes für eine Sammlung von Quellenbildern enthält) und einem Satz von Koeffizientenkoordinaten besteht (Block 230, 3). Auf diese Anforderung hin lokalisiert der Server das Bild anhand der UID und sendet Transformationsdaten zum Client für die Ansicht des durch die Koeffizientenkoordinaten der Anforderung definierten Quellenbildes (Block 240, 3). Mit den Transformationsdaten rekonstruiert der Client die Ansicht des Quellenbildes (Block 250, 3). Möchte der Bildempfänger eine andere Ansicht des Quellenbildes betrachten, dann wird eine neue Ansicht im Bilder empfangenden Computer erzeugt, Transformationsdaten werden übertragen, und eine neue Ansicht wird im empfangenden Client-Computer rekonstruiert (Blöcke 260, 230, 240 und 250, 3).
Senden des Bildübertragungsobjektes
4a zeigt ein Ausführungsbeispiel zum Übertragen eines Bildes und einer Ansicht an einen Bildempfänger. Bei diesem Ausführungsbeispiel erzeugt ein Bilder sendender Computer 400 ein Bildübertragungsobjekt 170 und hängt das Bildübertragungsobjekt 170 an eine E-Mail 410 an. Die E-Mail 410 wird mit dem Bildübertragungsobjekt 170 als Anhang über ein Netzwerk an den Bilder empfangenden Computer 430 gesendet. Das Netzwerk 420 kann ein öffentliches paketbasiertes Netzwerk (d.h. IP), beispielsweise das Internet, ein öffentliches Paketvermittlungsfernsprechnetz (engl. public switching telephone network, PSTN) oder jegliches private lokale Netz oder Weitverkehrsnetz sein. Somit empfängt bei dem Ausführungsbeispiel aus 4a der Bilder empfangende Computer 430 das Bildübertragungsobjekt 170 per E-Mail.
4b zeigt ein weiteres Ausführungsbeispiel zum Übertragen eines Bildes an einen Bilder empfangenden Computer. In diesem Beispiel umfasst der Bilder empfangende Computer 430 bereits das Bildübertragungsobjekt 170. Der Bildabsender, dem bewusst ist, dass der Bilder empfangende Computer 430 den dynamischen Bildübertragungsprozess ausführen kann, sendet eine E-Mail 440. Wie in 4b dargestellt, enthält die E-Mail 440 eine Identifikation eines Quellenbildes und einer Ansicht dieses Quellenbildes. Im Besonderen enthält die E-Mail 440 bei diesem Ausführungsbeispiel eine UID, die das/die Quellenbild(er) im Server identifiziert, und eine Anforderung für eine dynamische Bildübertragung. Die Anforderungen für dynamische Bildübertragungen enthalten einen Satz von Koeffizientenkoordinaten, die erforderlich sind, um das gewünschte Bild im Bilder empfangenden Computer zu rekonstruieren. Die E-Mail 440 kann über jegliche Art von Netzwerk übertragen werden, einschließlich einem öffentlichen Paketvermittlungsfernsprechnetz (engl. public switching telephone network, PSTN) oder einem öffentlichen oder privaten paketbasierten Netzwerk (IP).
4c zeigt ein drittes Ausführungsbeispiel zum Übertragen des Bildübertragungsobjektes der vorliegenden Erfindung an einen Client-Computer. Bei diesem Ausführungsbeispiel geht ein Client-Computer (d.h. der Bilder empfangende Computer 430), der Browsersoftware für das Web (d.h. das Internet) nutzt, auf eine Internet-Website oder zu einem anderen Netzwerkort. 4c zeigt, dass ein Server 480 eine Website 460 unterstützt. Der Server 480 kann unabhängig von dem für die Übertragung von Bilddaten zum Client verwendeten Bildserver sein. Als Alternative können die Server zusammenarbeiten. Bei diesem Ausführungsbeispiel wird das Bildübertragungsobjekt 170 von der Website in den Bilder empfangenden Computer 430 herunter geladen. Wiederum kann jegliche Art von Netzwerk für den Zugriff auf den Netzwerkort (beispielsweise die Website) verwendet werden.
4d zeigt ein weiteres Ausführungsbeispiel zum Übertragen eines Bildes zu einem Empfangscomputer. Bei diesem Ausführungsbeispiel hat der Bilder empfangende Computer 430 bereits Zugang zum Bildübertragungsobjekt 170, um den dynamischen Bildübertragungsprozess auszuführen. Eine Identifikation eines Quellenbildes und einer Ansicht innerhalb des Quellenbildes ist auf der Website 460 gespeichert. Der Benutzer am Bilder empfangenden Computer 430 lädt die Informationen zu Quellenbild und Ansicht herunter. Dies ist in 4d durch die Übertragung von [UID, Anforderung] von einer Website 460 an den Bilder empfangenden Computer 430 dargestellt. Dieses Verfahren kann sowohl in öffentlichen als auch in privaten Netzwerken angewendet werden. Beispielsweise kann eine Immobilien-Website Fotografien von zum Verkauf angebotenem Immobilien enthalten. Anhand der Ausführungsbeispiele aus den 4c und 4d kann ein Benutzer über einen Webbrowser Bilder (beispielsweise Fotografien einer gewünschten Immobilie) auswählen und über das Bildübertragungsobjekt gewünschte Ansichten des ausgewählten Bildes betrachten. Dementsprechend ermöglicht dies die Integration des dynamischen Bildübertragungssystems in eine Standard-Webanwendung.
Sicherheit und Validierung
Bei einem Ausführungsbeispiel implementiert das Bildübertragungsobjekt der vorliegenden Erfindung eine Zugriffskontrolle auf Bilder. Bei diesem Ausführungsbeispiel werden die in dem Bildübertragungsobjekt eingekapselten Daten (beispielsweise der Zeiger auf das Konfigurationsobjekt, die UID des Bildes und die Ansicht des Bildes) in Klartext gesendet. Somit ist im Bilder sendenden Computer keine zusätzliche Verarbeitung erforderlich, um das Bildübertragungsobjekt zu verschlüsseln, und im Bilder empfangenden Computer ist keine zusätzliche Verarbeitung erforderlich, um das Bildübertragungsobjekt zu entschlüsseln. Stattdessen wird im Bildserver eine Zugriffskontrolle durchgeführt. Im Besonderen fordert bei einem Ausführungsbeispiel, wenn der Bilder empfangende Computer das Betrachten des Bildes anfordert, der Bildserver vom Bildempfänger eine Anmeldeprozedur. Die Zugriffskontrolle im Bildserver kann auf jegliche Art implementiert werden.
Das Zugriffskontrollsystem im Bildserver kann mehrere Sicherheitsebenen beinhalten. Beispielsweise validiert das Zugriffskontrollsystem im Bildserver als erste Sicherheitsebene den Benutzer als einen Benutzer mit Zugriffsrechten zum Bildserver. Diese Funktion kann über eine wohl bekannte Benutzeranmeldeprozedur implementiert werden, bei der der Benutzer einen Namen und ein Passwort eingibt, und das Zugriffskontrollsystem ermittelt, ob die Kombination aus Benutzer und Passwort gültig ist. Als zweite Sicherheitsebene wird ein Zugriffskontrollmechanismus auf Bildebene implementiert. Bei einem Ausführungsbeispiel gibt der Bilder empfangende Computer zum Betrachten eines Bildes dem Bildserver die UID des Bildes an. Das Zugriffskontrollsystem ermittelt dann, ob der Benutzer berechtigt ist, dieses Bild zu betrachten. Diese Sicherheitsebene kann ähnlich wie ein Dateizugriffskontrollsystem in Dateiservern implementiert werden. Als dritte Sicherheitsebene wird ein Zugriffskontrollmechanismus auf der Betrachtungsebene implementiert. Ein Bild kann beispielsweise nicht-sichere Informationen enthalten, wenn es mit einer geringen Auflösung betrachtet wird, jedoch kann das Bild sichere Informationen enthalten, wenn es mit einer höheren Auflösung betrachtet wird. Somit kann die Zugriffskontrolle so implementiert werden, dass sie es einem Benutzer erlaubt, lediglich ausgewählte Ansichten des Bildes zu erhalten.
Dynamisches Bildübertragungssystem
5 zeigt ein Ausführungsbeispiel zum Verarbeiten von Quellenbildern für die Verwendung mit dem Bildübertragungsobjekt der vorliegenden Erfindung. Bei einem Ausführungsbeispiel ist das dynamische Bildübertragungssystem Teil eines medizinischen Informatiksystems. Bei diesem Ausführungsbeispiel umfasst ein medizinisches Informatiksystem 500 die Bildgebungsvorrichtung 505 zum Erzeugen von Quellenbildern 515, die in elektronischer Form in einem Bildarchiv 512 gespeichert werden. Das Bildarchiv 512 enthält elektronische Speicherkomponenten, beispielsweise Festplatten- und Bandlaufwerke, die dazu verwendet werden, die Bilder auf hochgradig zuverlässige Art zu speichern. Die Bilder werden in einem geeigneten Archivierungsformat, beispielsweise dem DICOM-Format, gespeichert. Die Bildgebungsvorrichtung 505 umfasst jegliche Art von Vorrichtung zur Erzeugung von Bildern, einschließlich medizinischer Vorrichtungen (beispielsweise Röntgenvorrichtungen, CT-Scanner und MR-Scanner).
Bei nichtmedizinischen Informatikanwendungen empfängt das dynamische Bildübertragungssystem als Eingangsdaten die Quellenbilder 515 und erzeugt als Ausgangsdaten die pyramidenförmige Datenstruktur 535. Das dynamische Bildübertragungssystem 500 umfasst mindestens einen Bildserver 100. Die pyramidenförmige Datenstruktur 535 wird im Bildserver 100 gespeichert. Der Bildserver 100 ist mit einem oder mehreren Client-Computern über eine direkte oder eine Netzwerkverbindung verbunden (siehe 1, 2a und 2b).
Bei einem Ausführungsbeispiel sendet der Bildserver 100 an die Client-Computer (beispielsweise 150 und 160) Transformationen der Quellenbilder 515 („Transformationsdaten"), die als pyramidenförmige Datenstruktur 535 gespeichert werden, um Bilder und Teilbilder in den Client-Computern neu zu erstellen. Der Bildserver 100 überträgt lediglich die Koeffizientendaten, die erforderlich sind, um ein angefordertes Bild im/in den Client(s) zu rekonstruieren und implementiert dadurch ein Just-in-Time-Datenbereitstellungssystem. Der dynamische Bildübertragungsvorgang ermöglicht die Nutzung Netzwerkes mit mäßiger Bandbreitenkapazität und bietet gleichzeitig geringe Latenzzeiten bei der Übertragung von großen Datendateien vom Bildserver 100 an die Client-Computer (beispielsweise den Clients 150 und 160, 1). Das Netzwerk für das dynamische Bildübertragungssystem kann beispielsweise ein Ethernetmedium (10baseT) oder ein ISDN-Übertragungsmedium nutzen. Ungeachtet dessen kann jegliches Netzwerk einschließlich Weitverkehrsnetzen (WAN) und lokalen Netzwerken (LAN) genutzt werden, ohne dass vom Wesen und dem Rahmen der Erfindung abgewichen wird.
Bei der medizinischen Informatikanwendung verarbeitet das medizinische Informatiksystem 500 ein oder mehrere Quellenbilder 515. Im Allgemeinen umfasst/umfassen das/die Quellenbild(er) 515 ein digitalisiertes medizinisches Bild, das von medizinischen Instrumenten erzeugt wird (beispielsweise ein Mammogramm, Röntgenbild, MR-Bild, CATSCAN usw.).
Wie in 5 dargestellt, wird/werden das/die Quellenbild(er) (515), ob sie nun medizinische Bilder oder andere Arten von Bildern sind, in die Zerlegungsverarbeitungseinheit 525 eingegeben. Im Allgemeinen transformiert die Zerlegungsverarbeitungseinheit 525 die Quellenbilder 515 in die pyramidenförmige Datenstruktur 535. Im Allgemeinen umfasst die pyramidenförmige Datenstruktur 535 eine hierarchische Darstellung des Quellenbildes. Jede Ebene der hierarchischen Darstellung reicht aus, um das Quellenbild mit einer gegebenen Auflösung zu rekonstruieren. Bei einem Ausführungsbeispiel nutzt die Zerlegungsverarbeitungseinheit 525 eine Teilbandzerlegung, um die hierarchische Darstellung zu erzeugen. Im Allgemeinen besteht die Teilbandzerlegung aus dem Ausführen eines Prozesses zum Trennen von „Hochpass"-Informationen von „Tiefpass"-Informationen. Bei dem Ausführungsbeispiel mit Teilbandzerlegung umfasst die Zerlegungsverarbeitungseinheit 525 einen Filter mit endlicher Impulsantwort (engl. finite impulse response, FIR).
Bei einem Ausführungsbeispiel, das die Teilbandzerlegung nutzt, verwendet die Zerlegungsverarbeitungseinheit 525 Wavelet-(„kleine Welle") Transformationen, die eine untergeordnete Klasse der Teilbandzerlegungstransformation sind. Im Allgemeinen kann die Wavelet-Transformation so ausgewählt werden, dass die Kerne eine ausreichende Menge von Bildinformationen in den Termen oder Koeffizienten zusammenfassen. Im Besonderen werden die Informationen in der LL-(Low Low) Komponente der Zerlegung zusammengefasst. Bei einem Ausführungsbeispiel werden die Kerne der Wavelet-Transformation so ausgewählt, dass die Recheneffizienz der Transformation mit Optimierung der zusammengefassten Informationen in den Tiefpasskomponenten ausgeglichen wird. Diese Eigenschaft von Wavelet-Transformationen ermöglicht die Übertragung und anschließende Anzeige von einer guten Darstellung des Quellenbildes mit einer speziellen Auflösung, wobei gleichzeitig die Recheneffizienz der Transformation aufrechterhalten wird.
Das Ausführungsbeispiel mit der Wavelet-Transformationsfunktion erzeugt mathematisch unabhängige Informationen auf den Ebenen der hierarchischen Darstellung. Dementsprechend existieren keine redundanten Informationen in der pyramidenförmigen Datenstruktur 535. Somit ist die pyramidenförmige Datenstruktur 535 nicht nur eine mehrfache Replikation des Quellenbildes mit verschiedenen Auflösungen, die aus redundanten Informationen besteht, sondern enthält eindeutige Daten auf den verschiedenen Ebenen der hierarchischen Darstellung. Die mathematische Unabhängigkeit der Wavelet-Transformation ermöglicht es, die über ein Netzwerk übertragene Datenmenge zu minimieren, indem lediglich die Übertragung von „zusätzlichen Daten" gefordert wird, die noch nicht vom Server zum Computer übertragen wurden und notwendig sind, um ein gegebenes Bild zu konstruieren. Die Wavelet-Transformationen sind insofern verlustfrei, als keine Daten von dem ursprünglichen Quellenbild bei der Zerlegung in die pyramidenförmige Datenstruktur 535 verloren gehen. Dementsprechend findet das dynamische Übertragungssyntaxsystem Anwendung bei der medizinischen Bildgebung.
Bei einem Ausführungsbeispiel werden bei der Wavelet-Transformation (d.h. in der Zerlegungsverarbeitungseinheit 525) Festkommakerne verwendet. Die Verwendung von Festkommakernen erzeugt Koeffizienten für die pyramidenförmige Datenstruktur, die eine einfache Implementierung in einen Standardpixel-Fußabdruck (engl. footprint) ermöglicht. Die Wavelet-Transformation, eine räumliche Transformation, erzeugt eine Dynamikbereich der LL-Komponente, der dem Dynamikbereich des Quellenbildes entspricht. Aufgrund dieser Eigenschaft enthält die LL-Komponente keine Überschwingungs- oder Unterschwingungskomponenten. Infolgedessen wird die Verwendung von Festkommakernen bevorzugt, da kein Normalisierungsprozess zum Umwandeln des transformierten Dynamikbereichs in den Pixel-Dynamikbereich erforderlich ist.
Bei diesem Ausführungsbeispiel nutzt das dynamische Bildübertragungssystem 500 direkt die Transformationskoeffizienten als Pixel, ohne die Koeffizienten erneut zu skalieren. Das Spektrum der Hochpasskomponenten (d.h. der Komponenten LH (low high), HL (high low) und HH (high high)) ist das Spektrum der Eingangsquellendaten plus zwei Bits pro Koeffizient. Diese Eigenschaft ermöglicht die Abbildung aller Komponenten (d.h. der Hoch- und Tiefpasskomponenten) auf einen gegebenen Pixelfußabdruck.
Die Nutzung der Wavelet-Transformation zum Erzeugen der pyramidenförmigen Datenstruktur bietet eine skalierbare Lösung für die Übertragung verschiedener Teilstücke einer großen Datendatei. Wenn das Quellenbild 515 in die pyramidenförmige Datenstruktur 535 zerlegt wird, werden Teilbilder und Teilauflösungsbilder direkt aus dem Speicher des Bildservers 100 extrahiert. Der Bildserver sendet dann lediglich die Daten in Form von physischen Koeffizienten, die erforderlich sind, um die genaue Größe des gewünschten Bildes zur Anzeige beim Client zu rekonstruieren. Dementsprechend ist das Mehrfachauflösungsformat implizit in der pyramidenförmigen Datenstruktur.
Eine Wavelet-Transformation ist eine räumliche Transformation. Im Allgemeinen werden bei einer räumlichen Transformation die Informationen so zusammengefasst, dass die Vorhersagbarkeit der Geometrie des Quellenbildes erhalten bleibt. Beispielsweise können bei der Verwendung einer Wavelet-Transformation mit Festkommakernen spezifische Koeffizienten der Transformationsdaten identifiziert werden, die zu spezifischen geometrischen Merkmalen des Quellenbildes beitragen (d.h. ein vorher festgelegtes Teilstück eines Quellenbildes kann in den Transformationsdaten direkt identifiziert werden). Bei einem weiteren Ausführungsbeispiel verwenden die Wavelet-Transformationen Gleitkommakerne.
Bei anderen Ausführungsbeispielen kann die Wavelet-Transformation dazu verwendet werden, Multispektral-Transformationsdaten zu erzeugen. Im Allgemeinen fassen Multispektral-Transformationsdaten mehrere Komponenten des Quellenbildes in einem Vektor für die Transformationsdaten zusammen. Durch die Verwendung von Multispektral-Transformationsdaten kann die Wavelet-Transformation mehrdimensionale (beispielsweise zweidimensionale, dreidimensionale usw.) Daten für ein Quellenbild zusammenfassen. Beispielsweise können mehrdimensionale Transformationsdaten dazu verwendet werden, ein Quellenbild in drei Dimensionen zu rekonstruieren. Die Multispektral-Transformationsdaten können ferner jegliche Art von Attribut zum Anbinden an das Quellenbild umfassen, beispielsweise Farbvariationen und/oder nicht sichtbare Komponenten (beispielsweise Infrarotkomponenten).
Im Allgemeinen wird die Transformation zum Erzeugen der pyramidenförmigen Datenstruktur 535 auf die Spalten angewendet, und dann wird diese Transformation oder eine andere Transformation auf die Zeilen angewendet. Die Auswahl der Transformation für die Zerlegungsverarbeitungseinheit 525 hängt von den speziellen Eigenschaften der gewünschten pyramidenförmigen Datenstruktur ab. Jede Ebene der pyramidenförmigen Datenstruktur wird erzeugt, indem der Tiefpass, LL (low low), der vorhergehenden höheren Ebene wiederholt wird. Diese Wiederholung wird fortgesetzt, bis eine vorher festgelegte Größe erreicht ist. Bei einem Ausführungsbeispiel besteht beispielsweise die unterste Ebene in der pyramidenförmigen Datenstruktur für ein Quellenbild mit einem Seitenverhältnis von 1:1 aus einer Tiefpasskomponente von 128 × 128. Es kann jedoch jegliche Auflösungsgranularität für die Verwendung in einer pyramidenförmigen Datenstruktur erzeugt werden, ohne dass vom Wesen oder vom Rahmen der Erfindung abgewichen wird. Es kann ferner jeglicher Quadrant im Wiederholungsprozess mit jeglicher gewünschten Transformation verwendet werden.
6a zeigt ein Beispiel für eine pyramidenförmige Datenstruktur. Bei diesem Beispiel umfasst das Quellenbild ein Bild von 4K × 4K. Die Zerlegungsverarbeitungseinheit 525 erzeugt bei einer ersten Iteration eine Mallat-Struktur der ersten Ebene. Im Besonderen wird, wie in 6a dargestellt, eine Tiefpasskomponente LL (low low) erzeugt, die aus einem Teilbild von 2K × 2K besteht. Die Hochpasskomponenten, die aus LH (low high), HH (high high) und HL (high low) bestehen, enthalten physische Koeffizientenkoordinaten (beispielsweise ist die obere rechte Koordinate für das Rechteck, das die Komponente LH bildet, (4K, 0)).
6a zeigt ebenfalls eine Zerlegung der zweiten Ebene. Die zweite Iteration der Zerlegungsverarbeitungseinheit 525 wird an der Tiefpasskomponente (d.h. LL) der Daten der ersten Ebene durchgeführt. Bei der zweiten Ebene besteht die Tiefpasskomponente LL aus einem Teilbild mit 1K × 1K, wie sie in 6a gekennzeichnet ist. 6b zeigt Zerlegungen der dritten und vierten Ebene für das Quellenbild mit 4K × 4K aus 6a. Zum Erzeugen der Zerlegung der dritten Ebene arbeitet die Zerlegungsverarbeitungseinheit 525 an der Komponente LL der zweiten Ebene (d.h. dem Bild mit 1K × 1K). Bei der Transformation der dritten Ebene ist die Tiefpasskomponente LL ein Teilbild mit 512 × 512, wie es in 6a gekennzeichnet ist. 6b zeigt auch eine vierte Ebene der Zerlegung für das Quellenbild mit 4K × 4K. Bei der Transformation der vierten Ebene umfasst die Tiefpasskomponente ein Teilbild mit 256×256 Pixeln.
Innerhalb der durch die dynamische Bildübertragung beschriebenen Infrastruktur könnte jegliche Teilbandkern- oder Pyramidentransformation verwendet werden, jedoch weist ein ganzzahliger Kern ohne Koeffizientenwachstum im Tiefpassbereich insofern besondere Vorteile auf, als die Tiefpasskoeffizienten ohne Verarbeitung als Pixel genutzt werden können, und die Transformation kann im ganzzahligen Bereich exakt umgekehrt werden. Gleitkommakerne können zwar bessere Signalübertragungseigenschaften haben, jedoch stellen die zusätzlich erforderliche Verarbeitung für die Verwendung dieser Koeffizienten als Pixel und der Bedarf an zusätzlichen Speichermöglichkeiten, um eine perfekte Rekonstruktion sicherzustellen, einen Nachteil dar.
Der Kern besteht aus einem biorthogonalen Tiefpassfilter und einem biorthogonalen Hochpassfilter. Wenn die als {d_j} und [x] definierten Eingangsdaten als Ganzzahlfunktion definiert sind, lautet die Vorwärtstransformation: Low[j] = [(d2j + d2j+1)/2] High[2] = d2j – d2j+1 + Poly[j] Poly[j] = [(3·Low[j-2] – 22·Low[j-1] + 22·Low[j+1] – 3·Low[j+2] + 32)/64]
Die umgekehrte Transformation, die zum Rekonstruieren des Bildes verwendet wird, lautet: d2j = Low[j] + [(High[j] – Poly[j] + 1)/2] d2j+1 = Low[j] – [(High[j] – Poly[j])/2]
Wie oben erläutert, ist die Wavelet-Transformation eine räumliche Transformation, so dass die Informationen zusammengefasst werden, um die Vorhersagbarkeit der Geometrie des Quellenbildes zu erhalten. Somit sind die Koeffizientenkoordinaten, die ausreichen, um ein gewünschtes Bild oder Teilbild auf einer speziellen Ebene zu rekonstruieren, leicht zu identifizieren.
Eine vollständigere Beschreibung des dynamischen Übertragungsvorgangs ist in der vorläufigen US-amerikanischen Patentanmeldung mit dem Titel „Flexible Representation and Interactive Image Data Delivery Protocol", Seriennummer 60/091.697 , von den Erfindern Paul Joseph Chang und Carlos Bentancourt eingereicht am 3. Juli 1998, und in der US-amerikanischen Patentanmeldung mit dem Titel „Methods and Apparatus for Dynamic Transfer of Image Data", Seriennummer 09/339.077 , von den Erfindern Paul Joseph Chang und Carlos Bentancourt eingereicht am 23. Juni 1999, enthalten, die beide ausdrücklich durch Nennung als hierin aufgenommen betrachtet werden.
Dynamisches Bild
Hat der Benutzer am Bilder empfangenden Computer einmal die erste Ansicht eines Quellenbildes empfangen, möchte er eventuell das Quellenbild untersuchen, indem er andere Ansichten anfordert. Wie oben erläutert können die anderen Ansichten andere Teilstücke des Quellenbildes sowie andere Auflösungen des Quellenbildes umfassen. Der Benutzer ist somit nicht auf das Betrachten einer einzigen statischen Ansicht eingeschränkt. Stattdessen empfangt der Benutzer ein „dynamisches Bild", so dass er zusätzliche Anforderungen erzeugen kann, um andere Ansichten des Quellenbildes zu sehen.
7a zeigt ein Quellenbild, das in eine Mallat-Struktur der ersten Ebene zerlegt ist. Bei diesem Beispiel hat der Bildabsender eventuell eine Ausgabeanzeigevorrichtung (d.h. einen Computerbildschirm), der in der Lage ist, die Mallat-Ansicht der ersten Ebene des Quellenbildes anzuzeigen (d.h. einen Computerbildschirm, der in der Lage ist, ein Bild mit 512×1M Pixeln anzuzeigen). Bei diesem Beispiel möchte der Absender ferner einem Arbeitskollegen eine spezielle Ansicht senden, um ein spezielles Problem darzulegen. Zu diesem Zweck identifiziert der sendende Computer die Mallat-Transformation der ersten Ebene des Quellenbildes für eine Anzeige mit 1M×512. Der Bilder empfangende Computer besitzt eventuell jedoch einen Computerbildschirm mit einer geringeren Auflösung als die Anzeigeauflösung des Bilder sendenden Computers. Daher kann der Bilder empfangende Computer in diesem Beispiel die Ansicht des Quellenbildes, die von dem Bilder sendenden Computer identifiziert wurde, nicht anzeigen. Da das Bild ein dynamisches Bild ist, kann der Benutzer an dem Bilder empfangenden Computer eine andere Ansicht anfordern, die der geringeren Auflösung des Bildschirms des empfangenden Computers Rechnung trägt. Im Besonderen fordert bei diesem Beispiel der Bilder empfangende Computer Transformationsdaten vom Server an, die ausreichen, um das identifizierte Teilstück des Quellenbildes mit einer Auflösung von 512 x 256 anzuzeigen. Die Ansicht mit geringerer Auflösung ist in 7b dargestellt.
Anwendungen für das dynamische Bildübertragungssystem
Das Bildübertragungsobjekt der vorliegenden Erfindung findet Anwendung beim Einsatz in Karten und Diagrammen. Ein Bildabsender kann beispielsweise ein Bildübertragungsobjekt oder eine Bildidentifikation an den empfangenden Computer senden, um zu der physikalischen Adresse des Bildabsenders zu führen. Die Bildidentifikation kann aus einer Ansicht einer bestimmten Straße bestehen, die die genaue Straßenposition des Bildabsenders zeigt. Nachdem er die in der Bildidentifikation festgelegte Ansicht gesehen hat, möchte der Benutzer des Bilder empfangenden Computer eventuell einen besseren Zusammenhang für die genaue Straßenposition erhalten, indem er ein zweites Bild der Karte betrachtet, die die nächste Autobahn oder Hauptstraßen zeigt. Aus den aufeinander folgenden Ansichten kann der Bildempfänger zusätzliche Informationen gewinnen, die erforderlich sind, um vollständig zu der Position des Bildabsenders zu navigieren. Somit kann der Bildempfänger, wie es durch das obige Beispiel erläutert wurde, als ersten Startpunkt zum Übertragen von Informationen bezüglich des Quellenbildes eine spezielle Ansicht empfangen und nachfolgend über den dynamischen Bildübertragungsprozess nach Bedarf zusätzliche Ansichten des Quellenbildes erhalten.
Das Bildübertragungsobjekt der vorliegenden Erfindung findet Anwendung beim Einsatz in der medizinischen Bildgebung, der Teleradiologie und der medizinischen Informatik. Im medizinischen Bereich wird es immer mehr üblich, Bilder in digitaler Form mit Hilfe von Computertechnologie zu speichern, zu verteilen und zu betrachten. Die Bilddaten (d.h. die Quellenbilder) werden von Bildgebungsvorrrichtungen wie CT-Scannern oder MR-Scannern beschafft. Die Größe einer Datendatei für ein Bild variiert in Abhängigkeit von der Größe und Auflösung des Bildes. Eine typische Bilddatei für ein Röntgenbild der Brust mit Diagnosequalität liegt beispielsweise in der Größenordnung von 10 MB. Die Bilddatendateien werden normalerweise in einem Standard- oder allgemein anerkannten Format, beispielsweise dem DICOM-Format, formatiert. Bei der medizinischen Anwendung stellen die Quellenbilder 120 digitalisierte medizinische Bilder oder Serien dar, die von medizinischen Instrumenten erzeugt werden (beispielsweise Mammogramme, Röntgenbilder, MR-Bilder, CATSCAN usw.). Mit Hilfe des hier beschriebenen Bildübertragungsobjektes und der entsprechenden Verfahren werden medizinische Bilder und spezielle „Ansichten" von medizinischen Bildern unter Medizinern über Netzwerke verbreitet. Die Anwendung der medizinischen Bildgebung schafft eine Nicht-Echtzeit-Zusammenarbeit von medizinischen Bildern.

1

Source images: Quellenbilder
Image transfer software components: Bildübertragungs-Softwarekomponenten
Configuration object: Konfigurationsobjekt
Server: Server
Pointer: Zeiger
Client: Client
Image transfer object: Bildübertragungsobjekt

2a

Pyramidal data representation(s): pyramidenförmige Datendarstellung(en)
Request: Anforderung
Transform data: Transformationsdaten

3

Start
200: Client empfängt lokales Bildobjekt
210: Client benötigt zusätzliche Softwarekomponenten
Yes: Ja
No: Nein
215: Client stellt Proxy-Verbindung zu Server mit Hilfe von IOR her
215: Client fordert erforderliche Softwarekomponenten vom Server an
220: Server sendet erforderliche Softwarekomponenten zum Client
225: Client installiert Software, um dynamische Bildübertragung durchzuführen
230: Client sendet UID und Koeffizientenkoordinaten an den Server für das Bild
240: Server lokalisiert Bild aus UID und sendet an den Client Transformationsdaten für das durch die angeforderten Koeffizientenkoordinaten definierte Bild
250: Client rekonstruiert das Bild aus den Transformationsdaten
260: Neues Bild
End: Ende

4a

Network: Netzwerk
Image sender computer: Bilder sendender Computer
Image recipient computer: Bilder empfangender Computer

4c

Web site: Website

5

Image equipment: Bildgebungsvorrichtungen
Image archive: Bildarchiv
Decomposition processing: Zerlegungsverarbeitungseinheit
Pyramidal data structure: pyramidenförmige Datenstruktur
Image server: Bildserver
To clients: An die Clients

6a

Level: Ebene

7a

Hierarchical data structure: hierarchische Datenstruktur

Claims

Verfahren zum Übertragen einer Vielzahl von Ansichten eines Quellenbildes (110) an einen Bilder empfangenden Computer (150, 160, 430), wobei das genannte Verfahren folgende Schritte umfasst: in einem Bildserver (100, 400, 480) Transformationsdaten für mindestens ein Quellenbild (110) speichern, um die Rekonstruktion von zumindest Teilstücken des genannten Quellenbildes (110) mit unterschiedlichen Auflösungen zu erlauben; eine Identifikation von mindestens einer Ansicht des genannten Quellenbildes von einem Bildabsender an den genannten Bilder empfangenden Computer (150, 160, 430) senden; in dem genannten Bilder empfangenden Computer (150, 160, 430) aus der genannten Identifikation eine erste Anforderung nach Transformationsdaten an den genannten Bildserver (100, 400, 480) erzeugen, um die genannte Ansicht des genannten Quellenbildes (110) in dem genannten Bilder empfangenden Computer (150, 160, 430) zu rekonstruieren; die genannten Transformationsdaten, die von dem genannten Bildserver (100, 400, 480) angefordert wurden, an den genannten Bilder empfangenden Computer (150, 160, 430) senden; die genannte Ansicht des genannten Quellenbildes (110) in dem genannten Bilder empfangenden Computer (150, 160, 430) aus den genannten Transformationsdaten rekonstruieren; und die genannte Ansicht des genannten Quellenbildes (110) in dem genannten Empfangscomputer anzeigen.
Verfahren nach Anspruch 1, das ferner folgende Schritte umfasst: eine Eingabe von einem Benutzer an dem genannten Bilder empfangenden Computer (150, 160, 430) empfangen, um eine zweite Ansicht des genannten Quellenbildes auszuwählen; in dem genannten Bilder empfangenden Computer (150, 160, 430) eine zweiten Anforderung an den genannten Bilderserver (100, 400, 480) nach Transformationsdaten erzeugen, um die genannte zweite Ansicht des genannten Quellenbildes (110) in dem genannten Bilder empfangenden Computer (150, 160, 430) zu rekonstruieren; ausgehend von dem genannten Bildserver (100, 400, 480) zusätzliche Transformationsdaten senden, die noch nicht an den genannten Bilder empfangenden Computer (150, 160, 430) übertragen wurden, um aus den genannten zusätzlichen Transformationsdaten die genannte zweite Ansicht des genannten Quellenbildes (110) in dem genannten Bilder empfangenden Computer (150, 160, 430) zu rekonstruieren; und die genannte zweite Ansicht des genannten Quellenbildes (110) in dem genannten Empfangscomputer anzeigen.
Verfahren nach Anspruch 1 oder 2, wobei die genannten Transformationsdaten eine pyramidenförmige Datenstruktur des genannten Quellenbildes umfassen und die genannten Anforderungen nach Transformationsdaten eine Ebene der genannten pyramidenförmigen Datenstruktur des genannten Quellenbildes betreffen.
Verfahren nach einem der Ansprüche 1 bis 3, wobei das genannte Quellenbild (110) ein medizinisches Bild umfasst.
Verfahren nach einem der Ansprüche 1 bis 4, wobei der Schritt des Sendens einer Identifikation von mindestens einer Ansicht des genannten Quellenbildes (110) von einem Bildabsender an den genannten Bilder empfangenden Computer (150, 160, 430) den Schritt des Sendens der genannten Identifikation per E-Mail umfasst.
Verfahren nach einem der Ansprüche 1 bis 5, wobei der Schritt des Sendens einer Identifikation von mindestens einer Ansicht des genannten Quellenbildes (110) von einem Bildabsender an den genannten Bilder empfangenden Computer (150, 160, 430) folgende Schritte umfasst: Verbinden des genannten Bilder empfangenden Computers (150, 160, 430) mit einer Website und Empfangen der genannten Identifikation durch Herunterladen des genannten Bildübertragungsobjekts von der genannten Website.
Verfahren nach einem der Ansprüche 1 bis 6, das ferner folgende Schritte umfasst: in dem genannten Bilder empfangenden Computer (150, 160, 430) ein Bildübertragungsobjekt von dem genannten Bildabsender empfangen, wobei das Bildübertragungsobjekt das Verfahren und Daten umfasst, wobei die genannten Daten eine Identifikation von mindestens einer Ansicht des genannten Quellenbildes (110) umfassen; mit Hilfe der Nutzung des genannten Bildübertragungsobjekts ermitteln, ob irgendwelche zusätzlichen Softwarekomponenten erforderlich sind, um eine dynamische Bildübertragung durchzuführen; wenn zusätzliche Softwarekomponenten erforderlich sind, von einem Server die genannten zusätzlichen Softwarekomponenten anfordern, die erforderlich sind, um eine dynamische Bildübertragung durchzuführen; und in dem genannten Bilder empfangenden Computer (150, 160, 430) die genannten zusätzlichen Softwarekomponenten von dem genannten Server empfangen.
Verfahren nach einem der Ansprüche 1 bis 7, wobei die genannte Identifikation von mindestens einer Ansicht des genannten Quellenbildes (110) ein statischer Verweis zum Identifizieren der genannten Ansicht des genannten Quellenbildes (110) ist.