DE102007018034A1 - Automatische Bildanalyse und Quantifizierung für Fluoreszenz-In Situ-Hybridisierung - Google Patents

Automatische Bildanalyse und Quantifizierung für Fluoreszenz-In Situ-Hybridisierung Download PDF

Info

Publication number
DE102007018034A1
DE102007018034A1 DE102007018034A DE102007018034A DE102007018034A1 DE 102007018034 A1 DE102007018034 A1 DE 102007018034A1 DE 102007018034 A DE102007018034 A DE 102007018034A DE 102007018034 A DE102007018034 A DE 102007018034A DE 102007018034 A1 DE102007018034 A1 DE 102007018034A1
Authority
DE
Germany
Prior art keywords
cell
objects
class
sub
data network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
DE102007018034A
Other languages
English (en)
Inventor
Maria Athelogou
Gerd Binnig
Günter Schmidt
Tamara Manuelian
Joachim Diebold
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Definiens AG
Original Assignee
Definiens AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Definiens AG filed Critical Definiens AG
Publication of DE102007018034A1 publication Critical patent/DE102007018034A1/de
Ceased legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/695—Preprocessing, e.g. image segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30024—Cell structures in vitro; Tissue sections in vitro

Abstract

Ein bekanntes automatisiertes System zum Zählen von mittels FISH-Technik erzielten Fluoreszenzsignalen zählt Fluoreszenzsignale auf der Grundlage von zweidimensionalen Bildern, die durch Komprimieren einer dreidimensionalen Information erzielt werden. Das meiste der dreidimensionalen Information geht dabei verloren. Das neue System analysiert und zählt automatisch Fluoreszenzsignale, die in Gewebe, wie zum Beispiel Biopsiegewebe, vorhanden sind, das zum Beispiel unter Verwendung von FISH-Technik markiert worden ist. Klassen eines Klassennetzes und Prozessierungsschritte einer Prozessierungshierarchie werden spezifiziert. Danach werden Pixelwerte in Schnittbildern eines Gewebes dreidimensional erfasst. Eine Netzstruktur wird durch Verknüpfen der Pixelwerte mit Objekten eines Datennetzes auf der Grundlage des Klassennetzes und der Prozessierungshierarchie erzeugt. Objekte, denen Pixelwerte in verschiedenen Tiefen des Gewebes zugehörig sind, werden verwendet, um die Anzahl von Zellkomponenten, das Volumen von Zellkomponenten und die Distanz zwischen Zellkomponenten zu bestimmen. In einer Anwendung werden Fluoreszenzsignale gezählt, die Her-2/neu-Gene und Zentromere des Chromosoms siebzehn markieren, um Brustkrebs zu diagnostizieren. Einander überlappende oder von Zentromeren überdeckte Her-2/neu-Gene können genau gezählt werden. Keine Gene markierende Signalartefakte können durch ihr Volumen identifiziert werden.

Description

  • TECHNISCHES GEBIET
  • Die vorliegende Erfindung betrifft im Allgemeinen das Lokalisieren von spezifizierten Bildstrukturen in digitalen Bildern und genauer gesagt ein computerimplementiertes System zum automatischen Identifizieren und Quantifizieren von zellulären Strukturen, die zum Beispiel unter Verwendung von Fluoreszenz-in situ-Hybridisierung bzw. FISH markiert worden sind.
  • HINTERGRUND
  • Systeme zum Erfassen und Analysieren von Zielmustern in digitalen Bildern weisen eine große Vielfalt von Anwendungen auf. Eine derartige Anwendung ist die Analyse von anatomischen Bereichen in radiologischen Bildern. Zum Beispiel werden Systeme zum Analysieren von Computertomographie- bzw. CT-Bildern zum computergestützten Erfassen von krebsartigen Bereichen in menschlichen Brüsten und Lungen verwendet. Eine andere Verwendung von derartigen Bildanalysesystemen besteht darin, Zielmuster in biomedizinischen Bildern zu erfassen und zu analysieren, die von Mikroskopen, wie zum Beispiel konfokalen Mikroskopen, erzielt werden. Zum Beispiel verwenden Pathologen konfokale Mikroskope, um Zellen und deren Komponenten, wie zum Beispiel Organellen, Membranen, Zellkerne, Gene, Chromosomen und Makromoleküle, wie zum Beispiel RNA, DNA, Proteine und Peptide, zu analysieren. Eine derartige Bildanalyse wird nicht nur in der Diagnose und Prognose in Zusammenhang mit medizinischen Patienten, sondern ebenso in der Grundlagenforschung, Wirkstoffforschung und in klinischen Versuchen verwendet.
  • Die konfokale Mikroskopie bietet dadurch verschiedene Vorteile gegenüber herkömmlicher optischer Mikroskopie, dass eine größere Schärfentiefe zur Verfügung gestellt wird, dass der unscharfe grelle Schein bzw. "out-of-focus glare" beseitigt wird und dass es ermöglicht wird, serielle optische Schnitte von dicken Proben zu sammeln. Das konfokale Laserraster-Miroskop bzw. LSCM ist derzeit das weitverbreiteste konfokale Mikroskop für Anwendungen in der biomedizinischen Forschung. In den biomedizinischen Wissenschaften beinhaltet eine hauptsächliche Verwendung der konfokalen Mikroskopie das Abbilden von Zellen und Zellkomponenten, die mit Biomarkern, wie zum Beispiel Fluoreszenzsonden, markiert worden sind. Die konfokale Mikroskopie in Kombiniation mit in situ-Hybridisierungs- und Fluoreszenz-Techniken kann verwendet werden, um DNA- und RNA-Sequenzen in Chromosomen zu untersuchen und um Zellkomponenten, wie zum Beispiel Chromosome und Gene, zu analysieren. Eine derartige Technik zum Analysieren von Zellkomponenten ist die Fluoreszenz-in situ-Hybridisierung bzw. FISH. Bezüglich zusätzlichen Informationen über die FISH-Technik wird auf die US 2005/0265588 A1 verwiesen.
  • In einer spezifischen Anwendung wird FISH verwendet, um das Her-2/neu-Gen in Brustbiopsien zu analysieren und dadurch eine Diagnose- und Prognosemöglichkeit für Brustkrebs zur Verfügung zu stellen. Unter Verwendung von konfokaler Mikroskopie in Kombination mit FISH berechnet ein Pathologe das Ausmaß der Genamplifizierung als Grundlage für die Diagnose. In einer anerkannten diagnostischen Vorgehensweise analysiert der Pathologe ein Minimum von einhundert Zellen, um das Ausmaß der Amplifizierung zu berechnen. In diesem herkömmlichen Verfahren zählt der Pathologe manuell die markierten Chromosomen und Gene, die als "Fluoreszenzsignale" bezeichnet werden, in jedem der einhundert Zellkerne und berechnet danach die Verhältnisse der Gene zu den Chromosomen. Ein Nachteil dieses herkömmlichen Verfahrens besteht darin, dass selbst ein erfahrener Pathologe einige der Fluoreszenzsignale aufgrund von Ermüdung und Konzentrationsverlust übersehen kann. Die meisten der Biopsien enthalten normale Anzahlen an markierten Genen und Chromosomen und der Pathologe kann während der Eintönigkeit des Zählens der Gene und Chromosomen in Hunderten von Zellkernen in mehreren Biopsien die Konzentration verlieren. Darüber hinaus ist das Bestimmen, ob auf der Grundlage der Helligkeit und Größe des Fluoreszenzsignals ein Fluoreszenzsignal ein einzelnes Gen oder mehrere überlappende Gene darstellt, häufig subjektiv. Einzelne Pathologen können unterschiedliche Zählweisen haben.
  • Daher ist ein automatisiertes System zum Zählen von Fluoreszenzsignalen erwünscht, die mittels der FISH-Technik erzielt werden. Bestehende automatisierte Zählsysteme, wie zum Beispiel das in der zuvor erwähnten US 2005/0265588 A1 beschriebene, zählen Fluoreszenzsignale auf der Grundlage von zweidimensionalen Bildern. Selbst in bestehenden Systemen, die dreidimensionale Information unter Vewendung von konfokaler Mikroskopie erzielen, werden jedoch zweidimensionale Bilder analysiert, die durch das Komprimieren der dreidimensionalen Information erzielt werden. Das meiste der dreidimensionalen Information geht dabei verloren. Es ist schwierig, in zweidimensional reduzierten Bildern, die durch das Komprimieren von dreidimensionaler Information erzielt werden, einzelne Zellen und andere Zellkomponenten zu unterscheiden. Fluoreszenzsignale, die andere Signale berühren oder mit diesen überlappen, können nicht genau gezählt werden. Zusätzlich geht die Information bezüglich der Distanz zwischen den Signalen und der Größe der einzelnen Signale verloren.
  • KURZFASSUNG
  • Es ist daher die Aufgabe der vorliegenden Erfindung, ein computerimplementiertes Verfahren, ein Computerprogrammprodukt und ein computerimplementiertes Analysesystem zum automatischen Zählen von Fluoreszenzsignalen zu schaffen, die dreidimensional in zum Beispiel unter Verwendung der FISH-Technik erzielten Schnittbildern vorhanden sind.
  • Diese Aufgabe wird hinsichtlich des computerimplemtierten Verfahrens mittels den in den Ansprüchen 1, hinsichtlich des Computerprogrammprodukts mittels den in Anspruch 21 und hinsichtlich des computerimplementierten Analysesystems mittels den in Anspruch 22 angegebenen Maßnahmen gelöst.
  • Weitere vorteilhafte Ausgestaltungen der vorliegenden Erfindung sind Gegenstand der abhängigen Ansprüche.
  • Genauer gesagt extrahiert, segmentiert, klassifiziert, quantifiziert und zählt ein Bildanalysesystem dreidimensionale Objekte, die in einem Gewebe, wie zum Beispiel einem Biopsiegewebe, eines Brustkrebspatienten, vorhanden sind. Das Bildanalysesystem analysiert und zählt automatisch Fluoreszenzsignale, die in dem Gewebe vorkommen, das zum Beispiel unter Verwendung der Fluoreszenz-in situ-Hybridisierungs- bzw. FISH-Technik markiert worden ist. Klassen eines Klassennetzes und Prozessierungsschritte einer Prozessierungshierarchie werden zum Beispiel von einem Anwender spezifiziert. Danach werden Schnittbilder und deren Pixelwerte von dem Gewebe dreidimensional erzielt bzw. in das Bildanalysesystem importiert. Jedes einzelne Schnittbild aus einem von dem Gewebe auf einem Objektträger genommenen Stapel von Schnittbildern wird bei einer bestimmten Tiefe in einer Z-Richtung, wie zum Beispiel der Tiefenrichtung, des Gewebes erzielt. Eine computerimplementierte Netzstruktur wird durch Verknüpfen der Pixelwerte des Schnitts mit Objekten eines Datennetzes auf der Grundlage von Zugehörigkeitsfunktionenen eines Klassennetzes und von Prozessierungsschritten einer Prozessierungshierarchie erzeugt.
  • Objekte, denen Pixelwerte in verschiedenen Tiefen des Gewebes zugehörig sind, werden verwendet, um eine Anzahl von Zellkomponenten, ein Volumen von Zellkomponenten und eine Distanz zwischen Zellkomponenten zu bestimmen. Zum Beispiel kann die Distanz zwischen Genen und zwischen einem Gen und einer Zellkernmembran bestimmt werden. In einer Anwendung werden Fluoreszenzsignale, die Her-2/neu-Gene und Zentromere des Chromosoms siebzehn markieren, gezählt, um eine Diagnosemöglichkeit für Brustkrebs zu erzielen. Her-2/neu-Gene, die einander überlappen oder durch Zentromere bedeckt werden, können genau gezählt werden. Signalartefakte, die keine Gene markieren, können durch ihre anomale Fläche oder ihr anomales Volumen identifiziert werden.
  • Ein Verfahren zum automatischen Zählen von zellulären Komponenten erhöht die Zuverlässigkeit der diagnostischen Technik von FISH und das Vertrauen in diese. Das Verfahren beseitigt den menschlichen Fehler, der mit herkömmlichen manuellen diagnostischen Verfahren zum Beispiel unter Verwendung der FISH-Technik verbunden ist. Weiterhin ist das Verfahren genauer als bestehende automatisierte Zählverfahren, die auf zweidimensionaler Bildanalyse beruhen. Das Verfahren lässt zu, die zellulären Komponenten in Hunderten von Zellkernen, in mehreren Bereichen eines Schnittbildes und in mehreren Schnittbildern einer Biopsie schneller und einfacher zu quantifizieren. Zusätzlich lässt das Verfahren das Analysieren von Schnittbildern von mehreren Biopsien zu. Folglich liefert das Verfahren eine aussagekräftige diagnostische Unterstützung auf der Grundlage von mehreren Biopsien, welche nicht durch die bestehenden automatisierten Zählverfahren zur Verfügung gestellt werden kann, die auf zweidimensionaler Bildanalyse beruhen.
  • Das Verfahren kann ebenso Bilder analysieren, die in mehreren fokalen Ebenen bei mehreren Wellenlängen unter Verwendung von mehreren Biomarkierungs-Verfahren und spektralen Verfahren erfasst worden sind. Zum Beispiel können mehrere Bilder des gleichen Gewebes, die unter Verwendung eines Mikroskops, einer Röntgenvorrichtung, eines Computertomographen, einer Ultraschall-Bildgebungsvorrichtung und einer bildgebenden Kernspintomographie-Vorrichtung aufgenommen worden sind, analysiert und korreliert werden. Zusätzlich können die gleichen Typen an Zellkomponenten in den verschiedenen Bildern unter Verwendung von verschiedenen Biomarkern markiert werden. Objekte, die den gleichen Zellkomponenten in den verschiedenen Bildern entsprechen, werden verknüpft, korreliert, analysiert und gezählt. Die Diagnose und Prognose des Patienten wird durch die Korrelation der Ergebnisse der Analyse der verschiedenen Bilder verbessert, die unter Verwendung der verschiedenen Biomarker und spektralen Analyseverfahren aufgenommen worden sind.
  • In einer spezifischen Ausführungsform empfängt ein Softwareprogramm eine Spezifizikation eines Klassennetzes und eine Spezifikation einer Prozessierungshierarchie. Die Pixelwerte eines Bildes, das Zellkomponenten beinhaltet, die zum Beispiel unter Verwendung der Fluoreszenz-in situ-Hybridisierung bzw. FISH markiert worden sind, werden erzielt. Das Softwareprogramm führt dann die Prozessierungsschritte der Prozessierungshierarchie aus, um durch Verknüpfen von ausgewählten Pixelwerten des Bildes mit Objekten ein Datennetz zu erzeugen. Die Objekte werden dann auf der Grundlage von Zugehörigkeitsfunktionen zu jeder Klasse und Unter-Klasse des Klassennetzes klassifiziert. Eine der Klassen entspricht einem bestimmten Typ an markierter Zellkomponente. Das Softwareprogramm zählt dann unter Verwendung des Datennetzes die Anzahl des bestimmten Typs an markierter Zellkomponente.
  • KURZE BESCHREIBUNG DER ABBILDUNGEN
  • Die vorliegende Erfindung wird nachstehend anhand von Ausführungsformen unter Bezugnahme auf die beiliegende Zeichnung näher erläutert, in der durchgängig durch die Darstellungen gleiche Bestandteile mit gleichen Bezugszeichen bezeichnet sind.
  • Es zeigen:
  • 1 eine Darstellung eines Verfahrens zum Analysieren von Zellkernen aus Gewebe einer menschlichen Brust;
  • 2 einen Objektträger, der Gewebe von 1 beinhaltet;
  • 3 eine Darstellung von mehreren Schnittbildern, die von dem Objektträger von 2 aufgenommen worden sind;
  • 4 eine Darstellung von Zellkomponenten in einem Zellkern aus einem Schnittbild von 3;
  • 5 eine dreidimensionale Darstellung von zu zählenden Zellkomponenten;
  • 6 eine zweidimensionale zusammengesetzte Darstellung der mehreren Schnittbilder der dreidimensionalen Darstellung von 5;
  • 7A bis 7C tatsächliche mikroskopische Bilder von zu zählenden Zellkernen, Genen und Zentromeren;
  • 8 ein mikroskopisches Bild von Zellkernen, die grüne Fluoreszenzsignale, die Zentromere des Chromosoms Nummer siebzehn markieren, und rosafarbene Fluoreszenzsignale beinhalten, die Her-2/neu-Gene markieren;
  • 9 eine schematische Darstellung, die einen Teil eines Datennetzes darstellt, das auf Pixelwerten aus drei Schnittbildern von 5 beruht, die durch zwei Zellkerne hindurch schneiden;
  • 10 eine vereinfachte schematische Darstellung einer computerimplementierten Netzstruktur, die ein Datennetz, ein Klassennetz und eine Prozessierungshierarchie beinhaltet;
  • 11 digitale Schnittbilder an verschiedenen Tiefen eines Gewebes auf einem Objektträger;
  • 12 rote, grüne und blaue Schnittbildkomponenten, die die Schnittbilder von 11 ausbilden;
  • 13 ein Flussdiagramm eines Verfahrens zum Analysieren und Zählen von Zellkomponenten unter Verwendung der computerimplementierten Netzstruktur von 10;
  • 14 eine Darstellung, die das Klassennetz von 10 detaillierter zeigt;
  • 15 ein Flussdiagramm, das Unter-Schritte eines ersten Schritts von 13 zum Spezifizieren des Klassennetzes von 10 zeigt;
  • 16 eine Darstellung, die die Prozessierungshierarchie von 10 detaillierter zeigt;
  • 17 einen Screenshot einer grafischen Benutzeroberfläche bzw. -schnittstelle, der eine Übersichtsdarstellung der Prozessierungshierarchie von 16 zeigt;
  • 18 ein Flussdiagramm, das Unter-Schritte eines zweiten Schritts von 13 zum Spezifizieren der Prozessierungshierarchie von 16 zeigt;
  • 19 einen Screenshot eines Popup-Fensters, um bei einem Spezifizieren eines Algorithmus in einem Schritt von 18 mitzuwirken;
  • 20 eine Darstellung von verschiedenen Verknüpfungstypen in der computerimplementierten Netzstruktur von 10;
  • 21 eine vereinfachte schematische Darstellung der computerimplementierten Netzstruktur von 10, nachdem das Klassennetz und die Prozessierungshierarchie spezifiziert worden sind;
  • 22 ein vereinfachte schematische Darstellung der computerimplementierten Netzstruktur von 10, nachdem das Datennetz erzeugt worden ist;
  • 23 eine vereinfachte Darstellung eines Datennetzes, in welchem Pixelwerte mit Objekten verknüpft sind;
  • 24 eine vereinfachte Darstellung eines Datennetzes, in welchem Objekte über verschiedene Verknüpfungstypen mit anderen Objekten verknüpft sind;
  • 25 ein Flussdiagramm, das Unter-Schritte eines fünften Schritts von 13 zum Erzeugen des Datennetzes von 10 zeigt;
  • 26 einen Screenshot einer grafischen Benutzeroberfläche, um bei einem Editieren des Klassennetzes und der Prozessierungshierarchie von 10 mitzuwirken;
  • 27 einen Screenshot einer grafischen Benutzeroberfläche mit einem Fenster, das ein hervorgehobenes Her-2/neu-Gen in einem Zellkern zeigt;
  • 28 einen Screenshot einer grafischen Benutzeroberfläche mit einem Fenster, das eine Hervorhebung zeigt, die ein Her-2/neu-Gen zu sein scheint, jedoch tatsächlich ein Bildgebungsartefakt ist;
  • 29 ein Flussdiagramm, das Unter-Schritte eines Schritts von 25 zum Ausführen von Prozessierungsschritten der Prozessierungshierarchie von 10 zeigt;
  • 30 ein Flussdiagramm, das Unter-Schritte eines Schritts von 29 zum Erzeugen einer in einem Prozessierungsschritt spezifizierten Domäne zeigt;
  • 31 eine vereinfachte schematische Darstellung eines Kognitionsnetzes, wenn das Datennetz aus vielen digitalen Bildern, wie zum Beispiel vielen Schnittbildern des Gewebes, erzeugt worden ist;
  • 32 einen Screenshot einer Prozessierungshierarchie, die von einer anderen Ausführungsform der computerimplementierten Netzstruktur von 10 verwendet wird, um einzelne Zellen in einer Zellbestimmung zu analysieren;
  • 33 eine dreidimensionale Darstellung einer in einem letzten Schritt von 13 ausgegebenen sich teilenden Zelle mit markierten Zielobjekten;
  • 34 ein Programmlisting von Zeilen eines einem CNL-Skript entsprechenden XML-Codes, der ein Klassennetz und eine Prozessierungshierarchie zum Analysieren und Zählen von in Gewebe vorkommenden Fluoreszenzsignalen implementiert;
  • 35A bis 35E weitere Zeilen des XML-Codes von 34.
  • DETAILLIERTE BESCHREIBUNG
  • Bevor Ausführungsformen der vorliegenden Erfindung detailliert beschrieben werden, ist anzumerken, dass, obgleich nachstehend der Ausdruck "Biopsiegewebe" verwendet wird, die vorliegende Erfindung an jedem Gewebe, das heisst ebenso an Gewebe, angewendet werden kann, das unter Verwendung eines zu einer Biopsie unterschiedlichen Verfahrens erzielt worden ist. Ebenso ist anzumerken, dass, obgleich nachstehend Zellkomponenten unter Verwendung von FISH bzw. Fluoreszenz-in-situ-Hybridisierung markiert werden, die vorliegende Erfindung nicht darauf beschränkt ist, sondern ebenso andere Arten von Techniken zum Markieren von Zellkomponenten angewendet werden können.
  • Ein erfindungsgemäßes computerimplementiertes Analysesystem zählt automatisch Fluoreszenzsignale, die in einem Biopsiegewebe vorkommen, das unter Verwendung der FISH-Technik markiert worden ist.
  • 1 zeigt eine Darstellung eines Verfahrens zum Analysieren von Zellkernen aus Biopisiegewebe einer menschlichen Brust.
  • Zuerst wird ein Biopsiegewebe 10 von einer Stelle einer Brust 11 eines Patienten, wie zum Beispiel eines Krebspatienten, entnommen. Es werden lediglich eine oder wenige Biopsieproben entnommen. Dies ist zum Teil so, da eine Biopsie für den Patienten schmerzhaft ist. Die Entnahme von vielen Biopsieproben schädigt außerdem die Struktur der Brust 11 und wird auch typischerweise aufgrund von medizinischen und ästhetischen Gründen vermieden. Das entnommene Biopsiegewebe 10 wird FISH unterzogen, um zu zählende und zu analysierende Zellkomponten zu markieren. Da FISH eine bekannte Technik zum Markieren von Zellkomponenten eines Biopsiegewebes ist, wird an dieser Stelle auf eine detaillierte Beschreibung von FISH verzichtet.
  • Bei herkömmlichen Analyseverfahren werden lediglich ungefähr einhundert Zellkerne des Biopsiegewebes 10 manuell analysiert. Ein hierin beschriebenes erfindungsgemäßes computerimplementiertes Analysesystem ermöglicht es jedoch dem Pathologen, eine sehr große Zahl von Zellkomponenten des Biopsiegewebes 10 zu analysieren und eine gründliche Einsicht in das Biopsiegewebe 10 zu erzielen. Dieses ist dahingehend vorteilhaft, dass typischerweise lediglich eine Biopsiegewebeprobe aus der Brust 11 entnommen wird. Herkömmliche manuelle Analyseverfahren erzielen nicht die besten diagnostischen und prognostischen Ergebnisse, da lediglich eine kleine Zahl von Zellkernen aus einer einzigen Biopsiegewebeprobe der Brust 11 des Patienten analysiert wird. Das erfindungsgemäße computerimplementierte Analysesystem ist jedoch imstande, eine beliebig große Zahl von Zellkomponenten automatisch zu zählen. Eine Biopsiegewebeprobe wird geschnitten und auf viele Objektträger, wie zum Beispiel bis zu eintausend Objektträger, aufgetragen. In 1 ist ein n-ter Objektträger 12 der vielen Objektträger gezeigt.
  • 2 zeigt den n-ten Objektträger 12, der das Biopsieewebe 10 von 1 beinhaltet.
  • Genauer gesagt zeigt 2, wie das Biopsiegewebe 10 auf dem Objektträger 12 an vielen Stellen abgetastet wird. Zum Beispiel kann das Biopsiegewebe 10 auf dem Objektträger 12 an bis zu zweihundert Stellen abgetastet werden. An jeder Stelle der Abtastung werden mehrere Schnittbilder in verschiedenen Tiefen in der Richtung einer Z-Achse erzielt, die in einer Tiefenrichtung des Biospiegewebes 10 definiert ist. Die mehreren Schnittbilder jeder abgetasteten Stelle werden zum Beispiel unter Verwendung eines konfokalen Mikroskops erzielt. Derart erzielte Stapel von Schnittbildern an jeder abgetasteten Stelle werden hier im weiteren Verlauf als "Z-Stapel" bezeichnet. In 2 ist an einer abgetasteten Stelle ein oberes Schnittbild 13 aus einem Z-Stapel 14 gezeigt.
  • 3 zeigt eine Darstellung von mehreren Schnittbildern, die von dem n-ten Objektträger 12 von 2 aufgenommen worden sind.
  • Genauer gesagt zeigt 3 viele Zellkerne, die in jedem Schnittbild des Z-Stapels 14 vorhanden sind. Typischerweise sind Hunderte von Zellkernen in jedem Schnittbild sichtbar. Zum Beispiel ist ein nicht kanzerogener Zellkern 15 einer der sichtbaren Zellkerne in dem oberen Schnittbild 13. Das Identifizieren von Zellkomponenten innerhalb jedes Zellkerns ist erfindungsgemäß von grundlegender Bedeutung. Daher sind in 3 nur die Membranen der Zellkerne im Gegensatz zu den Zellmembranen gezeigt.
  • 4 zeigt eine Darstellung von Zellkomponenten in dem nicht kanzerogenen Zellkern 15 aus dem Schnittbild 13 von 3.
  • Genauer gesagt zeigt 4 bestimmte Zellkomponenten des nicht kanzerogenen Zellkerns 15, welcher mit DAPI bzw. 4,6-Diamidino-2-Phenylindol gefärbt worden ist. Die Zellkomponenten beinhalten Zentromere und Gene, die auf dem menschlichen Chromosom Nummer siebzehn 16 vorhanden sind. In der FISH-Technik werden von den markierten Zellkomponenten Fluoreszenzsignale abgegeben. In dieser Ausführungsform, die die Diagnose von Brustkrebs betrifft, werden Gene analysiert, die auf dem Chromosom Nummer siebzehn 16 vorhanden sind. Der Zellkern einer normalen Zelle enthält typischerweise zwei Kopien des Chromosoms Nummer siebzehn 16. Die zu analysierenden Gene werden in der FISH-Technik mit fluoreszierenden Sonden markiert. Die markierten Gene erscheinen dann als hell gefärbte Bereiche, wenn sie mit einem Fluoreszenzmikroskop betrachtet werden. Verschiedene Parameter der markierten Gene, wie zum Beispiel die Anzahl der markierten Gene, die Größe der markierten Gene, die Form der markierten Gene, die Distanz zwischen den markierten Genen und die Distanz zwischen einem markierten Gen und einer Membran des Zellkerns, werden dann bestimmt. Die FISH-Technik wird verwendet, um das Her-2/neu-(humaner epidermaler Wachstumsfaktor-Rezeptor-2)-Gen in Brustbiopsiegewebe zu analysieren, um eine Diagnose- und Prognosemöglichkeit für Bustkrebs zur Verfügung zu stellen. In krebsartigen Zellen der menschlichen Brust führt ein hoher Grad der Amplifizierung des Her-2/neu-Gens zu einer Überexprimierung des entsprechenden Proteins. Daher ist das Erfassen einer Amplifikation des Her-2/neu-Gens und einer entsprechenden Überexprimierung des Her-2/neu-Proteins ein Anzeichen für eine positive Prognose hinsichtlich eines Brustkarzinoms. Hierbei bedeutet positiv ein prognostiziertes Vorhandensein eines Brustkarzinoms, wohingegen negativ ein prognostiziertes Nichtvorhandensein eines Brustkazinoms bedeutet. Die Diagnose von metastasiertem Brustkrebs aus der Her-2/neu-Überexprimierung ist aufgrund der Entwicklung von Wirkstoffen umso nützlicher, die direkt auf das Her-2/neu-Protein abzielen und besonders geeignet sind, um diesen Krebstyp zu bekämpfen, wie zum Beispiel Trastuzumab bzw. Herceptin®. Diese Antikrebswirkstoffe sind sehr teuer. Durch eine bessere Diagnose dieses bestimmten Krebstyps können medizinische Kosten dadurch gespart werden, dass diese teuren Wirkstoffe nur denjenigen Krebspatienten verabreicht werden, die diesen bestimmten Krebstyp aufweisen. Durch das Erfassen der Amplifizierung von anderen Genen als des Her-2/neu-Gens wird zusätzlich das Verabreichen von personalisierter Medikation unterstützt, wenn neue Wirkstoffe entwickelt werden. Schließlich können auch personalisierte Dosierungen auf der Grundlage eines bestimmten Biopsiegewebes des Patienten verabreicht werden.
  • Der Grad der Amplifizierung wird durch das Verhältnis der Anzahl der Fluoreszenzsignale des Her-2/neu-Gens zu der Anzahl der Fluoreszenzsignale, die das Zentromer jedes Chromosoms Nummer siebzehn 16 markieren, auf welchem sich die Her-2/neu-Gene befindet, bestimmt. 4 zeigt zwei Kopien von Chromosom Nummer siebzehn 16. In 4 weist jedes Chromosom Nummer siebzehn 16 zwei Her-2/neu-Gene und ein Zentromer 17 auf. Die Her-2/neu-Gene, die mit der fluoreszierenden Sonde LSI-HER-2/neu markiert worden sind, erscheinen rosa oder orange gefärbt, wenn sie mit einem Fluoreszenzmikroskop betrachtet werden. Die mikroskopischen Bilder werden in Grautönen erzielt und danach zum Vereinfachen der Betrachtung unter Verwendung zulässiger Umwandlungen in der RGB-Skala koloriert. Jedes Zentromer 17 des Chromosoms Nummer siebzehn 16, das mit der fluoreszierenden Sonde CEP-17 markiert ist, erscheint typischerweise grün. 4 zeigt zwei grüne Fluoreszenzsignale 18, wobei jedes eine Kopie des Chromosoms Nummer siebzehn 16 anzeigt. Ein rosafarbenes Fluoreszenzsignal 19 lässt das Chromosom Nummer siebzehn 16 an jeder Stelle des Her-2/neu Gens erleuchten. In einer nicht krebsartigen Zelle gibt es typischerweise ein Her-2/neu-Gen auf jedem Chromosom Nummer siebzehn 16. Es wird angenommen, dass das Her-2/neu-Gen nicht amplifiziert wird, wenn jedes Chromosom Nummer siebzehn 16 nur ein Her-2/neu-Gen aufweist. Das Her-2/neu-Gen wird stark amplifiziert, wenn es mehr als vier Her-2/neu-Gene auf jedem Chromosom Nummer siebzehn 16 gibt.
  • In einem anerkannten diagnostischen Verfahren werden einhundert Zellkerne einer Biopsiegewebeprobe analysiert, um den Grad der Amplifizierung des Her-2/neu-Gens in der Biopsiegewebeprobe zu berechnen. In jedem der einhundert Zellkerne werden Fluoreszenzsignale von jedem Her-2/neu-Gen und jedem Chromosom Nummer siebzehn 16 gezählt. Der Grad der Amplifizierung der Biopsiegewebeprobe wird danach kategorisiert als: (i) nicht amplifiziert, (ii) moderat amplifiziert oder (iii) hoch amplifiziert. Dies wird auf der Grundlage der folgenden Kriterien durchgeführt:. Die Probe ist nicht amplifiziert, wenn weniger als zehn Prozent der Zellkerne mehr als vier Fluoreszenzsignale 19 aufweisen, die das Her-2/neu-Gen anzeigen. Die Probe ist hoch amplifiziert, wenn mehr als zehn Prozent der Zellkerne mehr als zehn Fluoreszenzsignale 19 aufweisen, die das Her-2/neu-Gen anzeigen. Schließlich ist die Probe moderat amplifiziert, wenn mehr als zehn Prozent der Zellkerne sowohl (i) mehr als vier, jedoch weniger als oder gleich zehn Fluoreszenzsignale 19 als auch (ii) einen Quotienten der Fluoreszenzsignale 19 zu den Fluoreszenzsignalen 18 (die das Chromosom Nummer siebzehn 16 anzeigen) von größer als zwei aufweisen. Hinsichtlich einer zusätzlichen Information über diagnostische Verfahren, die auf dem Zählen von Fluoreszenzsignalen beruhen, die das Her-2/neu-Gen anzeigen, wird auf Pauletti et al., "Detection and quantitation of HER-2/neu gene amplification in human breast cancer archival material using fluorescence in situ hybridization", Oncogene, 13: 63–72, 4. Juli 1994 verwiesen. Bei verschiedenen Krebstypen und selbst bei verschiedenen Brustkrebstypen unterscheiden sich die Bereiche für die Grade der Amplifizierung.
  • In einem anderen anerkannten diagnostischen Verfahren für den Brustkrebstyp, der auf Trastuzumab bzw. Herceptin® reagiert, werden Fluoreszenzsignale 19 und 18 von jedem Her-2/neu-Gen und jedem Chromosom Nummer siebzehn 16 in einhundert Zellkernen gezählt. Danach wird für jeden Zellkern das Verhältnis der Her-2/neu-Fluoreszenzsignale 19 zu den Fluoreszenzsignalen 18 für Chromosom Nummer siebzehn 16 berechnet. Schließlich wird der Durchschnitt der Verhältnisse berechnet. Der Pathologe verwendet den Durchschnitt der Verhältnisse, um eine Diagnosemöglichkeit hinsichtlich Brustkrebs zu entwickeln.
  • Es gibt jedoch erschwerende Faktoren, die bei den herkömmlichen Zählverfahren dazu führen, dass keine genauen Zählungen der Anzahl der Her-2/neu-Fluoreszenzsignale 19 pro Zellkern erzielt werden. Das erfindungsgemäße computerimplementierte Analysesystem arbeitet zum Beispiel als ein Computerprogramm und ist daher nicht anfälllig gegenüber Ermüdung und Konzentrationsverlust als Beispiel von erschwerenden Faktoren des herkömmlichen Zählverfahrens. Darüber wird erkannt, ob Zellkomponenten eines Zellkerns bereits gezählt worden sind, und, falls dies der Fall ist, werden diese Zellkerne nicht noch einmal gezählt, was ansonsten zu einem doppelten Zählen führen würde. Zusätzlich werden durch das Wiedererkennen der bereits gezählten Zellkerne bisher nicht gezählte Zellkerne nicht übersehen. Am Wichtigsten ist, dass bestimmt werden kann, ob ein Fluoreszenzsignal ein einzelnes Gen oder mehrere überlappende Gene darstellt. Es können ebenso helle Punkte auf den Schnittbildern erkannt werden, wobei diese hellen Punkte Artefakte und überhaupt keine Fluoreszenzsignale sind.
  • 5 zeigt eine dreidimensionale Darstellung von zu zählenden Zellkomponenten.
  • Genauer gesagt zeigt 5, wie die dreidimensionale Natur der Zellkomponenten das Auszählen erschwert und bei den herkömmlichen Verfahren, die auf der Grundlage von zweidimensionalen Bildern und einer zweidimensionalen Kompression von dreidimensionaler Information zählen, zu nicht korrekten Ergebnissen führen kann. Die Zellen, Zellkerne und Zellkomponenten des Biopsiegewebes sind in verschiedenen Tiefen der Z-Richtung in jedem Objektträger vorhanden. Ein Fluoreszenzsignal von einem ersten Gen, das direkt über einem zweiten Gen in der Z-Richtung liegt, wird jedes Fluoreszenzsignal des zweiten Gens überdecken. Das Signal des zweiten Gens wird daher in einem zweidimensionalen Bild in einer zu der Z-Richtung senkrechten X-Y-Ebene unbemerkt bleiben. Zusätzlich wird das Fluoreszenzsignal eines Zentromers das Fluoreszenzsignal eines direkt unter dem Zentromer liegenden Gens überdecken.
  • 5 zeigt einen Zellkern 20 in einer ersten Zelle 21 und einen Zellkern 22 in einer zweiten Zelle 23. Das meiste des Zellkerns 20 der ersten Zelle 21 befindet sich in der Z-Richtung in einer geringeren Tiefe in dem Z-Stapel als der Zellkern 22 der zweiten Zelle 23. In 5 sind drei Schnittbilder des Z-Stapels 14 gezeigt, die durch die Zellkerne der ersten Zelle 21 und der zweiten Zelle 23 schneiden. Der Zellkern 20 beinhaltet ein erstes Gen 24, das ein niedriger liegendes zweites Gen 25 überlappt.
  • 6 zeigt eine zweidimensionale zusammengesetzte Darstellung der mehreren Schnittbilder der dreidimensionalen Darstellung von 5.
  • Genauer gesagt zeigt 6, wie Zellkomponenten der ersten Zelle 21 und der zweiten Zelle 23 von 5 aussehen würden, wenn sie von oben in lediglich zwei Dimensionen betrachtet werden würden. In dieser Ansicht überlappen die Her-2/neu-Fluoreszenzsignale 19, die aus dem Zellkern 20 hervorgehen, teilweise einander. Daher gibt es in der X-Y-Perspektive überlappende Her-2/neu-Gene 27. 6 zeigt ebenso Her-2/neu-Gene 28, die teilweise von einem Zentromer überdeckt sind. Die Her-2/neu-Gene können genau gezählt werden, da ein Datennetz erzeugt wird, das auf Pixelwerten von mehreren Schnittbildern in der Z-Richtung beruht.
  • Die 7A bis 7C zeigen tatsächliche mikroskopische Bilder von zu zählenden Zellkernen, Genen und Zentromeren;
  • 7A zeigt ein digitales Bild, das unter Verwendung eines Blaulichtkanals erzielt worden ist, um die gefärbten Zellkernmembranen hervorzuheben. Selbst unter Verwendung eines Blaulichtkanals ist es schwierig, unter Verwendung von herkömmlichen Zählverfahren die mehreren überlappenden Zellkerne in 7A voneinander zu unterscheiden. 7B zeigt ein digitales Bild, das unter Verwendung eines Rotlichtkanals erzielt worden ist, um die rosafarbenen Her-2/neu-Fluoreszenzsignale 19 hervorzuheben. 7C zeigt ein digitales Bild, das unter Verwendung eines Grünlichtkanals erzielt worden ist, um die grünen Fluoreszenzsignale des Chromosoms Nummer siebzehn 18 hervorzuheben. Die 7B und 7C stellen dar, dass es bei der Verwendung herkömmlicher Zählverfahren schwierig zu bestimmen ist, welche Her-2/neu-Gene und welche Chromosomen Nummer siebzehn in jeden bestimmten Zellkern von 7A fallen. Aus der zweidimensionalen Z-Y-Perspektive der 7B ist es zum Beispiel schwierig, die Tiefe jedes rosafarbenen Her-2/neu-Fluoreszenzsignals 19 zu bestimmen und daher den Zellkern zu identifizieren, welchem jedes Her-2/neu-Gen zugehörig ist.
  • 8 zeigt ein mikroskopisches Bild von Zellkernen, die grüne Fluoreszenzsignale, die Zentromere des Chromosoms Nummer siebzehn markieren, und rosafarbene Fluoreszenzsignale beinhalten, die Her-2/neu-Gene markieren;
  • Der Zellkern ganz links von 8 stammt aus einer nicht krebsartigen Zelle. Der Zellkern weist zwei grüne Fluoreszenzsignale 18 und zwei rosafarbene Her-2/neu-Fluoreszenzsignale 19 auf. Die zwei grünen Fluoreszenzignale 18 zeigen die Anwesenheit von zwei Kopien des Chromosoms Nummer siebzehn an. Die zwei rosafarbenen Signale 19 zeigen die Anwesenheit von zwei Kopien der Her-2/neu-Gene in dem selben Zellkern an. Daher ist das Verhältnis der Her-2/neu-Gene zu Chromosom Nummer siebzehn 1,0 und das Her-2/neu-Gen ist nicht amplifiziert. Die zwei Zellkerne auf der rechten Seite von 8 stammen von krebsartigen Zellen. Von diesen weist jeder Klumpen von überlappenden rosafarbenen Her-2/neu-Fluoreszenzsignalen 19 auf, die in der X-Y-Perspektive schwierig voneinander zu unterscheiden sind. Der zweite Zellkern auf der rechten Seite von 8 weist drei grüne Fluoreszenzsignale 18 und ungefähr 13 rosafarbene Fluoreszenzsignale 19 auf. Das Verhältnis der Her-2/neu-Gene zu Chromosom Nummer siebzehn ist daher ungefähr vier, was anzeigt, dass das Her-2/neu-Gen stark amplifiziert ist.
  • 9 zeigt eine schematische Darstellung, die einen Teil eines Datennetzes darstellt, das auf Pixelwerten aus drei Schnittbildern von 5 beruht, die durch zwei Zellkerne hindurch schneiden;
  • Die Pixelwerte des obersten Schnittbildes 13, das ein erstes Gen 24 darstellt, sind mit einem ersten Objekt 30 verknüpft. Die Pixelwerte eines in der Z-Richtung niedrigeren Schnittbildes 31, das ein zweites Gen 25 darstellt, sind mit einem zweiten Objekt 32 verknüpft. Sowohl das erste Objekt 30 als auch das zweite Objekt 32 sind mit einem Über-Objekt 33 verknüpft. Durch das Verknüpfen der Objekte, die von den Schnittbildern in unterschiedlichen Tiefen der Z-Richtung erzielt worden sind, kann gegenüber dem Analysieren von Bildern des Biopsiegewebes lediglich aus der X-Y-Perspektive eine zusätzliche Information aus dem Biopsiegewebe 10 extrahiert werden. Zum Beispiel kann eine Distanz 34 zwischen dem ersten Gen 24 und dem zweiten Gen 25 bestimmt werden. Die Distanz 34 zwischen dem ersten Gen 24 und dem zweiten Gen 25 ist ebenso in 5 dargestellt. Zusätzlich kann ebenso das Volumen einer Zellkomponente bestimmt werden, die mehrere Schnittbilder kreuzt.
  • Objekte, denen Pixelwerte auf dem selben Schnittbild zugehörig sind, können ebenso verknüpft sein. Objekte können nicht nur auf der Grundlage von ihren relativen Positionen auf dem Schnittbild verknüpft sein. Zum Beispiel können Objekte verknüpft sein, die gleichartige Zellkerne darstellen, wie zum Beispiel Zellkerne mit gleichartigen Bereichen, Formen oder Helligkeiten. Zellkerne können zum Beispiel auf der Grundlage ihrer Wölbung oder Ausbuchtung verknüpft sein. Dies lässt zu, alle Her-2/neu-Gene, die in gleichartige Formen aufweisenden Zellkernen lokalisiert sind, zu verknüpfen. Danach wird ein spezifischer Algorithmus an allen verknüpften Genen durchgeführt. In einem anderen Beispiel wird die Distanz zwischen den Zellkernen in einem Schnittbild durch Verknüfen der Zellkernobjekte auf dieser Ebene bestimmt. Wenn die bestimmte Distanz klein ist, da die Zellkerne gruppiert sind, kann ein umfangreicherer Algorithmus in der Z-Richtung angewendet werden, um die Zellkerne voneinander zu trennen und zu unterscheiden. In noch einem anderen Beispiel kann der Bereich oder das Volumen eines Gensignals durch Verknüpfen der Objekte aus dem selben Schnittbild sowie aus verschiedenen Ebenen relativ zu dem Bereich oder dem Volumen des zugehörigen Zellkerns bestimmt werden.
  • Es wird nicht nur ein Datennetz auf der Grundlage von Pixelwerten von Schnittbildern erzeugt, sondern es werden ebenso ein Klassennetz und eine Prozessierungshierarchie erzeugt. Das Klassennetz definiert die Charakteristika von Objekten, die als verschiedene Zellkomponenten klassifiziert werden. Die Prozessierungshierarchie beinhaltet Prozessierungsschritte, die den Fluss der Analysen und Berechnungen steuern, die an den Pixelwerten und Objekten durchgeführt werden.
  • 10 zeigt eine vereinfachte schematische Darstellung einer computerimplementierten Netzstruktur 35, die ein Datennetz 36, ein Klassennetz 37 und eine Prozessierungshierarchie 38 beinhaltet.
  • Die computerimplementierte Netzstruktur 35 wird von dem computerimplementierten Analysesystem verwendet, um Fluoreszenzsignale zu zählen und zu analysieren, die unter Verwendung der FISH-Technik erzielt werden. Die computerimplementierte Netzstruktur 35 wird durch das computerimplementierte Analysesystem und ein zugehöriges Computerprogramm erzeugt. Das zugehörige Computerprogramm wird hier im weiteren Verlauf als CNL- bzw. Cognition-Network-Language-Script bezeichnet. Die computerimplementierte Netzstruktur 35 beinhaltet das Datennetz 36, das Klassennetz 37 und eine Prozessierungshierarchie 38. In dem Beispiel von 10 beinhaltet das Datennetz 36 eine erste Datentabelle 39 und eine zweite Datentabelle 40. Die Tabellendatenwerte in den Datentabellen 39 und 40 weisen sowohl Zahlen als auch Text auf.
  • Einige der Tabellendatenwerte sind digitale Pixelwerte von Schnittbildern des Biopsiegewebes 10, wohingegen andere Tabelledatenwerte den Patienten beschreiben, von dem das Biopsiegewebe entnommen worden ist. Daher sind einige der Tabellendatenwerte Fließkommawerte, die die spektrale Intensität von einzelnen Pixeln auf den Schnittbildern darstellen. Die anderen Tabellendatenwerte sind Einheiten von Metadaten, die darauf abzielen, ob eine Möglichkeit besteht, dass der Patient Brustkrebs hat. Beispiele für derartige Informationen beinhalten: Geschlecht des Patienten, Alter des Patienten, Gewicht des Patienten, Größe des Patienten, Blutwerte des Patienten, verschriebene Medikamente, Anzahl an Kindern des Patienten, Familienkrankengeschichte des Patienten, ob der Patient seine Kinder gestillt hat, ob der Patient raucht oder Arzneimittel nimmt usw. In 10 sind ein erster Wert 41 und ein zweiter Wert 42 spektrale Intensitätswerte der Schnittbilder, wohingegen ein dritter Wert 43 eine Einheit von Metadaten, wie zum Beispiel das Gewicht des Patienten, ist. In diesem Bespiel entsprechen Pixelwete der ersten Datentabelle 39 dem oberen Schnittbild 13 und entspricht der erste Wert 41 einem das erste Gen 24 darstellenden Pixelwert des Schnittbildes 13. Ähnlich entsprechen Pixelwerte der zweiten Datentabelle 40 dem zu dem ersten Schnittbild nächst liegenden unteren Schnittbild 31 und entspricht der zweite Wert 42 einem das zweite Gen 25 darstellenden Pixelwert des Schnittbildes 31.
  • Die computerimplementierte Netzstruktur 35 wird verwendet, um Zellkerne und andere Zellkomponenten zu zählen. Das visuelle Untersuchen von Objektträgern und das manuelle Zählen von Zellkomponenten ist zeitaufwendig und arbeitsintensiv. Aufgrund der niedrigen Prävalenz von Fluoreszenzsignalen von hoch amplifizierten Her-2/neu-Genen in den meisten der Objektträger, die vom Pathologen betrachtet werden, kann die Eintönigkeit dazu führen, dass der Pathologe hoch amplifizierte Her-2/neu-Gene übersieht, selbst wenn diese vorhanden sind. Die computerimplementierte Netzstruktur 35 und das computerimplementierte Analysesystem, das die computerimplementierte Netzstruktur 35 erzeugt, helfen dem Pathologen dabei, Her-2/neu-Gene nicht zu übersehen und/oder falsch zu zählen.
  • 11 zeigt digitale Schnittbilder an verschiedenen Tiefen eines Gewebes auf einem Objektträger.
  • Genauer gesagt zeigt 11 Beispiel von Schnittbildern, die von der computerimplementierten Netzstruktur 35 und dem CNL-Skript analysiert werden. Zum Beispiel sind die drei Schnittbilder von 11 analog zu den drei Schnittbildern von 9. Das obere Schnittbild von 11 entspricht der ersten Datentabelle 39 und das mittlere Schnittbild von 11 entspricht der zweiten Datentabelle 40. In anderen Ausführungsformen beinhaltet die zweite Datentabelle 40 ebenso Metadaten, die den Patienten betreffen. Die computerimplementierte Netzstruktur 35 wird verwendet, um Zellkomponenten, wie zum Beispiel Zellkernmembranen, Zentromere und Gene, zu identifizieren und zu zählen. Um diese drei Zellkomponenten zu identifizieren, werden in jedem Schnittbild verschiedene Farbkanäle getrennt. Bilddaten werden typischerweise in einer Grauskala erzielt und dann im Allgemeinen in eine RGB-Skala interpretiert. Neben Rot, -Grün-Blau können ebenso andere Farbmodelle verwendet werden, wie zum Beispiel das HSB-Farbmodell, wobei HSB Hue-Saturation-Brightness ist. Zum Beispiel könnten die Her-2/neu-Fluoreszenzsignale 19 ebenso als gelb anstatt rosa interpretiert werden. Die Zellkernmembranen sind in der Grauskala, die Blaulicht entspricht, am meisten sichtbar. Die markierten Zentromere des Chromosoms Nummer siebzehn sind durch ein grünes Filter am meisten sichtbar und die rosafarbenen Her-2/neu-Fluoreszenzsignale 19 gehen durch ein rotes Filter hindurch. Daher werden für jedes Schnittbild ein rosafarbenes Schnittbild, das die Her-2/neu-Gene zeigt, ein grünes Schnittbild, das die Zentromere jedes Chromosoms Nummer siebzehn zeigt, und einen blauen Schnittbild erzeugt, das die Zellkmembranen zeigt. Die Pixelwerte des rosafarbenen Schnittbildes werden mit Objekten verknüpft, die in der Klassenhierarchie als Gene klassifiziert sind. Die Pixelwerte des grünen Schnittbildes werden mt Objekten verknüpft, die in der Klassenhierarchie als Zentromere klassifiziert sind, und die Pixelwerte des blauen Schnittbildes werden mit Objekten verknüpft, die in der Klassenhierarchie als Zellkernmembranen klassifiziert sind.
  • 12 zeigt rote, grüne und blaue Schnittbildkomponenten, die die Schnittbilder von 11 ausbilden.
  • Auf der linken Seite von 12 zeigen Schnittbilder rosafarbene Her-2/neu-Fluoreszenzsignale 19. In der Mitte von 18 zeigen Schnittbilder grüne Fluoreszenzsignale 18, die das Chromosom Nummer siebzehn anzeigen. Auf der rechten Seite von 12 zeigen blaue Schnittbilder Zellkmembranen, die Chromosomen mit den Her-2/neu-Genen anzeigen.
  • Es wird zurück auf 10 verwiesen Das Datennetz 36 beinhaltet ebenso Objekte und Verknüpfungen. In diesem Beispiel ist der erste Wert 41 durch eine erste Verknüpfung 44 mit dem ersten Objekt 30 verbunden. Das erste Objekt 30 in 10 entspricht dem ersten Objekt 30 in 9. Der zweite Wert 42 ist mit dem zweiten Objekt 32 verknüpft. Das erste Objekt 30 ist über eine zweite Verknüpfung 45 mit dem Objekt 33 verknüpft. Das zweite Objekt 32 ist ebenso mit dem Objekt 33 verknüpft. Das Klassennetz 37 beinhaltet eine Klasse 46, eine erste Unter-Klasse 47 und eine zweite Unter-Klasse 48. Die Klasse 46 ist mit der ersten Unter-Klasse 47 und mit der zweiten Unter-Klasse 48 verknüpft. Weiterhin ist die Klasse 46 des Klassennetzes 37 mit dem Objekt 33 des Datennetzes 36 verknüpft. In diesem Beispiel ist die Klasse 46 die Klasse für Her-2/neu-Gene. Die Unter-Klasse 47 ist mit dem zweiten Objekt 32 verknüpft. In diesem Beispiel ist die Unter-Klasse 47 die Klasse für Her-2/neu-Gene, die von anderen Genen überlappt werden. Die Prozessierungshierarchie 38 beinhaltet einen Prozessierungsschritt 49. Der Prozessierungsschritt 49 beinhaltet weiterhin eine Domänenspezifikation 50 und einen Algorithmus 51. Der Algorithmus 51 ist durch eine dritte Verknüpfung 52 mit dem dritten Wert 43 der ersten Datentabelle 39 verknüpft. Die Domänenspezifikation 50 ist durch eine vierte Verknüpfung 53 mit dem Objekt 33 verknüpft. Daher ist ein Algorithmus eines Prozessierungsschritts in der Prozessierungshierarchie 38 mit den Metadaten in dem Datennetz 36 verknüpft und ist eine Domänenspezifikation eines Prozessierungsschritts in der Prozessierungshierarchie 38 mit einem Objekt in dem Datennetz 36 verknüpft.
  • 13 zeigt ein Flussdiagramm eines Verfahrens zum Analysieren und Zählen von Zellkomponenten unter Verwendung der computerimplementierten Netzstruktur von 10.
  • Genauer gesagt zeigt 13 ein Flussdiagramm, das Schritte 54 bis 59 eines Verfahrens darstellt, welche verwendet werden, um ein computerunterstütztes Erfassen bzw. CAD von zu zählenden Zellkomponenten durchzuführen. In nachstehend beschriebenen anderen Ausführungsformen wird die computerimplementierte Netzstruktur 35 verwendet, um andere Objekte als Zellkomponenten zu erfassen. Die Schritte von 13 werden nun unter Bezugnahme auf die Funktionsweise der computerimplementierten Netzstruktur 35 von 10 beschrieben.
  • In einem ersten Schrit 54 wird das Klassennetz 37 durch Definieren einer Wahrscheinlichkeit, mit welcher Objekte des Datennetzes 36 jeder bestimmten Klasse des Klassennetzes 37 zugehörig sein werden, von einem Anwender des computerimplementierten Analysesystems definiert. Der Anwender des computerimplementierten Analysesystems ist zum Beispiel ein Arzt in der Forschung, der sein Expertenwissen anwendet, um das computerimplementierte Analysesystem in einem Spezifikationsmodus zu trainieren. Ein derartiger Arzt in der Forschung könnte zum Beispiel ein Pathologe in der Forschung sein, der zum Beispiel in einer pharmazeutischen Firma arbeitet. Zusätzlich zu dem Arzt in der Forschung verwenden ebenso Pathologen das computerimplementierte Analysesystem in einem Ausführungsmodus.
  • 14 zeigt eine Darstellung, das das Klassennetz von 10 detaillierter zeigt.
  • Das Klassennetz 37 beinhaltet Klassen, die mit Unter-Klassen verknüpft sind und beschreiben, was der Anwender in den Schnittbildern, die in der ersten Datentabelle 39 und der zweiten Datentabelle 40 beinhaltet sind, zu finden erwartet. Daher beschreiben in diesem Beispiel die Klassen und Unter-Klassen von 14, was der Anwender in den Schnittbildern von 11 zu findenr erwartet. Der Anwender beginnt damit, jeder Klasse einen Namen zu geben. In diesem Beispiel hat der Anwender eine Hintergrundklasse 60, eine Bildrandklasse 61 und eine getrennte Klasse für jede von N Zellen spezifiziert, die einen zu zählenden Zellkern aufweisen. Zum Beispiel weist eine Zelle Nummer eins eine Unter-Klasse 62 für die Her-2/neu-Gene der Zelle auf, die mit rosafarbenen Her-2/neu Fluoreszenzsignalen 19 markiert sind. Die Zelle Nummer eins weist ebenso eine Unter-Klasse 63 für grüne Fluoreszenzsignale 18 auf, die die Zentromere des Chromosoms Nummer siebzehn der Zelle markieren. Der Anwender hat ebenso einer Unter-Klasse 63 ihre eigene Unter-Klasse 64 für diejenigen Zentromere gegeben, die Her-2/neu-Gene überlappen. Der Anwender spezifiziert eine Helferklasse, um Zellkomponenten zu kategorisieren, deren Identität zu Beginn der Analyse unbekannt ist.
  • Der Anwender spezifiziert auch Kategorien von Metadaten. In diesem Beispiel beinhaltet das Klassennetz 37 eine Klasse für Patientendaten und Unter-Klassen, die Typen der Patientendaten spezifizieren. Der Anwender hat Unter-Klassen für Alter des Patienten, Gewicht des Patienten, Größe des Patienten, die Anzahl an Kindern des Patienten, ob der Patient seine Kinder gestillt hat, Familienkrankengeschichte des Patienten, Blutwerte des Patienten 65 und ob der Patient raucht, spezifiziert.
  • Jede Klasse kann eine zugehörige Zugehörigkeitsfunktion aufweisen, die die Wahrscheinlichkeit definiert, mit welcher ein Objekt des Datennetzes 36 der bestimmten Klasse zugehörig ist. Die Zugehörigkeitsfunktionen definieren nicht, ob ein einzelner Pixelwert einer Klasse zugehörig ist. Vielmehr ist jedes Objekt einer Gruppe von Pixeln mit dem Objekt verknüpft und der Anwender spezifiziert die Zugehörigkeitsfunktion durch Definieren der Eigenschaften, die das Objekt aufweisen muss, um der Klasse zugehörig zu sein. Beispiele für derartige Eigenschaften beinhalten: Bereich, Form, Farbe und Beschaffenheit des Objekts. Der Bereich eines Objekts kann zum Beispiel durch die Anzahl der Pixel bestimmt werden, die mit dem Objekt verknüpft sind. Ein Element der Metadaten kann ebenso eine Variable in einer Zugehörigkeitsfunktion sein. Zum Beispiel kann die Beschaffenheit eines Objekts, das der Klasse "Zellkernmembran" zugehörig ist, unterschiedlich sein, wenn das Alter und das Gewicht des Patienten über bestimmten Grenzwerten liegen.
  • 15 zeigt ein Flussdiagramm, das Unter-Schritte eines ersten Schritts von 13 zum Spezifizieren des Klassennetzes von 10 zeigt.
  • In einem Unter-Schritt 66 wird ein Verknüpfungstyp für eine Verknüpfung zwischen zwei Klassen oder Unter-Klassen spezifiziert. Verknüpfungen, die nicht in dem Unter-Schritt 66 spezifiziert werden, können ebenso nachfolgend in einem Schritt 56 von 13 spezifiziert werden.
  • In einem Schritt 55 von 13 spezifiziert der Anwender die Prozessierungshierarchie 38 von 10. Der Anwender spezifiziert nicht nur die einzelnen Prozessierungsschritte, sondern ebenso eine Reihenfolge, in welcher die Prozessierungsschritte in dem Ausführungsmodus des computerimplementierten Analysesystems ausgeführt werden. Daher weist jede Prozessierungshierarchie einen Basisprozessierungsschritt auf, der mit anderen Prozessierungsschritten verknüpft ist. Die Prozessierungsschritte können weiterhin mit Unter-Schritten verknüpft sein.
  • 16 zeigt eine Darstellung, die die Prozessierungshierarchie von 10 detaillierter zeigt.
  • Die Prozessierungshierarchie 38 beinhaltet einen Basisprozessierungsschritt 67, der mit "FISH 3D-Analyse" bezeichnet ist, mit einer Domänenspezifikation 68 und einem Algorithmus 69. In diesem Beispiel hat der Anwender vier Prozessierungsschritte 70 bis 73 verbunden mit einer spezifischen Folge zum Basisprozessierungsschritt 67 spezifiziert. Ein erster Prozessierungsschritt 70 "FISH Mamma 2D" weist einen Unter-Prozessierungsschritt 74 auf, der mit "Bildrand" bezeichnet ist. Ein dritter Prozessierungsschritt 72 "Verknüpfe Objekte, Schnittbilder, Zellkerne und Signale" weist vier Unter-Prozessierungsschritte 75 bis 78 auf, von denen drei ihre eigenen Unter-Schritte aufweisen. Ein Unter-Schritt 75 "3D-Prozesse" weist einen ersten Unter-Schritt 76, der mit "Erzeuge Schnittbilder " bezeichnet ist, und einen zweiten Unter-Schritt 80 "Klassifiziere Schnittbilder" auf. Ein Unter-Schritt 76 "Finde Überlappung" weist einen Unter-Schritt 81 auf, der mit "Verknüpfe Zellkerne mittels Überlappungsberechnung" bezeichnet ist. Ein Unter-Schritt 77 "Einige Korrekturen" weist einen Unter-Schritt 82 auf, der mit "Chromosom-17-Signal, das Her-2-Signale überlappt" bezeichnet ist.
  • Für jeden Prozessierungsschritt oder Unter-Prozessierungsschritt hat der Anwender die Option, eine Domäne oder einen Algorithmus zu spezifizieren. 16 zeigt, dass der Anwender eine Domäne 83 für den Prozessierungsschritt 72 und eine Domäne 84 für den Unter-Prozessierungsschritt 82 spezifiziert hat. Die Domäne spezifiziert Klassen, die Objekte des Datennetzes 36 definieren, an denen der Algorithmus während der Laufzeit in dem Ausführungsmodus durchzuführen ist. 16 zeigt ebenso, dass der Anwender einen Algorithmus 85 für den Prozessierungsschritt 72 und einen Algorithmus 86 für den Unter-Prozessierungsschritt 81 spezifiziert hat.
  • 17 zeigt einen Screenshot einer grafischen Benutzeroberfläche, der eine Übersichtsdarstellung der Prozessierungshierarchie 38 von 16 zeigt;
  • Der Screenshot beinhaltet ein mittleres Fenster, das eine Gliederungsdarstellung der Prozessierungshierarchie 38 von 16 beinhaltet.
  • Prozessierungsschritte, die denjenigen von 16 entsprechen, sind in 17 markiert. Unter-Schritte des Unter-Prozessierungsschritts 74 sind aufgeklappt und die Unter-Schritte von anderen Prozessierungsschritten sind in der grafischen Benutzeroberfläche verborgen. Der Anwender kann Prozessierungsschritte der Prozessierungshierarchie 38 unter Verwendung von als Reaktion auf den rechten Mausklick erscheinende Pulldown-Fenster hinzufügen und löschen.
  • 18 zeigt ein Flussdiagramm, das Unter-Schritte eines zweiten Schritts von 13 zum Spezifizieren der Prozessierungshierarchie von 16 zeigt.
  • In einem Unter-Schritt 87 spezifiziert der Anwender eine Domäne eines Prozessierungsschritts, den der Anwender erzeugt hat. In einem Unter-Schritt 88 spezifiziert der Anwender ein Objektfilter für die Domäne. Zum Beispiel übergibt das Objektfilter von den Objekten in der Domäne alle diejenigen Objekte, die mit weniger als sechzehn Pixelwerten verknüpft sind, an den Algorithmus. In einem Unter-Entscheidungsschritt 89 wird der Anwender in einem Popup-Fenster gefragt, ob die Domäne eine Navigationsdomäne Die Domäne ist eine Navigationsdomäne, wenn die darin zu operierenden Objekte, auf der Grundlage dessen definiert werden, wie sie mit anderen Objekten verknüpft sind. Zum Beispiel kann eine Domäne lediglich diejenigen Unter-Objekte beinhalten, die durch einen bestimmten Verknüpfungstyp mit Über-Objekten verknüpft sind. Wenn die Domäne eine Navigationsdomäne ist, spezifiziert der Anwender in einem Unter-Schritt 90 die Verknüpfungstypen, die die Umgebung des Über-Objekts definieren. Wenn die Domäne keine Navigationsdomäne ist, spezifiziert der Anwender in einem Unter-Schritt 91 einen Objektcontainer für die Objekte, die durch einen Algorithmus des Prozessierungsschritts darin zu operieren sind. Zum Beispiel kann der Objektcontainer alle diejenigen Objekte in einer spezifizierten Objektebene beinhalten. Eine Ebene von Objekten, die direkt mit den Tabellendatenwerten verknüpft sind, wird als Objektebene null bezeichnet. Eine Ebene von Objekten, die direkt mit Objekten der Objektebene null verknüpft sind, wird als Objektebene eins bezeichnet usw.
  • In einem Unter-Schritt 92 von Schritt 55 von 13 spezifiziert der Anwender den Algorithmus, der an den in der Domäne spezifizierten Objekten durchzuführen ist. Der Anwender kann vorformulierte Algorithmen aus einer Datenbank von Algorithmen wählen. Zum Beispiel werden einige Algorithmen für eine Segmentation von Objekten verwendet. Andere Algorithmen werden zum Berechnen verwendet, wie zum Beispiel für statistische Berechnungen oder um den mit einem Objekt verknüpften Bereich von Pixeln zu berechnen.
  • 19 einen Screenshot eines Popup-Fensters, um bei einem Spezifizieren eines Algorithmus in dem Schritt 92 von 18 mitzuwirken
  • Es wird zurück auf 18 verwiesen. In einem Unter-Schritt 93 spezifiziert der Anwender eine Abbruchbedingung, bei welcher der Algorithmus ein Operieren an Objekten stoppt. Zum Beispiel kann die Abbruchbedingung definieren, dass der Algorithmus iterativ ist und eine vorbestimmte Anzahl von Zeiten an einer Gruppe von Objekten operiert.
  • In einem Schritt 56 von 13 spezifiziert der Anwender verschiedene Verknüpfungstypen. In der computerimplemtierten Netzstruktur 35 können Verknüpfungen zwischen Objekten, zwischen Klassen und zwischen Prozessierungsschritten, was hierin insgesamt als Knoten bezeichnet wird, sein. Zusätzlich kann es Verknüpfungen zwischen einer Klasse und einem Objekt, zwischen einer Klasse und einem Prozessierungsschritt, zwischen einem Prozessierungsschritt und einem Objekt, zwischen einem Prozessierungsschritt und Tabellendaten und zwischen einem Objekt und Tabellendaten geben. Die Verknüpfungen zwischen einer Klasse und einem Objekt, zwischen einem Prozessierungsschritt und einem Objekt und zwischen einem Objekt und Tabellendaten sind lediglich während der Laufzeit während des Ausführungsmodus in der computerimplemtierten Netzstruktur 35 vorhanden. Der Anwender verwendet dann die Verknüpfungstypen, um eine Beziehung zwischen Knoten des Klassennetzes und der Prozessierungshierarchie zu definieren, die der Anwender in dem Spezifikationsmodus spezifiziert hat. Zusätzlich verwendet der Anwender die Verknüpfungstypen, um eine Beziehung zwischen Objekten des Datennetzes und anderen Knoten der Netzstruktur 35 zu definieren, die während der Laufzeit zu erzeugen sind.
  • 20 zeigt eine Darstellung von verschiedenen Verknüpfungstypen 94 bis 103 der computerimplementierten Netzstruktur 35 von 10.
  • Verknüpfungstypen beschreiben eine Beziehung zwischen Objekten, Klassen und Prozessierungsschritten. Die einfachsten Verknüpfungstypen sind Verknüpfungen vom Typ Austauschbeziehung und Verknüpfungen vom Typ Relation. Austauschbeziehungen sind als derartige Beziehungen definiert, die einen abstrakten, stofflichen und/oder kommunikativen Austausch zwischen Knoten beschreiben. Relationen sind hingegen Beziehungsinhalte, die irgendwelche Beziehungen zwischen Knoten in Abhängigkeit von relationalen Inhalten beschreiben. Wenn eine in der computerimplementierten Netzstruktur 35 vorhandene Information hierarchisch strukturiert ist, werden Verknüpfungen weiterhin in zwei Gruppen unterteilt. Die erste Gruppe verknüpft Knoten in unterschiedlichen Hierarchieebenen der computerimplementierten Netzstruktur 35. Die zweite Gruppe verknüpft Knoten in der selben Hierarchieebene der computerimplementierten Netzstruktur 35.
  • Die Verknüpfung 94 stellt eine vom Typ Austauschbeziehung dar, die Knoten in unterschiedlichen Hierarchieebenen verknüpft. Genauer gesagt stellt die Verknüpfung 94 eine Beziehung zwischen einem größeren, übergeordneten Knoten A und einem kleineren, untergeordneten Knoten B dar. Daher stellt die Verknüpfung 94 einen Skalenwechsel der Information dar und zeigt "B ist Teil von A" an. Die Verknüpfungen 95 bis 97 sind Verknüpfungen vom Typ Austauschbeziehung, die Knoten in den selben Hierarchieebenen verknüpfen. Diese Verknüpfungen stellen keinen Skalenwechsel der Information dar und zeigen "B ist eine Ausgangsgröße von A" an. Zum Beispiel zeigt die Verknüpfung 97 "B ist ein Attribut von A" an.
  • Die Verknüpfung 98 stellt eine Verknüpfung vom Typ Relation an, die Knoten in unterschiedlichen Hierarchieebenen verknüpft und daher einen Skalenwechsel durchführt. Die Verknüpfung 98 zeigt "B ist im Allgemeinen A" an. Die Verknüpfungen 99 bis 102 stellen Verknüpfungen vom Typ Relation dar, die Knoten in der selben Hierarchieebene verknüpfen. Die Verknüpfung 100 zeigt "A ist ortsbezogen benachbart zu B" an. Die Verknüpfung 101 zeigt "A ist ähnlich zu B" an. Die Verknüpfung 102 zeigt "A wird gefolgt von B" an.
  • Die Verknüpfung 103 stellt eine Verknüpfung dar, die Knoten verknüpft, die imstande sind, verschiedene Operationen an anderen Knoten und Verknüpfungen auszuführen. Zum Beispiel kann ein Knoten, der mit der Verknüpfung 103 verknüpft ist, neue Knoten oder Verknüpfungen erzeugen und kann ebenso einen Knoten oder eine Verknüpfung löschen. Die Verknüpfung 103 zeigt "B ist eine Funktion von A" an. Hinsichtlich weiterer Informationen über Verknüpfungstypen in einer semantischen Netzstruktur wird auf die WO 00/20964 und die WO 00/63788 verwiesen.
  • Obgleich in der Ausführungsform von 13 die Verknüpfungstypen in Schritt 56 spezifiziert werden, nachdem das Klassennetz 37 und die Prozessierungshierarchie 38 spezifiziert worden sind, können die Verknüpfungstypen spezifiziert werden, bevor das Klassennetz 37 und die Prozessierungshierarchie 38 spezifiziert werden.
  • 21 zeigt eine vereinfachte schematische Darstellung der computerimplementierten Netzstruktur von 10, nachdem das Klassennetz 37 und die Prozessierungshierarchie 38 spezifiziert worden sind;
  • In diesem Beispiel hat der Anwender im Spezifikationsmodus eine Verknüpfung 104 zwischen einem Algorithmus 86 und einer Unter-Klasse 65 (Blutwerte) des Klassennetzes 37 spezifiziert. Der Anwender spezifiziert die Verknüpfung 104 durch Spezifikation, dass der Algorithmus 86 bestimmt, welche Zellkerne in Abhängigkeit von den Blutwerten des Patienten einander überlappen. In dem Spezifikationsmodus hat der Anwender auch Verknüpfungen 105 zwischen einer Domänenspezifikation 84 und Unter-Klassen des Klassennetzes 37 spezifiziert, die eine Unter-Klasse 64 (Zentromer, das ein Gen überlappt) beinhalten. Der Anwender spezifiziert Verknüpfungen 105 durch Spezifikation, dass die Domäne 84 die Objekte beinhaltet, von denen in dem Ausführungsmodus bestimmt wird, dass sie der Unter-Klasse 64 und analogen Unter-Klassen von anderen Zellen zugehörig sind.
  • In einem Schritt 57 von 13 werden Werte der ersten Datentabelle 39 und der zweiten Datentabelle 40 erfasst. In diesem Beispiel werden Pixelwerte der Bilder von 11 durch ein konfokales Mikroskop erzeugt. In anderen Ausführungsformen werden die Bilder durch eine Röntgenstrahl-Mammographievorrichtung, eine Computertomographie bzw. CT-Vorrichtung, eine Ultraschall-Bildgebungsvorrichtung oder eine bildgebende Kernspintomographie- bzw. MRI-Vorrichtung erzeugt. Das konfokale Mikroskop beinhaltet einen Bilddigitalisierer, der die erfassten Bilder in digitale Bilder wandelt. In anderen Ausführungsformen wird ein materieller Film von mikroskopischen Bildern von einem Filmdigitalisierer gewandelt, um Pixelwerte der Datentabellen zu erzielen. In noch anderen Ausführungsformen werden die mikroskopischen Bilder direkt digital erzeugt Die digitalen Pixelwerte der Datentabellen zeigen sowohl Helligkeits- bzw. Graustufen als auch eine Farbe in einer Raumdomäne der Bilder von 11 an. Daher wird jeder Schnittbild unter Verwendung von mehreren Wellenlängenkanälen bzw. Farben erfasst, die in diesem Beispiel rot, grün und blau entprechen. In dem Schritt 57 werden ebenso Metadatenwerte erfasst. In diesem Beispiel sind einige der Metadaten in einem Textformat, wie zum Beispiel die Identität der Medikation, die dem Patienten verschrieben worden ist. Andere Metadaten, wie zum Beispiel das Gewicht des Patienten, sind in Form einer digitalen Zahl.
  • In einem Schritt 58 von 13 wird das Datennetz 36 durch selektives Verknüpfen von Tabellendatenwerten mit Objekten auf der Grundlage des Klassennetzes und der Prozessierungshierarchie in dem Ausführungsmodus erzeugt. Während Klassen des Klassennetzes beschreiben, was der Anwender in den Tabellendatenwerten zu finden erwartet, geben die Objekte wieder, was tatsächlich in den Tabellendatenwerten gefunden wird. Während der Laufzeit in dem Ausführungsmodus werden die die Prozessierungsschritte ausgeführt, wie es in der Prozessierungshierarchie 38 spezifiziert ist. Jedes Objekt wird durch Verknüpfen des Objekts mit Pixelwerten erzeugt, die ähnliche Charakteristika aufweisen, wie zum Beispiel Helligkeit oder Differenz der Helligkeit zwischen einem Pixel und seinen Nachbarn. Schwellwerte der Helligkeit von Pixeln, die einander zugeordnet sind, können aus einem Gradientenhistogramm von Pixelwerten in dem digitalen Bild erzielt werden. Objekte werden dann auf der Grundlage von Zugehörigkeitsfunktionen zu Klassen mit Klassen verknüpft. Daher werden während der Laufzeit Klassen mit Objekten verknüpft. Weiterhin werden während der Laufzeit Klassen und Prozessierungsschritte mit Tabellendaten verknüpft.
  • 22 ein zeigt vereinfachte schematische Darstellung der computerimplementierten Netzstruktur von 10, nachdem das Datennetz erzeugt worden ist;
  • Verschiedene Klassen des Klassennetzes 37 sind mit den Klassen zugehörigen Objekten in dem Datennetz 36 verknüpft. Zum Beispiel ist die Unter-Klasse 62, die ein Her-2/neu-Gen der Zelle Nummer eins spezifiziert, durch eine Verknüpfung 106 mit einem Objekt 107 verknüpft, welches weiterhin mit Pixelwerten des Schnittbildes der zweiten Datentabelle 40 verknüpft ist. Ähnlich ist die Unter-Klasse 62 der Zelle Nummer eins durch eine Verknüpfung 108 mit einem Objekt 109 verknüpft, welches weiterhin mit Pixelwerten des Schnittbildes der ersten Datentabelle verknüpft ist.
  • Weiterhin zeigt 22, dass, während das CNL-Skript läuft, ebenso Verknüpfungen zwischen Klassen, Prozessierungsschritten, Objekten und Tabellendaten erzeugt werden. Zum Beispiel ist das Objekt 107, das Pixelwerte eines Her-2/neu-Gens in dem Schnittbild der zweiten Datentabelle 40 darstellt, über eine Verknüpfung 110 mit einem Objekt 109 verknüpft, das Pixelwerte des selben Her-2/neu-Gens in dem Schnittbild der ersten Datentabelle 39 darstellt. Daher wird erkannt, dass Pixelwerte, die sowohl dem Objekt 107 als auch dem Objekt 109 zugehörig sind, dem selben Her-2/neu-Gen zugeordnet sind.
  • Weiterhin sind Algorithmen mit Tabellendatenwerten verknüpft. Zum Beispiel wird in dem Spezifikationsmodus ein Algorithmus 86 über die Verknüpfung 104 mit der Klasse 65 (Blutwerte) verknüpft. In dem Ausführungsmodus wird weiterhin eine Klasse 65 über eine Verknüpfung 111 mit einem Objekt 112 für Patientenmetadaten verknüpft. Danach wird in dem Ausführungsmodus ein Algorithmus 86 mit einem Element der Metadaten 113 verknüpft, das einen Wert beinhaltet, der Blutwerte des Patienten darstellt. Die computerimplementierte Netzstruktur 35 ist in 22 als ein Kognitionsnetz 114 gezeigt, wenn Verknüpfungen zwischen Klassen, Prozessierungsschritten, Objekten und Tabellendaten während der Laufzeit in dem Ausführungsmodus vorhanden sind.
  • 23 zeigt eine vereinfachte Darstellung eines Datennetzes, in welchem Pixelwerte mit Objekten verknüpft sind.
  • Objekte sind mit Tabellendatenwerten, die ähnliche Charakteristika aufweisen, verknüpft worden. Weiterhin sind Objekte auf der Grundlage von Zugehörigkeitsfunktionen, die Klassen definieren, mit anderen Objekten verknüpft worden. Die Tabellendatenwerte von 23 sind angeordnet, um darzustellen, dass sie Pixelwerte eines digitalen Bildes sind. Zum Beispiel ist ein Faktor einer Zugehörigkeitsfunktion der Bereich, der mit das Objekt ausbildenden Pixeln belegt ist. In einem Beispiel wird der Bereich als zu der Anzahl von mit dem Objekt verknüpften Pixelwerten proportional berechnet.
  • 24 zeigt eine vereinfachte Darstellung eines Datennetzes, in welchem Objekte über verschiedene Verknüpfungstypen mit anderen Objekten verknüpft sind.
  • Objekte sind durch in 20 gezeigte Verknüpfungstypen mit anderen Objekten im Datennetz 36 verknüpft. In dem Ausführungsmodus wird ein einer Klasse zugehöriges Objekt mit einem anderen Objekt verknüpft, das einer anderen Klasse zugehörig ist, wenn diese zwei Klassen in dem Klassennetz 37 miteinander verknüpft sind.
  • 25 zeigt ein Flussdiagramm, das Unter-Schritte des fünften Schritts 58 von 13 zum Erzeugen des Datennetzes von 10 zeigt;
  • In einem Unter-Schritt 115 wird das Klassennetz 37, das in Schritt 54 von 13 spezifiziert wird, in eine Skript-Ausführungsmaschine des CNL-Skripts geladen. In einem Unter-Schritt 116 wird die Prozessierungshierarchie, die in Schritt 55 von 13 spezifiziert wird, in die Skript-Ausführungsmaschine geladen. In einem Unter- Schritt 117 wird ein Datensatz N der Tabellendatenwerte, die in Schritt 57 der 13 erfasst worden sind, in die Skript-Ausführungsmaschine geladen.
  • In einem Unter-Schritt 118 von Schritt 58 von 13 werden die Prozessierungsschritte, die in Schritt 55 von 13 spezifiziert worden sind, an dem Datensatz N ausgeführt. In einem Unter-Schritt 119 hat der Anwender die Möglichkeit, das CNL-Skript in einem interaktiven Modus auszuführen. In dem interaktiven Modus werden die Ergebnisse des computerunterstützten Erfassens zu dem Anwender, wie zum Beispiel zu einem Arzt in der Forschung, ausgegeben. Wenn der Anwender mit den Ergebnissen unzufrieden ist, kann der Anwender die Klassen des Klassennetzes 37 oder die Prozessierungsschritte der Prozessierungshierarchie 38 editieren und sofort die Prozessierungsschritte an dem Datensatz N erneut ausführen. Der Anwender kann die Prozessierungsschritte unter Verwendung der grafischen Benutzeroberfläche und eines Skripteditors des CNL-Skripts editieren.
  • 26 zeigt einen Screenshot einer grafischen Benutzeroberfläche, um bei einem Editieren des Klassennetzes 37 und der Prozessierungshierarchie 38 von 10 mitzuwirken.
  • Genauer gesagt zeigt 26 einen Screenshot einer Ansicht der grafischen Benutzeroberfläche, die durch ein Ansichtsmodul des CNL-Skripts erzeugt wird. Der Screenshot beinhaltet ein Fenster, das drei Schnittbilder (oben, Mitte und unten) von drei aufeinanderfolgenden Tiefen in der Z-Richtung beinhaltet. Die Schnittbilder zeigen Zellkerne. Der Anwender kann das Klassennetz 37 und die Prozessierungshierarchie 38 unter Verwendung der Fenster auf der rechten Seite des Screenshots editieren, so dass der Zielbereich, der durch den bestimmten editierten Prozessierungsschritt erkannt wird, zufriedenstellend ist. Zum Beispiel erscheint durch das Klicken der rechten Maustaste auf einen Prozessierungsschritt in dem unteren rechten Fenster ein Popup-Fenster mit einem Dialog, das den Anwender fragt, ob er wünscht, einen Unter-Prozessierungsschritt hinzuzufügen bzw. unter den angeklickten Prozessierungsschritt einen Prozessierungsschritt hinzuzufügen. Der Anwender wird dann aufgefordert, eine Domäne und einen Algorithmus für den neuen Prozessierungsschritt auszufwählen. Die vorhandenen Prozessierungsschritte können ebenso editiert werden.
  • Der Anwender kann unter Verwendung des oberen rechten Fensters ebenso Klassen hinzufügen oder editieren. Eine Klasse wird ebenso durch Klicken der rechten Maustaste und durch Antworten auf die Fragen in dem Popup-Fenster hinzugefügt. Der Anwender wird aufgefordert, die neue Klasse zu benennen und Eigenschaften von Objekten einzugeben, die der Klasse zugehörig sind, wie zum Beispiel Farbe, Gebiet, Asymmetrie, Dichte und die Winkel entlang der Grenzen des Objekts. Daher kann das CNL-Skript ebenso farbige digitale Bilder analysieren. Das CNL-Skript analysiert Schnittbilder, die unter Verwendung von roten, grünen und blauen Farbkanälen erzielt worden sind, wie es in 12 gezeigt ist. In dem Schnittbild, das in der grafischen Benutzeroberfläche von 26 gezeigt ist, entsprechen jedoch die Farben der Zellkerne nicht den spektralen Farben, die verwendet worden sind, um jedes Schnittbild zu erzielen. Statt dessen ist jedem Zellkern eine unterschiedliche Klasse zugeordnet. Zur Einfachheit ist einer Ansicht jeder Klasse, die auf der grafischen Benutzeroberfläche gezeigt ist, eine unterschiedliche Farbe zugeordnet.
  • Als Teil eines Erzeugens einer Klasse wird ebenso eine Zugehörigkeitsfunktion für Objekte definiert, die der Klasse zugehörig sind. Zum Beispiel kann eine "Asymmetriefunktion" als Teil der Zugehörigkeitsfunktion definiert sein. Die Asymmetriefunktion beschreibt die Form von ein Objekt ausbildenden Pixeln durch Annähern einer Ellipse. Zum Beispiel kann die Asymmetriefunktion verwendet werden, um Zellkernobjekte zu klassifizieren. Der Zähler der Asymmetriefunktion beschreibt die Hauptachse der Ellipse und der Nenner beschreibt die Nebenachse der Ellipse. Eine Form der Pixel, die sich einem Kreis annähern, weist einen Asymmetriewert von eins auf. Eine gestreckte Form der Pixel weist einen Asymmetriewert von größer als eins auf. Ebenso kann eine "Dichtefunktion" definiert werden, um Zellkernobjekte zu klassifizieren. Die Dichtefunktion ist die Quadratwurzel des Bereichs der Pixel geteilt durch die Länge der Grenze um die Pixel, die ein Objekt umgeben. Die Asymmetriefunktion und die Dichtefunktion können bei der Diagnose von Brustkrebs verwendet werden. Die Form eines Zellkerns in einer krebsartigen Zelle ist zu der Form eines Zellkerns in einer normalen Zelle unterschiedlich.
  • 27 zeigt einen Screenshot einer grafischen Benutzeroberfläche mit einem Fenster, das ein hervorgehobenes Her-2/neu-Gen in einem Zellkern zeigt.
  • Genauer gesagt zeigt 27 einen Screenshot einer anderen Ansicht der grafischen Benutzeroberfläche, die durch das Ansichtsmodul des CNL-Skripts erzeugt wird. Der Screenshot beinhaltet ein Fenster auf der linken Seite, das einen Teil eines Schnittbildes zeigt, in welchem ein Her-2/neu-Gen in einem Zellkern hervorgehoben worden ist. Ein Fenster auf der rechten Seite stellt eine Information über jedes Her-2/neu-Gen in dem Schnittbild einschließlich des hervorgehobenen Her-2/neu-Gens zur Verfügung. Zum Beispiel weist das hervorgehobene Her-2/neu-Gen einen Bereich von neunzehn Pixeln auf. Ebenso werden die X-Y-Koordinaten des hervorgehobenen Her-2/neu-Gens in dem Schnittbild angezeigt.
  • 28 zeigt einen Screenshot der grafischen Benutzeroberfläche mit einem Fenster, das eine Hervorhebung zeigt, die ein Her-2/neu-Gen zu sein scheint, jedoch tatsächlich ein Bildgebungsartefakt ist;
  • Ein Fenster auf der rechten Seite stellt eine Information über das hervorgehobene Objekt zur Verfügung. Es wird angezeigt, dass das hevorgehobene Objekt einen Bereich von 582 Pixeln aufweist. Durch die Zugehörigkeitsfunktion der Klasse für Her-2/neu-Gene wird bestimmt, dass das Objekt zu groß ist, um durch ein Her-2/neu-Fluoreszenzsignal 19 erzeugt worden zu sein. Daher wird bestimmt, dass das Objekt kein Her-2/neu-Gen, sondern wahrscheinlicher ein Bildgebungsartefakt ist. Ähnlich 27 werden die X-Y-Koordinaten des hervorgehobenen Bildartefakts angezeigt. Aus den X-Y-Koordinaten wird bestimmt, dass sich das Her-2/neu-Gen von 27 unter dem Bildartefakt von 28 befindet und von diesem überlappt wird. Ungeachtet dessen kann das Her-2/neu-Gen von 27 identifiziert werden.
  • Da das Klassennetz 37 und die Prozessierungshierarchie 38 unter Verwendung der auf XML beruhenden CNL spezifiziert werden, können das Klassennetz 37 und die Prozessierungshierarchie 38 editiert werden, ohne das CNL-Skript neu zu übersetzen. Daher kann während der Laufzeit eine neue Zugehörigkeitsfunktion einer neuen Klasse eingeben werden, die definiert, ob Objekte des Datennetzes 36 der neuen Klasse zugehörig sind, und die Prozessierungsschritte können ohne neues Übersetzen von Programmanweisungen des CNL-Skripts sofort an dem neu erzeugten Datennetz 36 durchgeführt werden. Die auf XML beruhende CNL und die grafische Benutzeroberfläche lassen zu, das Kognitionsnetz 114 schneller zu "trainieren", um Her-2/neu-Gene, die durch Fluoreszenzsignale 19 markiert sind, und Zentromere des Chromosoms Nummer siebzehn zu erkennen, die durch Fluoreszenzsignale 18 markiert sind. Die Möglichkeit, das Klassennetz 37 und die Prozessierungshierarchie 38 während der Laufzeit zu editieren, unterscheidet das CNL-Skript von herkömmlichen CAD-Schemata, die die Prozessierung der Regelanwendung nicht ändern können, nachdem das CAD-Schema die Analyse eines bestimmten digitalen Bildes begonnen hat. Nachdem bestimmt worden ist, dass die Ergebnisse einer Mustererkennung, die an einem Datensatz N durchgeführt wurde, zufriedenstellend sind, werden die Prozessierungsschritte automatisch an dem nächsten Datensatz N + 1 ausgeführt. Das CNL-Skript kann dann automatisch die Prozessierungsschritte an einer großen Anzahl von Datensätzen durchführen, wie zum Beispiel ein Durchführen einer Bearbeitung über Nacht, ein Erzeugen von Berichten für jede Datenebene, zum Beispiel für alle Zellkerne, für jedes Schnittbild, für jeden Z-Stapel und für jeden Objektträger, usw.
  • Das CNL-Skript arbeitet typischerweise nicht in dem interaktiven Modus, wenn der Anwender kein Arzt in der Forschung, sondern eher ein Pathologe ist, der das Biopsiegewebe eines neuen Patienten analysiert. Ein Pathologe wird das CNL-Skript mit einem Klassennetz und einer Prozessierungshierarchie verwenden, die bereits von dem Arzt in der Forschung trainiert worden sind. In diesem Fall werden alle Prozessierungsschritte der Prozessierungshierarchie 38 an allen Datensätzen ausgeführt und werden Ergebnisse zum Ausgeben der Endergebnisse in dem Schritt 59 der 13 gespeichert.
  • 29 zeigt ein Flussdiagramm, das Unter-Schritte eines Schritts von 25 zum Ausführen von Prozessierungsschritten der Prozessierungshierarchie von 10 zeigt.
  • 29 zeigt die Prozessierung, durch welche jeder Prozessierungsschritt der Prozessierungshierarchie 38 auf einem von einer Domäne spezifizierten Objekt operiert. In einem Unter-Schritt 120 wird die Domäne erzeugt, die in den Unter-Schritten 87 bis 90 von 18 spezifiziert worden ist. In einem Unter-Schritt 121 ruft die Skript-Ausführungsmaschine das nächste Objekt der Domäne ab, an der ein Algorithmus auszuführen ist. In einem Unter-Schritt 122 führt die Skript-Ausführungsmaschine den Algorithmus des Prozessierungsschritts an dem abgerufenen Objekt aus. In einem Unter-Schritt 123 führt die Skript-Ausführungsmaschine den Algorithmus von allen Unter-Prozessierungsschritten an dem abgerufenen Objekt aus. In einem Unter-Schritt 124 ruft die Skript-Ausführungsmaschine den nächsten Prozessierungsschritt der Prozessierungshierarchie ab, so dass die Unter-Schritte 120 bis 123 für die Domänen und die Algorithmen des nächsten Prozessierungsschritts und Unter-Prozessierungschritte, sofern es diese gibt, wiederholt werden.
  • 30 zeigt ein Flussdiagramm, das Unter-Schritte des 120 Schritts von 29 zum Erzeugen einer in einem Prozessierungsschritt spezifizierten Domäne zeigt.
  • Es wird zurück zu dem letzten Schritt 59 von 13 verwiesen. Das CNL-Skript gibt Endergebnisse des computerunterstützten Erfassens auf der Grundlage des Kognitionsnetzes 114 aus, das unter Verwendung des Klassennetzes 37 und der Prozessierungshierarchie 38 erzeugt worden ist.
  • 31 zeigt eine vereinfachte schematische Darstellung des Kognitionsnetzes 114, wenn das Datennetz 36 aus vielen digitalen Bildern, wie zum Beispiel vielen Schnittbildern des Gewebes, erzeugt worden ist.
  • 31 ist ein detaillierteres Beispiel der Darstellung von 9, in welcher ein Datennetz auf der Grundlage von Pixelwerten von mehreren Schnittbildern erzeugt worden ist. Durch Erzeugen des Datennetzes 36 aus digitalen Bildern, die zum Beispiel von vielen parallelen planaren Schnitten von Biopsiegewebeerzielt worden sind, erfasst das CNL-Skript dreidimensional Her-2/neu-Gene in dem Biopsiegewebe.
  • 31 stellt dar, dass in dem Spezifikationsmodus eine Domänen-Spezifikation durch Verknüpfung 125 mit einer Klasse verknüpft wird. In dem Ausführungsmodus erfasst das CNL-Skript Tabellendatenwerte, die viele digitale Bilder beinhalten, die Schnitte eines dreidimensionalen Datensatzes sind. Das CNL-Skript wendet dann die Zugehörigkeitsfunktion der Klasse auf Werte von jedem der digitalen Bilder an und bestimmt, dass verschiedene Objekte, die aus den vielen digitalen Bildern erzeugt worden sind, der Klasse zugehörig sind. Zum Beispiel bestimmt das CNL-Skript, das jedes der Objekte 126 bis 131 aus den digitalen Bildern in den entsprechenden Datentabellen 132 bis 136 der Klasse zugehörig ist. Die Klasse wird dann mit jedem der Objekte 126 bis 131 verknüpft. Zum Beispiel verknüpft eine Verknüpfung 137 die Klasse mit dem Objekt 126, welches weiterhin mit Pixelwerten von einem ersten digitalen Bild in der Datentabelle 132 verknüpft wird. Während der Laufzeit wird die Domänenspezifikation dann ebenso mit den Objekten verknüpft, die der Klasse zugehörig sind, die in der Domänenspezifikation spezifiziert ist. Zum Beispiel verknüpft eine Verknüpfung 138 die Domänenspezifikation mit dem Objekt 126, während das CNL-Skript läuft. Dies lässt zu, dass der Algorithmus des Prozessierungsschritts, an allen Objekten operiert, die das dreidimensionale Objekt beinhalten, das in diesem Beispiel ein Her-2/neu-Gen ist. Schließlich werden alle Objekte 126 bis 131, die der Klasse zugehörig sind und aus den vielen digitalen Bildern erzeugt werden, in dem Datenetz 36 miteinander verknüpft. Zum Beispiel wird das Objekt 126, welches mit Pixelwerten aus dem ersten digitalen Bild verknüpft ist, über eine Verknüpfung 139 mit dem Objekt 127 verknüpft, welches mit Pixelwerten aus dem zweiten digitalen Bild verknüpft ist. Da alle Objekte 126 bis 131 als der selben Klasse zugehörig identifiziert werden, können die physikalischen Charakteristika der Klasse bestimmt werden. Wenn zum Beispiel ein Genklumpen oder ein Zellkern vorhanden ist, kann das Volumen des Genklumpens oder des Zellkerns bestimmt werden.
  • 31 stellt ebenso dar, dass das CNL-Skript ein Objekt, das von einem Schnittbild erzeugt worden ist, mit zwei Objekten in einem benachbarten Schnittbild verknüpft hat. Ein Objekt 129, das aus dem vierten Schnittbild erzeugt worden ist, wird mit zwei Objekten der selben Klasse verknüpft, die aus dem fünften Schnittbild erzeugt worden sind. Das Objekt 129 wird über eine Verknüpfung 140 mit dem Objekt 130 und über eine Verknüpfung 131 mit einem zweiten Objekt 131 aus dem fünften Schnittbild verknüpft. Auf diese Weise ist das CNL-Skript imstande, dreidimensionale Objekte, wie zum Beispiel Blutgefäße zu erfassen, die sich in mehrere Anteile in benachbarten Schnittbildern aufspalten.
  • Das Verknüpfen von Objekten in mehreren Abtastungen kann ebenso verwendet werden, um eine Bewegung über die Zeit zu verfolgen. Anstelle der Abtastungen, die benachbarte physikalische Ebenen eines physikalischen Objekts darstellen, werden mehrere Abtastungen analysiert, die zu unterschiedlichen Zeiten ermittelt worden sind. In einem Beispiel sind die Objekte 126 bis 131 Biopsiegewebeproben des selben Patienten zugehörig, die in einmonatigen Intervallen genommen worden sind. Die Änderung der Form des Zellkerns und die Änderung der Amplifizierung der Her-2/neu-Gene wird verwendet, um eine Prognose über den Zustand des Patienten zur Verfügung zu stellen. In einem anderen Beispiel sind die Objekte 126 bis 131 der Klasse zugehörig, die eine Zelle darstellt. Digitale Bilder der Zelle werden in unterschiedlichen Zeitintervallen aufgenommen. Eine Bewegung kann durch Verknüpfen der Objekte der selben Klasse verfolgt werden, die von digitalen Bildern erzielt werden, die in benachbarten Zeitintervallen aufgenommen worden sind. Über zum Beispiel vier Zeitintervalle, zu welchen die digitalen Bilder der Datentabellen 132 bis 135 aufgenommen werden, wächst die Zelle, die durch die Klasse beschrieben wird, die mit den Objekten 126 bis 129 verknüpft ist, von vier Pixel auf sieben Pixel. Dann teilt sich die Zelle nach dem fünften Zeitintervall in das Objekt 130 mit vier Pixeln und das Objekt 131 mit vier Pixeln. Die Bewegung und die Änderung der Form der Zellen und Zellkomponenten müssen nicht in benachbarten Zeitintervallen verfolgt werden, sondern können eher zu unregelmäßigen Zeiten analysiert werden. Die Bewegung von drei- oder N-dimensionalen Objekten kann ebenso verfolgt werden. In einem Beispiel ist eine vierte analysierte Dimension die Zeit und ist eine fünfte analysierte Dimension die Geschwindigkeit bzw. eine zeitliche Änderung.
  • In einer anderen Ausführungsform erfasst das CNL-Skript die mehreren digitalen Bilder aus einem Videofilm und nicht aus mehreren Abtastungen. Zum Beispiel stellt der Videofilm eines Bewegung eines Bakteriums, einer Zelle oder eines Interphasen-Zellkerns dar. Das CNL-Skript kann verwendet werden, um eine sich bewegende Zelle unter mehreren sich bewegenden Zellen zu erfassen.
  • In noch einer anderen Ausführungsform werden Bilder analysiert und korreliert, die unter Verwendung von verschiedenen Bildgebungs- und Markierungsverfahren erzielt worden sind. Zum Beispiel erzielen die Datentabellen 132 bis 135 Bilder des selben Biopsiegewebes, die unter Verwendung eines Mikroskops, einer Röntgenstrahl-Vorrichtung, eines Computertomographen, einer Ultraschall-Bildgebungsvorrichtung und einer bildgebenden Kernspintomographie-Vorrichtung aufgenommen worden sind. Daher wird eine multimodale Anzeige von Bildern zur Verfügung gestellt, die unter Verwendung von mehreren spektralen Bildgebungsverfahren erzielt worden ist. Die multimodalen Bilder werden unter Verwendung der grafischen Benutzeroberfläche miteinander korreliert. Weiterhin können verschiedene Bilder unter Verwendung von verschiedenen Biomarkern, wie zum Beispiel FISH, chromogener in situ-Hybridisierung bzw. CISH und Markierung des Ki67 Antigens mit polyklonalem Antikörper bzw. NCL-Ki67p, aufgenommen werden. Daher zeigt jedes Bild der multimodalen Anzeige mehrere Biomarker. Bilder können auch unter Verwendung von "Multiplex"-Biomarkern, die verschiedene Zellkomponenten auf verschiedene Weisen markieren, aufgenommen werden. Weiterhin können ebenso Bilder von markierten Proteinen, wie zum Beispiel Östrogen und Progesteron, angezeigt und analysiert werden. Objekte, die den selben markierten Zellkomponenten in verschiedenen multimodalen Bildern entsprechen, werden dann in dem Datennetz 36 verknüpft. Diagnosen und Prognosen können durch Korrelation der Analyseergebnisse der verschiedenen Bilder verbessert werden, die unter Verwendung von verschiedenen Biomarkern und spektralen Analyseverfahren aufgenommen worden sind.
  • 32 zeigt einen Screenshot einer Prozessierungshierarchie, die von einer anderen Ausführungsform der computerimplementierten Netzstruktur 35 von 10 verwendet wird, um einzelne Zellen in einer Zellbestimmung zu analysieren;
  • Die dreidimensionalen Eigenschaften der Zellen werden unter Verwendung von einhundert Abtastungen in verschiedenen Tiefen einer einzelnen Zelle unter Verwendung eines konfokalen Mikroskops analysiert. Während des "Trainings"-Verfahrens wird, wenn das CNL-Skript in dem vorhergehend durch Unter-Schritte von 25 beschriebenen interaktiven Modus arbeitet, die Prozessierungshierarchie von 32 in dem unteren rechten Fenster von 26 dargestellt.
  • 33 zeigt eine dreidimensionale Darstellung einer in einem letzten Schritt von 13 ausgegebenen sich teilenden Zelle mit markierten Zielobjekten.
  • Genauer gesagt zeigt 33 die Ausgabe von Schritt 59 von 13, wie sie auf der grafischen Benutzeroberfläche für die Ausführungsform von 32 dargestellt wird. Zwei dreidimensionale Zellen aus einem Zellassay sind in 33 dargestellt. In 33 sind Zielobjekte 142, die der selben Klasse zugehörig sind, mit der selben Farbe angezeigt. In diesem Beispiel sind die Zielobjekte 142 markierte Mitochondrien. Das CNL-Skript vergleicht das durchschnittliche Volumen der markierten Mitochondrien mit dem Volumen des sie umgebenden Zytoplasmas.
  • In noch anderen Ausführungsformen analysiert das Kognitionsnetz 114 Zellen, die sich in verschiedenen Aggregationsformen befinden. Einzelne Zellen in Wells bzw. Senken in Platten bzw. Mikrotiter-Platten eines zellbasierten Assays können analysiert werden. Gruppierte Zellen in einem Gewebe-Bildungsassay können analysiert werden. Gewebebiopsieproben können analysiert werden, wie es zuvor beschrieben worden ist. Ebenso können Gewebemikroarrays, die verschiedene Typen von Gewebe beinhalten, analysiert werden. Ein Gewebemikroarray kann zum Beispiel Gewebe aus Haut, Brust, Lungen, Herz usw. beinhalten, wobei dieses Gewebe verschiedene Typen an Krebs zeigt. In diesem Beispiel wird die Reaktion von verschiedenen Krebstypen in verschiedenen Geweben auf bestimmte Dosierungen von Wirkstoffen korreliert. Dies findet in der pharmazeutischen Forschung Verwendung, um Gewebemikroarrays zu analysieren. In dem Verfahren von 13 werden Tabellendatenwerte in dem Schritt 57 aus den Bildern des Zellgewebes in mehreren Wells eines Gewebemikroarrays erfasst. Das CNL-Skript wird verwendet, um nach morphologischen Änderungen in den Zellen zu suchen. Das CNL-Skript wird ebenso verwendet, um durch Analysieren der mehreren Bilder eine Bewegung in dem Zellgewebe zu erfassen, die von der selben Zelle in aufeinanderfolgenden Zeitintervallen aufgenommen worden sind. Das CNL-Skript bestimmt, welche Zeit erforderlich ist, damit die Zellen stoppen, sich zu teilen, wenn eine spezifizierte Dosierung eines Wirkstoffs in die Well gegeben wird.
  • 34 zeigt ein Programmlisting von Zeilen eines einem CNL-Skript entsprechenden XML-Codes, der ein Klassennetz und eine Prozessierungshierarchie zum Analysieren und Zählen von in Gewebe vorkommenden Fluoreszenzsignalen implementiert.
  • Das CNL-Skript ist unter Verwendung einer grafischen Benutzeroberfläche erzeugt und editiert worden, die zu der in 26 gezeigten ähnlich ist.
  • Die 35A bis 35E zeigen weitere Zeilen des XML-Codes von 34.
  • Die XML-Beschreibung von ausgewählten Klassen von 14 und Prozessierungsschritten von 16 sind durch XML-Kommentare in den 35A bis 35F bezeichnet. Zum Beispiel zeigt 35A eine XML-Beschreibung 143 der Klasse "Zellen" von 14. Die Klasse "Zellen" ist mit der Klassenkennung "7" bezeichnet. Weiterhin zeigt 35A eine XML-Beschreibung 144 einer Helferklasse von 14, die als "potenzielles Her-2/neu" markiert ist. Die Helferklasse ist eine temporäre Klasse und erzeugt während der Laufzeit Zwischenobjekte. Zusätzlich zu der Helferklasse, die durch den Anwender spezifiziert ist, werden ebenso dynamisch erzeugte Klassen angewendet. Diese Klassen werden während der Laufzeit erzeugt und gelöscht, bevor das Endergebnis der Klassifikation erreicht wird. Zwischenobjekte werden mit der Helferklasse und mit den dynamisch erzeugten Klassen verknüpft. Die Zwischenobjekte werden umklassifiziert, wenn das CNL-Skript iterativ die Prozessierungsschritte durchführt, um die Kategorisierung der Objekte in dem Rest der spezifizierten Klassen zu optimieren. Daher ist das Durchführen der Prozessierungsschritte der Prozessierungshierarchie ein adaptives Verfahren, das an dem selben digitalen Bild wiederholt und optimiert wird.
  • 35D zeigt eine XML-Beschreibung 145 der Domänen-Spezifikation eines Unter-Prozessierungsschritts des Unter-Prozessierungsschritts 70 (FISH Mamma 2D) von 16. Die Klassenkennung "7" der Klasse "Zellen" ist unter der Liste der Klassen <1Clss> der Domänenspezifikation aufgelistet. Die Klassenkennung in der Domänenspezifikation erzeugt während der Laufzeit eine Verknüpfung zwischen der Domänenspezifikation und der Klasse. Während der Laufzeit werden ebenso Verknüpfungen der Domänenspezifikation des Unter-Prozessierungsschritts mit den tatsächlichen Objekten des Datennetzes erzeugt, die als der Klasse "Zellen" zugehörig bestimmt werden.
  • Das computerimplementierte Analysesystem kann ebenso an anderen Färbungen und Biomarkern als denjenigen angewendet werden, die das Her-2/neu-Gen markieren, wie zum Beispiel IHC, CISH und Ki-67. Korrelationen zwischen Ergebnissen von diesen anderen Biomarkern mit denjenigen von FISH können an einer einzigen Probe oder einem einzigen Tumorpatienten durchgeführt werden. Eine derartige Verwendung ist in Anwendungen der Translational-Medizin und in einem Verfahren der "fallbezogenen Beweisführung" von Nutzen. Ergebnisse des computerimplementierten Analysesystems können ebenso mit Radiologie-Bilddaten korreliert werden, um eine multiskalare, mehrfach auflösende und multimodale computerunterstützte Diagnose zu erzielen. Das offenbarte Verfahren lässt zu, verschiedene Bildanalyseergebnisse zu korrelieren, wie zum Beispiel zwischen morphologischer und molekularer Pathologie und zwischen Pathologie und Radiologie. Weiterhin können die Ergebnisse von verschiedenen klinischen Stufen korreliert werden, wie zum Beispiel zwischen der Zeit der Analyse und der Zeit der Behandlung. Auf diese Weise wird detailliertes Wissen über die extrahierten Objekte, deren gegenseitige Beziehungen und das gesamte Gewebe oder den gesamten Tumor erzeugt.
  • Das computerimplementierte Analysesystem führt ein computerunterstütztes Erfassen bzw. CAD von Zellkomponenten in Kombination mit einem Arbeitsplatzrechner durch. Das CNL-Skript läuft auf einem Arbeitsplatzrechner. Zum schnelleren Berechnen und Analysieren fügt eine auf einem Chip ausgeführte bzw. On-Chip-Lösung die Prozessierungsschritte in fest verdrahtete Prozessierungseinheiten einer anwendungsspezifischen integrierten Schaltung bzw. ASIC oder programmierbaren Logikvorrichtung bzw. PLD ein. Das computereimplementierte Analysesystem kann ebenso in Verbindung mit "virtueller Mikroskopie" verwendet werden, in welcher das automatisierte Analysieren von Objektträgern ohne manuellen Einfluss durchgeführt wird. Das Wissen wird aus einer großen Menge von analysierten Daten extrahiert, die über viele Stunden oder Tage erfasst werden. Das computerimplementierte Analysesystem wird verwendet, um Muster und Beziehungen in der großen Datenanzahl erkennen. Zum Beispiel erkennt das computerimplementierte Analysesystem Muster in den Distanzen zwischen Zellkernen, die mehrere markierte Her-2/neu-Gene beinhalten, und Muster in den Formen der markierten Her-2/neu-Gene.
  • Die vorliegende Erfindung ist nicht auf die zuvor bechriebenenen Ausführungsformen beschränkt. Obgleich die Ausführungsformen des CNL-Skripts und der computerimplementierten Netzstruktur vorhergehend in Verbindung mit dem computerunterstützten Analysieren und Zählen von Fluoreszenzsignalen beschrieben worden sind, die in unter Verwendung der FISH-Technik markierten Biopsiegeweben vorhanden sind, können zum Beispiel das CNL-Skript und die computerimplementierte Netzstruktur gleichermaßen zum Erfassen und Analysieren von Zielstrukturen in anderen mikroskopischen Bildern angewendet werden. Zusätzlich zum Analysieren von Bildern, die mit herkömmlicher konfokaler Mikroskopie erzielt worden sind, können ebenso mikroskopische Bilder analysiert werden, die in dem Infrarot-Lichtband erzielt worden sind. Das CNL-Skript und die computerimplementierte Netzstruktur können ebenso verwendet werden, um anatomische Bereiche zu erfassen und zu analysieren, wie zum Beispiel das menschliche Gehirn, die Lungen und Brüste sowie Mikroorganismen, nicht lebende Zellen und die Zellen von Pflanzen. Daher kann das computerimplementierte Analysesystem in Anwendungen verwendet werden, die die Umwelt betreffen.

Claims (22)

  1. Computerimplementiertes Verfahren, das die Schritte aufweist: Spezifizieren eines Klassennetzes; Spezifizieren einer Prozessierungshierarchie; Erfassen von Pixelwerten eines Zellkomponenten beinhaltenden Bildes, wobei bestimmte der Zellkomponenten unter Verwendung eines Markierungsverfahrens markiert worden sind; Erzeugen eines Datennetzes auf der Grundlage des Klassennetzes und der Prozessierungshierarchie; und Zählen von unter Verwendung des Markierungsverfahrens markierten Zellkomponenten unter Verwendung des Datennetzes.
  2. Verfahren nach Anspruch 1, das den Schritt eines Verwendens von Fluoreszenz-in situ-Hybridisierung als Markierungsverfahren aufweist.
  3. Verfahren nach Anspruch 1 oder 2, das den Schritt eines Verknüpfens eines Objekts des Datennetzes, das einer unter Verwendung des Markierungsverfahrens markierten Zellkomponente entspricht, mit einigen der Pixelwerte aufweist.
  4. Verfahren nach Anspruch 3, wobei eine unter Verwendung des Markierungsverfahrens markierte Zellkomponente ein Gen ist.
  5. Verfahren nach Anspruch 4, wobei das Gen ein Her-2/neu-Gen ist.
  6. Verfahren nach Anspruch 3, wobei eine unter Verwendung des Markierungsverfahrens markierte Zellkomponente ein Zentromer eines Chromosoms ist.
  7. Verfahren nach Anspruch 3, wobei eine unter Verwendung des Markierungsverfahrens markierte Zellkomponente ein Zellkern ist.
  8. Verfahren nach einem der Ansprüche 1 bis 7, das den Schritt eines Bestimmens eines Volumens einer Zellkomponente unter Verwendung des Datennetzes aufweist.
  9. Verfahren nach einem der Ansprüche 1 bis 8, wobei: das Klassennetz eine Klasse aufweist und eine Zugehörigkeitsfunktion eine Wahrscheinlichkeit definiert, dass ein Objekt des Datennetzes der Klasse zugehörig ist; das Spezifizieren der Prozessierungshierarchie ein Spezifizieren eines Prozessierungsschritts aufweist, der Teil der Prozessierungshierarchie ist; das Erfassen der Pixelwerte ein Erfassen von Tabellendatenwerten aufweist, die die Pixelwerte des die Zellkomponenten beinhaltenden Bildes beinhalten; und das Datennetz durch Erzeugen des Objekts des Datennetzes und selektives Verknüpfen von ausgewählten Tabellendatenwerten mit dem Objekt erzeugt wird.
  10. Verfahren nach Anspruch 9, das den Schritt eines Quantifizierens der unter Verwendung des Markierungsverfahrens markierten Zellkomponenten durch Zählen der unter Verwendung des Markierungsverfahrens markierten Zellkomponenten aufweist.
  11. Verfahren nach Anspruch 9 oder 10, wobei das Bild ein erstes Schnittbild aus einem von einem Gewebe auf einem Objektträger genommenen Stapel von Schnittbildern darstellt, die Tabellendatenwerte Pixelwerte eines zweiten Bildes der Zellkomponenten beinhalten und das zweite Bild ein zweites Schnittbild aus dem von dem Gewebe auf dem Objektträger genommenen Stapel von Schnittbildern darstellt.
  12. Verfahren nach Anspruch 11, wobei das Quantifizieren das Bestimmen einer Distanz in dem Gewebe zwischen einer ersten Zellkomponente in dem ersten Schnittbild und einer zweiten Zellkomponente in dem zweiten Schnittbild aufweist.
  13. Verfahren nach einem der Ansprüche 9 bis 12, das den Schritt eines Erzielens des Bildes unter Verwendung eines konfokalen Mikroskops aufweist.
  14. Verfahren nach einem der Ansprüche 9 bis 13, wobei das Bild mehrere parallele planare Abtastungen von menschlichem Gewebe aufweist, das Erzeugen des Datennetzes das Erzeugen von Unter-Objekten einer Abtastung aus den mehreren parallelen planaren Abtastungen und das Verknüpfen von ausgewählten Pixelwerten der einen Abtastung mit den Unter-Objekten der einen Abtastung beinhaltet und das Erzeugen des Datennetzes das Erzeugen von Unter-Objekten einer zu der einen Abtastung benachbarten Abtastung aus den mehreren parallelen planaren Abtastungen und das Verknüpfen von ausgewählten Pixelwerten der zu der einen Abtastung benachbarten Abtastung mit den Unter-Objekten der benachbarten Abtastung beinhaltet.
  15. Verfahren nach Anspruch 14, wobei verknüpfte Unter-Objekte von benachbarten Abtastungen die Zellkomponenten darstellen.
  16. Verfahren nach einem der Ansprüche 9 bis 15, wobei die Tabellendatenwerte Elemente von das Bild betreffenden Metadaten beinhalten.
  17. Verfahren nach einem der Ansprüche 9 bis 16, wobei die Tabellendatenwerte Werte beinhalten, die mehreren zu unterschiedlichen Zeitintervallen aufgenommenen Abtastungen zugehörig sind das Erzeugen des Datennetzes das Erzeugen von Unter-Objekten einer der mehreren Abtastungen und das Verknüpfen von ausgewählten Werten der einen Abtastung mit den Unter-Objekten der einen Abtastung beinhaltet, und das Erzeugen des Datennetzes das Erzeugen von Unter-Objekten einer zu der einen Abtastung benachbarten Abtastung, die zu einem benachbarten Zeitintervall aufgenommen worden ist, und das Verknüpfen von ausgewählten Werten der zu der einen Abtastung benachbarten Abtastung mit den Unter-Objekten der zu der einen Abtastung benachbarten Abtastung beinhaltet.
  18. Verfahren nach Anspruch 17, wobei verknüpfte Unter-Objekte von Abtastungen, die in benachbarten Zeitintervallen aufgenommen worden sind, eine Bewegung einer Zellkomponente darstellen.
  19. Verfahren nach einem der Ansprüche 9 bis 18, wobei die Tabellendatenwerte Werte aus einer ersten Gruppe von parallelen planaren Schnitten eines dreidimensionalen Datensatzes einer Zelle, die zu einer Zeit genommen worden sind, und aus einer zweiten Gruppe von parallelen planaren Schnitten des dreidimensionalen Datensatzes der Zelle beinhalten, die zu einer zu der einen Zeit unterschiedlichen Zeit genommen worden sind, und die Werte der ersten Gruppe und der zweiten Gruppe der parallelen planaren Schnitte die Bewegung von Zellkomponenten darstellen.
  20. Verfahren nach einem der Ansprüche 9 bis 19, wobei die Tabellendatenwerte Patientendaten eines Patienten aufweisen, die aus einer Gruppe ausgewählt sind, die Geschlecht, Alter, Gewicht, Größe, Blutwerte, verschriebene Medikationen, Kinderanzahl, Familienkrankengeschichte, Stillanamnese, Rauchanamnese, Arzneimittelverwendungsanamnese und Gewebeanalyseergebnisse des Patienten aufweist.
  21. Computerprogrammprodukt, das direkt oder, nach Durchführen einer vorbestimmten Routine, indirekt Programmanweisungen zum Durchführen eines Verfahrens nach einem der Ansprüche 1 bis 20 bereitstellt.
  22. Computerimplementiertes Analysesystem, das Einrichtungen zum Durchführen eines Verfahrens nach einem der Ansprüche 1 bis 20 aufweist.
DE102007018034A 2006-11-16 2007-04-17 Automatische Bildanalyse und Quantifizierung für Fluoreszenz-In Situ-Hybridisierung Ceased DE102007018034A1 (de)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US85955006P 2006-11-16 2006-11-16
US60/859,550 2006-11-16
US11/607,557 2006-11-30
US11/607,557 US8019134B2 (en) 2006-11-16 2006-11-30 Automatic image analysis and quantification for fluorescence in situ hybridization

Publications (1)

Publication Number Publication Date
DE102007018034A1 true DE102007018034A1 (de) 2008-05-21

Family

ID=39311368

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102007018034A Ceased DE102007018034A1 (de) 2006-11-16 2007-04-17 Automatische Bildanalyse und Quantifizierung für Fluoreszenz-In Situ-Hybridisierung

Country Status (2)

Country Link
US (2) US8019134B2 (de)
DE (1) DE102007018034A1 (de)

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7321791B2 (en) * 2003-09-23 2008-01-22 Cambridge Research And Instrumentation, Inc. Spectral imaging of deep tissue
US8634607B2 (en) * 2003-09-23 2014-01-21 Cambridge Research & Instrumentation, Inc. Spectral imaging of biological samples
WO2006081547A1 (en) 2005-01-27 2006-08-03 Cambridge Research And Instrumentation, Inc. Classifying image features
US20100195868A1 (en) * 2007-05-31 2010-08-05 Lu Peter J Target-locking acquisition with real-time confocal (tarc) microscopy
US8488863B2 (en) * 2008-11-06 2013-07-16 Los Alamos National Security, Llc Combinational pixel-by-pixel and object-level classifying, segmenting, and agglomerating in performing quantitative image analysis that distinguishes between healthy non-cancerous and cancerous cell nuclei and delineates nuclear, cytoplasm, and stromal material objects from stained biological tissue materials
WO2010118124A2 (en) * 2009-04-07 2010-10-14 Reveal Sciences, Llc Device, method, and apparatus for biological testing with a mobile device
CA2763321C (en) * 2009-05-29 2018-10-16 Ventana Medical Systems, Inc. Methods of scoring gene copy number in a biological sample using in situ hybridization
US8237786B2 (en) * 2009-12-23 2012-08-07 Applied Precision, Inc. System and method for dense-stochastic-sampling imaging
CA3212002A1 (en) 2011-03-17 2012-09-20 Cernostics, Inc. Systems and compositions for diagnosing barrett's esophagus and methods of using the same
US20120269418A1 (en) * 2011-04-22 2012-10-25 Ge Global Research Analyzing the expression of biomarkers in cells with clusters
US8934718B2 (en) 2011-08-02 2015-01-13 Nec Laboratories America, Inc. Interactive analytics of digital histology slides
IN2014CN03228A (de) * 2011-10-05 2015-07-03 Cireca Theranostics Llc
US9916515B2 (en) 2011-11-17 2018-03-13 Koninklijke Philips N.V. Image processing
US8755580B2 (en) * 2012-03-17 2014-06-17 Sony Corporation Flourescent dot counting in digital pathology images
KR20140145141A (ko) * 2012-03-30 2014-12-22 클래리언트 다이아그노스틱 서비시즈, 인크. 생물학적 샘플의 영상 생성 방법
US9036888B2 (en) 2012-04-30 2015-05-19 General Electric Company Systems and methods for performing quality review scoring of biomarkers and image analysis methods for biological tissue
US8737709B2 (en) 2012-04-30 2014-05-27 General Electric Company Systems and methods for performing correlation analysis on clinical outcome and characteristics of biological tissue
US9798918B2 (en) * 2012-10-05 2017-10-24 Cireca Theranostics, Llc Method and system for analyzing biological specimens by spectral imaging
US9990713B2 (en) 2016-06-09 2018-06-05 Definiens Ag Detecting and visualizing correlations between measured correlation values and correlation reference values of a pathway
CN108961250B (zh) * 2018-07-20 2023-02-07 中国科学院深圳先进技术研究院 一种目标物统计方法、装置、终端以及存储介质
JP7175158B2 (ja) * 2018-10-29 2022-11-18 アークレイ株式会社 情報処理装置、測定システム、及びプログラム
KR20210069944A (ko) * 2019-12-04 2021-06-14 삼성전자주식회사 노화도 추정 장치 및 방법
US20230081546A1 (en) * 2020-01-31 2023-03-16 Stellenbosch University Method for determining mitochondrial events

Family Cites Families (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS61220027A (ja) 1985-03-27 1986-09-30 Hitachi Ltd 文書ファイリングシステム及び情報記憶検索システム
US6182062B1 (en) 1986-03-26 2001-01-30 Hitachi, Ltd. Knowledge based information retrieval system
US4809347A (en) 1986-07-18 1989-02-28 Hughes Aircraft Company Computer vision architecture
US5193185A (en) 1989-05-15 1993-03-09 David Lanter Method and means for lineage tracing of a spatial information processing and database system
US5123057A (en) 1989-07-28 1992-06-16 Massachusetts Institute Of Technology Model based pattern recognition
US5278946A (en) 1989-12-04 1994-01-11 Hitachi, Ltd. Method of presenting multimedia data in a desired form by comparing and replacing a user template model with analogous portions of a system
US5537485A (en) 1992-07-21 1996-07-16 Arch Development Corporation Method for computer-aided detection of clustered microcalcifications from digital mammograms
US5631970A (en) 1993-05-21 1997-05-20 Hsu; Shin-Yi Process for identifying simple and complex objects from fused images and map data
US5809212A (en) 1993-07-12 1998-09-15 New York University Conditional transition networks and computational processes for use interactive computer-based systems
US6574357B2 (en) 1993-09-29 2003-06-03 Shih-Ping Wang Computer-aided diagnosis method and system
US6075879A (en) 1993-09-29 2000-06-13 R2 Technology, Inc. Method and system for computer-aided lesion detection using information from multiple images
US6389305B1 (en) 1993-12-15 2002-05-14 Lifeline Biotechnologies, Inc. Method and apparatus for detection of cancerous and precancerous conditions in a breast
US5872859A (en) 1995-11-02 1999-02-16 University Of Pittsburgh Training/optimization of computer aided detection schemes based on measures of overall image quality
JP2000506642A (ja) 1996-02-09 2000-05-30 サーノフ コーポレイション 不確定の訓練データを用いてオブジェクトを検出及び分類するようにニューラルネットワークを訓練する方法及び装置
US6324532B1 (en) 1997-02-07 2001-11-27 Sarnoff Corporation Method and apparatus for training a neural network to detect objects in an image
US5937400A (en) 1997-03-19 1999-08-10 Au; Lawrence Method to quantify abstraction within semantic networks
US6246782B1 (en) 1997-06-06 2001-06-12 Lockheed Martin Corporation System for automated detection of cancerous masses in mammograms
US6058322A (en) 1997-07-25 2000-05-02 Arch Development Corporation Methods for improving the accuracy in differential diagnosis on radiologic examinations
US5999639A (en) 1997-09-04 1999-12-07 Qualia Computing, Inc. Method and system for automated detection of clustered microcalcifications from digital mammograms
US6970587B1 (en) 1997-08-28 2005-11-29 Icad, Inc. Use of computer-aided detection system outputs in clinical practice
US6075878A (en) 1997-11-28 2000-06-13 Arch Development Corporation Method for determining an optimally weighted wavelet transform based on supervised training for detection of microcalcifications in digital mammograms
US20020188436A1 (en) 1998-02-10 2002-12-12 Gunter Schmidt Nth- order fractal network for handling complex structures
DE19908204A1 (de) 1998-10-02 2000-04-06 Delphi 2 Creative Tech Gmbh Fraktales Netz n-ter Ordnung zum Behandeln komplexer Strukturen
US6778970B2 (en) 1998-05-28 2004-08-17 Lawrence Au Topological methods to organize semantic network data flows for conversational applications
EP0962873A1 (de) 1998-06-02 1999-12-08 International Business Machines Corporation Textinformationsverarbeitung und automatisierte Informationserkennung
US6282305B1 (en) 1998-06-05 2001-08-28 Arch Development Corporation Method and system for the computerized assessment of breast cancer risk
US6625303B1 (en) 1999-02-01 2003-09-23 Eastman Kodak Company Method for automatically locating an image pattern in digital images using eigenvector analysis
DE19914326A1 (de) 1999-03-30 2000-10-05 Delphi 2 Creative Tech Gmbh Verfahren zur Nutzung von fraktalen semantischen Netzen für alle Arten von Datenbank-Anwendungen
US6320976B1 (en) 1999-04-01 2001-11-20 Siemens Corporate Research, Inc. Computer-assisted diagnosis method and system for automatically determining diagnostic saliency of digital images
US6453058B1 (en) 1999-06-07 2002-09-17 Siemens Corporate Research, Inc. Computer-assisted diagnosis method using correspondence checking and change detection of salient features in digital images
US6801645B1 (en) 1999-06-23 2004-10-05 Icad, Inc. Computer aided detection of masses and clustered microcalcifications with single and multiple input image context classification strategies
DE19960372A1 (de) 1999-12-14 2001-06-21 Definiens Ag Verfahren zur Verarbeitung von Datenstrukturen
US6834122B2 (en) * 2000-01-22 2004-12-21 Kairos Scientific, Inc. Visualization and processing of multidimensional data using prefiltering and sorting criteria
US6751621B1 (en) 2000-01-27 2004-06-15 Manning & Napier Information Services, Llc. Construction of trainable semantic vectors and clustering, classification, and searching using trainable semantic vectors
US6792418B1 (en) 2000-03-29 2004-09-14 International Business Machines Corporation File or database manager systems based on a fractal hierarchical index structure
US7130457B2 (en) * 2001-07-17 2006-10-31 Accuimage Diagnostics Corp. Systems and graphical user interface for analyzing body images
US20030086596A1 (en) * 2001-11-07 2003-05-08 Medical Metrics, Inc. Method, computer software, and system for tracking, stabilizing, and reporting motion between vertebrae
WO2004036337A2 (en) 2002-10-15 2004-04-29 Definiens Ag Information extraction using an object based semantic network
US7873223B2 (en) * 2002-10-15 2011-01-18 Definiens Ag Cognition integrator and language
US6937776B2 (en) 2003-01-31 2005-08-30 University Of Chicago Method, system, and computer program product for computer-aided detection of nodules with three dimensional shape enhancement filters
US7359572B2 (en) * 2003-03-26 2008-04-15 Microsoft Corporation Automatic analysis and adjustment of digital images with exposure problems
US20050265588A1 (en) 2004-02-03 2005-12-01 Bioimagene, Inc. Method and system for digital image based flourescent in situ hybridization (FISH) analysis
US7920152B2 (en) * 2004-11-04 2011-04-05 Dr Systems, Inc. Systems and methods for viewing medical 3D imaging volumes
US8131031B2 (en) * 2006-11-15 2012-03-06 General Electric Company Systems and methods for inferred patient annotation

Also Published As

Publication number Publication date
US20120237106A1 (en) 2012-09-20
US8019134B2 (en) 2011-09-13
US20080137937A1 (en) 2008-06-12
US8391575B2 (en) 2013-03-05

Similar Documents

Publication Publication Date Title
DE102007018034A1 (de) Automatische Bildanalyse und Quantifizierung für Fluoreszenz-In Situ-Hybridisierung
DE69432089T2 (de) System zur Verarbeitung von medizinischen Daten zur Unterstützung der Diagnose
US8542899B2 (en) Automatic image analysis and quantification for fluorescence in situ hybridization
Bjornsson et al. Associative image analysis: a method for automated quantification of 3D multi-parameter images of brain tissue
DE3689856T3 (de) Analyseverfahren und vorrichtung für biologische specimen.
EP0896661A1 (de) Verfahren zur automatisierten mikroskopunterstützten untersuchung von gewebeproben oder körperflüssigkeitsproben
EP2656277B1 (de) Vorrichtung und verfahren zur bestimmung von objekten in einer farbaufnahme
DE102021124341A1 (de) Künstliche- intelligenz- pipeline- datenverarbeitungssystem zur läsionserkennung
DE102016217713B4 (de) Verbesserte Einteilung von Drüsengewebskrebs mittels detaillierter Bildanalyse von gefärbten Gewebsschnitten
DE102011053044A1 (de) System und Verfahren zur Analyse und sichtbaren Darstellung lokaler klinischer Merkmale
DE102021124340A1 (de) Neubenennung von keimen zur segmentierung eines medizinischen bilds auf grundlage von keimen
EP3287914A1 (de) Ermittlung von ergebnisdaten auf basis von medizinischen messdaten aus verschiedenen messungen
DE102022112136A1 (de) Medizinisches bildanalysegerät, verfahren und medizinisches bild, visualisierungsgerät und verfahren
DE102021124346A1 (de) Logistisches modell zur bestimmung von 3d-läsionskonnektivität in z- richtung
JP2009527063A (ja) 仮想環境において見本及びデータを使用及び統合するシステム及びその方法
DE112011104887B4 (de) Nichtflüchtiges computerlesbares Speichermedium zur Darstellung von Markierungen der computergestützten Detektion bei der computertomographischen Diagnose des Dickdarms
EP2440920B1 (de) Lokalisierung eines validen bereiches eines blutausstriches
DE10392245T5 (de) Erkennung von Bronchialwanderverdickungen zur Verringerung falsch positiver Befunde beim Nachweis von Lungenknoten
DE102020211843A1 (de) Verfahren und Vorrichtung zur Analyse von Histopathologiebilddaten
EP3563342B1 (de) Automatisiertes system und verfahren zur erstellung und ausführung eines bewertungsführers zur unterstützung bei der analyse von gewebeproben
Mata et al. Zigzag persistent homology for processing neuronal images
DE10124340A1 (de) Verfahren zur Analyse einer biologischen Probe
DE69831573T2 (de) Inspektionssystem mit probenvorschau
DE10125504B4 (de) Verfahren und Computersystem zum Workflow Management
Gupta et al. Different CNN-based architectures for detection of invasive ductal carcinoma in breast using histopathology images

Legal Events

Date Code Title Description
8110 Request for examination paragraph 44
R016 Response to examination communication
R002 Refusal decision in examination/registration proceedings
R006 Appeal filed
R003 Refusal decision now final
R008 Case pending at federal patent court
R003 Refusal decision now final
R011 All appeals rejected, refused or otherwise settled
R003 Refusal decision now final

Effective date: 20150213