CN101228551A - 医学图像中的异常检测 - Google Patents

Abstract

一种用于检测对象的医学图像中异常的系统。该系统包括检查束、学习引擎和检测引擎。检查束包括至少一个来自第一模态的对象的医学图像和至少一个来自第二模态的对象的医学图像。学习引擎用于确定该至少一个来自第一模态的医学图像和该至少一个来自第二模态的医学图像内的异常的特征。检测引擎用于检测构成检查束的医学图像中的至少一个内的异常。

Description

医学图像中的异常检测

技术领域

本发明通常涉及数字图像处理领域，并且尤其涉及医学图像中的异常检测。

背景技术

医学成像在许多疾病的筛查、诊断和/或治疗中起着重要的作用，因为医学图像使得医生能够看到患者的内部解剖结构或者能够显现生理或新陈代谢的信息。各种不同的成像技术或模态(modality)可以用在临床医学中。一些众所周知的技术/模态包括X射线和计算机断层摄影法(CT)、超声、核医学、超声波成象以及核磁共振成像(MRI)。X射线和CT、超声和MRI产生解剖结构的图像，而核医学产生描述放射性化合物在各个组织(器官或肿瘤)中的体内分解或新陈代谢摄取的图像。其他用于对生理系统的功能特征进行成像的模态包括功能MRI(fMRI)、单光子发射型计算机断层摄影(SPECT)和正电子发射计算机断层摄影(PET)。还有其他模态通过使用放置在显微镜内部的照相机捕获内部结构的静止图像或视频流。这些模态包括结肠镜检查、支气管镜检查、内窥镜检以及胶囊内窥镜检查。

不同的技术/模态都具有它们的优势和劣势。例如，X射线成像具有高空间和亮度分辨率，很详细地显示了骨头结构，并且使用起来相对便宜；然而，它呈现给观察者的是叠加的结构的复杂二维(2D)视图。X射线成像还难以分辨软组织特征。

MRI的优势在于用高对比度和高空间分辨率显示软组织的三维图像，并且它不涉及离子辐射(如X射线和CT那样)；然而，MRI不能对骨头进行很好的成像。基于X射线吸收的CT成像产生骨头结构的3D图像以及比较清晰的软组织3D图，虽然MRI仍是观察软组织的优选模态。

超声波成像容易携带，相对便宜，并且不涉及离子辐射。它具有高空间分辨率并且非常快，能实现实时帧获取速率。新近，发现了超声波的一个唯一并且潜在很强大的应用：测量组织的弹性，这对于辨别例如乳房的肿瘤组织与健康组织非常有用。超声波的劣势在于它不能容易地穿过气体或骨头成像，使得它难以获得一些器官的图像。

核医学提供了描述新陈代谢信息的图像，新陈代谢信息可以作为病理状况的早期指示；然而，由于图像中缺少结构信息它难以准确定位身体中的异常位置。

SPECT使用断层摄影原理来从附近的组织切片提供一系列的2D核医学图像，实现了3D核医学图像；然而，稍微降低了空间分辨率。PET也是一种测量生理和功能的断层摄影技术，相比SPECT图像，提供了具有更高空间分辨率和更高信噪比(SNR)的图像。然而，PET系统非常昂贵，因为需要回旋加速器产生发射正电子的核素。fMRI在临床应用中并不经常使用，除了外科规划，外科规划目的是确定对应于特定认知任务的脑部区域，以便在手术过程中避免这些区域。

显微镜使得能够直观检查身体内部，诸如支气管(支气管镜检)、结肠(结肠镜检查)或上消化道(内窥镜检查)。胶囊内窥镜检查实际上并不使用显微镜，而是使用包含照相机的可吞服胶囊，该照相机在通过整个消化道时获取图像。对于患者而言，胶囊内窥镜检查比内窥镜检查更为舒适，并且允许看到结肠深处。然而，胶囊和/或照相机不能像显微镜那样被控制或固定在某些感兴趣的区域。

在一些临床应用中，使用两个或更多模态来捕获医学图像。在一些应用中，使用来自一个模态的图像来筛查疾病，然后捕获来自另一个模态(通常具有更高的分辨率和/或诊断效用)的随后图像以核实诊断或者评估该疾病的进展。一个这样的示例是当使用胸部(x射线)射线照相来筛查肺结核、肺癌或其他呼吸疾病。可疑的发现会促使放射科医师要求CT成像，以提供受感染区域的高分辨率3-D显影。另一个示例是用于筛查乳癌的(X射线)乳房X线照相；乳癌的肯定指示可以要求乳房的3D MRI，以进一步调查肿瘤。筛查过程的一个更近的示例是使用CT图像用于虚拟结肠镜检查；确认了可疑区域或息肉导致随后的结肠镜检查。

除了在筛查/核实的过程中使用来自多个模态的图像，多模态医学成像另一个常见用途是同时提供结构和功能信息。例如，在脑部成像中，当怀疑或诊断癌症时，可以获取CT和/或MR图像以显示脑部和任何异常的结构，并且可以获取PET或SPECT图像来显示肿瘤或损害的任何新陈代谢行为。为了检查肺部、肝部以及肾部的图像，也使用胸部CT和PET图像的组合。CT/PET组合颇受欢迎，并且能够同时捕获这两种模态的设备已经出现在市场上(通用电气的Discovery LS PET/CT系统和西门子的biograph^TM是两个例子)。

在其他情况中，可以获得来自多个模态的图像，即使这些模态提供了某种结构信息。脑部或腹部或校正部位(orthopedic site)的CT和MR图像可以在不同的时刻获取。超声弹性成像(sonoelasticity)的出现，或使用超声成像测量组织的弹性，可以用于检查乳房的弹性，提供补充乳房X线照片或MR乳房图像的结构信息。

然而，尽管医学成像模态提供了很多种可视信息，但还是难以检测或诊断许多疾病。例如，一个组织估计大约20％的乳癌不能被乳房X线照相检测到。

在检测各种类型的癌症和其他疾病的努力中，许多研究者已经开发了帮助放射科医师检测异常的计算机辅助检测/诊断(CAD)技术。

已知针对乳房X线照相的CAD技术。例如，参考US专利No.5633948、5732697、5941832、6075878、6266435、6272233、6418237和6553356以及US专利申请No.2001/0031076和2002/0057826。

也已知用于肺结节检测的CAD技术。例如，参考US专利No.5539838、5825936、5881124、5987094、6125194和6609021，US专利申请No.2003/0076992、2003/0095696、2003/0099388和2003/0105395以及欧洲专利号EP11294626、EP1249006和EP1395165。

用于直肠癌检测的CAD在US专利No.4981783、5628341和5983211以及US专利申请No.2002/0187502、2002/0022240和2003/0032860中有所描述。

骨质疏松症和骨病是US专利No.4913157、5247934、5673298、5817020、5902240和6143506的CAD技术的主题。

尽管这些现有技术帮助从业医生检测和/或诊断疾病，它们应用于单个医学图像或者来自单个模态的多个医学图像。

在配准和/或融合来自多个模态的图像方面已经取得了一些进展。例如，US专利No.6266453(Hibbard)涉及一种在图形用户界面(GUI)上显示多模态图像数据(CT+MRI或CT+PET脑部图像)的系统，实现了手动或自动配准和融合。US专利号6539127(Roche)涉及一种用于基于数据集之间的相关比，配准通常的多模态图像数据的方法。US专利号6640130(Freeman)涉及一种融合组织或器官的解剖图像和光谱图像的系统。US专利申请No.2003/0216631(Bloch)采用自由形态变形来配准PET和CT胸部和腹部图像。虽然这些方法和系统涉及来自多个模态的图像的配准和融合，它们并没有解决如何利用多模态图像提供检测和/或诊断疾病的增强方法。

现有的CAD方法和系统应用于单独的医学图像或者来自单个模态的多个医学图像，照此，当应用到来自多个模态的图像集时，它们并不是最优的。配准和融合技术虽然能够向从业医生提供可视化的有用信息，但是不能提供与CAD系统一样水平的辅助。

本发明通过提供一种使用来自多个模态的图像进行疾病或异常的计算机辅助检测和/或诊断的系统和方法，来解决现有技术的问题和限制。

发明内容

本发明的目的在于提供一种使用来自多个模态的图像进行疾病或异常的计算机辅助检测和/或诊断的系统和方法。

提供的任何目的仅通过说明性示例给出，并且这些目的可以是本发明的一个或多个实施例的示范。本发明本身可以实现的其他希望的目的和优势对本领域技术人员来说是显而易见的。本发明由随附的权利要求书限定。

根据本发明的一个方面，提供了一种用于在对象的医学图像中检测异常的系统。该系统包括检查束(examination bundle)、学习引擎以及检测引擎。所述检查束包括至少一个来自第一模态的对象的医学图像以及至少一个来自第二模态的对象的医学图像。采用所述学习引擎以确定位于该至少一个来自第一模态的医学图像以及该至少一个来自第二模态的医学图像内的异常的特征。采用所述检测引擎检测构成检查束的医学图像中的至少一个内的异常。

附图说明

如附图所示，从以下对本发明实施例的更具体的描述中可以清楚明确本发明的上述以及其他目的、特征和优势。附图的元件并不一定相对于彼此成比例。

图1示出了在多模态检查过程中捕获的图像的示意性框图。

图2A示出了根据本发明的用于检测患者的医学图像中的异常的系统的框图。

图2B示出了图2A的系统的另一实施例的框图。

图3A示出了根据本发明的检测引擎的实施例的框图。

图3B示出了根据本发明的检测引擎的另一实施例的框图。

图4示出了图2B的系统的又一实施例的框图。

图5示出了根据本发明的示范性异常检测方法。

图6示出了根据本发明的用于检测患者医学图像中异常的系统的另一实施例的框图。

图7示出了根据本发明的用于检测患者医学图像中异常的系统的又一实施例的框图。

图8示出了根据本发明的示范性异常检测方法。

图9A示出了根据本发明的示范性异常检测方法。

图9B示出了不同乳房组织的图像像素/体素的强度增加的图。

图9C进一步示出了图9B的图。

图9D示出了识别动态系统行为的一般方法的图解说明。

图9E示出了动态系统建模的示范性实现。

具体实施方式

下面将参考附图对本发明的优选实施例进行详细描述，在附图中相同的参考数字表示每个附图中相同的结构元素。

在以下描述中，将说明本发明的各个方面。为了解释的目的，将陈述具体配置和细节，以提供本发明的全面理解。然而，对本领域技术人员显而易见的是，可以实施本发明而无需此处所述的具体细节。此外，为了避免混淆本发明将省去或简化公知的特征。

在通过至少两个模态对患者进行典型成像检查的过程(下文中称为多模态检查)中，可以捕获或重建来自每个模态的一个或多个图像。

由特定的模态捕获或重建的图像可以是二维(2D)图像(包含在某个二维坐标系统中寻址(address)的像素)、三维(3D)图像(包含在某个三维参考系统中寻址的体素)、或四维(4D)图像(包含在某个四维参考系统中寻址的体素)。注意3D图像可以由一系列2D图像或切片表示。第三维可以代表空间维或时间维，如在2D图像的时间序列中。

根据模态，可以单独或连续地作为视频序列的帧来分析图像。没有上下文(context)的孤立图像或帧的价值有限。在图像采集过程之前或期间常常可得到一些上下文信息；在图像采集之后随着图像的处理可以收集或产生其他上下文信息。任何上下文信息将被称为元数据。元数据是非像素或体素数据的任何信息，例如，伴随许多数字图像文件的图像报头数据。

现在参考图1，示出了根据本发明的在多模态检查过程中捕获的图像的框图。在多模态检查过程中捕获的所有图像的完整集合以及任何相应的元数据，在图1中作为检查束100示出。检查束100包括一群模态实例102和包含一般元数据104的部分。每个模态实例102包括模态实例特有元数据106和一个或多个图像分组(packet)108。模态实例特有元数据106包含关于模态的信息和/或捕获或重建的图像的实例所特有的信息。这类信息可以包括模态名称和从业医生在实施该模态时为图像捕获的特定实例所选择的任何相关设置。

图像分组108包括两个部分：已经被捕获或重建的图像的像素或体素数据110、和图像特有(image specific)元数据112。

图像特有元数据112可以进一步被细分成图像特有采集数据114、图像特有身体数据116和图像特有推断数据118。

图像特有采集数据114包括图像分组108中的特定图像数据110的采集所特有的信息，诸如2D视图(例如轴向的、冠状的或矢状的)、图像协议、切片厚度、患者相对于成像系统的方位(例如，对于胸部射线照相，后面-前面、前面-后面、或侧面)；图像序列的帧信息(例如索引号、捕获速率、捕获时间等)、或者显微镜成像的曝光水平(exposure level)。

图像特有身体数据116包括诸如捕获图像时患者的相对位置、或诸如血压、温度、体重等的非图像感测特征之类的信息。

图像特有推断数据118包括图像内所检测到的异常的位置和描述，以及已经识别的任何病理。这个数据可以从从业医生或通过自动化方法获得。

一般元数据104包括诸如下述的信息：检查的日期、患者身份、咨询医生的名字或身份、检查的目的、可疑异常和/或诊断、以及任何与检查束100相关的信息。它还可以包括一般图像信息，诸如图像存储格式(例如RAW、DICOM、TIFF、JPEG等)、行数和每行像素数。应理解的是一般元数据或图像特有元数据的顺序和具体内容可以发生变化而不改变检查束的功能。

呈现在医学图像中的异常可以多种方式来表征和检测。一个常用的表征是通过形状模型。某些异常具有独特的几何形状，并且它们的尺寸有助于检测以及疾病分阶段和预后。例如，一些肿瘤为圆形，具有特殊的轮廓，而且趋向于尺寸变大。在这些情况中，可以认为异常检测是在医学图像中寻找具有特定形状的图案的任务。这些图案可以由一组几何图元(geometric primitive)来描述，所述几何图元包括角、边、交叉点、分支点、线、圆、轮廓等。这些几何图元通过适应于特殊图元的方式来检测。例如，角检测包括通过找到强度表面梯度上的最大值来识别具有独特强度邻点(neighbor)的点。线可以通过各种边检测方案或者通过在霍夫(Hough)变换空间(由图像中线的位置和方向参数化的空间)中寻找最大值来检测。类似地，圆可以由它们的圆心和半径来参数化，并且可以通过霍夫变换来检测。这对检测圆形肿瘤是个有效的方法。使用广义霍夫变换，也可以检测图像中的椭圆。此外，通过引入异常的先验知识，诸如位置、尺寸或取向，可能改进检测性能。

另一个表征异常的方法是通过模板，例如弹性模型。然后可以通过模板匹配来实现异常检测。对于弹性模型，模板由一组控制点和弹性边进行建模。这提供了比几何图元可能的更有力的表示。某些身体部位或异常具有独特的形状，并非直线或圆，但是可以由模板有效地进行建模。可得到一些先验知识用于模板设计，诸如异常的一般结构、平滑度、控制节点的数量和弹力。通过找到使得预定能量项最小化的模板参数集合来进行图像内的模板匹配。能量项定义了模板能多好地符合图像部分、内力和外力。通常通过迭代过程执行优化，以找到可能最好的匹配。如果具有最佳参数集的最终能量大于某个阈值，则检测到异常。

在异常并不容易用几何图元或模板来表征的更为复杂的情况中，可以使用更为一般的模式(pattern classification)分类技术。模式分类(也称为模式识别(pattern recognition))包含多种检测和/或分类信号中的对象的技术。所述信号包括诸如2D图像、3D图像或其他表示形式的数据，并且可以通过多种信号采集模态获得。在医学成像模态中，信号通常代表物理对象(具体指人类患者)，并且要检测和/或分类的对象包括异常，诸如疾病损害、肿瘤或各种解剖结构或区域。模式分类的任务是从采集的信号中提取特征矢量、或数据的任何抽象表征，并且使用提取的特征矢量将对象分配到一种类或类别。模式分类引擎或分类器执行这个任务并且在使用之前接受训练。

分类器的训练涉及从一组示例模式中(称为训练集)学习类别特征。不同学习类型的两个示例是：监督学习和非监督学习。监督学习被定义为设法减小与训练集中每个模式的希望输出(类别标签)相关的成本函数的学习过程。非监督学习被定义为缺少关于希望输出的外部信息(即没有对训练集中的示例模式分配类别标签)的、基于相似性或不相似性自组织或群集(cluster)模式的学习过程。(参见“Pattern Classification”，Richard O.Duda，Peter E.Hart和David G.Stork，第二版，John Wiley & Sons，Inc.2001)。也存在上述两个学习方法的变型，诸如增强学习，其中分类器通过为训练集中的每个模式计算临时类别标签并且使用已知类别标签来改进已学习的特征，来学习类别特征。

从示例模式中提取的类别特征可以包括与模式的代码值、模式的空间特性、模式序列的时间特性相关的特性，或与模式的变换表示相关的特性。

训练和分类算法可以从变换的图像域提取代表性的“属性”，而不是直接使用图像像素。一个示范性的变换的图像域是小波域(例如参考G.Fan和X.G.Xia，“Maximum likelihood texture analysis andclassification using wavelet domain hidden markov models”，Proc.Of the 34th Asilomar Conference on Signals，Systems and Computers，Pacific Grove，CA，Oct.29-Nov.1，2000)。为了说明实际的例子，考虑六个带内属性由从单个小波带获取的八个哈尔(Haar)小波系数的组构成——2×2HL，2×2LH，4×4HL，4×4LH，8×8HL，8×8LH。六个频率间属性由八个系数的组构成，每一个针对以下组合：16×16和8×8HL；8×8和4×4HL；4×4和2×2HL；16×16和8×8LH；8×8和4×4LH；4×4和2×2LH。四个取向(orientation)间属性由在2×2、4×4、8×8和16×16带提取(4个从HL提取，4个从LH提取)的八个哈尔小波系数的组构成。另一个属性由八个系数组成；该属性在所有八个小波带(16×16、8×8、4×4、2×2HL和LH)中从相应空间位置提取一个系数。本领域技术人员可以选择任何其他的属性组合用于不同的应用。

训练和分类算法也可以从在空间域中变换的图像提取代表性“属性”。一个示范性空间域变换是网格(Grid Pattern)变换(例如参考S.Chen，“Method for locating faces in color images”US专利申请序列号10/211011，此处引入以供参考)。为了计算网格(GP)图像，首先将原始图像转换为积分图像(例如参考P.Viola和M.Jones，“Robust real-time object detection”，Second internationalworkshop on statistical and computational theories of vision-Modeling，learning，computing，and sampling，Vancouver，Canada，July 13，2001)。然后使用积分图像中的对应单元(m×n像素)的四个角点计算GP图像的每个像素。

积分图像中像素p₀’的计算由下式给出：

$B\left(p_0^{\′}\right)=\underset{\left|\right|p_i\left|\right|\≤\left|\right|p_0\left|\right|}{\mathrm{\ΣA}}A\left(p_i\right),$

其中A(p_i)|_{||pi||≤||p0||}定义了原始图像A中的区域。这里，p_i是原点在左上角的2D图像平面中的矢量。图像A中的像素p₀对应于图像B中的像素p₀’。

在得到积分图像后，计算网格图像。图像B中的单元由四个角点定义：p₁’，p₂’，p₃’和p₄’。GP图像的对应单元中的像素强度值的计算由下式表示：

其中Φ[p₁，p₂，p₃，p₄]是由GP图像中的p₁，p₂，p₃和p₄定义的单元，是单元Φ[p₁，p₂，p₃，p₄]中的任何像素，B(p_x′)是积分图像中位置p_x’处的像素值(这里p₁＝p₁’，p₂＝p₂’，p₃＝p₃’，p₄＝p₄’)，m是单元高度，n是单元宽度。

在本发明中，训练集可以包括一组检查束、一组模态实例、一组图像分组、一组图像，或这些对象的任意组合。除了从图像本身中提取示例模式(pattern)的特征，也可以从一般元数据、模态实例特有元数据或者图像特有元数据提取特征。例如，在一些实例中，诸如年龄、性别、体重、种族之类的患者人口统计学数据显示出与某些情况的发生相关；这些关于特定患者的人口统计学数据可以从一般元数据中提取并且用作额外属性供训练。

现在参考图2，示出了根据本发明的用于在患者的医学图像中检测异常的系统的框图。通常，该系统包括检查束200，其包含至少一个来自第一模态的患者的医学图像和至少一个来自第二模态的患者的医学图像；学习引擎202，用于确定来自这两个模态的医学图像内的异常的特征；以及检测引擎204，用于在检查束的至少一个医学图像内检测异常。

在本发明的实施例中，如图2B所示，学习引擎202包括用于确定第一模态的医学图像内的异常的特征的第一学习模块206和用于确定第二模态的医学图像内的异常的特征的第二学习模块208。此外，检测引擎204包括用于检测至少一个第一模态的医学图像内的异常的第一检测模块210和用于检测至少一个第二模态的医学图像内的异常的第二检测模块212。

第一和第二学习模块206和208存储有关异常的特征的信息。这些特征可以从一般元数据104、模态实例特有元数据106、图像特有元数据112和/或一个或多个图像的像素或体素数据110自动提取或手动提供。存储的信息可以包括关于下述的信息：描述异常的几何图元或形状模型、描述异常的模板或模板参数、从包含异常或不包含异常的图像中提取的特征、或者示范性异常模式的训练集。存储的信息还可以包括权重，该权重描述该信息在描述异常时的相对重要性。在采用模式分类技术的实施例中，第一和第二学习模块206和208可以使用存储的信息训练将在随后的检测引擎204中使用的分类器。

检测引擎204将检查束200和学习引擎202作为输入，如图2A和2B中的箭头所示。在图2B的实施例中，第一和第二检测模块210和212比较呈现在检查束200中的信息与第一和第二学习模块206和208提供的存储信息，以便检测异常的存在。

该比较可以是各种形式的。在一个示例中，可以查找检查束200的一个或多个图像的像素或体素数据110，以便找到列在学习模块206和208的存储信息中的任何几何图元或形状模型的任何实例。在另一个示例中，可以对检查束200中的一个或多个图像的像素或体素数据110执行模板匹配，以便找到任何这样的实例，其中图像包含由学习模块206和208的存储信息中的模板所描述的异常。在另一个示例中，来自检查束200的一个或多个图像的像素或体素数据110中的一个或多个区域的特征可以被提取并使用已经被学习模块206和208训练过的分类器进行分类。任何得到的由检测引擎204识别的异常可以“绝对地”被检测到(即“已经发现异常”或“没有发现异常”)或者“概率性地”被检测到(即“异常以概率p存在”)。

在使用多个模态采集医学图像的情况中，可能检测模块没有都产生指示位于患者相同位置处的相同数量的异常的结果。因此，检测引擎204计及两个检测模块210和212的结果的差异。

在检测引擎204的一个实施例中，如图3A中所示，第一检测模块210检测来自检查束200的第一模态实例的一个或多个图像中的一个或多个异常300。随后，第二检测模块212检测来自检查束200的第二模态实例的一个或多个图像的区域302中的一个或多个异常，其中区域302对应于由第一检测模块210检测的异常。当一个模态通常比另一个模态在检测/分类真实异常区域时更为有效时，这个实施例是优选的。

在检测引擎204的另一个实施例中，如图3B中所示，检测引擎204进一步包括组合模块304，其用于组合来自第一检测模块210的一个或多个检测到的异常306和来自第二检测模块212的一个或多个检测到的异常308。

在图3B中示出的这个实施例中，与图3A中示出的实施例不同，检测模块210和212独立操作，即没有来自另一个检测模块的输入。可以选择组合模块304以下面三种方式之一进行工作。首先，组合模块304可以消除仅由检测模块之一检测到的异常。实际上，用这个选项，本发明只识别在多于一个成像模态中检测到的异常。第二，组合模块304可以包括由至少检测模块之一检测到的异常。用这个选项，本发明识别在任何成像模态中检测到的所有异常。第三，组合模块304可以消除被第二检测模块检测到但是没有被第一模块检测到的异常。用这个选项，本发明识别由选定的模态检测到并且也在另一个模态中检测到的异常(但是不识别任何其他可能的异常)。

图4示出了图2B实施例的备选实施例。在这个备选实施例中，学习引擎202包括联合学习模块400，其用于联合地确定两个模态的医学图像内的异常的特征。此外，检测引擎204可以包括联合检测模块402，用于联合地检测两个模态的医学图像内的异常。

当与异常的特征相关的信息出现在检查束200中的所有成像模态中时，联合学习模块400存储所述信息。这些特征可以从一般元数据104、模态实例特有元数据106、图像特有元数据112和/或一个或多个图像的像素或体素数据110自动提取或者手动提供。存储的信息可以包括例如关于下述的信息：描述异常的几何图元或形状模型、描述异常的模板或模板参数、从包含异常或不包含异常的图像中提取的特征，或者示范性异常模式的训练集。存储的信息还可以包括描述该信息在描述异常时的相对重要性的权重/概率。在采用模式分类技术的实施例中，联合学习模块400可以使用存储的信息训练将在随后的检测引擎204中使用的分类器。

如图4中的箭头所示，检测引擎204采用检查束200和学习引擎202作为输入。在图4的实施例中，联合检测模块402比较呈现在检查束200中的信息与联合学习模块400提供的存储信息，以便检测异常的存在。该比较可以是任何形式的。在一个示例中，可以查找来自检查束200的一个或多个图像的像素或体素数据110，以便找到列在联合学习模块400的存储信息中的任何几何图元或形状模型的任何(多个)实例。在另一个示例中，可以对检查束200中的一个或多个图像的像素或体素数据110执行模板匹配，以便找到这样的实例，其中图像包含由联合模块400的存储信息中的模板所描述的异常。在另一个示例中，来自检查束200的一个或多个图像的像素或体素数据110中的一个或多个区域的特征可以被提取并使用已经被联合学习模块400训练过的分类器进行分类。任何得到的由检测引擎204识别的异常可以被标识为“绝对地”被检测到(即“已经发现异常”或“没有发现异常”)或者“概率性地”被检测到(即“异常以概率p存在”)。

依赖于“软”或概率检测的检测引擎204的其他实施例可以利用本领域公知的数据融合方法。例如，可以使用贝叶斯(Bayesian)分析来融合来自多个图像的潜在异常，Demapster-Shafer方法或广义证据处理理论(generalized evidence processing theory)同样可以。后面的这两个数据融合技术考虑到要定义的既不是相互排斥又不是完全覆盖潜在异常的整个范围的异常。David L.Hall的“MathematicalTechniques in data fusion”，Artech House，Inc.Norwood，Massachusetts，1992描述了数据融合的这些和其他方法。检测引擎204使用这些数据融合方法在本发明的精神和范围之内。

现在参考图5，示出了引入图4所示实施例的示范性异常检测系统。该示范性系统使用PET/CT设备采集图像，该图像帮助确定患者是否患有脑瘤。FDG(18F-脱氧葡萄糖(2-[¹⁸F]-fluoro-2-deoxy-D-glucose))是用作PET示踪剂的常见放射性药剂，因为众所周知恶性肿瘤呈现出葡萄糖的代谢亢进。然而，这样的代谢亢进可以酷似脑部灰质结构中的葡萄糖的新陈代谢，因此仅仅FDG PET成像一般并不足以检测恶性肿瘤。FDG PET图像和提供脑解剖结构信息CT或MR图像的组合可以帮助确定哪些结构是正常的、哪些是恶性的。在PET/CT设备中，捕获的PET和CT图像有效地在硬件中对准。因此，与单独的PET或CT图像中的那些相比，在联合PET/CT图像(通过将PET图像“添加”到CT图像来构造，是每个体素变成矢量值)中的正常和恶性结构可以呈现出不同的特征。

仍参考图5，在步骤500，使用设备捕获患者的PET/CT图像，在该设备中图像在硬件中对准。在步骤502，添加PET和CT图像以形成包含矢量值体素的联合PET/CT图像。每个矢量的第一元素包含对应PET图像的体素值，每个矢量的第二元素包含对应CT图像的体素值。在步骤504，在联合PET/CT图像中识别候选恶性区域。在一个实施例中，选择规则体素网格上的滑动窗或独特(distinct)窗作为候选恶性区域。更为复杂的选择候选恶性区域的方法包括选择对应于PET图像中高葡萄糖吸收的区域。一旦选择了候选恶性区域，在步骤506从联合PET/CT图像中提取特征，该特征然后用于在步骤508将候选恶性区域分类为恶性或非恶性。提取的特征可以包括基于体素本身的矢量值的特征，基于形状或形态信息的特征，或基于值变换的特征。分类步骤508依赖于已经在联合PET/CT脑部图像的已知恶性和非恶性区域上进行过训练的先前学习引擎。

图6示出了本发明的另一个实施例。这个实施例与图2A的实施例的不同之处在于其还包括更新引擎600，用于更新检查束200以便指示任何检测到的异常。更新的形式为修改检查束200的下列部分中的一个或多个：一般元数据104、模态实例特有元数据106、图像特有元数据112和/或一个或多个图像的像素或体素数据110。

更新引擎600所做的修改可以是添加任何检测到的异常存在的指示符、检测的异常的数量的指示符、任何检测到的异常的位置的一个(或多个)指示符，和/或描述任何检测到的异常的任何特征的一个(或多个)指示符。其他进行修改的方式对于本领域技术人员来说是已知的。指示符的形式可以是额外的元数据、指示检测到的异常的位置的掩蔽图像、和/或对图像数据本身的修改以指示检测到的异常的存在，等等。

在PET/CT设备捕获的脑部多模态图像的上述示例中(参考图5)，由于捕获它们的方式，PET和CT图像固有地对准。然而，在许多多模态成像情况中，并没有固有对准，这使得出现在两个模态中的异常的检测变得困难。在这些情况中，获取一个模态的图像是如何对应于另一个模态的图像的一些知识是重要的。一旦确定了这样的对应关系，检测引擎能够确定在一个图像中检测到的异常是否对应于在另一个图像中检测到的异常。

已知各种技术确定多模态图像之间的对应关系。许多这些技术可以分类为配准多模态图像的技术。(可选地，每个多模态图像可以配准到公共的或者图谱(atlas)图像，建立间接的对应关系。)图像配准，或更具体地多模态图像配准，具有很长很广的历史，在J.Modersitzki的“Numerical methods for image registration”，oxford university press，2004中有很好的概况总结。图像配准技术可以大致分类为参数型或非参数型的。参数配准技术包括基于标志的、基于主轴的和最优线性配准，而非参数配准技术包括弹性、流体(fluid)、扩散(diffusion)和曲率配准。

参数配准技术涉及定义图像之间的参数对应关系。常见的参数化包括刚性变换(图像坐标的旋转和平移)、仿射变换(图像坐标的旋转、平移、水平和垂直缩放、以及水平和垂直剪切)、多项式变换以及样条(spline)变换。基于标志的配准技术涉及识别每个图像中的对应特征，其中所述特征包括诸如基准标记的硬标志，或者诸如从图像推导出的点、角、边、或区域之类的软标志。这个识别可以自动进行或者手动进行(如在图形用户界面中那样)。然后选择参数对应关系以具有使对应标志的位置中的一些误差函数最小化的参数集。

基于主轴的配准克服了识别图像中标志的位置和对应关系的问题。主轴变换(PAT)配准技术在Maurer C.和Fitzpatrick J.的“Areview of medical image registration”，InteractiveImage-Guided Neurosurgery，pp.17-44，1993中有所描述，其将每个图像当作一个概率密度函数(或质量函数)。每个图像的期望值和协方差矩阵传递关于中心和主轴的信息，其可以被当作图像的特征。这些期望值和协方差矩阵可以通过将图像最优地拟合到高斯密度函数(通过最大化对数似然值(log-likelihood))来计算。可选地，对扰动具有鲁棒性的方法涉及将图像拟合到柯西或t-分布。一旦计算出，每个图像的中心和主轴可以用于导出关于两个图像的仿射变换。

最优线性配准(或更一般地，最优参数配准)涉及找到使图像像素或体素数据的一些距离量度最小化的配准参数集。距离量度的常用选择包括差值的平方和或绝对差的和(它们是基于强度的量度)、相关系数或归一化相关系数(基于相关性的量度)或者交互信息。交互信息是基于熵的量度，其广泛用于配准多模态图像。P.Viola“Alignment by maximization of mutual information”，Ph.D.Thesis，Massachusetts Institute of Technology，1995提供了使用交互信息作为距离量度的图像配准的全面描述。在配准参数集上的距离量度的最小化通常是需要迭代解决方案的非线性问题，诸如高斯-牛顿法、列文伯格-马夸尔特(Leyenberg 0-Marquardt)法、或拉格朗日-牛顿(Lagrange-Newton)法(参考R.Fletcher，“Practical methods ofoptimization”，第二版，John Wiley & Sons，1987)。

非参数配准技术将配准作为变分问题来处理。变分问题具有由相应的欧拉-拉格朗日(Euler-Lagrange)方程的解所表征的最小值(具体细节请参考S.Fomin和I.Gelfand，“calculus of variations”，Dover publications，2000)。通常包含正则项以确保得到的对应关系是微分同胚的(diffeomorphic)。弹性配准将图像作为弹性体处理，并且使用线性弹性模型作为对应关系。在这种情况中，欧拉-拉格朗日方程简化为纳维叶-拉梅(Navier-Lam é)方程，其可以使用快速傅立叶变换(FFT)技术来有效求解。流体配准使用流体模型(或粘弹性模型)来描述图像间的对应关系。它可以提供弹性解，但是计算成本高。扩散配准通过扩散模型来描述对应关系。扩散模型不像流体模型那样灵活，但是基于加性算子分裂(AOS)方法的实施方案比弹性配准更y有效。最后，曲率配准使用基于二阶导数的正则项，相比弹性、流体或扩散配准，实现了对较大初始位移更具鲁棒性的解决方案。

许多这些众所周知的图像配准技术在文献中都是参考2D图像的配准来描述的。当配准3D图像或体积(volume)时，一个选择是将这些配准技术应用于3D图像的2D切片对。这在一些情况中是有用的，但是需要如何选择哪些切片成对的一些知识。另一个选择是实际上将这些配准技术扩展到三维。所有这些技术都可以扩展到多维，但是计算成本通常是以指数增长的。

参考图7，示出了包括检查束700的本发明的可选实施例，所述检查束700包括至少一个来自第一模态的患者的医学图像和至少一个来自第二模态的患者的医学图像，用于定义至少一个来自第一模态的医学图像和至少一个来自第二模态的医学图像之间的对应关系的映射引擎702，用于确定两个模态的医学图像内的异常的特征的学习引擎704，以及用于检测检查束的至少一个医学图像内的异常的检测引擎706。

由映射引擎702定义的对应关系可以包括将来自该第一模态的至少一个图像配准到来自该第二模态的至少一个图像，或者它可以包括将来自每个模态的至少一个图像配准到图谱图像或模型。采用的配准方案可以是参数的或非参数的，并且它可以包括基于强度、基于相关或基于交互信息的配准。

在分析乳房图像以检测微钙化或块时可以采用图7的实施例。乳房的乳房X线照相是筛查乳癌的最常用的技术，很多努力都致力于分析乳房X射线照相图像，并且致力于微钙化和块的自动化或用户辅助检测。(例如参考R.Highnam和M.Brady，Mammographic imageanalysis，Kluwer Academic Publishers，1999)。用于块检测的许多算法涉及一只乳房的图像与另一只的图像或者与相同乳房的时间上分离的图像的配准，接着比较配准的图像以识别差异。如在Hignam参考文献中所详述的，可以从x射线照相图像中提取特征并将其用于确定图像是否落在“正常”乳房图像的范围内。

现代医学超声设备提供了实时的高分辨率成像，而不需要使用离子辐射，并且相对比较便宜和便于携带。实际上，这个模态的成本效率和便携性在不能得到复杂的医学成像设备的医院很受欢迎。超声成像可应用于各种医学诊断应用。一个示范性应用是超声乳房成像，用于乳癌的预先筛查。可疑的恶性病例可以使用更复杂的MRI成像进行进一步诊断。

发现分析内部回波的超声图像均质性(纹理特征)可以帮助区别良性损害和恶性损害(参考Contour detection for the breast tumorin ultrasonic images using watershed segmentation，by Yu-lenHuang和Xun-yao Lin，Proceedings of the 2002 ICS：workshop onartificial intelligence)。在超声图像中不同的组织具有不同的纹理。为了对纹理特征进行分类，可以使用示范性非监督学习分类器。该分类器采用包含输入层、单个隐藏层和输出的映射阵列的自组织图(self-organizing map)。自组织图定义了从高维输入特征矢量空间到二维映射阵列的映射。参数加权矢量与映射阵列中的每一个神经元相关。输入特征矢量与所有参数加权矢量进行比较。最好的匹配被定义为自组织图的响应。

用去除均值归一化自相关方法(mean removed normalizedauto-correlation method)产生超声图像的输入(纹理)特征矢量。U(x，y)表示为超声乳房图像(也表示图像像素值)，其中x和y分别是图像的水平和垂直索引(x∈[1，...X]，y∈[1，...Y])。可以按照下式计算位置(x，y)处的像素和位置(x+δx，y+δy)处的像素之间的二维去除均值归一化自相关系数：

其中是图像U(x，y)的均值，其中x∈[1，...X]，y∈[1，...Y]，δx和δy分别是两个像素在x和y方向上的间隔(lag)。去除均值归一化自相关系数

和图像的方差值可以用作到自组织图的输入矢量。

乳房的X线乳房照相图像和超声图像可以提供关于块存在以及块是良性还是恶性的区分的唯一和互补信息。如果在X线图像和超声图像之间建立了对应关系，这些互补特征可以联合用于提供基于更多消息的计算机“观点”。

例如，考虑图7的实施例，如图8的流程图所示。在步骤800和802，分别捕获乳房的X线乳房照相和超声图像。在步骤804，使用本领域技术人员已知的技术(例如，诸如根据前述的Highnam参考文献)识别乳房X线图像中的候选块。在步骤806，通过在超声图像中识别与乳房X线图像中的任何识别的候选块对应的一个区域或多个区域，在乳房X线图像和超声图像之间建立对应关系。在步骤808，从对应于候选块的超声图像区域提取特征。该特征可以包括前述的去除均值归一化自相关系数和方差值。最后，在步骤810，使用提取的特征将每个候选块分类为恶性或非恶性(例如使用自组织图)。

现在参考图9A-9E，描述了本发明的系统所采用的方法的另一个示范性实施例。该示范性实施例是从注入造影剂之前和之后获取的MR乳房图像集中自动检测异常组织的方法。虽然从MR模态捕获每组乳房图像，但是可以将造影剂注入前后的图像看作两个不同的模态。该方法分解为的一组处理，每个执行特定功能(诸如配准、相减、分割、系统识别和分类)。在这个实施例中，通过动态系统参数分类来完成异常组织检测，动态系统参数分类是监督分类类型的。

在图9A中示出的流程图中，第一步骤902是在注入造影剂之前和之后获取多个MR乳房图像集合。记I_o(x，y，z)为注入造影剂之前的MR乳房图像。注意I_o(x，y，z)包括一系列空间有序的图像(切片)。定义z∈[1，...S]作为空间顺序索引，其中S是集合中图像的数量。然后对于图像来说，x和y是水平和垂直索引，x∈[1，...X]，y∈[1，...Y]。在造影剂给药后，获取多个MR乳房图像集合，每个集合包含相同乳房的相同空间顺序z的相同数量(S)的图像。该多个MR乳房图像集合是以大约一分钟的时间分辨率来获取的。注入造影剂之后获取的MR乳房图像集合可以表示为I_k(x，y，z)，其中k是时间顺序索引，k∈[1，...K]。注意对于任何k∈[0，...K]并且对于x，y和z的特定值，I_k(x，y，z)代表MR乳房图像在位置(x，y，z)处的像素或体素值。

图像体素所记录的造影剂的存在导致可以在图像采集过程中观察到的增强的信号。不同的组织类型呈现出不同的造影剂吸收速率；因此，这些信号-时间曲线的研究使得能够识别不同类型的组织。为了自动检测异常组织的目的，在注入造影剂之后获取的K个MR图像集合必须与MR图像的参考集合在空间上对准。这个对准在步骤904执行。一般而言，MR图像的参考集合是在注入造影剂之前获取的MR图像集I_o(x，y，z)。对准过程确保属于相同乳房组织区域的像素在所有K个图像集中具有相同的x，y坐标。配准的优选方法涉及将对应函数(corres pondence function)定义为非刚性的。然而，可以使用任何前述配准技术。

如图9B中所示，在注入造影剂之后对于不同的乳房组织，图像像素/体素强度增加不同。这个现象意味着从注入造影剂之后获取的图像中减去注入之前获取的图像，将给从业医生提供关于图像中异常组织位置的更清楚的信息。这个信息也可以被用于从原始MR乳房图像中提取区域用于异常组织的自动检测和鉴别。

图9A中的步骤906执行从多个MRI乳房图像集I_k(x，y，z)，k∈[1，...K]的每一个中减去参考MR图像集I_o(x，y，z)，产生了多个差值图像集，δI_k(x，y，z)，k∈[1，...K]。

在图9A的步骤908中，差值图像δI_k(x，y，z)受到分割处理，首先产生了多个掩蔽图像集M_k(x，y，z)，k∈[1，...K]。掩蔽图像集是通过对差值图像进行阈值处理形成的；即，掩蔽图像在差值图像的相应像素/体素小于或等于某个阈值T的位置处包括0，以及在差值图像的相应像素/体素大于T的位置处包括1。在生成掩蔽图像集后，根据掩蔽图像M_k(x，y，z)中的非零像素分割MR乳房图像集I_k(x，y，z)，以获得分割的图像S_k(x，y，z)，k∈[1，...K]。分割的图像S_k(x，y，z)在M_k(x，y，z)包含0的位置包含0，在M_k(x，y，z)包含1的位置包含I_k(x，y，z)的值。本领域技术人员应理解在实际实施中，产生掩蔽图像的阶段可以被省略，分割处理可以直接从MR乳房图像集产生分割的图像S_k(x，y，z)。

图9C是图9B的复制品，其中插入了阶跃函数f(t)922，并且去除了正常和脂肪组织曲线。(注意：阶跃函数f(t)定义为f(t＜0)＝0，f(t≥0)＝|λ|，λ≠0)。本发明的意图是检测异常组织，并且更重要地，区分恶性和良性组织。在分割步骤908，将图像S_k(x，y，z)中将属于正常和脂肪组织的像素设为0。图像S_k(x，y，z)中剩余的像素属于恶性或良性组织。(在单个图像中)通过以静态形式评估像素/体素强度来区分恶性组织和良性组织即使不是不可能，实际上也会非常困难。然而，在动态的形式，强度变化在这两种类型的组织间表现出差别。

如图9C中所示，从时间零开始，恶性组织的亮度(对比度)曲线m(t)924很快就上升到阶跃函数曲线922之上，然后渐近地接近阶跃函数曲线922，而良性组织的亮度(对比度)曲线b(t)926在阶跃函数曲线922的下面缓慢地上升，然后渐近地靠近阶跃函数曲线922。本领域技术人员意识到亮度(对比度)曲线m(t)924类似于欠阻尼动态系统的阶跃响应，而亮度(对比度)曲线b(t)926类似于过阻尼或临界阻尼动态系统的阶跃响应。

图9D示出了识别动态系统行为的一般方法。对于具有未知行为的动态系统930，使用阶跃函数928作为激励。来自动态系统930的对阶跃函数928的响应932馈入到系统识别步骤934，以便估计系统930的动态参数。

动态系统建模(步骤912)的示范性实现在图9E中示出，其示出了自回归(ARX)模型936的使用。参考L.Ljung，“Systemidentification toolbox”，对系统识别中使用ARX模型的详细描述的数学推导。一般的ARX模型可以表示为：

y(t)＝G(q)f(t)+H(q)ε(t)，    (1)

其中G(q)942和H(q)940是系统传递函数，u(t)938是激励，ε(t)944是干扰，y(t)946是系统输出。已知传递函数G(q)942和H(q)940可以根据q^-1的有理函数来指定，分子和分母系数的形式为：

$G\left(q\right)=q^{-\mathrm{nk}}\frac{B\left(q\right)}{A\left(q\right)},---\left(2\right)$

$H\left(q\right)=\frac{1}{A\left(q\right)},---\left(3\right)$

其中A(q)和B(q)是延时算子q^-1的多项式：

A(q)＝1+a₁q^-1+.......+a_naq^-na，      (4)

B(q)＝b₁+b₂q^-1+.......+a_nbq^-nb+1.    (5)

系统的ARX模型可以显式地重写为：

y(t)＝-a₁y(t-1)-...

-a_nay(t-na)+b₁u(t-nk)+...          (6)

b_nbu(t-nk-nb+1)+e(t)

方程(6)可以进一步重写为线性形式：

y(t)＝(t)^Tθ，                     (7)

其中

系数矢量θ的系统识别解由下式给出：

$\widehat{\mathrm{\θ}}={\left({\mathrm{\Φ}}^T\mathrm{\Φ}\right)}^{-1}{\mathrm{\Φ}}^{T}Y,---\left(8\right)$

其中

以及

$Y=\left[\begin{array}{c}y\left(t_0\right)\\ \·\\ \·\\ \·\\ y(t_0+N_t-1)\end{array}\right],---\left(10\right)$

在方程(9)和(10)中，t₀是数据采样开始时间，N_t是采样数。对于亮度(对比度)曲线m(t)924和b(t)926，

对于m(t)，

对于b(t)，

在这个特定情况中，u(t)是阶跃函数，相应的解是

和

的计算实现了动态系统识别步骤910(也是步骤934)。

为了将MR图像中具有高对比亮度的区域分类(步骤914)为良性或恶性，采用了监督学习步骤918。到监督学习步骤918的示范输入是

和

(已知曲线)，希望的示范输出分别是对应恶性和良性肿瘤的指示符O_m和O_b。在图9B中，步骤918从步骤916接收具有已知特征(良性或恶性)的M个采样动态曲线。M的示范值可以是100。在这M个曲线内，M_m个曲线属于恶性肿瘤，M_b个曲线属于良性肿瘤。M_m和M_b的示范值可以是50和50。在步骤918，将方程(8)应用到所有采样曲线，产生了M个系数矢量

，其中M_m个系数矢量(记为

，i＝1，...M_m)代表具有指示符O_m的恶性肿瘤，M_b个系数矢量(记为

，  i＝1，...M_b)代表具有指示符O_b的良性肿瘤。这些学习到的系数矢量和

用于训练分类器，分类器又用于在检测或诊断过程中对动态对比曲线进行分类。

为了增加专一性(区分良性肿瘤和恶性肿瘤的精度)，可以将其他因素(步骤920)引入到训练(学习)和分类处理中。已知诸如造影剂施与速率、造影剂施与随成像的时间安排(timing of contrastadministration with imaging)、采集时间和切片厚度之类的因素都会影响专一性(参考C.Piccoli，“Contrast-enhanced breast MRI：Factors affecting sensitivity and specificity”，Eur.Radiol.7(Suppl.5)，S281-S288，1997)。

用α表示造影剂施与速率、β表示造影剂施与随成像的时间安排、γ表示采集时间，δ表示切片厚度。这些示范性因素结合系数矢量

和

使用，以训练分类器，分类器又用于将MR乳房图像中的区域分类为恶性或良性肿瘤类。注意这些示范性因素应该在与系数矢量

和可比的范围内进行量化。为了学习或训练的目的，构造如下数据集：

其中τ_j是类别标签。例如，如果肿瘤是恶性的，τ_i＝1，否则τ_j＝-1。矢量 $p_j=\[\widehat{\mathrm{\θ}},\mathrm{\α},\mathrm{\β},\mathrm{\γ},\mathrm{\δ}\]$ 是特征矢量，或所提取特征的矢量。

代表域，d是域的维度。对于这个示范性情况，假设系数矢量θ具有5个元素，因此d＝5。在学习步骤918以及分类步骤914中使用方程(11)中的数据格式。本领域技术人员应理解的是数据矢量P_j可以不同方式构造，并且用不同的物理或非物理数值元素(因素)增加，而不是以前述的那样。

有许多类型的分类器可以用于使用动态对比曲线以及其他物理或非物理因素来完成区分恶性肿瘤和良性肿瘤的任务。一种示范性分类器是SVM(支持矢量机)(参考C.Burges，“A tutorial on supportvector machines for pattern recognition”，data mining andknowledge discovery，2(2)，1-47，1998，Kluwer academic publisher，Boston)。SVM分类器的一个简单示范例是代表可由超平面分开的两类的数据的训练和分类。分开数据的超平面满足：

w·p+σ＝0，    (12)

其中·是标准内积(点积)。训练SVM的目标是确定自由参数w和σ。总可以对w和σ应用缩放因子，以便所有的数据遵守配对的不等式：

τ_j(w·p_j+σ)-1≥0，j，    (13)

可以通过关于参数w最小化下面的拉格朗日函数并且关于未定乘数ξ_j≥0最大化该函数来求解方程(13)

$L(w,\mathrm{\ξ})=\frac{1}{2}{\left|\right|w\left|\right|}^2-\underset{j=1}{\overset{l}{\mathrm{\Σ}}}{\mathrm{\ξ}}_j\left({\mathrm{\τ}}_j(w\·p_j+\mathrm{\σ})\right)---\left(14\right)$

在解决了最优化问题后，方程(13)中w的表达式可以根据具有非零系数的支持矢量重写，并插入到用于分类超平面的方程中，以给出SVM判定函数：

$\mathrm{\Ψ}\left(p_{\mathrm{new}}\right)=(w\·p_{\mathrm{new}}+\mathrm{\σ})=\underset{j=1}{\overset{l_s}{\mathrm{\Σ}}}{\mathrm{\τ}}_j{\mathrm{\ξ}}_j{p}_j\·p_{\mathrm{new}}+\mathrm{\σ},---\left(15\right)$

其中l_s是支持矢量的数目。将新矢量p_new分类为两类(恶性和良性)中的一个是基于判定函数的符号进行的。本领域技术人员应清楚在非可分的情况中，可以使用非线性SVM。

本申请中所引用的所有文献、专利、期刊文章和其他材料在此引入，以供参考。

一种计算机程序产品可以包括一个或多个存储介质，例如：诸如磁盘(例如软盘)或磁带的磁存储介质；诸如光盘、光带或机器可读条形码的光存储介质；诸如随机存取存储器(RAM)、或只读存储器(ROM)的固态电子存储设备；或用于存储计算机程序的任何其他物理设备或介质，所述计算机程序具有控制一个或多个计算机实施根据本发明的方法的指令。

Claims (20)

1.一种用于检测对象的医学图像中异常的系统，包括：

检查束，包括至少一个来自第一模态的对象的医学图像和至少一个来自第二模态的对象的医学图像；

第一自动化装置，用于确定该至少一个来自第一模态的医学图像和该至少一个来自第二模态的医学图像内的异常的特征；以及

第二自动化装置，用于检测构成该检查束的医学图像中的至少一个内的异常。

2.权利要求1的系统，其中第一自动化装置是学习引擎并且第二自动化装置是检测引擎。

3.权利要求2的系统，其中学习引擎包括：

(a)第一学习模块，用于确定该至少一个来自第一模态的医学图像内的异常的特征；以及

(b)第二学习模块，用于确定该至少一个来自第二模态的医学图像内的异常的特征。

4.权利要求2的系统，其中检测引擎包括：

(a)第一检测模块，用于检测该至少一个来自第一模态的医学图像内的异常；以及

(b)第二检测模块，用于检测该至少一个来自第二模态的医学图像内的异常。

5.权利要求4的系统，其中第二检测模块在与由第一检测模块检测到的异常对应的区域中检测异常。

6.权利要求4的系统，其中检测引擎还包括组合模块，用于组合来自第一检测模块的检测到的异常与来自第二检测模块的检测到的异常。

7.权利要求6的系统，其中组合模块消除仅由第一和第二检测模块中的一个检测到的异常。

8.权利要求6的系统，其中组合模块消除被第二检测模块检测到但是没有被第一检测模块检测到的异常。

9.权利要求1的系统，其中第一自动化装置包括联合学习模块，用于联合确定该至少一个来自第一模态的医学图像和该至少一个来自第二模态的医学图像内的异常的特征。

10.权利要求9的系统，其中第二自动化装置包括联合检测模块，用于联合检测该至少一个来自第一模态的医学图像和该至少一个来自第二模态的医学图像内的异常。

11.权利要求1的系统，还包括第三自动化装置，用于更新检查束，以便指示任何检测到的异常。

12.一种用于检测对象的医学图像中异常的系统，包括：

检查束，包括至少一个来自第一模态的对象的医学图像和至少一个来自第二模态的对象的医学图像；

映射引擎，用于确定该至少一个来自第一模态的医学图像和该至少一个来自第二模态的医学图像之间的对应关系；

学习引擎，用于确定该至少一个来自第一模态的医学图像和该至少一个来自第二模态的医学图像内的异常的特征；以及

检测引擎，用于检测构成该检查束的医学图像中的至少一个内的异常。

13.权利要求12的系统，其中映射引擎将该至少一个来自第一模态的医学图像与该至少一个来自第二模态的医学图像配准。

14.权利要求13的系统，其中映射引擎执行参数图像配准、非参数图像配准、基于强度的配准、基于相关性的配准、或基于交互信息的配准。

15.权利要求12的系统，其中映射引擎将来自至少一个模态的至少一个医学图像与图谱图像配准。

16.权利要求12的系统，其中学习引擎包括：

(a)第一学习模块，用于确定该至少一个来自第一模态的医学图像内的异常的特征，和

(b)第二学习模块，用于确定该至少一个来自第二模态的医学图像内的异常的特征；并且

其中检测引擎包括：

(a)用于检测该至少一个来自第一模态的医学图像内的异常的第一检测模块，和

(b)用于检测该至少一个来自第二模态的医学图像内的异常的第二检测模块。

17.权利要求16的系统，其中第一或第二学习模块中的至少一个引入了异常的特征的预定知识。

18.权利要求16的系统，其中检测引擎还包括组合模块，用于组合来自第一检测模块的检测到的异常与来自第二检测模块的检测到的异常。

19.一种用于检测对象的医学图像中异常的系统，包括：

检查束，包括至少一个来自第一模态的对象的医学图像和至少一个来自第二模态的对象的医学图像；

多个训练过的图像，用于确定该至少一个来自第一模态的医学图像和该至少一个来自第二模态的医学图像内的异常的特征；以及

检测引擎，用于检测构成检查束的医学图像中的至少一个内的异常。

20.权利要求19的系统，还包括映射引擎，用于定义该至少一个来自第一模态的医学图像和该至少一个来自第二模态的医学图像之间的对应关系。

Images