CN101194263B - 利用显微镜成像装置再定位载片上样品中的目标的系统和方法 - Google Patents

Abstract

提供一种用于预扫描载片的再定位样品中目标的方法，所述载片包含分别具有对应的存储坐标和存储图像的确定目标，所述目标相互映射。将该载片定位在显微镜载物台上，可视显示所述目标的存储图像，并且选择靶向目标。将载片移动到与靶向目标的坐标对应的估计坐标位置，并且获取样品的视场图像以与靶向目标的存储图像比较。如果目标在图像中，则确定所述定位目标的实际坐标和对应目标的存储坐标之间的偏移。然后，通过所述载物台从估计坐标位置处根据所述偏移来移动载片，以使目标位于图像中心。还提供相关的系统和方法。

Description

利用显微镜成像装置再定位载片上样品中的目标的系统和方法

技术领域

本发明涉及一种利用显微镜成像装置对预先检查的载片上的样品中的目标再定位的系统和方法。

背景技术

显微分析是一种广泛用于尤其是细胞生物学、细胞学和病理学领域中的研究和常规评价的工具。病理学家通过使用显微镜在几种不同的条件和试验程序下目测检查组织样品和细胞涂片。基于这种目测检查，病理学家可以做出关于组织或细胞材料的决定。例如，在癌症的检测和研究中，显微分析有助于检测和定量与癌症的起因和发展相关的遗传改变和/或异常，例如DNA或信使RNA形式的特定基因表达的变化(基因扩增、基因缺失、基因突变)，或编码蛋白表达。这些改变/异常可以在如细胞学的标准程序中特制用于呈现单个细胞的显微载片中评价，或者可以评估整个组织切片或组织微阵列(Tissue Micro Arrays)。

尽管存在许多其它合适的实验室技术或分析法，但是通常使用显微镜检查法，因为它是一项获得丰富信息的技术，其允许在细胞水平或亚细胞水平快速检查，同时能够以较低的成本迅速实施。但是，为了克服例如常规显微镜方法的主观性和/或可重复性的限制，改进的分析装置结合了显微镜和自动图像分析设备。这种改进装置包括例如交互系统、自动扫描装置和虚拟载片扫描器。

交互系统通常不改变病理学家分析和解释显微镜下载片的工作流程。通常，该交互系统具有经过图像分析从载片提取额外的定量信息的潜力，并因此可以改善可重复性和操作人员的解释结果。也可以实现用于报告和记载分析结果的更好工具。如果正确配置，交互系统相对较快且成本低廉，但是这种交互系统对常规工作流程的影响相对较小。

自动罕见事件检测装置通常被设置成以完全无人管理的方式通过该系统完成从将载片装入扫描台到最终结果报告的整个载片分析。该自动系统通常扫描载片、自动识别分析中感兴趣的目标或区域、定量评价目标以及报告和记录结果。通常在从大劳动量的筛选任务到分析结果的解释方面显著改变病理学家和细胞学家的常规工作流程。但是，该自动系统通常相当昂贵，使得必须每年处理大量载片，以调节采购该装置的成本。

已经开发了虚拟载片扫描系统用于自动获取不同光学分辨率的大的观察图像。这些观察图像可以远大于可以在显微镜中观察到的单个FOV。

涉及上述三种应用即交互系统、自动扫描装置和虚拟载片扫描器的一个与装置无关的共同因素是可能存在必须由操作人员重新物理检查预扫描的、成像的和/或以其他方式分析的载片的情况。在这些情况下，操作人员面临重新定位载片上的样品中感兴趣目标的任务，其中该感兴趣目标在之前对该载片的分析中已被发现。为解决该任务，在一些情况下，操作人员可以使用与预先用于扫描、成像和/或分析载片的显微镜成像装置或其它设备不同的显微镜成像装置。在一些情况下，可能不知道用于预先成像或分析载片的放大倍数，并且操作人员所用的装置可能在成像能力以及装置构件的运动设备方面具有不同的分辨率。

在一种再定位载片上的样品中的目标的典型方法中，在载片上指定和定位一个或多个再定位标记，并将这些标记存储为基准坐标，然后扫描载片或以其他方式对载片成像。在载片扫描过程中，获取并存储一个或多个载片图像或载片上样品中的目标图像，同时可以获取并存储相对于再定位标记确定的坐标值。在重新检查或以其他方式尝试再定位载片上的目标之前，必须在物理载片上找到一个或多个再定位标记。如果提供适当的功能性，可以允许操作人员从样品中感兴趣目标的可视显示中选择期望的感兴趣目标，同时载物台移动到选定目标应该在视场内的期望或估计位置。但是，操作人员可能必须主观地识别期望位置处的目标与操作人员选定的目标是否相同。如果所显示的目标偏离视场中心，则操作人员还必须经常手动校正载物台的位置。此外，如果所选目标没有在期望位置的视场中显示或不能以其它方式识别，则操作人员一般必须手动寻找目标。但是，一旦操作人员启动手动搜索程序，那么通常丢失所有坐标校准，并且重新检查其后选定的任何目标都将需要操作人员进行同样耗时的手动再定位程序。

因此，典型的再定位方法常常需要具有特定用于再定位程序的精度标记的特殊载片。此外，为获取和/或再定位载片上的目标，通常必需昂贵的高精度(通常在微米范围内)机械驱动载物台，以在整个载片范围内保持相对于预先扫描图像的足够可重复性。在扫描载片之前，再定位标记或其它参数必须通过物理寻找到载片上的这些标记来建立，其中必须在重新检查载片之前再次找到这些再定位标记以再定位感兴趣目标。如果再定位方法不足够精确，则可能必须手动校正选定目标的位置以使该目标位于视场中的合适位置。而且，定位一个目标通常几乎不会提高载片上随后选定的感兴趣目标的再定位精度。再者，再定位精度取决于扫描台的精度以及观察台的精度，并且还可能受扫描和再定位程序期间确定再定位标记的精确性的影响。

因此，需要在显微镜成像装置下快速和有效地再定位预扫描显微镜载片上的样品中感兴趣目标的方法和设备，其中，即便有也只需要操作人员最少的人工干预，尤其是当显微镜载物台被机械驱动因而显微镜能够自动执行即使不是所有也是大部分的再定位功能时。期望该方法和设备应该能够再定位目标，而无论载片是否被该装置或不同的装置所扫描。期望该设备和方法应该相对成本低廉，具有相对少和/或简单的设备要求，并且容易适用于各种放大倍率。

发明内容

本发明满足上述和其它要求，其中在一个实施方案中，提供一种在通过显微镜目镜观察时再定位载片上样品中的感兴趣目标的方法。该方法包括扫描载片以确定样品中的感兴趣目标，使对应坐标与每个感兴趣目标相关联，并存储每个感兴趣目标的图像和对应坐标。感兴趣目标通过坐标相互映射。然后将载片定位在显微镜载物台上，并且将存储的感兴趣目标的图像显示在可视显示器上。从显示的感兴趣目标的存储图像中选择第一靶向感兴趣目标。通过显微镜载物台将载片移动到与第一靶向感兴趣目标的坐标对应的载片上的第一估计坐标位置。通过显微镜目镜获取第一估计坐标位置处的样品视场图像。然后将视场图像与第一靶向感兴趣目标的存储图像比较，如果第一靶向感兴趣目标位于视场图像中，则确定所定位的第一靶向感兴趣目标的实际坐标和与第一靶向感兴趣目标对应的感兴趣目标的存储坐标之间的第一偏差。然后，通过显微镜载物台，从第一估计坐标位置处并且根据第一偏差来移动载片，以使第一靶向感兴趣目标置于视场图像的中心。

本发明的另一方面包括一种再定位显微镜载物台上的载片上的样品中的感兴趣目标的方法，其中已经预先扫描载片以确定样品中的感兴趣目标，并且其中已经将对应的坐标与每个感兴趣目标相关联，已经存储每个感兴趣目标的图像和对应坐标，并且感兴趣目标已经通过坐标相互映射。该方法包括在可视显示器上显示感兴趣目标的存储图像，和从显示的感兴趣目标的存储图像中选择第一靶向感兴趣目标。然后，通过显微镜载物台，将载片移动到与第一靶向感兴趣目标的坐标对应的载片上的第一估计坐标位置处。通过显微镜目镜，在第一估计坐标位置获取样品的视场图像。将视场图像与第一靶向感兴趣目标的存储图像比较，如果第一靶向感兴趣目标位于视场图像中，则确定所定位的第一靶向感兴趣目标的实际坐标和与第一靶向感兴趣目标对应的感兴趣目标的存储坐标之间的第一偏差。然后，通过显微镜载物台，从第一估计坐标位置处并且根据第一偏差来移动载片，以将第一靶向感兴趣目标置于视场图像的中心。

本发明的另一方面包括一种再定位显微镜载物台上的载片上的样品中的感兴趣目标的方法，其中已经预先扫描载片以确定样品中的感兴趣目标，并且其中已经将对应的坐标与每个感兴趣目标相关联，已经存储与每个感兴趣目标的图像和对应坐标，并且感兴趣目标已经通过坐标相互映射。该方法包括在可视显示器上显示感兴趣目标的存储图像，和从显示的感兴趣目标的存储图像中选择第一靶向感兴趣目标。然后，通过显微镜载物台，将载片移动到与第一靶向感兴趣目标的坐标对应的载片上的第一估计坐标位置处。将通过显微镜目镜观察的第一估计坐标位置处的样品视场图像与第一靶向感兴趣目标的存储图像手动比较，如果第一靶向感兴趣目标位于视场图像中，则确定所定位的第一靶向感兴趣目标的实际坐标和与第一靶向感兴趣目标对应的感兴趣目标的存储坐标之间的第一偏差。然后，通过显微镜载物台，从第一估计坐标位置处并且根据第一偏差来移动载片，以将第一靶向感兴趣目标置于视场图像的中心。

还提供用于执行和完成所公开方法的合适设备，其中可以使用许多不同的设备结构和布置，本领域的技术人员将会理解这点。因此，本发明的实施方案提供如本文所述和进一步讨论的独特优点。

附图说明

上文已经概括地描述了本发明，现在将参照不一定按比例绘制的附图，其中：

图1示意性示出根据本发明一个实施方案的用于再定位显微镜下预先扫描的载片上的感兴趣目标的设备。

图2示意性示出根据本发明一个实施方案的预先扫描的感兴趣目标的可视显示器，其中在可视显示器上并排显示FOV图像。

图3示意性示出根据本发明一个实施方案的载物台，如果在FOV图像中找不到感兴趣目标时，所述载物台围绕初始估计坐标位置以螺旋方式自动移动以进一步搜索感兴趣的目标。

图4示意性示出根据本发明一个实施方案的相对彼此布置的预扫描的感兴趣目标的可视显示器，显示选定的感兴趣目标和相对于载片上选定的感兴趣目标和其它感兴趣目标的当前显微镜视场位置。

具体实施方式

下文中将参照附图更为详细地描述本发明，附图中示出本发明的一些但不是全部的实施方案。实际上，这些发明可以采用不同的形式例示，而不应该被视为限定于文中列出的实施方案；相反，提供这些实施方案只是使该公开内容将满足可适用法律的要求。全文中相同的附图标记指示相同的元件。

本发明的实施方案涉及利用显微镜成像装置对预先检查的载片上的样品中的目标的再定位方法。为了实施该方法，本发明的一个实施方案实现例如图1中所示的系统50，其包括具有内置自动化功能(例如Zeiss AxioImager)的显微镜100、能够通过计算机装置300控制或通过操作人员手动操作的用于显微镜100的机动载物台150(作为选择，机动载物台150可以包括例如配置和/或编码为根据校正的x-y或其它合适坐标系移动的手动可定位载物台)、和照相机装置200，例如逐行区域扫描照相机(例如CCD或CMOS型照相机)。机动显微镜载物台150可与具有可视显示器325的计算机装置300通信，同时照相机装置200也可通过例如数字转换器或帧捕获器装置与计算机装置300通信。系统50配置为在载物台150上容纳具有与其相关联的样品的载片350，其中样品/载片350已经用成像装置预先扫描，并且由于该扫描使样品中感兴趣位置的所有目标被作为单个图像储存。单个图像可以被存储在例如便携式介质或计算机装置300的硬盘驱动器或与计算机装置300相关联的其它存储系统上。

感兴趣目标的这些图像可以通过系统50或通过能够对感兴趣目标识别并成像的其它任意合适的成像系统获得。但是，系统50特别配置为再定位载片350上的感兴趣目标，而无论载片350是否是从其它成像系统移到系统50的，或载片350是否在成像后从系统50移走并且之后重新置于载物台150上以进行进一步的检查。但是，本领域的技术人员将会注意到，文中描述的方法可以同样适用于载片350相对于载物台150移动的情况或操作人员期望检验载片350关于成像条件的定向/对准的情况。

计算机装置300进一步配置为主机(host)并执行一个或多个数据库，其中该数据库包括来自所检查或扫描的样品/载片的感兴趣目标的图像。此外，确定存储的感兴趣目标相对于载片上基准点的坐标，例如笛卡尔坐标或其它任意合适坐标系统的坐标，并与各自的图像关联储存(本文中也称作在“扫描坐标系”中的图像“扫描坐标”)。基准点可以是载片上存在的任意合适特征，例如载片的一个角或载片上明确限定的基准。在一些情况下，基准点自身可被保存为扫描载片的感兴趣目标之一或与扫描载片的感兴趣目标一起保存。作为选择，可以建立坐标系或将坐标系与显微镜载物台150的校准相关联，以使存储的图像与相对于载物台坐标系的坐标相关联。

当将载片350置于系统50的载物台150上以进行进一步检查时，本发明的实施方案涉及允许操作人员通过从如在可视显示器325上显示给操作人员的感兴趣目标的预扫描数字图像中选择感兴趣目标的图像而在显微镜100下将样本例如生物样本的预先成像的感兴趣目标再定位在载片350上。但是，在将载片350置于载物台150上之前，首先校准显微镜载物台150以建立当前的坐标系(如果使用相同的系统50，则其可与载片扫描阶段建立的载物台坐标系相同，或者，如果系统50不同于扫描器，则其不同于扫描阶段的载物台坐标系)。该“当前”坐标系在文中也被称为相对于“载物台坐标系”的“载物台坐标”。

当将载片350首先置于载物台150上并且由操作人员从可视显示器325选择感兴趣目标330(“第一感兴趣目标”)时，系统50自动确定并校准载物台150的载物台坐标系的坐标系参数，其中载物台150可与计算机装置300交互作用以执行该校准。尽管在程序期间可能发生的总体未对准或其它问题可以通过计算机装置300报告给操作人员，以在必要时进行手动校正，但是通常不需要操作人员的操作。当载物台150的载物台坐标系已经被校准时，照相机装置200连续将通过显微镜100观察到的视场(“FOV”)图像340提供给计算机装置300。在一些情况下，计算机装置300可以在可视显示器325上连续显示FOV图像340。预先扫描的与载片350相关的感兴趣目标330的图像也可以在可视显示器325上与FOV图像340并排显示，或以其他可视方式提供给操作人员，例如图2中所示。与FOV图像340一起，计算机系统300根据校准的载物台坐标系统估计或以其他方式确定FOV相对于载片350的当前位置。亦即，如果载片350在载物台150上的已知位置处与载物台150接合，并且载物台150的移动与载片350上的坐标从已知位置的变化相关，则对于置于校准的载物台上的任意载片，可以通过载物台坐标系根据载物台150的位置来确定FOV相对于载片的大致当前位置。

尽管可以确定FOV相对于载片350的大致当前位置，但是载物台坐标系不必对应于与预先扫描载片相关的扫描坐标系。此外，如前所述，与载片350相关的感兴趣目标的信息与扫描坐标系相关。同样，当操作人员从可视显示器325或从另一可视显示装置(未图示)中选择期望的第一感兴趣目标的图像时，该第一感兴趣目标的储存坐标与扫描坐标系相关。因此，系统50必须使扫描坐标系与载物台坐标系一致，以在可视显示器325上所示的FOV中再定位第一感兴趣目标。因此，由于根据载物台坐标系已知FOV相对于载片350的大致当前位置，所以系统50配置为将载片350移至FOV的估计坐标位置，与转换为载物台坐标系的选定的第一感兴趣目标的坐标对应。因此，估计的坐标位置包括载片350上的一般位置，在此可以开始对选定的第一感兴趣目标的自动搜索。

根据本发明的一个有利方面，利用本文中进一步描述的关联方法，将估计坐标位置处的FOV图像与第一感兴趣目标的存储图像进行比较，以确定选定的第一感兴趣目标是否在估计坐标位置处的FOV图像内。可以在例如空间域或频率域中完成图像的这种关联。频率域法使用快速傅里叶变换(“FFT”)程序，而空间域法使用卷积程序来进行关联。对于灰度图像，该关联基于相应图像中像素的灰度值。对RGB图像，该关联可以基于例如相应图像中每个像素的亮度，红色、绿色和蓝色强度的平均值或单色通道。在一些情况下，由色原分离技术(该技术在例如Marcelpoil等的美国专利申请公开编号US 2003/0091221 A1(Method for quantitativevideo-microscopy and associated system and computer softwareprogram product)和US 2003/0138140 A1(Method for quantitativevideo-microscopy and associated system and computer softwareprogram product)中详细讨论，所述专利均被转让给本发明的受让人，其全部内容在此通过引用并入本文。)所产生的三种颜色(RGB)的特殊组合也可以用作相应图像之间关联的基准值。亦即，对于这种关联，确定选定的第一感兴趣目标的特定特征，然后分析估计坐标位置处的FOV图像以确定FOV图像中是否存在这些特定特征。

该关联程序可通过两个图像的相关系数示出，其定义如下：

$\mathrm{\ρ}=\frac{{\mathrm{\σ}}_{\mathrm{1,2}}}{\sqrt{{\mathrm{\σ}}_1{\mathrm{\σ}}_2}}$

其中，σ₁是图像1(即选定的第一感兴趣目标的图像)的选定基准值的标准偏差，σ₂是图像2(即FOV图像)的对应基准值的标准偏差。σ_1，2是图像1和2的基准值乘积的标准偏差。

对于频率域法，利用FFT将两个图像变换成频率域以形成各自变换的二维数据集或矩阵。亦即，变换的二维数据集包括复数矩阵，该矩阵具有和原始图像(以矩阵形式)相同的维数。然后，相应图像的变换二维数据集的元素与元素相乘以形成合成的二维数据目标。从该合成二维数据目标的中心值(即合成的二维目标的中心)到最高绝对值的矢量因而代表两个图像在距离和方向上的位移。但是，在使用频率域法时，相应图像应该具有例如相等的x和y尺寸，其中每个图像尺寸应该是2的幂(即64、128、512、...)。利用这种方法，确定位移或偏移所需要的时间只取决于两个相应图像的大小(尺寸、像素等)，而不取决于其实际内容。在这种方法中，不知道或不确定相关系数的实际值，只是由分析得到最高的相关点。

利用空间域法，首先将图像1在x和y方向移动，然后将相对于图像2的相关系数确定为位移矢量(x，y)的函数。然后如果相关系数高于预定阈值，则将该过程中找到的最高相关系数的x和y值用作图像1相对于图像2的位移。如果相关系数低于该阈值，则对应图像不能匹配，该结果表明选定的第一感兴趣目标没有位于FOV图像内。

但是，对于所述空间域法，分析其中具有所有可能的x和y组合的大图像可能是耗时的操作，在一些情况下，可以通过以下迭代重复程序来加速该操作：

1.只利用每第N_x和第N_y个像素来关联具有起点D(x，y)的两个图像和有限范围R(x，y)。开始，将起点D(x，y)设定为图像1的中心，将R(x，y)设定为整个图像。

2.将具有最高关联的点用作新的起点。将搜索范围R(x，y)设定为(±N_x，±N_y)。将N_x/2和N_y/2用作N_x和N_y的新值。

3.重复直到N_x和N_y等于1。

如果所得相关系数大于预定阈值(例如0.9)，则选定的第一感兴趣目标确定在FOV图像内，并且可以确定合成的偏移。但是，如果相关系数低于该阈值，则对应图像不能匹配，该结果表明选定的第一感兴趣目标没有位于FOV图像内。

以上述方式使用频率域法或空间域法，不需要在载片350上的特殊基准或其它精确已知的再定位标记。此外，如果利用与系统50所用的有效显微镜放大倍率不同的放大倍率获取(扫描)感兴趣目标的储存图像，则在关联程序之前调节两个放大倍率中的较大者，以与放大倍率较低图像的放大倍率对应。

如果在上述关联程序中通过频率域法或空间域法，在FOV图像340中未发现第一感兴趣目标330，则载物台150(机械驱动并且配置为通过计算机装置300控制)可以采用圆形方式围绕初始估计坐标位置自动移动，以进一步搜索第一感兴趣目标330，例如图3所示。亦即，载物台150配置为响应计算机装置300，使得如果在FOV图像340中的估计坐标位置处未发现第一感兴趣目标330，则载物台150移动载片350，以使照相机装置200在围绕估计坐标位置的圆形图案内获取连续的FOV图像，同时对每个连续FOV图像进行关联程序以确定该FOV图像是否包括第一感兴趣目标。此后，搜索圆的半径递增(例如以螺旋方式)，直到第一感兴趣目标位于特定的FOV图像内。如果在FOV图像内未发现第一感兴趣目标并且载物台150配置为手动操作，则操作人员将载物台150手动移动到FOV的估计坐标位置处的外侧，使得可以利用前述关联程序在随后的FOV中搜索第一感兴趣目标。

当在载片350上再定位第一感兴趣目标时，将存储坐标(扫描坐标系内)和再定位第一感兴趣目标的载片350上的实际坐标之间的偏移记录和存储。然后将第一感兴趣目标置于视场中心，以允许操作人员作进一步的检查。一旦选定的第一感兴趣目标在载片350上定位，则操作人员可从可视显示器上与FOV(现在在FOV中心具有第一感兴趣目标)并排显示的载片350相关的或以其他方式可视提供给操作人员的第一感兴趣目标的预先扫描图像中选择第二感兴趣目标。由于已知第一感兴趣目标相对于载物台坐标系和扫描坐标系的实际坐标，因此，第二感兴趣目标的位置涉及第二感兴趣目标相对于扫描坐标系中第一感兴趣目标的相对位置的适当计算和在载物台坐标系中载物台150/载片350的相应位移。一旦在第二感兴趣目标的计算位置处，则可以再次使用前述关联方法以检验第二感兴趣目标的实际位置。知道第二感兴趣目标的实际位置(或感兴趣目标的任何其它的随后选择)允许通过计算机装置300限定偏移。此外，通过知道第一和第二感兴趣目标的实际坐标，计算机装置300也可以确定载片350在载物台坐标系中相对于扫描坐标系中的存储坐标的任何旋转，从而进一步提高载片350上的样品中的其它感兴趣目标的再定位精度。

在系统50配置为手动操作载物台150的情况下，本发明的实施方案还可以在通过例如可视显示器325上可视呈现给操作人员的关于载物台150移动的方向指示345来定位选定的感兴趣目标方面为操作人员提供指导(例如相对于感兴趣目标，手动定位载物台150的可视帮助)。但是，本领域技术人员将会理解，该指示可以不同的方式提供，例如以听觉方式或通过单独的显示器上观察的文本信息来提供。在如图4所示的一个例子中，整个载片350的图像示于可视显示器325上，显示出预先扫描的相对于彼此的感兴趣目标。同时，可视显示器325上也显示当前FOV 340相对于载片350的估计坐标位置的指示。亦即，系统50以该方式与被观察载片上这些感兴趣目标的估计位置一起提供扫描的感兴趣目标的可视指示。一旦操作人员选定感兴趣目标330，则在可视显示器325上加亮或以其他方式清楚标示第一感兴趣目标330和FOV的估计坐标位置。

由于可视显示器325上提供的FOV的估计坐标位置和第一感兴趣目标之间的差别，操作人员随后将载物台150手动移向可视显示器325上所示全载片图像中第一感兴趣目标的可视指示位置，其中系统50通过计算机装置300提供任何必要的指导，并且在可视显示器325上连续更新FOV的变化坐标位置。当操作人员移动载物台150时，可以连续运行关联程序，或者可以在载物台150停止移动时启动关联程序。因此，继续给操作者提供移动载物台150的指导，直到计算机装置300确定第一感兴趣目标位于可视显示器325上显示的FOV的中心内。当第一感兴趣目标位于载片350上时，记录在扫描坐标系内预先扫描的第一感兴趣目标的存储坐标与载物台坐标系内载片350上第一感兴趣目标的实际坐标之间的偏移，并且将用于指示期望的第一感兴趣目标的引导标识例如十字交叉游标或其它合适的标识与载片350或FOV的实时图像重叠或以其他方式与载片350或FOV的实时图像相关联，以在实际载片350上提供第一感兴趣目标的标识。因此，如前所述，感兴趣目标的随后选择将重新限定偏移，以及校正载物台坐标系相对于扫描坐标系的任何旋转，从而提高感兴趣目标再定位过程的精度。

因此，本发明的实施方案提高并促进操作人员需要重新检查预先扫描和成像的载片的显微镜成像系统中的工作流程、速度和精度。该实施方案也可以降低在显微镜成像系统和相关应用中的设备成本和/或提供其它成本效益。更具体地，本发明的实施方案，尤其是其再定位方面不需要特殊载片，并且显微镜装置的机动载物台的所需精度和可重复性为低到中等，无论该显微镜装置用于扫描阶段或再定位阶段，如本文所讨论的。此外，每个待检查的单个载片不需要安装程序或校准程序。相反，只有显微镜载物台需要校准，其可以各种时间间隔执行，例如每天一次或每批检查程序一次。此外，一旦校准，则该机动载物台在接收用于检查的载片之前不需要任何特殊的安装程序。

利用本文中公开的再定位程序，感兴趣目标的低于标准的或不准确的再定位的风险大幅降低，因为在高分辨率空间内的每个像素基础上进行关联程序。此外，再定位程序配置为自动再定位期望的感兴趣目标，甚至考虑过程中放大倍率的差异。任意定位的感兴趣目标也被自动置于显微镜视场中心，以帮助操作人员分析。该系统还配置为连续更新再定位参数，使得随操作人员检查的载片上感兴趣目标越多则再定位精度和效率就越高。此外，可以通过减少载片检查装置的载物台的最小步进尺寸来提高再定位精度，并且如果该载物台的步进尺寸精度足够高的话，再定位精度可以例如允许感兴趣目标的精确像素级再定位。

本领域技术人员将会意识到本文陈述的本发明的许多修改和其它实施方案，其具有前述说明书和相关附图中教导的益处。例如，作为备选，在一些情况下，文中公开的关于再定位载片上目标的方法可以在显微镜100没有配备照相机装置200的情况下实施。在该情况下，显微镜100包括机动的编码载物台150，如前所述，其能够被手动定位并通过计算机装置300控制。载物台150还配置为与计算机装置300通信，使得载物台150的当前位置可被报告给计算机装置300。对于预先扫描的载片350，计算机装置300包括相对于载片350上基准点的预先识别的任意感兴趣目标的坐标，例如笛卡尔坐标或其它任意适合的坐标，其中该基准点可以通过载片350上任意合适的点限定，例如载片的一个角或载片350上任何其它清楚限定的精确基准。

根据该备选方法，不能使用交叉相关，因为没有照相机装置200因而得不到载片350的活动图像。同样，首先将载片350置于显微镜载物台150上，然后在与计算机装置300相连的可视显示器325上选择第一靶向感兴趣目标。然后计算机装置300引导载物台150移至第一靶向感兴趣目标的估计坐标位置，如前述讨论的。一旦到达估计坐标位置处，则通过比较显微镜100的FOV和可视显示器325上的第一靶向感兴趣目标的图像来引导操作人员手动定位第一靶向感兴趣目标。当操作人员识别第一靶向感兴趣目标时，操作人员将第一靶向感兴趣目标置于显微镜100的FOV中心。在一些情况下，当第一靶向感兴趣目标位于显微镜100的FOV中心时，操作人员也可以指示计算机装置300，以利于计算机装置300将所要执行的后续步骤的初始化。计算机装置300也存储第一靶向感兴趣目标相对于载物台150的实际坐标，并且也计算存储的第一靶向感兴趣目标的实际坐标和来自预扫描的第一靶向感兴趣目标的存储坐标(即扫描坐标系中)之间的偏移。

然后操作人员在可视显示器325上，从与FOV图像(此时第一感兴趣目标位于FOV中心)并排显示的与载片350相关的感兴趣目标的预存储图像中选择下一个或第二靶向感兴趣目标。由于此时已知第一靶向感兴趣目标相对于载物台坐标系和扫描坐标系的坐标，因此，第二感兴趣目标的位置涉及第二感兴趣目标相对与扫描坐标系中第一感兴趣目标的相对位置的适当计算以及载物台坐标系中载物台150/载片350的相应位移。一旦处于第二感兴趣目标的计算位置，操作人员必须再次通过比较显微镜100的FOV和可视显示器325上的第二靶向感兴趣目标的图像来手动定位第二靶向感兴趣目标。而且，一旦在显微镜100的FOV中发现第二感兴趣目标并将其定位在中心，则通过计算机装置300存储第二感兴趣目标的实际坐标(在载物台坐标系中)。知道第二感兴趣目标的实际坐标(或感兴趣目标的任意其他的后续选择)允许通过计算机装置300改进偏移。此外，通过知道第一和第二感兴趣目标的实际坐标，计算机装置300也可以确定载片350在载物台坐标系中相对于扫描坐标系中存储坐标的任何旋转。如果必要，可以通过选择性移除感兴趣目标的外界坐标和/或通过取平均或其他最小化误差的技术，在确定和存储选定的感兴趣目标的新坐标时改进载物台坐标系。

此外，其它的功能性可以与文中讨论的设备、系统和方法相关联。例如，如果操作人员在载片350的手动搜索期间通过显微镜100找到载片350上的感兴趣目标，并且该感兴趣目标不是当前选定的靶向感兴趣目标，则计算机装置300可以配置为从载片350的预先扫描中识别感兴趣目标，例如通过将载物台150的位置关联至扫描坐标系(如果已经计算，则考虑任何识别的偏移)并从可视显示器325显示的与载片350相关的感兴趣目标的数据库和/或预存储图像中识别感兴趣目标。因此，在利用未配备照相机装置200的较便宜的工作站再定位载片350上的目标方面，该方法可以是有利的。

因此，应该理解本发明不限于所公开的特定实施方案，并且意图将修改和其它实施方案包括在所附权利要求的范围之内。尽管文中采用特定术语，但它们只是在一般和说明意义上使用，而不是为了限制。

Claims (39)

1. 一种在通过显微镜目镜观察时再定位载片上的样品中的感兴趣目标的方法，其包括：

扫描所述载片，以确定所述样品中的感兴趣目标，

使对应坐标与每个感兴趣目标相关联，和

存储每个感兴趣目标的图像和对应坐标；

使所述感兴趣目标通过坐标相互映射；

在显微镜载物台上定位所述载片；

在可视显示器上显示所述感兴趣目标的存储图像；

从显示的所述感兴趣目标的存储图像中选择第一靶向感兴趣目标；

通过所述显微镜载物台，将所述载片移动到与所述第一靶向感兴趣目标的坐标对应的所述载片上的第一估计坐标位置；

通过所述显微镜的目镜获取所述第一估计坐标位置处的样品视场图像；

将所述视场图像与所述第一靶向感兴趣目标的存储图像比较，如果所述第一靶向感兴趣目标位于所述视场图像中，则确定所述定位的第一靶向感兴趣目标的实际坐标和与所述第一靶向感兴趣目标对应的所述感兴趣目标的存储坐标之间的第一偏移；和

通过所述显微镜载物台，从所述第一估计坐标位置并根据所述第一偏移移动载片，以使所述第一靶向感兴趣目标位于所述视场图像的中心。

2. 根据权利要求1的方法，还包括在将所述载片定位在所述显微镜载物台上后，确定与所述显微镜载物台上所述载片的放置和所述显微镜载物台的移动相关的载物台坐标系。

3. 根据权利要求2的方法，其中通过所述显微镜载物台将所述载片移动到所述载片上的第一估计坐标位置还包括将所述载片移动到所述载片上的第一估计坐标位置，所述第一估计坐标位置与转换成所述载物台坐标系的所述第一靶向感兴趣目标的坐标相对应。

4. 根据权利要求1的方法，其中比较所述视场图像和所述第一靶向感兴趣目标的存储图像还包括利用手动识别程序和关联程序的其中之一来比较所述视场图像和所述第一靶向感兴趣目标的存储图像。

5. 根据权利要求4的方法，其中利用关联程序比较所述视场图像和所述第一靶向感兴趣目标的存储图像还包括利用空间域关联程序和频率域关联程序的其中之一来比较所述视场图像和所述第一靶向感兴趣目标的存储图像。

6. 根据权利要求4的方法，其中利用关联程序比较所述视场图像和所述第一靶向感兴趣目标的存储图像还包括利用卷积关联程序和快速傅里叶变换关联程序的其中之一来比较所述视场图像和所述第一靶向感兴趣目标的存储图像。

7. 根据权利要求1的方法，还包括如果所述第一靶向感兴趣目标没有位于所述视场图像内，则通过显微镜载物台，围绕所述估计坐标位置以半径连续递增的圆形运动自动移动所述载片，同时获取附加视场图像，并在每个视场图像内搜索所述第一靶向感兴趣目标。

8. 根据权利要求1的方法，还包括如果所述第一靶向感兴趣目标没有位于所述视场图像内，则通过所述显微镜载物台手动移动所述载片，同时获取附加视场图像，并在每个视场图像内搜索所述第一靶向感兴趣目标。

9. 根据权利要求1的方法，其中通过显微镜载物台移动所述载片还包括手动移动和自动移动所述显微镜载物台的至少其中之一，以移动所述载片。

10. 根据权利要求9的方法，其中当手动移动所述显微镜载物台时，提供方向标记以使所述显微镜载物台手动移向所述第一靶向感兴趣目标，所述方向标记选自视觉标记和听觉标记。

11. 根据权利要求10的方法，其中提供视觉方向标记还包括提供将所述视场图像与所述第一靶向感兴趣目标的第一估计坐标位置相关联的字母数字标记、字符标记和动态映射标记中的至少一个。

12. 根据权利要求1的方法，还包括：

从所述显示的感兴趣目标的存储图像中选择第二靶向感兴趣目标；

利用所述感兴趣目标相对于彼此的映射和相对于与所述第二感兴趣目标对应的所述感兴趣目标的存储坐标的所述第一偏移中的至少其一，在所述载片上相对于所述第一靶向感兴趣目标定位所述第二靶向感兴趣目标；和

确定所述定位的第二靶向感兴趣目标的实际坐标和与所述第二靶向感兴趣目标对应的所述感兴趣目标的存储坐标之间的第二偏移。

13. 根据权利要求12的方法，其中定位所述第二靶向感兴趣目标还包括比较与所述第二靶向感兴趣目标的坐标对应的所述载片上第二估计坐标位置的视场图像和所述第二靶向感兴趣目标的存储图像，以确定所述第二靶向感兴趣目标是否在所述视场图像内。

14. 根据权利要求12的方法，还包括比较所述第一偏移和所述第二偏移以检验与所述第二靶向感兴趣目标的实际坐标相关并且相对于所述对应映射的感兴趣目标的所述第一靶向感兴趣目标的实际坐标。

15. 根据权利要求12的方法，还包括通过比较所述第一和第二靶向感兴趣目标的实际坐标和所述对应映射的感兴趣目标来确定所述载片相对于所述映射的感兴趣目标的旋转。

16. 一种再定位显微镜载物台上的载片中的感兴趣目标的方法，已经预先扫描所述载片以确定所述样品中的感兴趣目标，其中对应的坐标已经与每个感兴趣目标相关联，已经存储每个感兴趣目标的图像和对应坐标，并且所述感兴趣目标已经通过坐标相互映射，所述方法包括：

在可视显示器上显示所述感兴趣目标的存储图像；

从所述显示的感兴趣目标的存储图像中选择第一靶向感兴趣目标；

通过显微镜载物台将所述载片移动到与所述第一靶向感兴趣目标的坐标对应的所述载片上的第一估计坐标位置；

通过显微镜的目镜获取所述第一估计坐标位置处的所述样品的视场图像；

比较所述视场图像和所述第一靶向感兴趣目标的存储图像，如果所述第一靶向感兴趣目标位于所述视场图像中，则确定所述定位的第一靶向感兴趣目标的实际坐标和与所述第一靶向感兴趣目标对应的所述感兴趣目标的存储坐标之间的第一偏移；和

通过所述显微镜载物台，从所述第一估计坐标位置并根据所述第一偏移来移动所述载片，以使所述第一靶向感兴趣目标位于所述视场图像的中心。

17. 根据权利要求16的方法还包括在将所述载片定位在所述显微镜载物台上后，确定与所述显微镜载物台上所述载片的放置和所述显微镜载物台的移动相关的载物台坐标系。

18. 根据权利要求17的方法，其中通过所述显微镜载物台将所述载片移动到所述载片上的第一估计坐标位置还包括将所述载片移动到所述载片上的第一估计坐标位置，所述第一估计坐标位置与转换成所述载物台坐标系的所述第一靶向感兴趣目标的坐标相对应。

19. 根据权利要求16的方法，其中比较所述视场图像和所述第一靶向感兴趣目标的存储图像还包括利用手动识别程序和关联程序的其中之一来比较所述视场图像和所述第一靶向感兴趣目标的存储图像。

20. 根据权利要求19的方法，其中利用关联程序比较所述视场图像和所述第一靶向感兴趣目标的存储图像还包括利用空间域关联程序和频率域关联程序的其中之一来比较所述视场图像和所述第一靶向感兴趣目标的存储图像。

21. 根据权利要求19的方法，其中利用关联程序比较所述视场图像和所述第一靶向感兴趣目标的存储图像还包括利用卷积关联程序和快速傅里叶变换关联程序的其中之一来比较所述视场图像和所述第一靶向感兴趣目标的存储图像。

22. 根据权利要求16的方法，还包括如果所述第一靶向感兴趣目标没有位于所述视场图像内，则通过显微镜载物台，围绕所述估计坐标位置以半径连续递增的圆形运动自动移动所述载片，同时获取附加视场图像，并在每个视场图像内搜索所述第一靶向感兴趣目标。

23. 根据权利要求16的方法，还包括如果所述第一靶向感兴趣目标没有位于所述视场图像内，则通过所述显微镜载物台手动移动所述载片，同时获取附加视场图像，并在每个视场图像内搜索所述第一靶向感兴趣目标。

24. 根据权利要求16的方法，其中通过显微镜载物台移动所述载片还包括手动移动和自动移动所述显微镜载物台的至少其一，以移动所述载片。

25. 根据权利要求24的方法，其中当手动移动所述显微镜载物台时，提供方向标记以使所述显微镜载物台手动移向所述第一靶向感兴趣目标，所述方向标记选自视觉标记和听觉标记。

26. 根据权利要求25的方法，其中提供视觉标记还包括提供将所述视场图像与所述第一靶向感兴趣目标的第一估计坐标位置相关联的字母数字标记、字符标记和动态映射标记中的至少一个。

27. 根据权利要求16的方法，还包括：

从所述显示的感兴趣目标的存储图像中选择第二靶向感兴趣目标；

利用所述感兴趣目标相对于彼此的映射和相对于与所述第二感兴趣目标对应的所述感兴趣目标的存储坐标的所述第一偏移中的至少其一，在所述载片上相对于所述第一靶向感兴趣目标定位所述第二靶向感兴趣目标；和

确定所述定位的第二靶向感兴趣目标的实际坐标和与所述第二靶向感兴趣目标对应的所述感兴趣目标的存储坐标之间的第二偏移。

28. 根据权利要求27的方法，其中定位所述第二靶向感兴趣目标还包括比较与所述第二靶向感兴趣目标的坐标对应的所述载片上第二估计坐标位置的视场图像和所述第二靶向感兴趣目标的存储图像，以确定所述第二靶向感兴趣目标是否在所述视场图像内。

29. 根据权利要求27的方法，还包括比较所述第一偏移和所述第二偏移，以检验与所述第二靶向感兴趣目标的实际坐标相关并且相对于所述对应映射的感兴趣目标的所述第一靶向感兴趣目标的实际坐标。

30. 根据权利要求27的方法，还包括通过比较所述第一和第二靶向感兴趣目标的实际坐标和所述对应映射的感兴趣目标来确定所述载片相对于所述映射的感兴趣目标的旋转。

31. 一种再定位显微镜载物台上的载片上的样品中的感兴趣目标的方法，已经预先扫描所述载片以确定所述样品中的感兴趣目标，其中对应的坐标已经与每个感兴趣目标相关联，已经存储每个感兴趣目标的图像和对应坐标，并且所述感兴趣目标已经通过坐标相互映射，所述方法包括：

在可视显示器上显示所述感兴趣目标的存储图像；

从所述显示的感兴趣目标的存储图像中选择第一靶向感兴趣目标；

通过显微镜载物台将所述载片移动到与所述第一靶向感兴趣目标的坐标对应的所述载片上的第一估计坐标位置；

手动比较通过显微镜目镜观察到的所述第一估计坐标位置的所述样品的视场图像和所述第一靶向感兴趣目标的存储图像，如果所述第一靶向感兴趣目标位于所述视场图像中，则确定所述定位的第一靶向感兴趣目标的实际坐标和与所述第一靶向感兴趣目标对应的所述感兴趣目标的存储坐标之间的第一偏移；和

通过所述显微镜载物台，从所述第一估计坐标位置并根据所述第一偏移来移动所述载片，以使所述第一靶向感兴趣目标位于所述视场图像的中心。

32. 根据权利要求31的方法，还包括在将所述载片定位在所述显微镜载物台上后，确定与所述显微镜载物台上所述载片的放置和所述显微镜载物台的移动相关的载物台坐标系。

33. 根据权利要求32的方法，其中通过所述显微镜载物台将所述载片移动到所述载片上的第一估计坐标位置还包括将所述载片移动到所述载片上的第一估计坐标位置，所述第一估计坐标位置与转换成所述载物台坐标系的所述第一靶向感兴趣目标的坐标相对应。

34. 根据权利要求31的方法，其中通过所述显微镜载物台移动所述载片还包括手动移动和自动移动所述显微镜载物台的至少其中之一，以移动所述载片。

35. 根据权利要求34的方法，其中当手动移动所述显微镜载物台时，提供方向标记以使所述显微镜载物台手动移向所述第一靶向感兴趣目标，所述方向标记选自视觉标记和听觉标记。

36. 根据权利要求35的方法，其中提供视觉方向标记还包括提供将所述视场图像与所述第一靶向感兴趣目标的第一估计坐标位置相关联的字母数字标记、字符标记和动态映射标记中的至少一个。

37. 根据权利要求31的方法，还包括：

从所述显示的感兴趣目标的存储图像中选择第二靶向感兴趣目标；

利用所述感兴趣目标相对于彼此的映射和相对于与所述第二感兴趣目标对应的所述感兴趣目标的存储坐标的所述第一偏移中的至少其一，将所述载片移动到所述第二靶向感兴趣目标的第二估计坐标位置；和

手动比较通过显微镜目镜观察到的所述第二估计坐标位置处的所述样品的视场图像和所述第二靶向感兴趣目标的存储图像，如果所述第二靶向感兴趣目标位于所述视场图像中，则确定所述定位的第二靶向感兴趣目标的实际坐标和与所述第二靶向感兴趣目标对应的所述感兴趣目标的存储坐标之间的第二偏移。

38. 根据权利要求37的方法，还包括比较所述第一偏移和所述第二偏移以检验与所述第二靶向感兴趣目标的实际坐标相关并且相对于所述对应映射的感兴趣目标的所述第一靶向感兴趣目标的实际坐标。

39. 根据权利要求37的方法，还包括通过比较所述第一和第二靶向感兴趣目标的实际坐标和所述对应映射的感兴趣目标来确定所述载片相对于所述映射的感兴趣目标的旋转。

Images