CN101222882B - 通过机械微创外科手术过程中联合传感器和/或照相机导出数据实现3-d刀具跟踪的系统 - Google Patents

Abstract

在机械微创外科手术中实现刀具跟踪的方法和系统。使用三角测量技术或贝叶斯滤波器，从非内窥镜导出刀具状态信息和内窥镜导出刀具状态信息中的两者或任意一个或者从非视觉导出刀具状态信息和视觉导出刀具状态信息中的两者或任意一个，来确定刀具状态。所述非内窥镜导出刀具状态信息从传感器数据中导出，所述传感器数据由与用来操纵刀具的机构有关的传感器提供，或由能够检测从刀具发射或反射并指示其位置的可识别信号的传感器提供，或由用来观测从身体延伸出的刀具的末端的外部照相机提供。所述内窥镜导出刀具状态信息从图像数据中导出，所述图像数据由插入在身体中以观测刀具的内窥镜提供。

Description

通过机械微创外科手术过程中联合传感器和/或照相机导出数据实现3-D刀具跟踪的系统

本发明是在美国政府的支持下根据由美国国家标准与技术研究所(NIST)授予的70NANB1H3048号合作协议进行的。美国政府对本发明拥有一定权力。 

技术领域

【0001】本发明主要涉及微创外科手术，且具体地说涉及利用机械微创外科手术过程中传感器和/或照相机导出数据(例如刀具位置、速度)的联合实现3-D刀具跟踪的方法与系统。 

发明背景 

【0002】微创外科手术技术旨在减少在诊断或手术过程中破坏的外源组织的数量，从而缩短患者康复时间，减轻不适感，降低毒副作用。因此，使用微创外科手术技术，可以使标准外科手术的医院驻留平均时长显著缩短。同样地，微创外科手术也可以降低患者康复时间和离开工作的时间，减轻患者不适，降低手术副作用。 

【0003】微创外科手术的常见形式是内窥镜检查，内窥镜的常见形式是腹腔镜检查，其为对腹腔内部的微创检查和外科手术。在标准腹腔镜检查手术中，向患者的腹部注入气体，通过小(大约1/2英寸或更小)切口传递套袖来提供腹腔镜手术器械的入口。 

【0004】腹腔镜检查手术器械主要包含腹腔镜或内窥镜(用于观测手术区域)以及工作刀具。所述工作刀具与用于传统(开腹)手术的刀具相似，区别是，每个刀具的工作端或末端执行器与其把手用延长管分离开。在这里使用的术语“末端执行器”是指手术器械的实际工作部分且可以包含例如夹子、抓紧器、剪刀、订书机、图像采集透镜以及测针夹持器。 

【0005】要完成手术，外科医生将这些工作刀具或器械通过套袖传递到内部手术部位并从腹部外操纵它们。外科医生利用监视器来观测过手术，所述监视器显示腹腔镜所拍摄的手术部位的图像。相似的内窥镜检查技术应用于例如关节镜检查、后腹膜腔镜检查、骨盆镜检查、肾镜检查、膀胱镜检查、脑镜检查(cister否scopy)、鼻内窥镜检查(si否scopy)、子宫镜检查、尿道镜检查等类似检查技术。 

【0006】微创远程外科机械系统正被开发以提高外科医生在内部手术部位工作的灵活性，也允许外科医生在较远的地方对患者进行手术。在远程外科系统中，经常在计算机工作站将手术部位的图像提供给外科医生。当在观察器或显示器观测手术部位的三维图像时，外科医生通过控制主输入或工作站控制设备来完成对患者的手术。每个主输入设备都控制自动控制装置运行的手术器械的运动。在手术过程中，远程外科系统可以提供含有末端执行器的各种手术器械或刀具的机械驱动和控制，所述末端执行器为手术执行各种功能，例如把持或推动针、抓紧血管或解剖组织或者类似功能以响应主输入设备的控制。 

【0007】然而，在手术过程中，外科医生可以操纵刀具以使得其末端执行器移到内窥镜的视野之外，或者所述末端执行器可能因为流体或其他干涉物的阻塞而变得不易看到。在这些情况下，能够在定位和/或识别工作站的显示屏上的末端执行器方面给外科医生提供帮助，将是有用的。 

【0008】各种用于识别照相机图像中刀具的技术已被开发。例如，一种这样的技术在Guo-Qing Wei、Klaus Arbter和Gerd Hizinger的“Real-Time Visual Servoing for Laparoscopic Surgery，”IEEE Engineeringin Medicine and Biology，Vol.16，否.1，pp.40-45，1997中描述，其中颜色标记用来识别照相机中的刀具，以便照相机可以被自动操作，从而保持刀具位于器视觉图像的中间。再例如，另一种这样的机构在Xiaoli Zhang和Shahram Payandeh的“Application of Visual Tracking for Robot-AssistedLaparoscopic Surgery，”Journal of Robotics Systems，Vol.19，否.7，pp.315-328，2002中描述，其中有条纹的标记用于识别照相机中的刀具及其深度，以使得照相机可以被自动操作以直观地跟踪刀具。 

【0009】然而，当末端执行器在内窥镜的视野之外时或当其被流体或某物体阻塞时，这些技术一般就没用了。在这两种中的任何一种情况下，这种标志都不能被发现，刀具不可能被识别。第二，简单的颜色标记和其他置于刀具上的方向独立标记都不便确定刀具方向和位姿。第三，识别和跟踪刀具标记的计算复杂性可使得实时跟踪困难。具体地，处理每个视频采集画面所增加的时间将会降低视频采集发生的频率，可能导致从一个图像突然转移到另一个图像。第四，未校正的照相机校准和/或其他系统测量误差在根据照相机的视觉图像确定刀具位置和方向时可能引起误差。 

发明内容

【0010】要使多种刀具中的每一种对于外科医生在工作站显示屏上和对于患者旁边的工作人员容易区分，则可使用许多计算机辅助技术，例如： 

预测刀具的位置和方向，并将刀具的计算机辅助设计(“CAD”)模型，或其他虚拟标记或指示器，覆盖在显示屏中刀具的预测位置和方向； 

预测刀具的位置和方向，并惟一标识每个刀具在其预测位置和方向以使其在显示屏上可与其他刀具区别开来；以及 

预测刀具的位置和方向，并且当以某种方式突出显示刀具的末端执行器以便末端执行器在显示屏上看上去浮动并突出时，擦除或刷除掉刀具的轴。 

【0011】例如，惟一标识每个刀具在其预测位置和方向使其在显示屏上可于其他刀具区别开来的一个优势，是其： 

a)使外科医生(只看见身体内的刀具)更易于与患者一侧的工作人员(只看见身体外的刀具)就具体刀具进行交流， 

b)确保外科医生意识到可能在视野之外的刀具。当有多于两个刀具时，这是特别重要的，因为外科医生只可能看到两个，假定那两个是他用两只手控制的两个，而实际上他在视野之外控制(即移动)着另一个刀具，潜在地破坏着组织。 

【0012】同样地，例如，预测刀具的位置和方向并在以某种方式突出显示刀具的末端执行器以便末端执行器在显示屏上看上去浮动并突出显示时擦除或刷除掉刀具的轴，这样的一个优势是它使更多的潜在组织能被外科医生观测到。然而，注意，这种潜在组织的视图是定义合成的，因为组织的当前状态被刀具弄得模糊。因此擦除刀具的轴需要存储手术部位的先前图像，以便模糊的区域或许以一种昏暗或变灰的方式(又叫战争雾)可被该区域的最后可知的不模糊视图替代，以指示数据不是当前的。 

【0013】刀具跟踪是指刀具状态随时间的确定。刀具状态一般包括其在参考系中的位置和方向以及其他相关参数例如其平动和转动速度。在优选实施例中，刀具跟踪在照相机参考系中完成。刀具跟踪使得在刀具在内窥镜视图中不可见或阻塞时的时间点上有助于刀具位置和方向的预测，这是利用刀具可见或可识别时的先前时间的位置和方向、和/或使用在那个时间点及之前的时间从内窥镜源导出的位置和方向估计实现的。 

【0014】对刀具位置和方向的确定，除对刀具在工作站的显示屏上定位之外，还有很多方面的用处。例如，刀具位置和方向信息可用来生成图形覆盖，其包含外科医生所关心的信息。这些覆盖可包含：动态或静态视频图象(telestration)、刀具间的距离、刀具与患者解剖之间的距离、在照相机参考系中解剖构造的测量、或在另一参考系中解剖结构的测量。此外，刀具的位置和方向可用来根据在固定或世界参考系中提供的术前或计划数据，对齐当前的刀具和照相机位置，或大体提高操纵刀具的机械机构的安全性和可控性。 

【0015】但对于又一个示例，对刀具位置和方向的确定，也对在外科手术过程中从传感器收集的数据的注册有用，所述传感器安装在刀具本身，例如超声传感器。在这种情况下，如果支持传感器的刀具的位置和方向公知在照相机参考系中(即内窥镜的参考系)，那么从安装在刀具上的超声传感器收集的任何数据的位置和方向可被显示在工作站显示屏，完全根据外科手术图像来注册，以在外科手术过程中协助外科医生。 

【0016】在这些特定注册示例中，有必要在固定(或世界)参考系 中确定刀具的位置和方向。所以，如果内窥镜的位置和方向公知在固定参考系中，那么内窥镜观测的刀具位置和方向可从照相机参考系转换到固定参考系。或者，如果刀具的位置和方向在固定参考系中独立确定，所述独立确定不仅避免这种参考系转换过程，而且它也提供在参考系中确定内窥镜位置和方向的另一种方法。 

【0017】因此，本发明所涉及方面的目的是，提供在微创外科手术过程中，即使在一部分甚至整个刀具在内窥镜视图之内或之外被阻塞时，实现刀具跟踪的方法和系统。 

【0018】本发明所涉及方面的又一个目的是，提供实现刀具跟踪的方法和系统，所述刀具跟踪包括，使用方向相关的标记来进行视觉跟踪，以便确定刀具的位姿。 

【0019】本发明所涉及方面的又一个目的是，提供实现准确、可靠和/或计算快捷的刀具跟踪的方法和系统。 

【0020】本发明所涉及方面的又一个目的是，提供实现刀具跟踪的方法和系统，所述刀具跟踪在确定后的刀具位置和方向上实时运行并最小化突然的转移，以提供刀具的光滑跟踪。 

【0021】本发明所涉及方面的又一个目的是，提供实现刀具跟踪的方法和系统，所述刀具跟踪校正或补偿校准误差。 

【0022】这些以及附加的目的由本发明所涉及的各个方面实现，其中简要地叙述，一个方面是刀具跟踪方法，其包括：通过处理非内窥镜导出刀具状态信息和内窥镜导出刀具状态信息来跟踪刀具，其中所述两种刀具状态信息在刀具通过在身体中的微创切口被插入并正被操纵时生成。 

【0023】通过使用这种复合式方法，当刀具在来自被插入进患者身体以观测手术部位的内窥镜的视频帧中完全被阻塞时，其状态(例如其位置、方向以及平动和转动速度)仍然可以根据非内窥镜导出刀具位置信息来确定，所述非内窥镜导出刀具位置信息例如由以下方式生成：使用来自正在操纵刀具的机械机构的关节位置的系统运动学；使用电磁、声学或从刀具(或者操纵刀具的机械机构)发射或反射以确定其位置的其他种类的检测信号；使用由外部照相机生成的图像，所述外部照相机 观测从患者身体延伸出来的刀具的末端。 

【0024】同样地，假如非内窥镜导出刀具位置信息在抽样速率持续可用，对非内窥镜导出刀具位置信息以及内窥镜导出刀具位置信息在确定位置和方向中的附加的使用，趋向于最小化或至少显著减小图像信息的参考系之间的确定后的位置和方向的任何突然的转移。进一步，内窥镜导出刀具位置信息以及非内窥镜导出刀具位置信息的用途，提供用于确定刀具状态的信息的冗余源，这可被利用以确定刀具的位置和方向随时间的更多精确刀具跟踪。 

【0025】又一个方面是刀具跟踪方法，其包括：接收传感器信息，其在刀具通过在身体中切口被插入时，指示刀具的位置和方向；接收刀具的图像信息；以及使用传感器和图像信息来确定刀具的位置和方向。 

【0026】又一个方面是具有刀具跟踪的微创机械外科手术系统，其包含： 

一个或更多非内窥镜设备，其提供数据，在刀具通过身体中的切口被插入并正在被机械操纵时根据所述数据生成非内窥镜导出刀具状态信息； 

内窥镜采集的图像，在刀具插入到身体里时根据所述采集图像为身体内的区域生成内窥镜导出刀具状态信息；以及 

处理器，所述处理器被配置成处理用于跟踪所述刀具的状态的非内窥镜以及内窥镜导出刀具状态信息。 

【0027】又一个方面是具有刀具跟踪的微创机械外科手术系统，其包含： 

一个或更多传感器，其提供传感器数据，在刀具通过身体中的切口被插入并正在被机械操纵时根据所述传感器数据生成刀具的非视觉导出刀具状态信息； 

至少一个照相机，其在所述刀具插入进去时采集所述刀具图像信息；以及 

处理器，所述处理器被配置成处理用于跟踪所述刀具的状态的所述非视觉导出刀具状态信息和图像信息。 

【0028】又一个方面是刀具跟踪方法，其包括： 

确定刀具的计算机模型； 

接收包含所述刀具的视图的采集图像； 

根据所述采集图像确定所述刀具的估计位置和方向，按照关于所述采集图像的估计位置和方向给所述计算机模型定位置和方向；以及 

参照在所述采集图像中的刀具的图像，修改所述计算机模型的估计位置和方向，直到所述计算机模型近似覆盖所述图像，从而为所述采集图像校正所述刀具的估计位置和方向。 

【0029】又一个方面是刀具跟踪方法，其包括： 

确定指示刀具状态的传感器数据是否在时间点可用； 

确定指示所述刀具状态的图像数据是否在所述时间点可用；以及 

确定所述刀具状态，其方式为如果所述传感器数据和所述图像数据都在所述时间点可用则使用此两者，如果只有传感器数据可用则只使用传感器数据，如果只有图像数据可用则只使用图像数据。 

【0030】又一个方面是刀具跟踪方法，其包括： 

使用指示在时间点的刀具状态的第一传感器数据，确定有关时间点的界标的第一估计刀具状态； 

使用指示在所述时间点的所述照相机状态的第二传感器数据，确定与所述时间点的所述界标有关的估计照相机状态； 

使用由所述照相机生成的且指示在所述时间点的所述刀具状态的图像数据，确定有关所述时间点的所述照相机的第二估计刀具状态； 

转换所述第一估计刀具状态，以使其与所述照相机有关而不是与所述界标有关；以及 

计算所述第一与第二估计刀具状态之间的误差转换，使得在后续时间点如果指示在后续时间点所述刀具状态的图像数据不可用，则所述刀具状态通过应用所述误差转换到第三估计刀具状态来确定，所述第三估计刀具状态使用传感器数据来确定，所述传感器数据指示在所述后续时间点的所述转换后刀具状态，以使其与所述照相机有关而不是与所述界标有关。 

【0031】又一个方面是刀具跟踪方法，其包括： 

确定在给定时间的刀具的非内窥镜导出估计状态信息； 

确定在所述给定时间的所述刀具的内窥镜估计的状态信息；以及 

提供所述非内窥镜导出估计状态信息和内窥镜导出估计状态信息到贝 叶斯滤波器，所述贝叶斯滤波器被配置以生成所述刀具的状态的最优估计。 

【0032】又一个方面是刀具跟踪和校准方法，其包括： 

根据从观测刀具的照相机接收的图像数据，生成视觉导出状态信息； 

通过将一组照相机参数的初始值与所述视觉导出状态信息组合，来生成状态向量信息；以及 

提供所述状态向量信息到贝叶斯滤波器用于处理，以生成所述刀具的状态的最优估计和该组照相机参数的校正值。 

【0033】又一个方面是照相机跟踪方法，其包括： 

根据非视觉导出刀具状态信息，确定在固定参考系中刀具的位置，所述非视觉导出刀具状态信息根据指示所述刀具位置的传感器数据生成； 

使用视觉导出刀具状态信息，来确定在可随照相机移动的照相机参考系中所述刀具的位置，所述视觉导出刀具状态信息根据所述照相机在观测所述刀具时所提供图像数据生成；以及 

使用在所述固定参考系中所述刀具的位置和在可移动照相机参考系中所述刀具的位置，来确定在所述固定参考系中所述照相机的位置。 

【0034】又一个方面是刀具跟踪方法，其包括： 

根据非视觉导出照相机状态信息，确定在固定参考系中照相机的位置，所述非视觉导出照相机状态信息根据指示所述照相机位置的传感器数据生成； 

使用视觉导出刀具状态信息，来确定在可随照相机移动的照相机参考系中刀具的位置，所述视觉导出刀具状态信息根据所述照相机在观测所述刀具时所提供的图像数据生成；以及 

使用在所述固定参考系中的所述照相机位置和所述可移动照相机参考系中所述刀具的位置，来确定在所述固定参考系中所述刀具的位置。 

【0035】又一个方面是刀具跟踪，其包括： 

当所述刀具通过身体中的切口被插入并正被操纵时，生成多个时间点中每个点的多个估计刀具状态；以及 

通过使用贝叶斯技术来处理所述多个估计刀具状态，来确定所述多个时间点中每个点的最优估计刀具状态。 

【0036】本发明所涉及的各方面的附加的目的、特点和优势，将随 着以下其优选实施例的描述变得明显，这些描述应与附图一起参考。 

附图说明

【0037】图1利用本发明所涉及的方面，说明微创机械外科手术系统。 

【0038】图2利用本发明所涉及的方面，说明与微创机械外科手术系统相关的三维参考系。 

【0039】图3利用本发明所涉及的方面，说明一种刀具跟踪方法的流程图，所述刀具跟踪方法用刀具传感器和刀具图像数据中的任一个或两者来确定刀具状态。 

【0040】图4利用本发明所涉及的方面，说明一种刀具跟踪方法的流程图，所述刀具跟踪方法用刀具传感器和刀具图像数据来确定刀具状态。 

【0041】图5利用本发明所涉及的方面，说明用于确定刀具状态的卡尔曼滤波器刀具跟踪方法的功能框图。 

【0042】图6说明用于使三维空间中位置与三维像面中对应位置相关联的立体式投影。 

【0043】图7说明刚性体上三维点的投影。 

【0044】图8利用本发明所涉及的方面，说明用于实现刀具跟踪的方向相关的第一刀具标记。 

【0045】图9利用本发明所涉及的方面，说明用于实现刀具跟踪的方向相关的第二刀具标记。 

【0046】图10利用本发明所涉及的方面，说明计算机模型刀具跟踪方法的流程图。 

具体实施方式

【0047】图1说明作为示例的微创机械外科手术(MIRS)系统100，其包含一个控制台(“C”)，在对躺在手术台(“O”)上的患者(“P”)完成微创诊断或手术时，所述控制台被外科医生(“S”)利用，所述诊断或手术通常需要一个或更多助手(“A”)的帮助来进行。 

【0048】控制台包含支架102、向外科医生显示手术部位图像的监视器104以及一个或更多控制设备108。控制设备108可包含多种输入设备中的任何一种或更多种，例如操纵杆、手套、触发枪、手动控制器、语音识别设备等。 

【0049】外科医生通过操纵若干个控制设备108来完成手术，在外科医生通过监视器104观测手术部位时，所述控制设备108轮流引起机械机构114通过所述患者身体中的微创切口操纵它们各自的可摘除耦合器械或刀具组件110(以下简单称作“刀具”)。同时使用的外科手术刀具110的数量并因此在系统100中使用的机械机构114的数量，一般将取决于(除其它因素外)诊断或手术程序以及手术室内的空间限制。如果有必要改变用于手术过程中的一个或更多的刀具110中，则所述助手可从其机械机构114摘除此时不再使用的刀具110，并用手术室里的盘(“T”)中的另一个刀具100替换它。 

【0050】外科医生的控制台通常与患者位于同一间屋，以便外科医生可以直接监视手术，如果必要可亲自上阵，以及直接向助手说话而不是通过电话或其他通信媒介。然而，需要理解的是，外科医生也可以在不同的屋、完全不同的楼或需要考虑遥控外科手术的远离患者其他位置。 

【0051】优选地，控制设备108将被提供与其相关刀具110相同的自由度，从而提供给外科医生临场感或如下感知：即控制设备108与刀具110形成一体以便外科医生对直接控制刀具110有强烈的感觉。为此，位置、力和触觉型反馈传感器(图中未显示)优选地被应用在刀具100上，从而在外科医生运行控制设备108时，将位置、力和触觉型感觉从刀具110传回到他/她的手。 

【0052】监视器104适当耦合到观测视野组件112，包含一个或更多照相机，经过处理器101，并定位在控制台的支架102上，以便手术部位的图像能被提供到外科医生的手边。优选地，监视器104将在显示器106上显示倒转的图像，所述显示器106如图确定方向，以便外科医生感觉他或她实际上正在直接俯视手术部位。为此，刀具110的图像显得基本就在手术员的双手所在的位置，即使观察点(即内窥镜或观测照像机)可能并不来自所述图像的视图的点。 

【0053】此外，实时图像优选地变换为透视图像，以便手术员可以操纵刀具110的末端执行器，通过刀具的对应控制设备108，就像基本真实在场观测工作空间一样。对于真实在场，指的是图像呈现的是真实的透视图像，所述真实的透视图像模拟亲身操作刀具110的手术员的观点。因此，处理器101(或控制台中另一个处理器)将刀具110的坐标变换到能感知到的位置，以使得如果观测视野组件112直接位于刀具110的后面，所述透视图像就是我们将看到的图像。 

【0054】处理器101完成系统100中的各种功能。优选地，它被用来将控制设备108的机械运动，经由例如CS1和CS2的控制信号，转换到与刀具110连接的机械机构114。此外，它还优选地被用来实现刀具跟踪方法，所述刀具跟踪方法可轮流地用于经由信号CS3来控制观测视野组件112运动通过其机械机构115，以便其跟踪一个或更多的刀具110以及其他目的，例如那些前述的。处理器101可与机械机构114和115分离或被适当集成进机械机构114和115，或者它可被整个地或部分地集成进所述控制台，作为其处理器或其处理器的协处理器的 

【0055】处理器101也优选地将来自刀具110的力和力矩反馈提供给手动控制设备108。此外，它优选地实现安全性监视功能，所述安全性监视功能冻结或至少阻止所有机械运动以响应识别条件，例如过多的力施加在患者身上或机械机构114或115的“失控”。 

【0056】虽然被描述为处理器，但需要理解的是，处理器101实际上可以通过硬件、软件和固件的任何组合实现。同样地，这里描述的其功能可以被一个装置或分成不同的组件完成，所述不同组件中的每一个都可以轮流被硬件、软件和固件的任何组合实现。 

【0057】系统100关于其对刀具110的操作和控制的一般操作和结构的附加细节作为示例被描述在名为“Multi-Component TelepresenceSystem and Method”的共有美国专利第6,346,072号中，其通过引用参考被并入于此。 

【0058】图2作为示例说明了与微创机械外科手术系统100相关的各种参考系。世界参考系201是固定参考系，此固定参考系其以例如微创诊断或手术正在发生的手术室中的固定点(即界标)为中心。另一方 面，刀具参考系202是移动参考系，此移动参考戏以例如例如所述刀具上的固定点为中心，并因此随所述刀具移动。相似地，照相机参考系203也是移动参考系，此移动参考系以例如照相机上的固定点为中心，并因此随所述照相机移动。所述刀具参考系202和所述照相机参考系203相对于所述世界参考系201的位置和方向，优选地根据传感器数据确定，所述传感器数据与用于操纵它们各自位置和方向的机械机构相关联。 

【0059】又一个刀具参考系204表示根据照相机参考系203确定的刀具参考系的位置和方向。在没有系统误差的情况下，刀具参考系202和204会精确重合。患者参考系205是半固定参考系，此半固定参考系以例如患者身上的固定点为中心，并因此当患者移动时，随该点移动。 

【0060】所述照相机定义的照相机参考系203，优选地是立体式照相机，其被校准以便在其左右像面的每一对对应点都映射到其照相机参考系208中的三维点。由所述照相机感知的刀具的位置(例如所述刀具参考系204)，可以以如下方式被确定，例如先识别所述照相机的左右像面中的刀具，再使用校准信息来确定照相机参考系203中的刀具位置。 

【0061】一般地，照相机参考系203与内窥镜相关联，所述内窥镜被插入在手术部位，以便能够在手术过程中观测到刀具的执行器端。如上所示，在这种情况下，所述内窥镜优选地是立体式内窥镜。第二照相机参考系(图中未显示)也可以被定义并与位于所述患者身体外的外部照相机装置相关联，但要在足够邻近的位置，以便能够观测到在手术过程中从患者身体延伸出的刀具的后端。所述外部照相机装置也优选地是立体式照相机，从而使3-D确定变得容易。 

【0062】如前所描述，所述刀具和内窥镜都优选地通过所述患者身体中的切口、使用机械机构从而被操纵。每个这样的机械机构都包含关节和连杆，所述关节和连杆允许其各自的刀具或内窥镜以五或六自由度运动。 

【0063】刀具(如刀具参考系202的位置和方向所描述)和内窥镜(如照相机参考系的位置和方向所描述)的位置和方向，可以通过将传感器附在它们各自的机械机构的关节和/或连杆来感觉它们的运动，被确定在世界参考系201。这种技术在机械中众所周知，还伴随着一个事实， 即它们的结果取决于所述机械机构独特的构建和运行。附加的细节可以例如在John J.Craig的“Introduction to Robotics-Mechanics and Control”第二版，Addison Wesley Longman，1986中找到。 

【0064】又一个用于在世界参考系201中确定刀具和内窥镜位置和方向的方法，包括感觉电磁、声学或从刀具或内窥镜发射或正被反射以便指示其位置和方向的其他可识别信号。又一个在世界参考系201中确定刀具和内窥镜位置和方向的方法，包括对上述外部立体式内窥镜的使用，这可以观测从患者身体延伸出的刀具和内窥镜的后端，并通过基于其左右像面的计算来确定其位置和方向。 

【0065】通过确定由世界参考系中的传感器所确定的内窥镜(如照相机参考系203描述)和刀具(由刀具参考系202描述)的位置和方向，在世界参考系201中刀具位置和方向的确定可以使用传统三角测量技术被检验，所述传统三角测量技术使用在世界参考系201中确定的内窥镜位置和方向以及在内窥镜的照相机参考系203中确定的刀具位置和方向(如刀具参考系204描述)。反之，在世界参考系201中内窥镜位置和方向(如照相机参考系203描述)的确定可以使用传统三角测量技术被检验，所述传统三角测量技术使用在世界参考系201中确定的刀具位置和方向(如刀具参考系202描述)以及在内窥镜的照相机参考系203中确定的刀具位置和方向(如刀具参考系204描述)。含有用于确定刀具和内窥镜位置和方向的附加装置，可提供更多检查它们各自位置和方向的途径，并提供更准确的确定。 

【0066】图3说明作为示例一种刀具跟踪方法的流程图，所述刀具跟踪方法通过处理刀具的可用传感器和图像数据来跟踪刀具，所述数据在刀具通过身体中的微创切口被插入并正被操纵时生成。在这种情况下，所述传感器数据来自位置传感器，例如用来检测在操纵刀具的机械机构中的关节位置的传感器，或者用来检测电磁、声学或从刀具发射或正被反射以便指示其位置的其他可识别信号的传感器。为了适当地一起处理所述数据，传感器和图像数据都优选地以某种方式记时打印，以便与相同时间点相关联的数据可以被互相处理。 

【0067】在301中，确定是否刀具目前在用户的活动控制之下，例 如受由用户打开的对应控制设备控制。如果在301中的确定是否，则该方法保持周期性循环，直到在301中的确定结果为是，此时，在302中就做出确定是否指示刀具状态的传感器数据可用。如果在302中的确定是否，则在303中做出确定是否指示刀具状态的图像数据可用。如果在303中的确定也是否，则没有信息在此时可用于确定刀具状态，该方法跳回到301以在另一时间再次开始此过程。另一方面，如果在303中的确定为是，则在304中刀具的状态只使用此时的图像数据被确定，在这样的确定之后，该方法跳回到301以在另一时间重新开始此过程。 

【0068】如果在302中的确定为是，但其指示传感器数据可用，则在305中，确定是否刀具的位置从其上次确定以来改变过。此时进行该确定是有优势的，因为该确定实现起来相对容易和快捷，如果刀具没有移动，它避免确定新的刀具位置和方向的不必要计算。 

【0069】作为用来实现在305中确定的一种技术的示例：(i)关节速度根据传感器被确定，所述传感器使用在正操纵刀具的机械机构的关节，(ii)所述关节速度每个都是平方的，(iii)所述平方关节速度被相加在一起，(iv)所得到的值与门限值进行比较，使得仅当得到的值大于门限值时，刀具被确定移动过。 

【0070】如果在305中的确定是否，则该方法跳回到301以在另一时间再次开始此过程。另一方面，如果在305中的确定为是，则在306中做出确定是否指示刀具状态的图像数据可用。如果在306中的确定是否，则在308中刀具的状态在此时只使用传感器数据被确定，在这样的确定之后，该方法就跳回到301以在另一时间重新开始此过程。然而，如果在306中的确定为是，则在307中刀具的状态在此时使用传感器和图像数据被确定，在这样的确定之后，该方法就跳回到301以在另一时间重新开始此过程。 

【0071】在参照图3如上描述的方法中，没有关于所述传感器或图像数据的可用性做出假设。所以，这里描述的方法独立检验是否两种数据都可用，并因此确定刀具的位置。虽然传感器数据的可用性在此方法中检验图像数据的可用性之前被检验，但需要理解的是，此检验过程可逆，并且仍在本发明此方面的范围之内。 

【0072】所述传感器数据可从如下传感器或编码器接收，所述传感器或编码器位于在手术过程中操纵刀具的机械机构上的关节和/或连杆上，或者所述传感器数据可从如下传感器接收，所述传感器检测电磁、声学或从刀具发射或正被反射以指示其位置的其他可识别信号。所述图像数据可从如下内窥镜接收，所述内窥镜观测患者身体内的刀具的执行器端，或者所述图像数据可从如下外部照相机接收，所述外部照相机观测在手术过程中延伸出患者身体以外的刀具的暴露端。 

【0073】图4说明作为示例的刀具跟踪方法，其使用刀具传感器和可用的刀具图像数据来确定刀具状态。在该方法中，一般在手术之前离线完成401和402，在手术过程中在线完成403-410。 

【0074】在401中，离线校准立体式内窥镜，以便可在其左右2-D像面和所述3-D照相机系203之间完成点映射。在这种情况下校准包括，确定本征照相机参数，例如立体式像对的每个照相机的焦距(例如，见图6中长度“F”)、主点、歪斜和畸变。此外，立体式像对中两个照相机之间的转动和平动可以被确定。 

【0075】可以完成一次照相机校准，例如在微创机械外科手术系统100的初始建立过程中，或者可以周期性完成照相机校准，例如只在完成微创诊断或手术之前。一种完成校准的技术是在多个位置和方向采集若干校准网格图像。这些图像可以馈入商业可用的(或自家种植的)校准包，所述校准包在所属校准网格图像中提取角位置，完成校准/优化过程以获得所需参数。 

【0076】在402中，误差转换的初始值在每个手术开始时被确定。误差转换被定义为在第一估计刀具状态(如刀具参考系202所描述)的参考系中第二估计刀具状态(如刀具参考系204所描述)的位置和方向，所述第一估计刀具状态在世界参考系201中根据传感器被确定并被转换到立体式照相机的照相机参考系203，所述第二估计刀具状态在照相机参考系203中根据立体式照相机的左右像面被确定。根据之前引用的“Introduction to Robotics-Mechanics and Control”中定义的变换表示法，这可以被表示为 

【0077】此过程开始于例如通过根据传感器数据来应用初始转换到 刀具位置，以便此转换后的刀具位置的立体式投影以左右像面为中心。用户将刀具移动到立体式图像的四角，点击在左右图像中的2D刀具位置。将初始转换、刀具的3-D传感器位置和刀具的2-D图像位置组合，这给出根据传感器确定的刀具位置(例如刀具参考系202所描述)与根据立体式图像确定的刀具位置(例如刀具参考系204所描述)之间的误差转换 

的初始值。在它们确定之后，所述初始值正好在开始403-410之前被装入短期存储器中。 

【0078】在403中，在世界参考系201中的刀具状态根据所述传感器数据被确定。对于刀具状态只由位置和方向构成的标称情况，这可以被表示为所述变换 

(详见“Introduction to Robotics-Mechanics andControl”)。这可以以如下方式被确定，例如，根据系统运动学，使用根据与操纵刀具的机械机构相关联的关节或连杆位置传感器来提供的数据来确定，或者通过计算在世界参考系201中的刀具位置，使用从刀具发射或正被反射并指示其位置的信号来确定。虽然两个示例都提供状态信息，但对系统运动学的使用是完成此功能的优选，因为它一般比指示刀具位置的信号提供更多刀具状态信息。 

【0079】在404中，在世界参考系201中的照相机状态也根据所述传感器数据被确定。对于刀具状态只由位置和方向构成的标称情况，这可以被表示为所述变换 

(详见“Introduction to Robotics-Mechanics andControl”)。正如在403中的刀具状态的确定的情况，这可以以如下方式被确定，例如，根据系统运动学，使用根据与操纵照相机的机械机构相关联的关节或连杆位置传感器来提供的数据来确定，或者通过计算在世界参考系201中的照相机位置，使用从照相机发射或正被反射并指示其位置的信号来确定。 

【0080】在405中，使用传统参考系转换技术，将在403中确定的估计状态信息从世界参考系201转换到照相机的照相机参考系203，所述传统参考系转换技术使用在404中确定的估计照相机状态(在世界参考系201中)。 

$T_{202}^{203}=T_{-1}^{203}{}_{201}T_{202}^{201}---\left(1\right)$

【0081】在406中，做出确定是否刀具的图像数据在对应时间点可 用，在所述对应时间点刀具状态在403中被确定。如果图像不被对应时间点的照相机采集，或者刀具在被对应时间点的照相机所采集的图像中不可识别，则所述图像数据可能不可用。当由于手术过程中外科医生操纵刀具而使刀具移入或移出照相机视图时，后一种情况可能发生。为了在采集图像中协助识别刀具，各种刀具识别技术可被使用，包括对这里描述的特殊标记进行使用。 

【0082】作为上述的细化，即使刀具在图像数据中可识别，其可被识别为异常值，所以如果其状态落到最佳拟合曲线的容许范围之外，则其被丢弃，所述最佳拟合曲线是根据先前确定的在之前时间点的刀具状态生成。 

【0083】如果在406中的确定为是，则在407中，在照相机参考系203中的刀具状态(例如刀具参考系204所描述)的估计直接被确定。对于刀具状态只由位置和方向构成的标称情况，这可以被表示为所述变换 

作为用于完成此任务的一种技术的示例，控制点在从立体式照相机接收的左右2-D像面中的刀具上被识别，之后该点在3-D照相机参考系203中的对应位置使用先前生成的校准数据被确定。 

【0084】作为所述控制点如何在所述两像面中被识别的示例，包含所述控制点的小窗可在左图像中被选择，并与右图像中的小窗交叉相关，从而以最高相关因数确定该图像中的窗，这就导致对该图像中的控制点的匹配和识别。 

【0085】在407中确定刀具状态之后，修改后的误差转换 

在408中被计算为在405中确定的刀具状态与在407中确定的刀具状态之间的变换，并被存储到短期存储器中，替换其中存储的任何初始值。在407中确定的估计刀具状态在409中被确定为该时间点的刀具状态。该方法跳回到403，在照相机参考系203中为另一时间点确定刀具状态。 

$T_{204}^{202}=T_{-1}^{202}{}_{203}T_{204}^{203}---\left(2\right)$

【0086】另一方面，如果在406中的确定是否，则在410中，在照相机参考系203中的刀具状态(例如刀具参考系204所描述)就被确定为，在405中确定的、被对应在402中确定的刀具状态的误差转换所调节的估计刀具状态。在这种情况下，所述误差转换未被更新。该方法跳 回到403，在照相机参考器203中为另一时间点确定刀具状态。 

$T_{204}^{203}=T_{202}^{203}T_{204}^{202}---\left(3\right)$

【0087】注意，所述误差转换可在完成任务408中的手术过程中被更新，因为所述误差转换由于多种因素可随时间缓慢变动，所述多种因素例如在所述初始误差转换估计、初始关联、系统运动学或照相机校准中的误差，也有其他因素例如应用到刀具或其操纵的机械机构的外力或者机械机构中的磁滞或其他非线性。 

【0088】图5说明作为示例的另一刀具跟踪方法的功能框图。在这种情况下的所述刀具跟踪方法使用扩展的卡尔曼滤波器(“EKF”)，其有如下目的，即通过将例如z_NV1-k和z_NV2-k(通过处理与刀具相关联的传感器和/或外部照相机数据，分别在方框501和502中被生成)的一个或更多非内窥镜导出刀具状态信息与例如z_V1-k、z_V2-k和z_V3-k(通过处理从使用对应视觉算法的立体式内窥镜接收的刀具的图像信息，分别在方框511、512和513中生成)的一个或更过内窥镜导出刀具状态信息组合，并使用系统动力学模型，来产生正被跟踪的刀具状态的最优估计。 

【0089】在此方法中，对是否非内窥镜导出或内窥镜导出刀具状态信息可用的确定并不必要(例如在图3中在302和306中为传感器数据和图像数据所完成)，因为如果任意一种信息在计算时间不可用，则这种情况通过包含保持先前值(即不在此时被更新)的测量值的不可用信息进行考虑。由于这个和其他原因，参照图5描述的该方法被认为是用于确定刀具状态的优选技术。 

【0090】注意，虽然EKF用于此示例，但其他贝叶斯滤波器或技术例如卡尔曼滤波器或粒子滤波器也可被使用，并完全仔细考虑它们在本发明的范围之内。贝叶斯滤波器是指基于贝叶斯估计技术的统计滤波器一族。 

【0091】同样地，注意，被称为传感器数据、外部照相机数据或内窥镜图像数据的所有输入可被认为是测量，其中被测量的数量是在对应传感器、外部照相机或内窥镜参考系中的刀具状态(一般是位置和方向)的某子集。一般地，刀具状态的所有传感器测量包括一定量的处理，例如，一般需要前向运动学计算来计算来自机械关节位置传感器的刀具状 态。进一步，所有测量一般都是异步的，但通过时间戳称为绝对时钟。 

【0092】每个测量一般都被例如零均值噪声的某随机误差恶化，并可能在某时间点(确失)不可用或可能完全错误(异常值)。因此所述EKF减弱刀具状态估计上的测量噪声效应。每个传感器、外部照相机或内窥镜参考系之间的额定变化被用于融合所述测量。 

【0093】功能方框501根据传感器数据生成非内窥镜导出刀具状态信息zNV1-k并将所述非内窥镜导出刀具状态信息提供到EKF加以处理。如前所描述，所述非内窥镜导出刀具状态信息可来自关节位置传感器、刀具位置信号检测器或外部照相机。附加的功能方块，例如功能方框502，可以非必要地被包含，从而根据相同的或其他传感器数据或外部照相机来生成附加的非内窥镜导出刀具状态信息并将所述附加的非内窥镜导出刀具状态信息提供到EKF 521加以处理。 

【0094】另一方面，功能方框511根据内窥镜图像数据来生成内窥镜导出刀具状态信息z_V1-k，并将所述内窥镜导出刀具状态提供到EKF 521加以处理。如前所描述，所述内窥镜图像数据可以是来自立体式内窥镜左右像面。附加的功能方框，例如功能方框512和513，可以非必要地被包含，从而一般根据相同的内窥镜图像数据来生成附加的内窥镜导出刀具状态信息并将所述附加的内窥镜导出刀具状态信息提供到EKF 521加以处理。 

【0095】功能方框501-502和511-513完成一些普遍任务以及它们各体的特殊处理，以生成它们各自的刀具状态信息。作为示例，每个功能方框都跟踪置于其接收的传感器或图像数据的时间戳，这指示数据在什么时候被感测或采集，从而使在任何给定时间由功能方框提供到EKF 521的所有刀具状态信息都大体与时间戳上指示的相同时间对应。作为示例，每个功能方框优选地在其接收的传感器或图像数据中滤去噪声，以使得被提供到EKF 521的刀具状态信息大体具有零均值噪声。 

【0096】以下是EKF 521如何在微创诊断或手术过程中被用于刀具跟踪的简化示例。一般对于EKF的更深入描述，例如，见Greg Welch和Gary Bishop的“Introduction to the Kalman Filter，”TR 95-041，Departmentof Computer Science，University of North Carolina at Chapel Hill，April 5， 2004。 

【0097】众所周知，EKF框架由两个明显的阶段，被称为“时间更新”(或“预测”)阶段和“测量更新”(或“校正”)阶段。 

【0098】在卡尔曼滤波器更新循环的第一阶段，来自滤波器先前迭代的状态估计用来基于系统动力学的(可能)非线性模型f和施力函数u_k-1，根据如下方程式(4)，产生对该循环 的新状态估计的预测： 

${\hat{x}}_k^{-}=f({\hat{x}}_{k-1},u_{k-1},0)---\left(4\right)$

其中方程式(4)中的‘0’是用于产生预测后的状态估计的过程噪声估计。 

【0099】关于点 

线性化非线性系统模型f，获得被线性化的状态转移矩阵A。之后，使用来自滤波器先前迭代的误差协方差矩阵P_k-1，根据如下方程式(5)，对此循环产生对新误差协方差矩阵的预测P_k ^-， 

$P_k^{-}=A_k{P}_{k-1}{A}_k^T+W_k{Q}_{k-1}{W}_k^T---\left(5\right)$

其中所述矩阵W表示关于所述过程噪声的系统动力学的雅可比行列式w，Q是可调增益矩阵。 

【0100】物理地思考，如果矩阵P描述具有许多与系统状态秩相等的维度的误差椭圆，则通过应用方程式(5)，所述误差椭圆的大小可使用我们的系统动力学模型来扩展，所述系统动力学模型在被线性化的状态转移矩阵A和过程噪声的尺度估计中被编码，这表示系统动力学模型中的不确定度。扩大所述误差椭圆等同于说明在系统状态的估计中有更大的不确定度。 

【0101】在卡尔曼滤波器更新循环的第二阶段中，预测过的状态估计和预测过的误差协方差矩阵可以通过对系统进行一个或更多测量来校正。 

【0102】此时卡尔曼增益被计算出。本质上，卡尔曼增益加权来自一个或更多测量的贡献(基值)，以便它们对新状态估计的影响反映对它们可靠性的当前估计。此外，它允许对模型相比测量的可靠性进行加权。换句话说，来自可靠测量的贡献(基值)可被更多地加权，来自不可靠测量的贡献(基值)可被较少地加权。要做到这点，应用如下方程 式(6)。 

$K_k=P_k^{-}{H}_k^T{(H_k{P}_k^{-}{H}_k^T+V_k{R}_k{V}_k^T)}^{-1}---\left(6\right)$

【0103】解释方程式(6)，首先提出有函数h，其公知为测量函数，这将可在系统中被测量的(被观察的)数量z与实际系统状态x联系起来。 

【0104】在方程式(6)中，由方程式(5)得到的新误差协方差矩阵的估计P_k ^-被使用。矩阵H是关于系统状态x的所述‘测量’函数h的雅可比行列式。本质上，H矩阵描述正被测量的数量中的变化将如何改变实际系统状态。 

【0105】矩阵V表示测量噪声的估计，其包含传感器噪声和所述测量噪声h中的不确定度。R矩阵是可调增益。 

【0106】一旦卡尔曼增益是根据方程式(6)计算得到的，系统状态的估计就可以使用预测过的系统状态估计 

和所述测量来被更新。在这种情况下，所属预测过的系统状态估计由实际测量z_k与预测过的测量 

之间的卡尔曼增益加权误差根据如下方程式(7)来进行调节。 

${\hat{x}}_k={\hat{x}}_k^{-}+K_k(z_k-h({\hat{x}}_k^{-},0))---\left(7\right)$

【0107】最后，误差协方差的估计根据如下方程式(8)被更新。 

$P_k=(I-K_k{H}_k)P_k^{-}---\left(8\right)$

【0108】P_k的值应以与测量相对于预测被信任的程度成比例的速率减小。实际上，这意味着在附加测量被获得时，围住系统状态估计的误差椭圆收缩。 

【0109】既然EKF框架已被描述，其关于本申请的公式表示就被详述。具体地，系统状态x、系统状态函数f、系统转移矩阵A、测量z、测量函数h和测量雅可比行列式H被定义。 

【0110】系统的状态是如方程式(9)所示的腹腔镜检查刀具末端执行器的位置、方向、平动速度和转动速度。这样，转动刚性体的状态被描述。 

$x={\left[\begin{array}{ccccccccccccc}x& y& z& {\mathrm{\θ}}_x& {\mathrm{\θ}}_y& {\mathrm{\θ}}_z& {\mathrm{\θ}}_w& \stackrel{\·}{x}& \stackrel{\·}{y}& \stackrel{\·}{z}& {\mathrm{\ω}}_x& {\mathrm{\ω}}_y& {\mathrm{\ω}}_z\end{array}\right]}_{13\×1}^T---\left(9\right)$

【0111】注意，末端执行器的方向Θ是使用四元数符号而不是作为 旋转矩阵被表示的。这使角速度的光滑积分以获得新刚性体的方向变得容易，正如系统状态更新方程式所需要的那样。 

【0112】对于系统更新函数f，在自由空间中的刚性体被描述，而没有施力函数的输入。状态传播由方程式集合(10)描述。然而，注意，在优选实施例中，那些速度是被抽样之间的ΔT左乘以获得位置三角的，并在方程式(10)中被简单相加。 

【0113】这里，做了一个没有施力函数的假设，因为时间步长非常小，赋予刚性体的任何加速度可被模拟为所述系统模型中的噪声。 

【0114】方向状态的状态传播Θ由于使用四元数而更复杂一点。首先，计算出四元数导数，其为当前方向和角速度的函数。要做到这点，角速度四元数q₁和方向四元数q₂如方程式集合(11)所示被描述。 

$q_1={\left[\begin{array}{cccc}{\widehat{\mathrm{\ω}}}_{x_{k-1}}& {\widehat{\mathrm{\ω}}}_{y_{k-1}}& {\widehat{\mathrm{\ω}}}_{z_{k-1}}& 0\end{array}\right]}_{4\×1}^T$

$q_2={\left[\begin{array}{cccc}{\widehat{\mathrm{\θ}}}_{x_{k-1}}& {\widehat{\mathrm{\θ}}}_{y_{k-1}}& {\widehat{\mathrm{\θ}}}_{z_{k-1}}& {\widehat{\mathrm{\θ}}}_{w_{k-1}}\end{array}\right]}_{4\×1}^T$ (11) 

【0115】那么四元数导数根据方程式(12)被计算： 

$\mathrm{dq}=\frac{1}{2}{q}_2*q_1---\left(12\right)$

其中‘*’运算符表示四元数乘法。一旦计算出来四元数导数，经方程式(13)完成积分。 

${\widehat{\mathrm{\Θ}}}_k^{-}={\left[\begin{array}{c}{\widehat{\mathrm{\θ}}}_{x_{k-1}}+{\mathrm{dq}}_x\mathrm{\ΔT}\\ {\widehat{\mathrm{\θ}}}_{y_{k-1}}+{\mathrm{dq}}_y\mathrm{\ΔT}\\ {\widehat{\mathrm{\θ}}}_{z_{k-1}}+{\mathrm{dq}}_z\mathrm{\ΔT}\\ {\widehat{\mathrm{\θ}}}_{w_{k-1}}+{\mathrm{dq}}_w\mathrm{\ΔT}\end{array}\right]}_{4\×1}---\left(13\right)$

【0116】在积分之后，得到的四元数通过将 归一化而强制为单位长度。定义系统状态函数f后，卡尔曼滤波器更新循环的方程式(4)可被计算。 

【0117】要满足卡尔曼滤波器更新循环的方程式(5)，系统状态雅可比矩阵A必须被定义。在本情况中，如果上述讨论被以矩阵形式重写，则所需矩阵结果如方程式(14)所示。 

$A={\left[\begin{array}{cccc}{I}_{3\×3}& 0_{3\×4}& \mathrm{\ΔT}\·I_{3\×3}& 0_{3\×3}\\ 0_{4\×3}& A_q& 0_{4\×3}& 0_{4\×3}\\ 0_{3\×3}& 0_{3\×4}& I_{3\×3}& 0_{3\×3}\\ 0_{3\×3}& 0_{3\×4}& 0_{3\×3}& I_{3\×3}\end{array}\right]}_{13\×13}---\left(14\right)$

【0118】矩阵0_m×n是一个全0的m×n矩阵。在方程式(15)中显示的矩阵A_q是四元数ω矩阵，其将在方程式(12)中描述的四元数乘法运算符‘*’编码。 

$A_q={\left[\begin{array}{cccc}0& {-\widehat{\mathrm{\ω}}}_{z_{k-1}}& {\widehat{\mathrm{\ω}}}_{y_{k-1}}& {\widehat{\mathrm{\ω}}}_{x_{k-1}}\\ {\widehat{\mathrm{\ω}}}_{z_{k-1}}& 0& {\widehat{-\mathrm{\ω}}}_{x_{k-1}}& {\widehat{\mathrm{\ω}}}_{y_{k-1}}\\ {\widehat{-\mathrm{\ω}}}_{y_{k-1}}& {\widehat{\mathrm{\ω}}}_{x_{k-1}}& 0& {\widehat{\mathrm{\ω}}}_{z_{k-1}}\\ {\widehat{-\mathrm{\ω}}}_{x_{k-1}}& {\widehat{-\mathrm{\ω}}}_{y_{k-1}}& {\widehat{-\mathrm{\ω}}}_{z_{k-1}}& 0\end{array}\right]}_{4\×4}---\left(15\right)$

【0119】定义系统状态雅可比矩阵A后，卡尔曼滤波器循环更新的方程式(5)现可被计算。 

【0120】在本系统中，多个测量源被提供。第一测量如由功能方框501提供，在这种情况下来自机械运动学(编码器或位置传感器)，并直接关于状态，如方程式(16)中所示。 

$z_{\mathrm{NV}1-k}={\left[\begin{array}{ccccccccccccc}x& y& z& {\mathrm{\θ}}_x& {\mathrm{\θ}}_y& {\mathrm{\θ}}_z& {\mathrm{\θ}}_w& \stackrel{\·}{x}& \stackrel{\·}{y}& \stackrel{\·}{z}& {\mathrm{\ω}}_x& {\mathrm{\ω}}_y& {\mathrm{\ω}}_z\end{array}\right]}_{13\×1}^T---\left(16\right)$

【0121】注意，末端执行器方向已被从旋转矩阵转换成四元数，以符合在这种框架中。同样地，注意，当来自机械运动学的测量是参考除所述内窥镜的照相机参考系之外的一个参考系时，方程式(16)将需要 被修改以向所述照相机参考系提供变换。 

【0122】第二测量如由功能511提供，其通过处理立体式内窥镜所提供的左右图像被获得。坐标(u_l，v_l)和(u_r，v_r)分别是在左右像面中的末端执行器的位置。 

$z_{V1-k}={\left[\begin{array}{cccc}{u}_l& v_l& u_r& v_r\end{array}\right]}_{4\×1}^T---\left(17\right)$

【0123】在根据下面的方程式(18)将非内窥镜导出刀具状态信息和内窥镜导出刀具状态信息组合之前，首先校验内窥镜导出刀具状态的估计不是异常值是有用的。 

【0124】假定它们不是异常值，要形成全测量向量，两种测量就如方程式(18)中所示那样叠加。 

$z_k={\left[\begin{array}{c}{z}_{\mathrm{NV}1-k}\\ z_{V1-k}\end{array}\right]}_{17\×1}---\left(18\right)$

【0125】注意，附加的非内窥镜处理算法可以被运行，例如在方框502中，每个算法都引发一组测量，例如z_NV2-k；以及内窥镜图像上的附加的内窥镜处理算法可以被运行，例如在方框512和513中，每个算法都引发一组测量，例如z_V2-k和z_V3-k，所有算法可以在测量向量中轮流被叠加。 

【0126】要满足卡尔曼滤波器更新循环的方程式(7)，测量函数h必须被定义，这将系统状态x与被测量的(被观察的)数量z联系起来。 

【0127】正如先前注意的，在本系统中有多个测量源。因此，在每个源都需要测量函数h。 

【0128】当运动学(编码器或位置传感器)测量直接关于状态时，测量函数h_NV1-k是恒等函数，但一种情况除外，即对于末端执行器方向从旋转矩阵转换成四元数。 

【0129】来自内窥镜图像的第二测量是左右像面中内窥镜末端执行器的位置(u，v)。在这种情况下，测量函数是立体式投影函数，这将3-D空间中的位置与图像空间中的位置联系起来，如图6中所示。 

【0130】如果点P被假定在带有坐标(x，y，z)的(所述内窥镜的)照相机参考系中，则其使用针孔照相机模型的投影由方程式(19)给出。 

                    u_cam＝x/z 

                    v_cam＝y/z 

                                    (19) 

【0131】如果照相机被允许有径向透镜畸变，则畸变的(u，v)坐标由方程式(20)给出，其中 $r^2={\left(\frac{x}{z}\right)}^2+{\left(\frac{y}{z}\right)}^2$ 和k_n是照相机校准的径向畸变系数。 

$u_{\mathrm{cam}}=\frac{x}{z}(1+k_1{r}^2+k_2{r}^4+k_3{r}^6)$

$v_{\mathrm{cam}}=\frac{y}{z}(1+k_1{r}^2+k_2{r}^4+k_3{r}^6)$ (20) 

【0132】那么到像素坐标的转换就通过与像素中表示的焦距f相乘来被实现，其中c是光心，如方程式(21)给出。 

                    u＝f_xu_cam+c_x

                    v＝f_yv_cam+c_y

                                        (21) 

【0133】下标x或y表示焦距或光心的x或y分量。注意，在这种讨论中，切向贡献(基值)或偏斜畸变已被忽略，这会给上述方程式增加额外的条件。 

【0134】定义测量函数h后，求h关于状态的偏导以满足卡尔曼滤波器更新循环的方程式(7)。 

【0135】正如先前所描述，运动学测量是直接关于状态的。所以，运动学测量的测量雅可比行列式是13×13的单位矩阵，(22)。 

                    H_NV1-k＝I_13×13                    (22) 

【0136】求视觉测量函数关于状态的偏导，获得图像雅可比行列式，这将末端执行器的平动和转动速度与像面空间速度联系起来。 

【0137】作为介绍，在3-D空间中移动的点的方程可以见方程式(23)中。 

$\stackrel{\·}{u}=\frac{f_x\stackrel{\·}{x}}{z}-\frac{f_{x}x\stackrel{\·}{z}}{z^2}$

$\stackrel{\·}{v}=\frac{f_y\stackrel{\·}{y}}{z}-\frac{f_{y}y\stackrel{\·}{z}}{z^2}$ (23) 

【0138】当扩展到立体式视觉系统时，获得方程式集合(24)，在所述立体式视觉系统中，被观察的点在转动中心的轴外。对于此方程式 集合的出处，见例如Bijoy K.Ghosh，Ning Xi，T.J.Tarn的“Control inRobotics and Automation：Sensor Based Integration”，Academic Press，SanDiego，1999。 

$H_{V1-k}={\left[\begin{array}{cc}{0}_{4\×7}& \begin{array}{cccccc}{H}_{\mathrm{visk}\mathrm{1,8}}& H_{\mathrm{visk}\mathrm{1,9}}& H_{\mathrm{visk}\mathrm{1,10}}& H_{\mathrm{visk}\mathrm{1,11}}& H_{\mathrm{visk}1,12}& H_{\mathrm{visk}\mathrm{1,13}}\\ H_{\mathrm{visk}\mathrm{2,8}}& H_{\mathrm{visk}\mathrm{2,9}}& H_{\mathrm{visk}\mathrm{2,10}}& H_{\mathrm{visk}\mathrm{2,11}}& H_{\mathrm{visk}\mathrm{2,12}}& H_{\mathrm{visk}\mathrm{2,13}}\\ H_{\mathrm{visk}\mathrm{3,8}}& H_{\mathrm{visk}\mathrm{3,9}}& H_{\mathrm{visk}\mathrm{3,10}}& H_{\mathrm{visk}\mathrm{3,11}}& H_{\mathrm{visk}\mathrm{3,12}}& H_{\mathrm{visk}\mathrm{3,13}}\\ H_{\mathrm{visk}\mathrm{4,8}}& H_{\mathrm{visk}\mathrm{4,9}}& H_{\mathrm{visk}\mathrm{4,10}}& H_{\mathrm{visk}\mathrm{4,11}}& H_{\mathrm{visk}\mathrm{4,12}}& H_{\mathrm{visk}\mathrm{4,13}}\end{array}\end{array}\right]}_{4\×13}---\left(24\right)$

其中： 

H_visk1，8＝f_x1/Z_c  H_visk2，8＝0 

H_visk1，9＝0 $H_{\mathrm{visk}\mathrm{2,9}}=\frac{f_{y1}}{Z_c}$

$H_{\mathrm{visk}\mathrm{1,10}}=-\frac{f_{x1}(X_c+b/2)}{Z_c^2}$ $H_{\mathrm{visk}\mathrm{2,10}}=-\frac{f_{y1}{Y}_c}{Z_c^2}$

$H_{\mathrm{visk}\mathrm{1,11}}=-\frac{f_{x1}(X_c+b/2)Y_t}{Z_c^2}$ $H_{\mathrm{visk}\mathrm{2,11}}=-\frac{f_{y1}{Z}_t}{Z_c}-\frac{f_{y1}{Y}_c{Y}_t}{Z_c^2}---\left(25\right)$

$H_{\mathrm{visk}\mathrm{1,12}}=\frac{f_{x1}{Z}_t}{Z_c}+\frac{f_{x1}(X_c+b/2)(X_t+b/2)}{Z_c^2}$ $H_{\mathrm{visk}\mathrm{2,12}}=\frac{f_{y1}{Y}_c(X_t+b/2)}{Z_c^2}$

$H_{\mathrm{visk}\mathrm{1,13}}=-\frac{f_{x1}{Y}_t}{Z_c}$ $H_{\mathrm{visk}\mathrm{2,13}}=\frac{f_{y1}(X_t+b/2)}{Z_c}$

以及 

H_visk3，8＝f_xr/Z_c   H_visk4，8＝0 

H_visk3，9＝0 $H_{\mathrm{visk}\mathrm{4,9}}=\frac{f_{\mathrm{yr}}}{Z_c}$

$H_{\mathrm{visk}\mathrm{3,10}}=-\frac{f_{\mathrm{xr}}(X_c-b/2)}{Z_c^2}$ $H_{\mathrm{visk}\mathrm{4,10}}=-\frac{f_{\mathrm{yr}}{Y}_c}{Z_c^2}$

$H_{\mathrm{visk}\mathrm{3,11}}=-\frac{f_{\mathrm{xr}}(X_c-b/2)Y_t}{Z_c^2}$ $H_{\mathrm{visk}\mathrm{4,11}}=-\frac{f_{\mathrm{yr}}{Z}_t}{Z_c}-\frac{f_{\mathrm{yr}}{Y}_c{Y}_t}{Z_c^2}---\left(26\right)$

$H_{\mathrm{visk}\mathrm{3,12}}=\frac{f_{\mathrm{xr}}{Z}_t}{Z_c}+\frac{f_{\mathrm{xr}}(X_c-b/2)(X_t-b/2)}{Z_c^2}$ $H_{\mathrm{visk}\mathrm{4,12}}=\frac{f_{\mathrm{yr}}{Y}_c(X_t-b/2)}{Z_c^2}$

$H_{\mathrm{visk}\mathrm{3,13}}=-\frac{f_{\mathrm{xr}}{Y}_t}{Z_c}$ $H_{\mathrm{visk}\mathrm{4,13}}=\frac{f_{\mathrm{yr}}(X_t-b/2)}{Z_c}$

【0139】在上述方程式(25)和(26)中，变量‘b’是指内窥镜的若干立体式照相机之间的基线距离。下标‘l’或‘r’分别指左或右照相机。X_c、Y_c、Z_c是指坐标系的原点，刚性体正在绕所述原点旋转，X_t、Y_t、 Z_t是指相对于附在刚性体上的旋转原点所关心的点，如图7中所示，其中X_c、Y_c、Z是中心点P_C的X、Y、Z坐标，X_t、Y_t、Z_t是点P_T的X、Y、Z坐标。 

【0140】参照图7，点P_C是穿过刀具U形夹的针的中心。例如，U形夹表面可以被绘成绿色，得到的颜色斑点的质心可以被跟踪。此斑点的质心将是图7中的点P_T。 

【0141】基于末端执行器Y轴与内窥镜视图向量的点积，U形夹的哪一面正被呈现给照相机可被确定，距离Y_t的符号可被适当调节。 

【0142】因此，可以通过将方程式(24)与状态估计预测相乘来获得像面速度，如在方程式(27)中所示。 

${\left[\begin{array}{c}{\stackrel{\·}{u}}_l\\ {\stackrel{\·}{v}}_l\\ {\stackrel{\·}{u}}_r\\ {\stackrel{\·}{v}}_r\end{array}\right]}_{4\×1}=H_{V1-k}{\hat{x}}_k^{-}---\left(27\right)$

【0143】要获得卡尔曼滤波器更新循环的方程式(3)和(5)中用到的全H矩阵，所述两种测量雅可比行列式被叠加，如方程式(28)中所示。 

$H_k={\left[\begin{array}{c}{H}_{\mathrm{NV}1-k}\\ H_{V1-k}\end{array}\right]}_{17\×13}---\left(28\right)$

【0144】正如在图5中可见，卡尔曼滤波器的体系结构考虑到若干扩展，如图中虚线所示。 

【0145】首先，多个内窥镜视频处理算法可被用于获得对在内窥镜生成的图像中刀具位置的若干估计，例如由方框511-513所示。这些可以叠加进测量向量，如方程式(18)中所示。 

【0146】如图5中所画的内窥镜视觉处理算法通过强力在图像中找到刀具。然而，优选地，内窥镜视觉处理算法的输出可被反馈，以通过首先察看刀具先前被找到的区域来减小搜索空间。 

【0147】EKF 521的状态估计输出，与内窥镜视频处理输出一起或单独地被使用，以便以相似的方式减小搜索空间。另一方面，内窥镜视频处理算法可简单利用原运动学输入代替。 

【0148】最后，内窥镜视频处理算法可以利用误差协方差矩阵，以基于真实刀具位置中的置信度来动态地度量搜索区域。这可以通过利用由误差协方差矩阵提供的误差椭圆来限制刀具跟踪的搜索区域，来增强刀具跟踪的性能。 

【0149】在相反的方向中，如果所述视觉处理系统能够关于其测量提供定性度量，增益矩阵R可以被更新。相似地，如果刀具或其机械机构的臂具有安装在其上或嵌入其中的力传感器，则通过观察实际与指令位置之间的误差，运动学信息的定性度量可以被确定。如果所应用的力导致刀具和/或其机械机构的臂发生偏转，则在这种情况中的运动学状态测量中的误差可能出现。那么此定性度量可被用于动态调节EKF 521中的增益，以便适当加权运动学状态测量的贡献到状态估计。 

【0150】注意，用公式表达的EKF 521工作于照相机参考系203。然而，不需要这样。实际上，使用世界参考系201可能有利，尤其如果期望的是将术前或其他合成图像数据与照相机图像数据对齐则更是如此。 

【0151】同样注意，在上述公式表述中，所述立体式内窥镜的立体式几何清晰地表示在H_V1-k矩阵(其确实为立体式投影操作的偏导)中。或者，立体式相关性可在所述两个图像之间被实现，3-D中的刀具位置和方向可被提取，测量可直接被反馈进EKF 521。这种情况中的结果应该与作为“恒等”的新测量函数h_V1-k等价。 

【0152】以下是上述公式表述的扩展，其考虑到同步刀具跟踪和照相机校准。在上述EKF公式表述中，照相机参数被假定为公知的或先前被校准的。对3-D中刀具末端执行器位置的估计是基于这些参数的知识，通过视觉测量函数h_V1-k的，如以下方程式所示： 

                  z_V1-k＝h_V1-k(x_k)+noise                (29) 

其中x_k是待被估计的状态，即，所述刀具的3-D位置、速度、方向和角速度，如以下方程式所示： 

$x_k={\left[\begin{array}{ccccccccccccc}x& y& z& {\mathrm{\θ}}_1& {\mathrm{\θ}}_2& {\mathrm{\θ}}_3& {\mathrm{\θ}}_4& \stackrel{\·}{x}& \stackrel{\·}{y}& \stackrel{\·}{z}& {\mathrm{\ω}}_x& {\mathrm{\ω}}_y& {\mathrm{\ω}}_z\end{array}\right]}^T---\left(30\right)$

【0153】视觉测量z_V1-k通过处理左右像面来获得，以提取刀具的(u，v) 坐标，如以下方程式所示： 

                  z_V1-k＝[u_l v_l u_r v_r]^T              (31) 

【0154】在先前描述的公式表述中，本征照相机参数例如： 

K_1...n：径向畸变系数(左和右)， 

f_x，f_y：焦距(左和右)， 

c_x，c_y：照相机光心(左和右)， 

以及 

R，T：两照相机的相对位置/方向，其中R是方向的四元数表示法 

这些参数中的误差都导致刀具跟踪中的误差。 

【0155】这些参数的校准可通过认出物体在视场中的实际3-D位置来完成，该物体例如刀具末端执行器其本身。当然，这些认识不幸地不可用，因为它正是要被估计的。 

【0156】以下方法基于一种想法完成同步刀具跟踪和照相机校准，所述想法是，视觉测量z_V1-k的序列将被以最佳方式解释，即，含有随时间的最小统计误差，利用真实照相机参数和真实刀具状态的组合。 

【0157】此方法的实际执行可以如下再次被实现：使用扩展卡尔曼滤波器并扩大状态向量以包含未知的照相机参数(或需被估计的子集)， 

          x_cam＝[k_1l，r…k_nl，r f_xl，r f_yl，r c_xl，r c_yl，r R T]^T    (32) 

且方程式(29)中的刀具状态x_k，其在此处被称为x_toolk： 

$x_k={\left[\begin{array}{cc}{x}_{{\mathrm{tool}}_k}& x_{{\mathrm{cam}}_k}\end{array}\right]}^T---\left(33\right)$

【0158】照相机状态的状态转移函数是常量，即： 

$x_{{\mathrm{cam}}_k}=x_{{\mathrm{cam}}_{k-1}}---\left(34\right)$

【0159】视觉测量函数h_V1-k是不变化的，但要使其对照相机参数的依赖较明显，以便h_V1-k关于在卡尔曼滤波器更新中被使用的状态的偏导是： 

H_V1-k＝[

h_V1-k/x_tool 

h_V1-k/

x_cam]               (35) 

【0160】使用方程式(32)和(34)，EKF可以以前述的某方法被计算。相对于连续或离散更新选择的所有相同的扩展仍然适用。x_cam的初 始值将被设置为最佳可用猜测，若干增益矩阵应将x_cam状态按比例加权到所述猜测中的不确定度。 

【0161】以下是上述公式表述的扩展，其考虑到在根据机械运动学与照相机参考系的刀具状态测量之间的变换中存在缓慢变化的系统误差。在上述EKF的公式表述中，来自机械位置传感器和来自内窥镜的测量被假定为在相同的参考系中表示，或者每个测量(R_err，T_err)的参考系之间的变换被假设为公知的。在这个后一种情况中，如以下方程式中所示的测量函数h_NV1-k

                        z_NV1-k＝h_NV1-k(x_k)+noise                     (36) 

此测量函数h_NV1-k通过对比以下表达式而被容易地获得， 

                        z_NV1-k＝Ux_k+[T_x T_y T_z 0_1×10]                (37) 

其中 

$U={\left[\begin{array}{cccc}{R}_{\mathrm{err}3\×3}& 0_{3\×4}& 0_{3\×3}& 0_{3\×3}\\ 0_{4\×3}& A_{\mathrm{err}}& 0_{4\×3}& 0_{4\×3}\\ 0_{3\×3}& 0_{3\×4}& R_{\mathrm{err}3\×3}& 0_{3\×3}\\ 0_{3\×3}& 0_{3\×4}& 0_{3\×3}& R_{\mathrm{err}3\×3}\end{array}\right]}_{13\×13}---\left(38\right)$

含有A_err，其为与R_err和T_err＝(T_x，T_y，T_z)相关联的四元数ω矩阵。 

【0162】由于(R_err，T_err)的初始估计，计算一种变换是可能的，所述变换在一个特定初始化时间将刀具未知的立体式视觉测量变换到由机械运动学提供的刀具位置。 

【0163】以下方法基于一种想法完成同步刀具跟踪和对(R_err，T_err)的更新，所述想法是内窥镜视觉测量z_V1-k将被以最佳方式解释，即，含有随时间变化的最小统计误差，利用相干测量和真实刀具状态的组合。 

【0164】此方法的实际执行可以如下再次被实现：使用扩展卡尔曼滤波器并扩大状态向量以包含未知的变换(R_err，T_err)的参数(或需被估计的子集)， 

                    x_err＝[R_err T_err]^T                              (39) 

含有R_err，其为变换旋转矩阵的四元数表示法，且含有方程式(36)中的刀具状态x_k，其被称为x_toolk： 

$x_k={\left[\begin{array}{cc}{x}_{{\mathrm{tool}}_k}& x_{{\mathrm{err}}_k}\end{array}\right]}^T---\left(40\right)$

【0165】所述x_err状态的状态转移函数是常量，即： 

$x_{\mathrm{er}{r}_k}=x_{{\mathrm{err}}_{k-1}}---\left(41\right)$

【0166】如在方程式(36)中，测量函数h_NV1-k是不变化的，但要使其对参数(R_err，T_err)的依赖较明显，以便h_NV1-k关于在卡尔曼滤波器更新中被使用的状态的偏导是： 

H_NV1-k＝[

h_NV1-k/

x_tool 

h_NV1-k/

x_err]               (42) 

【0167】用于在如图2中所示的当前刀具位置将运动学估计注册进照相机参考系的初始变换被存储在离线预备的长期存储器中。此变换被复制进短期存储器并根据方程式(40)不断随时间被更新。因为此变换根据刀具位置而变化，所以整个内窥镜和刀具操作空间被切割成多个立方单元，一个变换于每个立方单元相关联。因为刀具可以移动到有不同关节/连接组合的位置，所以所述变换通过考虑到这一点、根据从目标单元中的多个连接组合收集来的数据被优化。 

【0168】如先前所提到的，要协助在采集图像中识别刀具，各种刀具识别技术可被使用，包括特殊标记的使用。图8和图9示出作为示例的两个方向相关的、用于完成刀具跟踪的刀具标记。这些刀具标记的独特的特性是它们是方向相关的，不像先前公开的用于跟踪照相机和(若干)刀具的标记。所以，如果刀具已绕其轴旋转，这些刀具标记就被设计以指示刀具的这种新的方向。 

【0169】优选地，画或形成所述标记于刀具的末端执行器上。在图8中，四条条纹801-804被画在刀具的末端执行器上。四条线段811-814也被画于穿过对应的条纹处并围绕刀具的轴以90度被间隔开，以便当刀具绕轴旋转时，旋转可以利用此时能看见哪条线段被确定。相似地，在图9中，四条条纹901-904也被画于刀具的末端执行器的末端上。然而在这种情况下，四个凹痕911-914被形成于穿过对应条纹处并围绕刀具的轴以90度被分隔开，以便当刀具绕轴旋转时，旋转可以利用此时能看见哪个凹痕被确定。 

【0170】图10示出计算机模型刀具跟踪方法的流程图。此方法的相对其他方法的优势是此方法在面对部分阻塞时一般更实用/鲁棒，所述表面例如在外科手术中经常遇到，其中环境大部分非结构化。例如，在手术中，刀具可能被组织、血液或烟尘弄得不清晰；刀具可能完全离开视野；照明条件可能随时间变化很大；以及镜面高光可能使刀具的正常颜色失真。所述方法可被单独用于刀具跟踪的目的或者作为用作参照图5所描述的卡尔曼滤波器的输入的视觉算法之一。 

【0171】在1001中，刀具的三维计算机模型以例如使用众所周知的计算机辅助设计工具和技术的方式被生成。在1002中，手术部位的三维空间中的刀具的初始位置和方向以例如根据运动学信息的方式被确定，所述运动学信息由一个或更多耦合到机械机构的编码器提供，所述机械机构用于在手术过程中操纵刀具。 

【0172】在1003中，从观测手术部位的照相装置接收图像信息的帧。在这种情况中的帧表示所述照相装置所拍摄的手术部位区域的视景或快照，这可包含例如单一的照相机(平面镜的)或一对校准照相机(立体式镜的)。 

【0173】在1004中，在将计算机模型投影到视图上之后，计算机模型的轮廓在接收帧的二维视图中被确定。在这种情况下，轮廓可以例如通过视图矢量与边缘邻近多边形的多边形面法线的点积的符合变化进行确定。在1005中，轮廓边缘的基本集被处理，以使用任何一种传统隐线去除技术来去除隐藏在给定刀具配置中的边缘。 

【0174】在1006中，使用例如任何一种传统边缘检测技术，来从图像信息的接收帧中的刀具图像识别或提取边缘/轮廓。 

【0175】在1007中，计算机模型的轮廓与帧中刀具图像的边缘及其位置和方向作比较，所述位置和方向被修改，直到修改后的轮廓与刀具图像的检测后的边缘之间的差异被最小化。例如，定性度量/测量可被定义为：从图像信息提取的刀具边缘与距它们的最近的轮廓边缘之间的绝对差异的总和，轮廓的位置和方向可被移动穿过图像中的很多位置和方向，以找到所述定性度量最小的位置和方向。 

【0176】在1008中，由1007产生的计算机模型的修改后的位置和 方向被提供为对刀具位置和方向的当前估计，本方法有效地跳回到1003以在其可用时接收图像信息的下一帧，并使用每种情况中的计算机模型的修改后的位置和方向作为计算机模型的初始位置、通过上述的1003-1008来处理所述帧。 

【0177】虽然本发明的各方面已关于优选实施例被描述，但需要理解的是，本发明在附加权力要求中的全部范围内被授予全面的保护。 

Claims (33)

1.一种具有刀具跟踪的微创机械外科手术系统，其包含：

提供数据的一个或更多非内窥镜设备，当刀具通过身体中的切口被插入并被机械操纵时，由所述数据生成非内窥镜导出刀具状态信息；

采集图像的内窥镜，当所述刀具插入到所述身体里时，对于所述身体内的区域，由所述图像来生成内窥镜导出刀具状态信息；以及

处理器，其被配置成处理由所述一个或更多非内窥镜设备提供的所述数据以生成所述非内窥镜导出刀具状态信息，处理来自所述内窥镜的所采集的图像以生成所述内窥镜导出刀具状态信息，以及处理所述非内窥镜导出刀具状态信息和所述内窥镜导出刀具状态信息以跟踪所述刀具的状态。

2.根据权利要求1所述的系统，其中所述内窥镜是立体式内窥镜。

3.根据权利要求1所述的系统，其进一步包含一种用于通过所述身体中的所述切口操纵所述刀具的机构，其中该一个或更多非内窥镜设备包含一个或更多传感器，其提供传感器数据，所述传感器数据表示根据这种操纵的运动学信息。

4.根据权利要求3所述的系统，其中所述传感器数据包含可识别信号的数字化样点，其从所述刀具发射或反射以指示所述刀具的位置。

5.根据权利要求1所述的系统，其中该一个或更多非内窥镜设备包含照相机，其观测从所述身体延伸出的所述刀具的末端。

6.根据权利要求1所述的系统，其中所述处理器通过如下方式进一步被配置成跟踪所述刀具的状态：

根据所述非内窥镜导出刀具状态信息，确定一个或更多非内窥镜估计的刀具状态；

根据所述内窥镜导出刀具状态信息，确定一个或更多内窥镜估计的刀具状态；以及

处理该一个或更多非内窥镜估计的刀具状态和一个或更多内窥镜估计的刀具状态以生成所述刀具的状态。

7.根据权利要求6所述的系统，其中所述处理器进一步被配置成使用贝叶斯滤波器来处理该一个或更多非内窥镜估计的刀具状态和一个或更多内窥镜估计的刀具状态以生成所述刀具的状态。

8.根据权利要求7所述的系统，其中所述贝叶斯滤波器是卡尔曼滤波器。

9.根据权利要求8所述的系统，其中所述卡尔曼滤波器是扩展卡尔曼滤波器。

10.根据权利要求7所述的系统，其中所述贝叶斯滤波器是粒子滤波器。

11.根据权利要求1所述的系统，其中所述处理器进一步被配置成从所述内窥镜采集的图像中识别所述刀具上的标记，并且用所述标记来确定所述刀具的方向同时跟踪所述刀具的状态。

12.根据权利要求1所述的系统，其中所述处理器进一步被配置以生成所述刀具的计算机模型，所述刀具被定位和定向在像面内，所述像面在内窥镜所采集的图像中定义，并且被配置以修改所述计算机模型相对于所述像面中所述刀具的图像的位置和方向，直到所述计算机模型基本覆盖所述图像。

13.根据权利要求12所述的系统，其中所述处理器进一步被配置成从所述计算机模型的修改后的位置和方向导出所述计算机模型在所述像面中的位置和方向，所述计算机模型的修改后的位置和方向由所述处理器为时间在先的像面确定。

14.根据权利要求12所述的系统，其中所述处理器进一步被配置成从与所述像面在时间上对应的至少所述非内窥镜导出刀具状态信息中导出在所述像面中所述计算机模型的位置和方向。

15.一种具有刀具跟踪的微创机械外科手术系统，其包含：

一个或更多传感器，其提供传感器数据，当刀具通过身体中的切口被插入并被机械操纵时，由所述传感器数据生成所述刀具的非视觉导出刀具状态信息；

至少一个照相机，其采集所述刀具的图像信息，由所述图像信息生成所述刀具的视觉导出刀具状态信息；以及

处理器，其被配置成处理所述非视觉导出刀具状态信息和所述视觉导出刀具状态信息以跟踪所述刀具的状态。

16.根据权利要求15所述的系统，进一步包含一种用来通过所述身体的所述切口操纵所述刀具的机构，其中所述传感器数据表示根据这种操纵的运动学信息。

17.根据权利要求15所述的系统，其中所述传感器数据包含可识别信号的数字化样点，所述可识别信号从所述刀具发射或反射并指示所述刀具的位置。

18.根据权利要求15所述的系统，其中所述至少一个照相机包含在一个或更多内窥镜中，其被定位以便观测插入在所述身体中的所述刀具的末端。

19.根据权利要求15所述的系统，其中所述至少一个照相机由包含在立体式内窥镜中的两个照相机构成。

20.根据权利要求15所述的系统，其中所述处理器通过如下方式进一步被配置成跟踪所述刀具的状态：

根据所述非视觉导出刀具状态信息，确定所述刀具的一个或更多非视觉估计的状态；

根据所述图像信息，确定所述刀具的一个或更多视觉估计的状态；以及

处理该一个或更多非视觉估计的状态和该一个或更多视觉估计的状态以生成所述刀具的状态。

21.根据权利要求20所述的系统，其中所述处理器进一步被配置成：

根据所述刀具的一对相应的所述非视觉和视觉估计的状态，确定误差转换；以及

通过在后续时间使用所述误差转换来校正所述刀具的所述非视觉或视觉估计的状态中的一个选定状态，为所述后续时间生成所述刀具的状态。

22.根据权利要求21所述的系统，其中与所述处理器接收所述非视觉导出刀具状态信息相比，所述处理器较不频繁地接收所述图像信息来处理。

23.根据权利要求22所述的系统，其中该一个或更多非视觉估计的状态从由该一个或更多传感器提供的时间采样信息中导出，而该一个或更多视觉估计的状态从由一个或更多照相机提供的时间采样图像中导出。

24.根据权利要求21所述的系统，其中所述处理器进一步被配置成使用贝叶斯滤波器来处理该一个或更多非视觉估计的状态和该一个或更多视觉估计的状态以生成所述刀具的状态。

25.根据权利要求24所述的系统，其中所述贝叶斯滤波器是卡尔曼滤波器。

26.根据权利要求25所述的系统，其中所述卡尔曼滤波器是扩展卡尔曼滤波器。

27.根据权利要求24所述的系统，其中所述贝叶斯滤波器是粒子滤波器。

28.根据权利要求24所述的系统，其中与所述处理器接收所述非视觉导出刀具状态信息相比，所述处理器较不频繁地接收所述图像信息来处理。

29.根据权利要求28所述的系统，其中该一个或更多非视觉估计的状态从该一个或更多传感器所提供的时间采样信息中导出，而该一个或更多视觉估计状态从一个或更多照相机所提供的时间采样图像中导出。

30.根据权利要求15所述的系统，其中所述处理器进一步被配置成根据所述图像信息来识别所述刀具上的标记，并在跟踪所述刀具的状态时使用所述标记来确定所述刀具的方向。

31.根据权利要求15所述的系统，其中所述处理器进一步被配置以生成所述刀具的计算机模型，所述刀具被定位和定向在像面内，所述像面在所述图像信息中定义，并且被配置成修改所述计算机模型相对于所述像面中所述刀具的图像的位置和方向直到所述计算机模型基本覆盖所述图像。

32.根据权利要求31所述的系统，其中所述处理器被配置成从所述计算机模型的修改后的位置和方向导出所述计算机模型在所述像面中的位置和方向，所述计算机模型的修改后的位置和方向由所述处理器为时间在先的像面确定。

33.根据权利要求31所述的系统，其中所述处理器被配置成从与所述像面在时间上对应的至少所述非视觉导出刀具状态信息中导出在所述像面中所述计算机模型的位置和方向。

Images