CN101019096B - 用于相对于触摸面检测指示器的装置和方法 - Google Patents

用于相对于触摸面检测指示器的装置和方法 Download PDF

Info

Publication number
CN101019096B
CN101019096B CN2005800144416A CN200580014441A CN101019096B CN 101019096 B CN101019096 B CN 101019096B CN 2005800144416 A CN2005800144416 A CN 2005800144416A CN 200580014441 A CN200580014441 A CN 200580014441A CN 101019096 B CN101019096 B CN 101019096B
Authority
CN
China
Prior art keywords
imaging device
touch face
touch
indicator
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN2005800144416A
Other languages
English (en)
Other versions
CN101019096A (zh
Inventor
杰拉尔德·D·莫里森
大卫·E·霍姆格伦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Pixart Imaging Inc
Original Assignee
Smart Technologies ULC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Smart Technologies ULC filed Critical Smart Technologies ULC
Publication of CN101019096A publication Critical patent/CN101019096A/zh
Application granted granted Critical
Publication of CN101019096B publication Critical patent/CN101019096B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0428—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means by sensing at the edges of the touch surface the interruption of optical paths, e.g. an illumination plane, parallel to the touch surface which may be virtual
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G06F3/0418—Control or interface arrangements specially adapted for digitisers for error correction or compensation, e.g. based on parallax, calibration or alignment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Abstract

一种用于相对于触摸面(54、254、354)检测指示器的装置(50)，包括至少两个间隔的成像部件(58)，成像部件(58)具有包围触摸面的重叠的视野区域。成像部件将触摸面在三维空间内看作透视图。成像部件从不同的位置获取重叠图像。处理器(60)接收和处理由至少一个成像部件产生的图像数据，从而相对于触摸面确定指示器的位置。

Description

用于相对于触摸面检测指示器的装置和方法
技术领域
本发明总的来说涉及交互式输入系统，并且特别涉及一种用于相对于触摸面检测指示器的装置和方法。
背景技术
触摸系统在本领域是公知的，并且其通常包括具有触摸面的触摸屏，使用指示器在触摸面上进行接触从而产生用户输入。检测与触摸面的指示器接触，并将其用于根据进行指示器接触的触摸面区域而产生相应的输出。通用的触摸系统利用模拟电阻、电磁、电容、声学或机器视觉技术，识别在触摸面上的指示器接触。
例如，转让给本发明的受让人SMART Technologies有限公司的、于2001年7月5日提交的国际PCT申请NO.PCT/CA01/00980并以NO.WO02/03316于2002年1月10日公布，其披露了一种基于摄像机的触摸系统，所述系统包括具有无源触摸面的触摸屏，计算机产生的图像呈现在所述无源触摸面上。矩形边框(bezel)或框架围绕触摸面，并且将多个数字摄像机保持在其转角上。这些数字摄像机具有多个重叠的视野区域，它们包围并且一般扫视触摸面平面。数字摄像机从不同的位置扫视触摸面获取图像，并且产生图像数据。多个数字信号处理器对由数字摄像机获取的数据进行处理，从而确定在所捕获的图像数据内是否存在指示器。当确定在所捕获的图像数据中存在指示器时，这些数据信号处理器将指示器特征数据传送给主控制器，该主控制器接下来处理指示器特征数据，从而使用三角测量相对于触摸面以(x，y)坐标确定该指示器的位置。将该指示器坐标数据传送到一台执行一个或多个应用程序的计算机。计算机使用指示器坐标数据更新在触摸面上呈现的计算机所产生的图像。因此，在触摸面上的指示器接触可以记录为写或画，或用于控制由计算机运行的应用程序的执行。
虽然上述触摸系统工作得非常出色，但是还不断的在基于视觉的触摸系统内寻求改进。
因此本发明的目的是提供一种新的装置和方法，用于相对于接触面检测指示器。
发明内容
根据本发明的一个方面，提供一种用于相对于接触面检测指示器的装置，包括至少两个间隔的成像设备，成像设备具有包围触摸面的重叠的视野区域。成像设备将触摸面在三维空间内看作透视图。成像设备从不同的位置获取图像。处理器接收和处理由成像设备中的至少一个产生的图像数据，从而相对于触摸面确定指示器的位置。
校准每个成像设备，以建立在其透视图内的点(X，Y，Z)与所获取图像内的点(x，y)之间的关系。当在获取图像内捕获指示器时，每个成像设备产生指示器坐标数据。处理器对指示器坐标数据进行三角测量，从而相对于触摸面确定指示器的位置。
在一个实施例中，该装置包括一对成像设备，邻近于触摸面的不同转角设置每个成像设备。每个成像设备与触摸面隔开并且隔开在触摸面的前面。每个成像设备相对于触摸面定位，使得至少触摸面的整个周边在其透视图内。
在一个实施例中，在校准期间，测量触摸面上的校准点(X，Y，Z)和对应于校准点的图像点(x，y)。使用所测量的校准和图像点求解共线性方程，从而确定成像设备的外部和内部方向参数。使用最小二乘法求解共线性方程。校准点位于沿触摸面周边的间隔位置处，例如位于触摸面的转角和边缘中点。在一个替换的实施例中，使用没影点(vanishing point)方法确定成像设备的外部方向参数。在又一个实施例中，使用平面单应(planar homography)确定成像设备的外部和内部方向参数。在再一个实施例中，使用三点法确定成像设备的外部方向参数。
在一个实施例中，每个成像设备产生表示成像设备确实识别到捕获图像的指示器的可信度的可信度值。处理器使用该可信度值，以确定用于相对于触摸面确定指示器位置的指示器坐标数据。当与其相关的可信度值低于阈值水平时，处理器忽略由该成像设备产生的指示器坐标数据。
根据本发明的另一个方面，提供一种基于摄像机的触摸系统，包括通常为矩形的无源触摸面，使用指示器在触摸面上进行接触。摄像装置可移动的安装在触摸面的至少两个转角附近。每个摄像装置具有扫视且向后看到触摸面的视野区域，并且设置在触摸面平面的前方。摄像装置的视野区域在触摸面上重叠。摄像装置获取触摸面的图像。处理器接收并处理图像数据，以通过三角测量相对于触摸面确定指示器的位置。
根据本发明的又一个方面，提供一种用于相对于通常为矩形的接触面检测指示器的装置，包括至少两个间隔的成像设备，成像设备具有包围触摸面的重叠的视野区域。成像设备将触摸面在三维空间内看作透视图，该透视图至少包括触摸面的四个转角。成像设备从不同的位置获取图像。处理器接收和处理由成像设备中的至少一个产生的图像数据，从而使用三角测量相对于触摸面确定指示器的位置。
本发明所提供的优点在于，由于成像设备将触摸面在三维空间内看作透视图，所以成像设备看到整个触摸面及其周边区域。因此，在图像处理过程中，不必处理由成像设备捕获的全部图像，而是仅处理对应于在触摸面的边界内的信息的像素。对发生在触摸面以外的区域内的噪声和像差，可以不予处理。另外，成像设备的三维透视允许自动且在连续的基础上校准所述装置，而不需要用户干预。此外，成像设备的三维透视允许将(x，y，z)坐标指定给出现在成像设备的视野区域内的每个指示器。因此，该装置能够在接触触摸面的多个指示器之间消除模棱两可的情况。
本发明所提供的优点还在于，由于成像设备是便携的，可以使用它们将任何表面基本的变为触摸面。成像设备需要简单的从此表面向前延伸足够的距离，使得它们向后看且扫视的视野区域看到此表面的转角，而不会由包围该表面的任何边框或框架所阻挡。使用将触摸面在三维空间内看作透视图的便携式成像设备，还支持了任意大的或弯曲的触摸面。
附图说明
现在将参照附图详细描述本发明的实施例，其中：
图1是用于相对于触摸面检测指示器的装置的部分透视的示意图；
图2是图1的装置的示意性前平面图；
图3是图1的装置的示意性侧视图；
图4是构成图1的装置的一部分的成像部件的透视图；
图5是图4的成像部件的示意性框图；
图6是流程图，示出了图1的装置在校准期间所执行的步骤；
图7是流程图，示出了在从所获取图像中抽取的指示器数据的三角测量期间所执行的用以确定在触摸面上的指示器接触位置的步骤；
图8a～8d示出了在必须以成像部件和接触面平面之间的不同间隔处理的捕获图像中的像素行的数量；
图9是用于相对于触摸面检测指示器的装置的另一个实施例的透视图；
图10是用于相对于触摸面检测指示器的装置的另一个实施例的正视图；
图11是用于相对于触摸面检测指示器的装置的又一个实施例；
图12a～12c示出了在图11的装置的接触面上的不同的指示器接触。
具体实施方式
现在转到图1～3，示出了用于相对于触摸面检测指示器的装置，并且一般用附图标记50标记。在这个实施例中，装置50是一种触摸系统的形式，并且包括触摸屏52，触摸屏52具有在其上进行指示器接触的触摸面54。触摸屏52是在触摸面54上呈现图像的平板显示器，例如等离子显示器、高清晰度电视(HDTV)、液晶显示器(LCD)等等。边框56围绕触摸面54。邻近于触摸屏52的顶部转角放置一对成像部件58。成像部件58相互通信，还与执行一个或多个应用程序的计算机60通信。计算机60处理由成像部件58产生的指示器坐标数据，从而确定在触摸面54上进行的指示器接触的位置，并且响应于指示器接触而更新在触摸面54上呈现的图像。因此，在触摸面54上的指示器接触可以记录为写或画，或用于控制由计算机60运行的应用程序的执行。
现在转到图4，较好的描述了成像部件58中的一个。如可以看到的，成像部件58包括与触摸屏52的转角互补(complimentary)成形的外壳72。在外壳72上的结构(未示出)允许将成像部件58相对于触摸屏的转角固定在适当的位置。然而成像部件58可以从触摸面52上移除，使成像部件58是便携式的。数字摄像机74由外壳72容纳，并以大约等于2.5cm的距离定位在触摸面54的平面的前方。选择在数字摄像机74与触摸面54的平面之间的距离，使得边框56不阻碍数字摄像机74的视野区域，允许数字摄像机看到整个触摸面54，同时还许可对图像数据进行有效的三维处理。数字摄像机74还以大约等于10cm的距离定位在触摸面54上方。对准数字摄像机74，使得其视野区域(FOV)向后看并扫视在整个触摸面54。从而，数字摄像机74在三维空间内将包括其四个转角的触摸面54看作一个透视图。数字摄像机74的光轴与触摸屏52的顶部转角成一直线，并且相对于触摸屏52的顶部边缘成大约等于45度的角。
外壳72还容纳电路板，其上安装有如图5所示的数字摄像机74和图像处理电路80。如可以看到的，图像处理电路80包括数字信号处理器(DSP)82，DSP 82连接到数字摄像机74和静态随机存储器(SRAM)84。DSP 82还通过数据总线86与计算机60通信。数字摄像机74是高分辨率CMOS数字摄像机，具有640×480的像素阵列，例如由National Semiconductor制造的No.LM9618型，以及相关透镜88。DSP 82是由Analog Devices有限公司制造的No.Blackfin BF 533型号的类型，并且DSP 82具有以下特征，即允许将图像数据从数字摄像机74中迅速的移到SRAM 84，而不中断DSP处理。
将首先说明触摸系统50的常规操作。当指示器进入到数字摄像机74的视野区域并接触触摸面54时，数字摄像机74中的每一个获取包括该指示器的图像。每个成像部件58的DSP 82将图像数据从数字摄像机74传送到SRAM 84，并且随后将该图像数据与数学模型比较，所述数学模型描述如数字摄像机74所看到的触摸面54的边界。这使得能够处理仅包括相关像素的捕获图像的像素子集。每个成像部件58的DSP 82接下来处理该像素子集，从而在捕获图像中确定指示器的(x，y)位置。成像部件58接下来将这个指示器坐标数据传送到计算机60，计算机60利用三角测量使用该指示器坐标数据计算在接触面54上的指示器接触的(X，Y，Z)位置。计算机60随后还将指示器位置数据记录为写或画或解释为鼠标或其它事件。
为了使用三角测量能够精确的计算相对于触摸面54的指示器接触，需要校准触摸系统50，使得任一或两个成像部件58知道捕获图像内的特定点是如何与触摸面54上的物理三维位置(“场景”)对应。在校准过程中，建立变换，该变换确定了在每个成像部件58观察的三维场景内的任一点与所捕获的二维图像内的任一点之间的关系。这个步骤是必须的，因为当建立触摸系统50时，不知道关于数字摄像机74相对于触摸面54的位置和方向的先验信息。
三维场景内的点与捕获图像内的其二维位置之间的关系，根据共线性方程概括如下：
x = x 0 - Δ x - fR 1 R 3
y = y 0 - Δ y - fR 2 R 3
其中：
(x，y)是对应于三维场景内的点(X，Y，Z)在捕获图像内的点坐标；
(x0，y0)是数字摄像机74的主点(principal point)坐标，在此位置数字摄像机的光轴与数字摄像机的焦平面相交，光轴大致垂直于焦平面；
(Δx，Δy)代表由于透镜88的不良特性而引入的失真项；
f是数字摄像机的焦距；以及
(R1，R2，R3)项取决于点(X，Y，Z)、数字摄像机的光心位置的空间位置(X0，Y0，Z0)以及关于触摸面54的三维坐标系的数字摄像机光轴的方向角(ω，φ，κ)。
上述共线性方程代表一种针孔模式。从而，每个数字摄像机74理想化为在数字摄像机的光心(焦点)位置处的非常小的孔径，将其带入到三维空间内的数字摄像机的位置。数字摄像机视野的三维特性的重要性在于，其允许这些数字摄像机查看边框56，如果假定触摸面54是平面的则允许确定触摸面平面，允许在任一点处确定指示器是与触摸面54接触还是悬于触摸面54之上，以及允许相对于触摸面54确定指示器位置。
上述共线性方程表示，三位场景内具有坐标(X，Y，Z)的点投影到二维图像的点(x，y)处。为了使用该共线性方程建立该变换，需要确定数字摄像机74的外部方向参数(X0，Y0，Z0)和ω、φ、κ以及内部方向参数f、x0、y0和Δx、Δy。
由特别关联于径向失真和偏心失真的项可以表示每个透镜88的失真。在本实施例中，由于每个透镜88和捕获图像数据相对性低的质量，仅记录一阶径向失真。因此透镜失真项可以表示为：
Δx＝(x-x0)K1((x-x0)2+(y-y0)2)
Δy＝(y-y0)K1((x-x0)2+(y-y0)2)
从而，通过参数K1可以概括透镜失真。
如将理解的，对于每个数字摄像机74需要从所述共线性方程确定十(10)个参数，以校准每个数字摄像机，即：
X0、Y0、Z0、ω、φ、K、f、x0、y0、K1
在当前的实施例中，使用自校准技术校准触摸系统50。自校准基于以下事实，即如果已知在物体上的参考点的三维位置并且可以在一个或多个该物体的图像内测量相同点的二维位置，那么这些数据就完全确定了捕获图像的成像部件的位置、成像部件的角方向以及关于成像部件的透镜的参数。
可以以绝对单位(例如，厘米)或以相对项在三维空间内测量数字摄像机74的位置(X0，Y0，Z0)，相对项是假定的相应于参考长度的长度单位，例如触摸面54的较短尺寸。每个数字摄像机的角方向用三个角ω、φ、κ表示，允许对于每个数字摄像机74限定旋转矩阵R。旋转矩阵R说明在三维场景坐标系与数字摄像机的坐标系之间的变换。如果已知这些数字摄像机参数的准确值，不必计算焦距f、主点(x0，y0)以及透镜失真系数。
在自校准期间，假定触摸面54对应于X-Y平面，并且Z轴以通常垂直于触摸面平面的角度从触摸面54向外指出。如果对应于多个场景点(X，Y，Z)从图像中测量多个图像位置(x，y)，并且已知场景点位置(X，Y，Z)  (例如，厘米)，那么可以为每个点设定共线性方程并且使用最小二乘法技术求解，从而能够确定外部和内部方向参数。由于共线性方程模型的非线性特性，所以使用最小二乘法。
在当前实施例中，选择围绕触摸面54周边的八(8)个校准点，由于通过这样选择产生了十六(16)个方程和十(10)个未知数，这对于好的最小二乘法解决方案是足够的。特别是，将触摸面54的四个转角和沿着每个侧边的中点选择为校准点，是由于在这些校准点处的(X，Y)位置容易测量、容易提供可重现的校准点，用户容易设置并且在这些(X，Y)位置的每一处Z＝0cm。通过测量在图像中捕获的、在校准点处的指示器位置，或通过测量在捕获图像中的校准点处的标志物的位置，限定这些相应的图像点。
现在转到图6，示出了流程图，说明了在自校准期间所执行的一般步骤。开始确定在接触面54上的多个校准点的(X，Y，Z)位置(步骤100)。具体的，通过测量触摸面转角和相对于其中一个接触面转角的其侧边中点的位置，来确定在接触面54上的多个校准点的位置，将所述其中一个接触面转角指定位于坐标系原点处。替代的，如果已知触摸面54的长宽比，那么就可以将触摸面的短尺寸作为长度单位，允许确定转角和侧边中点的相对位置。随后通过图像处理确定在图像内的校准点的(x，y)位置(步骤102)，以及自外部图像处理的可能的初始估计输入，如将描述的(步骤104)。随后计算校准方案，如果期望，包括内部方向参数(步骤106)。如果所计算的方案是基于初始估计输入的，那么计算最小二乘法的改进(步骤108)。
通过校准的触摸系统50，使用三角测量可以计算与触摸面54接触或在其上的指示器的三维位置。在三角测量期间，假定已知所有摄像机方向参数，并且要确定指示器位置(X，Y，Z)，从由一个或两个数字摄像机74捕获的图像中给出了相应的(x，y)测量。图7是流程图，示出了在指示器坐标数据的三角测量期间所执行的相对于触摸面确定指示器接触位置的一般步骤。当由包括指示器的成像部件58捕获图像时，DSP 82处理图像数据，从而确定在(x，y)坐标系内每个捕获图像中的指示器位置。DSP 82接下来将这个指示器的坐标数据输出到计算机60(步骤120)。每个DSP 82还输出指示器位置可信度估计，其代表DSP 82在捕获图像内确实识别到有效指示器的可信度等级。计算机60从两个成像部件58的DSP 82中接收指示器坐标和可信度估计数据(步骤122和124)，计算机60基于可信度估计确定是否使用由一个或两个成像部件返回的指示器坐标数据(步骤126)。通常，计算机60使用由两个DSP 82产生的指示器坐标数据。然而如果与由DSP82中的一个产生的指示器坐标数据相关的可信度估计低于阈值水平，假如50％的情况，表示指示器坐标数据准确性的低可信度等级，那么忽略或不使用该指示器坐标数据。
随后使用来自两个成像部件58的指示器坐标数据(步骤128)或使用来自一个成像部件58的指示器坐标数据(步骤130)，利用早先提到的共线性方程执行三角测量。由于该共线性方程将图像位置(x，y)与空间位置(X，Y，Z)相关联，所以对于为指示器计算唯一的(X，Y，Z)空间位置来说，分别来自每个数字摄像机74的两个(x，y)位置是必不可少的。这样产生了四个方程和三个未知数。重新设置该共线性方程，从而产生线性最小二乘法的情况，使三角测量成为有效的步骤。在这种情况下由于三角测量的结果为指示器产生了(X，Y，Z)空间位置，所以可以分别追踪出现在成像部件58的视野区域内的多个指示器，从而为指示器消除了模棱两可的情况。
当使用来自单一成像部件58的指示器坐标数据执行三角测量时，假定Z＝0(cm)。此时，删去了共线性方程内的一个未知数。换句话说，由图像位置(x，y)确定空间位置(X，Y)。使用来自单一成像部件58的图像具有如下优点，即使在其中一个成像部件58不能看到指示器的情况下，触摸系统50依然可以确定与触摸面54的指示器接触。
一旦三角测量的结果是有效的，如果期望，就能够使用非线性最小二乘技术改进三角测量的结果。
成像部件58将整个触摸面54在三位区域内看作透视图，成像部件58还看到了其周围区域，成像部件58的使用是有益的。例如，在图像处理过程中，能够先于在触摸面上的指示器接触而识别指示器越过触摸面54的边界。DSP 82可以使用这些信息来将图像处理限制到邻近于跨跃点的边界的相关像素子集内的像素。触摸系统50还提供阴影/物体判别。一般，当指示器进入到触摸面54，成像部件58中的一个将先于另一个看到该指示器。首先看到该指示器的成像部件可以给另一个成像部件提供指示器信息，识别要检查以定位指示器的其相关像素子集区域。这有助于增加准确和迅速的定位指示器的可能性。使用平面单应将两个数字摄像机的焦平面相互关联，允许指示器信息在成像部件58之间有效的交换。
另一种方法是使用成像部件的视野间的不同关系，虽然已知一种实体作为基础矩阵、或紧密相关的基本矩阵。这里，如果已知在一个数字摄像机视野内的点的位置，那么基础矩阵将这个点转换为另一个数字摄像机视野内的一条线。从而，仅需要沿着这条线(称为核线(epipolar line))搜索图像以定位相应的点。这种方法具有以下优点，即在第二个数字摄像机视野内严格的限定搜索区域，并且有助于消除错误肯定(false positive)。
在上述实施例中，将成像部件58表示为以大约等于2.5cm的距离设置在触摸面54的平面的前面。如所提到的，这个距离确保了边框56不阻挡整个触摸面54的成像部件的视野。虽然成像部件58设置在触摸面54的平面的前面的距离影响对应于必须处理的触摸面边界的相关像素子集的大小，但是该距离当然可以根据环境条件而改变。成像部件58这样定位，至少触摸面54的四个转角位于它们的视野区域内。图8a～8d示出在必须以不同距离处理的一张捕获图像中的像素行的数量，假定触摸面54具有84″对角线尺寸和4∶3的长宽比。如将理解的，如果距离增加，那么在捕获图像中要求处理的像素行数量也增加。
虽然描述了自校准技术，但是可以使用其他的技术来校准触摸系统50。例如，如在Kanatani所著的标题为“机器视觉的几何计算(Geometric Computation for Machine Vison)”(牛津大学出版社，牛津1993)的出版物中描述的，可以为触摸面54确定没影点(vanishingpoint)。替代的，可以使用如在Hartley等所著的标题为“计算机视觉中的多视野几何学(Multiple View Geometry in Computer Vison)”(剑桥大学出版社，剑桥2001)的出版物中所述的平面单应，或使用如在Wrobel所著的标题为“计算机视野中关于摄像机方向和校准方向的最小解(Minimum Solutions for Orientations in Calibration and Orientationsof Cameras in Computer Vision)”(Springer-Verlag，纽约2001)的出版物中所述的三点法，对触摸系统进行校准。
在没影点方法中，在计算外部方向参数的过程中，利用了常规矩形形状的触摸面54。在这种情况下，通过在数字摄像机图像中寻找触摸面54的外围边缘，可以使用对应于触摸面的两组平行外围侧边的没影点来完全限定外部方向参数。在触摸系统中，没影点是有限的，即它们位于数字摄像机视野的界限内并且用于限定旋转矩阵R。如果假定一个长度单元，随后可以确定数字摄像机的位置，完成外部方向参数确定。还能够使用没影点来限定数字摄像机的焦距和主点，如在Foerstner所著的标题为“估测旋转(On Estimating Rotations)”(T.U.Munchen，1999)的出版物中所述。如将理解的，两个没影点为触摸系统限定三维坐标系，所有一切从中得出。当使用这种方法时，优选的使用最小二乘法改进所确定的外部方向参数。
平面单应校准方法将触摸面54的平面上的点与数字摄像机的像平面上的点相关联。通过测量对应于某些场景点的多个图像点的位置，能够限定单应矩阵的9个分量。一旦完成这些，单应矩阵能够分解为旋转矩阵R和表示三维空间中数字摄像机位置的向量。使用这种校准方法要求关于数字摄像机的固有方向的一些假设。然而通过将单应矩阵改写为另一个矩阵实体，能够避免进行这些假设的需要，已知所述另一个矩阵实体为如前述Hartley等的出版物中所述的绝对二次曲线的图像。通过其奇异值分解，这个矩阵实体提供了数字摄像机的焦距和主点的直接估计。
三点测量方法利用基本的三角学和三点确定一个平面的事实。如果在三维空间中已知三个点之间的方向和距离，并且形成一个三角形，随后可以使用这些点的图像位置来限定点之间的角。这些信息足以求解所述三个点离数字摄像机的光学的距离，从而给出了空间中数字摄像机的位置。随后接着处理图像点，提供旋转矩阵R的估计。由于这种方法从最小数据组中给出了方向，所以可以使用这种方法来初始化最小二乘法，用于改进方向，并且因此在校准过程中在步骤104提供初始估计输入。
虽然上述校准技术使用三个角通过旋转矩阵R在空间中来限定每个数字摄像机74的方向，但是替代的方法也是可用的。例如，不是限定旋转矩阵R，基于称为“四元数”的实体，可以确定空间内的每个数字摄像机的方向。四元数是四元素向量，具有在前述Foerstner的出版物内所述的某些特性。四元数元素仅具有在-1和1之间的值，将其中一个元素限制到1。这避免了与数值急剧变化相关的问题，并且极大的帮助了在收敛中使用最小二乘法。如应当理解的，当测量角度时，一些角度变化带来了困难，例如当从359度到360度进行角度变化时，其与到0度的角度变化相同。
图9示出了用于相对于触摸面54检测指示器的装置的另一个实施例。在这个实施例中，两个数字摄像机174容纳在单独的外壳172内，邻近于外壳172的相对端。外壳172放在边框56的顶部边缘上并且横跨触摸屏52，使得数字摄像机174邻近于触摸屏的顶部转角而定位。
在三维空间内将触摸面看作透视图的成像部件也能够与大规模触摸系统结合使用，大规模触摸系统例如是Hill等于2004年1月2日提交的、转让给本发明的受让人SMART Technologies有限公司的美国专利申请No.(未知)中所述的触摸系统，该美国专利申请的内容在此引入作为参考。例如，图10示出了对于大规模触摸系统的一种数字摄像机的设置。在这个实施例中，数字摄像机C1到C8沿着触摸面254的顶部设置，并且向后看并扫视触摸面。具体的，数字摄像机C1和C8设置在触摸面254的顶部左侧转角和顶部右侧转角。中间的多对数字摄像机C2和C3、C4和C5以及C6和C7沿着触摸面254的顶部间隔位置设置。由虚线示出了这些数字摄像机的视野区域。如可以看到的，这些摄像机的视野区域重叠，使得触摸面254上的每个位置落入到至少两个数字摄像机的视野区域内。这当然允许如上所述以相同的方式使用三角测量横跨整个触摸面254追踪指示器。
图11示出了对于大规模触摸系统的再一种数字摄像机的设置。在这个实施例中，均匀间隔的数字摄像机C1到C7设置在触摸面354的顶部边缘上方，并且向后看并扫视触摸面。由虚线示出了这些数字摄像机的视野区域，并且如可以看到的，这些摄像机的视野区域重叠，使得触摸面上的每个位置落入到至少两个数字摄像机的视野区域内。再有，这允许如上所述以相同的方式使用三角测量横跨整个触摸面354追踪指示器。在这个实施例中，触摸面354上的大多数位置落入在超过两个数字摄像机的视野区域内，对于每个指示器接触允许产生多个三角测量结果。根据指示器接触位置，可以使用不同的逻辑来选择用于确定指示器接触位置的三角测量结果。
例如，如图12a所示，通过对从数字摄像机C1和C2所捕获的图像中得到的指示器信息进行三角测量，并且可能通过对从数字摄像机C3所捕获的图像中得到的指示器信息进行三角测量，可以计算触摸面354上的指示器P的位置。在后一种情况中，可以对从数字摄像机C1和C3以及数字摄像机C2和C3所捕获的图像中得到的指示器信息进行三角测量，得出多个三角测量结果。可以计算这多个三角测量结果的平均值，或根据其他逻辑对这多个三角测量结果进行处理从而产生单独的指示器位置。如果认为数字摄像机C3离指示器P太远，那么可以忽略数字摄像机C3的结果。替代的，当指示器对数字摄像机C3达到一定的接近程度时，可以将从数字摄像机C3所捕获的图像中得到的指示器信息用于追踪该指示器。当指示器对数字摄像机C3达到一定的接近程度时，可以对从数字摄像机C3所捕获的图像中得到的指示器信息进行三角测量，从而确定在触摸面354上的指示器位置。
图12b和图12c示出了在触摸面354上的指示器的其它位置以及能够从数字摄像机所捕获的图像中得到的多个的三角测量结果。
通过对数字摄像机进行组对，由于多对数字摄像机仅需要为观察一部分触摸面负责，所以可以支持弯曲的或非平面触摸面。
如将理解的，由于成像部件能够自校准，所以成像部件可以基本固定到任何表面，从而将那个表面转变为触摸面。
虽然将触摸系统50描述为包括一台计算机，计算机与成像部件的DSP通信，并且使用三角测量处理指示器坐标数据，从而相对于触摸面确定指示器的位置，但当然可以使用其它的处理结构。例如，成像部件的DSP可以作为对三角测量指示器坐标数据负责的处理器。
虽然已经描述了本发明的优选实施例，但是本领域技术人员应当理解，在不脱离所附权利要求所限定的精神和范围的情况下可以进行多种变化和修改。

Claims (64)

1.一种用于相对于触摸面检测指示器的装置，包括：
至少两个间隔的成像设备，具有重叠的视野区域，所述成像设备中的每个具有向后看触摸面的视野区域，从而所述成像设备将所述触摸面在三维空间内看作透视图，该透视图包括所述触摸面的边界，所述成像设备从不同视点获取重叠图像，每个成像设备将获取的图像和描述所述触摸面的边界的模型进行比较，从而确定每个获取的图像中的像素子集并且处理每个像素子集以产生图像数据；以及
处理结构，处理由所述成像设备中的至少一个产生的图像数据，从而确定指示器的位置。
2.如权利要求1所述的装置，其中校准每个成像设备，以建立在其透视图内的点(X，Y，Z)与所获取的图像内的点(x，y)之间的关系，当在获取图像内存在指示器时，每个成像设备产生指示器坐标数据。
3.如权利要求2所述的装置，其中所述处理结构对指示器坐标数据进行三角测量，从而相对于所述触摸面确定指示器的位置。
4.如权利要求3所述的装置，包括一对成像设备。
5.如权利要求4所述的装置，其中每个成像设备邻近于所述触摸面的不同转角而设置。
6.如权利要求5所述的装置，其中每个成像设备与所述触摸面侧向隔开并且隔开在所述触摸面的前面。
7.如权利要求6所述的装置，其中每个成像设备相对于所述触摸面定位，使得至少触摸面的整个周边在其视野区域内。
8.如权利要求7所述的装置，其中每个成像设备在所述触摸面的前方以至少等于2.5cm的距离间隔开。
9.如权利要求8所述的装置，其中所述触摸面由边框作边界。
10.如权利要求7所述的装置，其中对准每个成像设备，使得其光轴与所述触摸面的转角成一直线，并且与所述触摸面的边缘成大约等于45度的角。
11.如权利要求2所述的装置，其中在校准期间确定每个成像设备的外部方向参数(X0，Y0，Z0)和(ω、φ、κ)，其中：
(X0，Y0，Z0)是成像设备的光心的空间位置；和
(ω，φ，κ)是关于所述触摸面的三维坐标系的成像设备的光轴的方向角。
12.如权利要求11所述的装置，其中在校准期间还确定每个成像设备的内部方向参数f、x0、y0和Δx、Δy，其中：
(Δx，Δy)代表由于成像设备的透镜的不良特性而引入的失真项；
f是成像设备的焦距；以及
(x0，y0)是成像设备的主点坐标。
13.如权利要求12所述的装置，其中使用以下共线性方程表示所述关系：
x = x 0 - Δ x - fR 1 R 3
y = y 0 - Δ y - fR 2 R 3
其中：
(x，y)是对应于三维透视图内的点(X，Y，Z)的在捕获图像内的点坐标；和
(R1，R2，R3)项取决于点(X，Y，Z)、空间位置(X0，Y0，Z0)以及方向角(ω，φ，κ)。
14.如权利要求13所述的装置，其中在校准期间，测量所述触摸面上的校准点(X，Y，Z)和对应于所述校准点的图像点(x，y)，使用所述测量的校准和图像点求解所述共线性方程，从而确定所述外部和内部方向参数。
15.如权利要求14所述的装置，其中使用最小二乘法求解所述共线性方程。
16.如权利要求14所述的装置，其中所述校准点位于沿所述触摸面周边的间隔位置处。
17.如权利要求16所述的装置，其中所述校准点位于所述触摸面的转角和边缘中点。
18.如权利要求11所述的装置，其中使用没影点方法确定所述外部方向参数。
19.如权利要求18所述的装置，其中使用最小二乘法改进所确定的外部方向参数。
20.如权利要求18所述的装置，其中使用平面单应确定所述外部和内部方向参数。
21.如权利要求18所述的装置，其中使用三点法确定所述外部方向参数。
22.如权利要求2所述的装置，其中每个成像设备还产生可信度值，该可信度值表示成像设备确实已经识别到捕获图像中的指示器的可信度。
23.如权利要求22所述的装置，其中所述处理结构使用所述可信度值，以确定用于确定所述指示器位置的指示器坐标数据。
24.如权利要求23所述的装置，其中当与其相关的可信度值低于阈值水平时，所述处理结构忽略由所述成像设备产生的指示器坐标数据。
25.如权利要求24所述的装置，包括一对成像设备。
26.如权利要求25所述的装置，其中每个成像设备邻近于所述触摸面的不同转角而设置。
27.如权利要求26所述的装置，其中每个成像设备与所述触摸面侧向隔开并且隔开在所述触摸面的前面。
28.如权利要求27所述的装置，其中每个成像设备相对于所述触摸面定位，使得至少触摸面的整个周边在其视野区域内。
29.如权利要求28所述的装置，其中对准每个成像设备，使得其光轴与所述触摸面的转角成一直线，并且与所述触摸面的边缘成大约等于45度的角。
30.如权利要求2所述的装置，其中所述成像设备通信，从而帮助在获取图像中确定指示器。
31.如权利要求30所述的装置，其中在获取的图像中检测指示器的成像设备首先将数据传递到其它的成像设备，以帮助那个成像设备在其获取的图像内检测该指示器。
32.如权利要求31所述的装置，其中每个成像设备还产生可信度值，该可信度值表示成像设备确实已经识别到捕获图像中的指示器的可信度。
33.如权利要求32所述的装置，其中所述处理结构使用所述可信度值，以确定用于确定所述指示器位置的指示器坐标数据。
34.如权利要求33所述的装置，其中当与其相关的可信度值低于阈值水平时，所述处理结构忽略由所述成像设备产生的指示器坐标数据。
35.如权利要求34所述的装置，包括一对成像设备。
36.如权利要求35所述的装置，其中每个成像设备邻近于所述触摸面的不同转角而设置。
37.如权利要求36所述的装置，其中每个成像设备与所述触摸面侧向隔开并且隔开在所述触摸面的前面。
38.如权利要求37所述的装置，其中每个成像设备相对于所述触摸面定位，使得至少触摸面的整个周边在其视野区域内。
39.如权利要求38所述的装置，其中对准每个成像设备，使得其光轴与所述触摸面的转角成一直线，并且与所述触摸面的边缘成大约等于45度的角。
40.如权利要求14所述的装置，其中每个成像设备还产生可信度值，该可信度值表示成像设备确实已经识别到捕获图像中的指示器的可信度。
41.如权利要求40所述的装置，其中所述处理结构使用所述可信度值，以确定用于确定所述指示器位置的指示器坐标数据。
42.如权利要求41所述的装置，其中当与其相关的可信度值低于阈值水平时，所述处理结构忽略由所述成像设备产生的指示器坐标数据。
43.如权利要求42所述的装置，包括一对成像设备。
44.如权利要求43所述的装置，其中每个成像设备邻近于所述触摸面的不同转角而设置。
45.如权利要求44所述的装置，其中每个成像设备与所述触摸面侧向隔开并且隔开在所述触摸面的前面。
46.如权利要求45所述的装置，其中每个成像设备相对于所述触摸面定位，使得至少触摸面的整个周边在其视野区域内。
47.如权利要求46所述的装置，其中对准每个成像设备，使得其光轴与所述触摸面的转角成一直线，并且与所述触摸面的边缘成大约等于45度的角。
48.如权利要求2所述的装置，其中所述成像设备是便携的。
49.如权利要求48所述的装置，其中每个成像设备包括数字摄像机和数字信号处理器，其安装在外壳内，所述数字信号处理器处理由所述数字摄像机获取的图像帧，从而产生所述指示器坐标数据。
50.如权利要求48所述的装置，其中每个成像设备包括数字摄像机和数字信号处理器，两个成像设备安装在单独的外壳内，所述数字信号处理器处理由所述数字摄像机获取的图像数据，从而产生所述指示器坐标数据。
51.如权利要求3所述的装置，包括三个或更多的成像设备，其位于沿着所述触摸面的间隔位置处，每个成像设备具有包围所述触摸面的不同部分的视野区域。
52.如权利要求51所述的装置，其中成对设置所述成像设备，每对成像设备查看所述触摸面的不同部分。
53.一种基于摄像机的触摸系统，包括：
通常为矩形的无源触摸面，使用指示器在所述触摸面上进行接触；
摄像装置，可移动的安装在所述触摸面的至少两个转角附近，所述摄像装置中的每个设置在触摸面平面的前方，并且具有扫视且向后看到所述触摸面的视野区域，所述摄像装置的视野区域在所述触摸面上重叠使得所述摄像装置在透视图中看到所述触摸面及其边界，所述摄像装置从不同的视点获取所述触摸面的图像，每个摄像装置将每个获取的图像与描述由所述摄像装置看到的所述触摸面的边界的数学模型进行比较，以确定通常对应于所述触摸面的获取的图像的相关像素的子集，并且每个摄像装置处理每个获取的图像的相关像素的子集以产生图像数据；和
处理器，接收并处理所述图像数据，以通过三角测量相对于所述触摸面确定所述指示器的位置。
54.如权利要求53所述的触摸系统，其中校准每个摄像装置，以建立在其透视图内的点(X，Y，Z)与所获取图像内的点(x，y)之间的关系，当在获取图像内捕获指示器时，每个摄像装置产生指示器坐标数据。
55.如权利要求54所述的触摸系统，其中每个摄像装置在所述触摸面的前方间隔足够的距离，使得至少每个摄像装置看到所述触摸面的四个转角和边在其视野区域内。
56.如权利要求55所述的触摸系统，其中每个摄像装置还产生可信度值，该可信度值表示摄像装置确实已经识别到捕获图像中的指示器的可信度。
57.如权利要求56所述的触摸系统，其中所述处理器使用所述可信度值，以确定用于相对于所述触摸面确定所述指示器位置的指示器坐标数据。
58.如权利要求57所述的触摸系统，其中当与其相关的可信度值低于阈值水平时，所述处理器忽略由所述摄像装置产生的指示器坐标数据。
59.一种用于相对于通常为矩形的触摸面检测指示器的装置，包括：
至少两个间隔的成像设备，具有包围所述触摸面的重叠的视野区域，所述成像设备隔开在所述触摸面的前面并向后看以将所述触摸面在三维空间内看作透视图，该透视图至少包括所述触摸面的四个转角和边，所述成像设备从不同视点获取重叠图像，每个成像装置将每个捕获的图像与描述触摸面的边界的数学模型进行比较，以确定捕获的图像中的相关像素的子集，并且每个成像装置处理每个捕获的图像中的相关像素的子集以产生图像数据，所述相关像素的子集包围所述触摸面；和
处理器，接收和处理由所述成像设备中的至少一个产生的图像数据，从而使用三角测量相对于所述触摸面确定指示器的位置。
60.如权利要求59所述的装置，其中校准每个成像设备，以建立在其透视图内的点(X，Y，Z)与所获取图像内的点(x，y)之间的关系，当在获取图像内捕获指示器时，每个成像设备输出指示器坐标数据。
61.如权利要求60所述的装置，其中每个成像设备在所述触摸面的前方间隔足够的距离，以防止遮挡其整个触摸面的视野。
62.如权利要求61所述的装置，其中每个成像设备还产生可信度值，该可信度值表示成像设备确实已经识别到捕获图像中的指示器的可信度。
63.如权利要求62所述的装置，其中所述处理器使用所述可信度值，以确定用于相对于所述触摸面确定所述指示器位置的指示器坐标数据。
64.如权利要求63所述的装置，其中当与其相关的可信度值低于阈值水平时，所述处理器忽略由所述成像设备产生的指示器坐标数据。
CN2005800144416A 2004-05-05 2005-04-28 用于相对于触摸面检测指示器的装置和方法 Active CN101019096B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US10/838,536 2004-05-05
US10/838,536 US7492357B2 (en) 2004-05-05 2004-05-05 Apparatus and method for detecting a pointer relative to a touch surface
PCT/CA2005/000636 WO2005106775A1 (en) 2004-05-05 2005-04-28 Apparatus and method for detecting a pointer relative to a touch surface

Publications (2)

Publication Number Publication Date
CN101019096A CN101019096A (zh) 2007-08-15
CN101019096B true CN101019096B (zh) 2012-04-18

Family

ID=35239003

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2005800144416A Active CN101019096B (zh) 2004-05-05 2005-04-28 用于相对于触摸面检测指示器的装置和方法

Country Status (6)

Country Link
US (2) US7492357B2 (zh)
EP (2) EP1766501A4 (zh)
JP (1) JP5122948B2 (zh)
CN (1) CN101019096B (zh)
CA (1) CA2564262A1 (zh)
WO (1) WO2005106775A1 (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8289299B2 (en) 2003-02-14 2012-10-16 Next Holdings Limited Touch screen signal processing
US8384693B2 (en) 2007-08-30 2013-02-26 Next Holdings Limited Low profile touch panel systems
US8405636B2 (en) 2008-01-07 2013-03-26 Next Holdings Limited Optical position sensing system and optical position sensor assembly
US8432377B2 (en) 2007-08-30 2013-04-30 Next Holdings Limited Optical touchscreen with improved illumination
US8456447B2 (en) 2003-02-14 2013-06-04 Next Holdings Limited Touch screen signal processing
US8508508B2 (en) 2003-02-14 2013-08-13 Next Holdings Limited Touch screen signal processing with single-point calibration

Families Citing this family (104)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4052498B2 (ja) 1999-10-29 2008-02-27 株式会社リコー 座標入力装置および方法
JP2001184161A (ja) 1999-12-27 2001-07-06 Ricoh Co Ltd 情報入力方法、情報入力装置、筆記入力装置、筆記データ管理方法、表示制御方法、携帯型電子筆記装置および記録媒体
US6803906B1 (en) 2000-07-05 2004-10-12 Smart Technologies, Inc. Passive touch system and method of detecting user input
US6954197B2 (en) 2002-11-15 2005-10-11 Smart Technologies Inc. Size/scale and orientation determination of a pointer in a camera-based touch system
US7532206B2 (en) 2003-03-11 2009-05-12 Smart Technologies Ulc System and method for differentiating between pointers used to contact touch surface
US7411575B2 (en) 2003-09-16 2008-08-12 Smart Technologies Ulc Gesture recognition method and touch system incorporating the same
US7274356B2 (en) 2003-10-09 2007-09-25 Smart Technologies Inc. Apparatus for determining the location of a pointer within a region of interest
US7355593B2 (en) 2004-01-02 2008-04-08 Smart Technologies, Inc. Pointer tracking across multiple overlapping coordinate input sub-regions defining a generally contiguous input region
US7460110B2 (en) 2004-04-29 2008-12-02 Smart Technologies Ulc Dual mode touch system
US7492357B2 (en) * 2004-05-05 2009-02-17 Smart Technologies Ulc Apparatus and method for detecting a pointer relative to a touch surface
US7538759B2 (en) * 2004-05-07 2009-05-26 Next Holdings Limited Touch panel display system with illumination and detection provided from a single edge
US8120596B2 (en) 2004-05-21 2012-02-21 Smart Technologies Ulc Tiled touch system
US7593593B2 (en) 2004-06-16 2009-09-22 Microsoft Corporation Method and system for reducing effects of undesired signals in an infrared imaging system
US20060152482A1 (en) * 2005-01-07 2006-07-13 Chauncy Godwin Virtual interface and control device
US7911444B2 (en) 2005-08-31 2011-03-22 Microsoft Corporation Input method for surface of interactive display
US7630002B2 (en) * 2007-01-05 2009-12-08 Microsoft Corporation Specular reflection reduction using multiple cameras
US9442607B2 (en) * 2006-12-04 2016-09-13 Smart Technologies Inc. Interactive input system and method
US8212857B2 (en) * 2007-01-26 2012-07-03 Microsoft Corporation Alternating light sources to reduce specular reflection
US8115753B2 (en) 2007-04-11 2012-02-14 Next Holdings Limited Touch screen system with hover and click input methods
US8264468B1 (en) 2007-06-19 2012-09-11 Imaging Systems Technology, Inc. Touch system for blue screen
US8094137B2 (en) 2007-07-23 2012-01-10 Smart Technologies Ulc System and method of detecting contact on a display
US8330730B1 (en) 2007-09-04 2012-12-11 Imaging Systems Technology, Inc. Calibrating of interactive touch system for image compositing
US8487881B2 (en) * 2007-10-17 2013-07-16 Smart Technologies Ulc Interactive input system, controller therefor and method of controlling an appliance
US20090128495A1 (en) * 2007-11-20 2009-05-21 Microsoft Corporation Optical input device
US20090207144A1 (en) * 2008-01-07 2009-08-20 Next Holdings Limited Position Sensing System With Edge Positioning Enhancement
US20090213093A1 (en) * 2008-01-07 2009-08-27 Next Holdings Limited Optical position sensor using retroreflection
CN101266530B (zh) * 2008-04-04 2012-12-12 中国海洋大学 大屏幕三维测量触摸屏
US20090277697A1 (en) * 2008-05-09 2009-11-12 Smart Technologies Ulc Interactive Input System And Pen Tool Therefor
US20090278795A1 (en) * 2008-05-09 2009-11-12 Smart Technologies Ulc Interactive Input System And Illumination Assembly Therefor
US8902193B2 (en) 2008-05-09 2014-12-02 Smart Technologies Ulc Interactive input system and bezel therefor
US20090278794A1 (en) * 2008-05-09 2009-11-12 Smart Technologies Ulc Interactive Input System With Controlled Lighting
US20110193777A1 (en) * 2008-06-05 2011-08-11 Smart Technologies Ulc Multiple pointer ambiguity and occlusion resolution
US20110074738A1 (en) * 2008-06-18 2011-03-31 Beijing Irtouch Systems Co., Ltd. Touch Detection Sensing Apparatus
GB2475212B (en) * 2008-09-15 2013-03-20 Hewlett Packard Development Co Touchscreen display with plural cameras
WO2010028490A1 (en) * 2008-09-15 2010-03-18 Smart Technologies Ulc Touch input with image sensor and signal processor
US20100083109A1 (en) * 2008-09-29 2010-04-01 Smart Technologies Ulc Method for handling interactions with multiple users of an interactive input system, and interactive input system executing the method
US8810522B2 (en) * 2008-09-29 2014-08-19 Smart Technologies Ulc Method for selecting and manipulating a graphical object in an interactive input system, and interactive input system executing the method
US20100079409A1 (en) * 2008-09-29 2010-04-01 Smart Technologies Ulc Touch panel for an interactive input system, and interactive input system incorporating the touch panel
JP2012504817A (ja) * 2008-10-02 2012-02-23 ネクスト ホールディングス リミティド タッチ検出システムにおいてマルチタッチを解像するステレオ光センサ
US8339378B2 (en) 2008-11-05 2012-12-25 Smart Technologies Ulc Interactive input system with multi-angle reflector
US20100201812A1 (en) * 2009-02-11 2010-08-12 Smart Technologies Ulc Active display feedback in interactive input systems
US20100207912A1 (en) * 2009-02-13 2010-08-19 Arima Lasers Corp. Detection module and an optical detection system comprising the same
US20100229090A1 (en) * 2009-03-05 2010-09-09 Next Holdings Limited Systems and Methods for Interacting With Touch Displays Using Single-Touch and Multi-Touch Gestures
US7751671B1 (en) * 2009-03-25 2010-07-06 Next Holdings Limited Optical touchscreens comprising removably connected optical members
TWI399677B (zh) * 2009-03-31 2013-06-21 Arima Lasers Corp 光學偵測裝置及其方法
US8884925B2 (en) * 2009-04-05 2014-11-11 Radion Engineering Co. Ltd. Display system and method utilizing optical sensors
JP2010282463A (ja) * 2009-06-05 2010-12-16 Newcom Inc タッチパネル装置
TWI399676B (zh) * 2009-06-30 2013-06-21 Pixart Imaging Inc 觸控螢幕之物件偵測校正系統及其方法
US8416206B2 (en) * 2009-07-08 2013-04-09 Smart Technologies Ulc Method for manipulating a graphic widget in a three-dimensional environment displayed on a touch panel of an interactive input system
US8692768B2 (en) * 2009-07-10 2014-04-08 Smart Technologies Ulc Interactive input system
KR100931520B1 (ko) * 2009-08-11 2009-12-14 (주)누리봄 위치 검출이 가능한 화상 표시 장치
US8902195B2 (en) * 2009-09-01 2014-12-02 Smart Technologies Ulc Interactive input system with improved signal-to-noise ratio (SNR) and image capture method
US20110096034A1 (en) * 2009-10-23 2011-04-28 Sonix Technology Co., Ltd. Optical touch-sensing display
US20110095989A1 (en) * 2009-10-23 2011-04-28 Smart Technologies Ulc Interactive input system and bezel therefor
KR101097992B1 (ko) * 2009-11-05 2011-12-26 주식회사 스마트센스테크놀러지 지시물체의 위치인식장치
WO2011066343A2 (en) * 2009-11-24 2011-06-03 Next Holdings Limited Methods and apparatus for gesture recognition mode control
US20110199387A1 (en) * 2009-11-24 2011-08-18 John David Newton Activating Features on an Imaging Device Based on Manipulations
CN102754048A (zh) * 2009-12-04 2012-10-24 奈克斯特控股公司 用于位置探测的成像方法和系统
US8502789B2 (en) * 2010-01-11 2013-08-06 Smart Technologies Ulc Method for handling user input in an interactive input system, and interactive input system executing the method
US20110176082A1 (en) * 2010-01-18 2011-07-21 Matthew Allard Mounting Members For Touch Sensitive Displays
WO2011089538A1 (en) * 2010-01-25 2011-07-28 Naveen Chawla A stereo-calibration-less multiple-camera human-tracking system for human-computer 3d interaction
JP2011175543A (ja) * 2010-02-25 2011-09-08 Sanyo Electric Co Ltd 指示体検出装置及びタッチパネル
US20110234542A1 (en) * 2010-03-26 2011-09-29 Paul Marson Methods and Systems Utilizing Multiple Wavelengths for Position Detection
JP2011210188A (ja) * 2010-03-30 2011-10-20 Sony Corp 画像処理装置、画像表示方法、画像表示プログラム、および画像表示プログラムを記録した記録媒体
US20110241988A1 (en) * 2010-04-01 2011-10-06 Smart Technologies Ulc Interactive input system and information input method therefor
US9092125B2 (en) 2010-04-08 2015-07-28 Avaya Inc. Multi-mode touchscreen user interface for a multi-state touchscreen device
US8338725B2 (en) 2010-04-29 2012-12-25 Au Optronics Corporation Camera based touch system
US20110285669A1 (en) * 2010-05-21 2011-11-24 Lassesson Kristian Electronic Devices Including Interactive Displays Implemented Using Cameras and Related Methods and Computer Program Products
KR20120005903A (ko) * 2010-07-09 2012-01-17 삼성전자주식회사 복합 감지 장치 및 이를 구비한 전자 기기
US20120007804A1 (en) * 2010-07-12 2012-01-12 Smart Technologies Ulc Interactive input system and method
US8269750B2 (en) * 2010-08-13 2012-09-18 Omnivision Technologies, Inc. Optical position input system and method
US20130154929A1 (en) * 2010-08-27 2013-06-20 Sebastian Stopp Multiple-layer pointing position determination on a medical display
CN102446033A (zh) * 2010-10-12 2012-05-09 太瀚科技股份有限公司 光学触控定位系统与方法
US9019239B2 (en) * 2010-11-29 2015-04-28 Northrop Grumman Systems Corporation Creative design systems and methods
WO2012094742A1 (en) * 2011-01-12 2012-07-19 Smart Technologies Ulc Method and system for manipulating toolbar on an interactive input system
TWI473497B (zh) * 2011-05-18 2015-02-11 Chip Goal Electronics Corp 物件追蹤裝置與應用物件追蹤裝置之互動影像播放系統，及相關方法
US9160979B1 (en) * 2011-05-27 2015-10-13 Trimble Navigation Limited Determining camera position for a photograph having a displaced center of projection
FR2976093B1 (fr) * 2011-06-01 2013-08-16 Thales Sa Systeme tactile a emetteurs et recepteurs optiques
CN104067209B (zh) * 2011-11-11 2017-03-22 原相科技股份有限公司 交互式输入系统及方法
TWI446250B (zh) * 2011-12-05 2014-07-21 Wistron Corp 可攜式光學觸控系統及其操作方法
WO2013113101A1 (en) * 2012-02-02 2013-08-08 Smart Technologies Ulc Interactive input system and method of detecting objects
CN102778976B (zh) * 2012-02-07 2016-03-30 北京京东方光电科技有限公司 一种触摸屏上触摸点位置的确定方法和触摸屏
TWI471778B (zh) * 2012-03-12 2015-02-01 Wintek Corp 觸控裝置及其觸控感測方法
CA2866919C (en) 2012-03-30 2018-08-21 Smart Technologies Ulc Method for generally continuously calibrating an interactive input system
TWI475446B (zh) * 2012-04-24 2015-03-01 Wistron Corp 光學式觸控系統及其擷取訊號調整之方法
KR20140026252A (ko) * 2012-08-22 2014-03-05 동우 화인켐 주식회사 포인팅 표시장치
US9560343B2 (en) 2012-11-23 2017-01-31 Samsung Electronics Co., Ltd. Apparatus and method for calibrating multi-layer three-dimensional (3D) display
JP6241198B2 (ja) 2012-12-07 2017-12-06 株式会社リコー 座標検知装置及び電子情報ボードシステム
EP2941670A4 (en) * 2013-01-07 2016-09-21 Tamaggo Holding Sa PANORAMIC CAMERA
CN103488352B (zh) * 2013-08-27 2016-09-14 合肥工业大学 红外多点触摸屏的坐标捕获以及修正算法
US20150103054A1 (en) * 2013-10-14 2015-04-16 Touchjet Pte. Ltd. Photoelectric touch assembly, photoelectric touch method and projector with touch function
US10185445B2 (en) 2013-10-14 2019-01-22 Touchjet Pte. Ltd. Determining touch signals from interactions with a reference plane proximate to a display surface
US9317150B2 (en) * 2013-12-28 2016-04-19 Intel Corporation Virtual and configurable touchscreens
CN103743342B (zh) * 2013-12-31 2017-04-05 温康纳(常州)机械制造有限公司 同步浮雕视觉识别系统
DE102014000436A1 (de) * 2014-01-16 2015-07-16 Mbda Deutschland Gmbh Verfahren zur Bestimmung der Positionsdaten eines Zielobjekts in einem Referenzsystem und Verfahren zur Führung eines vorzugsweise als Flugkörper ausgebildeten Luftfahrzeugs
JP2015225570A (ja) * 2014-05-29 2015-12-14 富士通テン株式会社 操作装置
EP2985678B1 (en) * 2014-08-11 2019-04-24 Alpine Electronics, Inc. Position detection system and method of calibrating a position detection system
JP6464624B2 (ja) * 2014-09-12 2019-02-06 株式会社リコー 画像処理システム、画像処理装置、方法およびプログラム
US10146331B2 (en) 2014-11-28 2018-12-04 Ricoh Company, Ltd. Information processing system for transforming coordinates of a position designated by a pointer in a virtual image to world coordinates, information processing apparatus, and method of transforming coordinates
TWI582672B (zh) * 2015-01-20 2017-05-11 緯創資通股份有限公司 光學觸控裝置及其觸控偵測方法
TWI564773B (zh) * 2015-08-05 2017-01-01 緯創資通股份有限公司 光學觸控系統及其光學觸控裝置
KR20170024715A (ko) * 2015-08-26 2017-03-08 삼성전자주식회사 객체 검출장치 및 그 객체 검출방법
WO2019147612A1 (en) 2018-01-25 2019-08-01 Neonode Inc. Polar coordinate sensor
US11651516B2 (en) 2020-02-20 2023-05-16 Sony Group Corporation Multiple view triangulation with improved robustness to observation errors

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4746770A (en) * 1987-02-17 1988-05-24 Sensor Frame Incorporated Method and apparatus for isolating and manipulating graphic objects on computer video monitor
CN1440539A (zh) * 2000-07-05 2003-09-03 智能技术公司 基于摄影机的触摸系统
WO2003105074A2 (en) * 2002-06-10 2003-12-18 Steven Montellese Apparatus and method for inputting data

Family Cites Families (173)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3025406A (en) * 1959-02-05 1962-03-13 Flightex Fabrics Inc Light screen for ballistic uses
US3860754A (en) * 1973-05-07 1975-01-14 Univ Illinois Light beam position encoder apparatus
US4144449A (en) 1977-07-08 1979-03-13 Sperry Rand Corporation Position detection apparatus
CA1109539A (en) 1978-04-05 1981-09-22 Her Majesty The Queen, In Right Of Canada, As Represented By The Ministe R Of Communications Touch sensitive computer input device
US4243879A (en) * 1978-04-24 1981-01-06 Carroll Manufacturing Corporation Touch panel with ambient light sampling
US4558313A (en) 1981-12-31 1985-12-10 International Business Machines Corporation Indicator to data processing interface
US4507557A (en) 1983-04-01 1985-03-26 Siemens Corporate Research & Support, Inc. Non-contact X,Y digitizer using two dynamic ram imagers
DE3616490A1 (de) 1985-05-17 1986-11-27 Alps Electric Co Ltd Optische koordinaten-eingabe-vorrichtung
JPS61262917A (ja) 1985-05-17 1986-11-20 Alps Electric Co Ltd 光電式タツチパネルのフイルタ−
US4822145A (en) 1986-05-14 1989-04-18 Massachusetts Institute Of Technology Method and apparatus utilizing waveguide and polarized light for display of dynamic images
JPS6375918A (ja) 1986-09-19 1988-04-06 Alps Electric Co Ltd 座標入力装置
US4782328A (en) 1986-10-02 1988-11-01 Product Development Services, Incorporated Ambient-light-responsive touch screen data input method and system
US4893120A (en) * 1986-11-26 1990-01-09 Digital Electronics Corporation Touch panel using modulated light
US4811004A (en) * 1987-05-11 1989-03-07 Dale Electronics, Inc. Touch panel system and method for using same
US4990901A (en) * 1987-08-25 1991-02-05 Technomarket, Inc. Liquid crystal display touch screen having electronics on one side
US5109435A (en) 1988-08-08 1992-04-28 Hughes Aircraft Company Segmentation method for use against moving objects
US5196835A (en) * 1988-09-30 1993-03-23 International Business Machines Corporation Laser touch panel reflective surface aberration cancelling
US5179369A (en) * 1989-12-06 1993-01-12 Dale Electronics, Inc. Touch panel and method for controlling same
US5130794A (en) * 1990-03-29 1992-07-14 Ritchey Kurtis J Panoramic display system
US5097516A (en) 1991-02-28 1992-03-17 At&T Bell Laboratories Technique for illuminating a surface with a gradient intensity line of light to achieve enhanced two-dimensional imaging
US5196836A (en) * 1991-06-28 1993-03-23 International Business Machines Corporation Touch panel display
US6141000A (en) * 1991-10-21 2000-10-31 Smart Technologies Inc. Projection display system with touch sensing on screen, computer assisted alignment correction and network conferencing
JPH05189137A (ja) * 1992-01-16 1993-07-30 Sumitomo Heavy Ind Ltd 計算機用コマンド入力装置
GB9201949D0 (en) 1992-01-30 1992-03-18 Jenkin Michael Large-scale,touch-sensitive video display
US5483261A (en) 1992-02-14 1996-01-09 Itu Research, Inc. Graphical input controller and method with rear screen image detection
US5880411A (en) 1992-06-08 1999-03-09 Synaptics, Incorporated Object position detector with edge motion feature and gesture recognition
JP3244798B2 (ja) 1992-09-08 2002-01-07 株式会社東芝 動画像処理装置
US5982352A (en) 1992-09-18 1999-11-09 Pryor; Timothy R. Method for providing human input to a computer
EP0594146B1 (en) 1992-10-22 2002-01-09 Advanced Interconnection Technology, Inc. System for automatic optical inspection of wire scribed circuit boards
US5317140A (en) * 1992-11-24 1994-05-31 Dunthorn David I Diffusion-assisted position location particularly for visual pen detection
US5751355A (en) * 1993-01-20 1998-05-12 Elmo Company Limited Camera presentation supporting system
US5502568A (en) 1993-03-23 1996-03-26 Wacom Co., Ltd. Optical position detecting unit, optical coordinate input unit and optical position detecting method employing a pattern having a sequence of 1's and 0's
US5359155A (en) 1993-03-25 1994-10-25 Tiger Scientific Corp. Illumination apparatus for a digitizer tablet
NO302055B1 (no) * 1993-05-24 1998-01-12 Metronor As Fremgangsmåte og system for geometrimåling
US5729704A (en) 1993-07-21 1998-03-17 Xerox Corporation User-directed method for operating on an object-based model data structure through a second contextual image
US5490655A (en) * 1993-09-16 1996-02-13 Monger Mounts, Inc. Video/data projector and monitor ceiling/wall mount
US7310072B2 (en) * 1993-10-22 2007-12-18 Kopin Corporation Portable communication display device
US5739850A (en) * 1993-11-30 1998-04-14 Canon Kabushiki Kaisha Apparatus for improving the image and sound processing capabilities of a camera
US5484966A (en) 1993-12-07 1996-01-16 At&T Corp. Sensing stylus position using single 1-D image sensor
US5712658A (en) * 1993-12-28 1998-01-27 Hitachi, Ltd. Information presentation apparatus and information display apparatus
GB2286100A (en) 1994-01-19 1995-08-02 Ibm Touch-sensitive display apparatus
US5577733A (en) 1994-04-08 1996-11-26 Downing; Dennis L. Targeting system
US5771039A (en) 1994-06-06 1998-06-23 Ditzik; Richard J. Direct view display device integration techniques
US5737740A (en) 1994-06-27 1998-04-07 Numonics Apparatus and method for processing electronic documents
US5638092A (en) 1994-12-20 1997-06-10 Eng; Tommy K. Cursor control system
JPH08179888A (ja) * 1994-12-21 1996-07-12 Hitachi Ltd 大画面ディスプレイ用入力装置
US5554828A (en) 1995-01-03 1996-09-10 Texas Instruments Inc. Integration of pen-based capability into a field emission device system
US5594469A (en) * 1995-02-21 1997-01-14 Mitsubishi Electric Information Technology Center America Inc. Hand gesture machine control system
US5736686A (en) 1995-03-01 1998-04-07 Gtco Corporation Illumination apparatus for a digitizer tablet with improved light panel
US5591945A (en) * 1995-04-19 1997-01-07 Elo Touchsystems, Inc. Acoustic touch position sensor using higher order horizontally polarized shear wave propagation
DE69634913T2 (de) 1995-04-28 2006-01-05 Matsushita Electric Industrial Co., Ltd., Kadoma Schnittstellenvorrichtung
JP3436828B2 (ja) 1995-05-08 2003-08-18 株式会社リコー 画像処理装置
US5734375A (en) * 1995-06-07 1998-03-31 Compaq Computer Corporation Keyboard-compatible optical determination of object's position
US5786810A (en) 1995-06-07 1998-07-28 Compaq Computer Corporation Method of determining an object's position and associated apparatus
US5825352A (en) 1996-01-04 1998-10-20 Logitech, Inc. Multiple fingers contact sensing method for emulating mouse buttons and mouse operations on a touch sensor pad
JPH09190284A (ja) 1996-01-11 1997-07-22 Canon Inc 情報処理装置およびその方法
TW394879B (en) 1996-02-09 2000-06-21 Sega Enterprises Kk Graphics processing system and its data input device
US6002808A (en) 1996-07-26 1999-12-14 Mitsubishi Electric Information Technology Center America, Inc. Hand gesture control system
US6208329B1 (en) * 1996-08-13 2001-03-27 Lsi Logic Corporation Supplemental mouse button emulation system, method and apparatus for a coordinate based data input device
US5936615A (en) 1996-09-12 1999-08-10 Digital Equipment Corporation Image-based touchscreen
US5819201A (en) 1996-09-13 1998-10-06 Magellan Dis, Inc. Navigation system with vehicle service information
JPH10124689A (ja) 1996-10-15 1998-05-15 Nikon Corp 画像記録再生装置
AU5156198A (en) * 1996-10-29 1998-05-22 Xeotron Corporation Optical device utilizing optical waveguides and mechanical light-switches
US6061177A (en) 1996-12-19 2000-05-09 Fujimoto; Kenneth Noboru Integrated computer display and graphical input apparatus and method
US6252989B1 (en) 1997-01-07 2001-06-26 Board Of The Regents, The University Of Texas System Foveated image coding system and method for image bandwidth reduction
JP3624070B2 (ja) 1997-03-07 2005-02-23 キヤノン株式会社 座標入力装置及びその制御方法
US5914709A (en) 1997-03-14 1999-06-22 Poa Sana, Llc User input device for a computer system
US5914783A (en) * 1997-03-24 1999-06-22 Mistubishi Electric Information Technology Center America, Inc. Method and apparatus for detecting the location of a light source
JP3876942B2 (ja) 1997-06-13 2007-02-07 株式会社ワコム 光デジタイザ
US6346966B1 (en) * 1997-07-07 2002-02-12 Agilent Technologies, Inc. Image acquisition system for machine vision applications
US6161066A (en) 1997-08-18 2000-12-12 The Texas A&M University System Advanced law enforcement and response technology
US20020036617A1 (en) 1998-08-21 2002-03-28 Timothy R. Pryor Novel man machine interfaces and applications
US6243074B1 (en) 1997-08-29 2001-06-05 Xerox Corporation Handedness detection for a physical manipulatory grammar
US6072494A (en) 1997-10-15 2000-06-06 Electric Planet, Inc. Method and apparatus for real-time gesture recognition
JP3794180B2 (ja) 1997-11-11 2006-07-05 セイコーエプソン株式会社 座標入力システム及び座標入力装置
TW449709B (en) 1997-11-17 2001-08-11 Hewlett Packard Co A method for distinguishing a contact input
US6310610B1 (en) 1997-12-04 2001-10-30 Nortel Networks Limited Intelligent touch display
EP1717682B1 (en) 1998-01-26 2017-08-16 Apple Inc. Method and apparatus for integrating manual input
AU2439399A (en) * 1998-02-09 1999-08-23 Haim Azaria Video camera computer touch screen system
US6031531A (en) * 1998-04-06 2000-02-29 International Business Machines Corporation Method and system in a graphical user interface for facilitating cursor object movement for physically challenged computer users
JP2000105671A (ja) 1998-05-11 2000-04-11 Ricoh Co Ltd 座標入力／検出装置および電子黒板システム
JP4033582B2 (ja) 1998-06-09 2008-01-16 株式会社リコー 座標入力／検出装置および電子黒板システム
US6064354A (en) 1998-07-01 2000-05-16 Deluca; Michael Joseph Stereoscopic user interface method and apparatus
JP2000043484A (ja) * 1998-07-30 2000-02-15 Ricoh Co Ltd 電子黒板システム
JP2000089913A (ja) 1998-09-08 2000-03-31 Gunze Ltd タッチパネル入力座標変換装置
DE19845030A1 (de) 1998-09-30 2000-04-20 Siemens Ag Bildsystem
US6972753B1 (en) 1998-10-02 2005-12-06 Semiconductor Energy Laboratory Co., Ltd. Touch panel, display device provided with touch panel and electronic equipment provided with display device
US6690357B1 (en) * 1998-10-07 2004-02-10 Intel Corporation Input device using scanning sensors
DE19856007A1 (de) * 1998-12-04 2000-06-21 Bayer Ag Anzeigevorrichtung mit Berührungssensor
US6335724B1 (en) 1999-01-29 2002-01-01 Ricoh Company, Ltd. Method and device for inputting coordinate-position and a display board system
JP2000222110A (ja) * 1999-01-29 2000-08-11 Ricoh Elemex Corp 座標入力装置
US6530664B2 (en) * 1999-03-03 2003-03-11 3M Innovative Properties Company Integrated front projection system with enhanced dry erase screen configuration
US6179426B1 (en) * 1999-03-03 2001-01-30 3M Innovative Properties Company Integrated front projection system
US6545669B1 (en) 1999-03-26 2003-04-08 Husam Kinawi Object-drag continuity between discontinuous touch-screens
JP2000298544A (ja) * 1999-04-12 2000-10-24 Matsushita Electric Ind Co Ltd 入出力装置と入出力方法
JP3830121B2 (ja) * 1999-06-10 2006-10-04 株式会社 ニューコム 物体検出用光学ユニット及びそれを用いた位置座標入力装置
TW459192B (en) 1999-06-25 2001-10-11 Toshiba Corp Electronic apparatus and electronic system provided with the same
JP2001014091A (ja) * 1999-06-30 2001-01-19 Ricoh Co Ltd 座標入力装置
US6275214B1 (en) * 1999-07-06 2001-08-14 Karl C. Hansen Computer presentation system and method with optical tracking of wireless pointer
JP3986710B2 (ja) * 1999-07-15 2007-10-03 株式会社リコー 座標検出装置
JP2001060145A (ja) 1999-08-23 2001-03-06 Ricoh Co Ltd 座標入力／検出システムおよびその位置合わせ調整方法
JP3905670B2 (ja) 1999-09-10 2007-04-18 株式会社リコー 座標入力検出装置、情報記憶媒体及び座標入力検出方法
JP4057200B2 (ja) 1999-09-10 2008-03-05 株式会社リコー 座標入力装置および座標入力装置の記録媒体
US6512838B1 (en) 1999-09-22 2003-01-28 Canesta, Inc. Methods for enhancing performance and data acquired from three-dimensional image systems
WO2001023933A1 (fr) 1999-09-29 2001-04-05 Nikon Corporation Systeme optique de projection
WO2003007049A1 (en) * 1999-10-05 2003-01-23 Iridigm Display Corporation Photonic mems and structures
JP4052498B2 (ja) * 1999-10-29 2008-02-27 株式会社リコー 座標入力装置および方法
US6710770B2 (en) 2000-02-11 2004-03-23 Canesta, Inc. Quasi-three-dimensional method and apparatus to detect and localize interaction of user-object and virtual transfer device
WO2001035053A1 (en) * 1999-11-12 2001-05-17 Armstrong Brian S Image metrology methods and apparatus
JP2001184161A (ja) * 1999-12-27 2001-07-06 Ricoh Co Ltd 情報入力方法、情報入力装置、筆記入力装置、筆記データ管理方法、表示制御方法、携帯型電子筆記装置および記録媒体
US6529189B1 (en) * 2000-02-08 2003-03-04 International Business Machines Corporation Touch screen stylus with IR-coupled selection buttons
JP3934846B2 (ja) 2000-03-06 2007-06-20 株式会社リコー 座標入力／検出装置、電子黒板システム、受光素子の位置ズレ補正方法及び記憶媒体
JP2001265516A (ja) 2000-03-16 2001-09-28 Ricoh Co Ltd 座標入力装置
JP2001282445A (ja) 2000-03-31 2001-10-12 Ricoh Co Ltd 座標入力／検出装置および情報表示入力装置
US6864882B2 (en) 2000-05-24 2005-03-08 Next Holdings Limited Protected touch panel display system
US6690397B1 (en) 2000-06-05 2004-02-10 Advanced Neuromodulation Systems, Inc. System for regional data association and presentation and method for the same
US6690363B2 (en) 2000-06-19 2004-02-10 Next Holdings Limited Touch panel display system
US6803906B1 (en) * 2000-07-05 2004-10-12 Smart Technologies, Inc. Passive touch system and method of detecting user input
US7466843B2 (en) * 2000-07-07 2008-12-16 Pryor Timothy R Multi-functional control and entertainment systems
US6531999B1 (en) 2000-07-13 2003-03-11 Koninklijke Philips Electronics N.V. Pointing direction calibration in video conferencing and other camera-based system applications
JP3851763B2 (ja) * 2000-08-04 2006-11-29 株式会社シロク 位置検出装置、位置指示器、位置検出方法及びペンダウン検出方法
US6747663B2 (en) 2000-08-24 2004-06-08 Sun Microsystems, Inc. Interpolating sample values from known triangle vertex values
JP3793014B2 (ja) 2000-10-03 2006-07-05 キヤノン株式会社 電子源の製造装置、電子源の製造方法及び画像形成装置の製造方法
WO2002033541A2 (en) * 2000-10-16 2002-04-25 Tangis Corporation Dynamically determining appropriate computer interfaces
US6774889B1 (en) 2000-10-24 2004-08-10 Microsoft Corporation System and method for transforming an ordinary computer monitor screen into a touch screen
US6518600B1 (en) * 2000-11-17 2003-02-11 General Electric Company Dual encapsulation for an LED
JP2002196874A (ja) * 2000-12-27 2002-07-12 Ntt Docomo Inc 手書きデータ入力装置及び方法並びに個人認証装置及び方法
US7030861B1 (en) 2001-02-10 2006-04-18 Wayne Carl Westerman System and method for packing multi-touch gestures onto a hand
JP4768143B2 (ja) * 2001-03-26 2011-09-07 株式会社リコー 情報入出力装置、情報入出力制御方法およびプログラム
JP4551018B2 (ja) 2001-04-05 2010-09-22 富士通株式会社 画像結合装置
US6517266B2 (en) * 2001-05-15 2003-02-11 Xerox Corporation Systems and methods for hand-held printing on a surface or medium
US6919880B2 (en) 2001-06-01 2005-07-19 Smart Technologies Inc. Calibrating camera offsets to facilitate object position determination using triangulation
GB2378073B (en) 2001-07-27 2005-08-31 Hewlett Packard Co Paper-to-computer interfaces
US7555157B2 (en) * 2001-09-07 2009-06-30 Geoff Davidson System and method for transforming graphical images
US7007236B2 (en) 2001-09-14 2006-02-28 Accenture Global Services Gmbh Lab window collaboration
JP2003173237A (ja) 2001-09-28 2003-06-20 Ricoh Co Ltd 情報入出力システム、プログラム及び記憶媒体
US7254775B2 (en) * 2001-10-03 2007-08-07 3M Innovative Properties Company Touch panel system and method for distinguishing multiple touch inputs
JP3920067B2 (ja) * 2001-10-09 2007-05-30 株式会社イーアイティー 座標入力装置
JP2003167669A (ja) 2001-11-22 2003-06-13 Internatl Business Mach Corp <Ibm> 情報処理装置、プログラム及び座標入力方法
US6628216B2 (en) 2002-02-13 2003-09-30 Intersil Americas Inc. Calibration of resistor ladder using difference measurement and parallel resistive correction
JP3763409B2 (ja) * 2002-03-27 2006-04-05 独立行政法人理化学研究所 ３次元位置入力デバイス
US7038659B2 (en) 2002-04-06 2006-05-02 Janusz Wiktor Rajkowski Symbol encoding apparatus and method
US20040144760A1 (en) * 2002-05-17 2004-07-29 Cahill Steven P. Method and system for marking a workpiece such as a semiconductor wafer and laser marker for use therein
JP2004005272A (ja) * 2002-05-31 2004-01-08 Cad Center:Kk 仮想空間移動制御装置及び制御方法並びに制御プログラム
JP2004013314A (ja) * 2002-06-04 2004-01-15 Fuji Xerox Co Ltd 位置測定用入力支援装置
CA2390506C (en) * 2002-06-12 2013-04-02 Smart Technologies Inc. System and method for recognizing connector gestures
US20040001144A1 (en) * 2002-06-27 2004-01-01 Mccharles Randy Synchronization of camera images in camera-based touch system to enhance position determination of fast moving objects
JP2004038528A (ja) * 2002-07-03 2004-02-05 Saeilo Japan Inc 光学式座標検出装置
JP4147059B2 (ja) * 2002-07-03 2008-09-10 株式会社トプコン キャリブレーション用データ測定装置、測定方法及び測定プログラム、並びにコンピュータ読取可能な記録媒体、画像データ処理装置
JP2004046464A (ja) * 2002-07-10 2004-02-12 Nippon Telegr & Teleph Corp <Ntt> 移動物体３次元位置推定装置及びその方法、プログラム並びにその記録媒体
JP2004078613A (ja) * 2002-08-19 2004-03-11 Fujitsu Ltd タッチパネル装置
EP1550028A1 (en) * 2002-10-10 2005-07-06 Waawoo Technology Inc. Pen-shaped optical mouse
US7333135B2 (en) * 2002-10-15 2008-02-19 Fuji Xerox Co., Ltd. Method, apparatus, and system for remotely annotating a target
US6954197B2 (en) * 2002-11-15 2005-10-11 Smart Technologies Inc. Size/scale and orientation determination of a pointer in a camera-based touch system
US6972401B2 (en) 2003-01-30 2005-12-06 Smart Technologies Inc. Illuminated bezel and touch system incorporating the same
AU2003304127A1 (en) * 2003-05-19 2004-12-03 Itzhak Baruch Optical coordinate input device comprising few elements
WO2005010623A2 (en) * 2003-07-24 2005-02-03 Zebra Imaging, Inc. Enhanced environment visualization using holographic stereograms
US20050052427A1 (en) * 2003-09-10 2005-03-10 Wu Michael Chi Hung Hand gesture interaction with touch surface
US7411575B2 (en) * 2003-09-16 2008-08-12 Smart Technologies Ulc Gesture recognition method and touch system incorporating the same
US7232986B2 (en) * 2004-02-17 2007-06-19 Smart Technologies Inc. Apparatus for detecting a pointer within a region of interest
US7492357B2 (en) * 2004-05-05 2009-02-17 Smart Technologies Ulc Apparatus and method for detecting a pointer relative to a touch surface
JP4442877B2 (ja) * 2004-07-14 2010-03-31 キヤノン株式会社 座標入力装置およびその制御方法
US20080129707A1 (en) * 2004-07-27 2008-06-05 Pryor Timothy R Method and apparatus employing multi-functional controls and displays
US20070019103A1 (en) * 2005-07-25 2007-01-25 Vkb Inc. Optical apparatus for virtual interface projection and sensing
KR102125605B1 (ko) * 2006-06-09 2020-06-22 애플 인크. 터치 스크린 액정 디스플레이
US7333095B1 (en) * 2006-07-12 2008-02-19 Lumio Inc Illumination for optical touch panel
US7333094B2 (en) * 2006-07-12 2008-02-19 Lumio Inc. Optical touch screen
US8441467B2 (en) * 2006-08-03 2013-05-14 Perceptive Pixel Inc. Multi-touch sensing display through frustrated total internal reflection
TWI355631B (en) * 2006-08-31 2012-01-01 Au Optronics Corp Liquid crystal display with a liquid crystal touch
TWI354962B (en) * 2006-09-01 2011-12-21 Au Optronics Corp Liquid crystal display with a liquid crystal touch
US8564544B2 (en) * 2006-09-06 2013-10-22 Apple Inc. Touch screen device, method, and graphical user interface for customizing display of content category icons
WO2009029767A1 (en) * 2007-08-30 2009-03-05 Next Holdings, Inc. Optical touchscreen with improved illumination
CA2697856A1 (en) * 2007-08-30 2009-03-05 Next Holdings, Inc. Low profile touch panel systems

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4746770A (en) * 1987-02-17 1988-05-24 Sensor Frame Incorporated Method and apparatus for isolating and manipulating graphic objects on computer video monitor
CN1440539A (zh) * 2000-07-05 2003-09-03 智能技术公司 基于摄影机的触摸系统
WO2003105074A2 (en) * 2002-06-10 2003-12-18 Steven Montellese Apparatus and method for inputting data

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8289299B2 (en) 2003-02-14 2012-10-16 Next Holdings Limited Touch screen signal processing
US8456447B2 (en) 2003-02-14 2013-06-04 Next Holdings Limited Touch screen signal processing
US8466885B2 (en) 2003-02-14 2013-06-18 Next Holdings Limited Touch screen signal processing
US8508508B2 (en) 2003-02-14 2013-08-13 Next Holdings Limited Touch screen signal processing with single-point calibration
US8384693B2 (en) 2007-08-30 2013-02-26 Next Holdings Limited Low profile touch panel systems
US8432377B2 (en) 2007-08-30 2013-04-30 Next Holdings Limited Optical touchscreen with improved illumination
US8405636B2 (en) 2008-01-07 2013-03-26 Next Holdings Limited Optical position sensing system and optical position sensor assembly
US8405637B2 (en) 2008-01-07 2013-03-26 Next Holdings Limited Optical position sensing system and optical position sensor assembly with convex imaging window

Also Published As

Publication number Publication date
WO2005106775A1 (en) 2005-11-10
CA2564262A1 (en) 2005-11-10
US20050248539A1 (en) 2005-11-10
US7492357B2 (en) 2009-02-17
US20090146972A1 (en) 2009-06-11
JP2007536652A (ja) 2007-12-13
JP5122948B2 (ja) 2013-01-16
EP1766501A1 (en) 2007-03-28
EP2562622A3 (en) 2013-08-07
CN101019096A (zh) 2007-08-15
EP1766501A4 (en) 2008-07-16
EP2562622A2 (en) 2013-02-27

Similar Documents

Publication Publication Date Title
CN101019096B (zh) 用于相对于触摸面检测指示器的装置和方法
EP1611503B1 (en) Auto-aligning touch system and method
CN108805936B (zh) 摄像机外参标定方法、装置和电子设备
CN101627356B (zh) 交互式输入系统和方法
CN110930463B (zh) 一种监控摄像头内参标定方法、装置和电子设备
CN102375619A (zh) 光学位置输入系统和方法
CN111630342A (zh) 视觉焊接系统的缝隙检测方法以及系统
CN110398215A (zh) 图像处理装置和方法，系统，物品制造方法，存储介质
Jiang et al. An accurate and flexible technique for camera calibration
CN102881040A (zh) 一种数码相机移动拍摄三维重建方法
Tezaur et al. A new non-central model for fisheye calibration
Otero et al. Local iterative DLT soft-computing vs. interval-valued stereo calibration and triangulation with uncertainty bounding in 3D reconstruction
CN113034615B (zh) 一种用于多源数据融合的设备标定方法及相关装置
WO2020042030A1 (zh) 视觉焊接系统的缝隙检测方法以及系统
CN117036448B (zh) 一种多视角相机的场景构建方法及系统
JP3446020B2 (ja) 形状計測方法
CN112446928B (zh) 一种拍摄装置的外参确定系统和方法
CN113763478B (en) Unmanned vehicle camera calibration method, device, equipment, storage medium and system
CN117058331B (zh) 基于单个监控摄像机的室内人员三维轨迹重建方法及系统
Alturki et al. Accurate estimation of principal point using three mutually orthogonal horizon lines
De Boi et al. How to turn your camera into a perfect pinhole model
Zhu et al. An automatic laser sheet calibration method for laser scan range measurement system
CN117367308A (zh) 三维全场应变测量方法及其在机械设备中的应用
JP2023010392A (ja) 画像処理装置、画像処理装置の制御方法および画像処理プログラム
CN117631827A (zh) 信息显示方法、装置及智能穿戴设备

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
ASS Succession or assignment of patent right

Owner name: INTELLIGENCE TECHNOLOGY UNLIMITED LIABILITY COMPAN

Free format text: FORMER OWNER: INTELLIGENCE TECHNOLOGY CO.,LTD.

Effective date: 20100115

C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20100115

Address after: Alberta Canada

Applicant after: Smart Technologies Inc.

Address before: Alberta Canada

Applicant before: Smart Technologies Inc.

C14 Grant of patent or utility model
GR01 Patent grant
ASS Succession or assignment of patent right

Owner name: YUANXIANG SCIENCE + TECHNOLOGY CO., LTD.

Free format text: FORMER OWNER: SMART TECHNOLOGIES INC.

Effective date: 20140625

C41 Transfer of patent application or patent right or utility model
COR Change of bibliographic data

Free format text: CORRECT: ADDRESS; TO: TAIWAN, CHINA

TR01 Transfer of patent right

Effective date of registration: 20140625

Address after: Hsinchu City, Taiwan, China

Patentee after: Yuanxiang Science & Technology Co., Ltd.

Address before: Alberta Canada

Patentee before: Smart Technologies Inc.