CN1485711A - 三维手写识别的方法及其系统 - Google Patents

Abstract

本发明提供了一种三维手写识别系统，该系统允许用户用一种非接触的方法在三维空间自由地书写字或字符，无需任何物理媒体如便签本或写字板。通过系统的输入设备追踪用户在三维空间中的手写输入，产生相应的三维运动数据，并将三维运动数据无线传送到系统的识别设备。三维运动数据被转换并接着投影到一个二维平面上以产生相应的用于手写识别的二维图像。通过这种方法，用户的输入将不受任何屏幕、便签本或平面的限制，且用户将得到更灵活的和愉悦的书写体验。

Description

三维手写识别的方法及其系统

                                技术领域

本发明涉及手写识别技术，特别涉及三维(3D)手写识别的方法及其系统。

                                背景技术

手写识别是一种技术，通过该技术智能系统能够识别手写的文字和各种符号。由于该技术使用户从键盘操作中解脱出来，且允许用户用一种更自然的方法来书写和画图，因此已经被人们所广泛应用。随着用户需求的不断增加，越来越多的设备中已经配备了手写识别系统以便于用户自然地进行输入。手写识别在各种提供带有复杂结构文字(如中文)的手写识别功能的手持设备中应用特别广泛，而且使用传统键盘输入这些文字是非常费时和不自然的。

手写输入设备为用户提供了一种输入信息的亲和方法。目前，对输入设备的最低需求是鼠标。为了用鼠标书写，用户需要按住且压下鼠标的基本按钮，然后移动鼠标的指针来形成一个字或字符的笔划以至最终产生字或字符。广泛使用的手写输入设备，如触笔及书写板，在传统的手持设备如PDA中使用，或通过串行端口或USB端口连接到计算机上。手持设备通常使用触笔和接触屏帮助用户完成输入功能。大多数的手持设备如PDA都配备有这种输入设备。

另一种手写输入设备可以是一支笔，它允许用户简单地在一张普通白纸上用自然笔迹写或画，然后将数据传输到具有识别功能的接收单元例如手机、PDA或PC。

目前，所有传统的手写输入设备均采用二维输入方法。用户必须在物理媒体上书写，如写字板、接触屏、或纸便签本。这限制了用户的使用范围。例如，如果一个用户想要在一场表演或演讲过程中写下一些评论，那么他不得不首先找到一物理媒体，如一个书写板、一本便签本等。这就给站立在房间中进行表演或演讲的用户带来了相当不便。同样，在一个移动环境中，如在小轿车、公共汽车或地铁里，用一支触笔在物理媒体上书写也是非常不便的。

因此，有需要提供一种改进的手写识别系统，该系统将给用户带来更大的灵活性和便捷性，并将用户从二维手写识别所需要的物理媒体中解脱出来。

                                发明内容

本发明通过允许用户用一种非接触的方法在三维空间里自由地书写，给用户带来了灵活和愉悦的书写体验，无需任何物理媒体如便签本或书写板等。

根据本发明，提供了一种包括一个输入设备和一个与输入设备信息交流的识别设备的手写识别系统。输入设备包括一个三维运动检测传感器，它可以感知三维运动，并产生三维运动的数据。在一个实施例中，运动检测传感器测量出三维运动在X、Y和Z轴方向的加速度以便产生三维运动数据。识别设备从输入设备接收(例如：通过无线手段)三维运动数据，并以三维运动数据为基础推导相应的用于手写识别的二维(2D)图像。

根据本发明的一个实施例，识别设备以三维运动数据为基础计算相应的三维坐标，且以三维坐标为基础构造相应的三维轨迹，并通过将三维轨迹投影到二维平面上，从三维轨迹中推导相应的用于手写识别的二维图像。

本发明的其它目的和成就以及对本发明更完整的理解将通过下面结合附图而取得的描述和权利要求的内容而变得显著和易于理解。

                                附图说明

图1显示了根据本发明的一个实施例的三维手写识别系统；

图2是根据本发明的一个实施例说明识别过程的流程图；

图3A显示了将三维轨迹投影在二维投影平面上推导出的中文字的二维图像；

图3B显示了在图3A中二维图像的基础上得到的手写识别过程的最终结果；

图4显示了根据本发明的一个实施例的一个三维手写输入设备的外部结构；以及

图5画出了输入设备可能的安装方式。

在所有的图中，相同的参考数字表示相似的或相应的特征或功能。

                               具体实施方式

用举例的方法，并参考附图，进一步详细说明本发明：

图1显示了根据本发明的一个实施例的三维手写识别系统10。如图所示，系统10包括一个手写输入设备20、一个识别设备30以及一个输出设备40。输入设备20包括一个三维运动检测传感器22、一个控制电路26以及一个通信接口28。识别设备30包括一个处理器32、一个内存34、一个存储设备36，以及一个通信接口38。为简明起见，图1中没有显示其它常规元件。

在操作中，用户移动输入设备20在三维空间如空气中自由地书写文字或字符。运动检测传感器22检测三维运动并经通信接口28如蓝牙、Zigbee、IEEE802.11、红外线或USB端口，将三维运动数据和抽样率传送到识别设备30用于手写识别。抽样率可以基于各种因素如系统的处理能力，由最终用户或生产商预先确定其值。或者，抽样率可以基于例如运动的速度来动态确定和调节。可以这样做，例如，首先确定和手写有关初始运动的速度。接着识别设备能以上一次抽样点的速度为基础动态地调整抽样率。速度越高，抽样率也越高，反之亦然。通过动态地调整抽样率，可以提高手写识别的精确度，因为只有最佳数量的抽样点才能用于构成文字或字符。此外，只需消耗低功率。

以从输入设备20接收到的运动数据和抽样率为基础，处理器32计算X、Y和Z轴上的相应的三维坐标，并将这些坐标存入存储设备36中。处理器32用经过计算的坐标来构造相应的三维轨迹。接着将该三维轨迹投影在二维平面上，用于形成能用传统的手写识别软件识别的二维图像。最终结果显示在输出设备40上。

由于三维书写是一个连续的过程，输入设备20的控制电路26经接口28为识别设备提供一个控制信号，用于在接收到用户提供的外部输入时分隔单独的文字或字符。例如，用户可以在书写完一个字或字符后，按住一个控制钮使控制电路26产生控制信号。

根据本发明的特定的实施例，运动检测传感器22通过测量沿X、Y和Z轴移动的加速度来检测三维运动。例如，日本东京Hitachi金属有限公司生产的三维压电电阻加速传感器可以用作运动检测传感器22。该IC芯片形式的加速传感器具有同时检测三个轴向(X、Y和Z)加速度的能力。该传感器高度灵敏且抗冲击，同时它是非常小且薄的半导体型三维加速传感器。更多有关于该加速传感器的信息可以在以下的网站上获得： http：//www.hitachi- metals.co.ip/e/prod/prod06/p06_10.html，这些信息通过引用结合在本文中。

图2是根据本发明的一个实施例说明由识别设备30完成识别过程100的流程图。在图2中，识别设备30从输入设备20中接收三维运动数据(例如：在X、Y和Z轴方向移动的加速度数据)和抽样率(步骤102)。以收到的信息为基础，处理器32将移动的开始点用作原点，计算每个抽样点的相应的X、Y和Z轴上的三维坐标(步骤106)。每个抽样点也作为计算下一个抽样点坐标的参考点。

以引入的三维运动数据为基础不断地进行三维坐标的计算，直到处理器32检测收到一个控制信号(步骤112)。该控制信号表示一个字或字符的书写完毕。用三维坐标构造相应的三维轨迹(步骤116)并接着投影到二维平面上(步骤122)。此后，进行传统的二维手写识别(步骤126)。

在上述识别过程100中，为了在步骤122将三维轨迹投影到二维平面上，首先必须找到一个合适的二维投影平面。在本发明的一个最佳实施例中，为每一个字或字符都分别推导出合适的二维投影平面。

根据几何原理，一个合适的二维投影平面是一个平面，每个抽样点到该平面的距离平方的总和是最小的。假设n个抽样点的坐标如下：(x₁，y₁，z₁)，(x₂，y₂，z₂)...(x_n，y_n，z_n)，平面方程为Ax+By+Cz+D＝0，其中(A²+B²+C²≠0)。现在必须决定A，B，C，D的值。给出了从一点(x₁，y₁，z₁)到平面的距离 $d_1=\frac{|A{x}_1+{\mathrm{By}}_1+{\mathrm{Cz}}_1+D|}{\sqrt{A^2+B^2+C^2}},$ 并用F(A，B，C，D)代表的总和 表示为：

$F(A,B,C,D)=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{d_i}^2=\frac{{({\mathrm{Ax}}_1+{\mathrm{By}}_1+{\mathrm{Cz}}_1+D)}^2+{({\mathrm{Ax}}_2+{\mathrm{By}}_2+{\mathrm{Cz}}_2+D)}^2+\…+{({\mathrm{Ax}}_n+{\mathrm{By}}_n+{\mathrm{Cz}}_n+D)}^2}{A^2+B^2+C^2}$

A，B，C，D的值可以用下述拉格朗日乘法的方法确定，该方法在欧阳光中主编的《数学分析》中有描述，该书由复旦大学出版社于1999年在中国出版发行，其内容通过引用结合在本文中。这样在A²+B²+C²＝1的约束下，F(A，B，C，D)＝F′(A，B，C，D)＝(Ax₁+By₁+Cz₁+D)²+(Ax₂+By₂+Cz₂+D)²+...+(Ax_n+By_n+Cz_n+D)²。根据拉格朗日乘法，我们可以构造如下方程：

G(A，B，C，D)＝F′(A，B，C，D)+λ(A²+B²+C²-1)

其中λ是拉格朗日乘子，它是一个常数。G(A，B，C，D)关于A、B、C和D的偏微分方程如下：

$\frac{\∂G(A,B,C,D)}{\∂A}=0$

$\frac{\∂G(A,B,C,D)}{\∂B}=0$

$\frac{\∂G(A,B,C,D)}{\∂C}=0$

$\frac{\∂G(A,B,C,D)}{\∂D}=0$

从上述的4个方程可以得到以下的方程：

$A({\mathrm{\Σ}}_{i=1}^n(x_i*x_i)+\mathrm{\λ})+B{\mathrm{\Σ}}_{i=1}^n(x_i*y_i)+C{\mathrm{\Σ}}_{i=1}^n(x_i*z_i)+D{\mathrm{\Σ}}_{i=1}^n{x}_i=0......\left(1\right)$

$A{\mathrm{\Σ}}_{i=1}^n(x_i*y_i)+B({\mathrm{\Σ}}_{i=1}^n(y_i*y_i)+\mathrm{\λ})+C{\mathrm{\Σ}}_{i=1}^n(y_i*z_i)+D{\mathrm{\Σ}}_{i=1}^n{y}_i=0......\left(2\right)$

$A{\mathrm{\Σ}}_{i=1}^n(x_i*z_i)+B{\mathrm{\Σ}}_{i=1}^n(z_i*y_i)+C({\mathrm{\Σ}}_{i=1}^n(z_i*z_i)+\mathrm{\λ})+D{\mathrm{\Σ}}_{i=1}^n{z}_i=0.....\left(3\right)$

$A{\mathrm{\Σ}}_{i=1}^n{x}_i+B{\mathrm{\Σ}}_{i=1}^n{y}_i+C{\mathrm{\Σ}}_{i=1}^n{z}_i+\mathrm{nD}=0......\left(4\right)$

   A²+B²+C²＝1                        (5)

其中方程(4)可以改写成：

$D=-\frac{1}{n}(A{\mathrm{\Σ}}_{i=1}^n{x}_i+B{\mathrm{\Σ}}_{i=1}^n{y}_i+C{\mathrm{\Σ}}_{i=1}^n{z}_i)......\left(6\right)$

将方程(6)代入方程(1)、(2)和(3)得到下述方程：

$\left[\begin{array}{ccc}{\mathrm{\Σ}}_{i=1}^n(x_i*x_i)-\frac{1}{n}{\mathrm{\Σ}}_{i=1}^n(x_i*x_i)& {\mathrm{\Σ}}_{i=1}^n(x_i*y_i)-\frac{1}{n}{\mathrm{\Σ}}_{i=1}^n(x_i*y_i)& {\mathrm{\Σ}}_{i=1}^n(x_i*z_i)-\frac{1}{n}{\mathrm{\Σ}}_{i=1}^n(x_i*z_i)\\ {\mathrm{\Σ}}_{i=1}^n(x_i*y_i)-\frac{1}{n}{\mathrm{\Σ}}_{i=1}^n(x_i*y_i)& {\mathrm{\Σ}}_{i=1}^n(y_i*y_i)-\frac{1}{n}{\mathrm{\Σ}}_{i=1}^n(y_i*y_i)& {\mathrm{\Σ}}_{i=1}^n(z_i*y_i)-\frac{1}{n}{\mathrm{\Σ}}_{i=1}^n(z_i*y_i)\\ {\mathrm{\Σ}}_{i=1}^n(x_i*z_i)-\frac{1}{n}{\mathrm{\Σ}}_{i=1}^n(x_i*z_i)& {\mathrm{\Σ}}_{i=1}^n(z_i*y_i)-\frac{1}{n}{\mathrm{\Σ}}_{i=1}^n\left(z_i*y_i\right)& {\mathrm{\Σ}}_{i=1}^n(z_i*z_i)-\frac{1}{n}{\mathrm{\Σ}}_{i=1}^n(z_i*z_i)\end{array}\right]*\left[\begin{array}{c}A\\ B\\ C\end{array}\right]=-\mathrm{\λ}\left[\begin{array}{c}A\\ B\\ C\end{array}\right]..........\left(7\right)$

这样，从上述方程中可以得到A、B、C和D的值。

举例来说，下面是一个中文字的全部13个抽样点的全部三维坐标：{(0，0，0)，(0.49，-1，0.02)，(1，0，0.03)，(0，0，0.02)，(2，-0.13，0.01)，(3.5，-0.14，0)，(3.76，-0.31，-0.01)，(2.74，-1.26，0.01)，(1.38，-2.24，0)，(2.5，-2，0.01)，(1.746，1，0.02，)，(2，-1.5，0.03)，(1.876，-4.5，0.02)，}。

通过使用上述拉格朗日乘法的方法，可以得到下面的方程：

$\left[\begin{array}{ccc}53.407& -23.6725& 0.1911\\ -23.6725& 36.2195& -0.2084\\ 0.1911& -0.2084& 0.0035\end{array}\right]*\left[\begin{array}{c}A\\ B\\ C\end{array}\right]=-\mathrm{\λ}\left[\begin{array}{c}A\\ B\\ C\end{array}\right],$

   A²+B²+C²＝1，以及

$D=-\frac{1}{13}(\mathrm{A\Σ}{x}_i+\mathrm{B\Σ}{y}_i+\mathrm{C\Σ}{z}_i).$

从上述方程中确定A、B、C和D的值如下：

A＝0.0045，B＝0.0023，C＝0.9999，D＝-0.01777

这样，二维投影平面的方程为0.0045x+0.0023y+0.9999z-0.01777＝0。从投影平面方程、Ax+By+Cz+D＝0、以及垂直于投影平面的直线的方程、 $\frac{x-x_i}{A}=\frac{y-y_i}{B}=\frac{z-z_i}{C}$ 中得到以下的方程：

$x=\frac{(B^2+C^2)x_i-A({\mathrm{By}}_i+{\mathrm{Cz}}_i+D)}{A^2+B^2+C^2}$

$y=\frac{(A^2+C^2)y_i-B({\mathrm{Ax}}_i+{\mathrm{Cz}}_i+D)}{A^2+B^2+C^2}$

可以使用上述方程来获取每个三维抽样点相应的二维坐标。在这个例子中，获得的相应的二维坐标为：{(0.0001，0)，(0.49，-1)，(1，-2.0001)，(0，0)，(2，-0.13)，(3.5001，-0.14)，(3.7601，-0.31)，(2.7401，-1.26)，(1.3801，2.24)，(2.5001，-2)，(1.746，1)，(2，-1.5001)，(1.876，-4.5001)}。以这些二维坐标为基础，相应的二维图像被绘制在二维投影平面上。在图3A中显示了该中文字的结果。完成传统的二维手写识别过程就产生了最终结果，如图3B所示。

上面采用拉格朗日乘法的方法来获取A、B、C和D的值，也可以采用其它方法如线性回归方法。

图4显示了根据本发明的一个实施例的一个三维手写输入设备200的外部结构。如图4所示，输入设备200包括一个含有装置的电子部件(如三维运动检测传感器IC芯片)的外壳210，一个用于允许用户输入一个表示书写完一个字或字符的控制信号的控制按钮212，以及一个用于将输入设备戴在用户手指上的带子220。

图5画出了怎样戴输入设备200的方式。在图5中，设备200戴在用户的手230的一个手指232上。由于将它戴在手上，用户可以轻易地移动手指在三维空间书写任何的字或字符。三维运动数据将被无线传送到识别设备用于手写识别。

根据本发明，输入设备和识别设备可以集成在一起作为一个单个的单元(例如：一支笔)，以和如上所述一样的操作方法。最后的识别结果将被传送到一个智能装置如PDA，膝上型计算机，PC机等。

如果用户有此需要，本发明也可用于二维平面。在这种情况下，计算出的坐标将是用于二维平面的坐标并省略将三维轨迹投影到二维平面的步骤。

虽然结合特定实施例叙述了本发明，根据前面的描述，许多替代方案、修改和变化对那些在本技术领域熟练的人员来说是很明显的。因此，在附后的权利要求的精神和范围内要包括所有这种的替代方案、修改和变化。

Claims (33)

1.一种手写识别系统，其特征在于，所述系统包括：

一个输入设备，所述设备包括一个三维运动检测传感器，构型成用于产生响应三维运动的三维运动数据；以及

一个识别设备，与输入设备信息交流，构型成用于接收三维运动数据，并以三维运动数据为基础推导相应的用于手写识别的二维图像。

2.如权利要求1所述的系统，其特征在于，其中识别设备包括以二维图像为基础完成二维手写识别的方法。

3.如权利要求1所述的系统，其特征在于，其中识别设备包括：

以三维运动数据为基础计算相应的三维坐标的方法；

以三维坐标为基础构造相应的三维轨迹的方法；以及

从三维轨迹中推导相应的二维图像的方法。

4.如权利要求3所述的系统，其特征在于，其中推导方法包括将三维轨迹投影到一个二维平面上以推导用于手写识别的二维图像的方法。

5.如权利要求3所述的系统，其特征在于，其中识别设备包括以二维图像为基础完成二维手写识别的方法。

6.如权利要求4所述的系统，其特征在于，其中以三维运动数据和选定的抽样率为基础的计算方法计算每个抽样点相应的三维坐标。

7.如权利要求6所述的系统，其特征在于，其中识别设备进一步包括以运动的速度为基础动态调整抽样率的方法。

8.如权利要求6所述的系统，其特征在于，其中推导方法包括推导每个取样点到所述平面的距离平方的总和是最小的二维平面的方法。

9.如权利要求3所述的系统，其特征在于，其中输入设备进一步包括一个控制电路，响应用户的指令，构型成用于产生一个传送到识别设备，表示一个字或字符书写完毕的控制信号。

10.如权利要求3所述的系统，其特征在于，其中运动检测传感器测量X、Y和Z轴方向上的三维运动的，加速度用于产生三维运动数据。

11.如权利要求5所述的系统，其特征在于，进一步包括一个显示手写识别最终结果的输出设备。

12.如权利要求1所述的系统，其特征在于，其中输入设备进一步包括一个控制电路，响应用户的指令，构型成用于产生一个传送到识别设备，表示一个字或字符书写完毕的控制信号。

13.如权利要求1所述的系统，其特征在于，其中运动检测传感器测量X、Y和Z轴方向上的三维运动的，加速度用于产生三维运动数据。

14.如权利要求1所述的系统，其特征在于，其中输入设备将三维运动数据无线传送到识别设备。

15.如权利要求1所述的系统，其特征在于，其中识别设备包括以二维图像为基础完成二维手写识别的方法。

16.一种计算系统，其特征在于，所述系统包括：

一个内存；

一个包括一个三维运动检测传感器的输入设备，其中三维运动检测传感器构型成用于产生响应三维运动的三维运动数据；以及

一个识别设备，与内存操作性连接且与输入设备信息交流，其构型成用于接收三维运动数据并以三维运动数据为基础推导相应的用于手写识别的二维图像。

17.如权利要求16所述的系统，其特征在于，其中识别设备包括以二维图像为基础完成二维手写识别的方法。

18.如权利要求16所述的系统，其特征在于，其中识别设备包括：

以三维运动数据为基础计算相应的三维坐标的方法；

以三维坐标为基础构造相应的三维轨迹的方法；以及

从三维轨迹中推导相应的二维图像的方法。

19.如权利要求18所述的系统，其特征在于，其中推导方法包括将三维轨迹投影到一个二维平面上以推导用于手写识别的二维图像的方法。

20.一种手写识别方法，其特征在于，所述方法包括以下步骤：

产生响应三维运动的三维运动数据；以及

以三维运动数据为基础推导相应的用于手写识别的二维图像。

21.如权利要求20所述的方法，其特征在于，进一步包括以二维图像为基础完成二维手写识别的步骤。

22.如权利要求20所述的方法，其特征在于，进一步包括以下步骤：

以三维运动数据为基础计算相应的三维坐标；

以三维坐标为基础构造相应的三维轨迹；以及

从三维轨迹中推导相应的二维图像。

23.如权利要求22所述的方法，其特征在于，其中推导的步骤包括将三维轨迹投影到一个二维平面上以推导用于手写识别的二维图像的步骤。

24.如权利要求22所述的方法，其特征在于，进一步包括以二维图像为基础完成二维手写识别的步骤。

25.如权利要求23所述的方法，其特征在于，其中以三维运动数据和选定的抽样率为基础，计算每个抽样点相应的三维坐标。

26.如权利要求25所述的方法，其特征在于，进一步包括以运动的速度为基础动态调整抽样率的步骤。

27.如权利要求25所述的方法，其特征在于，其中推导的步骤进一步包括推导每个取样点到所述平面的距离平方的总和是最小的二维平面的步骤。

28.如权利要求22所述的方法，其特征在于，进一步包括以用户的指令为基础产生一个指示用于表示一个字或字符书写完毕的步骤。

29.如权利要求22所述的方法，其特征在于，进一步包括测量三维运动在X、Y和Z轴方向上的加速度的步骤，且其中以三维运动在X、Y和Z轴方向上的加速度为基础产生三维运动数据。

30.如权利要求24所述的方法，其特征在于，进一步包括显示手写识别的最终结果的步骤。

31.如权利要求20所述的方法，其特征在于，进一步包括无线传送和无线接收用于计算三维坐标的三维运动数据的步骤。

32.如权利要求20所述的方法，其特征在于，进一步包括测量三维运动在X、Y和Z轴方向上的加速度的步骤，且其中以三维运动在X、Y和Z轴方向上的加速度为基础产生三维运动数据。

33.如权利要求20所述的方法，其特征在于，进一步包括以二维图像为基础完成二维手写识别的步骤。

Images