CN101460960A - 用于提供手写识别的组合器 - Google Patents

用于提供手写识别的组合器 Download PDF

Info

Publication number
CN101460960A
CN101460960A CNA2007800202514A CN200780020251A CN101460960A CN 101460960 A CN101460960 A CN 101460960A CN A2007800202514 A CNA2007800202514 A CN A2007800202514A CN 200780020251 A CN200780020251 A CN 200780020251A CN 101460960 A CN101460960 A CN 101460960A
Authority
CN
China
Prior art keywords
recognizer
net
handwriting input
alternate
comparator
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2007800202514A
Other languages
English (en)
Other versions
CN101460960B (zh
Inventor
Q·张
A·A·阿布杜勒卡德
M·T·布莱克
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Corp filed Critical Microsoft Corp
Publication of CN101460960A publication Critical patent/CN101460960A/zh
Application granted granted Critical
Publication of CN101460960B publication Critical patent/CN101460960B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/32—Digital ink
    • G06V30/36—Matching; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/22—Character recognition characterised by the type of writing
    • G06V30/224—Character recognition characterised by the type of writing of printed characters having additional code marks or containing code marks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/24—Character recognition characterised by the processing or recognition method
    • G06V30/248—Character recognition characterised by the processing or recognition method involving plural approaches, e.g. verification by template match; Resolving confusion among similar patterns, e.g. "O" versus "Q"
    • G06V30/2528—Combination of methods, e.g. classifiers, working on the same input data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/24—Character recognition characterised by the processing or recognition method
    • G06V30/248—Character recognition characterised by the processing or recognition method involving plural approaches, e.g. verification by template match; Resolving confusion among similar patterns, e.g. "O" versus "Q"
    • G06V30/2552—Combination of methods, e.g. classifiers, working on different input data, e.g. sensor fusion

Abstract

公开了改进手写识别操作的各种技术和技巧。手写输入在训练模式中接收，并令其通过若干基本识别器来生成若干备选项列表。备选项列表被联合成组合的备选项列表。如果正确结果处于组合列表中，则使用每一正确/不正确备选项对来生成训练模式。存储与备选项对相关联的权重。在运行时，正如训练时那样生成组合备选项列表。经训练的比较器网可用于比较组合列表中的任何两个备选项。与一个或多个神经网络基本识别器一起使用模板匹配基本识别器来改进识别操作。系统提供已经对于印刷体和草书数据进行了训练的比较器网和重新定序网过程以及仅对于草书数据进行了训练的比较器网和重新定序网过程。相应地使用各个比较器网和重新定序网过程。

Description

用于提供手写识别的组合器
背景
诸如图形输入板pc和个人数字助理等启用笔的设备通常使用一种或多种类型的手写识别器来允许用户使用笔来输入数据。手写识别器根据一系列分类器分析用户的手写笔迹以确定最有可能的匹配。由于人与人之间或同一人书写同一字符的大量变化(或书写风格)，通常难以对草写体手写笔迹达到良好的手写识别结果。例如，N个笔画的字符可用1-N个笔画书写(潜在地产生2^N种书写)，且人与人之间以及字符与字符之间连接笔画的方式可能变化很大。此外，东亚预言通常有约10,000个字符(码点或类)，这进一步使问题复杂化。困难也因不均匀的数据分布(诸如当存在比草写体样本多得多的印刷体训练样本时)而造成，这导致在原型数据库中存在与印刷体样本的数目相比有限数目的草写体样本。当使用神经网络来用于字符识别时，产生另一难点。神经网络通常不能良好地缩放到数千个类或字符。在神经网络识别器中试图支持所有这些字符可能会急剧地降级系统准确性。
概述
公开了改进手写识别操作的各种技术和技巧。手写输入在训练模式中接收，并令其通过若干基本识别器来生成若干备选项列表。备选项列表被联合在一起以生成新的组合备选项列表(诸如具有N个备选项)。如果在组合备选项列表中存在正确的结果，则使用新组合备选项列表中正确/不正确备选项对中的每一个(其中共有N-1个)来生成训练模式以训练可学习哪个备选项是正确的识别系统(被称为比较器网)(即，可用来比较两个备选项的系统)。存储与备选项对相关联的权重供识别操作使用。
在运行时，按照与训练时相同的方式生成组合备选项列表。经训练的比较器网可用于比较组合备选项列表中的任何两个备选项。在一个实现中，与比较器网一起使用排序功能(或最大值功能)来对组合备选项列表重新定序以改进准确性。在一个实现中，与一个或多个神经网络基本识别器一起使用模板匹配基本识别器来改进识别操作。该系统提供对已经对于印刷体和草写体数据进行了训练的比较器网和重新定序网过程以及对仅对于草写体数据进行了训练的比较器网和重新定序网过程的访问。然后根据手写输入是印刷体还是草写体来使用相应比较器网和重新定序网过程。
提供本概述以便以简化形式介绍将在以下详细描述中进一步描述的一些概念。该概述不旨在标识所要求保护的主题的关键特征或必要特征，也不旨在用于帮助确定所要求保护的主题的范围。
附图简述
图1是示出供识别操作使用的基于比较器网的组合器的一个实现的系统的示意图。
图2是图1系统的一个实现的的过程流程图，它示出了执行手写识别训练操作来产生基于比较器网的组合器时所涉及的各个阶段。
图3是图1系统的一个实现的的过程流程图，它示出了使用基于比较器网的组合器来执行手写识别操作时所涉及的各个阶段。
图4是示出供识别操作使用的基于比较器网和重新定序网的组合器的一个实现的系统的示意图。
图5是图4系统的一个实现的的过程流程图，它示出了执行手写识别训练操作来产生比较器网和重新定序网时所涉及的各个阶段。
图6是图4系统的一个实现的的过程流程图，它示出了使用比较器网和重新定序网过程来执行手写识别操作时所涉及的各个阶段。
图7是图1和图4系统的一个实现的的过程流程图，它示出了使用对基本识别器的约束来执行识别操作时所涉及的各个阶段。
图8是图1和图4系统的一个实现的的过程流程图，它示出了提供基于比较器网和重新定序网的组合器来改进手写识别时所涉及的各个阶段。
图9是图1和图4系统的一个实现的过程流程图，它示出了除神经网络识别器以外添加模板匹配(或最近邻居)基本识别器来改进缩放性时所涉及的各个阶段。
图10是图1和图4系统的一个实现的的过程流程图，它示出了基于墨迹的草写体程度(cursiveness)来提供分层组合器体系结构时所涉及的各个阶段。
图11是一个实现的计算机系统的示意图。
详细描述
为促进对本发明原理的理解，现将参考附图中所示的各实施例，并将使用专用语言来描述它们。然而，要理解，并不旨在对范围进行限制。在所述实施方式中的任何改变和进一步修正，以及在此所述的原理的进一步应用可以预期将是本领域技术人员通常能想到的。
可在一般上下文中将该系统描述为改进手写识别的应用程序，但是该系统还用于除此之外的其它目的。在一个实现中，此处所描述的一种或多种技术可被实现为手写识别程序内、或来自任何其它类型的用于训练手写识别器或识别手写输入的程序或服务的特征。
图1是示出供识别操作使用的基于比较器网的组合器的一个实现的系统98的示意图。系统98从用户接收墨迹100(例如，手写输入)，诸如有1-3个笔画。令墨迹100通过多个基本手写识别器102，诸如神经网络识别器104、神经网络识别器106和模板/原型匹配识别器108。在一个实现中，神经网络识别器104是在线识别器，而神经网络识别器106是离线识别器。在一个实现中，原型/模板匹配识别器108将墨迹段与数据库中墨迹样本进行比较以确定最有可能的结果的概率列表。也可使用其他变化和数量的识别器，包括与此处所述相比更少或更多的一个或多个类型的识别器。在令墨迹100通过基本手写识别器102之后，来自每一过程的备选项列表被合并成一新的备选项列表。备选项列表是字符以及指示各个字符是正确结果的可能性的相应得分的列表。在本文的系统的一个实现中，对备选项列表的长度有上限。由基于比较器网的组合器110使用新的备选项列表以执行识别操作。然后提供结果112。将参考图2-3进一步详细描述系统98。
现转向图2-3并继续参考图1，将进一步详细描述用于实现识别系统98的一个或多个实现的各个阶段。图2是图1的系统98的一个实现的的过程流程图，它示出了执行手写识别训练操作来产生基于比较器网的组合器110时所涉及的各个阶段。在一种形式中，图2的过程至少部分地用计算设备600(在图11中描述)的操作逻辑来实现。
该过程在起始点240处开始，从用户接收手写输入用于训练操作(阶段242)。在一个实现中，手写输入(例如，墨迹100)是1-3个笔画的(例如，少于4个笔画)。令手写输入通过第一神经网络识别器104(例如，在线或其他)以生成带有得分的备选项列表(阶段244)。令手写输入通过第二神经网络识别器106(例如，离线或其他)以生成带有得分的另一备选项列表(阶段246)。还令手写输入通过模板/原型匹配识别器108以生成带有得分的另一备选项列表(阶段248)。在一个实现中，这些采用基本识别器的识别是不受约束的。如将在图7中进一步详细描述的，在另一实现中，来自一个识别器的备选项列表被用作采用接下来的识别器的后续识别操作的约束。这是在图1上所示的替换实现，虚线从识别器104流向106再流向108。
备选项列表被联合在一起使得有一唯一列表(阶段250)。例如，假定有以下备选项列表：
备选项列表1：[A，B，C]
备选项列表2：[B，C，E]
备选项列表3：[C，E，F]
组合的备选项列表将包括：[A，B，C，E，F]，这是原始备选项列表中所包括的所有内容的唯一列表。如果正确的结果(假定为C)位于组合的备选项列表中，则使用正确/不正确备选项对的各个组合来训练基于比较器网的组合器110(阶段252)。如果组合的备选项列表不包含正确的结果，则不从该特定的墨迹样本生成用于比较器网训练的训练模式。由于正确的结果已知(在训练模式中)，所以系统可基于备选项对来训练(阶段252)。继续以上示例，可在A与C、B与C、C与E以及C与F之间进行比较。与各个对组合相关联的权重被存储在数据存储中供稍后用于识别操作(阶段254)。该过程结束于结束点256。
图3是图1系统98的一个实现的的过程流程图，它示出了使用基于比较器网的组合器来执行运行时手写识别操作时所涉及的各个阶段。在一种形式中，图3的过程至少部分地用计算设备600(在图11中描述)的操作逻辑来实现。该过程在起始点270处开始，从用户接收手写输入用于运行时识别操作(阶段272)。在一个实现中，手写输入包含1到3个笔画(例如，少于4个笔画)。令手写输入100通过第一神经网络识别器104(例如，在线或其他)以生成带有得分的备选项列表(阶段274)。令手写输入100通过第二神经网络识别器106(例如，离线或其他)以生成带有得分的另一备选项列表(阶段276)。令手写输入100通过模板/原型匹配识别器以生成带有得分的另一备选项列表(阶段278)。这些备选项列表被联合在一起使得有一唯一的备选项列表(阶段280)。然后与排序算法一起使用经训练的比较器网以将各个对组合与所存储的权重进行比较以对组合的备选项列表重新定序(或排序)(阶段282)。该过程的结果被用于作出识别判定(阶段284)。该过程结束于结束点286。
图4是示出供识别操作使用的基于比较器网和重新定序网的组合器的另一个实现的系统288的示意图。系统288从用户接收墨迹290(例如，手写输入)，诸如有1-3个笔画。令墨迹290通过多个基本手写识别器292，诸如神经网络识别器294、神经网络识别器296和模板/原型匹配识别器298。在一个实现中，神经网络识别器294是在线识别器，而神经网络识别器296是离线识别器。也可使用其他变化和数量的识别器，包括与此处所述相比更少或更多的一个或多个类型的识别器。在令墨迹290通过基本手写识别器292之后，来自每一过程的备选项列表被合并成一新的备选项列表。由基于比较器网的组合器299使用该新的备选项列表以执行识别操作。根据墨迹是印刷体还是草写体(判定点300)，使用相应的比较器网和重新定序网过程来作出识别判定。例如，如果输入是草写体，则执行草写体比较器网(排序网)302和草写体前2项重新定序网304过程。这些草写体过程仅使用草写体的数据作为该过程的一部分。如果输入是印刷体，则执行印刷体比较器网(排序网)302和印刷体前2项重新定序网308过程。这些印刷体过程使用印刷体和草写体数据两者作为该过程的一部分。然后提供结果309。将参考图5-6进一步详细描述系统288。
现转向图5-6并继续参考图4，将进一步详细描述用于实现识别系统288的一个或多个实现的各个阶段。图5是图4的系统288的一个实现的过程流程图，它示出了执行手写识别训练操作来产生比较器网和重新定序网时所涉及的各个阶段。在一种形式中，图5的过程至少部分地用计算设备600(在图11中描述)的操作逻辑来实现。
该过程在起始点310处开始，从用户接收手写输入用于训练操作(阶段312)。令手写输入290通过第一神经网络识别器294(例如，在线或其他)以生成带有得分的备选项列表(阶段314)。令手写输入290通过第二神经网络识别器296(例如，离线或其他)以生成带有得分的另一备选项列表(阶段316)。令手写输入290通过模板/原型匹配识别器以生成带有得分的另一备选项列表(阶段318)。得到的备选项列表被联合在一起使得有一唯一的备选项列表(阶段320)。系统确定用户的手写输入是印刷体还是草写体(判定点322)。如果手写输入是草写体，则系统执行草写体比较器网(排序网)训练过程302(阶段324)和草写体前2项重新定序网训练过程304(阶段326)。如果手写输入是印刷体，则系统执行印刷体比较器网(排序网)训练过程306(阶段330)和草写体前2项重新定序网训练过程308(阶段332)。印刷体与草写体过程之间的差异在于所使用的底层数据的类型。草写体过程仅包含草写体数据，而印刷体过程包含草写体和印刷体数据两者。在其他方面，这些过程如图2所述地同样地执行。
适当的比较器网过程使用合并的备选项列表来比较结果对以训练比较器网(阶段324或330)。在一个实现中，基于比较器网训练前2项重新定序网。重新定序网训练过程在比较器网之后查看经排序(或重新定序)的组合的备选项列表。如果正确的备选项处于前两个备选项之中，则生成比较这两个备选项的训练模型来训练重新定序网。重新定序网训练过程忽略其中正确备选项不处于(经排序的列表的)前2项选择之中的样本。对与各个对组合相关联的权重进行排序供稍后在识别操作中使用(例如，排序和重新定序的结果)(阶段328)。该过程结束于结束点334。
图6是图4的系统288的一个实现的的过程流程图，它示出了使用比较器网和重新定序网过程来执行手写识别操作时所涉及的各个阶段。在一种形式中，图6的过程至少部分地用计算设备600(在图11中描述)的操作逻辑来实现。该过程在起始点340处开始，从用户接收手写输入用于运行时识别操作(阶段342)。在一个实现中，手写输入290用1到3个笔画(例如，少于4个笔画)书写。令手写输入290通过第一神经网络识别器294(例如，在线或其他)以生成带有得分的备选项列表(阶段344)。令手写输入290通过第二神经网络识别器296(例如，离线或其他)以生成带有得分的另一备选项列表(阶段346)。令手写输入290通过模板/原型匹配识别器以生成带有得分的另一备选项列表(阶段348)。备选项列表被联合在一起使得有一唯一的备选项列表(阶段350)。系统确定用户的手写输入290是印刷体还是草写体(判定点352)。
如果手写输入是草写体，则系统执行草写体比较器网(排序网)过程302(阶段354)和草写体前2项重新定序网过程304(阶段356)。如果手写输入是印刷体，则系统执行印刷体比较器网(排序网)过程306(阶段360)和草写体前2项重新定序网过程308(阶段362)。印刷体与草写体过程之间的差异在于用于识别的底层数据的类型。草写体过程仅包含草写体数据，而印刷体过程包含草写体和印刷体数据两者。在其他方面，该过程相同地执行。
适当的比较器网过程与比较器网(用作排序时的比较功能)一起使用某一排序例程(或算法)来对合并的备选项列表重新定序或排序(阶段354或360)。适当的重新定序网过程将排序后的前2项结果与比较器网进行比较。有时，重新定序网翻转来自比较器网操作的前两项结果的次序以改进准确性(阶段356或362)。该过程结束于结束点364。
图7是图1和图4的系统的一个实现的的过程流程图，它示出了使用对基本识别器的约束来执行识别操作时所涉及的各个阶段。在一种形式中，图7的过程至少部分地用计算设备600(在图11中描述)的操作逻辑来实现。该过程在起始点380处开始，使手写输入(100或290)通过第一神经网络识别器(104或294)以生成带有得分的备选项列表(阶段382)。使用第一备选列表作为约束，系统使手写输入(100或290)通过第二神经网络识别器(106或296)以生成带有得分的另一备选项列表(阶段384)。使用第二备选列表作为约束，系统使手写输入(100或290)通过模板/原型匹配识别器(108或298)以生成带有得分的备选项列表(阶段386)。这些备选项列表被联合在一起以产生一唯一的备选项列表以在进一步处理和/或最终识别判定中使用(阶段388)。该过程结束于结束点390。
图8是图1和图4的系统的一个实现的过程流程图，它示出了提供基于比较器网和重新定序网的组合器来改进手写识别时所涉及的各个阶段。在一种形式中，图8的过程至少部分地用计算设备600(在图11中描述)的操作逻辑来实现。该过程在起始点450处开始，提供通过查看一对备选项来简化判定过程的基于比较器网的组合器(阶段452)。使用与每一对有关的特征，系统判定哪一个是更好的(阶段454)。一旦经过训练，在运行时插入比较器网以作出识别判定(阶段456)。在一个实现中，系统插入排序算法以对由多个基本识别器提出的备选项列表排序并将其组合/联合在一起(阶段456)。在另一实现中，代替使用排序，使用在对之间的投票过程来确定那一对获得最多的胜利。系统使用比较器网组合器来改进手写识别操作(阶段458)。该过程结束于结束点460。
图9是图1和图4的系统的一个实现的过程流程图，它示出了除神经网络识别器以外添加模板匹配(或最近邻居)基本识别器来改进缩放性时所涉及的各个阶段。在一种形式中，图9的过程至少部分地用计算设备600(在图11中描述)的操作逻辑来实现。该过程在起始点470处开始，提供一个或多个神经网络基本识别器(阶段472)。使用模板匹配(例如最近邻居)基本识别器来补充神经网络基本识别器(阶段474)。通过添加模板匹配基本识别器，在维持系统缩放性的同时可支持更多的码点(阶段476)。组合使用神经网络基本识别器和模板匹配基本识别器以改进识别操作的准确性(阶段478)。该过程结束于结束点480。
图10是图1和图4的系统的一个实现的的过程流程图，它示出了基于墨迹的草书程度(cursiveness)来提供分层组合器体系结构时所涉及的各个阶段。在一种形式中，图10的过程至少部分地用计算设备600(在图11中描述)的操作逻辑来实现。该过程在起始点490处开始，基于印刷体和草写体数据训练第一比较器网和重新定序网，或提供对已经训练的比较器网和重新定序网的访问(阶段492)。仅基于草写体数据训练第二比较器网和重新定序网，或提供对已经训练的比较器网和重新定序网的访问(阶段494)。系统在确定用户的手写输入是印刷体还是草写体之后使用适当的比较器网和重新定序网过程来执行识别操作(例如，对印刷体使用前者，对草写体使用后者)(阶段496)。通过基于手写输入的草写程度来分开比较器网和重新定序网，改进识别的准确性。在一个实现中，至少对草写体操作改进识别准确性，而同时不损害对印刷体操作的性能(阶段498)。该过程结束于结束点500。
如图11所示，用于实现此处所述的系统的一个或多个部分的示例性计算机系统包括诸如计算设备600(在图11中描述)等计算设备。在其最基本的配置中，计算设备600通常包括至少一个处理单元602和系统存储器604。取决于计算设备的确切配置和类型，存储器604可以是易失性的(如RAM)、非易失性的(如ROM、闪存等)或是两者的某种组合。该最基本配置在图11中由虚线606来例示。
另外，设备600还可具有附加的特征/功能。例如，设备600还可包含额外的存储(可移动和/或不可移动)，其中包括但不限于磁盘、光盘或磁带。这样的额外存储在图11中由可移动存储608和不可移动存储610示出。计算机存储介质包括以用于存储诸如计算机可读指令、数据结构、程序模块或其它数据等信息的任何方法或技术来实现的易失性和非易失性、可移动和不可移动介质。存储器604、可移动存储608和不可移动存储610都是计算机存储介质的示例。计算机存储介质包括但不限于，RAM、ROM、EEPROM、闪存或其它存储器技术、CD-ROM、数字多功能盘(DVD)或其它光存储、磁带盒、磁带、磁盘存储或其它磁存储设备、或者可用于存储所需信息并且可由设备600访问的任何其它介质。任何这样的计算机存储介质都可以是设备600的一部分。
计算设备600包括允许计算设备600与其它计算机/应用程序615进行通信的一个或多个通信连接614。设备600也可具有输入设备612，诸如键盘、鼠标、笔、语音输入设备、触摸输入设备等。还可包括输出设备611，如显示器、扬声器、打印机等。这些设备在本领域中公知且无需在此处详细讨论。在一个实现中，计算设备600包括手写识别应用程序700。手写识别应用程序700可执行此处在图1-10所述的各种技术中的某些或全部。然而，可以理解，手写识别应用程序700可替换地或附加地被具体化为一个或多个计算机上的计算机可执行指令和/或与图11所示不同的变型。替换地或附加地，手写识别应用程序700的一个或多个部分可以是系统存储器604的一部分、在其它计算机和/或应用程序615上、或计算机软件领域的技术人员能想到的其它此类变型。
尽管用对结构特征和/或方法动作专用的语言描述了本主题，但可以理解，所附权利要求书中定义的主题不必限于上述具体特征或动作。相反，上述具体特征和动作是作为实现权利要求的示例形式公开的。落入在此所述的和/或所附权利要求所述的实现的精神内的所有等效技术方案、更改和修正都期望受到保护。
例如，计算机软件领域的普通技术人员将认识到，客户机和/或服务器安排，和/或在此讨论的示例中所述的数据布局可在一台或多台计算机上不同地组织，以包括比示例中所描绘的更少或额外的选项或特征。

Claims (20)

1.一种用于改进手写识别的方法，包括：
在训练模式中接收第一手写输入(242)；
使所述第一手写输入通过多个识别器(102)来生成多个备选项列表(244)；
将所述多个备选项列表合并在一起以生成新的备选项列表(250)；
当正确结果已知时一起比较所述新备选项列表中的多个字符对来基于备选项对训练识别系统(252)；以及
存储与所述多个字符对相关联的一组权重供稍后在识别操作中使用(254)。
2.如权利要求1所述的方法，其特征在于，还包括：
在运行时模式中接收第二手写输入(272)；
使所述第二手写输入通过所述多个识别器(102)来生成多个运行时备选项列表(274)；以及
将所述多个运行时备选项列表合并在一起以生成新的运行时备选项列表(280)。
3.如权利要求2所述的方法，其特征在于，还包括：
使用排序过程来针对所存储的一组权重中的至少一部分一起比较所述新的运行时备选项列表中的新的多个字符对(282)。
4.如权利要求3所述的方法，其特征在于，还包括：
使用来自所述排序过程的结果来作出识别判定(284)。
5.如权利要求3所述的方法，其特征在于，所述排序过程还包括将前两组字符与单独的一组权重进行比较，且如果识别的准确性将会被改进(498)，则倒转所述前两组字符的次序(496)。
6.如权利要求1所述的方法，其特征在于，所述多个识别器中的至少一个是神经网络识别器(294)。
7.如权利要求1所述的方法，其特征在于，所述多个识别器中的至少一个是模板匹配识别器(298)。
8.如权利要求1所述的方法，其特征在于，所述针对正确结果进行比较的步骤还包括倒转前两组字符的次序(304)。
9.如权利要求1所述的方法，其特征在于，所述多个识别器中的第一个是在线神经网络识别器(294)，所述多个识别器中的第二个是离线神经网络识别器(296)，而所述多个识别器中的第三个是模板匹配识别器(298)。
10.如权利要求1所述的方法，其特征在于，所述第一手写输入是用少于四个的笔画书写的(290)。
11.一种具有用于使计算机执行如权利要求1所述的步骤的计算机可执行指令(700)的计算机可读介质。
12.一种具有用于使计算机执行以下步骤的计算机可执行指令的计算机可读介质，所述步骤包括：
提供对已经基于印刷体和草写体数据进行了训练的第一比较器网过程和第一重新定序网过程的访问(492)；
提供对已经仅基于草写体数据进行了训练的第二比较器网过程和第二重新定序网过程的访问(494)；
从用户接收手写输入(496)；
如果所述手写输入被确定为印刷体，则使用所述第一比较器网过程和所述第一重新定序网过程来对所述手写输入执行识别操作(496)；以及
如果所述手写输入被确定为草写体，则使用所述第二比较器网过程和所述第二重新定序网过程来对所述手写输入执行识别操作(496)。
13.如权利要求12所述的计算机可读介质，其特征在于，所述第一重新定序网过程(362)和所述第二重新定序网过程(356)可用于倒转前两组字符的次序同时作为所述识别操作的一部分执行比较。
14.一种用于改进手写识别器的操作的方法，包括：
提供至少一个神经网络基本识别器(472)；
提供模板匹配基本识别器以补充所述至少一个神经网络基本识别器(474)；以及
通过结合所述至少一个神经网络基本识别器而使用所述模板匹配基本识别器，改进识别操作(478)。
15.如权利要求14所述的方法，其特征在于，所述识别操作通过提供对更多码点的支持而得以改进(476)。
16.如权利要求15所述的方法，其特征在于，所述提供对更多码点的支持仍维持系统的缩放性(476)。
17.如权利要求14所述的方法，其特征在于，所述识别操作通过结果的准确性而得以改进(478)。
18.如权利要求14所述的方法，其特征在于，所述至少一个神经网络基本识别器包括多个神经网络基本识别器(472)。
19.如权利要求14所述的方法，其特征在于，所述模板匹配基本识别器被设计成用于少于四个笔画的手写输入(100)来工作。
20.一种具有用于使计算机执行如权利要求14所述的步骤的计算机可执行指令(700)的计算机可读介质。
CN2007800202514A 2006-05-31 2007-05-04 用于提供手写识别的组合器 Expired - Fee Related CN101460960B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US11/443,762 2006-05-31
US11/443,762 US7817857B2 (en) 2006-05-31 2006-05-31 Combiner for improving handwriting recognition
PCT/US2007/010872 WO2007142770A1 (en) 2006-05-31 2007-05-04 Combiner for improving handwriting recognition

Publications (2)

Publication Number Publication Date
CN101460960A true CN101460960A (zh) 2009-06-17
CN101460960B CN101460960B (zh) 2013-06-19

Family

ID=38790252

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2007800202514A Expired - Fee Related CN101460960B (zh) 2006-05-31 2007-05-04 用于提供手写识别的组合器

Country Status (7)

Country Link
US (2) US7817857B2 (zh)
EP (1) EP2024906A4 (zh)
JP (1) JP2009539181A (zh)
KR (1) KR20090024127A (zh)
CN (1) CN101460960B (zh)
RU (1) RU2008147115A (zh)
WO (1) WO2007142770A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103366151A (zh) * 2012-03-30 2013-10-23 佳能株式会社 手写字符识别方法以及设备
CN103714332A (zh) * 2012-10-01 2014-04-09 富士施乐株式会社 字符识别设备和字符识别方法
CN105989376A (zh) * 2015-02-06 2016-10-05 展讯通信（上海）有限公司 一种基于神经网络的手写识别系统、装置和移动终端
CN107220655A (zh) * 2016-03-22 2017-09-29 华南理工大学 一种基于深度学习的手写、印刷文本的分类方法

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7620245B2 (en) * 2006-05-30 2009-11-17 Microsoft Corporation Cursive handwriting recognition with hierarchical prototype search
US7953279B2 (en) * 2007-06-28 2011-05-31 Microsoft Corporation Combining online and offline recognizers in a handwriting recognition system
JP6038700B2 (ja) * 2013-03-25 2016-12-07 株式会社東芝 整形装置
KR102240279B1 (ko) 2014-04-21 2021-04-14 삼성전자주식회사 컨텐트 처리 방법 및 그 전자 장치
KR101746428B1 (ko) 2014-12-29 2017-06-13 주식회사 셀바스에이아이 전역 학습을 통한 이중 단어 분할 장치 및 분할 방법
US10489887B2 (en) 2017-04-10 2019-11-26 Samsung Electronics Co., Ltd. System and method for deep learning image super resolution
CN114096989A (zh) * 2019-08-19 2022-02-25 富士通株式会社 信息处理装置、信息处理程序和信息处理方法
RU2765884C2 (ru) * 2019-12-17 2022-02-04 Общество с ограниченной ответственностью "Аби Продакшн" Идентификация блоков связанных слов в документах сложной структуры
RU2757713C1 (ru) * 2020-11-24 2021-10-20 АБИ Девелопмент Инк. Распознавание рукописного текста посредством нейронных сетей

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4024500A (en) * 1975-12-31 1977-05-17 International Business Machines Corporation Segmentation mechanism for cursive script character recognition systems
US4760604A (en) * 1985-02-15 1988-07-26 Nestor, Inc. Parallel, multi-unit, adaptive, nonlinear pattern class separator and identifier
US5315667A (en) * 1991-10-31 1994-05-24 International Business Machines Corporation On-line handwriting recognition using a prototype confusability dialog
US5319721A (en) * 1992-04-14 1994-06-07 International Business Machines Corporation Methods and apparatus for evolving a starter set of handwriting prototypes into a user-specific set
JP2673871B2 (ja) * 1993-08-26 1997-11-05 日本アイ・ビー・エム株式会社 ニューラル・ネットワークによるパターン認識方法及び装置
US5438631A (en) * 1993-10-12 1995-08-01 Dai; Xiao-Wei Handwriting and character recognition system
DE69533479T2 (de) * 1994-07-01 2005-09-22 Palm Computing, Inc., Los Altos Zeichensatz mit zeichen aus mehreren strichen und handschrifterkennungssystem
KR0170656B1 (ko) * 1994-08-17 1999-03-30 김광호 필기체문자 인식방법 및 장치
US5854855A (en) * 1994-09-09 1998-12-29 Motorola, Inc. Method and system using meta-classes and polynomial discriminant functions for handwriting recognition
US6111985A (en) * 1997-06-06 2000-08-29 Microsoft Corporation Method and mechanism for providing partial results in full context handwriting recognition
JP3470028B2 (ja) 1997-12-04 2003-11-25 シャープ株式会社 手書き文字認識装置およびプログラム記憶媒体
US6333994B1 (en) * 1999-03-31 2001-12-25 International Business Machines Corporation Spatial sorting and formatting for handwriting recognition
US6393464B1 (en) * 1999-05-10 2002-05-21 Unbound Communications, Inc. Method for controlling the delivery of electronic mail messages
US6789231B1 (en) * 1999-10-05 2004-09-07 Microsoft Corporation Method and system for providing alternatives for text derived from stochastic input sources
US7047493B1 (en) * 2000-03-31 2006-05-16 Brill Eric D Spell checker with arbitrary length string-to-string transformations to improve noisy channel spelling correction
CN1404005A (zh) * 2001-09-11 2003-03-19 天瀚科技股份有限公司 手写识别系统及其使用方法
US7031530B2 (en) * 2001-11-27 2006-04-18 Lockheed Martin Corporation Compound classifier for pattern recognition applications
US7227993B2 (en) * 2003-01-27 2007-06-05 Microsoft Corporation Learning-based system and process for synthesizing cursive handwriting
US20050069203A1 (en) * 2003-09-26 2005-03-31 Khomo Malome T. Spatial character recognition technique and chirographic text character reader
US7369702B2 (en) * 2003-11-07 2008-05-06 Microsoft Corporation Template-based cursive handwriting recognition
US7302099B2 (en) * 2003-11-10 2007-11-27 Microsoft Corporation Stroke segmentation for template-based cursive handwriting recognition
CN1619583B (zh) * 2003-11-20 2010-05-05 摩托罗拉公司 手写识别的方法和系统
US7865018B2 (en) * 2005-06-02 2011-01-04 Microsoft Corporation Personalized implicit and explicit character shape adaptation and recognition
US7496547B2 (en) * 2005-06-02 2009-02-24 Microsoft Corporation Handwriting recognition using a comparative neural network

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103366151A (zh) * 2012-03-30 2013-10-23 佳能株式会社 手写字符识别方法以及设备
CN103366151B (zh) * 2012-03-30 2017-05-31 佳能株式会社 手写字符识别方法以及设备
CN103714332A (zh) * 2012-10-01 2014-04-09 富士施乐株式会社 字符识别设备和字符识别方法
CN103714332B (zh) * 2012-10-01 2018-09-07 富士施乐株式会社 字符识别设备和字符识别方法
CN105989376A (zh) * 2015-02-06 2016-10-05 展讯通信（上海）有限公司 一种基于神经网络的手写识别系统、装置和移动终端
CN105989376B (zh) * 2015-02-06 2019-05-28 展讯通信（上海）有限公司 一种基于神经网络的手写识别系统、装置和移动终端
CN107220655A (zh) * 2016-03-22 2017-09-29 华南理工大学 一种基于深度学习的手写、印刷文本的分类方法

Also Published As

Publication number Publication date
US7817857B2 (en) 2010-10-19
EP2024906A4 (en) 2011-04-13
KR20090024127A (ko) 2009-03-06
WO2007142770A1 (en) 2007-12-13
US8326040B2 (en) 2012-12-04
RU2008147115A (ru) 2010-06-10
CN101460960B (zh) 2013-06-19
JP2009539181A (ja) 2009-11-12
US20070280536A1 (en) 2007-12-06
EP2024906A1 (en) 2009-02-18
US20110007963A1 (en) 2011-01-13

Similar Documents

Publication Publication Date Title
CN101460960B (zh) 用于提供手写识别的组合器
JP4918937B2 (ja) 帳票種識別プログラム、帳票種識別方法および帳票種識別装置
Lam et al. Optimal combinations of pattern classifiers
JP5071914B2 (ja) 認識グラフ
US6052481A (en) Automatic method for scoring and clustering prototypes of handwritten stroke-based data
Rebelo et al. Optical recognition of music symbols: A comparative study
CN1167030C (zh) 使用多分辨率模型的手写字符记录的方法
JP4787275B2 (ja) セグメント化ベースの認識
CN101246410B (zh) 上下文或语境输入法和系统
CN107704102B (zh) 一种文本输入方法及装置
JP5546819B2 (ja) パターン認識方法、文字認識方法、パターン認識プログラム、文字認識プログラム、パターン認識装置および文字認識装置
Vuurpijl et al. Finding structure in diversity: A hierarchical clustering method for the categorization of allographs in handwriting
US20200065573A1 (en) Generating variations of a known shred
JP4233612B2 (ja) 判断ツリーを使用する手書き認識器のエラーの低減
JP2007317022A (ja) 手書文字処理装置及び手書文字処理方法
CN110188196A (zh) 一种基于随机森林的文本增量降维方法
Batista et al. Improving performance of HMM-based off-line signature verification systems through a multi-hypothesis approach
Premaratne et al. Lexicon and hidden Markov model-based optimisation of the recognised Sinhala script
JP5293301B2 (ja) 検索装置、検索方法および記憶媒体
JP5928733B2 (ja) 文字列からなるテストデータを自動的に生成する方法及び文字列からなるテストデータ中に埋め込まれたシグネチャーを識別する方法、並びに、それらのコンピュータ及びコンピュータ・プログラム
CN110020675A (zh) 一种双阈值AdaBoost分类方法
Ma et al. Selecting test inputs for DNNs using differential testing with subspecialized model instances
Zouari et al. Simulating classifier outputs for evaluating parallel combination methods
Bellini et al. Optical music recognition: Architecture and algorithms
JP4646300B2 (ja) 繰り返し行決定装置、繰り返し行決定方法、プログラム及び記録媒体

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
ASS Succession or assignment of patent right

Owner name: MICROSOFT TECHNOLOGY LICENSING LLC

Free format text: FORMER OWNER: MICROSOFT CORP.

Effective date: 20150508

C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20150508

Address after: Washington State

Patentee after: Micro soft technique license Co., Ltd

Address before: Washington State

Patentee before: Microsoft Corp.

CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20130619

Termination date: 20200504

CF01 Termination of patent right due to non-payment of annual fee