CN1144943A - 属性判定方法 - Google Patents

Abstract

本发明揭示一种属性判定方法，该方法包括比较输入图像包含输入图形的复数的特征数据和从标准图形求得的特征数据的成员函数，对于全部的特征数据求得对于该输入图形的各特征数据的各成员函数的输出值，并对全部特征数据求得输出值的综合值，对应该判定的多数的各标准图形，根据判别综合值最高的标准图形，判定输入图形中类似度最高的标准图形，此方法解决了进行正确解答率高且可靠性高的属性判定问题。

Description

属性判定方法

本发明涉及属性判定方法，该方法用电视摄像机等信号输入装置和具有计算机的信号处理装置，判定输入图象中含有图形属于什么样的种类。

近年来，在工业产品等的检查工序中，产品的正确种类分类与不良种类分类等，成为重要课题之一。这些都期望自动化高且广泛使用电视摄像机等的图像输入装置和具有计算机的图像处理装置。例如，使用自动识别写在产品上的制造号码等的电视摄像机的文字识别装置，就是其中一例。

下面，对用以往电视摄像机的文字识别装置的技术例进行说明。图15表示装置的大概结构。通过半透镜14，在将光源15来的照明光照射于对象11的表面的同时，通过半透镜14，采用电视摄像机12，对对象11的表面进行摄像。该电视摄像机12具有电荷耦合器件传感器，对获得的每个像素的浓淡信号，用数字化形式在识别处理部13中处理。又，识别处理部13当然设有记忆图像数据的记忆部和存储实行文字识别处理程序的存储部。

图16表示识别处理部的结构。从电视摄像机12输出的图像信号a，被输入到模/数(A/D)转换电路21中，在A/D转换电路21中数字化后输出的信号b，被存储在图像存储器22中。从图像存储器22输出的图像数据c，在二进制化电路23中转换成二进制图像d。如图17所示，在二进制化电路23中，按照图像数据27的“黑”是文字部分、“白”是背景部分，进行二进制化。二进制图像d输入到文字截出电路24，输出截出图像e。如图18所示，在文字截出电路24中，检出外接每个字的外接矩形28，将文字列分离成字。文字的截出大多以被投影于水平轴和垂直轴的投影数据为依据进行文字的分离。被分离后的每个文字的截出图像，被输入到标准化电路25，输出网格图形数据f。在标准化电路25中，各文字外接矩形内存在的像素被标准化变换成适当的网格大小的图形。对应于各网格的复数像素的变换，按它们的平均值、最大值、最小值、中心值、最多频率值等进行。图19中，被分离后的每个文字的图像29表示成变换为横5×纵9的网格大小的网格图形30的样子。网格图形数据f输入到文字判定电路26，输出文字判定结果g。作为文字，在工业应用场合，常用的是英文数字“0”～“9”和字母“A”～“Z”以及特殊字符“-”共37个文字。文字判定电路26，是将网格图形数据与哪一个文字相近，作为结果进行输出。图20表示前述37个文字的标准图形数据。

文字判定电路26中，常用的有神经网络(下面记为NN)。关于NN，有各种结构(参考文献：饭沼编、“神经元计算机”、技术评论社、平成元年9月刊)，图21所示的是实际中常被应用的视感控器型NN的结构。这种NN由输入层、中间层和输出层的三层组成，采用称为各自多数的神经元的非线性元件构成。在输入层中有用“0”表示背景部分和用“1”表示文字部分的值的45个(横5×纵9)神经元。在输出层中有对应于被判定的文字的英文数字“0”～“9”和字母“A”～“Z”以及特殊字符“-”的37个神经元。在这里，输入层与中间层、中间层与输出层，在各自神经元间连线，连线上定义权重ω。各神经元对所有的连线，总和被连接的神经元的输出y与其连线上定义的权重ω的积，然后用非线性函数处理后，输出0.0到1.0的值。这里，根据权重ω的值，该NN持有各自的特性。该权重的决定中，给予实际的数据，输出层的神经元，视输出是否为期待的输出，多次反复进行对该误差部分权重的修正。作为这种修正方法，反向传播常被使用。(D.E.Rumelhart等：通过反向传播错误的学习表示，自然杂志323号，533～536页，(1986))。给予输入层标准图形数据，假设输出层的期待输出为对应于该文字的神经元是1.0，其余的神经元是0.0，多次反复进行对该误差部分权重的修正。在实施例中，反复修正作业直至所有输出层神经元的值与期待的输出值的误差小于0.1。对于修正作业完成后的NN，进行判定作业的情况，如图22所示，当输入层中输入“A”，对应于输出层的“A”的神经元的输出比其它神经元要大，理想情况下，对应于“A”的神经元是接近1.0的值，其余神经元是接近0.0的值。在实施例中，文字的判定条件如下。

1)当输出层的神经元的值大于0.7时，以该对应文字为判定文字(判定条件1)。

2)当输出层的神经元中第一号中的最大值与第二号中的最大值的差大于0.3时，以与第一号对应的文字为判定文字(判定条件2)。

3)输出层的任一神经元均不能输出前述那样的值时，作为“？”为不能判定。

用前述以往NN的判定方法，存在不能用被要求的可靠性进行属性判定(文字判定)的问题。下面根据实际的技术例进行说明。

在图20所示的标准图形数据中，对于由输入层：45(横5×纵9的二进制(0，1)图形)、中间层：45、输出层：37(英文数字“0”～“9”、字母“A”～“Z”、特殊字符“-”)三层所成的网络，进行学习后的结果实施所成。

图23～图26是用于文字判定的检定的文字图形，“2”、“9”、“A”、“F”四种文字每种各有30个。图中用“*”表示黑的“1”，用“＿”表示白的“0”。

关于文字“2”代表的结果所示，在图23中，对于(1)，最大输出的神经元是“2”，其值是0.86，满足判定条件1。对于(2)，最大输出的神经元是“2”，其值是0.63，第二号中的最大输出的神经元是“Z”，其值是0.12，因它们的差是0.51，满足判定条件2。但对于(4)，最大输出的神经元是“2”，其值是0.34，第二号中的最大输出的神经元是“S”，其值是0.15，因它们的差是0.19，故不能判定。同样对于(9)，最大输出的神经元是“2”，其值是0.58，第二号中的最大输出的神经元是“C”，其值是0.48，因它们的差是0.10，故不能判定。

关于文字“9”代表的结果所示，在图24中，对于(1)，最大输出的神经元是“9”，其值是0.90，满足判定条件1。对于(3)，最大输出的神经元是“9”，其值是0.37，第二号中的最大输出的神经元是“5”，其值是0.07，因它们的差是0.30，满足判定条件2。但对于(2)，最大输出的神经元是“9”，其值是0.27，第二号中的最大输出的神经元是“3”，其值是0.07，因它们的差是0.20，故不能判定。同样对于(8)，最大输出的神经元是“9”，其值是0.38，第二号中的最大输出的神经元是“S”，其值是0.18，因它们的差是0.20，故不能判定。

关于文字“A”代表的结果所示，在图25中，对于(1)，最大输出的神经元是“A”，其值是0.91，满足判定条件1。对于(3)，最大输出的神经元是“A”，其值是0.66，第二号中的最大输出的神经元是“4”，其值是0.11，因它们的差是0.55，满足判定条件2。但对于(22)，最大输出的神经元是“A”，其值是0.22，第二号中的最大输出的神经元是“M”，其值是0.08，因它们的差是0.14，故不能判定。同样对于(26)，最大输出的神经元是“Q”，其值是0.52，第二号中的最大输出的神经元是“A”，其值是0.38，因它们的差是0.14，故不能判定。

关于文字“F”代表的结果所示，在图26中，对于(1)，最大输出的神经元是“F”，其值是0.91，满足判定条件1。对于(3)，最大输出的神经元是“F”，其值是0.65，第二号中的最大输出的神经元是“P”，其值是0.27，因它们的差是0.39，满足判定条件2。但对于(5)，最大输出的神经元是“K”，其值是0.12，第二号中的最大输出的神经元是“F”，其值是0.09，因它们的差是0.03，故不能判定。同样对于(6)，最大输出的神经元是“K”，其值是0.11，第二号中的最大输出的神经元是“F”，其值是0.09，因它们的差是0.02，故不能判定。

在前述的实验中，实验文字也会包含与相当标准的图形数据相差悬殊的东西，人们如何才能识别可能的文字呢？在120全部的结果中，正确的解答是82/120(68％)，错误的解答是5/120(4％)，不能判定是33/120(28％)。从前述结果可知，存在错误的解答和不能判定的许多问题。

又，以NN能力的改善为目标，即使致力于改变结构，也因权重ω的决定方法提供对于实际数据的期待输出进行自己组织化，有存在内部构造成为黑盒子，难以找到最适当方法的问题。

鉴于前述以往的问题，本发明的目的是在提供属性判定正答率高且可靠性高的属性判定的同时，进一步提供能力改善且比较容易地进行的属性判定方法。

本发明的属性判定方法是比较输入图像中包含的输入图形的复数特征数据与从多数标准图形中求得的特征数据的成员函数，判定与输入图形类似度最高的标准图形的属性判定方法。对于全部特征数据，求得对应输入图形各特征数据的各成员函数的输出值，求出对于全部特征数据输出值的综合值，以对应该判定的各标准图形求值，判别综合值最高的标准图形作为特征。

在适用中，对于输入图像中包含的输入图形，用预定的神经网络，进行类似度高的标准图形的判定，选择其结果中上位的复数个标准图形，用选择的标准图形，以前述方法进行判别。又，在该情况综合值中，最好同时考虑神经网络的判定结果。

又，对由标准图形的特征数据作成的成员函数，在被输入的特征数据中，理想的是输出其最大的值，而对其前后的特征数据，设定小的值被输出。

再者，用网格图形表示输入图形，根据所用的在用作特征数据的每列网格图形数据中由上往下及由下往上推进时遇到黑的网格时合计白的网格的上下纵结构向量和、每行网格图形数据中由左到右及由右到左推进时遇到黑的网格时合计白的网格的左右横结构向量和、求出网格图形数据的上半部分和下半部分及左半部分和右半部分的黑的面积差后的上下与左右的面积差、在中心列求出上下方向与黑交叉的次数的上下交叉次数，进行文字识别。

根据本发明的属性判定方法，比较从多数标准图形求得的特征数据的成员函数和输入图形的复数的特征数据，对于全部标准图形求出关于全部特征量的成员函数输出值的综合值，用判别综合值最大的标准图形的模糊推理，进行属性判别，因此根据适当设定其特征数据，能进行属性判定的正答率高且可靠性高的属性判定。又，比较以往的神经网络，判定方法的结构是明确的，因能使必要的特征数据组合，故能按特征数据的补充和变更进行进一步的确当的属性判定，能力改善也比较容易地进行。

又，神经网络对应其内部构造是黑盒子，不需要特征数据选定等费时的工作，不受其合适与否的影响，而且因精细判别中遇到的问题，用粗糙的判别也是有效的，用预定的神经网络，进行类似度高的标准图形的判定，选择上位的复数个的标准图形，用选择的标准图形在前述方法中进行判别时，能在较少的数据处理中进行可靠性高的判别的同时，特征数据的选定也变得简单。

图1是本发明属性判定方法一实施例的学习方法的处理流图。

图2是同一实施例的判定方法的处理流图。

图3是同一实施例的特征量的纵构造向量和的说明图。

图4是同一实施例的特征量的横构造向量和的说明图。

图5是同一实施例的特征量的面积差的说明图。

图6是同一实施例的特征量的上下交差次数的说明图。

图7是成员函数的说明图。

图8是同一实施例的成员函数一例的说明图。

图9是同一实施例的推定值求法的说明图。

图10是同一实施例的模糊推理方法的说明图。

图11是表示对应于同一实施例的标准网格图形数据的各基准特征量的图。

图12是表示对应于同一实施例的对像图形“2”的判定结果的图。

图13是本发明属性判定方法其它实施例的处理流图。

图14是表示对应于同一实施例的对象图形“2”的判定结果的图。

图15是文字识别装置的大概结构。

图16是以往技术例文字识别装置的图像处理部的结构图。

图17是被二进制化的图像的说明图。

图18是截出文字的图像的说明图。

图19是变换成网格图形数据的说明图。

图20是标准图形数据的说明图。

图21是神经网络结构的说明图。

图22是神经网络数据输入时的反应的说明图。

图23是判定对象是“2”的情况的判定检定用文字数据的说明图。

图24是判定对象是“9”的情况的判定检定用文字数据的说明图。

图25是判定对象是“A”的情况的判定检定用文字数据的说明图。

图26是判定对象是“F”的情况的判定检定用文字数据的说明图。

符号的说明：

1是特征量提取电路，2是成员函数提取电路，3是特征量提取电路，4是成员函数比较电路，5是推定值合计电路，f是网格图形数据，i是标准网格图形数据，j是特征量，K是成员函数，l是推定值，m是综合推定值。

实施例1

以下，对本发明的第一实施例，参照图1～图12进行说明。

图1表示属性判定方法的学习方法的处理流图，图2表示属性判定方法的处理流图。到求得输入图形为止与以往的技术相同，对二进制化网格化了的网格图形进行下面的处理。这里，用横5×纵9的网格图形进行说明。

首先，对学习方法进行说明。这是为了在文字判定中从必要的特征量中求出成员函数。

在特征量提取电路1中，输入标准网格图形数据i，输出必要的特征量j。在这里，作为特征量用的是纵结构向量和l，纵结构向量和2，横结构向量和1，横结构向量和2，上下面积和，左右面积和，上下交叉次数的特征量1～特征量7。

纵结构向量和1(特征量1：UDVEC)，如图3所示，是合计求得每列从上向下推进遇到第一个黑的网格时求得白的网格个数的特征量。在图3“U”的例中，纵结构向量和1是0+8+8+8+0＝24。

纵结构向量和2(特征量2：DUVEC)，是合计求得每列从下向上推进遇到第一个黑的网格时求得白的网格个数的特征量。在图3“U”的例中，纵结构向量和2是0+0+0+0+0＝0。

横结构向量和1(特征量3：LRVEC)，如图4所示，是合计求得每行从左向右推进遇到第一个黑的网格时求得白的网格个数的特征量。在图4“3”的例中，横结构向量和1是0+4+4+4+0+4+4+4+0＝24。

横结构向量和2(特征量4：RLVEC)，是合计求得每行从右向左推进遇到第一个黑的网格时求得白的网格个数的特征量。在图4“3”的例中，横结构向量和2是0+0+0+0+0+0+0+0+0＝0。

上下面积差(特征量5：UDDIFF)，如图5所示，是求得上半部分横4×纵4的黑的面积与下半部分横4×纵4的黑的面积的差的特征量。在图5“U”的例中，上下面积差是8-11＝-3。

左右面积差(特征量6：LRDIFF)，如图5所示，是求得左半部分横2×纵9的黑的面积与右半部分横2×纵9的黑的面积的差的特征量。在图5“U”的例中，左右面积差是10-10＝0。

上下交差次数(特征量7：VCN)，如图6所示，是求得中心列中从上向下推进与黑相交次数的特征量。在图6“3”的例中，上下交差次数是3。

在特征量提取电路1中求得的特征量j，输入到成员函数提取电路2，输出成员函数k。所谓成员函数，就是以标准网格图形数据的特征量(下面称作基准特征量)为中心，持有一定扩展的输入输出函数。以应该判定的网格图形数据的特征量为输入，输出估计与基准特征量多少间隔的推定值。这里，基准特征量输入时为输出最大值1.0，作成以它为中心形成的扩展的函数。图7表示成员函数，横轴上为特征量，纵轴上取为推定值。在图7的例中，对于基准特征量S，用宽度A形成继续输出推定值1.0的区间，用宽度B形成继续输出推定值0.0～1.0的区间，用宽度C形成继续输出推定值-1.0～0.0的区间。又，各宽度A、B、C考虑到与其它标准网格图形数据的特征量的重叠，按经验进行设定。例如，各文字的相同基准特征量为0～30的情况，设定宽度A＝1，宽度B＝2，宽度C＝5的限度是适当的。图8表示基准特征量S是10，宽度A＝1，宽度B＝2，宽度C＝5情况的成员函数。

接着，关于判定方法，参照图2进行说明。这是根据求得文字判定中必要的特征量、与成员函数比较求得推定值、最后求得综合推定值，进行判定。

在特征量提取电路3中，输入应该判定的网格图形数据f，提取出必要的特征量j。在这里，用对应于预先要求的基准特征量的纵结构向量和1、纵结构向量和2、横结构向量和1、横结构向量和2、上下面积差、左右面积差和上下交叉次数。在成员函数比较电路4中，输入该特征量j，输出推定值l。在这里对采用的7个特征量，同样地进行。图9表示推定值的求法，对于被输入的特征量(23)，求得作为输出的推定值(0.5)。

在推定值合计电路5中，输入各推定值l，输出综合推定值m。图10表示的是模糊推理方法，求出关于7个特征量对应的各文字的成员函数的推定值，沿水平轴求得各个文字的综合推定值，最终以持有最大综合推定值的文字作为判定结果。

接着，对实际的网格图形数据，以适用前述判定处理的例子进行说明。

对于图20所示的标准网格图形数据，计算如图11所示的基准特征量。于是，对于特征量1～6，用宽度A＝1、宽度B＝2、宽度C＝5，对于特征量7，宽度A＝0、宽度B＝1、宽度C＝1，作成成员函数。至此学习结束。

接着，参照图12对判定处理进行说明。对于图12(a)所示的判定对象的网格图形10，图12(b)表示关于各文字对于各自特征量的成员函数的推定值和对于各文字的综合推定值。对于图12(a)，“1”是黑、“0”是白，求出该对象图形10的各个特征量，特征量1(UD-VEC)是1+0+0+0+0＝1，特征量2(DUVEC)是0+0+0+0+0＝0，特征量3(LRVEC)是1+0+4+3+2+1+0+0+0＝11，特征量4(RLVEC)是0+0+0+1+2+3+4+4+0＝14，特征量5(UD-DIFF)是8-8＝0，特征量6(LRDIFF)是7-7＝0，特征量7(VCN)是3。对各文字求得各特征量的推定值，对求得的其综合推定值进行处理，这里为简单起见，仅例示“2”、“3”、“C”、“E”、“I”、“S”、“Z”，对其它文字省略其图示。对于各文字的综合推定值，“2”是7.00、“3”是1.30、“C”是0.10、“E”是1.20、“I”是4.00、“S”是6.00、“Z”是6.50，对象图形10持有最大推定值的“2”被判定。

这些处理，根据适当地补充和变更适于判定文字的特征量，能使判定能力得到相当地提高。又，因处理非常简单，即使特征量的数目相当多，也不成问题。

实施例2

接着，对本发明的第二实施例进行说明。该实施例是预先进行使用NN的处理后，根据前述的模糊推理进行判定处理。也就是说，在基于NN的判别方法中，即使前述那样精度高的判别中遇到问题，对于大体上的文字判定，对应正确解答的文字的输出层神经元的值，只送入上面3位以内，作为粗糙的判别方法是简单且好的方法。本实施例在预先NN处理中选择文字后，根据模糊推理进行判定。

图13表示文字判定的流图。到作成网格图形数据为止，与前述实施例相同。步骤#1中，进行与以往技术例相同地NN判定处理。接着在步骤#2中，若NN判定结果在判定阀值以上，步骤3中对应的文字作为结果。若在判定阀值以下，在用模糊推理推进的同时，仅对持有其间有NN判定结果的程度大的值，进行模糊推理。这样，在步骤4中，只从神经网络输出数据中挑选的数据，做NN输出数据的点集。在步骤5中，仅对挑选的数据(文字)的特征量进行提取。在步骤6中，从各成员函数根据模糊推理做点集。在步骤7中，若模糊推理判定结果在判定阀值以上，步骤8中对应的文字作为结果。若在判定阀值以下，在步骤9中是作为判定不可能。

作为说明对于实际的图形数据适用的技术例，对于图20中表示的标准网格图形，用图14(a)表示判定对象的网格图形10，图14(b)表示关于被选择的各文字，对于NN的输出数据和各自特征量的成员函数的推定值和对各文字的综合推定值。NN输出数据选择并保留0.01以上，将该输出数据乘以10倍，加以模糊推理。最终持有最大综合推定值的“2”被判定。

除上述7个特征量外，增加适当的特征量，选用全部26个特征量，对图23～图26所示的120个文字图表的判别中适用的具体适用技术例，正确的解答是108/120(90％)，错误的解答是1/120(1％)，判定不可能是11/120(9％)。这比按NN单独判定，错误的解答减少到1/5，判定不可能减少到1/3。人们考虑到也判断含有难判断的文字图形时，判断力能比以往技术有相当的提高。

又，前述实施例关于文字识别说明了，若对该分别的属性选择有效的特征量、形成成员函数、进行模糊推理，则一定能广泛应用到不限于文字的识别中。又，在前述实施例中，网格数据以二进制数据处理后，在网格数据中若由浓淡值选择有效的特征量，则能适用。又，在前述实施例中，从标准化后的网格数据提取特征量，若从标准化前的数据选择有效的特征量，则不必要进行标准化。又，不限以-1.0～1.0作为推定值的范围。又，特征量的数目也不受限定。又，与NN组合时的判定阀值也可适当地设定。又，在前述实施例中，根据模糊推理判定时增加NN输出数据，在NN中仅进行文字选择，在模糊推理时可以不考虑NN的输出数据。又，考虑到NN的输出数据，也可以对应于判别对象任意设定其乘数。

又，作为本发明对象的输入图形，例如是半导体母片和液晶板上的识别号码及集成电路芯片上的制造号码等，且不限于从电视摄像机摄像图像中获得的对象物上的文字和记号和模样等图形。

根据本发明的属性判定方法，由前述说明表明，比较从多数标准图形求得的复数特征数据的成员函数和输入数据的复数特征数据，求得对于全部标准图形的关于全部特征量的成员函数输出值的综合值，进行判别综合值最高的标准图形的属性判别，根据适当地设定其特征数据，能提高属性判定的正答率，能做可靠性高的属性判定。又，因处理非常单纯，即使特征数据的数目相当多也不会有处理时间和处理容量等问题。又，比较以往的神经网络，判定方法的组合是明确的，因能做必要的特征数据的组合，根据特征数据的补充和变更，有能进一步确切的属性判定且能比较容易地进行能力改善等效果。

又，鉴于即使神经网络精细的判别中遇到问题，用粗糙判别也有效果，用预定的神经网络进行类似度高的标准图形的判定，选择上位的复数个标准图形，用选择的标准图形以前述方法进行判别时，在较少数据处理中能进行可靠性高的判别的同时，也有特征数据的选定也变得简单的效果。

又，预定使用根据神经网络判定的情况中，在属性判定时考虑神经网络的输出值时，能进一步做可靠性高的判别。

又，在标准图形的特征数据输入的情况，输出成员函数最大值，对其前后的特征数据，按较小的值被输出设定，能识别类似图形进行精度高的判别。

又，进行文字判别时，以网格图形为输入图形，根据用作为特征数据的上下纵结构向量和、左右横结构向量和、上下和左右的面积差、上下交叉次数，能确切地识别文字持有的特征，并以高正确解答率判别文字。

Claims (5)

1.一种属性判定方法，其特征在于包括：比较输入图像包含的输入图形的复数的特征数据和从多数的标准图形中求得的特征数据的成员函数，在输入图形中判定类似度最高的标准图形的属性判定方法，对全部特征数据求得对于输入图形各特征数据的各成员函数的输出值，求得对于全部特征数据的输出值的综合值，对应该判定的各标准图形，判别综合值最高的标准图形的属性判定方法。

2.一种属性判定方法，其特征在于包括：对于输入图像包含的输入图形，用预定的神经网络进行类似度高的标准图形的判定，从其结果选择上位的复数个的标准图形，用选择的标准图形进行权利要求1中记载的属性判定方法。

3.一种属性判定方法，其特征在于包括：在综合值中考虑神经网络的判定结果的权利要求2中记载的属性判定方法。

4.一种属性判定方法，其特征在于包括：从标准图形的特征数据中作成的成员函数，在其特征数据被输入的情况中输出大的值，对其前后的特征数据设定输出小的值的权利要求1或权利要求2中记载的属性判定方法。

5.一种属性判定方法，其特征在于包括：在权利要求1或权利要求2或权利要求3或权利要求4中记载的属性判定方法中，以网格图形为输入图形，用合计作为特征数据的每列网格图形数据由上往下及由下往上推进遇到黑的网格为止的白的网格数的上下纵结构向量和、合计每行网格图形数据由左往右及由右往左推进遇到黑的网格为止的白的网格数的左右横结构向量和、求得网格图形数据的上半部分与下半部分及左半部分与右半部分的黑的面积差的上下和左右的面积差以及在中心列的上下方向求得与黑交叉次数的上下交叉次数，进行文字识别。

Images