WO2001093188A9

WO2001093188A9 - Procede de traitement de document, support sur lequel est enregistre un programme de traitement de document et processeur de document

Info

Publication number: WO2001093188A9
Application number: PCT/JP2001/004673
Authority: WO
Inventors: Masaki Nakagawa
Original assignee: Japan Science & Tech Corp; Masaki Nakagawa
Priority date: 2000-06-02
Filing date: 2001-06-01
Publication date: 2004-11-04
Also published as: EP1310904A1; US20030113019A1; EP1310904A9; WO2001093188A1; EP1310904A4; US7221795B2

Description

帳票処理方法、帳票処理プログラムを記録した記録媒体、帳票処理プログラム及び帳票処理装置

本発明は、帳票処理方法、.帳票処理プログラムを記録した記録媒体、帳票処理プログラム及び帳票処理装置に係る。本発明は、特に、オフィス等で利用される情報機器分野に適用可能で、帳票上に記入された文字や記号（以下、文字で総称する）を簡単に認識することのできる帳票処理方法、帳票処理プログラム、帳票処理プログラムを記録した記録媒体及び帳票処理装置に関する。なお、本発明において帳票とは、文字を記入するための記入枠が印刷又は記載された面を有し、紙、高分子材料等で形成されたシート等の 2次元形状、立体形状のもの等を総称するものとする。

背景技術一般に、帳票処理装置においては、記入枠に重なって記入された文字の切り出しが、技術的に重要である。記入枠と記入された文字の分離を容易にするために、色を判別できる読み取り装置を前提に読取り時に削除できるドロップアウトカラ一で記入枠を印刷したり、濃淡を判別できる読み取り装置を前提にグレーカラーなどを記入枠に利用したりすることが行われてきた。しカゝし、読み取り装置のコスト、帳票印刷のコスト、既存の単色帳票の継続利用ニーズなどから、 2値（多くの場合、白と黒）の帳票を認識することがむしろ增加してきている。このとき、枠に重なった文字を認識するために枠線からの力すかな溢れを検出してそれを手が力りに処理するなどしている。しかし、この問題の根本的な解決は容易ではない。また、 2値のファクシミリを経由した帳票読み取りのエーズもあり、これらのファックスを経由しても利用できる方法として、白黒の帳票にボールペンや鉛筆で手書きされた帳票を読み取る方式の改善ニーズは大きくなってきている。

図 3 7は、従来の帳票処理装置の構成図を示す（特公昭 6 3— 1 8 7 8 6号公報参照)。

帳票 1 0 1は、低い濃度で文字の記入枠が印刷され、かつ記入枠内に文字が記入される。光電変換手段 2は、帳票 1 0 1の 1行分の領域を文字記入枠の濃度を低く、文字の濃度を高く光電変換する。この光電変換の結果得られた 1行分の領域の各画素の濃度は、記憶手段 1 0 3に記憶される。記憶手段 1 0 3の記憶内容は、文字記入枠位置検出手段 1 0 4に送られる。文字記入枠位置検出手段 1 0 4 は、濃度が既定値の画素の数を行及び列方向に各々数える。文字記入枠位置検出手段 1 0 4は、この数が行方向及び列方向の各々の既定値を越えた時、この位置に文字記入枠があると見なし、この文字記入枠位置情報を、文字切り出し手段 1 0 5に送る。文字切り出し手段 1 0 5は、文字記入枠位置情報と記憶手段 1 0 3 より送られる記憶内容を用いて、文字の切り出しを行なう。

以上のように、この従来例では、文字記入枠の濃度が低いことを利用して文字記入枠を検出し文字を切り出すため、文字切り出しのためのマークなどは必要ない。発明の開示しかしながら、従来の濃度差を用いる方法では、例えば、 2値のファクシミリで帳票を送った場合、記入枠はその濃度と 2値化閾値の関係で白か黒かを表す 1 又は 0に 2値化されてしまい、 2値化閾値によっては、記入枠が消えたり、あるいは、記入枠も記入された文字の濃度と同じになってしまうといった場合があつた。あるいは、従来は、濃度情報が正確に送れる高性能なファクシミリが必要であった。

本明は、以上の点に鑑み、記入枠をカラ一/ rンクあるいはグレーカラーではなく、小さいドットの集合（ドットテクスチャと呼ぶ）で出力し、このような記入枠のある帳票からドットテクスチャの記入枠を消去して記入された文字のみを取り出すようにした帳票処理方法、帳票処理プログラム、帳票処理プログラムを記録した記録媒体及び帳票処理装置を提供することを目的とする。また、本発明は、ドットの集合による線を用いて帳票を作ることができるので、白黒のプリンターで帳票を作成することを可能とすることを目的とする。また、本発明は、読み取りのための最も低廉な 2値のイメージリーダ、ファクシミリ、スキャナ等で帳票を入力することを可能とすることを目的とする。さらに、本発明は、行及び文字記入位置マークの必要をなくし、プリントァゥト時に特殊な文書出力処理を不要とし、帳票作成を容易にすることを目的とする。

また、一般に、帳票には項目を記入する枠の上または左などに、その項目の見出しが印刷されていることが普通である。このような見出しと筆記文字とを分離するために、従来は見出しを枠同様にドロップアウトカラ一で印刷して分離したり、筆記文字より小さいというような曖昧な情報でそれらを分離したりしていた。本発明は、この点に鑑み、見出し文字を枠と同様にドットテクスチャで印刷することにより、枠を画像から落とすことと全く同じ手法で見出し文字を落とすようにすることを目的とする。また、本発明は、原画像から手書き文字パターン部分を分離後、原画像からその部分を逆に落として、残った画像に膨張処理を施すことで、見出し文字の認識も可能とすることを目的とする。

さらに、本発明は、ドットのサイズ、ピッチ、個数に付加情報（バージョン、認識指示命令、真贋判定に利用する情報など）を表現することで、ドットテクスチヤへの指示などの情報の埋め込むことを目的とする。

近年プリンターの技術が進み、文字、線をドットの密度を変化させて印刷できるようになってきた。本発明では、ドットは収縮、あるいは、黒連結成分数（まわりを白画素で囲まれた接続する黒画素数）の計測技術など、従来の画像処理技術を用いることにより容易に除去することができることに注目し、文字パターンを切り出すときには、記入枠を除去し、文字位置を求めるときには、記入枠情報を利用するようにした。

本発明の第 1の解決手段によると、帳票が入力され、ドットの集まりで構成された記入枠と、記入された文字とを含む文字枠データを作成する帳票入力ステップと、

前記帳票入力ステップで作成された文字枠データに基づき、記入された文字の文字データを検出する文字検出ステップと、

前記帳票入力ステツプで作成された文字枠データに基づき、文字の記入されるべき位置を表す記入枠位置データを検出する記入枠検出ステツプと、

前記文字検出ステツプで検出された文字データと、前記記入枠検出ステツプにより検出された記入枠位置データに基づき、文字と記入枠とを対応付けることで、文字毎の文字パターンを切り出す対応付けステップと、

前記対応付けステップにより切り出された各々の文字パターンに基づき、記入された各々の文字を認識する認識ステップと

を含む帳票処理方法、これらのステップをコンピュータに実行させるための帳票処理プロダラム及ぴ帳票処理プログラムを記録したコンピュータ読み取り可能な記録媒体が提供される。

本発明の第 2の解決手段によると、

帳票が入力され、ドットの集まりで構成された記入枠と、記入された文字とを含む文字枠データを作成する帳票入力手段と、

前記帳票入力手段で作成された文字枠データに基づき、記入された文字の文字データを検出する文字検出手段と、

前記帳票入力手段で作成された文字枠データに基づき、文字の記入されるべき位置を表す記入枠位置データを検出する記入枠検出手段と、

前記文字検出手段で検出された文字データと、前記記入枠検出手段により検出された記入枠位置データに基づき、文字と記入枠とを対応付けることで、文字毎の文字パターンを切り出す対応付け手段と、

前記対応付け手段により切り出された各々の文字パターンに基づき、記入された各々の文字を認識する認識手段と

を備えた帳票処理装置を提供される。

本発明の第 3の解決手段によると、

ドットの集まりで構成された見出し文字と、ドットの集まりで構成された記入枠と .、記入された文字とを含む文字枠データを入力する入力ステップと、前記入力ステップで入力された文字枠データに基づき、記入された文字の文字データを検出する文字検出ステップと、

前記入力ステップにより入力された文字枠データに基づき、文字枠データから前記文字検出ステップで検出した文字パターンを除去する文字パターン除去ステップと、

隣接する各ドットが連結する程度に膨張処理を行う膨張ステツプと、前記膨張ステップにより得られた画像中の見出しに対して、見出し文字の認識を行う認識ステップと

を含む帳票処理帳票処理方法、これらのステップをコンピュータに実行させるための帳票処理プログラム及び帳票処理プログラムを記録したコンピュータ読み取り可能な記録媒体が提供される。

本発明の第 4の解決手段によると、

ドットの集まりで構成され、ドットの集まりを一様でないように変化させることにより情報が埋め込まれた記入枠と、記入された文字とを含む文字枠データを入力する入力ステップと、

前記入力ステツプで入力された文字枠データに基づき、記入された文字の文字データを検出する文字検出ステップと、

前記文字パタ一ン除去ステツプにより求められた記入枠データに基づき、記入枠のドットの集まりの変化を検出して、記入枠に埋め込まれた情報を判定する判定ステップと

を含む帳票処理方法、これらのステップをコンピュータに実行させるための帳票処理プロダラム及び帳票処理プログラムを記録したコンピュータ読み取り可能な記録媒体が提供される。図面の簡単な説明図 1は、本発明に係る帳票処理方法のフ口一チヤ一ト。

図 2は、本発明に係る帳票処理装置の第 1の実施の形態の構成図。

図 3は、帳票処理に関する説明図。

図 4は、文字検出処理の詳細フローチヤ一ト。

図 5は、文字検出処理についての説明図。

図 6は、記入枠検出処理の詳細フローチヤート。

図 7は、記入枠検出処理についての説明図。

図 8は、対応付け処理の詳細フローチヤ一卜。

図 9は、対応付け処理についての説明図。

図 1 0は、本発明で記入枠に筆記文字が重なっても分離できる例を示す説明図。図 1 1は、見出し文字の分離と認識についての基本的な第 2の実施の形態の処理のフローチャート。

図 1 2は、本発明に係る帳票処理装匱の第 2の実施の形態の構成図。

図 1 3は、ドットテクスチャ帳票への記入例についての説明図。

図 1 4は、手書き文字パターンの抽出についての説明図。

図 1 5は、見出しと記入枠の取り出しについての説明図。

図 1 6は、見出し文字の分離と認識についての第 2の実施の形態と、第 1の実施の形態とを組み合わせた場合の処理のフローチヤ一ト。

図 1 7は、フーリエ変換を利用するドット除去のフローチャート。

図 1 8は、原画像の説明図。

図 1 9は、原画像に対して離散フーリエ変換を実行した際の説明図。

図 2 0は、高周波成分除去した際の説明図。

図 2 1は、逆フーリェ変換を実施した際の説明図。

図 2 2は、閾値を決めて 2値化した際の説明図

図 2 3は、ウオルシュ ·了ダマール変換を利用するドット除去のフローチヤ一 b o 図 2 4は、原画像の説明図。

図 2 5は、原画像に対してウオルシュ■アダマール変換を実行した際の説明図。図 2 6は、高周波成分 (一部低周波成分も) 除去した際の説明図。

図 2 7は、逆ウオルシュ■アダマール変換を実行した際の説明図。

図 2 8は、閾値を決めて 2値化した際の説明図。

図 2 9は、ステップ S 4 0 3の処理で、低周波を切り落とさなかった場合の説明図。

図 3 0は、ドットテクスチャへの情報の埋め込みについてのフローチヤ一ト。図 3 1は、本発明に係る帳票処理装置の第 3の実施の形態の構成図。

図 3 2は、この文字枠を構成するドットテクスチャ例。

図 3 3は、ドットのサイズの変化によつて情報を付加する例。

図 3 4は、ドットの有無によって情報を付加する例。

図 3 5は、ドットのピッチの変化により付加情報を埋め込む例。

図 3 6は、付加情報の埋め込みについての第 3の実施の形態と、第 1の実施の形態とを組み合わせた場合の処理のフローチャートを示す。

図 3 7は、従来の帳票処理装置の構成図を示す, 発明を実施するための最良の形態

1 . 文字枠のドットテクスチャによる印刷図 1に、本発明に係る帳票処理方法の第 1の実施の形態のフローチャートを示す。図 2に、本発明に係る帳票処理装置の第 1の実施の形態の構成図を示す。また、図 3に、帳票処理に関する説明図を示す。

この帳票処理装置は、処理部 1 1、入力部 1 2、記憶部 1 3、出力部 1 4を備える。処理部は 1 1は、記入枠検出手段 4、文字検出手段 5、対応付け手段 6、文字認識手段 7を備える。帳票入力部 1 2は、光電変換手段 2を備える。記憶部 1 3は、文字枠データ蓄積手段 3、結果記憶手段 8を備える。まず、帳票入力手段 1 2は、光電変換手段 2により、認識の対象となる帳票 1 を読み取り、電子データとして、文字と記入枠を含む文字枠データ 1 1を得る（帳票入力処理 S 2 )。文字枠データ蓄積手段 3は、光電変換手段 2により読み取られた文字枠データ 1 1を記憶する（文字枠データ蓄積処理 S 3 )。文字枠データ 1 1 は、記入枠検出手段 4により、文字の記入されるべき位置を表す記入枠位置データ 1 3 cを検出する（記入枠検出処理 S 4 )。一方、入力データ 1 1は、文字検出手段 5により、文字データ 1 2 bが検出される (文字検出処理 S 5 )。なお、文字検出処理 S 5と記入枠検出処理 S 4は、以上の説明では、並列に処理される例を示したが、これらは、順次に処理されてもよい。

対応付け手段 6では、記入文字の文字データ 1 2 bと記入枠位置データ 1 3 c 力、ら、各々の記入枠に記入された文字パターンを切り出す（対応付け処理 S 6 )。この結果、文字パターンは文字認識手段 7で認識され（文字認識処理 S 7 )、認識結果と記入枠が対応づけられて結果記憶手段 8に記憶される（結果記憶処理 S 8 )。結果記憶処理 S 8において又はその後に、出力部 1 4により他の装置へ認識結果又はそれに関するデータを出力又は表示するようにしてもよい。

つぎに、図 4に、文字検出処理の詳細フローチャートを示す。また、図 5に、文字検出処理についての説明図を示す。

文字検出処理 S 5が開始されると、文字枠データ 1 1は文字検出手段 5に入力され（S 5 1 )、収縮処理が行われる（S 5 3 )。収縮処理とは、例えば、黒画素が連結された連結部分について、その周囲（エッジ）を収縮する処理である。収縮処理では、例えば、入力画像のエッジを抽出し、そのエッジをを白画素に変えることで収縮画像が得られる。なお。エッジとは、白画素に隣接する黒画素を抽出したものである。また、 2重、 3重等のエッジを抽出及ぴ除去することで、さらに収縮処理することができる。記入枠はドットで構成されていることから、この収縮処理によりドットをより小さくすることができ、一方、記入された文字にはそれほどの影響はない。

つぎに、この収縮処理結果 1 2 aにおいて微小点を除去する（S 5 5 )。微小点を除去する処理では、例えば、黒画素が連結した部分である連結成分を求め、各連結成分の黒画素数を求め、予め定められた閾値以下又は閾値より小さい連結成分を除去する。つぎに、残ったパターンに対して逆に膨張処理を行うことにより

( S 5 7 )、記入された文字の文字データ 1 2 bを得ることができる。膨張処理では、例えば、入力画像のエッジを抽出し、エッジの黒画素に隣接した白画素を黒画素に変えることで膨張画像が得られる。

つぎに、図 6に、記入枠検出処理の詳細フローチャートを示す。また、図 7に、記入枠検出処理についての説明図を示す。

記入枠検出処理 S 4が開始されると、記入枠検出手段 4では文字枠データ 1 1 が入力される（S 4 1 )。文字枠データ 1 1について単純に縦方向の周辺分布を取つても記入された文字の影響があり、記入枠位置を正確には検出できない。そこで記入枠に記入された文字の影響をできる限り,除去するため、文字枠データ 1 1 から文字パターンを除去する処理が実行され、記入枠データ 1 3 aが作成される ( S 4 3 ) ₀ この処理は、文字検出処理で検出された文字データ 1 2 bの各黒画素の位置に対応する文字枠データの画素を白画素にすることにより行う。つぎに、記入枠データ 1 3 aを縦方向に積分又は累積することで周辺分布 1 3 bを求める ( S 4 5 )。周辺分布 1 3 bから記入枠位置データ 1 3 cを得ることができる（S 4 7 )。このとき、例えば、周辺分布 1 3 bのピークに相関する一定周期の区切りを求めるようにすればよい。

また、記入枠に記入された文字の影響を低減するための別の方法としては、文字枠データ 1 1全体にエッジ検出をまず行い、それから縦方向の周辺分布を取つて記入枠位置検出を行う方法もある。こうすることで、文字パターンを除去する処理を省略できる。エッジ検出によりドット部は大量のエッジ（エッジを構成する黒画素数）を生成し、反対に記入された文字はその輪郭分のエッジしか生成しないために影響を薄くすることができる。つぎに、記入枠データ 1 3 aを行方向に積分又は累積することで周辺分布 1 3 bを求める（S 4 5 )。周辺分布 1 3 から記入枠位置データ 1 3 cを得ることができる ( S 4 7 )。このとき、例えば、周辺分布 1 3 bのピークに相関する一定周期の区切りを求めるようにすればよい。つぎに、図 8に、対応付け処理の詳細フローチャートを示す。また、図 9に、対応付け処理についての説明図を示す。

対応付け処理 S 6が開始されると、対応付け手段 6には、記入枠検出処理 S 4 で求められた記入枠位置データ 1 3 cと文字検出処理 S 5で求められた文字データ 1 2 bが入力され、これらが対応付けられる（S 6 1 )。これにより、各々の文字毎に文字パターン 1 4 a〜l 4 cが切り出される ( S 6 3 )。なお、列方向についても同様の周期又は長さで文字パターン 1 4 a ~ l 4 cを切り出すことができる。この 1文字毎の文字パターン 1 4 aから 1 4 cに基づいて、文字認識がなされる。

また、本発明のようにドットテクスチャを記入枠に適用すれば、上述の方法により、たとえ記入枠に筆記文字が重なっても容易に分離できる。

図 1 0は、本発明で記入枠に筆記文字が重なっても分離できる例を示す説明図である。

図 1 0 (A) のように記入枠 1 5 aに筆記文字 1 5 bが重なった場合も、上述のような本実施の形態を適用するこどにより、図 1 0 ( B ) のように記入枠 1 5 aと筆記文字 1 5 bとを分離することができる。 2 . 文字枠に対する見出し文字のドットテクスチャによる印刷つぎに、文字枠に対する見出し文字のドットテクスチャによる印刷に関する実施の形態について説明する。

帳票には項目を記入する枠の上または左などに、その項目の見出しが印刷されていることが普通である。これと筆記文字とを分離するために、従来は見出しを枠同様にドロップアウトカラ一で印刷して分離したり、筆記文字より小さいというような曖昧な情報でそれらを分離したりしていた。し力し、本実施の形態によると、見出し文字を枠と同様にドットテクスチャで印刷することにより、枠を画像から落とすことと全く同じ手法でそれらを落とすことができ、また、原画像から手書き文字パターン部分を分離後、原画像からその部分を逆に落として、残つた画像に太め処理（膨張処理）を施すことで、見出し文字の認識も可能となる。図 1 1に、見出し文字の分離と認識についての基本的な第 2の実施の形態の処理のフローチャートを示す。また、図 1 2に、本発明に係る帳票処理装置の第 2 の実施の形態の構成図を示す。この帳票処理装置は、処理部 1 1、入力部 1 2、記憶部 1 3、出力部 1 4を備える。処理部は 1 1は、記入枠検出手段 4、文字検出手段 5、対応付け手段 6、文字認識手段 7、手書き文字除去手段 2 1を備える。帳票入力部 1 2は、光電変換手段 2を備える。記憶部 1 3は、文字枠データ蓄積手段 3、結果記億手段 8を備える。なお、各手段の構成については、見出し文字認識手段 2 2等特に説明される内容以外は、上述の実施の形態と同様である。図 1 3に、ドットテクスチャ帳票への記入例についての説明図を示す。

まず、処理部 1 1は、原画像である文字枠データ 2 1 1を入力する ( S 2 0 l ) o この場合、例えば、上述の実施の形態と同様に、次のように入力処理を実行することができる。まず、帳票入力手段 1 2は、光電変換手段 2により、認識の対象となる帳票を読み取り、電子データとして、文字と記入枠を含む文字枠データ 2 1 1を得る（図 1、帳票入力処理 S 2参照)。文字枠データ蓄積手段 3は、光電変換手段 2により読み取られた文字枠データ 2 1 1を記憶する（図 1文字枠データ蓄積処理 S 3参照）。その後、処理部 1 1は、文字枠データ 2 1 1を記憶部 1 3の文字枠データ蓄積手段 3から入力する。その他にも、処理部 1 1は、入力済みの文字枠データ 2 1 1が記憶部 1 3の文字枠データ蓄積手段 3に既に記憶されている場合、帳票入力処理 S 2及び文字枠データ蓄積処理 S 3を実行せずに、直接文字枠データ蓄積手段 3から文字枠データ 2 1 1を入力するようにしても良い。

図 1 4に、手書き文字パターンの抽出についての説明図を示す。

つぎに、文字検出手段 5は、手書き文字パターンについて文字検出処理を実行する（S 2 0 3 )。具体的には、文字検出手段 5は、上述の図 4に示された文字検出処理の詳細フローチャート、及び、上述の図 5に示された文字検出処理についての説明図、及びそれらの説明箇所で説明したように、文字検出処理を実行する。これにより、文字検出手段 5により記入された文字の文字データ 2 1 2を得ることができる。

処理部 1 1の手書きパターン除去手段 2 1は、入力された文字枠データ 2 1 1 に基づき、文字枠データ 2 1 1から文字検出処理 S 2 0 3で検出した文字パターン 2 1 2を除去することにより見出しを含む記入枠データを求める（S 2 0 5 )。図 1 5に、見出しと記入枠の取り出しについての説明図を示す。つぎに、手書きパターン除去手段 2 1は、求められた記入枠データに対してドットテクスチャが連結する程度に各ドットの膨張処理を行う（S 2 0 7 )。これにより、図示のような見出しと記入枠が取り出される。

つぎに、文字認識手段 7は、取り出された見出し（または、見出しと記入枠）に対して、見出し文字の認識を行う ( S 2 0 9 ) ₀ 文字認識手段 7が微小な点によるノイズに弱い場合には、手書きパターン除去手段における膨張処理の前段又は後段に、図 4で説明した微小点除去 ( S 5 5 ) を実施しても良い。

図 1 6に、見出し文字の分離と認識についての第 2の実施の形態と、第 1の実施の形態とを組み合わせた場合の処理のフローチャートを示す。

まず、上述の実施の形態と同様に、帳票入力処理 S 1及び文字枠データ蓄積処理 S 2が実行される。記入枠検出処理 S 4、文字検出処理 S 5、対応付け処理 S 6については、上述の通りである。ここでは、さらに、手書きパターン除去手段 2 1は、文字枠データ蓄積処理 S 3により蓄積された文字枠データを、文字枠データ蓄積手段 3から読み出して、原画像として入力する（S 2 1 1 )。つぎに、手書きパターン除去手段 2 1は、文字検出処置 S 5 (文字検出手段 5 ) により求められた文字データを用いて、上述のように、手書き文字パターンを除去する（S 2 1 5 )。さらに、手書きパターン除去手段 2 1は、求められた見出しを含む記入枠データに対して膨張処理を行う（S 2 1 7 )。手書きパターン除去手段 2 1は、このように見出し文字の分離処理を実行する。さらに、文字認識処理 S 7では、対応付け処理 S 6により求められた手書き文字に加え、ステップ 2 1 7からの分離した見出し文字についても文字認識処理を実行する。さらに、文字認識処理手段 7は、認識された手書き文字及び見出し文字が結果記憶手段 8に記憶される。文字認識手段 7が微小な点によるノィズに弱い場合には、手書きパターン除去手段における膨張処理の前段又は後段に、図 4で説明した微小点除去（S 5 5 ) を実施しても良い。

つぎに、ドットテクスチャのその他のオブジェクトへの応用について説明する。本実施の形態では、ドットテクスチャを帳票記入枠に利用する利点を述べた。既に出願済の、特願平 11-227231号及び特願平 11-227219号では、ドットテクスチヤを編集対象の文書に適用して、手書き訂正と容易に分離できる方法を提案した。このことから、本発明を用いることで、ドットテクスチャを、写真や図などに適用して、それらに対する編集記号などを容易に分離して、それら編集記号が意味する訂正を実施することも可能である。

3 . ドット除去のための膨張■収縮以外の方法

( 1 ) フーリェ変換を利用する方法

一般に、ドットテクスチャは手書きパターンに比べて、高周波成分で構成される。そこで、入力された文字枠データ (画像) にフーリエ変換を適用して、周波数成分に変換し、そこで高周波成分を除去し、それを、逆変換、および、 2値化して、ドットを除去する方法が考えられる。

図 1 7に、フーリエ変換を利用するドット除去のフローチャートを示す。

まず、文字検出手段 5は、文字枠データ蓄積手段 3に記憶された原画像データである文字枠データを読みこむ（S 3 0 1 )。または、上述のように、帳票入力処理 S 2及び文字枠データ蓄積処理 S 3により文字枠データ蓄積手段 3に文字枠データを記憶し、文字検出手段 5がその文字枠データを入力するようにしても良い。図 1 8に、原画像の説明図を示す。

つぎに、文字検出手段 5は、読みこんだ原画像に対して離散フーリエ変換を実行する（S 3 0 2 )。原画像データは、例えば、画像をスキャンした際の濃淡又は白黒を表すデータを複数スキャン分含むものであり、ここでの処理は、その濃淡又は白黒の変化を離散フーリエ変換するものである。図 1 9に、原画像に対して離散フーリエ変換を実行した際の説明図を示す。この図では、中心を原点とし、縦軸は垂直周波数成分、横軸は水平周波数成分をあらわす。

つぎに、文字検出手段 5は、高周波成分の除去を実行する（S 3 0 3 )。これにより原画像がボケる。図 2 0に、高周波成分除去する際の説明図を示す。この図では、中心を原点とし、縦軸は垂直周波数成分、横軸は水平周波数成分をあらわす。

さらに、文字検出手段 5は、逆離散フーリエ変換を実行する（S 3 0 4 )。図 2 1に、逆離散フーリエ変換を実行した際の説明図を示す。つぎに、文字検出手段 5は、ステップ S 3 0 4で得られたボケ画像に対して閾値を決めて 2値化処理を行う（S 3 0 5 )。図 2 2に、閾値を決めて 2値化した際の説明図を示す。 ( 2 ) ウオルシュ .アダマール変換を利用する方法

フーリェ変換が画像を三角関数の周波数成分に分解するのに対して、ゥオルシュ■アダマール変換は、矩形波の周波数成分に分解する。原画像が 2値画像の場合は、このほうが有限周波数の範囲でも原画像をより忠実に表現できる。これを利用して、やはり、ウオルシュ ·アダマール変換により矩形波の周波数成分に変換し、そこで高周波成分を除去し、それを、逆変換、および、 2値化して、ドットを除去する方法が考えられる。

図 2 3に、ウオルシュ 'アダマール変換を利用するドット除去のフローチヤ一トを示す。

まず、文字検出手段 5は、文字枠データ蓄積手段 3に記憶された原画像データである文字枠データを読みこむ（S 4 0 1 )。または、上述のように、帳票入力処理 S 2及び文字枠データ蓄積処理 S 3により文字枠データ蓄積手段 3に文字枠データを記憶し、文字検出手段 5がその文字枠データを入力するようにしても良い。図 2 4に、原画像の説明図を示す。

つぎに、文字検出手段 5は、読みこんだ原画像に対してウオルシュ 'ァダマール変換を実行する（S 4 0 2 )。原画像データは、例えば、画像をスキャンした際の白黒を表すデータを複数スキャン分含むものであり、ここでの処理は、その白黒の変化をウオルシュ■アダマール変換するものである。図 2 5に、原画像に対してウオルシュ 'アダマール変換を実行した際の説明図を示す。この図では、中心を原点とし、縦軸は垂直周波数成分、横軸は水平周波数成分をあらわす。

つぎに、文字検出手段 5は、高周波成分の除去を実行する（S 4 0 3 )。この処理により、原画像がボケる。この際、場合によっては少なくとも一部について低周波成分を除去しても良い。図 2 6に、高周波成分 (一部低周波成分も) 除去した際の説明図を示す。この図では、中心を原点とし、縦軸は垂直周波数成分、横軸は水平周波数成分をあらわす。

さらに、文字検出手段 5は、逆ウオルシュ■アダマール変換を実行する ( S 4 0 4 )。図 2 7に、逆ウオルシュ■アダマール変換を実行した際の説明図を示す。つぎに、文字検出手段 5は、ステップ S 4 0 4で得られたボケ画像に対して閾値を決めて 2値化処理を行う（S 4 0 5 )。図 2 8に、閾値を決めて 2値化した際の説明図を示す。

なお、図 2 9は、ステップ S 4 0 3の処理で、低周波を切り落とさなかった場合の説明図である。すなわち、その後に、ステップ S 4 0 4、 S 4 0 5を経て得られた 2値化した文字パターンである。

ここで、フーリエ変換とウオルシュ ,アダマール変換に共通する点を明記しておくと、一つは、ドットが一定の大きさで規則的に（つまり周期的に）酉 3置されていないと、このドットテクスチャから低周波成分が発生することになり、上記の処理では手書きされた記入パターンにノィズが混入する場合があることである。よって、できるだけドットが一定の大きさで規則的又は周期的に配置されている方がよい。二つ目は、処理時間について、フーリエ変換やウオルシュ ·ァダマール変換を行う専用のハードウエアを利用すると、収縮 ·微小点除去■膨張による処理より処理時間が一層短時間とすることができる。

( 3 ) その他画像をぼかすフィルタの利用

なお、フーリエ変換とウオルシュ 'アダマール変換に共通するのは、ドットテクスチヤをぼかして、適当な 2値化処理で削除していることである。このことから、各種のフィルタを用いて適当な 2値化を行うことでも可能である。

4 . ドットテクスチャへの情報の埋め込みつぎに、ドットテクスチャへの情報の埋め込みについて説明する。この実施の形態は、ドットテクスチャを利用して、ドットのサイズ、ピッチ、個数等により付加情報（バージョン、認識指示命令、真贋判定に利用する情報など）を表現するものである。

図 3 0に、ドットテクスチャへの情報の埋め込みについてのフローチヤ一トを示す。また、図 3 1に、本発明に係る帳票処理装置の第 3の実施の形態の構成図を示す。この帳票処理装置は、処理部 1 1、入力部 1 2、記憶部 1 3、出力部 1 4を備える。処理部は 1 1は、記入枠検出手段 4、文字検出手段 5、対応付け手段 6、文字認識手段 7、付加情報判定手段 2 3を備える。帳票入力部 1 2は、光電変換手段 2を備える。記憶部 1 3は、文字枠データ蓄積手段 3、結果記憶手段

8を'備える。

まず、処理部 1 1は、原画像である文字枠データ 2 1 1を入力する ( S 5 0 1 )。この場合、例えば、上述の実施の形態と同様 (ステップ S 2 0 1参照) 入力処理を実行することができる。

つぎに、文字検出手段 5は、手書き文字パターンについて文字検出処理を実行する（S 5 0 3 )。具体的には、上述のステップ S 2 0 3のように、文字検出手段 5により記入された文字の文字データ 2 1 2を得ることができる。

処理部 1 1の手書きパターン除去手段 2 1は、入力された文字枠データに基づき、文字枠データから文字検出処理 S 2 0 3で検出した文字パターン 2 1 2を除去することにより見出しを含む記入枠データを求める（S 5 0 5 )。

付加情報判定手段 2 3は、求められた記入枠データ等ドットテクスチャに予め定めた形式で埋め込まれた付加情報を判定する（S 5 0 7 )。

つぎに、付加情報判定手段 2 3は、取り出された付加情報を記憶部 1 3に記憶する（S 5 0 9 )。

図 3 2に、この文字枠を構成するドットテクスチャ例を示す。各手段については、付加情報判定手段 2 3等特に説明される内容を以外は、上述の実施の形態と同様である。

この元になるドットテクスチャに、付加情報を加えることができる。

付加情報の挿入方法としては、例えば、付加情報としては、例えば、数字、漢字など記入される文字種情報、住所，氏名 ·年号など記入される文字データ種別、など、または、文字記入枠、手書き文字、見出し等に関する情報など適宜のものである。図に示すドットテクスチャの一部のドットの大きさや位置等を変化させることにより文字記入枠に情報を付加することが出来る。また、この情報を文字枠の複数の位置に埋め込むことにより、一部が汚れた場合でも安定して情報を取り出すことができる。具体的な例を以下に示す。

図 3 3はドットのサイズの変化によって情報を付; ¾する例である。例えば、大きいドットを 1、小さいドットを 0、（又はその逆）とすることにより文字枠の一部に情報を埋め込むことが出来る。図の例では、すべての行に情報 [1 0 0 1 1 0 1 0]が埋め込まれている例である。

図 3 4はドットの有無によつて情報を付加する例である。例えば、ドットがあると 1、ドットがないと 0、にすることにより文字枠の一部に情報を埋め込むことが出来る。図の例では、矢印で示す行に情報 [1 0 1 0 0 1 1 1]が埋め込まれている例である。

図 3 5はドットのピツチの変化により付加情報を埋め込む例である。例えば、ドットピッチが広いと 1、狭いと 0にすることにより文字枠の一部に情報を埋め込むことが出来る。図の例では、すべての行に情報 [0 1 1 0 1 1 1 0 0 1]が埋め込まれている例である。

情報付加の方法の一部を示したが、情報付加の方法はこれらの方法に限らず、ドットテクスチャを変化させて情報を埋め込むことが出来ればどのような方法でもよい。付加情報処理手段 2 3では、上述のように記入枠検出手段 4により抽出された記入枠等のドットテクスチャに基づき、これら予め定められた方式で付加情報を読み取ることができる。

図 3 6に、付加情報の埋め込みについての第 3の実施の形態と、第 1の実施の形態とを組み合わせた場合の処理のフローチャートを示す。

まず、上述の実施の形態と同様に、帳票入力処理 S 1及び文字枠データ蓄積処理 S 2が実行される。記入枠検出処理 S 4、文字検出処理 S 5、対応付け処理 S 6については、上述の通りである。ここでは、さらに、手書きパターン除去手段 2 1は、文字枠データ蓄積処理 S 3により蓄積された文字枠データを、文字枠データ蓄積手段 3から読み出して、原画像として入力する（S 3 1 1 )。つぎに、手書きパターン除去手段 2 1は、文字検出処置 S 5 (文字検出手段 5 ) により求められた文字データを用いて、上述のように、手書き文字パターンを除去する ( S 3 1 5 )。さらに、付加情報判定手段 2 3は、求められた記入枠データ等のドットテクスチャに埋め込まれた付加情報を判定する（S 3 1 7 )。さらに、付加情報判定手段 2 3は、判定された付加情報を結果記憶手段 8に記憶する。

なお、本発明において、ドット枠は、ベタの黒でなければ、輪郭のフォント、 JP2001/004673

18 あるいは斜;?泉で構成されるフォントであってもよい。また、文字位置検出、記入枠位置検出、認識等の各処理は、同様の効果があれば、方法はこれに限らない。なお、以上の説明では行方向の記入枠位匱情報を求めてパターンを切り出す場合について説明したが、列方向の記入枠位置情報も同様に求めることができ、さらに、両方向の記入枠位置を用いて文字を切り出してもよい。これにより、正方形以外の横長又は縦長の記入枠についても対応することができる。

本発明の帳票処理方法は、帳票処理プログラムを記録したコンピュータ読み取り可能な記録媒体、帳票処理プログラムを含みコンピュータの内部メモリにロード可能なプロダラム製品、帳票処理プログラムを含みコンピュータが使用可能な記録媒体にストァされたプログラム製品等により提供されることができる。産業上の利用可能性本発明によると、以上のように、記入枠をカラーインクあるいはグレーカラーではなく、ドットで出力し、このような記入枠のある帳票からドットの記入枠を消去して記入された文字のみを取り出すようにした帳票処理方法、帳票処理プログラムを記録した記録媒体及び帳票処理装置を提供することができる。また、本発明によると、ドットの集合による線を用いて帳票を作ることができるので、白黒のプリンターで帳票を作成することを可能とすることができる。また、本発明によると、読み取りのため一般のイメージリーダ、 F A X、スキャナ等で帳票を入力することを可能とすることができる。さらに、本発明によると、行及び文字記入位置マークの必要をなくし、プリントァゥト時に特殊な文書出力処理を不要とし、帳票作成を容易にすることができる。

本発明によると、見出し文字を枠と同様にドットテクスチャで印刷することにより、枠を画像から落とすことと全く同じ手法でそれらを落とすようにすることができる。また、本発明によると、原画像から手書き文字パターン部分を分離後、原画像からその部分を逆に落として、残った画像に太め処理を施すことで、見出し文字の認識も可能とすることができる。さらに、本発明によると、ドットのサイズ、ピッチ、個数に付加情報（パージヨン、認識指示命令、真贋判定に利用する情報など）を表現することで、ドットテクスチャへの指示などの情報の埋め込むことができる。

また、各実施の形態及びそれたの変形例は、適宜組み合わせることができる。

Claims

請求の範囲

1 . 帳票が入力され、ドットの集まりで構成された記入枠と、記入された文字とを含む文字枠データを作成する帳票入力ステップと、

前記帳票入力ステツプで作成された文字枠データに基づき、文字の記入されるベき位置を表す記入枠位置データを検出する記入枠検出ステップと、

前記文字検出ステップで検出された文字データと、前記記入枠検出ステップにより検出された記入枠位置データに基づき、文字と記入枠とを対応付けることで、文字毎の文字パターンを切り出す対応付けステップと、

前記対応付けステップにより切り出された各々の文字パターンに基づき、記入された各々の文字を認識する認識ステツプと

を含む帳票処理方法。

2 . ドットの集まりで構成された見出し文字と、ドットの集まりで構成された記入枠と、記入された文字とを含む文字枠データを入力する入力ステップと、前記入力ステツプで入力された文字枠データに基づき、記入された文字の文字データを検出する文字検出ステップと、

隣接する各ドットが連結する程度に膨張処理を行う膨張ステップと、

前記膨張ステップにより得られた画像中の見出しに対して、見出し文字の認識を行う認識ステップと

を含む帳票処理方法。

3 . 前記入力ステップは、認識の対象となる帳票を読み取り、電子データとして、見出し及び手書き文字及び記入枠を含む文字枠データを作成するステップと、

作成された文字枠データを蓄積部に記憶するステップと、

文字枠データを蓄積部から読み取るステップと

を含む請求項 2に記載の帳票処理方法。

4 . ドットの集まりで構成され、ドットの集まりを一様でないように変化させることにより情報が埋め込まれた記入枠と、記入された文字とを含む文字枠データを入力する入力ステップと、

前記入力ステップで入力された文字枠データに基づき、記入された文字の文字データを検出する文字検出ステップと、

前記文字パターン除去ステップにより求められた記入枠データに基づき、記入枠のドットの集まりの変化を検出して、記入枠に埋め込まれた情報を判定する判定ステップと '

を含む帳票処理方法。 '

5 . 前記記入枠は、ドットのサイズの変化によって情報が付加されることを特徴とする請求項 4に記載の帳票処理方法。

6 . 前記記入枠は、ドットの有無によって情報を付加することを特徴とする請求項 4に記載の帳票処理方法。

7 . 前記記入枠は、ドットのピッチの変化により付加情報を埋め込むことを特徴とする請求項 4に記載の帳票処理方法。

8 . 前記文字検出ステップは、微小な点を除くことにより、文字枠データを除去するようにした請求項 1、 2又は 4に記載の帳票処理方法,

9 . 前記文字検出ステップは、

前記帳票入力ステップにより入力された文字枠データについて、黒画素が連結された連結部分の周囲を収縮させるステップと、

予め定められた閾値より小さい点を除去するステップと、

帳票に記入された文宇の文字データを得るために、残ったパターンを膨張させるステップと

を含む請求項 1、 2又は 4に記載の帳票処理方法。

1 0 . 前記文字検出ステップは、

文字枠データを読みこむステップと、

読みこんだ文字枠データに対して周波数成分を表すデータへの変換を実行するステップと、

高周波成分の除去、又は、高周波成分と少なくとも一部の低周波成分との除去を実行するステップと、

変換された周波数成分を表すデータからの逆変換を実行するステップと、逆変換により得られたボケ画像に対して、所定の閾値により 2値化処理を行うステップと

を含む請求項 1、 2又は 4に記載の帳票処理方法。

1 1 . 前記周波数成分への変換は、離散フーリエ変換であり、逆変換は、逆離散フーリェ変換であることを特徴とする請求項 1 0に記載の帳票処理方法。

1 2 . 前記周波数成分への変换は、ウオルシュ 'アダマール変換であり、逆変換は、ウオルシュ ·アダマール変換であることを特徴とする請求項 1 0に記載の帳票処理方法。

1 3 . 前記記入枠検出ステツプは、前記帳票入力ステップにより入力された文字枠データについて、文字パターンを除去して記入枠データを作成するステップと、

記入枠データを行又は列方向に積分又は累積することで周辺分布を求めるステップと、

周辺分布から行又は列について記入枠位置データを得るステップと

を含む請求項 1乃至 1 2のいずれかに記載の帳票処理方法。

1 4 . 前記対応付けステップは、

前記文字検出ステップで求められた文字データと前記記入枠検出ステップで求められた記入枠位置データとを対応付けるステップと、

文字データと記入枠位置データとの対応により、各文字の文字パターンを切り出すステップと

を含む請求項 1乃至 1 3のいずれかに記載の帳票処理方法。

1 5 . 前記記入枠検出ステップは、行及び列の両方について、記入枠位置データを求め、

前記対応付けステップは、行及び列の両方の記入枠位置データに基づき、文字パターンを切り出すようにした請求項 1乃至 1 4のいずれかに記載の帳票処理方法。

1 6 . 前記認識ステップにより認識された文字を、記入枠に対応づけて記憶する記憶ステップをさらに備えたことを特徴とする請求項 1乃至 1 5のいずれかに記載の帳票処理方法。 .

1 7 . 前記文字枠データは、ドットの集まりで構成される写真又は図などの画像情報を含み、

前記文字検出ステップは、さらに、文字枠データから手書き文字を分離して検出し、

前記認識ステップは、さらに、分離された文字又を認識することを特徴とする請求項 1乃至 1 6のいずれかに記載の帳票処理方法。

1 8 . さらに、文宇又に基づいて、前記認識ステップにより認識された手書き文字の訂正処理を行うステップをさらに備えた請求項 1 7に記載の帳票処理方法。

1 9 . 前記帳票入力ステップにより入力された文字枠データに基づき、文字枠データから前記文字検出ステップで検出した文字パターンを除去する文字パタ一ン除去ステップと、

隣接する各ドットが連結する程度に膨張処理を行う膨張ステップと

をさらに含み、

前記認識ステップは、さらに、前記膨張ステップにより得られた画像中の見出しに対して、見出し文字の認識を行うようにした請求項 1に記載の帳票処理方法。

2 0 . 前記帳票入力ステップにより入力された文字枠データに基づき、文字枠データから前記文字検出ステップで検出した文字パターンを除去する文字パターン除去ステップと、 '

前記文字パタ一ン除去ステップにより求められた記入枠データに基づき、記入枠のドットの集まりの変化を検出して、記入枠に埋め込まれた情報を判定する判定ステップと

をさらに含む請求項 1又は 1 9に記載の帳票処理方法。

2 1 . 前記膨張ステップ又は前記膨張するステップの前又は後に、微小点を除去するステップをさらに含む請求項 2又は 9に記載の帳票処理方法。

2 2 . 帳票が入力され、ドットの集まりで構成された記入枠と、記入された文宇とを含む文字枠データを作成する帳票入力ステップと、

前記帳票入力ステツプで作成された文字枠データに基づき、記入された文字の文字データを検出する文字検出ステップと、

前記帳票入力ステップで作成された文字枠データに基づき、文字の記入されるべき位置を表す記入枠位置データを検出する記入枠検出ステップと、前記文字検出ステップで検出された文字データと、前記記入枠検出ステップにより検出された記入枠位置データに基づき、文字と記入枠とを対応付けることで、文字毎の文字パターンを切り出す対応付けステップと、

をコンピュータに実行させるための帳票処理プログラムを記録したコンピュータ読み取り可能な記録媒体。

2 3 . 前記帳票入力ステップにより入力された文宇枠データに基づき、文字枠データから前記文字検出ステツプで検出した文字パタ一ンを除去する文字パタ一ン除去ステップと、

をさらに含み、

前記認識ステップは、さらに、前記膨張ステップにより得られた画像中の見出しに対して、見出し文字の認識を行うようにした請求項 2 2に記載のコンビユータに実行させるための帳票処理プログラムを記録したコンピュータ読み取り可能な記録媒体。

2 4 . 前記帳票入力ステップにより入力された文字枠データに基づき、文字枠データから前記文字検出ステップで検出した文字パターンを除去する文字パターン除去ステップと、

をさらに含む請求項 2 2又は 2 3に記載のをコンピュータに実行させるための帳票処理プログラムを記録したコンピュータ読み取り可能な記録媒体。

2 5 . ドットの集まりで構成された見出し文字と、ドットの集まりで構成された記入枠と、記入された文字とを含む文字枠データを入力する入力ステップと、前記入力ステップで入力された文字枠データに基づき、記入された文字の文字データを検出する文字検出ステップと、

前記入力ステップにより入力された文字枠データに基づき、文字枠データから前記文字検出ステツプで検出した文字パタ一ンを除去する文字パターン除去ステップと、

隣接する各ドットが連結する程度に膨張処理を行う膨張ステップと、前記膨張ステップにより得られた画像中の見出しに対して、見出し文字の認識を行う認識ステップと

2 6 . ドットの集まりで構成され、ドットの集まりを一様でないように変化させることにより情報が埋め込まれた記入枠と、記入された文字とを含む文字枠データを入力する入力ステップと、

前記入力ステップで入力された文字枠データに基づき、記入された文字の文字データを検出する文字検出ステツプと、

前記文字パターン除去ステップにより求められた記入枠データに基づき、記入枠のドットの集まりの変化を検出して、記入枠に埋め込まれた情報を判定する判定ステップと

2 7 . 帳票が入力され、ドットの集まりで構成された記入枠と、記入された文字とを含む文字枠データを作成する帳票入力手段と、

を備えた帳票処理装置。

2 8 · 前記認、識手段により認識された文字を、記入枠に対応づけて記憶する記憶手段又は記入枠に対応付けて出力する出力手段をさらに備えた請求項 2 7に記載の帳票処理装置。 2 9 . 帳票が入力され、ドットの集まりで構成された記入枠と、記入された文字とを含む文字枠データを作成する帳票入力ステップと、

前記帳票入力ステツプで作成された文字枠データに基づき、記入された文字の文字データを検出する文字検出ステツプと、

前記帳票入力ステップで作成された文字枠データに基づき、文字の記入されるべき位置を表す記入枠位置データを検出する記入枠検出ステップと、

前記対応付けステップにより切り出された各々の文字パターンに基づき、記入された各々の文字を認、識する認、識ステップと

をコンピュータに実行させるための帳票処理プログラム。

3 0 . 前記帳票入力ステップにより入力された文字枠データに基づき、文字枠データから前記文字検出ステップで検出した文字パターンを除去する文字パタ一ン除去ステップと、

をさらに含み、 - 前記認識ステップは、さらに、前記膨張ステップにより得られた画像中の見出しに対して、見出し文字の認識を行うようにした請求項 2 9に記載の帳票処理プ口グラム。

3 1 . 前記帳票入力ステップにより入力された文字枠データに基づき、文字枠データから前記文字検出ステップで検出した文字パターンを除去する文字パターン除去ステップと、

をさらに含む請求項 2 9又は 3 0に記載の帳票処理プログラム。

3 2 . ドットの集まりで構成された見出し文字と、ドットの集まりで構成された記入枠と、記入された文字とを含む文字枠データを入力する入力ステップと、前記入力ステツプで入力された文字枠データに基づき、記入された文字の文字データを検出する文字検出ステップと、

をコンピュータに実行させるための帳票処理プログラム。

3 3 . ドットの集まりで構成され、ドッ卜の集まりを一様でないように変化させ- ることにより情報が埋め込まれた記入枠と、記入された文字とを含む文字枠データを入力する入力ステップと、

前記文字パターン除去ステップにより求められた記入枠データに基づき、記入枠のドッ 1、の集まりの変化を検出して、記入枠に埋め込まれた情報を判定する判定ステップと

をコンピュータに実行させるための帳票処理プ口グラム。