DE2541204B2 - Einrichtung zur Fehlerkorrektur - Google Patents
Einrichtung zur FehlerkorrekturInfo
- Publication number
- DE2541204B2 DE2541204B2 DE2541204A DE2541204A DE2541204B2 DE 2541204 B2 DE2541204 B2 DE 2541204B2 DE 2541204 A DE2541204 A DE 2541204A DE 2541204 A DE2541204 A DE 2541204A DE 2541204 B2 DE2541204 B2 DE 2541204B2
- Authority
- DE
- Germany
- Prior art keywords
- words
- word
- character
- characters
- probability
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/26—Techniques for post-processing, e.g. correcting the recognition result
- G06V30/262—Techniques for post-processing, e.g. correcting the recognition result using context analysis, e.g. lexical, syntactic or semantic context
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
Description
Die Erfindung betrifft eine Einrichtung zur Fehlerkorrektur nach dem Oberbegriff des Anspruchs 1.
Bei der optischen und akustischen Zeichenerkennung kommt es trotz aller technischen Vollkommenheit der
Zeichenleser bzw. -umsetzer zu Fehlleistungen bei der Zeichenerkennung, insbesondere, wenn die Qualität der
angebotenen Vorlage nicht einwandfrei ist, was z. B. bei schlechter Druckqualität oder geringer Güte eines
elektroakustischen Übertragungsweges der Fall ist. Auch bei der manuellen Eingabe von Zeichen über
Tastaturen können Fehler auftreten, die jedoch weniger technisch als menschlich bedingt sind. Die Einrichtung
zur Fehlerkorrektur gemäß der vorliegenden Erfindung ist auf gewisse Typen von Fehlern anwendbar, die in
Datenströmen von Zeichenlesern, akustischen Sprachanalysatoren oder Tastaturen auftreten, unabhängig
davon, welcher Ursache ihre Existenz zuzuschreiben ist. Im folgenden wird daher unter dem Begriff »Zeichen«
sowohl ein graphisch angebotenes alphabetisches Zeichen als auch ein akustisches Phonem und auch ein in
eine Tastatur eingetastete alphabetisches Zeichen verstanden. Wo die folgende Beschreibung sich auf
optische Zeichenleser bezieht, ist es dem Fachmann ohne weiteres möglich, die entsprechenden Verhältnisse
bei Sprachanalysatoren oder Tastaturen zu substituieren.
Der Kürze halber wird in der Beschreibung gelegentlich statt fehlerhaft lesen, der Begriff »Verlesen«
und statt fehlerhaft erkennen der Begriff »Verkennen« gebraucht.
Geräte zur Fehlerkorrektur bei der optischen Zeichenerkennung sind bereits bekannt. Bei diesen
Geräten ist allerdings die Auswahl des korrekten Wortes für ein verstümmeltes Eingabewort, das von
einem optischen Zeichenleser verlesen worden ist, auf die Korrektur von Substitutionsfehlern beschränkt. Zur
Verbesserung der Lesequalität ist die Benutzung von bedingten Wahrscheinlichkeiten vorgeschlagen worden,
um einfache Substitution eines Zeichens für ein anderes oder für eine Zeichenzurückweisung zu korrigieren,
wobei die totale Wahrscheinlichkeit berechnet wird, mit
welcher das Eingabewort verlesen wurde, unter der Voraussetzung, daß ein vorbestimmtes Diktionärwort
tatsächlich durch den Zeichenleser abgetastet worden war. Diese bekannten Geräte befassen sich jedoch nur
mit der einfachen Substitution von verwechselten Paaren, die die gleiche Stellung im abgetasteten Wort
wie im Diktionärwort einnehmen, wobei zusätzlich die Länge des abgetasteten Wortes mit der des Diktionärwortes
übereinstimmen muß.
Ein bemerkenswerter Fortschritt gegenüber diesen Geräten is-, die in der DE-OS 24 60 757 offenbarte
Lehre, die es ermöglicht, Segmentationsfehler und Substitutionsfehler in den vom Zeichenleser gelesenen
Buchstaben zu korrigieren. Segmentationsfehler entstehen durch fehlerhafte Bestimmung des Anfangs und
Endes eines Zeichens. Sie kommen in den von Zeichenlesern ausgegebenen Datenströmen relativ
häufig vor und stellen ein wesentliches Hindernis für die Genauigkeit dieser Einrichtungen bei der Textverarbeitung
dar. Gemäß der genannten DE-OS 24 60 757 enthält eine Korrekturvorrichtung einen gespeicherten
Diktionär mit Wörtern, von denen angenommen wird, daß sie vom Zeichenleser gelesen werden. Für die
Verarbeitung eines allgemeinen Textes in einer beliebigen Sprache wäre es erforderlich, einen vollständigen
Diktionär dieser Sprache zu speichern, was eine außerordentlich große Speicherkapazität erfordern
würde sowie sehr kurze Zugriffszeit, um jedes Wort im Diktionär mit dem verstümmelten Eingabewort vom
Zeichenleser zu vergleichen. Eine Verbesserung ist dadurch möglich, daß spezielle Speicher vorgesehen
werden, deren Wortinhalt auf die spezielle Art des Textes zugeschnitten ist.
Ein Vorschlag zur Verwendung eines Assoziativspeichers zum Auffinden der korrekten Form eines
verstümmelten Wortes ist von J. ]. Giangardella gemacht worden in »Spelling Correktion by Vector
Representation Using a Digital Computer«, IEEE Transactions on Engeneering Writing and Speech, Vol.
EWS -10, Nr. 2, December 1967, S. 57. Dieser Vorschlag
betrifft die Vektordarstellung von alphabetischen Wörtern durch Zuordnung der Ziffern 1 bis 26 zu den
Buchstaben A bis Z und die Berechnung des Vektorbetrags und des Winkels für den Zugriff zur
korrekten Form des Eingabewortes im Speicher eines Universalrechners. Mit diesem Vorschlag sind große
Probleme verknüpft, die mit der Adressierung des Assoziativspeichers zusammenhängen und zu Klassen
von Wörtern führen, die entweder zu viele Wörter umfassen oder die das gesuchte Eingabewort nicht
umfassen.
Die vorliegende Erfindung soll daher die Aufgabe lösen, im Rahmen einer Einrichtung zur Fehlerkorrektur
und zur korrekten Ausgabe von in Zeichengeneratoren erzeugten Wörtern, die mit einem Verzeichnis gültiger
Wörter arbeitet, eine Lösung anzugeben, den Teil des Verzeichnisses sehr präzise und schnell zu bestimmen,
der die korrekte Form des Eingabewortes und damit das gültige Ausgabewort enthält. Außerdem soll die
Kapazität des Verzeichnisses kleiner sein als es bisher üblich ist.
Gelöst wird diese Aufgabe durch die im Hauptanspruch genannten Merkmale.
Vorteilhafte Weiterbildungen und Ausgestaltungen des Erfindungsgegenstands sind den Unteransprüchen
zu entnehmen.
Mit der vorliegenden Erfindung wird also der Vorteil erzielt, daß Bezugswortgruppen für die Nachverarbei
tung der Erkennungssignalströme von optischen Zeichenlesern
verdichtet und abgerufen werden können.
Einzelheiten eines Ausführungsbeispiels der Erfindung werden nachfolgend beschrieben, wobei auf die
Zeichnungen Bezug genommen wird. Es zeigt
F i g. 1 ein Schema des Vektor-Entnahmevorgangs,
Fig. 2, 3 Matrizen für die Zuordnung numerischer Wert zu den Zeichen des Alphabets,
Fig.4 schematisch die Zuordnung von Wörtern zu
verschiedenen Wortgruppen im Festwertspeicher,
F i g. 5 ein Blockschaltbild eines Festwertspeichers mit Adressiervorrichtung,
F i g. 6 ein Blockschaltbild des Häufungs-Speichers,
F i g. 7 ein Blockschaltbild einer Zeichenerkennungsund Korrekturvorrichtung,
F i g. 8 die im Text erwähnte Tabelle 2.
Das zur Fehlerkorrektur bei der optischen Zeichenerkennung angewandte Vorgehen beruht auf dem
Nachschlagen in einem Fehlerkorrektur-Diktionär und aus allen darin verzeichneten Wörtern dasjenige
herauszufinden, das vom optischen Zeichenleser gelesen, aber in die zur Zeit in Verarbeitung stehende
falsche Form verkannt wurde. Ein grundlegender Teil dieser Teil dieser Operation besteht in der Fähigkeit,
zunächst festzustellen, welcher Teil des Fehlerkorrektur-Diktionnrs
heranzuziehen ist. Das ist schematisch in F i g. 1 dargestellt. Je genauer es möglich ist, den Teil des
Diktionärs zu bestimmen, der die korrekte Form des Eingabewortes enthält, um so größer kann der
Diktionär sein, ohne den Wirkungsgrad und die Geschwindigkeit der Fehlerkorrektur-Operation bei
der optischen Zeichenerkennung zu beeinträchtigen.
Wenn in einem Zeichenerkennungsstrom ein verstümmeltes alphabetisches Wort festgestellt wird und
für seine korrekte Form eine Gruppe von Kandidaten-Wörtern ausgewählt werden soll, machen es die
Eigenschaften des optischen Zeichenlesers, dem die Verkennung entstammt, unmöglich, einen zuverlässigen
Zugriff zum Diktionär zu formulieren, bei dem die normale Diktionär-Indexierung nach Wortattributen
gemäß den alphabetischen Eigenschaften der Wörter und/oder der Wortlänge erfolgt. Die Verkennungsneigung
des Zeichenlesers kann eines oder beide der Wortattribute in verschiedener Weise beeinflussen.
Trotzdem ist in den verkannten Daten noch genug potentionelle Information für das »Nachschlagen« in
einem Diktionär vorhanden. Um ein verstümmeltes Wort als Schlüssel zum Diktionär zu benutzen, muß der
Zeichenstrom in einer neuen Weise analysiert werden. Für diese Analysen kommen die Speicher-Organisationskonzepte
nach der Vektor-Entnahme und nach den Wortgruppen in Frage.
Die Diktionär-Zugriffmethode gemäß der Vektor-Entnahme kann am besten als eine spezialisierte
Anwendungsform der statistischen Vertrauensintervall-Theorie verstanden werden. Dabei umfaßt ein Fehlerintervall
Δ im allgemeinen einen Bereich von Werten, innerhalb dessen der wahre Wert der geschätzten
Größe mit einer vorgegebenen Fehlertoleranz liegen wird.
Bei der Fehlerintervall-Analyse kann die Vektor-Entnahmemethode als eine spezielle Anwendung betrachtet
verden, bei welcher das verstümmelte Wort benutzt wird:
a) den Ort im Diktionär abzuschätzen, an welchem das durch den optischen Zeichenleser verkannte
Wort steht,
b) der geschätzten Zugriffsstelle im Diktionär Bedeu-
tung zu verleihen, indem um sie herum ein Bereich von Stellen abgesteckt wird, innerhalb dessen die
gesuchte Wortinformation mit einer vorgegebenen Sicherheit liegt.
Die Beschreibung der Mechanismen, die bei der Verwirklichung der erwähnten Vektor-Entnahmemethode
eine Rolle spielen, ist logisch in zwei Teile gegliedert, welche betreffen:
1. ein erstes Zugriffsmittel, das auf dem Zeicheninhalt basiert, und das verlangt
a) die Abschätzung einer Diktionär-Zugriffstelle innerhalb des Speichers
b) die Bestimmung der Grenzen der Entnahmebreite
2. ein zweites Zugriffsmittel, das die Gruppierung der Diktionärwörter innerhalb des Speichers in Wortgruppen
verlangt, deren Wörter die gleiche Länge, d. h. Buchstabenzahl, haben.
Die Zugriffstelle im Diktionär stellt die erste Abschätzung der Stelle dar, an welcher die korrekte
Form des vom optischen Zeichenleser gelesenen Eingabewortes im Diktionär-Speicher steht. Die Maßnahme
für diesen anfänglichen Abschätzungsprozeß ist eine spezielle Such-Transformation, der das verkannte
alphabetische Eingabewort unterworfen wird. Diese Such-Transformation beruht auf einem numerischen
Zuordnungsschema, in dem jedem Buchstaben des Alphabets ein numerischer Wert zugeordnet wird, der
seine absolute und relative Zuverlässigkeit beschreibt, bei der optischen Zeichenlesung richtig erkannt zu
werden. Einzelheiten dieser Zuordnung werden weiter unten erläutert. Es genügt hier festzustellen, daß die
zugeordnete Zahl mit der Zuverlässigkeit des alphabetischen Zeichens verknüpft ist. In seiner einfachsten Form
besagt dies, daß je zuverlässiger die Erkennung eines alphabetischen Zeichens ist, um so mehr Gewicht wird
ihr bei der Such-Rechnung beigelegt.
Unter diesem alphanumerischen Zuordnungsschema ergibt sich die Zugriffsstelle als eine Summe ganzer
Zahlen:
v = Σ Ln ,
worin L der dem Buchstaben der JV-ten Position des
verkannten Wortes zugeordnete numerische Wert ist und M die Anzahl der Buchstabenstellen in dem
verkannten Wort.
Der Schlüssel zu dieser Technik ist die Ableitung des geeigneten alphanumerischen Zuordnungsschemas.
Vielfache und scheinbar einander widersprechende Einschränkungen müssen bei diesem Zuordnungsschema
berücksichtigt werden. Im wesentlichen muß das alphanumerische Zuordnungsschema, das zur Berechnung
der Zugriffsstelle benutzt wird,
a) den Effekt der sich aus den Fehlleistungen des Zeichenlesers ergebenden Zeichensubstitutionen
auf die Zugriffsstelle möglichst klein halten,
b) im Diktionär vorkommende Wörter möglichst gleichmäßig verteilt im Speicher aufführen.
Die erste Einschränkung betrifft die Bedingung, daß die Gleichung (1) so unempfindlich wie möglich gegen
Zeichensubstitution und verkannte Segmentation, das ist die Aufteilung in einzelne Abschnitte, ist. Die zweite
Einschränkung sucht die Erarbeitung einer trivialen Lösung zu verhindern, die sich auf Grund der ersten
Einschränkung ergeben könnte. Eine derartige triviale Lösung würde im Zusammenschrumpfen des Diktionär!
bestehen, so daß alle Eintragungen nur eine Zugriffsstel Ie, oder ein sehr schmales Band von Zugriffsstellen
innerhalb des Speichers einnehmen würden. Wäre da; der Fall, würde nahezu der gesamte Diktionär bei jeder
Entnahmeoperation zur Ausgabe gelangen. Bei einei Realzeit-Verarbeitung wäre dies völlig unanwendbar
und würde die Vektor-Entnahmemethode völlig in Frage stellen.
Ein optimales alphanumerisches Zuordnungsschema für die Vektor-Entnahmemethode kann mathematisch
mit Hilfe der linearen Programmierung abgeleitet werden. Diese Entwicklung des Zuordnungsschemas
ergibt sich, indem man die Neigung des optischer Zeichenlesers zu Zeichensubstitutionen als lineare
Beziehungen ausdrückt. Dabei wird für jedes von C verschiedene Ereignis in der Übertragungsfunktion de;
Zeichenlesers eine Normdistanz festgesetzt, die die Form hat
ι Λ ι ~
worin Xx, Xß die numerischen Kennzeichen der
alphabetischen Zeichen sind, die im allgemeinen Fall mil »λ« und »0« bezeichnet sind.
Eine typische Übertragungsfunktion eines Zeichenlesers liefert einige hundert separate Ausdrücke in dei
Form der Gleichung (2). Mit der üblichen linearer Optimisierung ist es jedoch nicht möglich, eine
Normdistanz (d. h. ein absolutes Größenverhältnis) be den gegebenen Einschränkungen als Basisvariable
direkt vorzusehen.
Um der Optimisierung der Programmierung de« alphanumerischen Zuordnungsschemas zu ermöglichen
eine Analogie zu den vom Zeichenleser verkannter Eigenschaften zu enthalten, wurde lineare Programmierung
mit gemischten ganzen Zahlen vorgesehen. Jede; Verhältnis gemäß Gleichung (2) wird ausgedrückt al:
ein Satz von Einschränkungen von der Form:
Z,„>0,
worin ΙΛβ einen Satz von ganzzahligen Variabler
darstellen, die auf die Werte 1 oder 0 eingeschränkt sind ΖΛβ ist die Variable, über welche die Optimierung dei
objektiven Funktion der Form ΣΡΧβΖχβ = mir
durchgeführt wird. ΡΛβ ist das relative Gewicht, das dei
betreffenden Einschränkung zugeordnet ist. Bei der hier beschriebenen Analyse wurde ΡΛβ gleichgesetzt mit dei
kumulativen Erscheinungsfrequenz der entsprechender «J3-Zeichen. K ist die Entnahmeirrtum-Toleranz ir
Größenordnungseinheiten.
Bis hierher haben die Optimierungsgleichunger lediglich Einschränkungen gemäß dem oben mit »a<
bezeichneten Ziel in Betracht gezogen.
Das oben mit »b« bezeichnete Ziel, nämlich dif Vermeidung von regellosen Häufungen von Eintragun
bo gen im Diktionär innerhalb eines Bereiches vor
Größenwerten, wird dadurch erreicht, daß zu der Gleichungen, welche die Fehlleistungen des Zeichenle
sers beschreiben (Gleichung 3), eine Reihe vor Einschränkungen hinzugefügt wird, die eine in etwi
bi gleichförmige Verteilung von Eintragungen über all«
Abschnitte des Diktionärs aufrechterhalten. Diesi letzteren Einschränkungen werden dadurch aufgestellt
daß regelrechte Eintragungen in die Wörterliste dei
Diktionärs wahllos herausgegriffen werden und festgelegt wird, daß zwischen ihnen in der endgültigen
Vektorstruktur des Diktionärs eine vorbestimmte Normdistanz eingehalten werden muß. Beispielsweise
können die Eintragungen CORNWALL und SHERWOOD dazu benutzt werden, eine Infrastruktur-Einschränkung
für den Vektor-Diktionär zu erstellen, welche die Form hat:
(.Υ,- + X0 + XH + Xx + X1,- + X4 + X1, + X1,)
- {Xs + Xn + X1; + XK + X11. + X0 + X0 + X0)
> D1 *<■ + X,v + XA + 2XL
> D1 *<■ + X,v + XA + 2XL
- Xs - X11 - X1, - X0 - Xn
> D1. (4)
Der Wert D\ repräsentiert die Normdistanz zwischen den Eintragungen SHERWOOD und CORNWALL in
einem Diktionär, bei dem ein anfängliches Zuordnungsschema benutzt worden ist, welches eine gute
Verteilung innerhalb der Wörterlisten des Diktionärs liefert, das jedoch nicht notwendigerweise allen
Einschränkungen genügt, die durch Gleichung (3) vorgeschrieben sind. Die bei der Programmierung zu
beachtenden Einschränkungen werden vervollständigt durch Hinzunahme der zusätzlichen Infrastruktur-Einschränkungen,
die mit dem einfachen linearen Format gemäß dem SHERWOOD/CORNVALL-Beispiel übereinstimmen,
das in der Gleichung (4) beschrieben ist.
Das ursprüngliche Zuordnungsschema, das zur Definition der Werte D der Gleichung (4) benutzt
wurde, wurde durch Behandlung der Gleichung (1) als Vektorgrößenberechnung erhalten, nämlich
j'= Σ α.
W= I
wobei die Zahlen 1 bis 26 (L% = 1 ... 676) den
Buchstaben des Alphabets zugeordnet sind.
Die Fig.2 und 3 zeigen, wie die numerische Zuordnung in Übereinstimmung mit den Einschränkungen
erfolgt, die durch die Gleichung (3) verlangt werden. Bei einer numerischen Spanne von 1 bis 26 nehmen die
Quadrate dieser Werte einen Bereich von 1 bis 676 ein. Fig.2 zeigt eine Matrix für diese Werte, ohne die
Buchstabenzuordnung anzugeben. In vertikaler Richtung repräsentiert die Matrix die Eingabecharakteristik,
die vom abgetasteten Dokument gewonnen wurden. Die Horizontale der Matrix repräsentiert die Entscheidung,
die bei der optischen Zeichenlesung getroffen worden ist. Alle korrekten Erkennungen liegen auf der
Diagonalen der Matrix. Alle Substitutionen oder Zurückweisungen liegen abseits der Diagonalen. Wenn
beispielsweise H und M den Werten 10 bzw. 9 entsprechen, und Hals Mverlesen wird, ergibt sich eine
Größendifferenz von 100 minus 31 gleich 19. Das stellt noch eine annehmbare Auswahl dar, da H- und
M-Substitution häufig ist.
Mit der durch Verlesen bedingten Störung von plus oder minus 250 Einheiten (das ist der Normalwert des
Faktors K auf der rechten Seite des Gleichungssystems, das sich aus der Gleichung [3] ergibt) ist es möglich, eine
relativ einfache doch sinnvolle anfängliche Zuordnung von alphabetischen Zeichen zu den auf den Achsen der
Matrix angegebenen Werten durchzufuhren, so daß eine große Zahl von üblichen Erkennungsfehlern innerhalb
eines Fehlerintervalls von plus 250 bis minus 250 Einheiten liegt. Diese Grenzen sind in der Fig.2
angegeben. Die anfängliche numerische Zuordnung ist in F i g. 3 gezeigt, wo die schraffierten Teile diejeniger
Verlesungen enthalten, die mit dem anfänglicher Schema nicht kompensiert werden können. Die
innerhalb der Matrix angegebenen Zahlen entsprechen
r> der relativen Häufigkeit der entsprechenden Fehlleistungen.
Versuche mit diesem Schema haben gezeigt daß, obgleich nicht alle Einschränkungen der Gleichung
(2) erfüllt waren, dieses Schema doch genügt hat, eine Wörterliste in einen Diktionär mit geeigneter Verteilung
zu transformieren, bei dem sich keine regellosen Häufungen von Eintragungen ergaben. Aus diesem
Grund wurde dieses Schema benutzt, die Norm-Distanz zwischen wahllos herausgegriffenen Eintragungen zu
bestimmen, um die durch die Gleichung (4) definierten
ι ο I nfrastruktur- Einschränkungen zu formulieren.
Die Lösung der obengenannten Gleichungen und die Optimierung gemäß linearer Programmierung unter
Beachtung der gegebenen Einschränkungen hat zu dem folgenden, in Tabelle 1 dargestellten Zuordnungssche-
2(i ma geführt.
A =200 B = 36 C = 256 D = 196 E = 144
F = 16 G = 289 H = 144 I = 64 J= 225
K = 441 L = 25 M = 175 N = 185 0 = 225
P = 361 Q = 289 R = 225 S = 324 T = 121
U = 169 V=IOO W = 49 X = 529 Y = 9
Z = 484 F* = 121
Wenn das verlesene Wort unter Benutzung dei alphanumerischen Zuordnung gemäß Tabelle 1 in einer
Vektorbetrag transformiert worden ist, kann mar annehmen, daß sowohl die verstümmelte wie die
korrekte Form des betreffenden Wortes ziemlich ähnliche Werte des Betrags annehmen. Wenn die
korrekte Form eines jeden Wortes bezüglich seine; Betrags in einem Fehlerkorrektur-Diktionär gespeichert
ist, dann liegt die durch die Gleichung (1) gelieferte Zugriffstelle in der Nachbarschaft der korrekter
Worteintragung. Um den Entscheidungsprozeß erfolgreich durchführen zu können, ist es jedoch erforderlich
die verlesene Form des Wortes in einem probabilistisehen Format mit der korrekten Form des Wortes zi
vergleichen. Daraus ergibt sich, daß die Zugriffsstelle allein für die Beschaffung der in der letzterwähnter
Phase der Fehlerkorrektur erforderlichen Daten nichi ausreicht. Die Nähe der Zugriffsstelle zur korrekter
Eintragung macht sie zum natürlichen Angelpunkt füi die Konstruktion eines Fehlerintervalls Δ, das zui
Begrenzung eines Diktionär-Entnahmebereiches heran gezogen werden kann. Bei Geeigneter Ausbildung
gestattet das Fehlerintervall Δ, das einen Entnahmebe reich definiert, aus der Zugriffstelle benachbarter
Stellen einen Satz von Adreßeintragungen zu gewinnen die, mit einer vorgegebenen Fehlertoleranz, die
korrekte Version des verlesenen Eingabewortes enthalten. Wie im vorhergehenden Beispiel schließt da:
Fehlerintervall Δ «= ± 250 eine Fehlertoleranz ein, d. h
Mi die Möglichkeit, daß die korrekte Version eines
Eingabewortes außerhalb des Entnahmebereiches liegt. Die drei hauptsächlichen, bei der optischen Zeichenlesung
auftretenden Verlesefehler, die bei der Bestimmung eines Diktionär-Entnahmebereiches kompensier!
bo werden müssen, sind zurückgewiesene Buchstaben
Substitutionsfehler und Segmentalionsfehler. Die Entnahmemethode ist bei den Zurückweisungen und
Substitutionsfehlern am wirksamsten. Segmentations-
fehler sind statistisch weniger gut voraussagbar und können deshalb auch nicht so leicht beseitigt werden.
Ein verlesenes Wort kann mit der Vektorentnahme-Methode unauffindbar werden, wenn aufeinanderfolgende
Verlesungen innerhalb des Wortes sich gegenseitig ■-,
additiv verstärken, bis ein Δ von mehr als 250 erreicht ist. Diese Situation ist verhältnismäßig selten, da
aufeinanderfolgende Verlesungen die Tendenz haben, die Größe der Abweichung, die jede von ihnen
verursacht hat, zu einem gewissen Grad zufällig zu in beseitigen.
Zur Unterstützung des Zugriffs nach der Vektorentnahme-Methode wird der Diktionär nach ähnlichen
Wortlängen organisiert.
F i g. 1 zeigt schematisch den Entnahmeprozeß für ein ι r>
verkanntes Eingabewort. Die Größe des Eingabewortes wird nach der weiter unten angeführten Gleichung (9)
berechnet. Für das in diesem Beispiel benutzte Wort ergibt sich eine Größe von 1087. Die Wortlänge wird
auch benutzt, um die Anzahl der Speicherzugriffen zu reduzieren. Für Daten, die durch optische Zeichenerkennung
gewonnen sind, kann die Wortlänge jedoch nicht als absolutes Unterscheidungsmerkmal herangezogen
werden, da Segmentationsfehler die Wortlänge künstlich vergrößern oder verkleinern können. Ein
Lösungsweg für diese Probleme besteht darin, daß nicht nur Wörter der gleichen Länge wie das Eingabewort in
den Entnahmeprozeß eingeschaltet werden, sondern auch alle Wörter mit benachbarten Längen und sogar
solche, deren Längen um zwei Stellen abweichen. Dies erfolgt in Übereinstimmung mit Regeln, die ihrerseits
längenabhängig sind. Bei diesem Vorgehen ergibt sich jedoch das Problem, daß es zu unannehmbaren
Entnahmezugriffen führt, die durchschnittlich etwa 20% des Diktionärs umfassen.
Es ist möglich, die bekannte Fehlerneigung optischer Zeichenleser dazu zu benutzen, die Unterscheidung
nach Wortlängen zu verbessern. Da Änderungen der Wortlänge durch gewisse Segmentationsprobleme
hervorgerufen werden, werden nur solche Wörter, die auf Grund ihrer Komposition zu fehlerhafter Segmentierung
führen können, in mehr als eine Wortlängengruppe eingeführt. Daraus ergibt sich ein Konzept der
Unterscheidung nach Wortgruppen. In einer Wortgruppe sind alle diejenigen Wörter enthalten, die eine
bestimmte Länge aufweisen, sowie Wörter mit allen andern Längen, die eine signifikante Wahrscheinlichkeit
aufweisen, fälschlich auf die betreffende Länge segmentiert zu werden.
Die Implementation des Zugriffs nach Wortgruppen hängt ab von der Feststellung objektiver Kriterien, auf
Grund deren die Buchstabenzusammensetzung eines Wortes auf den Grad der Neigung zur Fehlsegmentierung
untersucht werden kann, um die Notwendigkeit einer Zuweisung zu mehreren Wortgruppen festzustellen.
Zu diesem Zweck wird die folgende Berechnung der Segmentierungsschwelle durchgeführt.
Die Wahrscheinlichkeit einer Wortsegmentierung wird funktionell durch die Gleichung (5) beschrieben.
auftreten, deren P(W5Cg)größer als 0,6% ist. Es ist daher
vernünftig, diejenigen Wörter als die Schwelle zu doppelter Worteintragung überschreitend anzusehen,
deren kumulative Segmentierungs-Wahrscheinlichkeit diesen nominellen Wert überschreitet, nämlich
(5)
worin W für »Wort« steht, und P die Wahrscheinlichkeit,
und die Überstreichung des Index das Komplement der Segmentierung andeutet, nämlich daß keine μ
Segmentierung stattfindet. Aus empirischen Daten, die über alle Wortlängen gemittelt sind, ergibt sich, daß
80% aller Segmentierungen in solchen Wörtern P(Ws,.e)>
7=0,6%.
Diese Schwelle könnte natürlich gesenkt werden, aber das würde viele neue doppelte Eintragungen nach
sich ziehen, ohne wesentlich mehr Wortsegmentierungen möglich zu machen. Das Verhältnis in Gleichung (5)
wird übersichtlicher, wenn man es in Teile aufspaltet:
P(Wx,,,) = 1 - P(xlejr) · P(x25f)... Pi^sg). (7)
Durch Einsetzen von Gleichung (7) in Gleichung (6) ergibt sich
1 - P(A1J5) · P(A2J5)... Ρ!.*,«,)
> 7\
P(^) ■ P(«2i5) · · · P(W < I - Γ.
P(^) ■ P(«2i5) · · · P(W < I - Γ.
In logarithmischer Schreibweise ergibt sich daraus schließlich eine allgemeine Schwelle für Wortgruppen-Kandidaten:
|logP(*Ii5)
+ ...logPfr»w5i)|> Ilogd-T)!
+ ...logPfr»w5i)|> Ilogd-T)!
Durch Zurückführen der Gleichung (8) auf das binomische Modell, das seiner Anwendung unterliegt,
kann die Gleichung einfach für die Neigung (Wahrscheinlichkeit) zur Falschsegmentierung, die bewirkt,
daß ein Wort Kandidat für mehrfache Eintragung in eine Wortgruppe, zwei Wortgruppen usw. ist, gelöst
werden:
Schwelle für eine einzelne Segmentierung:
worin M die Anzahl der Buchstaben in einem Wort bedeutet.
Schwelle für zwei Segmentierungen:
Schwelle für zwei Segmentierungen:
M!
2!(M
worin P (oc&g) die durchschnittliche Neigung eines
Wortes zur Falschsegmentierung darstellt.
Daraus folgt die Schwelle der Wort-Falschsegmentierung für einen Diktionäreintrag in zwei benachbarten
Wortgruppen zu:
il"e(21'
(10)
Für die Wortlänge 8 (M = S) kann dies umgeschrieben
werden als:
llogCl — fT(2!)(6!)(8!))|.
Durch ähnliche analytische Verfahren erhält man ein komplettes Spektrum der Wortgruppen-Schwellen, d. h.
für einzelne Eintragung, doppelte Eintragung, dreifache
Eintragung usw. für jede gegebene Wortlänge.
Bei Benutzung der vorher beschriebenen Schwellen der Falschsegmentierungs-Neigung sind in einer Wortgruppe
alle Wörter der betreffenden Länge enthalten, sowie alle Wörter mit anderen Längen, deren
Wahrscheinlichkeit, fälschlich zu der betreffenden Menge segmentiert zu werden, genügend groß ist.
Daher kann ein einzelnes Wort in mehreren Wortgruppen erscheinen, was von seiner Buchstabenkomposition
abhängt. In F ig. 4 erscheint das Wort CORNWALL beispielsweise in der Wortgruppe 8, die seiner
korrekten Länge entspricht. CORNWALL hat jedoch vier Buchstaben, die für Falschsegmentierung anfällig
sind, wobei hier ein Buchstabe in zwei segmentiert wird. Diese sind C, O, N und W. Daraus ergibt sich, daß eine
ziemlich große Wahrscheinlichkeit besteht, daß CORNWALL in ein Wort mit neun Buchstaben verlesen wird,
wie beispielsweise CORNWALL, oder ein Wort mit zehn Buchstaben, wie CIJRNVVALL. Daher wird dieses
V/ort auch in den Wortgruppen 9 und 10 geführt. Das Wort WHITEHALL ist ursprünglich in der Wortgruppe
9. Das Wort ist jedoch auch in der Wortgruppe 8 enthalten, da es zwei Buchstabenpaare aufweist, die
beide zu einem einzelnen Buchstaben zusammengezogen werden können. Diese sind HI und LL.
Der zweite Gesichtspunkt, nach dem der Speicher organisiert sein kann sind autonome Wortgruppen, die
auf der Buchstaben-Feldlänge basieren. Dabei werden alle N Eintragungen im Diktionär zusammen aufgeführt,
wenn /V= 1, 2, 3 ist, bis zum längsten Satz von in
Frage kommenden Diktionärwörtern. An jede dieser Gruppen von Wörtern im Diktionär werden Wörter
anderer Längen angehängt, deren alphabetische Komposition bewirkt, daß ihre Neigung zur Falschsegmentierung
eine Schwelle überschreitet, und die daher Kandidaten für das Verlesen bei der optischen
Zeichenlesung sind.
Die Anzahl von Eintragungen die sich bei einer Entnahme ergibt, die auf Grund der Unterscheidung
nach der berechneten Größe und den Wortlängengruppen durchgeführt wird, liegt zwischen 1 und 2% der
Anzahl unterschiedlicher Eintragungen im gesamten Diktionär. Diese Reduktion in der Größe des Entnahmepaketes
wird erreicht, obwohl nur eine kleine Einbuße an Entnahmegenauigkeit zu verzeichnen ist.
Die bei der Fehlerkorrektur im Zusammenhang mit der optischen Zeichenerkennung erfolgreich angewandten
Techniken sind in ähnlicher Weise nützlich für jedes andere System, in dem Fehlermatrizen aufgestellt
werden können. So sind beispielsweise die Fehlercharakteristiken von Schreibmaschinentastaturen eingehend
studiert worden. Dabei wurden Daten über mehr als 6 000 000 Tastenanschläge gesammelt und analysiert.
Die Tabelle 2 (Fig.8) zeigt eine Fehlermatrix, die auf
der Auswertung von etwas über 1 000 000 Tastenanschlagen beruht. Die Untersuchung der Vorgänge in
Tabelle 2 zeigt, daß die Fehlermuster bei zur Substitution führenden Fehlanschlägen in drei Kategorien
eingeteilt werden können:
1. optisch verwechselbare Buchstaben,
2. benachbarte Tasten,
3. gleiche Fingerposition an der anderen Hand.
Dieser Fehlermechanismus unterliegt mehr als bei der
Dieser Fehlermechanismus unterliegt mehr als bei der
optischen Zeichenerkennung einem stabilen, zeitlich invarianten Prozeß, der sinnvoll in einer Fehlermatrix
dargestellt werden kann. Beim Vergleich der Fehlerverteilung zwischen den einzelnen Zeichen ist es klar, daß
bei der Bedienung der Tastatur auftretende Fehlermuster sich besser voraussagen lassen, d. h. ein kleineres
Spektrum an Möglichkeiten aufweisen, als diejenigen bei der optischen Zeichenerkennung. Man kann zeigen,
daß je kleiner die Verteilung der Fehler in einer -) Fehlermatrix, desto größer das Potential zur Fehlerkorrektur
ist. Daraus folgt, da3 ein bei der optischen Zeichenerkennung erreichtes Niveau bei der Fehlerkorrektur
auch bei Tastaturen erreicht, wenn nicht gar übertroffen werden kann.
κι Der Tastatur-Vektordiktionär dient dem gleichen
Zweck bei der Tastatur-Fehlerkorrektur, wie der weiter unten im Zusammenhang mit Fig. 7 zu besprechende
Häufungsspeicher 22 im Zusammenhang mit der Fehlerkorrektur bei der optischen Zeichenerkennung,
ι > indem er gestattet, ein verschriebenes Wort mit einem
Teil des Fehlerkorrektur-Diktionärs, bzw. der darin enthaltenen Wörterliste, zu assoziieren, worin neben
anderen Eintragungen die korrekte Version des verschriebenen Wortes enthalten ist. Während bei der
2(i optischen Zeichenerkennung durch das Vektorentnahmeverfahren
etwa 1% der Wörterliste aufgesucht werden, kann damit gerechnet werden, daß wegen der
relativen Seltenheit von Fehlern in der Fehlermatrix der F i g. 2 bezüglich der Tastaturfehler ein größeres
2> Unterscheidungsvermögen existiert.
Wegen der weitgehend analogen Natur der bei Tastaturen und der optischen Zeichenerkennung auftretenden
Fehler ist die in F i g. 6 dargestellte Schaltung direkt anwendbar, wobei der Festwertspeicher 56 zur
jo Speicherung von Häufungen ähnlich verschriebener Wörter einzurichten ist. Dazu ist ein lineares Programm
aufzustellen, das den Verwechslungen zwischen den Zeichen analog ist, auf denen die Aufstellung eines
optimalen alphanumerischen Zuordnungsschemas beil ruht.
Die Fehlanschlag-Korrektur betrifft die Berichtigung der vier besonders häufigen Kategorien von Anschlagfehlern:
Substitution, Transposition, Hinzufügung und Auslassung.
•to Die Substitution ist der häufigste Anschlagfehler. Wie bei der Korrektur der Substitutionsfehler bei der
optischen Zeichenerkennung werden auch in diesem Fall die Daten eingegeben, die sich auf die Fehlerstatistik
gründen.
•r> Die Zeichentransposition beruht auf der Umkehrung
der korrekten Reihenfolge im übrigen richtiger Zeichen. Die Schreibweise »gehiem« ist ein Beispiel für einen
Transpositionsfehler. Diese Art Fehler kommt bei der optischen Zeichenlesung nicht vor, die Korrektur von
ίο Transpositionsfehlern kann jedoch unter Benutzung der
Vektorgröße als eine spezielle Eingabe bei dem Prozeß der Fehlerkorrektur gemäß der größten Wahrscheinlichkeit
einer Tasten-Fehlbetätigung erfolgen. Die Vektorgröße eines durch Transposition verstümmelten
V) Wortes ist nämlich die gleiche wie die für die korrekte
Form dieses V/ortes. Daher werden beim Aufsuchen des Diktionärs die Wörter mit dem gleichen Betrag wie das
verstümmelte Wort Kandidaten für die Korrektur eines Transpositionsfehlers. Diese Technik zur Korrektur von
ω) Transpositionsfehlern (der Betrag des verstümmelten
Wortes ist gleich dem Betrag des Wortes im Diktionär) bewirkt das Vertauschen benachbarter Zeichen, wenn
unmögliche Diskrepanzen zwischen dem verstümmelten Wort und einem Wort im Diktionär mit der gleichen
bs Länge angetroffen werden.
Der Fehlermechanismus, der die Hinzufügung oder Auslassung von Zeichen beim Eintasten beherrscht,
scheint eng mit dem zu schreibenden Digramm
zusammenzuhängen. Falls nämlich das Digramm normalerweise
Teil eines sehr häufigen Trigramms ist, kann versehentlich das Trigramm eingetastet werden und zur
Hinzufügung eines übe/flüssigen Zeichens führen. Beispielsweise kann das Eintasten des Digramm*. »de« -,
oft zur Hinzufügung eines »r« führen, was »der« ergibt, wo nur »de« verlangt war. Umgekehrt scheint die
Auslassung von Zeichen mit dem Eintasten seltener Trigramme zusammenzuhängen, die ein häufig vorkommendes
Digramm enthalten. Daher kann ein Trigramm m unwillkürlich zu einem kürzeren, häufig vorkommenden
Digramm verstümmelt werden.
Da die Hinzufügung und Auslassung von Zeichen mit der beschriebenen Digramm/Trigramm-Ähnlichkeit zusammenhängt,
kann die Korrektur durch relativ r, einfache Änderungen an der weiter oben beschriebenen
Segmentationsfehler-Korrekturlogik erzielt werden.
F i g. 7 zeigt ein Blockschaltbild einer Fehlerkorrektur-Vorrichtung,
welche gestattet, aus einem alphabetischen Eingabewort, das durch eine Wortquelle 13 >
<> verstümmelt worden ist, die höchstwahrscheinliche Form des ursprünglichen Eingabewortes wiederzugewinnen.
Die Wortquelle 13 kann beispielsweise ein optischer Zeichenleser sein, oder eine Vorrichtung zum
Analysieren von Sprache, die Phonem-Zeichen erzeugt, 2->
oder eine konventionelle Tastatur. Jede dieser Gruppen von Wortquellen hat ihre eigene Charakteristik
bezüglich der Fehlerneigung, die als Zeichen-Übertragungsfunktion bezeichnet werden kann. In F i g. 7 ist ein
optischer Zeichenleser 2 als spezielle Wortquelle w gewählt worden, er kann jedoch durch einen Sprachanalysator
oder eine konventionelle Tastatur ersetzt werden.
In Verbindung mit dem optischen Zeichenleser 2 wird ein Diskriminator 8 verwandt, über den Einzelheiten aus j
> der DT-OS 24 35 889 bekannt sind. Dem Diskriminator 8 werden über Leitungen 4 und 6 vom Zeichenleser 2
den als alphabetische bzw. numerische Zeichen erkannten Vorlagen entsprechende Daten zugeführt.
Der Diskriminator 8 entwickelt daraus nach dem bayesschen Wahrscheinlichkeitstheorem (Wahrscheinlichkeit
des Vorhandenseins eines von zwei sich gegenseitig ausschließenden Ereignissen, hier: numerische
Zeichen bzw. alphabetische Zeichen) alphanumerische Zeichen, die über eine Leitung 10 einer binären
Referenzmatrix 12 zugeführt werden. Die Leitung 10 ist ferner mit einer Torschaltung 16 verbunden, deren
Steuereingang über eine Leitung 14 mit der Referenzmatrix 12 verbunden ist. Der vom Diskriminator 8 über
die Leitung 10 gelieferte Datenstrom unterscheidet bereits numerische Zeichenfelder von alphabetischen
Zeichenfeldern. Dieser Datenstrom wird der Referenzmatrix 12 zugeführt, die gültige und ungültige
alphabetische Wörter erkennt. Die gültigen alphabetischen Wörter werden durch die Torschaltung 16 auf
eine Leitung 18 ausgegeben; von der Refsrenzmatrix 12 als ungültig erkannte alphabetische Wörter werden
über eine Leitung 20 einem sogenannten Häufungs-Speicher 22 zugeführt, der weiter unten beschrieben ist.
Der Häufungs-Speicher 22 entnimmt aus einem in ihm to enthaltenen assoziativen Festwertspeicher eine Gruppe
von korrekten alphabetischen Wörtern, die eine Wahrscheinlichkeit aufweisen, mit den zur Zeit interessierenden
ungültigen alphabetischen Wörtern verwechselt worden zu sein, die auf der Leitung 20 einlaufen. b5
Diese Gruppe von potentiell richtigen alphabetischen Wörtern wird über eine Leitung 24 einer Korrekturvorrichtung
26 zugeführt, worin jedes ungültige Wort einer Analyse bezüglich der bedingten Wahrscheinlichkeit
unterworfen wird, um festzustellen, welches der korrekten Wörter, die über die Leitung 24 eingegeben
wurden, dem vom Zeichenleser gelieferten ungültigen Wort am besten entspricht. Das korrekte alphabetische
Wort wird dann von der Korrekturvorrichtung 26 über eine Leitung 28 an einen Multiplexer 30 übertragen, der
seinerseits das korrekte alphabetische Wort über eine Ausgabeleitung 32 abgibt, als beste Abschätzung für das
vom Zeichenleser 2 gelieferte verstümmelte Wort.
Im folgenden wird der Häufungs-Speicher 22 näher beschrieben. Das fundamentale Konzept, das dem
Häufungs-Speicher unterliegt, ist das zwischen den im Festwertspeicher gespeicherten Wörtern und der
Zeichenübertragungsfunktion des Zeichenlesers oder der Tastatur, deren Ausgabedaten analysiert werden
sollen, bestehende Verhältnis. Der Häufungs-Speicher ist als Assoziativspeicher ausgebildet, wobei das
Suchargument für den Speicher durch die Eigenschaften des verstümmelten Eingabewortes selbst bestimmt wird.
Diese Eigenschaften des Eingabewortes sind die Wortgruppe und der Indexwert.
Wie das Flußdiagramm der F i g. 5 zeigt, wird die Wortgruppe als A Adresse und der Indexwert als
V-Adresse für den Festwertspeicher 56 benutzt. Die Wahl von Wortgruppe und Indexwert bewirkt die
Übertragung eines Diktionärwortes als Wert auf der Z-Achse für jeden Wert von Y zwischen den
Fehlerintervallen — Δ und +Δ. Diese Häufung von 2 Δ + 1 Diktionärwörtem stellt diejenige Wortgruppe
dar, die zur Weiterbehandlung durch die Korrekturvorrichtung 26 über die Leitung 24 ausgegeben wird.
Das Flußdiagramm der F i g. 5 zeigt schematisch die Anordnung von Diktionärwörtem im Festwertspeicher.
Die zwölf auf der X-Achse angeordneten Wortgruppen repräsentieren Wortlängen von zwei bis dreizehn
Zeichen. Die Auswahl einer Wortgruppe wird durch die Länge des eingegebenen verstümmelten Wortes bestimmt.
Wie bereits erwähnt, haben nicht alle Diktionärwörter in einer bestimmten Gruppe die gleiche Anzahl
von Zeichen. Den Wörtern in der n-ten Gruppe ist das Merkmal gemeinsam, das der Zeichenleser diese
Wörter mit einer gewissen Wahrscheinlichkeit mit η Zeichen ausgeben wird. Das schließt alle Wörter mit der
Länge η ein und ferner diejenigen, die der Zeichenleser sehr wahrscheinlich in Wörter mit η Zeichen zerlegen
wird. Dieses Konzept führt dazu, daß gewisse Wörter in mehreren Gruppen auftreten.
Jedes verstümmelte Eingabewort bewirkt den Zugriff zu 2 Δ + 1 Stellen im Festwertspeicher. Der Indexwert
wird durch die Anzahl der Zeichen im Eingabewort bestimmt. Das Fehlerintervall Δ repräsentiert das
Vertrauensintervall, innerhalb dessen eine hohe Wahrscheinlichkeit besteht, die korrekte Eintragung zu
finden. Jedes vom Zeichenleser eingegebene alphabetische Wort resultiert in der Ausgabe eines Bereiches von
2 Δ Indexwerten, die den Wörtern der im Festwertspeicher 56 gespeicherten Wortgruppe entsprechen, welche
Wörter über den Ausgabe-Puffer 58 zur Ausgabe gelangen.
Ein detailliertes Blockschaltbild des Häufungs-Speichers 22 ist in F i g. 6 dargestellt. Über die Leitung 2C
wird vom Zeichenleser ein verlesenes alphabetisches Wort eingegeben. Ein Wortseparations-Detektor 34
stellt den Anfang und das Ende eines jeden Wortes fest Ein Buchstabenzähler 36, der mit dem Wortseparations-Detektor
34 verbunden ist, zählt die Anzahl der Buchstaben in einem alphabetischen Wort und gibt der
25 4ΐ
gezählten Wert N der Wortlänge über eine Leitung 38 als Wortgruppe und zweites Suchargument an den
Festwertspeicher 56. Das über die Leitung 20 eingehende verlesene alphabetische Wort wird ferner einem
Buchstabenwert-Speicher 40 zugeführt, in dem die in Tabelle 1 aufgeführten Buchstabenwerte Ln gespeichert
sind. Jeder Buchstabe des Eingabewortes wird benutzt, um den entsprechenden Buchstabenwert Ln aufzusuchen,
der an das Eingaberegister 42 ausgegeben werden soll. Das Eingaberegister 42, das Addierwerk 44 und das
Register 46 dienen dazu, die Summe der Werte Ln für
die Buchstaben des über die Leitung 20 eingegangenen Eingabewortes zu akkumulieren. Sobald der Wortseparations-Detektor
34 das Ende des Wortes festgestellt hat, wird vom Buchstabenzähler 36 ein Signal an das ι s
Register 46 gegeben, welches die Endsumme der Werte Iw als den mittleren Indexwert an ein Subtrahierwerk 48
überträgt Das Delta-Register 50 enthält den Wert Δ des
Fehlerintervüls, der für die in der Tabelle 1 enthaltend
Buchstabenwerte gleich 250 ist Der Wert Δ wird von
Delta-Register 50 dem Subtrahierwerk 48 zugeführt unc von dem vom Register 46 gelieferten mittlerei
Indexwert subtrahiert, was den minimalen Indexwer ergibt, der das erste Suchargument für den Festwert
speicher 56 bildet Dieser minimale Indexwert wird ar das Addierwerk 52 ausgegeben um als Addend mit den
Augenden vom zyklischen Zähler 54 eine Summe zi bilden, welche die erste Suchadresse für den Festwert
speicher 56 darstellt Der zyklische Zähler 54 gib sequentiell ganzzahlige Werte von 0 bis 2 χ Δ an dai
Addierwerk52 und veranlaßt dadurch 2Δ + \ Zugriffe zum Festwertspeicher 56. Die Anzahl von 2 Δ + 1
Wortkandidaten im Festwertspeicher 56 wird an der Ausgabepuffer 58 übertragen und über die Leitung 24
weiterer Verwendung zugeführt
Hierzu 6 Blatt Zeichnungen
Claims (6)
1. Einrichtung zur Fehlerkorrektur und zur korrekten Ausgabe von in Zeichengeneratoren wie,
Zeichenlesern, Spracherkennern oder Eingabetastaturen falsch erzeugter Eingabewörter mit einem
Verzeichnisspeicher gültiger Ausgabewörter und mit einer Einrichtung zur Bildung von Vektoren aus
der Zeichenzahl und aus einem jedem Zeichen des ι ο
Eingabewortes zugeordneten numerischen Wert, gekennzeichnet durch eine mitteis aus dem
Eingabewort gebildeten Vektor adressierbare binäre Referenzmatrix (12; F i g. 7) zur Prüfung des
Eingabewortes, die in Abhängigkeit von dem r, Prüfungsergebnis gültig oder ungültig ein Torsteuersignal
erzeugt, durch eine Torschaltung (16), die von dem Torsteuersignal so steuerbar ist, daß bei einem
ungültigen Eingabewort dieses sowohl zu einer Korrekturvorrichtung (26) als auch zu einem 2»
Häufungsspeicher (22) übertragen wird, der durch den aus dem Eingabewort gebildeten Vektor
adressierbar ist und an der adressierten Stelle ein oder mehrere potentiell gültige Ausgabewörter zur
Korrekturvorrichtung überträgt, die von diesen nach den Grundsätzen der bedingten Wahrscheinlichkeit
dasjenige als gültiges ausgibt, das dem ungültigen am besten entspricht.
2. Einrichtung nach Anspruch 1 mit einem Häufungsspeicher, bei dem die Adressenvektoren jo
aus der Anzahl der Zeichen jedes Eingabewortes und aus den jedem Zeichen eines Eingabewortes
zugeordneten numerischen Werten gebildet sind, dadurch gekennzeichnet, daß in dem zweidimensional
adressierbaren Speicher (56; F i g. 5) Gruppen j5 von potentiell gültigen Ausgabewörtern gespeichert
sind, derart, daß in benachbarten Speicherstellen Ausgabewörter mit ähnlichen Eigenschaften bezüglich
ihrer Neigung zur Falscherkennung auf Grund der Übertragungsfunktion des verwendeten Zeichengenerators
stehen.
3. Einrichtung nach Anspruch 2, dadurch gekennzeichnet, daß die Differenz bezüglich der Adressen
bei der Speicherung von Wörtern mit ähnlicher Neigung zur Falscherkennung im Häufungsspeicher
(56; F i g. 5) kleinstmöglich gewählt ist, indem die potentiell gültigen Ausgabewörter einer gegebenen
Länge mit solchen anderer Längen gruppiert sind, denen eine eine Schwelle überschreitende Wahrscheinlichkeit
eigen ist, in Wörter der gegebenen Länge vom Zeichengenerator segmentiert zu werden, daß die Neigung zur Falscherkennung
vorgängig der Speicherung der Wörter durch empirische Bestimmung der Übertragungsfunktion
des Zeichengenerators ermittelt und die Übertragungsfunktion als Gleichungssystem ausgedrückt ist,
das die Wahrscheinlichkeit einer Falscherkennung eines jeden Zeichens beschreibt, daß die Gleichungen
für einen optimalen Satz von Zeichenwerten gelöst werden, wobei zuverlässig erkennbaren und
häufig vorkommenden Zeichen höhere numerische Werte zugeordnet sind als den übrigen Zeichen.
4. Einrichtung nach einem oder mehreren der Ansprüche 1 bis 3, dadurch gekennzeichnet, daß die
Wahrscheinlichkeit der fehlerhaften Segmentierung b5 durch die Übertragungsfunktion des Zeichengenerators
bestimmt ist, welche Übertragungsfunktion als Gruppe von Werten dargestellt ist, die die jedem
Zeichen eigene Wahrscheinlichkeit repräsentieren, failsch segmentiert zu werden, daß aus diesen Werten
für jedes Eingabewort die diesem eigene Wahrscheinlichkeit falsch segmentiert zu werden berechnet
ist und daß diese Wahrscheinlichkeit mit einem wählbaren Schwellenwert verglichen wird und
Wörter, deren Wahrscheinlichkeit zur fehlerhaften Segmentierung diese Schwelle überschreitet, mit
Wörter abweichender Längen gespeichert sind.
5. Einrichtung nach einem oder mehreren der Ansprüche 1 bis 4, dadurch gekennzeichnet, daß die
im Häufungsspeicher (56; Fig.5) gespeicherten potentiell gültigen Ausgabewörter im Falle von
Zeichenlesern und Eingabetastaturen als Zeichengenerator alphabetische Wörter und die Zeichen die
Buchstaben sind, aus denen solche Wörter bestehen.
6. Einrichtung nach einem oder mehreren der Ansprüche 1 bis Φ, dadurch gekennzeichnet, daß die
im Häufungsspeicher (56; F i g. 5) gespeicherten potentiell gültigen Ausgabewörter im Falle von
Spracherkennern als Zeichengeneratoren Phonem-Wörter und die Zeichen Phoneme sind, aus denen
diese Phonem-Wörter gebildet sind.
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US05/513,202 US3969698A (en) | 1974-10-08 | 1974-10-08 | Cluster storage apparatus for post processing error correction of a character recognition machine |
Publications (3)
Publication Number | Publication Date |
---|---|
DE2541204A1 DE2541204A1 (de) | 1976-04-15 |
DE2541204B2 true DE2541204B2 (de) | 1978-03-30 |
DE2541204C3 DE2541204C3 (de) | 1978-11-30 |
Family
ID=24042261
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
DE2541204A Expired DE2541204C3 (de) | 1974-10-08 | 1975-09-16 | Einrichtung zur Fehlerkorrektur |
Country Status (13)
Country | Link |
---|---|
US (1) | US3969698A (de) |
JP (1) | JPS5143643A (de) |
BE (1) | BE832767A (de) |
BR (1) | BR7506545A (de) |
CA (1) | CA1062811A (de) |
CH (1) | CH586429A5 (de) |
DE (1) | DE2541204C3 (de) |
ES (1) | ES441353A1 (de) |
FR (1) | FR2287747A1 (de) |
GB (1) | GB1500203A (de) |
IT (1) | IT1042379B (de) |
NL (1) | NL7511834A (de) |
SE (1) | SE439848B (de) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP0042035A2 (de) * | 1980-06-17 | 1981-12-23 | International Business Machines Corporation | Methode und Gerät zur Vektordarstellung von Textworten in einem Textverarbeitungssystem |
Families Citing this family (50)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4136395A (en) * | 1976-12-28 | 1979-01-23 | International Business Machines Corporation | System for automatically proofreading a document |
US4290105A (en) * | 1979-04-02 | 1981-09-15 | American Newspaper Publishers Association | Method and apparatus for testing membership in a set through hash coding with allowable errors |
US4328561A (en) * | 1979-12-28 | 1982-05-04 | International Business Machines Corp. | Alpha content match prescan method for automatic spelling error correction |
US4355371A (en) * | 1980-03-25 | 1982-10-19 | International Business Machines Corporation | Instantaneous alpha content prescan method for automatic spelling error correction |
JPS5854433B2 (ja) * | 1980-09-11 | 1983-12-05 | 日本電気株式会社 | 相違度検出装置 |
US4355302A (en) * | 1980-09-12 | 1982-10-19 | Bell Telephone Laboratories, Incorporated | Spelled word recognizer |
JPS5876893A (ja) * | 1981-10-30 | 1983-05-10 | 日本電気株式会社 | 音声認識装置 |
US5600556A (en) * | 1982-01-29 | 1997-02-04 | Canon Kabushiki Kaisha | Word processor that automatically capitalizes the first letter of sentence |
US4556951A (en) * | 1982-06-06 | 1985-12-03 | Digital Equipment Corporation | Central processor with instructions for processing sequences of characters |
US4674066A (en) * | 1983-02-18 | 1987-06-16 | Houghton Mifflin Company | Textual database system using skeletonization and phonetic replacement to retrieve words matching or similar to query words |
US4580241A (en) * | 1983-02-18 | 1986-04-01 | Houghton Mifflin Company | Graphic word spelling correction using automated dictionary comparisons with phonetic skeletons |
US4771401A (en) * | 1983-02-18 | 1988-09-13 | Houghton Mifflin Company | Apparatus and method for linguistic expression processing |
US4654875A (en) * | 1983-05-23 | 1987-03-31 | The Research Foundation Of State University Of New York | System to achieve automatic recognition of linguistic strings |
US4783758A (en) * | 1985-02-05 | 1988-11-08 | Houghton Mifflin Company | Automated word substitution using numerical rankings of structural disparity between misspelled words & candidate substitution words |
JPS61252594A (ja) * | 1985-05-01 | 1986-11-10 | 株式会社リコー | 音声パタ−ン照合方式 |
CA1261472A (en) * | 1985-09-26 | 1989-09-26 | Yoshinao Shiraki | Reference speech pattern generating method |
US4829472A (en) * | 1986-10-20 | 1989-05-09 | Microlytics, Inc. | Spelling check module |
JPS63198154A (ja) * | 1987-02-05 | 1988-08-16 | インタ−ナショナル・ビジネス・マシ−ンズ・コ−ポレ−ション | つづり誤り訂正装置 |
US4926488A (en) * | 1987-07-09 | 1990-05-15 | International Business Machines Corporation | Normalization of speech by adaptive labelling |
JPH01214964A (ja) * | 1988-02-23 | 1989-08-29 | Sharp Corp | コレクト機能付欧文作成装置 |
US4994966A (en) * | 1988-03-31 | 1991-02-19 | Emerson & Stern Associates, Inc. | System and method for natural language parsing by initiating processing prior to entry of complete sentences |
US5075896A (en) * | 1989-10-25 | 1991-12-24 | Xerox Corporation | Character and phoneme recognition based on probability clustering |
US5167016A (en) * | 1989-12-29 | 1992-11-24 | Xerox Corporation | Changing characters in an image |
US5062143A (en) * | 1990-02-23 | 1991-10-29 | Harris Corporation | Trigram-based method of language identification |
US5604897A (en) * | 1990-05-18 | 1997-02-18 | Microsoft Corporation | Method and system for correcting the spelling of misspelled words |
US5313527A (en) * | 1991-06-07 | 1994-05-17 | Paragraph International | Method and apparatus for recognizing cursive writing from sequential input information |
JP3422541B2 (ja) * | 1992-12-17 | 2003-06-30 | ゼロックス・コーポレーション | キーワードのモデル化方法及び非キーワードhmmの提供方法 |
US6064819A (en) * | 1993-12-08 | 2000-05-16 | Imec | Control flow and memory management optimization |
US5768423A (en) * | 1994-09-02 | 1998-06-16 | Panasonic Technologies Inc. | Trie structure based method and apparatus for indexing and searching handwritten databases with dynamic search sequencing |
CA2155891A1 (en) | 1994-10-18 | 1996-04-19 | Raymond Amand Lorie | Optical character recognition system having context analyzer |
US5617488A (en) * | 1995-02-01 | 1997-04-01 | The Research Foundation Of State University Of New York | Relaxation word recognizer |
US5774588A (en) * | 1995-06-07 | 1998-06-30 | United Parcel Service Of America, Inc. | Method and system for comparing strings with entries of a lexicon |
US5963666A (en) * | 1995-08-18 | 1999-10-05 | International Business Machines Corporation | Confusion matrix mediated word prediction |
US5933531A (en) * | 1996-08-23 | 1999-08-03 | International Business Machines Corporation | Verification and correction method and system for optical character recognition |
EP0859332A1 (de) * | 1997-02-12 | 1998-08-19 | STMicroelectronics S.r.l. | Einrichtung und Verfahren zum Erkennen von Wörtern |
EP0859333A1 (de) * | 1997-02-12 | 1998-08-19 | STMicroelectronics S.r.l. | Verfahren zum Kodieren von Zeichen für die Worterkennung und auf diesem Kodieren basierende Worterkennungseinrichtung |
US6047300A (en) * | 1997-05-15 | 2000-04-04 | Microsoft Corporation | System and method for automatically correcting a misspelled word |
US6269188B1 (en) * | 1998-03-12 | 2001-07-31 | Canon Kabushiki Kaisha | Word grouping accuracy value generation |
AU770515B2 (en) * | 1998-04-01 | 2004-02-26 | William Peterman | System and method for searching electronic documents created with optical character recognition |
US6216123B1 (en) * | 1998-06-24 | 2001-04-10 | Novell, Inc. | Method and system for rapid retrieval in a full text indexing system |
US6393395B1 (en) | 1999-01-07 | 2002-05-21 | Microsoft Corporation | Handwriting and speech recognizer using neural network with separate start and continuation output scores |
US6662180B1 (en) * | 1999-05-12 | 2003-12-09 | Matsushita Electric Industrial Co., Ltd. | Method for searching in large databases of automatically recognized text |
US6480827B1 (en) * | 2000-03-07 | 2002-11-12 | Motorola, Inc. | Method and apparatus for voice communication |
US7781693B2 (en) | 2006-05-23 | 2010-08-24 | Cameron Lanning Cormack | Method and system for sorting incoming mail |
GB0611561D0 (en) * | 2006-06-08 | 2006-07-19 | Ibm | A validation engine |
GB0623236D0 (en) * | 2006-11-22 | 2007-01-03 | Ibm | An apparatus and a method for correcting erroneous image identifications generated by an ocr device |
CN107427732B (zh) * | 2016-12-09 | 2021-01-29 | 香港应用科技研究院有限公司 | 用于组织和处理基于特征的数据结构的系统和方法 |
US10127219B2 (en) * | 2016-12-09 | 2018-11-13 | Hong Kong Applied Science and Technoloy Research Institute Company Limited | System and method for organizing and processing feature based data structures |
CN109492644A (zh) * | 2018-10-16 | 2019-03-19 | 深圳壹账通智能科技有限公司 | 一种习题图像的匹配识别方法及终端设备 |
CN111179592B (zh) * | 2019-12-31 | 2021-06-11 | 合肥工业大学 | 基于时空数据流融合分析的城市交通预测方法和系统 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US3188609A (en) * | 1962-05-04 | 1965-06-08 | Bell Telephone Labor Inc | Method and apparatus for correcting errors in mutilated text |
FR1543777A (fr) * | 1966-12-23 | 1900-01-01 | Ibm | Identification des caractères par utilisation du contexte |
US3492653A (en) * | 1967-09-08 | 1970-01-27 | Ibm | Statistical error reduction in character recognition systems |
US3651459A (en) * | 1970-05-15 | 1972-03-21 | Philco Ford Corp | Character distance coding |
-
1974
- 1974-10-08 US US05/513,202 patent/US3969698A/en not_active Expired - Lifetime
-
1975
- 1975-04-30 GB GB17907/75A patent/GB1500203A/en not_active Expired
- 1975-06-23 JP JP50075749A patent/JPS5143643A/ja active Granted
- 1975-07-07 CA CA230,886A patent/CA1062811A/en not_active Expired
- 1975-08-11 FR FR7525823A patent/FR2287747A1/fr active Granted
- 1975-08-26 BE BE159484A patent/BE832767A/xx not_active IP Right Cessation
- 1975-09-09 IT IT27033/75A patent/IT1042379B/it active
- 1975-09-16 DE DE2541204A patent/DE2541204C3/de not_active Expired
- 1975-09-19 CH CH1222275A patent/CH586429A5/xx not_active IP Right Cessation
- 1975-09-29 ES ES441353A patent/ES441353A1/es not_active Expired
- 1975-10-06 SE SE7511157A patent/SE439848B/xx not_active IP Right Cessation
- 1975-10-07 BR BR7506545*A patent/BR7506545A/pt unknown
- 1975-10-08 NL NL7511834A patent/NL7511834A/xx not_active Application Discontinuation
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP0042035A2 (de) * | 1980-06-17 | 1981-12-23 | International Business Machines Corporation | Methode und Gerät zur Vektordarstellung von Textworten in einem Textverarbeitungssystem |
EP0042035A3 (en) * | 1980-06-17 | 1982-07-21 | International Business Machines Corporation | Method and apparatus for vectorizing text words in a text processing system |
Also Published As
Publication number | Publication date |
---|---|
US3969698A (en) | 1976-07-13 |
CA1062811A (en) | 1979-09-18 |
SE439848B (sv) | 1985-07-01 |
DE2541204C3 (de) | 1978-11-30 |
DE2541204A1 (de) | 1976-04-15 |
FR2287747B1 (de) | 1978-04-07 |
ES441353A1 (es) | 1977-03-16 |
GB1500203A (en) | 1978-02-08 |
IT1042379B (it) | 1980-01-30 |
BE832767A (fr) | 1975-12-16 |
BR7506545A (pt) | 1976-08-17 |
JPS573979B2 (de) | 1982-01-23 |
FR2287747A1 (fr) | 1976-05-07 |
JPS5143643A (en) | 1976-04-14 |
NL7511834A (nl) | 1976-04-12 |
CH586429A5 (de) | 1977-03-31 |
SE7511157L (sv) | 1976-04-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
DE2541204C3 (de) | Einrichtung zur Fehlerkorrektur | |
EP1665132B1 (de) | Verfahren und system zum erfassen von daten aus mehreren maschinell lesbaren dokumenten | |
EP0980293B1 (de) | Verfahren und anordnung zum erkennen von verteilinformationen | |
DE19547812C2 (de) | Lesegerät für Schriftzeichenketten | |
DE4232507A1 (de) | Verfahren zum Kennzeichnen, Wiederauffinden und Sortieren von Dokumenten | |
DE2640537A1 (de) | Verfahren und vorrichtung zum unterscheiden zwischen n groesser als 2 alphabeten angehoerenden zeichen | |
DE2740105A1 (de) | Optische zeichenerkennungseinrichtung | |
DE2844156A1 (de) | Verfahren zum verifizieren eines sprechers | |
DE2435889B2 (de) | Verfahren und einrichtung zur unterscheidung von zeichengruppen | |
DE2540101A1 (de) | Automatisches zeichenerkennungs- system | |
DE2654815A1 (de) | Verfahren zur unterscheidung von gross- und kleinbuchstaben | |
DE102018115158A1 (de) | NC-Programm-Umwandlungseinrichtung | |
DE4407998C2 (de) | Verfahren und Vorrichtung zur Erkennung eines Musters auf einem Beleg | |
DE3026055C2 (de) | Schaltungsanordnung zur maschinellen Zeichererkennung | |
EP1918104A2 (de) | Verfahren zum Prüfen eines Aufdrucks und Aufdruckprüfvorrichtung | |
DE3246631C2 (de) | Zeichenerkennungsvorrichtung | |
DE19726592C2 (de) | Informationserkennungs-Vorrichtung | |
DE19933984A1 (de) | Verfahren zur Bildung und/oder Aktualisierung von Wörterbüchern zum automatischen Adreßlesen | |
DE2460757C2 (de) | Einrichtung zur Auswahl der richtigen Form eines bei der maschinellen Zeichenerkennung verstümmtelten Wortes | |
DE1524416A1 (de) | Anordnung zur Auswahl von Datenreferenzen zum Quervergleich mit einem unbekannten Datensatz | |
DE2333202A1 (de) | Zeichenerkennungsanordnung | |
DE19820353C2 (de) | Verfahren und Vorrichtung zur Erkennung eines Musters auf einer Vorlage | |
EP0731955B1 (de) | Verfahren und vorrichtung zum automatischen erfassen und erkennen von aufgezeichneter information | |
DE3825582C2 (de) | ||
DE2428811A1 (de) | Verfahren und anordnung zur klassifizierung bei der maschinellen zeichenerkennung |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C3 | Grant after two publication steps (3rd publication) | ||
8339 | Ceased/non-payment of the annual fee |