DE4129561A1 - Informationsverarbeitungssystem - Google Patents

Description

Die Erfindung betrifft ein Informationsverarbeitungs­ system nach dem Oberbegriff des Anspruchs 1.

Es wird angenommen, daß anstelle jedes Neurons im Gehirn eines Lebewesens, das ein bestimmtes Informa­ tionsstück festhält, eine große Anzahl von Neuronen in einer Gruppe zusammenwirkt, um gleichzeitig eine Vielzahl von Informationsstücken festzuhalten, der­ art, daß ein neurales Netzmodell aufgebaut wird. Es wird auch angenommen, daß im Verlauf einer im Gehirn eines Lebewesens durchgeführten Informationsverarbei­ tung ein jedem Neuron eingegebener anfänglicher Zu­ stand durch Kombinationsmuster beeinflußt wird, die durch gespeicherte Informationen gebildet werden zur freiwilligen Annäherung an einen stabilen Zustand (niedriger Energiezustand eines Systems), während eine gesamte Berechnung der Eingabe, ein Schwellwert­ prozeß und eine Rückkopplung wiederholt werden.

Es wird daher so verstanden, daß, wenn eine gespei­ cherte Information als vollständige Information ange­ sehen wird, und wenn ein bestimmtes Stück unvollstän­ diger Information jedem Neuron eingegeben wird, wie in Fig. 1 gezeigt ist, sich ein Neuron freiwillig einer gespeicherten Information annähert, die der eingegebenen am ähnlichsten ist. Nachdem das Neuron schließlich einen stabilen Zustand erreicht, wird der Zustand des Neurons in Form einer vollständigen In­ formation ausgegeben. Dies ist das Prinzip eines as­ soziativen Speichers basierend auf einem neuralen Netzmodell.

Im folgenden wird ein Beispiel einer assoziativen Speichereinheit (assoziativer Speicher) beschrieben, die durch ein Hopfield-Modell, eines der neutralen Netzmodelle, realisiert wird.

Fig. 2 zeigt die Struktur eines bekannten optischen assoziativen Speichers. Dieser ist offenbart in der Veröffentlichung "Material for a meeting for the stu­ dy of optical/quantum electronics OQE87-174", veröf­ fentlicht von "The Institute of Electronics, Informa­ tion and Communication Engineers", 1988.

Fig. 2 zeigt Lichtemissionselement-Anordnungen 11a und 11b, Fotomasken (optische Raummodulationselemen­ te) 12a und 12b, Lichtempfangselement-Anordnungen 13a und 13b, einen Differentialverstärker 14, einen Kom­ parator 15, eine Eingabeeinheit 16 und eine Ausgabe­ einheit 17.

Im folgenden wird die Arbeitsweise des assoziativen Speichers beschrieben. Lichtstrahlen von fächerförmi­ ger Gestalt werden von den Lichtemissions­ element-Anordnungen 11a und 11b zu den jeweiligen Fotomasken 12a und 12b gesandt. Wenn der Zustand jedes Licht­ emissionselements ausgedrückt wird durch

X_K(K = 1, 2, . . . i, . . . j, . . . n),

und wenn X_K entweder als "1" oder "0" in Abhängigkeit von dem Umstand, ob das betreffende Lichtemissions­ element leuchtet oder nicht, dargestellt wird, dann können die Zustände innerhalb der Lichtemissionsele­ ment-Anordnungen 11a und 11b wie folgt angegeben wer­ den:

X = (X₁, X₂, . . ., X_i, . . . X_j, . . . X_n),

worin X durch einen Vektor dargestellt wird und n die Anzahl der Elemente in den Lichtemissionselement- und Lichtempfangselement-Anordnungen ist, entsprechend der Anzahl Neuronen in diesem neuralen Netzwerk.

Jede der Fotomasken 12a und 12b ist in n x n Elemente unterteilt und so ausgebildet, daß die Lichtdurchläs­ sigkeit jedes Elements eigenständig geändert werden kann. Die Lichtdurchlässigkeit jedes Elements wird ausgedrückt durch eine Matrix

T = [T_ÿ].

Die Zustände innerhalb der Lichtempfangselement-An­ ordnungen 13a und 13b können in gleicher Weise wie in den Vektoren X gegeben werden durch

U = (U₁, U₂, . . . U_i, . . . U_j, . . . U_n).

Wenn das j-te Lichtemissionselement Licht auf die j-te Reihe der Fotomaske aussendet und das durch die i-te Spalte der Fotomaske durchgelassene Licht vom i-ten Lichtempfangselement empfangen wird, dann arbei­ tet das i-te Lichtempfangselement entsprechend, um eine Vektor/Matrix-Multiplikation durchzuführen, die durch die folgende Gleichung ausgedrückt wird:

Es wird angenommen, daß im neuralen Netzwerk die Kraft, die die jeweiligen Neuronen kombiniert, zur Speicherung der Information dient. In der obigen Struktur kann die Kombinationskraft durch die Durch­ lässigkeit T in jedem der n x n Elemente, in die die Fotomasken 12a und 12b unterteilt sind, realisiert werden. Mit anderen Worten ausgedrückt, speichert die Durchlässigkeit T der Fotomaske 12a und 12b die In­ formatin. Im nachfolgend beschriebenen Hopfield-Mo­ dell wird ein Informationsspeicher-Gesetz durch die folgende Gleichung gegeben:

worin N die gespeicherte Informationsmenge,

T_ÿ = T_ji und
T_ii = O sind.

Obgleich T_ÿ sowohl positive als auch negative Werte annehmen kann, ist es schwierig, für T_ÿ optisch ne­ gative Werte anzunehmen. In diesem Ausführungsbei­ spiel werden daher, wie in Fig. 2 gezeigt ist, zwei optische Systeme ausgebildet, wobei das eine den Ele­ menten entspricht, die positive Werte T_ÿ annehmen, und das andere den Elementen, die negative Werte T_ÿ annehmen. Der Differentialverstärker 14 erzeugt eine Differenz zwischen den Ausgangssignalen der Lichtemp­ fangselement-Anordnungen 13a und 13b. Diese Differenz ist wie folgt gegeben:

U_i = U_i ⁽⁺⁾ - U_i ^(-)

Das vom Differentialverstärker 14 ausgegebene Signal wird vom Komparator 15 verarbeitet, um die folgende Schwellenwertoperation durchzuführen:

X₁ = R (y)
worin R (y) = 1(y <0), 0 (y <0).

Das Ausgangssignal wird dann zu den Lichtempfangsele­ ment-Anordnungen 11a und 11b zurückgeführt.

Wenn beispielsweise drei verschiedene Informations­ zeichen, die "A", "J" und "E" entsprechen, in den Fotomasken 12a und 12b gespeichert sind, dann nähert sich bei dieser Ausbildung das Ausgangssignal dann, wenn eine unvollständige Information, zum Beispiel "A′" von der Eingabeeinheit 16 in die Lichtemissionselement-Anordnungen 11a und 11b einge­ geben wird, während die Rückführung wiederholt wird, einem gespeicherten Informationszeichen "A" an, das dem eingegebenen Informationszeichen "A′" am nächsten kommt. Schließlich wird das Ausgangssignal in Form eines vollständigen Zeichens "A" von der Ausgabeein­ heit 17 ausgegeben.

Der obige Vorgang kann unter Verwendung der zuvor erwähnten Begriffe beschrieben werden. Die Energie des Systems nimmt die Minimalwerte von gespeicherten Informationszeichen "A", "J" und "E" an. Wenn eine unvollständige Information zugeführt wird, dann wird der Ein/Aus-Zustand der Lichtemissionselement-Anord­ nungen 11a und 11b geändert, so daß der Minimalwert der Energie nahe der Lichtemissionselement-Anordnun­ gen angenommen wird. Diese Änderung bewirkt eine freiwillige Änderung des gesamten Systems, ähnlich der menschlichen assoziativen Funktion.

Gemäß dem so ausgebildeten konventionellen assoziati­ ven Speicher werden solche Ergebnisse nicht korri­ giert, selbst wenn ungeeignete Ergebnisse assoziiert werden. Mit anderen Worten, der konventionelle asso­ ziative Speicher ist nur mit Mustern von gespeicher­ ten Daten assoziiert, die am engsten mit der Einga­ beinformation korreliert ist, und kann daher keine Operation durchführen, die dem flexiblen Denken des menschlichen Gehirns entspricht, wodurch die Vielsei­ tigkeit des Speichers begrenzt ist.

Es ist daher die Aufgabe der vorliegenden Erfindung, dieses Problem zu lösen und ein Informationsverarbei­ tungssystem zu schaffen, in welchem Operationen ent­ sprechend dem menschlichen intuitiven Denken und dem menschlichen logischen Denken sich einander ergänzend kombiniert werden, und in welchem die Operation eines neuralen Netzwerks entsprechend dem menschlichen in­ tuitiven Denken und die eines im Serienbetrieb arbei­ tenden Computers (im folgenden "serieller Computer" bezeichnet) entsprechend dem menschlichen logischen Denken funktionell miteinander kombiniert werden.

Diese Aufgabe wird erfindungsgemäß gelöst durch die im kennzeichnenden Teil des Anspruchs 1 angegebenen Merkmale. Vorteilhafte Weiterbildungen des erfin­ dungsgemäßen Informationsverarbeitungssystems ergeben sich aus den Unteransprüchen.

Das Informationsverarbeitungssystem nach der Erfin­ dung ist fähig, eine Informationsverarbeitung zu realisieren, die sinnvoller ausgeführt ist als bei den bekannten Systemen, und deren Arbeitsweise der des menschlichen Gehirns so nahe wie möglich kommt. Bei dieser Informationsverarbeitung wird, wenn ein In­ formationsmuster eingegeben wird, ein dem intuitiven Denken entsprechendes Muster assoziiert und dann durch logisches Denken korrigiert.

Da die Funktion des assoziativen Speichers auf der Grundlage des neuralen Netzwerkes und die eines se­ riellen Computers miteinander kombiniert werden, kom­ pensieren diese bei dem System nach der Erfindung gegenseitig ihre jeweiligen funktionellen Unzuläng­ lichkeiten. Es ist daher möglich, eine Informations­ verarbeitung durchzuführen, die so flexibel wie die des menschlichen Gehirns ist.

Die Erfindung wird im folgenden anhand eines in den Figuren dargestellten Ausführungsbeispiels näher er­ läutert. Es zeigen:

Fig. 1 ein die Arbeitsweise eines neuralen Netzwerks erläuterndes Diagramm,

Fig. 2 die Struktur eines konventionellen assoziativen Speichers,

Fig. 3 ein Blockschaltbild, das die konzep­ tionelle Konfiguration eines Informa­ tionsverarbeitungssystems nach der Erfindung wiedergibt, und

Fig. 4 ein Blockschaltbild, das die detail­ lierte Konfiguration eines Informa­ tionsverarbeitungssystems nach der Erfindung wiedergibt.

In den Fig. 3 und 4 sind ein assoziativer Speicher 1 auf der Grundlage eines neuralen Netzwerks, ein se­ rieller Computer 2, in diesem eine Mustererkennungs­ einheit 2a, eine logische Verarbeitungseinheit 2b und eine Speichereinheit 2c, und zum assoziativen Spei­ cher 1 gesandtes Eingabemuster 3 gezeigt. Die Pfeile zwischen dem assoziativen Speicher 1, der Musterer­ kennungseinheit 2a, der logischen Verarbeitungsein­ heit 2b und der Speichereinheit 2c zeigen jeweils den Informationsfluß an. Der Pfeil 4 kennzeichnet ein assoziiertes Ausgangssignal des assoziativen Spei­ chers 1 und der Pfeil 5 eine Rückkopplung vom seriel­ len Computer 2 zum assoziativen Speicher 1, wobei das Rückkopplungs-Eingangssignal einen Assoziations-Wie­ derholungsbefehl und Informationen zur Korrektur ei­ ner Energiefunktion umfaßt. Der Pfeil 5a kennzeichnet eine Rückkopplung von der Mustererkennungseinheit 2a zum assoziativen Speicher 1 und der Pfeil 5b eine Rückkopplung von der logischen Verarbeitungseinheit 2b zum assoziativen Speicher 1. Der Pfeil 6a bedeutet das Verarbeitungs-Ausgangssignal von der Mustererken­ nungseinheit 2a und der Pfeil 6b ein "Verarbeitung nicht möglich" - Ausgangssignal von der Mustererken­ nungseinheit 2a. Der Pfeil 7 kennzeichnet das Verar­ beitungs-Ausgangssignal des seriellen Computers 2, wobei der Pfeil 7a das endgültige Verarbeitungs-Aus­ gangssignal und der Pfeil 7b ein "Verarbeitung nicht möglich"-Ausgangssignal des seriellen Computers 2 darstellen.

Die Arbeitsweise des Informationsverarbeitungssystems wird nachfolgend beschrieben.

In Fig. 3 wird das Eingabemuster 3 mit dem assoziati­ ven Speicher 1 assoziiert und dann bewertet der se­ rielle Computer 2 das assoziierte Ausgangssignal (Pfeil 4). Auf der Grundlage des Ergebnisses der Be­ wertung werden assoziative und restriktive Bedingun­ gen zu der Energiefunktion eines neuralen Netzwerks addiert, wie gefordert, den assoziativen Speicher 1 bildend, und werden dann zusammen mit dem Assozia­ tions-Wiederholungsbefehl entsprechend dem Pfeil 5 zum assoziativen Speicher 1 zurückgeführt. Die Asso­ ziation und Bewertung werden wiederholt, bis sich das assoziierte Ausgangssignal (Pfeil 4) annähert. Das so erhaltene angenäherte assoziierte Ausgangssignal wird identifiziert mit der und bewertet durch die Nach­ richteninformation im seriellen Computer 2. Auf der Grundlage der Ergebnisse der Identifikation und Be­ wertung werden die assoziativen und restriktiven Be­ dingungen erneut zu der Energiefunktion des neuralen Netzwerks addiert, wie gefordert, und werden dann zusammen mit dem Assoziations-Wiederholungsbefehl zum assoziativen Speicher 1 zurückgeführt. Das Eingabemu­ ster 3 wird wiederholt mit dem assoziativen Speicher 1 assoziiert und wird bewertet durch die sowie iden­ tifiziert mit der Nachrichteninformation im seriellen Computer 2, bis es dieser entspricht. Die der Nach­ richteninformation im seriellen Computer 2 entspre­ chenden Informationen bilden das Verarbeitungs-Aus­ gangssignal (Pfeil 7) des Informationsverarbeitungs­ systems.

Das Informationsverarbeitungssystem wird nun im ein­ zelnen anhand von Fig. 4 bei der Anwendung eines Zei­ chenerkennungsfalles erläutert.

In diesem Ausführungsbeispiel wird der Zeichenerken­ nungsfall in bezug auf das vorerwähnte Hopfield-Mo­ dell beschrieben, das eines der neuralen Netzmodelle ist.

Für die folgende Erklärung wird angenommen, daß ein Zeichenmuster handgeschrieben oder eine gestörte Zei­ chenfolge ist, und daß das Alphabet und verschiedene Symbole im assoziativen Speicher 1 gespeichert sind. Es wird auch angenommen, daß alphabetische Buchstaben von "A" bis "Z" und Symbole auch in der Mustererken­ nungseinheit 2a und Informationen betreffend die Zei­ chenfolgen in der Speichereinheit 2c gespeichert sind, und daß die Informationen über die Zeichenfol­ gen eine Zeichenfolge "CAT", nicht jedoch eine Zei­ chenfolge "CAE" enthalten.

Zuerst wird das aus drei Buchstaben "CAT" bestehende Eingabemuster 3 in den assoziativen Speicher 1 einge­ geben. Als Ergebnis dieser Eingabeoperation wird an­ genommen, daß das assoziierte Ausgangssignal (Pfeil 5) bestehend aus "CA′E" vom assoziativen Speicher 1 erhalten wird. Das assoziative Ausgangssignal wird dann in den seriellen Computer 2 eingegeben, so daß die Mustererkennungseinheit 2a in diesem bewertet, ob "CA′E" korrekte Buchstaben sind. Da die Buchstaben "C" und "E" des Zeichens "CA′E" mit dem Zeichenmuster der Mustererkennungseinheit 2a übereinstimmen, ist es für diese beiden Buchstaben nicht erforderlich, daß sie weiterhin mit dem assoziativen Speicher 1 assozi­ iert werden. Da demgegenüber "A′" nicht mit dem Zei­ chenmuster der Mustererkennungseinheit 2a überein­ stimmt, wird die Energiefunktion des neuralen Netz­ werks, den assoziativen Speicher 1 bildend, verbes­ sert, wodurch "A′" wieder mit dem assoziativen Spei­ cher 1 assoziiert wird. Eine derartige Operation wird wiederholt, bis "A′" mit dem Zeichenmuster der Mu­ stererkennungseinheit 2a übereinstimmt, und somit wird schließlich angenommen, daß "A′" korrekt als "A" erkannt wird. Wenn "A′" sich nicht dem Zeichenmuster der Mustererkennungseinheit 2a anpassen kann, nachdem es eine vorbestimmte Anzahl von Malen mit dem asso­ ziativen Speicher 1 assoziiert wurde, wird das "Ver­ arbeitung nicht möglich"-Ausgangssignal (Pfeil 6b) von der Einheit 2a ausgegeben.

Als nächstes, was das Ausgangssignal der Mustererken­ nungseinheit 2a, d. h. die Zeichenfolge "CAE" anbe­ langt, wird die logische Verarbeitungseinheit 2b ver­ wendet zur Bestimmung, ob ein Wort "CAE" in der Speichereinheit 2e gespeichert ist. Da in diesem Fall das Wort "CAE" nicht in der Speichereinheit 2c ge­ speichert ist, wird die Energiefunktion des assozia­ tiven Speichers 1 wieder verbessert, und somit wird das Eingabezeichenmuster wieder mit dem assoziativen Speicher 1 assoziiert. Als Ergebnis dieser Operation wird, da ein Zeichenmuster "CAT" in der Speicherein­ heit 2c gespeichert ist, das assoziierte Zeichenmu­ ster "CAT" als ein korrektes Muster angesehen, das dann von der logischen Verarbeitungseinheit 2b als System-Ausgangssignal (Pfeil 7a) ausgegeben wird. Schließlich wird, wenn die vorbeschriebenen Verarbei­ tungen durchgeführt werden und das Ausgangssignal (Pfeil 4) nicht mit der in der Speichereinheit 2c gespeicherten Nachrichteninformation übereinstimmt, das "Verarbeitung nicht möglich"-Ausgangssignal (Pfeil 7b) von der logischen Verarbeitungseinheit 2b ausgegeben.

Wie vorbeschrieben wurde, ist es möglich, durch Stör­ signale beeinträchtigte komplexe Zeichenfolgen kor­ rekt zu erkennen oder Wörter zu erkennen durch Wie­ derholung der Operation, bei der das Zeichenmuster assoziiert wird; das assoziierte Ausgangssignal wird bewertet; das Zeichenmuster wird wieder assoziiert; die Zeichenfolge wird verglichen und bewertet; und das Zeichenmuster wird wieder assoziiert.

Die Energiefunktion E im Hopfield-Modell wird durch die folgende Gleichung ausgedrückt:

worin T_ÿ das Gewicht der Verbindung zwischen dem i-ten Neuron und dem j-ten Neuron,
V_i den Zustand des i-ten Neurons, und
I_i ein externes Eingangssignal oder einen Schwellen­ wert in bezug auf das i-te Neuron darstellen.

Eine hinzugefügte restriktive Bedingung wird in die obige Gleichung eingefügt:

worin Δ_i ein von außen veränderbarer Faktor ist.

Wenn das k-te Neuron als Beispiel genommen wird und sein Zustand sich wie folgt verändert:

V_k → V′_k,

dann wird die Energieänderung ΔE_k folgendermaßen aus­ gedrückt:

worin:

T_ji = 0
T_ÿV_iV_j = T_jiV_jV_i
ΔV_k = V′_k - V_k

• 1) mit Bezug auf ein Muster V^(a), das nicht erkannt werden kann, kann Δ_k den folgenden Wert annehmen: Δ_k = c · V^(a),worin c eine Konstante ist.
• 2) mit Bezug auf ein Muster V^(p) das nicht in der Speichereinheit 2c enthalten ist, kann Δ_k den folgenden Wert annehmen: worin:c^(m) = (V^(p)V^(m))2/100;
  V^(m)(m = 1, 2, . . . M) ein in der Speichereinheit 2c gespeichertes Muster, und
  M die Anzahl von Mustern in der Speichereinheit 2c darstellen.

Die obige restriktive Bedingung erhöht die Energie fehlerhafter Muster und entspricht einer Erschwerung der Assoziierung für das Muster. Ein Verfahren zur Einführung einer restriktiven Bedingung ist nicht auf das vorbeschriebene Verfahren begrenzt. Andere Ver­ fahren, zum Beispiel eines, durch welches die Erzeu­ gung richtiger Muster wahrscheinlich ist, oder eines, das unrichtige Muster mit richtigen Mustern kombi­ niert, können ebenfalls angewendet werden.

Das beschriebene Ausführungsbeispiel zeigt ein Infor­ mationsverarbeitungssystem unter Verwendung des neu­ ralen Netzwerks des Hopfield-Modells als einem asso­ ziativen Speicher. Jedoch können ein mehrschichtig strukturiertes neurales Netzwerk auf der Grundlage eines Rückwärtsfortpflanzung-Neigungsgesetzes oder dergleichen und neurale Modelle wie eine Boltzmann- Maschine ebenfalls durch Definition einer geeigneten Energiefunktion eingesetzt werden.

Es ist auch möglich, eine neurales Netzwerk als asso­ ziativen Speicher zu verwenden, der durch ein opti­ sches neurales Netzwerk oder einen Si-LSI realisiert wird. Es ist selbstverständlich, daß ein auf einer Simulation basierender assoziativer Speicher unter Verwendung eines seriellen Computers ebenfalls einge­ setzt werden kann.

Obwohl im obigen Ausführungsbeispiel die Zeichener­ kennung als das Ziel des Informationsverarbeitungs­ systems beschrieben wurde, ist offensichtlich, daß die Erfindung auch für eine Spracherkennung, Muster­ erkennung von Bildern und dergleichen angewendet wer­ den kann.

Claims (4)

1. Informationsverarbeitungssystem, das einen Com­ puter mit serieller Verarbeitung verwendet, gekennzeichnet durch,
eine assoziative Speichervorrichtung (1), die ein neurales Netzwerk für die Ausgabe eines as­ soziativen Musters in Abhängigkeit von einer Eingabemuster-Information aufweist,
eine Mustererkennungsvorrichtung (2a) zur Bewer­ tung, ob das ausgegebene assoziative Muster eine korrekte Musterinformation darstellt,
eine Vorrichtung für die wiederholte Addition einer assoziativen und restriktiven Bedingung zu einer Energiefunktion des neuralen Netzwerks und zur Annäherung des ausgegebenen assoziativen Musters an die korrekte Musterinformation, wenn das assoziative Muster nicht mit dieser überein­ stimmt,
eine Speichervorrichtung (2c) zum Speichern ei­ ner Nachrichteninformation, und eine logische Verarbeitungsvorrichtung (2b) für den Vergleich des angenäherten assoziativen Mu­ sters mit der Nachrichteninformation und, falls diese nicht miteinander übereinstimmen, für die wiederholte Addition der assoziativen und re­ striktiven Bedingung zu der Energiefunktion des neutralen Netzwerks, um das angenäherte assozia­ tive Muster mit der Nachrichteninformation in Übereinstimmung zu bringen.

2. System nach Anspruch 1, dadurch gekennzeichnet, daß die Mustererkennungsvorrichtung (2a) eine Zeichenmuster-Erkennungsvorrichtung ist.

3. System nach Anspruch 1, dadurch gekennzeichnet, daß die Mustererkennungsvorrichtung (2a) eine Sprachmuster-Erkennungsvorrichtung ist.

4. System nach Anspruch 1, dadurch gekennzeichnet, daß die Mustererkennungsvorrichtung (2a) eine Bildmuster-Erkennungsvorrichtung ist.