WO1996028785A1

WO1996028785A1 - Einrichtung zum entwurf eines neuronalen netzes sowie neuronales netz

Info

Publication number: WO1996028785A1
Application number: PCT/DE1996/000454
Authority: WO
Inventors: Karl-Heinz Kirchberg
Original assignee: Siemens Aktiengesellschaft
Priority date: 1995-03-14
Filing date: 1996-03-14
Publication date: 1996-09-19
Also published as: EP0815515A1; EP0815515B1; ATE181432T1; US6058386A; DE59602246D1; JPH11501747A; DE19509186A1

Abstract

Die Erfindung betrifft eine Einrichtung zum Entwurf eines neuronalen Netzes, in welcher zur Bestimmung der Anzahl der Neuronen (21 ... 24) in der Zwischenschicht der Wertebereich des jeweiligen Eingangssignals (X1, X2) in eine vorgebbare Anzahl von Teilbereichen unterteilt wird, im Falle einer Mehrzahl n von Eingangssignalen (X1, X2) der n-dimensionale Werteraum der n Einganssignale den jeweiligen Teilbereichen entsprechend in n-dimensionale Teilräume unterteilt wird, die Stützwerte (xi, yi) der Lerndaten den Teilbereichen oder -räumen zugeordnet und die Teilbereiche oder -räume mit den meisten Stützwerten ausgewählt werden und bei welcher für jeden ausgewählten Teilbereich oder -raum ein Neuron in der der Ausgangsschicht vorhergehenden Zwischenschicht vorgesehen wird. Die erfindungsgemäße Einrichtung ist vorteilhaft zum Entwurf von neuronalen Netzen bei ungleichmäßiger Verteilung der Lerndaten verwendbar. Die Erfindung wird angewandt in neuronalen Netzen allgemein.

Description

Beschreibung

Einrichtung zum Entwurf eines neuronalen Netzes sowie neuro¬ nales Netz

Die Erfindung betrifft eine Einrichtung zum Entwurf eines neuronalen Netzes' nach dem Oberbegriff des Anspruchs 1 sowie ein neuronales Netz, das mit dieser Einrichtung erhältlich ist.

Eine übliche Methode für die Voreinstellung der Parameter neuronaler Netze ist die Initialisierung mit Zufallszahlen und anschließende Optimierung. Diese Methode hat aber die Nachteile, daß die erhaltenen neuronalen Netze nicht reprodu- zierbar sind und bei stark ungleichmäßiger Datenverteilung nicht immer sinnvolle Ergebnisse liefern. Mehrfache Berech¬ nungen der Netzparameter können daher bei gleichen Lerndaten jedesmal zu unterschiedlichen Parametersätzen führen. Die Er¬ gebnisse sind dabei nur schwer miteinander vergleichbar. Wenn Änderungen an den Parametern auftreten, kann aufgrund der nichtreproduzierbaren Ergebnisse nicht festgestellt werden, ob die Ursache allein geänderte Lerndaten sind.

Abhilfe bietet diesbezüglich eine aus der WO 94/06095 bekann- te Einrichtung zum Entwurf eines neuronalen Netzes, die für Lerndatensätze reproduzierbare Ergebnisse liefert. Die Be¬ rechnung der Parameter des neuronalen Netzes erfolgt dabei durch Lösen eines linearen Gleichungssystems. Der Entwurf kann grob in zwei Schritte unterteilt werden: Es werden zu- nächst auf dem Wertebereich der EingangsSignale gleich¬ verteilte Hilfsgrδßen eingeführt, mit denen die Parameter der Neuronen in der Zwischenschicht festgelegt werden, und an¬ schließend die Parameter der Ausgangsneuronen jeweils durch Lösen eines GleichungsSystems ermittelt. Wenn als nicht- lineare Elemente in den Neuronen der Zwischenschicht eine

Funktion mit dem Verlauf nach Art einer Glockenkurve, welche die lokale Wirksamkeit der Neuronen gewährleistet, verwendet wird, hat die bekannte Einrichtung den Nachteil, daß sich die Zahl der in der Zwischenschicht erforderlichen Neuronen nach der Anzahl der Hilfsgrδßen richtet und somit für ein neurona¬ les Netz mit guten Interpolationseigenschaften viele Neuronen benötigt werden.

Der Erfindung liegt die Aufgabe zugrunde, eine Einrichtung zum Entwurf eines neuronalen Netzes zu schaffen, die auch mit geringerer Anzahl der Neuronen in der Zwischenschicht ein neuronales Netz mit guten Interpolationseigenschaften lie¬ fert.

Zur Lösung dieser Aufgabe weist die neue Einrichtung der ein¬ gangs genannten Art die im kennzeichnenden Teil des An- spruchs 1 angegebenen Merkmale auf. In den abhängigen Ansprü¬ chen 2 bis 10 sind vorteilhafte Weiterbildungen der Einrich¬ tung beschrieben. Mit der neuen Einrichtung können nach An¬ spruch 11 neuartige neuronale Netze erhalten werden, deren Anzahl der Neuronen in einer Zwischenschicht optimal an die Verteilung der Lerndaten angepaßt ist. Dabei kann es sich um dreilagige Netzwerke handeln, d. h. um neuronale Netze mit einer Eingangsschicht, einer Zwischenschicht und einer Aus- gangsschicht. Die Einrichtung ist bei einer beliebigen Anzahl von Eingangs- und Ausgangsneuronen anwendbar. Durch die Ein- richtung werden zunächst die Wertebereiche der EingangsSigna¬ le unabhängig voneinander in Teilbereiche unterteilt. Die Aufteilung erfolgt anhand der Häufigkeitsverteilung der Lern¬ daten, die auch als Stützwerte bezeichnet werden. Die Teil¬ bereiche können jeweils für die EingangsSignale gleich groß gewählt werden und sollten sich nicht überschneiden. Es ist aber auch möglich, in Abschnitten hoher Häufigkeiten eine feinere Unterteilung in Teilbereiche festzulegen. Bei n Ein¬ gangssignalen ergeben die Kombinationen der einzelnen Teil¬ bereiche n-dimensionale Teilräume der Wertebereiche. Die Lerndaten werden den Teilräumen zugeordnet. Dann werden die Teilräume nach der Anzahl der in ihnen enthaltenen Lerndaten geordnet. Der Anwender kann anhand der Lerndaten in den ein- zelnen Teilräumen die Güte der gewählten Aufteilung beurtei¬ len. Ein Kriterium ist z. B., wie stark die Werte der Aus- gangssignale bei Lerndaten aus demselben Teilraum auseinan¬ derliegen. Für die weitere Verarbeitung werden die Teilräume mit den meisten Lerndaten ausgewählt. Jeder der ausgewählten Teilräume wird durch ein Neuron in einer Zwischenschicht des neuronalen Netzes repräsentiert. Durch die Auswahl der Teil- räume wird somit die Anzahl der Neuronen in der Zwischen¬ schicht festgelegt. Jeder Teilraum enthält mindestens einen Stützwert. Für jeden Eingang wird der arithmetische Mittel¬ wert der Stützwerte des Eingangssignals berechnet. Diese Mit¬ telwerte können dann als Offsets in den nichtlinearen Elemen¬ ten der Neuronen der Zwischenschicht, die einen Verlauf nach Art einer Glockenkurve aufweisen, verwendet werden. Auf diese Weise hat das Neuron in der Mitte der Stützwerte des jeweili¬ gen Teilraums seine maximale Wirksamkeit. Die Breite der Glockenkurven kann vom Anwender vorgegeben werden. Sie ent¬ scheidet über die Interpolationseigenschaften des neuronalen Netzes. In für den Anwender sehr anschaulicher Weise kann die Breite so festgelegt werden, daß er angeben muß, welchen Aus¬ gangswert das nichtlineare Element am Rande des jeweiligen Teilraums noch haben soll. Üblicherweise beträgt dieser Wert 0,5, sollte aber zumindest in einem Bereich zwischen 0,1 und 0,9 liegen. Je größer der Wert ist, desto größer ist der Wirksamkeitsbereich der Glockenkurve. Die Matrix, die mit den Stützwerten und den Werten der AusgangsSignale des neuronalen Netzes aufgestellt wird, erhält näherungsweise eine Diagonal- Struktur und ist somit leicht invertierbar. Die Gewichte der Neuronen in der Ausgangsschicht können beispielsweise, wie in der WO 94/06095 beschrieben, mit einer Ausgleichsrechnung be¬ rechnet werden.

Anhand der Zeichnung, in der ein mit einer erfindungsgemäßen Einrichtung erhältliches neuronales Netz dargestellt ist, werden im folgenden die Erfindung sowie Ausgestaltungen und Vorteile näher erläutert. Die Figur zeigt ein dreischichtiges neuronales Netz mit zwei Eingängen XI und X2 sowie einem Ausgang Y. Die beiden Eingän¬ ge XI und X2 sind auf zwei Neuronen 11 bzw. 12 in der Ein¬ gangsschicht geführt. Durch diese werden auf den Eingängen XI und X2 anliegende Signale an Neuronen 21 ... 24 in der Zwi¬ schenschicht weitergeleitet, welche die EingangsSignale ver¬ arbeiten und aus ihnen AusgangsSignale YH1 ... YH4 der Zwi¬ schenschicht erzeugen. Ein Ausgangsneuron 3 liefert daraus ein Ausgangssignal, das am Ausgang Y abgegriffen werden kann. Als Ausführungsbeispiel wurde zwar ein Netz mit drei Schich¬ ten, zwei Eingängen und einem Ausgang gewählt, die Erfindung ist aber ohne weiteres auch auf neuronale Netze mit geänder¬ ter Anzahl der Schichten, Eingänge oder Ausgänge anwendbar.

In der Zwischenschicht werden Neuronen verwendet, deren nichtlineare Elemente auf dem Wertebereich ihrer Eingangs¬ signale eine Abbildung nach Art einer Glockenkurve liefern, welche die lokale Wirksamkeit gewährleistet. Dazu können bei¬ spielsweise Neuronen mit rbf- (Radial-Basis-Funktion) Verhal- ten herangezogen werden. Die Ausgangswerte yHj eines Neurons 2j mit Radial-Basis-Funktion und mehreren Eingängen Xi können angegeben werden zu:

yHj -expl -0.5* j_(sij² *{xi - x0ij)²)

In dieser Gleichung wird die Variable n für die Anzahl der Eingänge des neuronalen Netzes verwendet. Der Parameter Sij gibt die Gewichtung und xOij den Offset zum jeweiligen Si¬ gnalwert xi am Eingang Xi im Neuron 2j der Zwischenschicht an. Mit den Offsets xOij wird die Lage des Neurons 2j , d. h. der Ort seiner lokalen Wirksamkeit, festgelegt. Je weiter die Eingangswerte xi vom jeweiligen Offset xOij entfernt sind, desto geringer wird der Ausgangswert yHj des Neurons 2j der Zwischenschicht. Die Gewichte Sij beeinflussen die Breite der Glockenkurve für den jeweiligen Eingang Xi.

In einem rbf-Netz wird ein Ausgangssignalwert y in einem Neu¬ ron 3 der Ausgangsschicht aus den Ausgangssignalwerten yHj der Neuronen 2j der Zwischenschicht berechnet zu:

In dem Neuron 3 werden also die Ausgangssignalwerte yHj je¬ weils mit Ausgangsgewichten wj multipliziert und die so ent¬ standenen Produkte aufsummiert. Weist das neuronale Netz meh- rere Ausgänge auf, so können entsprechend mehrere derartige Gleichungen mit voneinander abweichenden Ausgangsgewichten aufgestellt werden. Die Variable p gibt die Anzahl der Neuro¬ nen 2j in der Zwischenschicht an.

In einem rbfl-Netz wird der Ausgangssignalwert y eines Neu¬ rons der AusgangsSchicht folgendermaßen berechnet:

Mit den Werten der Parameter KJ werden die Ausgangssignal¬ werte yHj der Neuronen 2j in der Zwischenschicht noch einmal getrennt gewichtet. rbfl-Netze haben gegenüber rbf-Netzen den Vorteil, daß sie, wenn sie mit dem im folgenden beschriebenen Verfahren entworfen werden, Ausgangssignale mit geringerer Welligkeit und damit besseren Interpolationseigenschaften liefern, da ihre Ausgangssignale bei Eingangswerten, bei de- nen die Glockenkurven der einzelnen nichtlinearen Elemente nur schwach wirksam sind, durch eine Division durch die Summe der Ausgangssignalwerte yHj der Neuronen 2j der Zwischen¬ schicht, die in diesen Fällen klein wird, angehoben werden.

Eine Einrichtung, mit welcher das Entwurfsverfahren ausführ¬ bar ist, kann beispielsweise ein geeignet programmierter Rechner mit Eingabe- und Ausgabevorrichtungen sein.

Das Entwurfsverfahren geht über das sogenannte Trainieren ei¬ nes neuronalen Netzes hinaus, da anhand von Stützwerten für die Eingangs- und AusgangsSignale des neuronalen Netzes nicht nur seine Parameter, sondern auch seine Strukturen beeinflußt werden. Anhand der Stützwerte wird der Wertebereich jedes EingangsSignals ermittelt und jeweils unabhängig voneinander in Teilbereiche unterteilt. Die Teilbereiche sind dabei gleich groß und überschneiden sich nicht. Lediglich zur Mini¬ mierung der Rechenzeit wird dabei zunächst eine Unterteilung in 120 Teilbereiche für jeden Wertebereich gewählt. Die in den Stützwerten enthaltenen Werte der EingangsSignale werden anschließend auf die entsprechenden Teilbereiche aufgeteilt. Die Zuordnung kann dabei nach der folgenden Formel erfolgen:

x- x mm pos = trunc x_max- x____m if pos≥ k, then = k = k - 1 end

Dabei ist pos die Kennung des erhaltenen Teilbereichs für ei¬ nen Wert x des EingangsSignals X, k die Anzahl der Teilberei- ehe für den jeweiligen Eingang, in diesem Fall 120. Die Funk¬ tion trunc entfernt vom Ergebnis des in Klammern geschriebe¬ nen Ausdrucks die Dezimalstellen, so daß für die Positions¬ nummer pos ein Integerwert zwischen 0 und 119 erhalten wird. Der durch die Grenzen x_min und x_max festgelegte Werte- bereich muß nicht zwangsläufig alle auftretenden Werte der Eingangssignale erfassen. Unterhalb von x_min liegende Werte liefern dann einen negativen Wert für die Positionsnummer pos. Sie können durch eine geeignete Erweiterung der Formel der Positionsnummer pos = 0 und damit dem untersten Teil¬ bereich zugeordnet werden. Entsprechend liefern Werte des Eingangssignals x, die oberhalb von x_max liegen, nach der Formel ein Ergebnis für die Positionsnummer pos > k, also pos ≥ 120, und können nach der Formel dem obersten Teil¬ bereich mit pos = 119 zugeordnet werden. Die Zuordnung zu den Teilbereichen erfolgt für alle Stützwerte. Daraufhin wird ge¬ zählt, wie viele Stützwerte in jedem Teilbereich zu liegen kommen. Man erhält somit eine Häufigkeitsverteilung der Stützwerte für die getroffene Aufteilung.

Wie nachfolgend noch ersichtlich wird, wäre eine Aufteilung des Wertebereichs jeder Eingangsgröße in 120 Teilbereiche sehr fein und würde zu sehr großen, neuronalen Netzen führen. Der Wert 120 wird zur Minimierung der Rechenzeit gewählt, weil er das kleinste gemeinsame Vielfache von 2, 3, 4, 5, 6, 8 und 10 ist. Für den Entwurf des neuronalen Netzes ist näm¬ lich vor allem eine Aufteilung eines Wertebereichs in weniger als zehn Teilbereiche interessant. Durch die anfängliche Wahl k = 120 wird die Rechenzeit für die folgenden Schritte ver¬ ringert, da für die Ermittlung der Häufigkeitsverteilung bei größeren Teilbereichen lediglich die entsprechenden Häufig¬ keitswerte der Teilbereiche aus der Aufteilung mit k = 120 zusammengefaßt werden müssen. D. h., für eine Aufteilung ei- nes Wertebereichs in zwei Teilbereiche müssen für Teilbereich 1 die Häufigkeitswerte der ersten 60 Teilbereiche (pos = 0 ... 59) und für Teilbereich 2 die Häufigkeitswerte der letz¬ ten 60 Teilbereiche (pos = 60 ... 119) summiert werden. Für Aufteilungen in drei, vier, fünf, sechs, acht oder zehn Teil- bereiche kann in entsprechender Weise verfahren werden. Der Vorteil dieser Art der Berechnung liegt darin, daß man die Zuordnung der Stützwerte zu den Teilbereichen in der Auftei- lung mit k = 120 nur einmal vornehmen muß. Die gröberen Auf¬ teilungen erhält man danach einfach, indem man die entspre¬ chenden Häufigkeitswerte dieser Aufteilung wieder zusammen¬ faßt.

Nun wird eine Aufteilung mit einem Wert kl ausgewählt, der so bemessen werden sollte, daß einerseits möglichst viele Teil¬ bereiche entstehen und andererseits die Verteilung der Stütz- werte auf die Teilbereiche möglichst ungleichmäßig ist. D. h., in wenigen Teilbereichen sollen viele Stützwerte lie¬ gen und viele Teilbereiche sollen keine Stützwerte enthalten. Zudem sollte dabei berücksichtigt werden, daß bei einem Netz mit wenigen Eingängen mehr Teilbereiche eines EingangsSignals Stützwerte enthalten dürfen, damit eine vorgegebene Maximal- zahl der Neuronen 2j in der Zwischenschicht nicht überschrit¬ ten wird.

Bei der Aufteilung müssen keine normierten Größen verwendet werden; sie kann anhand der physikalischen Werte erfolgen. Zudem können bei der Aufteilung der Wertebereiche auch tech¬ nische Aspekte mitberücksichtigt werden. Wenn beispielsweise besondere Arbeitsbereiche des Prozesses bekannt sind, kann dieses Wissen in die Wahl der Aufteilung einfließen. Auf diese Art wird für jeden Eingang getrennt eine Aufteilung er- mittelt. Bei n Eingängen erhält man so kl ... kn Werte. Auf¬ grund der Vielzahl der Kombinationsmöglichkeiten der einzel¬ nen Teilbereiche ergeben sich

kv = kl * k2 * . * kn

n-dimensionale Teilräume. Je mehr Eingänge vorhanden sind, desto mehr Teilräume entstehen. Bei ungleichmäßiger Vertei- lung der Stützwerte sind aber nicht in allen Teilräumen Lern- daten enthalten, sondern es wird Teilräume geben, in denen keine Stützwerte liegen. Durch Anzeige folgender Hinweise können einem Bediener Hilfestellungen für die Festlegung der Anzahl der Teilbereiche gegeben werden:

Bei zwei Eingängen: k = 10 -> kv = 100 bei drei Eingängen: k = 5 → kv = 125 bei mehr als drei Eingängen: k = 3 → kv _ 3ⁿ

Diese Aufteilung ist für eine grobe Übersicht ausreichend. Die gewählte Aufteilung kann übernommen werden, es ist aber auch eine andere Aufteilung wählbar.

Bei mehreren Eingängen erfolgt eine Zuordnung der Stützwerte zu den n-dimensionalen Teilräumen. Die Teilbereiche oder -räume - je nach Anzahl der Eingänge - werden nach der Anzahl der in ihnen enthaltenen Stützwerte geordnet. Dazu wird eine n-stellige Integerzahl posv gebildet, die in ihren Ziffern posl ... posn die jeweiligen Kennungen des Teilbereichs der einzelnen Eingangswerte eines Stützwerts enthält. Die einzel¬ nen Ziffern werden nach der oben genannten Gleichung für pos bestimmt. Man erhält also Werte posi, die zwischen 0 und ki - 1 liegen. Bei Stützwerten, die durch n Eingangsgrößen n-dimensional festgelegt werden, weist die Integerzahl posv somit n Ziffern auf. Sie kann dargestellt werden als:

posv = posl + 10 * pos2 + 100 * pos3 + ... 10 * posn

Die Position der Ziffern gibt ihre Eingangsdimension an, der Wert der Ziffern den jeweiligen Teilbereich. Die n-stellige Zahl posv stellt die Kennung des Teilraums dar, dem ein Stützwert zugeordnet ist.

Die Kennungen posv werden für sich weiterverarbeitet. Der Wert jeder Kennung posv repräsentiert einen Teilraum, und die Anzahl der Kennungen posv entspricht der Anzahl der Stütz- werte. Die Kennungen posv werden nun der Größe nach sortier . Dann wird ermittelt, wie häufig gleiche Kennungen vorkommen, d. h. wie viele Stützwerte jeweils im gleichen Teilraum lie¬ gen. Aus der Vielzahl der durch Kombination der einzelnen Teilbereiche erhaltenen Teilräume können nun die relevanten Teilräume ermittelt werden. Relevant sind die Teilräume, in denen Stützwerte liegen. Dazu werden die Kennungen posv nach ihrer Auftrittshäufigkeit sortiert und aufgelistet. Im neuro¬ nalen Netz wird jeder relevante Teilraum durch ein Neuron in der Zwischenschicht repräsentiert. Nun wird vorgegeben, wie viele der relevanten Teilräume auf Neuronen der Zwischen¬ schicht abgebildet werden sollen. Wird z. B. der Wert 15 vorgegeben, dann werden die ersten 15, d. h. die 15 Teilräume mit den meisten zugeordneten Stützwerten, ausgewählt. Bei einer günstigen Aufteilung enthalten diese Teilräume etwa 90 % der Stützwerte. Durch den Wert 15 wird gleichzeitig festgelegt, wie viele Neuronen in der Zwischenschicht des neuronalen Netzwerkes vorgesehen sind.

Entstehen zu viele Teilräume mit jeweils einem oder nur weni- gen Stützwerten, dann ist die Aufteilung zu fein gewählt, und der Entwurf sollte mit einer gröberen Aufteilung erneut be¬ gonnen werden.

Es werden nun die Ausgangswerte der Stützwerte, die einem re- levanten Teilraum zugeordnet werden konnten, betrachtet. In¬ teressant ist dabei, wie stark die Ausgangswerte für Stütz- werte, die demselben Teilraum der Eingangswerte zugeordnet sind, auseinanderliegen. Das Neuron in der Zwischenschicht wird in dem entsprechenden Teilräum nur einen Wert nach Art eines Mittelwerts der Ausgangswerte bilden. Liegen die Aus¬ gangswerte dicht zusammen, so ist die Aufteilung bezüglich dieses Teilraums gut gewählt. Liegen die Werte dagegen weit auseinander, so ist der Teilraum zu groß. In diesem Fall sollte der Entwurf mit einer feineren Aufteilung der Werte- bereiche der Eingangssignale von neuem begonnen werden. Es gilt somit, einen Kompromiß zwischen den beiden Entwurfs¬ zielen "niedrige Anzahl erforderlicher Teilräume" und "große erzielbare Genauigkeit" zu finden. Abhilfe kann auch eine da¬ hingehende Erweiterung des Entwurfsverfahrens bieten, daß bei der Aufteilung der Wertebereiche der Eingangssignale auch die Wertebereiche der AusgangsSignale berücksichtigt und aus den Kombinationen der Teilbereiche höherdimensionale Teilräume gebildet werden. In Teilräumen werden dann die Stützwerte zu¬ sammengefaßt, die- ähnliche Eingangswerte und ähnliche Aus¬ gangswerte besitzen. Dies kann entweder pauschal für alle Stützwerte oder nur für die Stützwerte in den relevanten Teilräumen durchgeführt werden.

Anhand der Stützwerte in den relevanten Teilräumen werden die Offsets xOij der Neuronen 2j der Zwischenschicht berechnet. Jeder Teilraum enthält mindestens einen Stützwert. Für jeden Eingang Xi wird der arithmetische Mittelwert der jeweiligen Eingangswerte xi aus den Stützwerten berechnet. Diese Mittel¬ werte werden dann als Offsets xOij in den Neuronen 2j verwen¬ det. Dadurch wird erreicht, daß die Wirksamkeit des Neurons 2j alle Stützwerte im jeweiligen Teilraum abdeckt. Dies wirkt sich vorteilhaft auf die Interpolationseigenschaften des neu¬ ronalen Netzes aus, da Welligkeiten aufgrund von den Offsets xOij entferntliegender Stützwerte vermieden werden.

Nun kann die Breite der Glockenkurven durch geeignete Wahl der Parameter Sij festgelegt werden. Sie entscheidet über die Interpolationseigenschaften des neuronalen Netzes. Als Stan¬ dardeinstellung kann der Parameter S so gewählt werden, daß ein Neuron, dessen Offset in der Mitte eines Teilbereichs liegt, an der Grenze des Teilbereichs, also im Abstand l/2ki von der Mitte, einen Ausgangswert liefert, der die Hälfte des Maximalwerts beträgt. Das kann durch die folgende Formel aus¬ gedrückt werden:

Für diese Standardeinstellung erhält man somit den Parameter Sij ZU:

Anstelle dieser Standardeinstellung kann es in besonderen

Fällen auch vorteilhaft sein, den Parameter Sij so zu wählen, daß das Neuron 2j an der Grenze des Teilbereichs einen Aus¬ gangswert yHj = A liefert, der etwa zwischen 0,1 und 0,9 liegt. Damit können die Interpolationseigenschaften des neuronalen Netzes beeinflußt werden:

Bei einem großen Ausgangswert A wird der Verlauf des Aus- gangssignals Y des neuronalen Netzes glatter. Bei Stütz- werten, die nicht durch ein Neuron 2j der Zwischenschicht re¬ präsentiert werden, ist der Fehler geringer. Bei einem klei- nen Ausgangswert A ist der Verlauf kantiger, und der Fehler wird größer.

Die Ausgangsgewichte ai des Neurons 3 in der Ausgangsschicht werden mit der Ausgleichsrechnung berechnet. In einem neuro- nalen Netz mit mehreren Ausgängen ist jedem Ausgang ein Neu¬ ron der Ausgangsschicht zugeordnet, und die Berechnung der Ausgangsgewichte des jeweiligen Neurons erfolgt in derselben Vorgehensweise, die im folgenden für nur einen Ausgang be- schrieben wird. Für die Werte yi des Ausgangssignals Y, die in den Stützwerten (xi, yi) enthalten sind, werden Gleichun¬ gen aufgestellt, in denen die Werte mij der von den Neuronen 2j der Zwischenschicht zugeführten Signale YHij jeweils mit den entsprechenden Gewichten ai multipliziert und addiert werden. Werden i als Zeilenindex und j als Spaltenindex ver¬ wendet, so erhält man ein lineares Gleichungssystem M * a. = Y, dessen Matrix M näherungsweise DiagonalStruktur aufweist. Dabei erfolgt die Berechnung der Ausgangsgewichte ai für alle Stützwerte, also auch für diejenigen, die bei der Wahl der relevanten Teilräume nicht berücksichtigt worden sind. Bezüglich weiterer Einzelheiten zur Aufstellung und Lö¬ sung des Gleichungssystems wird auf die bereits genannte WO 94/06095 verwiesen.

Je größer die Ausgangswerte der Neuronen 2j an der Grenze ei¬ nes Teilbereiches durch die Festlegung des Parameters S ge¬ wählt worden sind, desto größer wird die lineare Abhängigkeit der Gleichungen. Dadurch werden die berechneten Ausgangs- gewichte ai größer. Je kleiner die Ausgangswerte der Neuronen gewählt werden, desto kleiner werden auch die ermittelten Ausgangsgewichte. Mit dieser Methode können die Ausgangs- gewichte von rbf- und rbfl-Netzen berechnet werden. Dabei ha¬ ben rbfl-Netze, wie bereits oben erwähnt, bessere Interpola- tionseigenschaften als rbf-Netze. Für die Berechnung des rbfl-Netzes wird der Wert 1 für alle Gewichte ici vorgegeben, damit die Zahl der Unbekannten des GleichungsSystems nicht unnötig steigt und das Gleichungssystem lösbar ist.

Gegebenenfalls können alle Parameter in einer anschließenden numerischen Optimierung verbessert werden. Das bisher be¬ schriebene Entwurfsverfahren liefert günstige Startwerte für die Optimierung. Damit können Stützwerte, die außerhalb der relevanten Teilräume liegen, noch stärker mitberücksichtigt werden. Es ist sinnvoll, bei der Optimierung der Netzparameter die Offsets der Neuronen festzuhalten. D. h., die Lage der Neuro¬ nen 2j der Zwischenschicht soll nicht verändert werden. Es sollen nur Ausgangsgewichte ai, Breiten der Glockenkurven mit den Parametern Sij und gegebenenfalls die Gewichte »ci ver¬ ändert werden.

Wenn die Lage der Neuronen verschoben wird, dann sind die Netzparameter nur noch schwer interpretierbar, da man nicht mehr weiß, welches Neuron für welchen Teilraum zuständig ist. Die Zentren der Neuronen können zudem aus dem Wertebereich der Eingangssignale herauswandern.

Der Bedienablauf einer erfindungsgemäßen Einrichtung zum Ent- wurf eines neuronalen Netzes kann folgendermaßen aussehen: Zum Festlegen der Teilbereiche wird von der Einrichtung die Nummer i des Eingangssignals Xi angezeigt.

Für k = 120 wird eine Tabelle mit den Häufigkeitsverteilungen auf den Teilbereichen ausgegeben und graphisch angezeigt. Der Bediener wählt einen ihm geeignet erscheinenden Wert für ki. Danach wird der nächste Eingang bearbeitet. Nachdem die Teilbereiche aller Eingänge festgelegt sind, wer¬ den alle gewählten Werte ki ausgegeben. Weiterhin wird die daraus resultierende Anzahl der möglichen Teilräume ange- zeigt.

Der Anwender kann diese Einstellungen übernehmen oder von neuem mit der Festlegung der Teilbereiche beginnen. Die Einrichtung gibt die relevanten Teilräume in einer Ta¬ belle mit ihren Kennungen und der Anzahl der in ihnen enthal- tenen Stützwerte aus. Die Teilräume sind nach der Anzahl der Stützwerte sortiert.

Der Anwender muß eingeben, wie viele dieser Teilräume verwen¬ det werden sollen. Die Einrichtung gibt aus, wieviel Prozent der Stützwerte in den ausgewählten Teilräumen liegen. Sind zu viele Teilräume entstanden, dann kann man von neuem beginnen und eine neue Aufteilung der Teilbereiche festlegen. Zur Beurteilung der Güte der Teilbereiche wird eine Tabelle ausgegeben, bestehend aus der Nummer des Teilbereichs, der Anzahl der enthaltenen Stützwerte, dem Mittelwert der ent¬ haltenen Ein- und Ausgangswerte sowie aus dem jeweiligen Mi- nimal- und Maximalwert.

Anhand dieser Angaben kann der Anwender die Güte der Auftei¬ lung beurteilen. Er muß diese Ausgabe quittieren oder von neuem eine Aufteilung festlegen. In einer graphischen Anzeige sind bei zwei Eingängen XI und X2 die Teilbereiche noch in der Ebene darstellbar. Die Teil- räume entsprechen dann den Feldern in einer zweiachsigen Dar¬ stellung mit jeweils den Teilbereichen eines Eingangssignals auf den beiden Achsen. Bei mehr als zwei Eingängen sollte eine andere Darstellung verwendet werden. Im folgenden wird ein Datensatz mit drei Eingängen (XI, X2, X3) und einem Ausgang betrachtet. Jeder Eingang wird in gleich große Teilbereiche aufgeteilt, die sich nicht überschneiden. Die Aufteilung kann für jeden Ein- gang unterschiedlich sein. Die Eingänge werden auf folgende Weise übereinander angeordnet:

X3: 111 112 113 121 122 123 131 132 133 211 212 213 221 222 223 231 232 233

X2: 11 12 13 21 22 23

XI: 1 2

Die Eingänge XI, X2 und X3 befinden sich übereinander. In der untersten Ebene ist der Eingang XI, der in zwei Teilbereiche aufgeteilt ist. Darüber liegt der Eingang X2. Dieser Eingang wurde in drei Teilbereiche aufgeteilt. Oben liegt der Eingang X3, der ebenfalls drei Teilbereiche aufweist. Die Ziffern in den Feldern sind die Kennungen der Teilbereiche. Die oberste Ebene enthält alle möglichen Teilräume, die sich aufgrund der gewählten Aufteilung ergeben. Die Stützwerte werden nun auf die Teilräume der obersten Ebene verteilt und beispielsweise durch Eintragen der Anzahl der den jeweiligen Teilräumen zu¬ geordneten Stützwerte angezeigt. Man kann damit erkennen, wie viele Stützwerte in den einzelnen Teilräumen liegen. An die¬ ser Häufigkeitsverteilung ist auf einfache Weise ablesbar, welche Teilräume mit Stützwerten überrepräsentiert und welche zuwenig berücksichtigt sind. Für jeden Teilraum können zudem die zugehörigen Aüsgangswerte angegeben werden. An der Streu¬ ung der Ausgangswerte eines Teilraums kann man erkennen, ob der Teilraum eventuell zu groß gewählt wurde. Wenn man die Anzahl der Stützwerte in den einzelnen Teilräumen in der obersten Ebene mit Balken darstellt, dann erhält man eine Darstellung der Lerndatenverteilung wie bei einem Strichcode. Die Position der Balken legt den jeweiligen Teilraum fest, die Breite des Balkens entspricht der Anzahl der Stützwerte. Der Bediener kann nun eingeben, ob der Standardwert S = 0,5 verwendet werden soll oder der Ausgangswert eines Neurons 2j der Zwischenschicht am Rand eines Teilraums einen anderen Wert haben soll. Die weiteren Parameter des neuronalen Netzes werden dann au- tomatisch durch die Einrichtung berechnet.

Nach Abschluß der Berechnung kann der Anwender die Güte des erhaltenen neuronalen Netzes überprüfen.

Danach kann gegebenenfalls ein Optimierungsalgorithmus ge¬ startet werden, dessen Ergebnis ebenfalls durch den Bediener überprüft werden kann.

Die neue Einrichtung zum Entwurf eines neuronalen Netzes zeichnet sich also durch folgende vorteilhafte Eigenschaften aus: Der Wertebereich, der durch die Lerndaten vorgegeben wird, wird in definierte und reproduzierbare Teilbereiche oder

Teilräume unterteilt.

Anhand der Lerndaten und ihrer Verteilung auf die einzelnen

Teilbereiche oder -räume kann man die Güte der gewählten Auf- teilung beurteilen. Kriterien dabei sind: 1. Wie viele Teilbereiche sind entstanden,

2. wie viele Lerndaten liegen in den einzelnen Teilbereichen,

3. wie stark streuen die Eingangsdaten in den ausgewählten Teilbereichen und

4. wie stark streuen die Ausgangsdaten in den ausgewählten Teilbereichen?

Durch besondere Anzeigemechanismen erhält man einen schnellen Überblick über die Verteilung der Lerndaten.

Relevante Teilbereiche werden durch Neuronen in der Zwischen¬ schicht repräsentiert. Es ist daher vorhersehbar, in welchen Teilbereichen das neuronale Netz besser oder schlechter ar¬ beitet.

Die Einrichtung zeichnet sich weiterhin durch eine einleuch¬ tende und nachvollziehbare Bedienerführung aus. Es ist keine Aufteilung der Daten in Lern- und Testdaten notwendig. Auch die Güte der Lerndaten kann anhand der Aufteilung vom Bedie- ner beurteilt werden, d. h., er kann bereits anhand der Auf¬ teilung feststellen, ob der Datensatz zum Entwurf eines neu¬ ronalen Netzes geeignet ist. Da keine Initialisierung irgend¬ welcher Parameter des neuronalen Netzes mit Zufallswerten notwendig ist, sind die Ergebnisse des Netzentwurfs stets re- produzierbar. Die Interpolationseigenschaften des neuronalen Netzes werden nur durch einen Faktor beeinflußt, nämlich den Parameter S, der den Ausgangswert der Neuronen der Zwischen¬ schicht am Rand der Teilbereiche oder -räume bestimmt. Bei der Aufteilung der Wertebereiche der EingangsSignale kann zu- dem Anwenderwissen über die Herkunft der Lerndaten oder die Zweckbestimmung des neuronalen Netzes mit berücksichtigt wer¬ den.

Claims

Patentansprüche

1. Einrichtung zum Entwurf eines neuronalen Netzes, das min¬ destens einen Eingang (XI, X2) und mindestens einen Ausgang (Y) sowie Neuronen in mehreren hintereinander angeordneten Schichten aufweist, wobei in den Neuronen (21 ... 24) einer Zwischenschicht EingangsSignale gewichtet, miteinander ver¬ knüpft und mit einem nichtlinearen Element nach Art einer Glockenkurve, die vorwiegend lokal auf dem Wertebereich der Eingangssignale wirksam ist, ein AusgangsSignal (YH1 ... YH4) gebildet wird und jedem Ausgang (Y) des neuronalen Netzes ein Ausgangsneuron (3) in der AusgangsSchicht zugeordnet ist, auf welches die AusgangsSignale (YH1 ... YH4) der Neuronen (21 ... 24) der vorhergehenden Zwischenschicht geführt sind und in denen durch eine Gewichtung und Verknüpfung dieser Signale jeweils ein AusgangsSignal (Y) erzeugt wird, bei welcher Stützwerte (xi, yi) für die Eingangs- und Aus- gangssignale zum Trainieren des neuronalen Netzes vorgebbar sind und der Wertebereich des jeweiligen Eingangssignals er- mittelt wird, dadurch ge ennzeichnet ,

- daß zur Bestimmung der Anzahl der Neuronen in der Zwi¬ schenschicht der Wertebereich des jeweiligen Eingangs- Signals in eine vorgebbare Anzahl von Teilbereichen unter- teilt wird,

- daß im Falle einer Mehrzahl n von EingangsSignalen der n- dimensionale Werteraum der n Eingangssignale den jeweili¬ gen Teilbereichen entsprechend in n-dimensionale Teilräume unterteilt wird, - daß die Stützwerte den Teilbereichen oder -räumen zugeord¬ net und die Teilbereiche oder -räume mit den meisten Stützwerten ausgewählt werden und

- daß für jeden ausgewählten Teilbereich oder -räum ein Neu¬ ron (21 ... 24) in der der AusgangsSchicht vorhergehenden Zwischenschicht vorgesehen wird.

2. Einrichtung nach Anspruch 1, dadurch gekenn¬ zeichnet ,

- daß die zur Bildung des AusgangsSignals Y aus den Aus- gangssignalen der Neuronen der vorhergehenden Schicht in einem Neuron notwendigen Gewichte ai durch Lösen eines li¬ nearen GleichungsSystems M *a = Y ermittelt werden, das aus Gleichungen für die Ausgangssignalwerte yi der Stütz- werte (xi, yi) besteht, in denen die Werte mij der von den Neuronen (2j) der vorhergehenden Schicht zugeführten Si- gnale (YHij) mit i - Zeilenindex, j - Spaltenindex jeweils mit den entsprechenden Gewichten ai multipliziert und ad¬ diert werden.

3. Einrichtung nach Anspruch 1, dadurch gekenn- zeichnet,

- daß in den Neuronen in der Ausgangsschicht die Ausgangs- Signale (YHij) der Neuronen der vorhergehenden Zwischen¬ schicht als Verknüpfung zur Erzeugung jeweils eines Aus¬ gangsSignals Y addiert und durch die Summe der Ausgangs- Signale YHij der Neuronen (2j) der vorhergehenden Zwi¬ schenschicht dividiert werden und

- daß die zur Bildung des AusgangsSignals Y aus den Aus- gangssignalen YHij der Neuronen 2j der vorhergehenden Schicht in einem Neuron (3) notwendigen Gewichte ai durch Lösen eines GleichungsSystems ermittelt werden, das aus

Gleichungen für die mit der jeweiligen Summe der Werte mij der von den Neuronen (2j) der vorhergehenden Schicht zuge¬ führten Signale (YHij) multiplizierten Ausgangssignalwerte yi der Stützwerte (xi, yi) besteht, in denen die Werte mij der von den Neuronen (2j) der vorhergehenden Schicht zuge¬ führten Signale (YHij) mit i - Zeilenindex, j - Spalten¬ index jeweils mit den entsprechenden Gewichten ai multi¬ pliziert und addiert werden.

4. Einrichtung nach einem der vorhergehenden Ansprüche, da¬ durch gekennzeichnet , - daß Offsets (xOij) der Neuronen (2j) in der Zwischen¬ schicht, die den Ort der maximalen Wirksamkeit ihres nichtlinearen Elements bestimmen, als arithmetischer Mittelwert der Eingangssignalwerte der im jeweiligen Teil- bereich oder Teilraum liegenden Stützwerte (xi, yi) ge¬ wählt werden.

5. Einrichtung nach einem der vorhergehenden Ansprüche, da¬ durch gekennzeichnet , - daß die Anzahl der Teilbereiche auf einem Wertebereich größer gewählt wird, wenn die Ausgangssignalwerte für Ein¬ gangssignalwerte aus demselben Teilbereich oder -räum weit auseinanderliegen.

6. Einrichtung nach einem der vorhergehenden Ansprüche, da¬ durch gekennzeichne ,

- daß der Wertebereich des jeweiligen Ausgangssignals in ei¬ ne vorgegebene Anzahl von Teilbereichen unterteilt wird und - daß nur Stützwerte gleichen Teilbereichen oder -räumen der Eingangssignale zugeordnet werden, deren Ausgangssignal¬ werte in denselben oder zumindest benachbarten Teilberei¬ chen liegen.

7. Einrichtung nach einem der vorhergehenden Ansprüche, da¬ durch gekennzeichnet ,

- daß die Verteilung der Stützwerte auf den Teilbereichen oder -räumen optisch angezeigt wird.

8. Einrichtung nach Anspruch 7, dadurch gekenn¬ zeichnet ,

- daß die Verteilung der Stützwerte auf den Teilbereichen oder -räumen als Strichcode angezeigt wird, in welchem für jeden Teilbereich oder -räum ein Strich vorgesehen ist, dessen Stärke oder Länge die Zahl der zugeordneten Stütz- werte repräsentiert.

21 9. Einrichtung nach einem der vorhergehenden Ansprüche, da¬ durch gekennzeichnet,

- daß die Teilbereiche oder Teilräume gleich groß sind.

10. Einrichtung nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet,

- daß die Breite der Glockenkurven vom Anwender wählbar ist

11. Neuronales Netz, erhältlich mit einer Einrichtung nach einem der vorhergehenden Ansprüche.