WO1997036248A1 - Verfahren zur ermittlung von zur entfernung geeigneten gewichten eines neuronalen netzes mit hilfe eines rechners - Google Patents

Verfahren zur ermittlung von zur entfernung geeigneten gewichten eines neuronalen netzes mit hilfe eines rechners Download PDF

Info

Publication number
WO1997036248A1
WO1997036248A1 PCT/DE1997/000473 DE9700473W WO9736248A1 WO 1997036248 A1 WO1997036248 A1 WO 1997036248A1 DE 9700473 W DE9700473 W DE 9700473W WO 9736248 A1 WO9736248 A1 WO 9736248A1
Authority
WO
WIPO (PCT)
Prior art keywords
weight
neural network
size
weights
results
Prior art date
Application number
PCT/DE1997/000473
Other languages
English (en)
French (fr)
Inventor
Volker Tresp
Hans-Georg Zimmermann
Ralph Neuneier
Original Assignee
Siemens Aktiengesellschaft
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens Aktiengesellschaft filed Critical Siemens Aktiengesellschaft
Priority to JP53392597A priority Critical patent/JP3935211B2/ja
Priority to EP97916339A priority patent/EP0890153B1/de
Priority to DE59703599T priority patent/DE59703599D1/de
Priority to US09/155,197 priority patent/US6311172B1/en
Publication of WO1997036248A1 publication Critical patent/WO1997036248A1/de

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Definitions

  • the generalization property of the neural network which is reduced in its dimensionality, is considerably improved.
  • a smaller number of training data is required to train the reduced neural network.
  • the speed of learning and classification in the test phase is also increased.
  • the removal of weights from a neural network is called pruning.
  • Optimal Brain Surgeon (OBS).
  • Pruning methods which use an evaluation variable which describes the extent to which the value of the error function changes when a weight (w ⁇ ) is removed from the neural network, are known from [3] and [4].
  • the invention addresses the problem with the help of a
  • a second variable is determined for each weight examined, with which the description is made how much the error function would change if this weight were changed.
  • the second quantity can thus be regarded as a correction term by means of which the termination of the training phase before the error function is at a minimum is corrected.
  • a criterion size is now formed from the first size and the second size, on the basis of which it is determined for the weight in each case whether the weight is suitable for removal from the neural network or not.
  • the formation of the second variable in the manner described above significantly improves the criterion on the basis of which the decision is made as to whether a weight is suitable for removal from the neural network.
  • those weights are classified as suitable for removal that also have the lowest information content with regard to the training data and can therefore be removed without losing any significant information required.
  • a considerable acceleration of the training phase a considerably improved generalization property in the test phase of the neural network and a considerably faster classification in the test phase are thus achieved without a major loss of information.
  • Another advantage of the method according to the invention is that it is used in connection with early stopping. This is for the Optimal Brain process
  • the method according to the invention therefore makes it possible to combine two advantageous methods for reducing degrees of freedom of a neural network with one another.
  • Figures la and lb a neural network with weights and neurons before the removal of weights (Figure la) and after the removal of some weights (Figure lb).
  • FIG. 2 shows a block diagram in which a computer is shown with which the pruning method is necessarily carried out
  • FIG. 3 shows a flow chart in which the individual method steps of the method according to the invention are shown.
  • FIG. 1 a shows a neural network NN which, in this exemplary embodiment, has ten neurons NE, which are distributed over three layers.
  • the individual neurons NE are each coupled to all neurons NE of the layer which follows directly.
  • the couplings are each weighted with weights w-j_, i. H. an output signal of a
  • Neurons NE are multiplied by the weight assigned to the coupling w- ⁇ as an input signal to the corresponding neuron NE of the immediately following layer.
  • an index i uniquely designates each weight Wj_ of the neural network NN and is a natural number between 1 and o, where o is the number of all weights Wj_ of the neural network
  • FIG. 1b shows a reduced neural network NNP after some weights w-j_ have been removed from the neural network NN in accordance with the method according to the invention.
  • the structure of the neural network NN which are shown in FIGS. 1 a and 1 b, are by no means restrictive, but are only intended to illustrate the procedure in the method according to the invention on the basis of a simple, clear example.
  • FIG. 2 shows a computer R with which the method according to the invention is necessarily carried out.
  • the neural network NN is trained in the training phase using a training data set TDS.
  • the training data record TDS has a tuple of training data xj ⁇ and associated target values y ⁇ .
  • a common goal of a training phase for a neural network NN is to minimize an error function which, for example, describes the difference between the setpoint values y- ⁇ for the training data xj ⁇ created.
  • a wide variety of methods are known to the person skilled in the art, for example the back propagation method. Further methods can be used in this method according to the invention without restrictions.
  • a reduced neural network NNP which is shown in FIG. 1b, is determined in the computer R in the training phase from the training data set TDS and the neural network NN.
  • the method according to the invention is shown in its individual method steps in FIG. 3 in the form of a flow chart.
  • the training phase is stopped before the error function has converged to a local or global minimum (301). Assuming that the error function has converged to a local minimum, a first variable EG is to be taken into account for each using either the Optimal Brain Surgeon (OBS) or the Optimal Brain Damage (OBD) [1].
  • a second quantity ZG is determined for each weight w ⁇ taken into account (303).
  • the second variable ZG describes the change in the error function when the respective weight w- ⁇ changes.
  • the second variable ZG is determined, for example, in the following way:
  • k is a first index with which a training date of the neural network is clearly identified
  • K is a number of considered training data
  • x j ⁇ is a training date
  • NN (x jc ) is an output value of the neural network (NN) , which results when the training date x k is created
  • y k is a nominal value that should result when the training date x k is applied to the neural network (dN)
  • d is the partial derivation of a function after the
  • M a prescribable natural number is described, m a prescribable natural number is described, 1 a prescribable natural even number is described,
  • a criterion variable KG is determined in at least the first variable EG and the second variable ZG in a further step (304).
  • the weight w-j_ examined is divided into either a weight w ⁇ which is suitable for removal from the neural network NN, since the information content of the respective weight w-j_ is low, or in a weight unsuitable for removal from the neural network NN.
  • a third variable DG is taken into account for the criterion variable KG, which is formed, for example, according to the following rule:
  • This procedure means that, starting from the point at which the training phase was stopped, the distance between the point of the error function when the training phase is terminated and the local minimum of the error function is estimated. Those weights are classified as suitable for removal from the neural network NN because of the little or no approximation of the error function
  • the classification of the respective weight w-j_ into a weight (305) suitable or unsuitable for removal can be done in different ways.
  • One possibility for classification consists in examining for the criterion size KG whether it has a value which lies below a first predefinable limit. If this is the case, the weight WJ_ is classified as suitable, otherwise as unsuitable.
  • the first specifiable barrier is formed by comparing the criterion sizes KG for all the weights w-j_ taken into account and removing the weights WJ_, the value of the criterion-sized KG being the smallest in each case.
  • the weights WJ_ suitable for removal can now be removed from the neural network NN (pruning).
  • a decision made to remove a weight w-j_ proves to be unfavorable in the further course of the training phase or the test phase, or that weights w- [are determined which have even less information content than weights w-j_ that have already been removed.
  • a further development of the method provides for the decision to remove weights to be made reversible by storing at least the second variable ZG or also the criterion variable KG for each weight WJ removed. If weights WJ_ are to be reintroduced, then those weights W- L whose second size ZG lies above a predefinable second barrier are reintroduced under the weights w- [already removed.
  • This second barrier can, like the first barrier described in the previous be determined, for example by a predeterminable percentage of weights WJ_ to be reintroduced.
  • WJ_ weights to be reintroduced.
  • the second variable ZG is compared with one another and in each case the second variables ZG with the largest values are again included in the structure of the neural network NN.
  • the method according to the invention and all of its developments can be used both in so-called off-line learning and in so-called online learning.

Abstract

Die Trainingsphase eines neuronalen Netzes (NN) wird gestoppt, bevor eine in der Trainingsphase zu minimierende Fehlerfunktion sich in einem Minimum befindet (301). Nach beispielsweise dem Optimal Brain Damage-Verfahren oder dem Optimal Brain Surgeon-Verfahren wird eine erste Größe (EG) unter der Annahme bestimmt, daß sich die Fehlerfunktion in dem Minimum befindet. Ferner wird eine zweite Größe (ZG) ermittelt, die ein Maß angibt, in welcher Weise sich der Wert der Fehlerfunktion ändert bei Entfernung eines Gewichts (wi) aus dem neuronalen Netz (NN). Anhand der ersten Größe (EG) und der zweiten Größe (ZG) wird das Gewicht (wi) als geeignet oder ungeeignet zur Entfernung aus dem neuronalen Netz (NN) klassifiziert.

Description

Beschreibung
Verfahren zur Ermittlung von zur Entfernung geeigneten Ge¬ wichten eines neuronalen Netzes mit Hilfe eines Rechners
Durch Entfernung von Gewichten, die nur einen geringen Infor- mationsgehalt bezüglich zu approximierender Trainingsdaten aufweisen, aus einem neuronalen Netz wird die Generalisie- rungseigenschaft des in seiner Dimensionalität reduzierten neuronalen Netzes erheblich verbessert. Ferner wird auch eine geringere Anzahl von Trainingsdaten benötigt, um das redu- zierte neuronale Netz zu trainieren. Auch die Geschwindigkeit des Lernens und der Klassifikation in der Testphase werden gesteigert.
Die Entfernung von Gewichten eines neuronalen Netzes wird als Pruning bezeichnet.
Es sind verschiedene Pruning-Verfahren bekannt. Beispielswei¬ se ist aus dem Dokument [1] ein sogenanntes Optimal Brain Da¬ mage (OBD) Verfahren bekannt. Bei diesem Verfahren werden die zweiten Ableitungen der Fehlerfunktion nach den einzelnen Ge¬ wichten des neuronalen Netzes verwendet, um die Gewichte, die entfernt werden sollen, auszuwählen. Dieses Verfahren weist den Nachteil auf, daß es nur unter der Voraussetzung funktio¬ niert, daß die Trainingsphase konvergiert hat, d. h. daß die Fehlerfunktion, die während der Trainingsphase minimiert wird, ein lokales Minimum oder globales Minimum der Fehler¬ funktion erreicht hat. Hierbei ist der Nachteil dieses be¬ kannten Verfahrens vor allem darin zu sehen, daß man bei die¬ sem Verfahren zumeist nur erheblich übertrainierte neuronale Netze auf zu entfernende Gewichte untersuchen kann. Dieselbe Voraussetzung der Konvergenz der Trainingsphase, und somit auch dieselben Nachteile, weist das ebenfalls in dem Dokument [1] beschriebene Verfahren auf. Dieses Verfahren ist als Optimal Brain Surgeon (OBS) bekannt.
Ferner ist ein Verfahren bekannt, bei dem die Trainingsphase gestoppt wird, bevor ein Minimum in der Fehlerfunktion er¬ reicht ist. Diese Vorgehensweise wird als Early Stopping be¬ zeichnet und ist beispielsweise in dem Dokument [2] beschrie- ben. Dort wird zwar auch das OBD-Verfahren zur Bewertung von zur Entfernung geeigneter Gewichte vorgeschlagen, jedoch nur für den Fall, daß die Fehlerfunktion sich in einem Minimum befindet (S. 775 vorletzter Absatz) .
Pruning-Verfahren, die eine Bewertungsgröße benutzen, mit der beschrieben wird, in welchem Maße sich der Wert der Fehler¬ funktion ändert bei Entfernung eines Gewichts (w^) aus dem Neuronalen Netz, sind aus [3] und [4] bekannt.
Der Erfindung liegt das Problem zugrunde, mit Hilfe eines
Rechners zur Entfernung geeignete Gewichte eines neuronalen Netzes zu ermitteln.
Das Problem wird durch das Verfahren gemäß Patentanspruch 1 gelöst.
Ausgehend von einer ersten Größe, die entweder nach dem be¬ kannten Verfahren des Optimal Brain Damage (OBD) oder des Op¬ timal Brain Surgeon (OBS) ermittelt wird, wird eine zweite Größe für jedes untersuchte Gewicht ermittelt, mit der be¬ schrieben wird, wie sehr sich bei Änderung dieses Gewichts die Fehlerfunktion ändern würde. Die zweite Größe kann somit als ein Korrekturterm angesehen werden, durch den der Abbruch der Trainingsphase, bevor die Fehlerfunktion sich in einem Minimum befindet, korrigiert wird. Aus der ersten Größe und der zweiten Größe wird nunmehr eine Kriteriumsgröße gebildet, anhand der für das Gewicht jeweils ermittelt wird, ob sich das Gewicht zur Entfernung aus dem neuronalen Netz eignet oder nicht .
Die Bildung der zweiten Größe auf die im vorigen beschriebene Weise verbessert das Kriterium erheblich, anhand dessen die Entscheidung getroffen wird, ob sich ein Gewicht zur Entfer¬ nung aus dem neuronalen Netz eignet . Dadurch werden tatsäch¬ lich diejenigen Gewichte als zur Entfernung geeignet klassi¬ fiziert, die auch bezüglich der Trainingsdaten den geringsten Informationsgehalt aufweisen und somit entfernt werden kön¬ nen, ohne daß erhebliche benötigte Information verloren geht. Damit wird ohne größeren Informationsverlust eine erhebliche Beschleunigung der Trainingsphase, eine erhebliche verbesser¬ te Generalisierungseigenschaft in der Testphase des neurona- len Netzes, sowie eine erheblich schnellere Klassifikation in der Testphase erreicht .
Ein weiterer Vorteil des erfindungsgemäßen Verfahrens ist darin zu sehen, daß es im Zusammenhang mit dem Early Stopping eingesetzt wird. Dies ist für die Verfahren des Optimal Brain
Damage (OBD) und des Optimal Brain Surgeon (OBS) nicht mög¬ lich. Durch das erfindungsgemäße Verfahren ist es also mög¬ lich, zwei vorteilhafte Verfahren zur Reduktion von Frei¬ heitsgraden eines Neuronalen Netzes miteinander zu kombinie- ren.
Vorteilhafte Weiterbildungen der Erfindung ergeben sich aus den abhängigen Ansprüchen.
Durch die Weiterbildung des Verfahrens gemäß Patentanspruch 9 wird es möglich, einmal entfernte Gewichte wieder einzufüh¬ ren, falls sich im Rahmen eines weiter fortgesetzten Trai¬ nings ergeben sollte, daß der Informationsgehalt des entfern¬ ten Gewichtes größer ist als noch nicht entfernte Gewichte. Durch diese Möglichkeit, schon entfernte Gewichte wieder in das neuronale Netz mit aufzunehmen, wird das Verfahren erheb¬ lich in seiner Flexibilität gesteigert und somit werden auch Entfernungen, die sich nach einer gewissen Zeit als ungünstig herausstellen, wieder umkehrbar. Diese Eigenschaften führen zu einer erheblich optimaleren Struktur des letztendlich ge¬ bildeten neuronalen Netzes, als dies durch bekannte Verfahren möglich war.
Ein Ausführungsbeispiel der Erfindung ist in den Zeichnungen dargestellt und wird im weiteren näher erläutert.
Es zeigen
Fig. la und lb ein neuronales Netz mit Gewichten und Neuronen vor der Entfernung von Gewichten (Figur la) sowie nach der Entfernung einiger Gewichte (Figur lb) ;
Fig. 2 ein Blockdiagramm, in dem ein Rechner dargestellt ist, mit dem das Pruning-Verfahren notwendiger¬ weise durchgeführt wird;
Fig. 3 ein Ablaufdiagramm, in dem die einzelnen Ver¬ fahrensschritte des erfindungsgemäßen Verfahrens dargestellt sind.
In Fig. la ist ein neuronales Netz NN dargestellt, welches in diese Ausführungsbeispiel zehn Neuronen NE, die auf drei Schichten verteilt sind, aufweist. Die einzelnen Neuronen NE sind in diesem Beispiel jeweils mit allen Neuronen NE der di¬ rekt folgenden Schicht gekoppelt. Die Kopplungen sind jeweils mit Gewichten w-j_ gewichtet, d. h. ein Ausgangssignal eines
Neurons NE wird jeweils, multipliziert mit dem der Kopplung zugeordneten Gewicht w-^, als Eingangssignal dem entsprechen¬ den Neuron NE der direkt darauffolgenden Schicht zugeführt. Hierbei bezeichnet ein Index i jedes Gewicht Wj_ des neurona- len Netzes NN eindeutig und ist eine natürliche Zahl zwischen 1 und o, wobei o die Anzahl aller Gewichte Wj_ des neuronalen
Netzes NN darstellt. In Figur lb ist ein reduziertes neuronales Netz NNP darge¬ stellt, nachdem einige Gewichte w-j_ aus dem neuronalen Netz NN gemäß dem erfindungsgemäßen Verfahren entfernt wurden.
Die Struktur des neuronalen Netzes NN, welche in den Figuren la und lb dargestellt sind, weisen keineswegs einen ein¬ schränkenden Charakter auf, sondern sollen nur anhand eines einfachen, übersichtlichen Beispiels die Vorgehensweise bei dem erfindungsgemäßen Verfahren verdeutlichen.
In Fig. 2 ist ein Rechner R dargestellt, mit dem das erfin¬ dungsgemäße Verfahren notwendigerweise durchgeführt wird.
Das neuronale Netz NN wird in der Trainingsphase unter Ver¬ wendung eines Trainingsdatensatzes TDS trainiert. Der Trai¬ ningsdatensatz TDS weist ein Tupel von Trainingsdaten xj^ und zugehörigen Sollwerten y^ auf. Ein übliches Ziel einer Trai¬ ningsphase für ein neuronales Netz NN besteht darin, eine Fehlerfunktion, die beispielsweise die Differenz der Sollwer¬ te y-ς für die angelegten Trainingsdaten xj^ beschreibt, zu mi¬ nimieren. Hierbei sind dem Fachmann unterschiedlichste Ver¬ fahren bekannt, beispielsweise das Back-Propagation- Verfahren. Weitere Verfahren können ohne Einschränkungen in diesem erfindungsgemäßen Verfahren eingesetzt werden.
In dem Rechner R wird in der Trainingsphase aus dem Trai¬ ningsdatensatz TDS und dem neuronalen Netz NN ein reduziertes neuronales Netz NNP, welches in Fig. lb dargestellt ist, er- mittelt.
In Figur 3 ist in Form eines Ablaufdiagramms das erfindungs- gemäße Verfahren in seinen einzelnen Verfahrensschritten dar¬ gestellt. Die Trainingsphase wird gestoppt, bevor die Fehler- funktion in ein lokales oder globales Minimum konvergiert ist (301) . Unter der Annahme, daß die Fehlerfunktion in ein lokales Mi¬ nimum konvergiert ist, wird eine erste Größe EG beispielswei¬ se entweder unter Verwendung des Optimal Brain Surgeon (OBS) oder des Optimal Brain Damage (OBD) [1] für jedes zu berück- sichtigende Gewicht WJ_ des neuronalen Netzes NN bestimmt
(302) .
Es ist vorgesehen, alle Gewichte WJ_ des neuronalen Netzes NN auf diese Weise zu untersuchen. Es ist jedoch in einer Vari- ante des erfindungsgemäßen Verfahrens ebenso vorgesehen, nur eine beliebige, vorgebbare Anzahl von Gewichten w-j_ des neuro¬ nalen Netzes NN zu berücksichtigen.
Für jedes berücksichtigte Gewicht w^ wird eine zweite Größe ZG bestimmt (303) . Mit der zweiten Größe ZG wird die Änderung der Fehlerfunktion bei Änderung des jeweiligen Gewichtes w-^ beschrieben.
Die zweite Größe ZG wird beispielsweise auf folgende Weise ermittelt:
Figure imgf000008_0001
wobei mit k ein erster Index bezeichnet wird, mit dem jeweils eindeutig ein Trainingsdatum des Neuronalen Netzes bezeichnet wird, K eine Anzahl berücksichtigter Trainingsdaten bezeichnet wird, xjζ jeweils ein Trainingsdatum bezeichnet wird, NN(xjc) ein Ausgabewert des Neuronalen Netzes (NN) , der sich bei Anlegen deε Trainingsdatums xk ergibt, bezeichnet wird, yk ein Sollwert bezeichnet wird, der sich bei Anlegen des Trainingsdatums xk an das Neuronale Netz (NN) ergeben sollte, d jeweils die partielle Ableitung einer Funktion nach dem
(3w^ jeweils durch einen zweiten Index (i) gekennzeichneten Ge- wicht beschrieben wird,
M eine vorgebbare natürliche Zahl beschrieben wird, m eine vorgebbare natürliche Zahl beschrieben wird, 1 eine vorgebbare natürliche gerade Zahl beschrieben wird,
und wobei eine Krümmungsgröße (AjJ sich ergibt aus
K m d2(NN(xk) - yk)
A. = Σ (2) k=ι Öw'_
oder aus
Figure imgf000009_0001
Ferner ist es auch möglich, die zweite Größe ZG auf folgende Weise zu bestimmen
Figure imgf000009_0002
wobei mit s eine vorgebbare natürliche Zahl beschrieben wird.
Aus mindestens der ersten Größe EG und der zweiten Größe ZG wird eine Kriteriumsgröße KG in einem weiteren Schritt (304) ermittelt . In einem letzten Schritt 305 wird das jeweils untersuchte Ge¬ wicht w-j_ eingeteilt in entweder ein Gewicht w^, welches sich zur Entfernung aus dem neuronalen Netz NN eignet, da der In- formationsgehalt des jeweiligen Gewichts w-j_ gering ist, oder in ein zur Entfernung aus dem neuronalen Netz NN ungeeignetes Gewicht .
In einer Weiterbildung des erfindungsgemäßen Verfahrens wird bei der Kriteriumsgröße KG eine dritte Größe DG berücksich¬ tigt, die beispielsweise nach folgender Vorschrift gebildet wird:
∑9(NN(xk) - yk)m
DG = k-≡-^ • Wi (5) dw^
Somit ergibt sich die Kriteriumsgröße KG entweder aus
KG EG + ZG
oder aus
KG = EG + ZG + DG (7) .
Anschaulich betrachtet bedeutet diese Vorgehensweise, daß ausgehend von dem Punkt, an dem die Trainingsphase gestoppt wurde, der Abstand des Punktes der Fehlerfunktion bei Abbruch der Trainingsphase zu dem lokalen Minimum der Fehlerfunktion abgeschätzt wird. Diejenigen Gewichte werden als geeignet zur Entfernung aus dem neuronalen Netz NN klassifiziert, durch die keine oder nur eine geringe Annäherung der Fehlerfunktion
» .an das lokale Minimum erreicht wird.
Die Einteilung des jeweiligen Gewichts w-j_ in ein zur Entfer¬ nung geeignetes bzw. ungeeignetes Gewicht (305) kann auf un- terschiedliche Weise erfolgen. Eine Möglichkeit zur Einteilung besteht darin, daß für die Kriteriumsgröße KG untersucht wird, ob diese einen Wert auf¬ weist, welche unter einer ersten vorgebbaren Schranke liegt. Ist dies der Fall, so wird das Gewicht WJ_ als geeignet einge¬ stuft, ansonsten als ungeeignet.
Es ist aber auch in einer Variante des Verfahrens vorgesehen, daß nicht eine absolute Schranke, welche den absoluten Infor- mationsgehalt des Gewichtes w^ bezüglich der Trainingsdaten beschreibt, sondern daß eine bestimmte Anzahl von Gewichten w-j^ aus dem neuronalen Netz NN entfernt werden soll, wobei na¬ türlich ein möglichst geringer Informationsverlust erreicht werden soll. In diesem Fall wird die erste vorgebbare Schran- ke dadurch gebildet, daß für alle berücksichtigten Gewichte w-j_ die Kriteriumsgrößen KG miteinander verglichen werden und die Gewichte WJ_ entfernt werden, deren Wert der Kriteriums- großen KG jeweils am kleinsten sind.
Die zur Entfernung geeigneten Gewichte WJ_ können nunmehr aus dem neuronalen Netz NN entfernt (Pruning) werden.
Es ist jedoch ebenso möglich in einer Weiterbildung des Ver¬ fahrens, daß eine getroffene Entscheidung zur Entfernung von einem Gewicht w-j_ sich im weiteren Verlauf der Trainingsphase bzw. der Testphase als ungünstig erweist, bzw. daß Gewichte w-[ ermittelt werden, die noch geringeren Informationsgehalt aufweisen als schon entfernte Gewichte w-j_. Für diesen Fall ist es in einer Weiterbildung des Verfahrens vorgesehen, die Entscheidung zur Entfernung von Gewichten w^ umkehrbar zu ma¬ chen, indem für jedes entfernte Gewicht WJ_ zumindest die zweite Größe ZG oder auch die Kriteriumsgröße KG gespeichert wird. Sollen Gewichte WJ_ wieder eingeführt werden, so werden unter den schon entfernten Gewichten w-[ diejenigen Gewichte W-L wieder eingeführt, deren zweite Größe ZG oberhalb einer vorgebbaren zweiten Schranke liegt. Diese zweite Schranke kann ebenso wie die im vorigen beschriebene erste Schranke bestimmt werden, beispielsweise durch einen vorgebbaren Pro¬ zentsatz wieder einzuführender Gewichte WJ_ . Für diesen Fall werden für alle entfernten Gewichte w^ die zweite Größe ZG miteinander verglichen und jeweils die zweiten Größen ZG mit dem größten Werten werden wieder in die Struktur des neurona¬ len Netzes NN aufgenommen.
Das erfindungsgemäße Verfahren und alle seine Weiterbildungen können sowohl beim sogenannten Off-Line-Learning wie auch beim sogenannten On-Line-Learning eingesetzt werden.
Im Rahmen dieses Dokumentes. wurden folgende Veröffentlichun¬ gen zitiert :
[1] A. Zeil, Simulation Neuronaler Netze, Addison-Wesley, 1. Auflage, ISBN 3-89319-554-8, S. 319 - 328, 1994
[2] W. Finnoff et al, Improving Model Selection by
Nonconvergent Methods, Neural Networks, Vol. 6,
S. 771 bis 783, 1993
[3] R. Reed, Pruning Algorithms - A Survey, In: IEEE
Transactions on Neural Networks, Vol. 4, No. 5,
S. 740 - 747, September 1993
[4] E. D. Karnin, A Simple Procedure for Pruning Back- Propagation Trained Neural Networks, In: IEEE Transactions on Neural Networks, Vol. 1, No. 2, S. 239 - 242, Juni 1990

Claims

Patentansprüche
1. Verfahren zur Ermittlung von zur Entfernung geeigneten Ge¬ wichten (w.j_) eines Neuronalen Netzes (NN) , mit Hilfe eines Rechners,
- bei dem die Trainingsphase des Neuronalen Netzes (NN) ge¬ stoppt wird, bevor eine in der Trainingsphase zu minimierende Fehlerfunktion sich in einem Minimum befindet (301) ,
- bei dem für mindestens ein Gewicht (WJ_, i = 1 .. o) des Neuronalen Netzes (NN) eine erste Größe (EG) bestimmt wird, mit der eine Bewertung des mindestens einen Gewichts (w^) be¬ züglich einer Entfernung des mindestens einen Gewichts (w^) aus dem Neuronalen Netz (NN) beschrieben wird unter der An¬ nahme, daß sich die Fehlerfunktion in dem Minimum befindet (302) ,
- bei dem für das Gewicht (w^) eine zweite Größe (ZG) be¬ stimmt wird, mit der beschrieben wird, in welchem Maße sich der Wert der Fehlerfunktion ändert bei Änderung des Gewichts
(Wi) (303) , - bei dem aus mindestens der ersten Größe (EG) und der zwei¬ ten Größe (ZG) eine Kriteriumsgröße (KG) für das Gewicht (wi) ermittelt wird, mit der beschrieben wird, in welchem Maße sich der Wert der Fehlerfunktion ändert bei Entfernung des Gewichts (wi) aus dem Neuronalen Netz (NN) (304) , - bei dem das Gewicht (wi) als ein zur Entfernung geeignetes Gewicht (wi) eingeteilt wird, falls sich aus der Kriteriums¬ größe (KG) für das Gewicht (wi) ergibt, daß eine Entfernung des Gewichts (wi) den Wert der Fehlerfunktion um einen Wert ändert, der unterhalb einer vorgebbaren ersten Schranke liegt (305) .
2. Verfahren nach Anspruch 1, bei dem die erste Größe (EG) mit dem Verfahren des Optimal Brain Damage bestimmt wird.
3. Verfahren nach Anspruch 1, bei dem die erste Größe (EG) mit dem Verfahren des Optimal Brain Surgeon bestimmt wird.
4. Verfahren nach einem der Ansprüche 1 bis 3, bei dem die zweite Größe (ZG) sich ergibt aus
Figure imgf000015_0001
wobei mit k ein erster Index bezeichnet wird, mit dem jeweils ein¬ deutig ein Trainingsdatum des Neuronalen Netzes bezeichnet wird,
K eine Anzahl berücksichtigter Trainingsdaten bezeichnet wird, xk jeweils ein Trainingsdatum bezeichnet wird, NN(xk) ein Ausgabewert des Neuronalen Netzes (NN) , der sich bei Anlegen des Trainingsdatums xk ergibt, bezeichnet wird, yk ein Sollwert bezeichnet wird, der sich bei Anlegen des
Trainingsdatums xk an das Neuronale Netz (NN) ergeben sollte, d jeweils die partielle Ableitung einer Funktion nach dem
<5w- jeweils durch einen zweiten Index (i) gekennzeichneten Ge¬ wicht beschrieben wird,
M eine vorgebbare natürliche Zahl beschrieben wird, m eine vorgebbare natürliche Zahl beschrieben wird, 1 eine vorgebbare natürliche gerade Zahl beschrieben wird,
und wobei sich eine Krümmungsgröße (Ai) sich ergibt aus K δ2 ( NN ( xk ) - yk )
= Σ k = ι δw'
oder aus
Figure imgf000016_0001
5. Verfahren nach einem der Ansprüche 1 bis 3, bei dem die zweite Größe (ZG) sich ergibt aus
Figure imgf000016_0002
wobei mit k ein erster Index bezeichnet wird, mit dem jeweils ein¬ deutig ein Trainingsdatum des Neuronalen Netzes bezeichnet wird,
K eine Anzahl berücksichtigter Trainingsdaten bezeichnet wird, xk jeweils ein Trainingsdatum bezeichnet wird,
NN(xk) ein Ausgabewert des Neuronalen Netzes, der sich bei
Anlegen des Trainingsdatums xk ergibt, bezeichnet wird, yk ein Sollwert bezeichnet wird, der sich bei Anlegen des
Trainingsdatums xk an das Neuronale Netz (NN) ergeben sollte, d jeweils die partielle Ableitung einer Funktion nach dem δw-
'" jeweils durch einen zweiten Index (i) gekennzeichneten Ge¬ wicht beschrieben wird,
M eine vorgebbare natürliche Zahl beschrieben wird, m eine vorgebbare natürliche Zahl beschrieben wird, s eine vorgebbare natürliche Zahl beschrieben wird, und wobei eine Krummungsgröße (Aχ) sich ergibt aus
Figure imgf000017_0001
oder aus
"!
Figure imgf000017_0002
6 Verfahren nach einem der Ansprüche 1 bis 5, bei dem eine dritte Größe (DG) gebildet wird nach der Vor¬ schrift
Figure imgf000017_0003
∑ö(NN(xk)-ykr
DG = k-^- • w.; δwx x
wobei mit k em erster Index bezeichnet wird, mit dem jeweils ein¬ deutig ein Trainingsdatum des Neuronalen Netzes bezeichnet wird, K eine Anzahl berücksichtigter Trainingsdaten bezeichnet wird, xk jeweils ein Trainingsdatum bezeichnet wird,
NN(xk) em Ausgabewert des Neuronalen Netzes, der sich bei
Anlegen des Trainingsdatums xk ergibt, bezeichnet wird, yk ein Sollwert bezeichnet wird, der sich bei Anlegen des
Trainingsdatums xk an das Neuronale Netz (NN) ergeben sollte, δ jeweils die partielle Ableitung einer Funktion nach dem jeweils durch einen zweiten Index (i) gekennzeichneten Ge¬ wicht (w1) beschrieben wird, m eine vorgebbare natürliche Zahl beschrieben wird, und - bei dem die dritte Größe (DG) in der Kriteriumsgröße (KG) berücksichtigt wird.
7. Verfahren nach einem der Ansprüche 1 bis 6,
- bei dem sich die wählbare erste Schranke ergibt aus einem vorgebbaren Prozentsatz zu entfernender Gewichte, und
- bei dem das Gewicht (wi) als ein zur Entfernung geeignetes Gewicht ( WJ_ ) eingeteilt wird, falls die Kriteriumsgröße (KG) für das Gewicht (wi) unterhalb der Kriteriumsgrößen (KG) ei¬ ner Anzahl des vorgebbaren Prozentsatzes anderer Gewichte (wi) liegt.
8. Verfahren nach einem der Ansprüche 1 bis 7, bei dem das zur Entfernung geeignete Gewicht (wi) aus dem Neuronalen Netz (NN) entfernt wird.
9. Verfahren nach Anspruch 8,
- bei dem mindestens die zweite Größe (ZG) des entfernten Ge- wichts (wi) gespeichert wird,
- bei dem eine vorgebbare Anzahl wieder einzuführender, schon entfernter Gewichte wieder eingeführt wird, wobei die wieder¬ einzuführenden Gewichte sich ergeben aus den Gewichten, deren Werte der gespeicherten zweite Größe (ZG) größer sind als ei- ne vorgebbare zweite Schranke.
10. Verfahren nach Anspruch 9,
- bei dem sich die wählbare zweite Schranke ergibt aus einem vorgebbaren Prozentsatz wiedereinzuführender Gewichte, und - bei dem das Gewicht (wi) wiedereingeführt wird, falls die mindestens zweite Größe (ZG) für das Gewicht (wi) oberhalb der Werte der mindestens zweiten Größen (ZG) einer Anzahl des vorgebbaren Prozentsatzes anderer Gewichte (wi) liegt.
11. Verfahren nach einem der Ansprüche 1 bis 10, bei dem sich die Kriteriumsgröße (KG) ergibt aus der Summe der ersten Größe (EG) und der zweiten Größe (ZG) .
12. Verfahren nach Anspruch 6, bei dem sich die Kriteriumsgröße (KG) ergibt aus der Diffe¬ renz der Summe der ersten Größe (EG) und der zweiten Größe (ZG) mit der dritten Größe (DG) .
PCT/DE1997/000473 1996-03-25 1997-03-11 Verfahren zur ermittlung von zur entfernung geeigneten gewichten eines neuronalen netzes mit hilfe eines rechners WO1997036248A1 (de)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP53392597A JP3935211B2 (ja) 1996-03-25 1997-03-11 低減縮小されたニューラルネットワーク
EP97916339A EP0890153B1 (de) 1996-03-25 1997-03-11 Verfahren zur ermittlung von zur entfernung geeigneten gewichten eines neuronalen netzes mit hilfe eines rechners
DE59703599T DE59703599D1 (de) 1996-03-25 1997-03-11 Verfahren zur ermittlung von zur entfernung geeigneten gewichten eines neuronalen netzes mit hilfe eines rechners
US09/155,197 US6311172B1 (en) 1996-03-25 1997-03-11 Method for determination of weights, suitable for elimination, of a neural network using a computer

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE19611732.1 1996-03-25
DE19611732A DE19611732C1 (de) 1996-03-25 1996-03-25 Verfahren zur Ermittlung von zur Entfernung geeigneten Gewichten eines neuronalen Netzes mit Hilfe eines Rechners

Publications (1)

Publication Number Publication Date
WO1997036248A1 true WO1997036248A1 (de) 1997-10-02

Family

ID=7789341

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/DE1997/000473 WO1997036248A1 (de) 1996-03-25 1997-03-11 Verfahren zur ermittlung von zur entfernung geeigneten gewichten eines neuronalen netzes mit hilfe eines rechners

Country Status (5)

Country Link
US (1) US6311172B1 (de)
EP (1) EP0890153B1 (de)
JP (1) JP3935211B2 (de)
DE (2) DE19611732C1 (de)
WO (1) WO1997036248A1 (de)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102010011221A1 (de) * 2010-03-12 2011-09-15 Siemens Aktiengesellschaft Verfahren zur rechnergestützten Steuerung und/oder Regelung eines technischen Systems
DE102011076969B4 (de) * 2011-06-06 2015-01-08 Siemens Aktiengesellschaft Verfahren zum rechnergestützten Lernen einer Regelung und/oder Steuerung eines technischen Systems

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2002015125A2 (en) * 2000-08-16 2002-02-21 Research Foundation Of State University Of New York Neural network device for evolving appropriate connections
DE10345440A1 (de) 2003-09-30 2005-05-12 Siemens Ag Verfahren, Computerprogramm mit Programmcode-Mitteln und Computerprogramm-Produkt zur Analyse von Einflussgrößen auf einen Brennvorgang in einer Brennkammer unter Verwendung eines trainierbaren, statistischen Modells
DE102007008514A1 (de) * 2007-02-21 2008-09-04 Siemens Ag Verfahren und Vorrichtung zur neuronalen Steuerung und/oder Regelung
US11315018B2 (en) 2016-10-21 2022-04-26 Nvidia Corporation Systems and methods for pruning neural networks for resource efficient inference
US11250325B2 (en) * 2017-12-12 2022-02-15 Samsung Electronics Co., Ltd. Self-pruning neural networks for weight parameter reduction
JP6743238B1 (ja) * 2019-04-23 2020-08-19 Dmg森精機株式会社 工作機械における変動量推定装置、及び補正量算出装置
US11742901B2 (en) * 2020-07-27 2023-08-29 Electronics And Telecommunications Research Institute Deep learning based beamforming method and apparatus

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5288645A (en) * 1992-09-04 1994-02-22 Mtm Engineering, Inc. Hydrogen evolution analyzer
US5819226A (en) * 1992-09-08 1998-10-06 Hnc Software Inc. Fraud detection using predictive modeling
US5559929A (en) * 1994-07-29 1996-09-24 Unisys Corporation Method of enhancing the selection of a training set for use in training of a neural network

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
BABAK HASSIBI ET AL: "OPTIMAL BRAIN SURGEON AND GENERAL NETWORK PRUNING", PROCEEDINGS OF THE INTERNATIONAL CONFERENCE ON NEURAL NETWORKS (ICN, SAN FRANCISCO, MAR. 28 - APR. 1, 1993, vol. 1, 28 March 1993 (1993-03-28), INSTITUTE OF ELECTRICAL AND ELECTRONICS ENGINEERS, pages 293 - 299, XP000366793 *
COTTRELL M ET AL: "NEURAL MODELING FOR TIME SERIES: A STATISTICAL STEPWISE METHOD FOR WEIGHT ELIMINATION", IEEE TRANSACTIONS ON NEURAL NETWORKS, vol. 6, no. 6, 1 November 1995 (1995-11-01), pages 1355 - 1364, XP000536106 *
HERGERT F ET AL: "A COMPARISON OF WEIGHT ELIMINATION METHODS FOR REDUCING COMPLEXITY IN NEURAL NETWORKS", PROCEEDINGS OF THE INTERNATIONAL JOINT CONFERENCE ON NEURAL NETWORK (IJCNN), BALTIMORE, JUNE 7 - 11, 1992, vol. 3, 7 June 1992 (1992-06-07), INSTITUTE OF ELECTRICAL AND ELECTRONICS ENGINEERS, pages 980 - 987, XP000340469 *
MASAFUMI HAGIWARA: "BACKPROPAGATION WITH SELECTION-REDUCTION OF LEARNING TIME AND ELIMINATION OF HIDDEN UNITS", SYSTEMS & COMPUTERS IN JAPAN, vol. 23, no. 8, 1 January 1992 (1992-01-01), pages 46 - 54, XP000329647 *
WEIGEND A S ET AL: "Clearning cleaning and learning of data structures", PROCEEDINGS OF THE THIRD INTERNATIONAL CONFERENCE ON NEURAL NETWORKS IN THE CAPITAL MARKETS, PROCEEDINGS OF THE 3RD INTERNATIONAL CONFERENCE ON NEURAL NETWORKS IN FINANCIAL ENGINEERING, LONDON, UK, 11-13 OCT., ISBN 981-02-2480-X, 1996, SINGAPORE, WORLD SCIENTIFIC, SINGAPORE, pages 511 - 522, XP000675785 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102010011221A1 (de) * 2010-03-12 2011-09-15 Siemens Aktiengesellschaft Verfahren zur rechnergestützten Steuerung und/oder Regelung eines technischen Systems
DE102010011221B4 (de) * 2010-03-12 2013-11-14 Siemens Aktiengesellschaft Verfahren zur rechnergestützten Steuerung und/oder Regelung eines technischen Systems
DE102011076969B4 (de) * 2011-06-06 2015-01-08 Siemens Aktiengesellschaft Verfahren zum rechnergestützten Lernen einer Regelung und/oder Steuerung eines technischen Systems

Also Published As

Publication number Publication date
US6311172B1 (en) 2001-10-30
DE59703599D1 (de) 2001-06-28
EP0890153B1 (de) 2001-05-23
DE19611732C1 (de) 1997-04-30
JP2000507376A (ja) 2000-06-13
EP0890153A1 (de) 1999-01-13
JP3935211B2 (ja) 2007-06-20

Similar Documents

Publication Publication Date Title
DE202017102238U1 (de) Aktorsteuerungssystem
DE202017102235U1 (de) Trainingssystem
DE10296704T5 (de) Fuzzy-Inferenznetzwerk zur Klassifizierung von hochdimensionalen Daten
DE102007001025A1 (de) Verfahren zur rechnergestützten Steuerung und/oder Regelung eines technischen Systems
WO2007036465A2 (de) Verfahren zum rechnergestützten lernen eines neuronalen netzes und neuronales netz
EP0901658B1 (de) Verfahren zur optimierung eines fuzzy-regelsatzes durch einen rechner
EP0956530B1 (de) Verfahren zur transformation einer zur nachbildung eines technischen prozesses dienenden fuzzy-logik in ein neuronales netz
DE19611732C1 (de) Verfahren zur Ermittlung von zur Entfernung geeigneten Gewichten eines neuronalen Netzes mit Hilfe eines Rechners
DE19504664C2 (de) Chaotisches rekurrentes neuronales Netz und Lernverfahren dafür
DE10201018B4 (de) Neuronales Netz, Opimierungsverfahren zur Einstellung der Verbindungsgewichte eines neuronalen Netzes sowie Analyseverfahren zur Überwachung eines Optimierungsverfahrens
DE10139682B4 (de) Verfahren zum Generieren von neuronalen Netzen
DE4121453C2 (de) Näherungsschlußfolgerungsvorrichtung
EP0978052B1 (de) Rechnergestütztes verfahren zur auswahl von trainingsdaten für ein neuronales netz
DE19703964C1 (de) Verfahren zur Transformation einer zur Nachbildung eines technischen Prozesses dienenden Fuzzy-Logik in ein neuronales Netz
EP1093639A2 (de) Neuronales netz und verfahren und anordnung zum trainieren eines neuronalen netzes
DE102019216973A1 (de) Lernverfahren für neuronale netze basierend auf evolutionären algorithmen
WO2001059609A1 (de) Vorrichtung, speichermedium und verfahren zum ermitteln von objekten mit grossen ähnlichkeit zu einem vorgegebenen objekt
DE102019113958A1 (de) Verfahren zur Leistungssteigerung eines Fahrzeugsystems mit einem neuronalen Netz zum Steuern einer Fahrzeugkomponente
DE60309191T2 (de) System zum fuzzy-assoziativen beschreiben von multimedia-gegenständen
EP1114398B1 (de) Verfahren zum trainieren eines neuronalen netzes, verfahren zur klassifikation einer folge von eingangsgrössen unter verwendung eines neuronalen netzes, neuronales netz und anordnung zum trainieren eines neuronalen netzes
EP0814402A2 (de) Verfahren zum Entwurf oder zur Adaption eines Fuzzy-Reglers oder eines Systems von verknüpften Fuzzy-Reglern
WO2020229407A1 (de) Klassifikatorsystem und verfahren zum verteilten erzeugen von klassifikationsmodellen
DE102022203045A1 (de) Konfidenzbetrachtung während dem Training eines KNN
DE19641286C1 (de) Lernverfahren für selbstorganisierende neuronale Netzwerke und Vorrichtung zur Durchführung des Verfahrens
DE102021124252A1 (de) Neuronale Netzwerksysteme für abstraktes Denken

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A1

Designated state(s): JP US

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): AT BE CH DE DK ES FI FR GB GR IE IT LU MC NL PT SE

DFPE Request for preliminary examination filed prior to expiration of 19th month from priority date (pct application filed before 20040101)
121 Ep: the epo has been informed by wipo that ep was designated in this application
WWE Wipo information: entry into national phase

Ref document number: 1997916339

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 09155197

Country of ref document: US

WWP Wipo information: published in national office

Ref document number: 1997916339

Country of ref document: EP

WWG Wipo information: grant in national office

Ref document number: 1997916339

Country of ref document: EP