Kleines Handbuch Neuronale Netze: Anwendungsorientiertes Wissen zum Lernen und Nachschlagen

263 Pages·1993·5.809 MB·German

by  Norbert Hoffmann (auth.)

Norbert Hoffmann
Kleines Handbuch
Neuronale Netze
vieweg
Informatik & Computer
Mehr als nur Programmieren ...
Eine Einführung in die Informatik
von Rainer Gmehlich und Heinrich Rust
Wissensbasierte Systeme
von Doris Altenkrüger und Winfried Büttner
Modellbildung und Simulation
von Hartmut Bossel
Simulation neuronaler Netze
von Norbert Hoffmann
Kleines Handbuch
Neuronale Netze
von Norbert Hoffmann
Fuzzy-Logik und Fuzzy-Control
von Jörg Kahlert und Hubert Frank
Fuzzy Sets and Fuzzy Logic
von Siegfried Gottwald
Dynamische Systeme und Fraktale
von Karl-Heinz Becker und Michael Dörfler
Numerik sehen und verstehen
Ein kombiniertes Lehr-und Arbeitsbuch
mit Visualisierungssoftware
von Kim Kose, Rolf Schröder und Kornel Wieliczek
Software Engineering für Praktiker
von Heinz Knoth
Computersicherheit
von Rolf Oppliger
Vieweg
Norbert Hoffmann
Kleines Handbuch
Neuronale Netze
Anwendungsorientiertes Wissen
zum Lernen und Nachschlagen
IJ
vleweg
Die Deutsche Bibliothek -CIP-Einheitsaufnahme
Hoffmann, Norbert:
Kleines Handbuch neuronale Netze : anwendungsorientiertes
Wissen zum Lernen und Nachschlagen / Norbert Hoffmann. -
Braunschweig ; Wiesbaden : Vieweg 1993
ISBN 978-3-322-91566-5 ISBN 978-3-322-91565-8 (eBook)
DOI 10.1007/978-3-322-91565-8
Das in diesem Buch enthaltene Programm-Material ist mit keiner Verpf1ichtung oder Garantie irgendeiner
Art verbunden. Der Autor und der Verlag iibernehmen infolgedessen keine Verantwortung und werden
keine daraus folgende oder sonstige Haftung iibernehmen, die auf irgendeine Art aus der Benutzung dieses
Programm-Materials oder Teilen davon entsteht.
Alle Rechte vorbehalten
© Friedr. Vieweg & Sohn Verlagsgesellschaft mbH, Braunschweig/Wiesbaden, 1993
Softcover reprint of the hardcover l st edition 1993
Der Verlag Vieweg ist ein Unternehmen der Verlagsgruppe Bertelsmann International.
Das Werk einschlie/3lich aHer seiner Teile ist urheberrechtlich geschiitzl.
Jede Verwertung auBerhalb der engen Grenzen des Urheberrechtsgesetzes
ist ohne Zustimmung des Verlags unzulăssig und strafbar. Das gilt
insbesondere fUr Vervielfaltigungen, Ubersetzungen, Mikroverfilmungen
und die Einspeicherung und Verarbeitung in elektronischen Systemen.
ISBN 978-3-322-91566-5
VORWORT
Das breite Angebot an deutschsprachigen Lehrbüchern macht es dem Einsteiger
leicht, sich Grundkenntnisse über neuronale Netze anzueignen. Wer allerdings
tiefer in dieses Gebiet einsteigen und beispielsweise die (meist englische) For
schungsliteratur lesen möchte, wird mit einer Fülle von Modellen und Begriffen
konfrontiert, die er, wenn überhaupt, nur mühsam in den Lehrbüchern oder in
den Literaturverweisen findet.
Das vorliegende Handbuch will hier eine Hilfestellung geben. Im Gegensatz zu
einem Lehrbuch ist es nicht didaktisch, sondern systematisch aufgebaut. Daher
sind Grundkenntnisse über neuronale Netze für das Verständnis des Buches äu
ßerst nützlich, wenngleich es durchaus als Einführung dienen kann. Sein Haupt
zweck ist jedoch der, dem Leser umfangreiche Nachschlagemöglichkeiten für
deutsche und englische Begriffe sowie für die wichtigsten Netzmodelle zu geben.
Bei der großen Zahl der bisher in der Literatur untersuchten Netztypen ist es
nicht möglich, sämtliche Modelle aufzuführen. Statt dessen wurden nur wenige
typische Modelle ausgewahIt, aber bis in alle Einzelheiten beschrieben. Diese
Angaben sollten Z.B. als Grundlage für Simulationsprogramme ausreichen.
Das Handbuch beschränkt sich auf ein enges, aber grundlegendes und wichtiges
Teilgebiet neuronaler Netze. Natürliche Nervennetze weisen, ebenso wie einige
Netzmodelle, ein zeitkontinuierliches Verhalten auf. Dagegen arbeiten die mei
sten Modelle mit einem Zeittakt; daher befaßt sich dieses Buch ausschließlich
mit zeitdiskreten neuronalen Netzen. Auf statistische Methoden wird, obgleich
sie in der Theorie eine bedeutende Rolle spielen, ebenfalls nicht eingegangen.
Dem Verlag und insbesondere den Anregungen des Lektors, Herrn Dr. Reinald
Klockenbusch, ist es zu verdanken, daß dieses Buch erscheinen konnte.
April 1993
Norbert Hoffmann
I N HA L T S VE RZE ICH N I S
1 Einleitung ................................................................................................ 1
1.1 Begriff des neuronalen Netzes ........................................................ 1
1.1.1 Neurophysiologie als Vorbild .......................................... 1
1.1.2 Aufbau und Funktionsweise neuronaler Netze ................ 2
1.1.3 Vergleich mit herkömmlichen Computern ...................... 3
1.2 Hinweise für die Benützung des Buches ........................................ 4
1.2.1 Zweck des Buches ........................................................... 4
1.2.2 Vorkenntnisse des Lesers ................................................ 4
1.2.3 Übersicht über den Buchinhalt.. ...................................... 5
1.3 Fuzzy-Logik ................................................................................... 8
1.3.1 Begriff ............................................................................. 8
1.3.2 Unscharfe Teilmengen ..................................................... 8
1.3.3 Unscharfe Mengenoperationen ........................................ 9
1.3.4 Unscharfe logische Verknüpfungen ............................... 11
1.3.5 Vergleich mit neuronalen Netzen .................................. 12
1.4 Künstliche neuronale Netze ......................................................... 12
I GRUNDLAGEN
2 Behandlung einzelner Neuronen ......................................................... 14
2.1 Bestandteile eines Neurons .......................................................... 14
2.2 Berechnung der Aktivität ............................................................. 16
2.2.1 Effektiver Eingang ......................................................... 16
2.2.2 Aktivierungsfunktionen ................................................. 18
vrn
Inhaltsverzeichnis
2.3 Berechnung des Ausgangs ........................................................... 20
2.3.1 Anforderungen an die Ausgangsfunktion ...................... 20
2.3.2 Schwellenwertfunktionen .............................................. 21
2.3.3 Sigma-Funktionen ......................................................... 22
2.3.4 Weitere Ausgangsfunktionen ........................................ 25
2.3.5 Anschauliche Deutung .................................................. 27
2.4 Berechnung des Neurons .............................................................. 28
2.4.1 Berechnungsformeln ..................... ,. ............................... 28
2.4.2 Standard-Neurontypen ................................................... 32
2.4.3 Kennwerte der Neuronberechnung ................................ 32
3 Behandlung eines Netzes ...................................................................... 35
3.1 Aufbau eines Netzes ..................................................................... 35
3.1.1 Allgemeine Netzstruktur ............................................... 35
3.1.2 Numerierung der Neuronen ........................................... 38
3.1.3 Strukturierung des Netzes durch das Schichten-
konzept .......................................................................... 39
3.1.4 Rückkopplung ............................................................... 40
3.1.5 Räumlich organisierte Schichten ................................... 41
3.1.6 Hinton-Diagramme ........................................................ 42
3.2 Reproduktionsmethoden .............................................................. 43
3.2.1 Struktur und Zustände eines neuronalen Netzes ............ 43
3.2.2 Begriff der Reproduktion ............................................... 43
3.2.3 Reproduktion in vorwärtsgekoppelten Netzen ............... 43
3.2.4 Reproduktion in rückgekoppelten Netzen ..................... 48
3.2.5 Äquivalenz von vorwärts- und rückgekoppelten
Netzen ........................................................................... 50
3.2.6 Reproduktion in Wettbewerbs-Schichten ...................... 52
3.2.7 Beschreibung der Reproduktion durch Hamilton-
Funktionen ..................................................................... 53
3.2.8 Stochastische Reproduktion· .......................................... 55
3.3 Lernmethoden für überwachtes Lernen ........................................ 57
3.3.1 Begriff des Lernens ....................................................... 57
3.3.2 Begriff des überwachten Lernens .................................. 58
3.3.3 Hebbsche Lernregel ....................................................... 58
3.3.4 Delta-Lernregel .............................................................. 60
3.3.5 Herleitung von Lernregeln aus Kostenfunktionen ......... 61
3.3.6 Lernen durch Lohn und Strafe ....................................... 63
3.4 Lernmethoden für unüberwachtes Lernen .................................... 65
3.4.1 Begriff des unüberwachten Lernens .............................. 65
3.4.2 Unüberwachtes Lernen durch Wettbewerb ................... 65
Inhaltsverzeichnis IX
11 NETZE
4 Einfache überwacht lernende Netze .................................................... 70
4.1 Muster-Assoziator ........................................................................ 70
4.1.1 Allgemeiner Muster-Assoziator.. ................................... 70
4.1.2 Linearer Muster-Assoziator mit Hebbscher Lem-
regel ............................................................................... 72
4.1.3 Linearer Muster-Assoziator mit Delta-Lernregel.. ......... 73
4.1.4 Willshaw-Netze ............................................................. 74
4.1.5 Grenzen des Muster-Assoziators ................................... 75
4.2 Spezielle Muster-Assoziatoren ..................................................... 77
4.2.1 Perzeptron ..................................................................... 77
4.2.2 ADALINE ..................................................................... 79
4.2.3 MADALINE .................................................................. 80
4.3 Auto-Assoziator ........................................................................... 82
4.3.1 Allgemeiner Auto-Assoziator ........................................ 82
4.3.2 BSB-Modell ................................................................... 84
4.3.3 DMA-Modell ................................................................. 85
4.4 FehleITÜckführungs-Netz .............................................................. 85
4.4.1 Aufbau des Netzes ......................................................... 85
4.4.2 Lernregel für die Gewichte ............................................ 86
4.4.3 Initialisierung der Gewichte .......................................... 87
4.4.4 Zusammenfassung des Lemvorgangs ............................ 88
4.4.5 Lernregel für andere Parameter ..................................... 90
4.4.6 Momentfaktor ................................................................ 91
4.4.7 Lokale Minima der Kostenfunktion ............................... 91
4.4.8 FehleITÜckführungsnetze mit Rückkopplung ................. 91
4.5 Hopfield-Netz ............................................................................... 92
4.5.1 Grundmodell... ............................................................... 92
4.5.2 Hamilton-Funktion ........................................................ 94
4.5.3 Speicherkapazität .......................................................... 95
4.5.4 Unerwünschte Zustände ................................................ 95
4.5.5 Varianten ....................................................................... 96
x Inhaltsverzeichnis
5 Biber entwickelte überwacbt lernende Netze .................................... 98
5.1 BAM ............................................................................................ 98
5.1.1 Aufbau ........................................................................... 98
5.1.2 Berechnung der Neuronen ............................................. 99
5.1.3 Lernregel ..................................................................... 100
5.1.4 Reproduktion ............................................................... 101
5.1.5 Mustervektoren e{O,I} ............................................... 101
5.1.6 Numerierungsvariante ................................................. l0l
5.2 Boltzrnann-Maschinen ............................................................... 102
5.2.1 Aufbau ......................................................................... 102
5.2.2 Lernregel ..................................................................... l03
5.2.3 Reproduktion ............................................................... 105
5.2.4 Probleme ...................................................................... 105
5.3 Gegenstrom-Netz ....................................................................... 105
5.3.1 Vorstufe zum Gegenstrom-Netz .................................. l05
5.3.2 Reproduktion ............................................................... 106
5.3.3 Lernen ......................................................................... 107
5.3.4 Gegenstrom-Netz ......................................................... l09
5.4 Netze mit Sigma-Pi-Neuronen ................................................... 110
5.4.1 Prinzip ......................................................................... 110
5.4.2 Reduktion der Schichtenzahl.. ..................................... 110
5.4.3 Invariante Mustererkennung ........................................ 111
5.4.4 Fehlerrückführung ....................................................... 113
5.5 Zusammenstellung überwacht lernender Netze .......................... 114
6 UnOberwacbt lernende Netze ............................................................. 116
6.1 Selbstorganisierende Karten ....................................................... 116
6.1.1 Einbettung eines Netzes in einen Raum ...................... 116
6.1.2 Aufbau und Reproduktion ........................................... 116
6.1.3 Festlegen der internen Gewichte ................................. 117
6.1.4 Lernen der externen Gewichte ..................................... 118
6.1.5 Hinweise ...................................................................... 118
Inhaltsverzeichnis XI
6.2 ART-Netz ................................................................................... 119
6.2.1 Aufgabe ....................................................................... 119
6.2.2 Lösungsalgorithmus .................................................... 119
6.2.3 Realisierung durch ein Netz ........................................ 122
6.2.4 Gain ............................................................................. 124
6.2.5 Reproduktion in der Eingangs-Vergleichsschicht ....... 124
6.2.6 Reset. ........................................................................... 125
6.2.7 Reproduktion in der Klassifizierungsschicht ............... 127
6.2.8 Lernen ......................................................................... 127
6.2.9 Zusammenfassung ....................................................... 130
6.2.10 Literaturhinweise ......................................................... 136
III PRAXIS
7 Anwendungen ..................................................................................... 137
7.1 Problemtypen ............................................................................. 137
7.1.1 Übersicht ..................................................................... 137
7.1.2 Klassifikation .............................................................. 140
7.1.3 Autoassoziativer Speicher ........................................... 141
7.1.4 Heteroassoziative Speicher und Generalisierung ........ 142
7.1.5 Ausgangsmusterfolgen ................................................ 143
7.1.6 Zeitreihen .................................................................... 144
7.2 Konkrete Anwendungen ............................................................. 146
7.2.1 Übersicht ..................................................................... 146
7.2.2 "Schul"probleme ......................................................... 146
7.2.3 Technische Anwendungen .......................................... 150
7.2.4 Wissenschaftliche Anwendungen ................................ 156
7.2.5 Sonstige Anwendungen ............................................... 158
8 Realisierung ........................................................................................ 160
8.1 Übersicht .................................................................................... 160
8.2 Simulation durch Software ......................................................... 162
8.2.1 Grundsatze .................................................................. 162
8.2.2 Simulations programme für den pe ............................. 162
8.3 Aufbau durch Hardware ............................................................. 162