Neuronale Netze: Grundlagen und Anwendungen

258 Pages·1997·12.79 MB·German

by  Andreas Scherer (auth.)

Andreas Scherer
Neuronale Netze
Computational Intelligence
herausgegeben von
Wolfgang Bibel, Walther von Hahn und Rudolf Kruse
Die Bticher dieser Reihe behandeln Themen, die sich dem weitgesteckten Ziel des
VersUindnisses und der technischen Realisierung intelligenten Verhaltens in einer
Umwelt zuordnen lassen. Sie sollen damit Wissen aus der Ktinstlichen Intelligenz und
der Kognitionswissenschaft (beide zusammen auch Intellektik genannt) sowie aus
interdisziplinar mit dies en verbundenen Disziplinen vermitteln. Computational
Intelligence umfaBt die Grundlagen ebenso wie die Anwendungen.
Das Rechnende Gehirn
von Patricia S. Churchland und Terrence 1. Sejnowski
Neuronale Netze und Fuzzy-Systeme
von Detlef Nauck, Frank Klawonn und Rudolf Kruse
Fuzzy-Clusteranalyse
von Frank Hoppner, Frank Klawonn und Rudolf Kruse
Einfiihrung in Evolutionare Algorithmen
von Volker Nissen
Neuronale Netze
Grundlagen und Anwendungen
von Andreas Scherer
Titel aus dem weiteren Umfeld,
erschienen in der Reihe Ktinstliche Intelligenz des Verlages Vieweg:
Automatische Spracherkennung
von Ernst Gtinter Schukat-Talamazzini
Deduktive Datenbanken
von Armin B. Cremers, Ulrike Griefahn und Ralf Hinze
Wissensreprasentation und Inferenz
von Wolfgang Bibel, Steffen Holldobler und Torsten Schaub
Andreas Scherer
Neuronale Netze
Grundlagen und Anwendungen
I I
Vleweg
Die Deutsche Bibliothek - CIP-Einheitsaufnahme
Scherer, Andreas:
Neuronale Netze: Grundlagen und Anwendungen 1
Andreas Scherer. - Braunschweig; Wiesbaden:
Vieweg,1997
(Computational intelligence)
ISBN-13: 978-3-528-05465-6 e-ISBN-13: 978-3-322-86830-5
DOl: 10.1007/978-3-322-86830-5
Aile Rechte vorbehalten
© Friedr. Vieweg & Sohn Verlagsgesellschaft mbH, Braunschweig/Wiesbaden, 1997
Der Verlag Vieweg ist ein Unternehmen der Bertelsmann Fachinformation GmbH.
Das Werk einschlieBlich aller seiner Teile ist urheberrechtlich geschtitzt. Jede
Verwertung auBerhalb der engen Grenzen des Urheberrechtsgesetzes ist ohne
Zustimmung des Verlags unzuHissig und strafbar. Das gilt insbesondere flir
Vervielfaltigungen, Ubersetzungen, Mikroverfilmungen und die Einspeicherung
und Verarbeitung in elektronischen Systemen.
Gedruckt auf saurefreiem Papier
Inhaltsverzeichnis
Inhaltsverzeichnis
Vorwort ............................................................................ 1
1 Eirlfiihrung ................................................................... 3
1.1 Was ist ein neuronales Netz? .............................................. 3
1.2 Eigenschaften neuronaler Netze ......................................... 5
1.2.1 Allgemeine Merkmale .................................................. 5
1.2.2 Neuronale Netze als Klassifikatoren ......................... 6
1.3 Zur Historie ............................................................................ 7
1.3.1 Die Anfange .................................................................. 8
1.3.2 Die friihe Hochphase ................................................... 9
1.3.3 Die ruhigen Jahre .......................................................... 9
1.3.4 Die Renaissance .......................................................... 11
1.4 Problemklassen .................................................................... 12
1.5 Das Forschungsgebiet neuronale Netze .......................... 16
1.5.1 Neuronale Netze und angrenzende
Gebiete .................................................................................. 16
1.5.2 Neuronale Netze und KI ........................................... 18
1.6 Buchiiberblick ...................................................................... 18
1.7 Einige ausgewahlte Lehrbiicher ........................................ 19
1.8 Fragen zu Kapitel 1 ............................................................. 20
2 Mustererkennung ...................................................... 21
2.1 Einfiihrung ........................................................................... 21
2.2 Entscheidungsgrenzen ....................................................... 22
2.3 Klassifikationstechniken .................................................... 24
2.3.1 Nearest Neighbour-Klassifikation ........................... 24
2.3.2 Distanzmetriken .......................................................... 25
2.3.3 Lineare Klassifikatoren .............................................. 27
2.3.4 Bayes-Klassifikation ................................................... 29
2.4 Fragen zu Kapitel 2 ............................................................. 32
3 Biologische Grundlagen ........................................... 33
3.1 Die Nervenzelle ................................................................... 33
3.2 Erregung von Nerven ............................................. ' ........... 36
3.2.1 Das Ruhepotential ..................................................... 36
3.2.2 Das Aktionspotential .................................................. 38
3.3 Synaptische Dbertragung .................................................. 40
3.4 Physiologie kleiner Nervenverbande ............................... 42
3.5 Zusammenfassung .............................................................. 44
3.6 Fragen zu Kapitel 3 ............................................................. 44
v
Inhaltsverzeichnis
4 Grundlagen neuronaler Netze ................................ 45
4.1 Die "building blocks" .......................................................... 45
4.2 Das Neuron .......................................................................... 46
4.2.1 Die Propagierungsfunktion ...................................... 47
4.2.2 Aktivierungsfunktion und -zustand ........................ 48
4.2.3 Die Ausgabefunktion ................................................. 53
4.3 Der Netzwerkgraph ............................................................ 54
4.3.1 FF-Netze ...................................................................... 54
4.3.2 FB-Netze ...................................................................... 55
4.4 Die Lernregel .................................................................. 57
4.4.1 Hebbsche Lernregel... ................................................. 57
4.4.2 Delta-Regel .................................................................. 58
4.4.3 Erweiterte Delta-Regel ............................................... 58
4.5 Datenraume .......................................................................... 59
4.5.1 Einflu:15 der Aktivierungsfunktion auf die
Entscheidungsflache .......................................................... 59
4.5.2 Einflu:15 der versteckten Neuronen auf die
Entscheidungsflache .......................................................... 62
4.6 Zusammenfassung .............................................................. 64
4.7 Fragen zu Kapitel 4 ............................................................. 64
5 Das Perzeptron .......................................................... 65
5.1 Einfiihrung ........................................................................... 65
5.2 Das Perzeptron-Lernverfahren ......................................... 66
5.3 Lineare Separierbarkeit ...................................................... 67
5.4 Zusammenfassung .............................................................. 70
5.5 Fragen zu Kapitel 5 ............................................................. 70
6 Uberwachtes Lemen ................................................. 71
6.1 Einfiihrung ........................................................................... 71
6.2 Backpropagation ................................................................. 71
6.2.1 Einfiihrung .................................................................. 72
6.2.2 Das Lernverfahren ...................................................... 72
6.2.3 Herleitung der allgemeinen Deltaregel ................... 73
6.2.4 Der Trainingsalgorithmus ......................................... 75
6.2.5 Kritische Aspekte zu Backpropagation ................... 77
6.3 Erweiterungen zu Backpropagation ................................ 79
6.3.1 De! Momentum-Term ................................................ 79
6.3.2 Der "Gradient Reuse"-Algorithmus ......................... 80
6.3.3 Zusammenfassung ..................................................... 81
6.4 Quickprop ............................................................................ 81
6.4.1 Einfiihrung .................................................................. 81
6.4.2 Der Quickprop-Algorithmus .................................... 82
VI
Inhaltsverzeichnis
6.5 Resilient Propagation .......................................................... 85
6.5.1 Einfiihrung .................................................................. 85
6.5.2 Der RPROP-Algorithmus .......................................... 85
6.6 Verfahren zur Minimierung von Netzen ......................... 89
6.7 Zusammenfassung .............................................................. 91
6.8 Fragen zu Kapitel 6 ............................................................. 92
7 Kohonen-Netze .......................................................... 93
7.1 Einleitung ............................................................................. 93
7.1.1 Topologische Karten .................................................. 93
7.1.2 Neurophysiologische Motivation ............................ 94
7.2 Kohonens Modell ................................................................ 96
7.2.1 Das Lemverfahren ...................................................... 97
7.2.2 Nachbarschaftsfunktionen im Kohonen-
Modell ................................................................................... 98
7.2.3 Der Algorithmus im Uberblick ............................... 100
7.3 Betrachtungen zur Konvergenz ...................................... 102
7.3.1 Eindimensionaler Fall .............................................. 102
7.3.2 Zweidimensionaler Fall ........................................... 105
7.4 Zusammenfassung ............................................................ 106
7.5 Fragen zu Kapite17 ........................................................... 107
8 ART-Netze ................................................................ 108
8.1 ART-1-Netze ...................................................................... 109
8.1.1 Einfiihrung ................................................................ 109
8.1.2 Funktionsweise und Architektur ........................... 110
8.1.3 Die Komponenten von ART-1 ................................ 110
8.2.4 Arbeitsweise .............................................................. 114
8.1.5 InformationsfluG ....................................................... 121
8.2 Weitere ART-Netze ........................................................... 123
8.3 Zusammenfassung ............................................................ 124
8.4 Fragen zu Kapite18 ........................................................... 124
9 Hopfield-Netze ........................................................ 125
9.1 Einfiihrung ......................................................................... 125
9.2 Das Hopfield-Modell ........................................................ 126
9.3 Lemen und Abrufen von Informationen ....................... 129
9.3.1 Lemen im Hopfield-Modell .................................... 129
9.3.2 Abrufen von Mustern .............................................. 131
9.4 Erganzendes zu Hopfield-Netzen .................................. 133
9.5 Zusammenfassung ............................................................ 134
9.6 Fragen zu Kapite19 ........................................................... 134
VII
Inhaltsverzeichnis
10 Die Boltzmann-Maschine ..................................... 135
10.1 Einfiihrung ....................................................................... 135
10.2 Die stochastische Erweiterung ...................................... 135
10.3 Das Lemverfahren .......................................................... 139
10.4 Zusammenfassung .......................................................... 141
10.5 Fragen zu KapitellO ....................................................... 141
11 Cascade-Correlation-Netze .................................. 142
11.1 Einfiihrung .... ...... ....... ........ ... ..... .......... ... ..... ..... ... ... ......... 142
11.2 Das Verfahren .................................................................. 143
11.3 Zusammenfassung .......................................................... 145
11.4 Fragen zu Kapitelll ....................................................... 146
12 COWlterpropagation ............................................. 147
12.1 Einfiihrung ....................................................................... 147
12.2 Aufbau eines Counterpropagation-Netzes ................. 147
12.3 Die Kohonen-Schicht ..................................................... 149
12.4 Die Grossberg-Schicht ................................................... 151
12.5 Zusammenfassung .......................................................... 151
12.6 Fragen zu Kapitel12 ....................................................... 151
13 Probabilistische Neuronale Netze ...................... 152
13.1 Einfiihrung ....................................................................... 152
13.2 Bayes' sche Klassifikatoren ............................................ 153
13.2.1 Ein einfiihrendes Beispiel ...................................... 153
13.2.2 Parzen-Fenster ........................................................ 155
13.2.3 Anwendung auf multiple Kategorien ................. 158
13.3 Die Architektur von PNN .............................................. 159
13.4 Zusammenfassung .......................................................... 161
13.5 Fragen zu Kapitel13 ....................................................... 161
14 Radiale Basisfunktionsnetze ................................ 162
14.1 Einfiihrung ......................................................................... 62
14.2 Aufbau eines RBF-Netzes .............................................. 163
14.3 Training von RBF-Netzen .............................................. 166
14.3.1 Wahl der Zentren .................................................... 167
14.3.2 Der Parameter s ...................................................... 169
14.3.3 Berechnung der Ausgabematrix W ...................... 169
14.4 Zusammenfassung .......................................................... 170
14.5 Fragen zu Kapitel14 ....................................................... 170
VIII
Inhaltsverzeichnis
15 Neuronale Netze Wld Fuzzy-Logik .................... 171
15.1 Einruhrung ....................................................................... 171
15.2 Grundlagen der Fuzzy-Logik ........................................ 171
15.2.1 Einige Definitionen ................................................ 171
15.2.2 ZugehOrigkeitsfunktionen .................................... 174
15.2.3 Operationen auf Fuzzy-Sets .................................. 178
15.2.4 Linguistische Variablen ......................................... 181
15.2.5 Funktionsweise eines Fuzzy-Systems .................. 184
15.3 Neuro-Fuzzy-Systeme .................................................... 188
15.3.1 Fuzzy-ART .............................................................. 188
15.3.2 Neuro-Fuzzy-Control ............................................ 191
15.4 Zusammenfassung .......................................................... 194
15.5 Fragen zu Kapitel15 ....................................................... 194
16 Neuronale Netze Wld genetische
Algorith.men ................................................................ 195
16.1 Grundlagen evolutionarer Prozesse ............................. 195
16.1.1 Organisation des Erbmaterials ............................. 195
16.1.2 Mutationen auf dem Genpool .............................. 197
16.1.3 Die Evolution als Optimierung ............................ 200
16.2 Genetische Algorithmen ................................................ 201
16.2.1 Kodierung ................................................................ 203
16.2.2 Die Operatoren ........................................................ 203
16.2.3 Selektionskriterien .................................................. 204
16.3 Neuro-genetische Verfahren .......................................... 206
16.3.1 GAs zur Optimierung der
Gewichtsmatrix .................................................................. 206
16.3.2 GAs zur Optimierung der Netztopologie ........... 208
16.4 Zusammenfassung .......................................................... 208
16.5 Fragen zur Kapitel16 ...................................................... 209
17 EntwicklWlg neuronaler Systeme ....................... 210
17.1 Ein Phasenmodell rur neuron ale Systeme ................... 210
17.2 Datenmodellierung ......................................................... 211
17.3 Erstellen des Klassifikators ............................................ 213
17.4 Performanz von Klassifikatoren ................................... 214
17.4.1 Fehlerabschatzung .................................................. 214
17.4.2 Fehler, Kosten und Risiken ................................... 214
17.4.3 Uberspezialisierung von Klassifikatoren ............ 219
17.5 Testen des Klassifikators ................................................ 219
17.6 Optimieren von Klassifikatoren .................................... 221
17.6 Zusammenfassung .......................................................... 222
17.7 Fragen zu Kapitel17 ....................................................... 222
IX
Inhaltsverzeichnis
18 Anwendungsbeispiele .......................................... 223
18.1 Finanzwirtschaft .............................................................. 223
18.1.1 Einfiihrung .............................................................. 223
18.1.2 Standardverfahren im
Wechselkursgeschaft ......................................................... 223
18.1.3 Ein hybrides Verfahren zum
Wechselkursmanagement ................................................ 225
18.2 Computerunterstiitze Fertigung ................................... 227
18.2.1 Einfiihrung .............................................................. 227
18.2.2 Neuronale Netze im on-line Monitoring ............ 227
18.3 Qualitatssicherung .......................................................... 229
18.3.1 Einfiihrung .............................................................. 229
18.3.2 Neuronale Netze in der Motordiagnose ............. 230
18.4 Produktionsplanung ....................................................... 231
19 Literaturverzeiclmis .............................................. 234
20 Index ........................................................................ 247
x