Nichtlineare Optimierung: Eine Einführung in Theorie, Verfahren und Anwendungen

328 Pages·2002·10.93 MB·German

by  Prof. Dr. Walter Alt (auth.)

Walter Alt
Nichtlineare Optimierung
vieweg studium _______- -.,.
Aufbaukurs Mathematik
Herausgegeben von Martin Aigner, Peter Gritzmann, Volker Mehrmann
und Gisbert Wustholz
Martin Aigner
Diskrete Mathematik
Walter AU
Nichtllneare Optlmierung
Albrecht Beutelspacher und Ute Rosenbaum
Projektlve Geometrle
Manfredo P. do Carmo
Differentialgeometrie von Kurven und Flichen
Gerd Fischer
Ebene algebraische Kurven
Wolfgang Fischer und Ingo Lieb
Funktionentheorie
Wolfgang Fischer und Ingo Lieb
Ausgewihlte Kapitel aus der Funktionentheorie
Otto Forster
Analysis 3
Klaus Hulek
Elementare Aigebraische Geometrie
Horst Knorrer
Geometrie
Helmut Koch
Zahlentheorie
Ulrich Krengel
Einfiihrung in die Wahrscheinlichkeitstheorie und Statistik
Wolfgang Kuhnel
Differentialgeometrie
Ernst Kunz
Elnfiihrung in die algebralsche Geometrie
Reinhold Meise und Dietmar Vogt
Elnfiihrung in die Funktionalanalysis
Erich Ossa
Topologie
Jochen Werner
Numerische Mathematik I und II
Jiirgen Wolfart
Einfiihrung in die Zahlentheorie und Algebra
vieweg __________________ ____'
Walter Alt
Nichtlineare
Optimierung
Eine Einfiihrung in Theorie,
Verfahren und Anwendungen
~
vleweg
Die Deutsche Bibliothek - CIP-Einheitsaufnahme
Ein Titeldatensatz fUr diese Publikation ist bei
Der Deutschen Bibliothek erhiiltlich.
Prof. Dr. Walter AU
Friedrich-Schiller-Universitiit Jena
Institut fUr Angewandte Mathematik
07740 Jena
E-Mail: [email protected]
1. Auflage Juni 2002
Aile Rechte vorbehaiten
© Friedr. Vieweg & Sohn Verlagsgesellschaft, Braunschweig/Wiesbaden, 2002
Der Vieweg Verlag ist ein Unternehmen der Fachverlagsgruppe BertelsmannSpringer.
www.vieweg.de
Das Werk einschlieBlich aller seiner Teile ist urheberrechtlich geschiitzt.
Jede Verwertung auBerhalb der engen Grenzen des Urheberrechtsgesetzes
ist ohne Zustimmung des Verlages unzuliissig und strafbar. Das gilt insbe
sondere fUr Vervielfiiitigungen, Ubersetzungen, Mikroverfilmungen und
die Einspeicherung und Verarbeitung in elektronischen Systemen.
Umschlaggestaltung: Ulrike Weigel, www.CorporateDesignGroup.de
Gedruckt auf siiurefreiem und chlorfrei gebleichtem Papier.
ISBN-13: 978-3-528-03193-0 e-ISBN-13: 978-3-322-84904-5
DOl: 10.1007/978-3-322-84904-5
Vorwort
Das vorliegende Buch entstand aus einer zweisemestrigen Vorlesung, die ich an der
Friedrich-Schiller-Universitat Jena gehalten habe. Ziel des Buches ist es eine Einfuhrung
in theoretische Grundlagen, numerische Verfahren und Anwendungen der nichtlinearen
Optimierung zu geben. Eine Einfiihrung kann nattirlich nur eine Auswahl aus diesem
sehr umfangreichen Gebiet prasentieren. Ich habe versucht, diese Auswahl so zu tref
fen, dass einerseits grundlegende theoretische Kenntnisse vermittelt werden, andererseits
aber auch die praktische Vorgehensweise bei der Losung konkreter Aufgabenstellungen
ausreichend berucksichtigt wird. Dazu betrachten wir beispielsweise einfache Modelle fur
Produktions- und Lagerhaltungsprobleme. An diesen Modellen erlautern wir die theore
tischen Resultate, diskutieren mogliche Varianten, Verbesserungen und Verfeinerungen
der Modellierung und gehen auf verschiedene Moglichkeiten zur Formulierung solcher
Aufgaben als nichtlineare Optimierungsprobleme ein. AuBerdem demonstrieren wir an
zahlreichen Beispielen die Anwendung von Optimierungssoftware zur numerischen Be
rechnung von Losungen nichtlinearer Optimierungsaufgaben, wobei wir die Optimization
Toolbox von Matlab oder die NAG-Bibliothek benutzen.
Bei der Darstellung des Stoffes gehen wir stufenweise vor. Wir beginnen mit Optimie
rungsproblemen ohne Restriktionen, betrachten dann Probleme mit linearen Restriktio
nen und schlieBlich Probleme mit nichtlinearen Restriktionen. Diese Vorgehensweise zeigt
einerseits deutlich, welche neuen Schwierigkeiten jeweils bei der Optimierungstheorie auf
treten, und ist andererseits auch sinnvoll im Hinblick auf die Konstruktion numerischer
Verfahren. Begleitend diskutieren wir dynamische Optimierungsprobleme, die wir durch
Hinzunahme von Restriktionen schrittweise verfeinern.
Nach dem einfiihrenden Kapitell stellen wir in Kapitel2 zwei ableitungsfreie Verfahren
vor. Diese Verfahren benotigen wenig Theorie, sind sehr einfach zu implementieren oder
stehen als Implementierungen (in der Optimization Toolbox von Matlab oder der NAG
Bibliothek) zur Verfiigung, so dass wir am Ende dieses Kapitels schon einige interessante
Anwendungsprobleme diskutieren und mit den behandelten Verfahren losen konnen, aber
auch Grenzen dieser Verfahren aufzeigen konnen.
Ab Kapitel 3 beschaftigen wir uns mit Optimierungsproblemen, die durch differenzier
bare Funktionen beschrieben werden. Wir beginnen mit Problemen ohne Restriktionen
und stellen die Grundlagen der Optimierungstheorie, notwendige und hinreichende Op
timalitatsbedingungen, bereit. Am Ende des Kapitels geben wir einen Einblick in das
Gebiet der parametrischen Optimierung.
Bei den numerischen Verfahren fur unrestringierte Optimierungsprobleme steht in Ka
pitel 4 das Newton-Verfahren als grundlegendes Verfahren am Anfang. Dann diskutie
ren wir einige allgemeine Prinzipien zur Konstruktion von Optimierungsverfahren mit
Schrittweitensteuerung und behandeln als wichtigste Vetreter dieser Verfahrensklasse das
gedampfte Newton-Verfahren und Quasi-Newton-Verfahren. Ais Alternative zur Schritt
weitensteuerung stellen wir das Trust-Region-Konzept vor und eine damit verbundene
Verallgemeinerung des Newton-Verfahrens vor. Am Ende des Kapitels diskutieren wir
wieder einige Anwendungprobleme, die wir mit den behandelten Verfahren losen.
Kapitel 5 stellt die theoretischen Grundlagen flir Optimierungsprobleme mit linea
ren Restriktionen bereit. Dabei behandeln wir die Multiplikatorenregel von Lagrange als
zentrales Resultat fUr Optimierungsprobleme mit Gleichungsrestriktionen und erweitern
diese auf Probleme mit Ungleichungsrestriktionen. Weiter diskutieren wir wieder para
meterabhangige Probleme, da diese in der Praxis von groBer Bedeutung sind.
Bei den numerischen Verfahren beginnen wir in Kapite16 mit quadratischen Optimie
rungsproblemen. Bei nichtquadratischen Problemen mit linearen Gleichungsrestriktionen
stehen Reduktionsverfahren im Vordergrund. Fur nichtquadratische Probleme mit linea
ren Ungleichungsrestriktionen erweitern wir das Newton-Verfahren, was zu einem Ver
fahren der sequentiellen quadratischen Programmierung (SQP-Verfahren) flihrt, bei dem
in jedem Iterationsschritt ein quadratisches Optimierungsproblem zu lOsen ist.
In Kapitel 7 behandeln wir Optimierungsprobleme mit nichtlinearen Restriktionen.
Die prinzipielle Vorgehensweise besteht darin, das Ausgangsproblems zu linearisieren
und dann die Theorie aus Kapitel 5 anzuwenden. Auch hier diskutieren wir wieder pa
rameterabhangige Probleme, da diese von groBer praktischer Bedeutung sind, aber auch
bei der lokalen Konvergenz von SQP-Verfahren eine wichtige Rolle spielen.
Kapitel 8 erweitert das SQP-Verfahren aus Kapitel 6 auf Probleme mit nichtlinea
ren Restriktionen. Die lokale Variante des Verfahrens kann wieder als verallgemeinertes
Newton-Verfahren interpretiert werden. Am Ende des Kapitels diskutieren wir als An
wendungen nichtlineare Steuerungsprobleme und Parameterschatzprobleme und geben
einige Hinweise zu weiterfuhrender Literatur.
Die Abbildungen des Buches konnten aus drucktechnischen Grunden nur einfarbig
wiedergegeben werden. Als Erganzung zu diesem Buch wird daher auf der Web-Seite
www.minet.uni-jena.der alt
ein Anhang mit allen Abbildungen in Farbe als PDF-Datei bereitgestellt.
Mein besonderer Dank gilt Diethard Klatte, Institut flir Operations Research der Uni
versitat Zurich, und F'redi Troltzsch, Institut flir Mathematik der Technischen Universitat
Berlin. Beide haben eine vorlaufige Version des Buchmanuskripts in ihren Vorlesungen
erprobt und mir zahlreiche wertvolle Hinweise und Anregungen gegeben. Mein Dank gilt
auch den Mitarbeitern des Verlages flir die angenehme Zusammenarbeit.
Jena, im Mai 2002 Walter Alt
Inhalt
1 Optimierungsaufgaben 1
1.1 Aufgabenstellung und Beispiele 1
1.2 Existenz von Losungen . . . . . 5
1.3 Konvexe Optimierungsaufgaben . 7
1.4 Testfunktionen . . . . . . . . . . 10
1.5 Numerische Losung nichtlinearer Optimierungsaufgaben 14
1.6 Software zur Losung von Optimierungsproblemen . 15
1. 7 Mathematische Grundiagen . . . . . . . . . . . . . 16
2 Ableitungsfreie Verfahren 21
2.1 Das Verfahren von NeIder und Mead 21
2.1.1 Grundiagen des Verfahrens 21
2.1.2 Das Verfahren ... . 24
2.1.3 Abbruchkriterium .... . 26
2.1.4 Numerische Resuitate .. . 26
2.2 Ein Mutations-Selektions-Verfahren . 31
2.2.1 Beschreibung des Verfahrens 31
2.2.2 Numerische Resultate 31
2.3 Anwendungen ............ . 36
2.3.1 Nichtlineare Regression .. . 36
2.3.2 Parameterschatzung bei Differentialgleichungen 39
2.3.3 Ein Problem aus der Hydrologie 42
2.3.4 Lagerhaltung ................ . 45
3 U nrestringierte Optimierungsprobleme: Theorie 49
3.1 Optimalitatsbedingungen ............. . 49
3.1.1 Notwendige Bedingungen erster Ordnung 49
3.1.2 Notwendige Bedingungen zweiter Ordnung 51
3.1.3 Hinreichende Bedingungen zweiter Ordnung . 53
3.2 Konvexe Optimierungsaufgaben . 55
3.3 Parameterabhangige Probleme ........... . 62
4 U nrestringierte Optimierungsprobleme: Verfahren 67
4.1 Grundlagen ......... . 67
4.2 Berechnung von Ableitungen ... . 69
4.3 Das Newton-Verfahren ....... . 71
4.4 Konstruktion von Abstiegsverfahren 76
4.4.1 Effiziente Schrittweiten ... 76
4.4.2 Gradientenbezogene Suchrichtungen 79
4.4.3 Allgemeine Konvergenzsatze. . . 82
4.5 Schrittweitenverfahren........... 86
4.5.1 Exakte Schrittweitenbestimmung . 87
4.5.2 Schrittweitenverfahren von Armijo 89
4.5.3 Schrittweitenverfahren von Powell 93
4.5.4 Allgemeine Konvergenzresultate 97
4.6 Das Gradientenverfahren. . . . . . . . 97
4.6.1 Richtung des steilsten Abstiegs 97
4.6.2 Das Verfahren ....... 98
4.6.3 Numerische Resultate . . . 99
4.7 Das gedampfte Newton-Verfahren . 106
4.7.1 Das Verfahren ....... 107
4.7.2 Richtung des steilsten Abstiegs 108
4.7.3 Konvergenz des Verfahrens .. 109
4.7.4 Modifikationen des Verfahrens 117
4.7.5 Numerische Resultate . . . . . 117
4.8 Variable-Metrik- und Quasi-Newton-Verfahren 121
4.8.1 Allgemeine Form der Verfahren . . . . . 121
4.8.2 Globale Konvergenz von Variable-Metrik-Verfahren . 121
4.8.3 Quasi-Newton-Verfahren................ 123
4.8.4 Die BFGS-Updateformel. . . . . . . . . . . . . . . . 124
4.8.5 Das BFGS-Verfahren fUr quadratische Optimierungsprobleme 126
4.8.6 Das BFGS-Verfahren fUr nichtlineare Optimierungsprobleme 130
4.8.7 Numerische Resultate . . . . . . . . . . . . . . . . . . 131
4.9 Verfahren konjugierter Richtungen . . . . . . . . . . . . . . . 135
4.9.1 CG-Verfahren fur quadratische Optimierungsprobleme 135
4.9.2 CG-Verfahren fUr nichtlineare Optimierungsprobleme 138
4.9.3 Numerische Resultate 139
4.10 Trust-Region-Verfahren .. . .... . 142
4.10.1 EinfUhrung ............ . 142
4.10.2 Ein Trust-Region-Newton-Verfahren 144
4.10.3 Das Trust-Region-Hilfsproblem 154
4.10.4 Numerische Resultate ..... . 155
4.11 Anwendungen .............. . 157
4.11.1 Nichtlineare Ausgleichsprobleme 157
. 4.11.2 Parameterschatzung bei Differentialgleichungen 160
4.11.3 Optimale Steuerung ............. . 164
5 Optimierungsprohleme mit linearen Restriktionen: Theorie 175
5.1 Grundlagen und Beispiele ............ . 175
5.1.1 Existenz und Eindeutigkeit von L6sungen 175
5.1.2 Quadratische Minimierungsprobleme 176
5.1.3 Beispiel: Lagerhaltung ...... . 176
5.2 Optimalitatsbedingungen erster Ordnung 179
5.3' Optimalitatsbedingungen zweiter Ordnung . 184
5.3.1 Notwendige Bedingungen 184
5.3.2 Hinreichende Bedingungen. . . . . . 185
5.4 Lineare Gleichungsnebenbedingungen ...... . 189
5.4.1 Problemstellung und Beispiele ..... . 189
5.4.2 Optimalitatsbedingungen erster Ordnung 190
5.4.3 Optimalitatsbedingungen zweiter Ordnung 191
5.4.4 Nullraum-Matrizen ......... . 192
5.4.5 Quadratische Minimierungsprobleme 196
5.4.6 Parameterabhangige Probleme ... 197
5.4.7 Dynamische Optimierungsprobleme 202
5.5 Lineare Ungleichungsnebenbedingungen .. 207
5.5.1 Problemstellung und Beispiele ... 207
5.5.2 Notwendige Optimalitatsbedingungen 208
5.5.3 Hinreichende Optimalitatsbedingungen . 215
5.5.4 Strikte Komplementaritat . . . . . . . . 218
5.5.5 Parameterabhangige Probleme . . . . . 218
5.5.6 Probleme mit Variablenbeschrankungen 223
6 Optimierungsprohleme mit linearen Restriktionen: Verfahren 225
6.1 Quadratische Probleme mit Gleichungsrestriktionen . 225
6.2 Quadratische Probleme mit Ungleichungsrestriktionen 229
6.3 Nichtlineare Probleme mit Gleichungsrestriktionen . 240
6.4 Nichtlineare Probleme mit Ungleichungsrestriktionen 246
6.4.1 Ein Newton-SQP-Verfahren fUr (PLU) 246
6.4.2 Variable-Metrik-Verfahren........... 252
7 Optimierungsprohleme mit nichtlinearen Restriktionen: Theorie 259
7.1 Grundlagen und Beispiele . . . . . . . . . . 259
7.2 Optimalitatsbedingungen erster Ordnung . 261
7.3 Optimalitatsbedingungen zweiter Ordnung . 281
7.4 Parameterabhangige Probleme ....... 284
8 Optimierungsprohleme mit nichtlinearen Restriktionen: Verfahren 291
8.1 Das Lagrange-Newton-SQP-Verfahren 291
8.2 Sequentielle quadratische Minimierung 295
8.2.1 Berechnung der Suchrichtung . 296
8.2.2 Berechnung der Schrittweite . . 301
8.2.3 Grundversion des SQP-Verfahrens 303
-8.2.4 Globale Konvergenz im konvexen Fall 304
8.3 Anwendungen........... 305
8.3.1 Optimale Steuerung . . . 305
8.3.2 Parameterschatzprobleme 307
Index 315
Notationen
n-dimensionaler Euklidischer Raum
(., .) Skalarprodukt im ]R.n
B(x,r) offene Kugel mit Radius r urn x
B(x, r) abgeschlossene Kugel mit Radius r urn x
f' Ableitung von f
\7f Gradient von f
fx partielle Ableitung von f nach x
f'(X, d) Richtungsableitung von f
On Nullvektor im ]R.n
e1
ej Einheitsvektoren im ]R.n; e~ = 1, = 0 fur i =i j
In Einheitsmatrix der Dimension n
intA Menge der inneren Punkte von A
clA, A Abschluss der Menge A
coA konvexe Hulle von A
N(J,a) Niveaumengen der Funktion f
N(C,x) N ormalenkegel an C in x
T(S,x) Tangentialkegel an S in x
Nb. Abkurzung fur "unter der/den Nebenbedingung/en"