Numerical Methods of Optimum Experimental Design Based on a Second-Order Approximation of ...

172 Pages·2015·2.99 MB·English

PhD Thesis
Numerical Methods of Optimum
Experimental Design Based on a
Second-Order Approximation of
Confidence Regions
Inaugural-Dissertation zur Erlangung der Doktorwu¨rde der Fakult¨at fu¨r
Mathematik und Informatik
der
Philipps-Universita¨t Marburg
vorgelegt von
Max Nattermann
aus
Wipperfu¨rth
Juli 2014
Gutachter:
Prof. Dr. Ekaterina Kostina, Philipps-Universit¨at Marburg
Prof. Dr. Dr. h.c. Hans Georg Bock, Ruprecht-Karls-Universit¨at Heidelberg

Dissertation
Numerical Methods of Optimum
Experimental Design Based on a
Second-Order Approximation of
Confidence Regions
vorgelegt von
Max Nattermann
aus
Wipperfu¨rth
Philipps-Universit¨at Marburg
Fachbereich Mathematik und Informatik
Hans-Meerwein-Straße, 35032 Marburg
AngefertigtmitGenehmigungdesFachbereichsMathematikundInformatikderPhilipps-
Universit¨at Marburg.
Gutachter:
Prof. Dr. Ekaterina Kostina, Philipps-Universita¨t Marburg
Prof. Dr. Dr. h.c. Hans Georg Bock, Ruprecht-Karls-Universita¨t Heidelberg
Pru¨fungskommission:
Prof. Dr. Ekaterina Kostina, Philipps-Universita¨t Marburg
Prof. Dr. Dr. h.c. Hans Georg Bock, Ruprecht-Karls-Universita¨t Heidelberg
Prof. Dr. Hajo Holzmann, Philipps-Universita¨t Marburg
Datum der Abgabe: 28. Juli 2014
Datum der Disputation: 27. Oktober 2014
Abstract
Asuccessfulapplicationofmodel-basedsimulationandoptimizationofdynamicprocesses
requiresanexactcalibrationoftheunderlyingmathematicalmodels. Here,afundamental
task is the estimation of unknown and nature given model coefficients by means of real
observations. After an appropriate numerical treatment of the differential systems, the
parameters can be estimated as the solution of a finite dimensional nonlinear constrained
parameter estimation problem. Due to the fact that the measurements always contain
defects, the resulting parameter estimate cannot be seen as an ultimate solution and a
sensitivity analysis is required, to quantify the statistical accuracy. The goal of the design
of optimal experiments is the identification of those measurement times and experimental
conditions, which allow a parameter estimate with a maximized statistical accuracy. Also
thedesignofoptimalexperimentsproblemcanbeformulatedasanoptimizationproblem,
wheretheobjectivefunctionisgivenbyasuitablequalitycriterionbasedonthesensitivity
analysis of the parameter estimation problem.
In this thesis, we develop a quadratic sensitivity analysis to enable a better assess-
ment of the statistical accuracy of a parameter estimate in the case of highly nonlinear
model functions. The newly introduced sensitivity analysis is based on a quadratically
approximated confidence region which is an expansion of the commonly used linearized
confidence region. The quadratically approximated confidence region is analyzed exten-
sivelyandadequateboundsareestablished. Itisshownthatexactboundsofthequadratic
components can be obtained by solving symmetric eigenvalue problems. One main result
of this thesis is that the quadratic part is essentially bounded by two Lipschitz constants
κ and ω, which also characterize the Gauss-Newton convergence properties. This bound
can also be used for an approximation error of the validity of the linearized confidence
regions. Furthermore, we compute a quadratic approximation of the covariance matrix,
which delivers another possibility for the statistical assessment of the solution of a pa-
rameter estimation problem. The good approximation properties of the newly introduced
sensitivity analysis are illustrated in several numerical examples.
In order to robustify the design of optimal experiments, we develop a new objective
function—the Q-criterion—based on the introduced sensitivity analysis. Next to the
trace of the linear approximation of the covariance matrix, the Q-criterion consists of the
Lipschitz constants κ and ω. Here, we especially focus on a numerical computation of an
adequate approximation of κ. The robustness properties of the new objective function in
termsofparameteruncertaintiesisinvestigatedandcomparedtoaworst-case formulation
of the design of optimal experiments problem. It is revealed that the Q-criterion covers
the worst-case approach of the design of optimal experiments problem based on the A-
criterion. Moreover, the properties of the new objective function are considered in several
examples. Here, it becomes evident that the Q-criterion leads to a drastic improve of the
Gauss-Newton convergence rate at the following parameter estimation.
Furthermore, in this thesis we consider efficient and numerically stable methods of pa-
rameter estimation and the design of optimal experiments for the treatment of multiple
experiment parameter estimation problems. In terms of parameter estimation and sensi-
tivity analysis, we propose a parallel computation of the Gauss-Newton increments and
the covariance matrix based on orthogonal decompositions. Concerning the design of op-
timal experiments, we develop a parallel approach to compute the trace of the covariance
matrix and its derivative.
V
Zusammenfassung
Der erfolgreiche Einsatz modellbasierter Simulationen und Prozess-Optimierungen von
dynamischen Prozessen erfordert eine pr¨azise Kalibrierung der zugrundeliegenden ma-
thematischen Modelle. Eine grundlegende Schwierigkeit ist dabei die Identifikation von
unbekannten und naturgegebenen Modellkoeffizienten anhand von realen Beobachtungen.
Nach einer geeigneten numerischen Behandlung des Differentialgleichungssystems k¨onnen
diese Parameter als L¨osung eines endlich dimensionalen, nichtlinearen und beschr¨ankten
Optimierungsproblemsgesch¨atztwerden.DadieMesswertestetsmitMessfehlernbehaftet
sind,kanndieresultierendeSch¨atzungnichtalsendgu¨ltigangesehenwerdenundesbedarf
einer Sensitivit¨atsanlyse, um den Einfluss der Messfehler auf die Parametersch¨atzung zu
quantifizieren. Das Ziel der optimalen Versuchsplanung ist die Identifikation derjenigen
Messzeitpunkte und experimentellen Bedingungen, welche eine Parametersch¨atzung mit
einer maximalen statistischen Gu¨te erlauben. Auch das Versuchsplanungsproblem kann
als beschr¨anktes Optimierungsproblem formuliert werden, dessen Zielfunktion auf einem
geeignetenGu¨tekriteriumaufBasisderSensitivit¨atsanalysedesParametersch¨atzproblems
basiert.
Zur besseren Einsch¨atzung der statistischen Gu¨te der Parametersch¨atzungen bei hoch-
gradig nichtlinearen Modellfunktionen wird in dieser Arbeit eine quadratische Sensiti-
vit¨atsanalyse entwickelt. Basis der neu eingefu¨hrten Sensitivit¨atsanalyse ist ein quadra-
tisch approximiertes Konfidenzgebiet, welches eine Erweiterung der u¨blicherweise ver-
wendeten linearisierten Konfidenzgebiete darstellt. Das neu definierte Konfidenzgebiet
wird ausfu¨hrlich analysiert und geeignete Schranken werden hergeleitet. Dabei wird ge-
zeigt, dass exakte Schranken fu¨r die quadratischen Anteile des Konfidenzgebietes auf
die L¨osungen von symmetrischen Eigenwertproblemen zuru¨ckgefu¨hrt werden k¨onnen. Ein
weiteres grundlegendes Resultat ist, dass der quadratische Anteil im Wesentlichen durch
zwei Lipschitzkonstanten κ und ω beschr¨ankt ist, welche auch die Konvergenzeigenschaf-
ten des Gauß-Newton-Verfahrens charakterisieren. Diese Schranke kann auch als Fehler-
absch¨atzung fu¨r die Gu¨ltigkeit der linearisierten Konfidenzgebiete herangezogen werden.
Zus¨atzlich wird eine quadratische Approximation der Kovarianzmatrix berechnet, welche
eine weitere M¨oglichkeit zur Einsch¨atzung der statistischen Gu¨te von L¨osungen von Para-
metersch¨atzproblemen darstellt. Auch hier werden Parameterabh¨angigkeiten des Modells
bis zur zweiten Ordnung beru¨cksichtigt. Die guten Approximationseigenschaften der neu
eingefu¨hrten Sensitivit¨atsanalyse werden an mehreren Beispielen demonstriert.
Zur Robustifizierung der optimalen Versuchsplanung wird in dieser Arbeit eine neue
Zielfunktion-dasQ-Kriterium-aufBasisdereingefu¨hrtenSensitivit¨atsanalyseentwickelt.
Neben der Spur der linearen Approximation der Kovarianzmatrix sind die Lipschitzkon-
stanten κ und ω wesentliche Bestandteile des Q-Kriteriums. Hierbei wird insbesondere
auf die numerische Berechnung bzw. eine geeignete Approximation der Lipschitzkonstan-
ten κ eingegangen. Die Robustheit der neuen Zielfunktion gegenu¨ber Unsicherheiten in
den Parameterwerten wird untersucht und mit einer Worst-Case-Formulierung des Ver-
suchsplanungsproblems unter Verwendung des A-Kriteriums verglichen. Dabei stellt sich
heraus, dass die Verwendung des Q-Kriteriums die Worst-Case-Robustifizierung der op-
timalen Versuchsplanung unter Verwendung des A-Kriteriums bereits beinhaltet. Die Ei-
genschaften der neuen Zielfunktion der optimalen Versuchsplanung werden an diversen
Beispielen untersucht. Hier zeigt sich insbesondere, dass bei der anschließenden Parame-
tersch¨atzungdieAnzahlderben¨otigtenGauß-Newton-Iterationsschrittedeutlichreduziert
werden kann.
Des Weiteren werden in dieser Arbeit effiziente und numerisch stabile Berechnungsme-
thodenderParametersch¨atzungundderoptimalenVersuchsplanungfu¨rParametersch¨atz-
probleme mit einer Mehrfachexperimentstruktur betrachtet. Fu¨r die Parametersch¨atzung
und Sensitivit¨atsanalyse werden eine parallele Berechnung der Gauß-Newton-Inkremente
sowiederKovarianzmatrixaufBasisvonorthogonalenZerlegungenvorgeschlagen.Schließ-
lich wird fu¨r die optimale Versuchsplanung eine parallele Vorgehensweise zur Berechnung
der Spur der Kovarianzmatrix bzw. deren Ableitung entwickelt.
VII
Acknowledgments
First of all, I would like to express my deepest thanks to my adviser Prof. Dr. Ekaterina
Kostina for the academic and personal guidance she provided. Many of her ideas have
crucially contributed to this thesis and I appreciate her constant encouragement.
I would like to express my great appreciation to Prof. Dr. Dres. h. c. Hans Georg
Bock, the second reviewer of my thesis and Prof. Dr. Hajo Holzmann, the third referee
of my thesis.
I would like to acknowledge all my colleagues from the department of mathematics and
computer science the nice working atmosphere we always had. Especially, I would like to
thank Dr. Tanja Binder, who has been my office mate for quite a long time. Thank you
Tanja for your never ending support, the good conversations, and for a great friendship.
Furthermore, I would like to thank my office mate Hilke Stibbe for her reliable support
and the good time we had at the office. I also would like to thank Dr. Alexandra Herzog
and Gregor Kriwet for the many academical and non-academical conversations we had
and their great support.
Very special thanks go to Grigory Alexandrovich, Dirk Engel, Matthias Eulert, Tobias
Filusch, Dr. Daniel Hohmann, Dr. Florian Ketterer, Anna Leister, and Dr. Florian
Schwaiger for the every day entertainment at lunch time and for the fun at our ping-pong
and dart competitions.
I owe so much thanks to my wife Stephanie for her support, understanding, and help
over the last years, and also to my little daughter Laura, who always had a smile for me
when I came home. I would like to thank my parents for supporting me all the time and
being mentors, friends and reliable advisers in my life. Without my parents’ support I
would not be where I am today. Furthermore, Im am very grateful to my siblings Lukas,
Eva, and Nora; especially to Lukas, for supporting me all the time and the good time we
had at our shared apartment. Last but not least I would like to thank Brigitte and Gerd
Deyhle for their spontaneous support whenever I needed it.
I thankfully acknowledge the Federal Ministry of Education and Research for funding
my Ph.D. study.
List of Symbols
Euclidean norm ( x = x2)
k·k2 k k i i
α probability level ( [0,1]q)
∈ P
Ak Jacobi matrix of the function Fk wrt. p
p 1
Ak Jacobi matrix of the function Fk wrt. x
x 1 x
bk Multiple Shooting continuity conditions of the k-th experiment
j
B deterministic part of the Hessian of the PE problem
Bk Jacobi matrix of the function Fk wrt. p
p 2
Bk Jacobi matrix of the function Fk wrt. x
x 2 x
χ DoE inequality constraints
χk DoE inequality constraints of the k-th experiment
linear approximation of the covariance matrix
C
quadratic approximation of the covariance matrix
2
C
∆p Gauss-Newton increment of the global parameter vector p
∆xk Gauss-Newton increments of the local parameter vectors xk
dJ total derivative of the Jacobian J
dJ+ total derivative of the generalized inverse J+
linearized confidence region (constrained case)
lin
D
linearized confidence region (constrained case)
lin
D
linearized confidence region (unconstrained case)
lin
DU
likelihood ratio confidence region (constrained case)
lr
D
likelihood ratio confidence region (unconstrained case)
lr
DU
quadratic approximation of confidence region (constrained case)
quad
D
quadratic approximation of confidence region (unconstrained case)
quad
DU
ε vector of all the measurement errors εT = ((ε1)T,...,(εM)T)
εk measurement errors of the k-th experiment
η vector of all the measurements ηT = ((η1)T,...,(ηM)T)
ηk measurements of the k-th experiment
E random part of the Hessian of the PE problem
fk right hand side of the differential equations of the k-th experiment
F PE function FT = (FT,FT)
1 2
F PE objective function FT = ((F1)T,...,(FM)T)
1 1 1 1
Fk PE objective function of the k-th experiment
1
F PE equality constraints FT = ((F1)T,...,(FM)T)
2 2 2 2
Fk PE equality constraints of the k-th experiment
2
γ2 (1 α)-quantile of the χ2-distribution and the F-distribution,
n −
respectively
hk observation functions of the k-th experiment
J Jacobi matrix of the function F
KKT matrix of the parameter estimation problem
J