Acta Numerica 1993 (Volume 2)

331 Pages·1993·17.469 MB·English

by  Arieh Iserles (Editor)

Acta 
N umeric a
ActaN  umeric a 1993
Managing Editor
A.I serles
DAMTP, University of Cambridge, Silver Street
Cambridge CB3 9EW, England
Editorial Board
C. de Booi; University of Wisconsin, Madison, USA
F. Brezzi, lnstituto di Analisi Numerica del CNR, Italy
J.C. Butchei; University of Auckland, New Zealand
RG. Ciarlet, Universite'Paris VI, France
G.H. Golub, Stanford University, USA
H.B. Kellei; California Institute of Technology, USA
H.­O . Kreiss, University of California, Los Angeles, USA
K.W. Morton, University of Oxford, England
M.J.D. Powell, University of Cambridge, England
R. Temam, Universite Paris Sud, France
eta
Nu  meric a
1993
CAMBRIDGE
UNIVERSITY PRES S
Published by the Press Syndicate oft he University of Cambridge
The Pitt Building, Trumpington Street, Cambridge CB2 1RP
40 West 20th Street, New York, NY 100114­ 211 , USA
10S  tamford  Road, Oakleigh, Melbourne 3166,A  ustralia
© Cambridge University Press 1993
First published 1993
Printed in Canada
Library of Congress cataloging in publication data available
A catalogue record for this book is available from the British Library
ISBN 05­ 214­ 4356 3 hardback
Contents
Continuation and path following 1
Eugene L. Allgower and Kurt Georg
Multivariate piecewise polynomials 65
C. de Boor
Parallel numerical linear algebra  Il l
James W. Demmel, Michael T. Heath and Henk A. van der Vorst
Linear stability analysis in the numerical solution of initial value
problems 199
J.L.M. van Dorsselaer, J.F.B.M. Kraaijevanger and M.N. Spijker
Finite element solution of the Navier-Stokes equations 239
Michel Fortin
Old and new convergence proofs for multigrid methods 285
Harry Yserentant
Ada Numerica  (1993), pp.1  6­ 4
Continuation and path following
Eugene L. Allgower* an d Kur t Georg *
Department of Mathematics
Colorado State University
Ft. Collins, CO 80523, USA
E-mail: [email protected]
The main ideas of path following by predictor­correcto r and piecewisel­inea r
methods, and their application int hed  irection ofh  omotopy methods and non­
linear eigenvalue problems are reviewed.  Further new applications t o areas
such as polynomial systems of equations, linear eigenvalue problems, interior
methods forl inear programming, parametric programming and complex bi­
furcation  ar es  urveyed.  Complexity issues an da  vailable software ar ea  lso
discussed.
CONTENTS
1  Introduction  1
2  Th e basics of predictor­correcto r pat h following  3
3  Aspects of implementations  7
4  Applications  15
5  Piecewisel­inea r methods  3 4
6  Complexity  4 1
7  Available software  4 4
References  4 7
1.  Introductio n
Continuation, embedding or homotopy methods have long served as useful
theoretical tools i nm  odern mathematics .  Their use can be traced backa  t
least t o suchv  enerated worksa  st  hoseo  fP  oincare (18811­ 886) , Klein (1882 ­
1883) and Bernstein (1910). Leray and Schauder (1934) refined th e tool and
presented i t as a g  lobal result i nt opology, viz. th e homotopy invariance of
degree.  The use ofd  eformations t os  olve nonlinear systems of equations
may b et raced back a t least t o Lahaye (1934).  Th e classical embedding
* Partially supported by the National Science Foundation via grant no. DMS9­ 104058 .
2  E.  ALLGOWER AND K.  GEORG
methods weret  h e first deformation methods t o be numerically implemented
and may be regarded as a forerunner of th e predictor­correcto r methods for
path following which wew  ill discuss here.
Becauseo  ft heir versatility and robustness, numericalc  ontinuation or pat h
following methods haven  owb  eenf  indinge  ver wider usei  n scientific applica­
tions. Our aim here ist  o present someo  ft  h e recent advances in this subject
regarding new adaptations , applications, and analysis ofe  fficiency and com­
plexity.  To make th e discussion relatively selfc­ ontained ,  we review some
of th e background of numerical continuation methods.  Introductions into
aspects of th e subject may be found in th e books by Garcia and Zangwill
(1981), Gould and Tolle (1983), Keller  (1987), Rheinboldt  (1986), Seydel
(1988) and Todd (1976a). Th e philosophy and notatio n of th e present arti ­
cle will be tha t of our book Allgower and Georg (1990), which also contains
an extensive bibliography u p t o 1990.
The viewpoint which will be adopted here is tha t numerical continuation
methods ar e techniques for numerically approximating a solution curve c
which is implicitly defined by an underdetermined system of equations. In
the literatur e of numerical analysis, th e term s numerical continuation and
path following are used interchangeably.
There ar e various objectives for which th e numerical approximation of c
canb  eu  seda  nd , depending upon th eo  bjective, th ea  pproximating technique
is adapte d accordingly.  In fact, continuation is a unifying concept, under
which various numerical methods may be subsumed which may otherwise
have very littl e in common.  For example, simplicial fixed point methods
for solving problems in mathematica l economics, th e generation of bifurca­
tion diagrams of nonlinear eigenvalue problems involving partia l differential
equations, and th e recently developed interior point methods for solvingl in­
ear programming problems seem t o be quite unrelated. Nevertheless, there
is some benefit in considering the m as special cases of pat h following.  We
personally are struck by th e remarkable fact tha t a technique which wasi ni­
tially developed for solving difficult nonlinear problems nowt  urn s out t o be
extremely useful for treatin g various problems which are essentially linear:
e.g. linear eigenvalue problems, and linear programming and complementar­
ity problems.
The remainder of th e article is organized as follows.  Section 2 contains
the basic ideas of predictor­correcto r pat h following methods. In Section 3
somet  echnical aspects of implementing predictor­correcto r methods are ad­
dressed, e.g. th e numerical linear algebra involved and steplength strategies.
Section 4 deals with various applications of pat h following methods. We
begin with a brief discussion of homotopy methods forf  ixedp  oint problems
and global Newton methods . Then wea  ddress th e problem off  indingm  ulti­
ple solutions. In particular , wed  iscuss recent homotopy methods for finding
all solutions of polynomial systems of equations. Next wes  urvey some pat h
CONTINUATION AND PATH FOLLOWING  3
following aspectso  fn  onlinear eigenvaluep  roblems, an d address th e question
of handling bifurcations.  Finally, thre e new developments i np  at h following
are discussed: (1) Th e solution ofl  inear eigenvalue problems via special ho­
motopy approaches; (2)t h e handling ofp  arametri c programming problems
by following certain branches ofc  ritical points via active se ts  trategies; an d
(3) th e pat h following aspects involved i n th e interior point methods for
solving linear and quadrati c programming problems.
Section 5  presents a n introduction t o th e principles of piecewise linear
methods. These methods view pat h following i na  d  ifferent light: instead of
approximately following a s  mooth solution curve, the y exactly follow a n ap ­
proximate curve (i.e. a p  olygonal path) . Some instances where these meth­
ods are useful are discussed, e.g. linear complementarity problems o rh  omo­
topy methods where predictor­correcto r  methods ar en  o t implementable,
because ofl ack ofs  moothness. We also briefly address th er  elated topico  f
approximating implicitly defined surfaces.
The issueo  f th e computational complexity of pat h following is considered
in Section 6. This issue isr elated t ot h e NewtonK­ antorovic h theory andi  s
currently ofc  onsiderable interest i nt h e context ofi nterior point methods .
We conclude b yl isting some available software related t o pat h following
and indicate how th e reader might access these codes. No attemp t t oc  om­
pare or evaluate th e various codes iso  ffered. I na  ny case, our opinion is tha t
path following codes always need t ob  ec  onsiderably adapte d t ot  h e special
purposes forw  hich they ar ed  esigned.  Th e pat h following literatur e  offers
various toolsf  ora  ccomplishing such tasks . Although ther e are some general
purpose codes, probably none will slay every dragon.
The extensive bibliography contains only cited items.  Space considera­
tions prohibited th e addressing ofs  ome importan t topics, and consequently
some significant  recent contributions t o th ef  ielda  r en  o t contained i n th e
bibliography.
2. The basics of predictor-corrector path following
The simplest (an d most frequently occurring) case ofa  n underdetermined
system ofn  onlinear equations contains jus t one degree of freedom:
H(u) =  0 where H : RN+1 »­ RN isa   smooth map .  (2.1 )
When we sayt ha t a  map iss  mooth we shall mean tha t i t ha sa  s many
continuous derivatives a st h e context oft h e discussion requires. For conve­
nience,t  h e reader may assume C°°. I no  rder t oa  pply th e Implicit Function
Theorem, we need th e following standar d
Definition 2.1  We call u a regular point of H ift  h e Jacobian H'(u)h  a s
maximal rank.  We call y a regular value of H if u i s a  regular point of
4  E.  ALLGOWER AND K.  GEORG
H whenever H(u) = y.  If a point or value is not regular, then it is called
singular.
Let UQ e RN+1  be a regular point of H such tha t H(UQ)  = 0.  I t follows
from th e Implicit Function Theorem tha t th e solution set H~  1(0) can be
locally parametrized abou t uo with respect t o some coordinate.  By a re­
parametrization (according t o arclength) , weo  btain a smooth curve c : J —
J^AT+I £  open interval J containing zero such tha t for all s € J:
or som e
c(0) = u   (2.2)
0
H'(c(s))c(s) = 0,  (2.3)
||c(a)|| = 1,  (2.4)
det
Thesec  onditions uniquely determine th et  angent c(s). Herea  nd int  h e fol­
lowing, ( . )* denotes th e Hermitian transpos e and || . || th e Euclidean norm.
Condition (2.4) normalizes th e parametrizatio n t o arclength.  This is only
for theoretical convenience, and it is not an intrinsic restriction.  Condition
(2.5) chooses one of th e two possible orientations.
The preceding discussion motivates th e following
Definition 2.2  Let A be an (JV,iV|­l­)m­ atri x with maximal rank.  For
the purpose of our exposition, th e unique vector t(A) 6 R^ +1 satisfying th e
conditions
At = 0,  (2.6)
ll'll =  1,  (27­ )
det (£ } >0  ,  (2.8)
will be called th e tangent vector induced by A.
Making use of thi s definition, solution curve c(s) is characterized as th e
solution of th e initial value problem
u = t(H'(u)), ti(0) = u   (2.9)
o
which in thi s context is occasionally attribute d  t o Davidenko (1953), see
also Branin (1972). Note tha t th e domain {u €  R^ +1  : u is a regular point }
is open.  This differential  equation is not used in efficient  pat h  following
algorithms,  bu t  it serves as a useful  device in analysing th e path .  Two
examples are:
Lemma 2. 3  Let (a, b)b  e th e maximal interval of existence for (2.9). If a