Introduction to Methods of Applied Mathematics or Advanced Mathematical Methods for Scientists and Engineers

1441 Pages·2002·6.61 MB·English

by  Mauch S.

Introduction to Methods of Applied Mathematics
or
Advanced Mathematical Methods for Scientists and Engineers
Sean Mauch
October 12, 2002
2
Contents
Anti-Copyright xv
Preface xvii
0.1 Advice to Teachers . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . xvii
0.2 Acknowledgments . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . xvii
0.3 Warnings and Disclaimers . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . xvii
0.4 Suggested Use. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . xviii
0.5 About the Title . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . xviii
I Algebra 1
1 Sets and Functions 3
1.1 Sets . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3
1.2 Single Valued Functions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4
1.3 Inverses and Multi-Valued Functions . . . . . . . . . . . . . . . . . . . . . . . . . . . 5
1.4 Transforming Equations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7
1.5 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9
1.6 Hints . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11
1.7 Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12
2 Vectors 17
2.1 Vectors . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17
2.1.1 Scalars and Vectors . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17
2.1.2 The Kronecker Delta and Einstein Summation Convention. . . . . . . . . . . 19
2.1.3 The Dot and Cross Product . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19
2.2 Sets of Vectors in n Dimensions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23
2.3 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25
2.4 Hints . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26
2.5 Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27
II Calculus 31
3 Differential Calculus 33
3.1 Limits of Functions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33
3.2 Continuous Functions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36
3.3 The Derivative . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38
3.4 Implicit Differentiation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 40
3.5 Maxima and Minima . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41
3.6 Mean Value Theorems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43
3.6.1 Application: Using Taylor’s Theorem to Approximate Functions. . . . . . . . 45
3.6.2 Application: Finite Difference Schemes. . . . . . . . . . . . . . . . . . . . . . 47
i
3.7 L’Hospital’s Rule . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49
3.8 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 53
3.9 Hints . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 56
3.10 Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 60
4 Integral Calculus 73
4.1 The Indefinite Integral . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 73
4.2 The Definite Integral . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 76
4.2.1 Definition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 76
4.2.2 Properties . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 77
4.3 The Fundamental Theorem of Integral Calculus . . . . . . . . . . . . . . . . . . . . . 78
4.4 Techniques of Integration . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 79
4.4.1 Partial Fractions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 79
4.5 Improper Integrals . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 81
4.6 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 83
4.7 Hints . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 85
4.8 Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 87
5 Vector Calculus 93
5.1 Vector Functions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 93
5.2 Gradient, Divergence and Curl . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 93
5.3 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 99
5.4 Hints . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 101
5.5 Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 102
III Functions of a Complex Variable 109
6 Complex Numbers 111
6.1 Complex Numbers . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 111
6.2 The Complex Plane . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 113
6.3 Polar Form . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 115
6.4 Arithmetic and Vectors . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 118
6.5 Integer Exponents . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 119
6.6 Rational Exponents . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 121
6.7 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 124
6.8 Hints . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 128
6.9 Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 130
7 Functions of a Complex Variable 147
7.1 Curves and Regions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 147
7.2 The Point at Infinity and the Stereographic Projection . . . . . . . . . . . . . . . . . 149
7.3 Cartesian and Modulus-Argument Form . . . . . . . . . . . . . . . . . . . . . . . . . 151
7.4 Graphing Functions of a Complex Variable . . . . . . . . . . . . . . . . . . . . . . . 152
7.5 Trigonometric Functions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 155
7.6 Inverse Trigonometric Functions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 158
7.7 Riemann Surfaces. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 164
7.8 Branch Points . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 165
7.9 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 176
7.10 Hints . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 182
7.11 Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 185
ii
8 Analytic Functions 219
8.1 Complex Derivatives . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 219
8.2 Cauchy-Riemann Equations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 223
8.3 Harmonic Functions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 226
8.4 Singularities . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 229
8.4.1 Categorization of Singularities . . . . . . . . . . . . . . . . . . . . . . . . . . 229
8.4.2 Isolated and Non-Isolated Singularities . . . . . . . . . . . . . . . . . . . . . . 231
8.5 Application: Potential Flow . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 232
8.6 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 236
8.7 Hints . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 240
8.8 Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 242
9 Analytic Continuation 263
9.1 Analytic Continuation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 263
9.2 Analytic Continuation of Sums . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 264
9.3 Analytic Functions Defined in Terms of Real Variables . . . . . . . . . . . . . . . . . 265
9.3.1 Polar Coordinates . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 268
9.3.2 Analytic Functions Defined in Terms of Their Real or Imaginary Parts . . . . 271
9.4 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 273
9.5 Hints . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 274
9.6 Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 275
10 Contour Integration and the Cauchy-Goursat Theorem 279
10.1 Line Integrals . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 279
10.2 Contour Integrals . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 280
10.2.1 Maximum Modulus Integral Bound . . . . . . . . . . . . . . . . . . . . . . . . 282
10.3 The Cauchy-Goursat Theorem . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 282
10.4 Contour Deformation. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 283
10.5 Morera’s Theorem. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 284
10.6 Indefinite Integrals . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 285
10.7 Fundamental Theorem of Calculus via Primitives . . . . . . . . . . . . . . . . . . . . 286
10.7.1 Line Integrals and Primitives . . . . . . . . . . . . . . . . . . . . . . . . . . . 286
10.7.2 Contour Integrals . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 286
10.8 Fundamental Theorem of Calculus via Complex Calculus . . . . . . . . . . . . . . . 287
10.9 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 289
10.10Hints . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 291
10.11Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 292
11 Cauchy’s Integral Formula 299
11.1 Cauchy’s Integral Formula . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 299
11.2 The Argument Theorem . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 303
11.3 Rouche’s Theorem . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 305
11.4 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 306
11.5 Hints . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 309
11.6 Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 310
12 Series and Convergence 319
12.1 Series of Constants . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 319
12.1.1 Definitions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 319
12.1.2 Special Series . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 320
12.1.3 Convergence Tests . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 321
12.2 Uniform Convergence . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 325
12.2.1 Tests for Uniform Convergence . . . . . . . . . . . . . . . . . . . . . . . . . . 326
12.2.2 Uniform Convergence and Continuous Functions. . . . . . . . . . . . . . . . . 327
12.3 Uniformly Convergent Power Series . . . . . . . . . . . . . . . . . . . . . . . . . . . . 328
iii
12.4 Integration and Differentiation of Power Series . . . . . . . . . . . . . . . . . . . . . 332
12.5 Taylor Series . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 334
12.5.1 Newton’s Binomial Formula. . . . . . . . . . . . . . . . . . . . . . . . . . . . 335
12.6 Laurent Series. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 337
12.7 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 339
12.8 Hints . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 347
12.9 Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 352
13 The Residue Theorem 379
13.1 The Residue Theorem . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 379
13.2 Cauchy Principal Value for Real Integrals . . . . . . . . . . . . . . . . . . . . . . . . 384
13.2.1 The Cauchy Principal Value . . . . . . . . . . . . . . . . . . . . . . . . . . . . 384
13.3 Cauchy Principal Value for Contour Integrals . . . . . . . . . . . . . . . . . . . . . . 386
13.4 Integrals on the Real Axis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 389
13.5 Fourier Integrals . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 391
13.6 Fourier Cosine and Sine Integrals . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 393
13.7 Contour Integration and Branch Cuts . . . . . . . . . . . . . . . . . . . . . . . . . . 394
13.8 Exploiting Symmetry. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 396
13.8.1 Wedge Contours . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 396
13.8.2 Box Contours . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 398
13.9 Definite Integrals Involving Sine and Cosine . . . . . . . . . . . . . . . . . . . . . . . 399
13.10Infinite Sums . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 400
13.11Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 403
13.12Hints . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 411
13.13Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 415
IV Ordinary Differential Equations 465
14 First Order Differential Equations 467
14.1 Notation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 467
14.2 One Parameter Families of Functions . . . . . . . . . . . . . . . . . . . . . . . . . . . 468
14.3 Exact Equations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 469
14.3.1 Separable Equations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 472
14.3.2 Homogeneous Coefficient Equations . . . . . . . . . . . . . . . . . . . . . . . 473
14.4 The First Order, Linear Differential Equation . . . . . . . . . . . . . . . . . . . . . . 476
14.4.1 Homogeneous Equations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 476
14.4.2 Inhomogeneous Equations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 476
14.4.3 Variation of Parameters. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 478
14.5 Initial Conditions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 478
14.5.1 Piecewise Continuous Coefficients and Inhomogeneities. . . . . . . . . . . . . 479
14.6 Well-Posed Problems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 482
14.7 Equations in the Complex Plane . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 484
14.7.1 Ordinary Points . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 484
14.7.2 Regular Singular Points . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 485
14.7.3 Irregular Singular Points . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 489
14.7.4 The Point at Infinity . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 490
14.8 Additional Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 492
14.9 Hints . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 494
14.10Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 496
iv
15 First Order Linear Systems of Differential Equations 509
15.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 509
15.2 Using Eigenvalues and Eigenvectors to find Homogeneous Solutions . . . . . . . . . . 509
15.3 Matrices and Jordan Canonical Form . . . . . . . . . . . . . . . . . . . . . . . . . . . 512
15.4 Using the Matrix Exponential . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 516
15.5 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 520
15.6 Hints . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 523
15.7 Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 524
16 Theory of Linear Ordinary Differential Equations 541
16.1 Exact Equations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 541
16.2 Nature of Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 541
16.3 Transformation to a First Order System . . . . . . . . . . . . . . . . . . . . . . . . . 543
16.4 The Wronskian . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 544
16.4.1 Derivative of a Determinant. . . . . . . . . . . . . . . . . . . . . . . . . . . . 544
16.4.2 The Wronskian of a Set of Functions. . . . . . . . . . . . . . . . . . . . . . . 545
16.4.3 The Wronskian of the Solutions to a Differential Equation . . . . . . . . . . . 546
16.5 Well-Posed Problems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 547
16.6 The Fundamental Set of Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . 549
16.7 Adjoint Equations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 550
16.8 Additional Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 552
16.9 Hints . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 553
16.10Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 554
17 Techniques for Linear Differential Equations 557
17.1 Constant Coefficient Equations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 557
17.1.1 Second Order Equations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 557
17.1.2 Higher Order Equations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 560
17.1.3 Real-Valued Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 561
17.2 Euler Equations. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 563
17.2.1 Real-Valued Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 564
17.3 Exact Equations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 566
17.4 Equations Without Explicit Dependence on y . . . . . . . . . . . . . . . . . . . . . . 567
17.5 Reduction of Order . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 567
17.6 *Reduction of Order and the Adjoint Equation . . . . . . . . . . . . . . . . . . . . . 568
17.7 Additional Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 570
17.8 Hints . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 573
17.9 Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 575
18 Techniques for Nonlinear Differential Equations 589
18.1 Bernoulli Equations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 589
18.2 Riccati Equations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 590
18.3 Exchanging the Dependent and Independent Variables . . . . . . . . . . . . . . . . . 592
18.4 Autonomous Equations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 593
18.5 *Equidimensional-in-x Equations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 595
18.6 *Equidimensional-in-y Equations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 596
18.7 *Scale-Invariant Equations. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 598
18.8 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 599
18.9 Hints . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 601
18.10Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 602
v
19 Transformations and Canonical Forms 609
19.1 The Constant Coefficient Equation . . . . . . . . . . . . . . . . . . . . . . . . . . . . 609
19.2 Normal Form . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 611
19.2.1 Second Order Equations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 611
19.2.2 Higher Order Differential Equations . . . . . . . . . . . . . . . . . . . . . . . 612
19.3 Transformations of the Independent Variable . . . . . . . . . . . . . . . . . . . . . . 612
19.3.1 Transformation to the form u” + a(x) u = 0 . . . . . . . . . . . . . . . . . . 612
19.3.2 Transformation to a Constant Coefficient Equation . . . . . . . . . . . . . . . 613
19.4 Integral Equations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 614
19.4.1 Initial Value Problems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 614
19.4.2 Boundary Value Problems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 616
19.5 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 618
19.6 Hints . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 619
19.7 Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 620
20 The Dirac Delta Function 625
20.1 Derivative of the Heaviside Function . . . . . . . . . . . . . . . . . . . . . . . . . . . 625
20.2 The Delta Function as a Limit . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 626
20.3 Higher Dimensions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 627
20.4 Non-Rectangular Coordinate Systems . . . . . . . . . . . . . . . . . . . . . . . . . . 627
20.5 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 629
20.6 Hints . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 630
20.7 Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 631
21 Inhomogeneous Differential Equations 635
21.1 Particular Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 635
21.2 Method of Undetermined Coefficients. . . . . . . . . . . . . . . . . . . . . . . . . . . 636
21.3 Variation of Parameters . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 638
21.3.1 Second Order Differential Equations . . . . . . . . . . . . . . . . . . . . . . . 638
21.3.2 Higher Order Differential Equations . . . . . . . . . . . . . . . . . . . . . . . 640
21.4 Piecewise Continuous Coefficients and Inhomogeneities . . . . . . . . . . . . . . . . . 642
21.5 Inhomogeneous Boundary Conditions. . . . . . . . . . . . . . . . . . . . . . . . . . . 644
21.5.1 Eliminating Inhomogeneous Boundary Conditions . . . . . . . . . . . . . . . 644
21.5.2 SeparatingInhomogeneousEquationsandInhomogeneousBoundaryConditions645
21.5.3 Existence of Solutions of Problems with Inhomogeneous Boundary Conditions 645
21.6 Green Functions for First Order Equations . . . . . . . . . . . . . . . . . . . . . . . 647
21.7 Green Functions for Second Order Equations . . . . . . . . . . . . . . . . . . . . . . 649
21.7.1 Green Functions for Sturm-Liouville Problems . . . . . . . . . . . . . . . . . 654
21.7.2 Initial Value Problems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 656
21.7.3 Problems with Unmixed Boundary Conditions . . . . . . . . . . . . . . . . . 658
21.7.4 Problems with Mixed Boundary Conditions . . . . . . . . . . . . . . . . . . . 659
21.8 Green Functions for Higher Order Problems . . . . . . . . . . . . . . . . . . . . . . . 661
21.9 Fredholm Alternative Theorem . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 664
21.10Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 668
21.11Hints . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 671
21.12Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 673
22 Difference Equations 695
22.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 695
22.2 Exact Equations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 696
22.3 Homogeneous First Order . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 697
22.4 Inhomogeneous First Order . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 698
22.5 Homogeneous Constant Coefficient Equations . . . . . . . . . . . . . . . . . . . . . . 699
22.6 Reduction of Order . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 701
vi
22.7 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 703
22.8 Hints . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 704
22.9 Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 705
23 Series Solutions of Differential Equations 707
23.1 Ordinary Points. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 707
23.1.1 Taylor Series Expansion for a Second Order Differential Equation . . . . . . . 710
23.2 Regular Singular Points of Second Order Equations . . . . . . . . . . . . . . . . . . . 716
23.2.1 Indicial Equation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 718
23.2.2 The Case: Double Root . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 719
23.2.3 The Case: Roots Differ by an Integer . . . . . . . . . . . . . . . . . . . . . . 721
23.3 Irregular Singular Points . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 726
23.4 The Point at Infinity . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 726
23.5 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 728
23.6 Hints . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 731
23.7 Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 732
24 Asymptotic Expansions 747
24.1 Asymptotic Relations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 747
24.2 Leading Order Behavior of Differential Equations . . . . . . . . . . . . . . . . . . . . 749
24.3 Integration by Parts . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 754
24.4 Asymptotic Series . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 759
24.5 Asymptotic Expansions of Differential Equations . . . . . . . . . . . . . . . . . . . . 759
24.5.1 The Parabolic Cylinder Equation. . . . . . . . . . . . . . . . . . . . . . . . . 759
25 Hilbert Spaces 763
25.1 Linear Spaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 763
25.2 Inner Products . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 764
25.3 Norms . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 765
25.4 Linear Independence. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 766
25.5 Orthogonality . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 766
25.6 Gramm-Schmidt Orthogonalization . . . . . . . . . . . . . . . . . . . . . . . . . . . . 766
25.7 Orthonormal Function Expansion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 768
25.8 Sets Of Functions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 769
25.9 Least Squares Fit to a Function and Completeness . . . . . . . . . . . . . . . . . . . 773
25.10Closure Relation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 775
25.11Linear Operators . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 777
25.12Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 778
25.13Hints . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 779
25.14Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 780
26 Self Adjoint Linear Operators 781
26.1 Adjoint Operators . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 781
26.2 Self-Adjoint Operators . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 781
26.3 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 783
26.4 Hints . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 784
26.5 Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 785
27 Self-Adjoint Boundary Value Problems 787
27.1 Summary of Adjoint Operators . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 787
27.2 Formally Self-Adjoint Operators . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 788
27.3 Self-Adjoint Problems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 789
27.4 Self-Adjoint Eigenvalue Problems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 790
27.5 Inhomogeneous Equations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 793
27.6 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 795
vii
27.7 Hints . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 796
27.8 Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 797
28 Fourier Series 799
28.1 An Eigenvalue Problem. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 799
28.2 Fourier Series. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 801
28.3 Least Squares Fit . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 803
28.4 Fourier Series for Functions Defined on Arbitrary Ranges . . . . . . . . . . . . . . . 806
28.5 Fourier Cosine Series . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 808
28.6 Fourier Sine Series . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 809
28.7 Complex Fourier Series and Parseval’s Theorem . . . . . . . . . . . . . . . . . . . . . 810
28.8 Behavior of Fourier Coefficients . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 811
28.9 Gibb’s Phenomenon . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 817
28.10Integrating and Differentiating Fourier Series . . . . . . . . . . . . . . . . . . . . . . 817
28.11Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 820
28.12Hints . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 825
28.13Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 827
29 Regular Sturm-Liouville Problems 855
29.1 Derivation of the Sturm-Liouville Form . . . . . . . . . . . . . . . . . . . . . . . . . 855
29.2 Properties of Regular Sturm-Liouville Problems . . . . . . . . . . . . . . . . . . . . . 856
29.3 Solving Differential Equations With Eigenfunction Expansions . . . . . . . . . . . . 863
29.4 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 867
29.5 Hints . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 869
29.6 Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 870
30 Integrals and Convergence 885
30.1 Uniform Convergence of Integrals . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 885
30.2 The Riemann-Lebesgue Lemma . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 886
30.3 Cauchy Principal Value . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 886
30.3.1 Integrals on an Infinite Domain . . . . . . . . . . . . . . . . . . . . . . . . . . 886
30.3.2 Singular Functions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 887
31 The Laplace Transform 889
31.1 The Laplace Transform . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 889
31.2 The Inverse Laplace Transform . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 890
31.2.1 fˆ(s) with Poles . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 892
31.2.2 fˆ(s) with Branch Points . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 894
31.2.3 Asymptotic Behavior of fˆ(s) . . . . . . . . . . . . . . . . . . . . . . . . . . . 897
31.3 Properties of the Laplace Transform . . . . . . . . . . . . . . . . . . . . . . . . . . . 897
31.4 Constant Coefficient Differential Equations . . . . . . . . . . . . . . . . . . . . . . . 899
31.5 Systems of Constant Coefficient Differential Equations . . . . . . . . . . . . . . . . . 901
31.6 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 902
31.7 Hints . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 906
31.8 Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 908
32 The Fourier Transform 927
32.1 Derivation from a Fourier Series. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 927
32.2 The Fourier Transform . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 928
32.2.1 A Word of Caution . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 929
32.3 Evaluating Fourier Integrals . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 930
32.3.1 Integrals that Converge . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 930
32.3.2 Cauchy Principal Value and Integrals that are Not Absolutely Convergent. . 932
32.3.3 Analytic Continuation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 933
32.4 Properties of the Fourier Transform . . . . . . . . . . . . . . . . . . . . . . . . . . . 934
viii