Table Of Content

Linear Algebra And Analysis Kuttler September 13, 2017 2 CONTENTS 1 Some Prerequisite Topics 1 1.1 Sets And Set Notation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 1.2 Well Ordering And Induction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 1.3 The Complex Numbers And Fields . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4 1.4 Polar Form Of Complex Numbers. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6 1.5 Roots Of Complex Numbers . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7 1.6 The Quadratic Formula . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8 1.7 The Complex Exponential . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9 1.8 The Fundamental Theorem Of Algebra. . . . . . . . . . . . . . . . . . . . . . . . . . 10 1.9 Ordered Fields . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11 1.10 Polynomials . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13 1.11 Examples Of Finite Fields . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16 1.11.1 Division Of Numbers . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17 1.11.2 The Field Z . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19 p 1.12 Some Topics From Analysis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20 1.12.1 lim sup and lim inf . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21 1.13 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24 I Linear Algebra For Its Own Sake 29 2 Systems Of Linear Equations 31 2.1 Elementary Operations. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31 2.2 Gauss Elimination . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33 2.3 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42 3 Vector Spaces 47 3.1 Linear Combinations Of Vectors, Independence . . . . . . . . . . . . . . . . . . . . . 49 3.2 Subspaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 53 3.3 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 56 3.4 Polynomials And Fields . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 59 3.4.1 The Algebraic Numbers . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 64 3.4.2 The Lindemannn Weierstrass Theorem And Vector Spaces. . . . . . . . . . . 67 3.5 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 67 4 Matrices 71 4.1 The Entries Of A Product . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 75 4.2 Properties Of Matrix Multiplication . . . . . . . . . . . . . . . . . . . . . . . . . . . 77 4.3 Finding The Inverse Of A Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 79 4.4 Matrices And Systems Of Equations . . . . . . . . . . . . . . . . . . . . . . . . . . . 83 4.5 Block Multiplication Of Matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 84 4.6 Elementary Matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 87 4.7 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 93 3 CONTENTS 4 5 Linear Transformations 97 5.1 L(V;W) As A Vector Space . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 98 5.2 The Matrix Of A Linear Transformation . . . . . . . . . . . . . . . . . . . . . . . . . 100 5.3 Rotations About A Given Vector(cid:3) . . . . . . . . . . . . . . . . . . . . . . . . . . . . 107 5.4 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 108 6 Direct Sums And Block Diagonal Matrices 113 6.1 A Theorem Of Sylvester, Direct Sums . . . . . . . . . . . . . . . . . . . . . . . . . . 118 6.2 Finding The Minimum Polynomial . . . . . . . . . . . . . . . . . . . . . . . . . . . . 123 6.3 Eigenvalues And Eigenvectors Of Linear Transformations . . . . . . . . . . . . . . . 125 6.4 A Formal Derivative, Diagonalizability . . . . . . . . . . . . . . . . . . . . . . . . . . 132 6.5 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 134 7 Canonical Forms 141 7.1 Cyclic Sets . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 141 7.2 Nilpotent Transformations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 145 7.3 The Jordan Canonical Form . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 147 7.4 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 151 7.5 The Rational Canonical Form(cid:3) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 153 7.6 Uniqueness . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 155 7.7 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 160 8 Determinants 161 8.1 The Function sgn . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 161 8.2 The De(cid:12)nition Of The Determinant . . . . . . . . . . . . . . . . . . . . . . . . . . . 163 8.3 A Symmetric De(cid:12)nition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 164 8.4 Basic Properties Of The Determinant . . . . . . . . . . . . . . . . . . . . . . . . . . 165 8.5 Expansion Using Cofactors . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 167 8.6 A Formula For The Inverse . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 168 8.7 Rank Of A Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 170 8.8 Summary Of Determinants . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 172 8.9 The Cayley Hamilton Theorem . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 173 8.10 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 175 9 Modules And Rings (cid:3) 181 9.1 Integral Domains And The Ring Of Polynomials . . . . . . . . . . . . . . . . . . . . 181 9.2 Modules And Decomposition Into Cyclic Sub-Modules . . . . . . . . . . . . . . . . . 186 9.3 A Direct Sum Decomposition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 187 9.4 Quotients . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 190 9.5 Cyclic Decomposition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 191 9.6 Uniqueness . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 198 9.7 Canonical Forms . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 200 9.8 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 203 10 Related Topics 211 10.1 The Symmetric Polynomial Theorem . . . . . . . . . . . . . . . . . . . . . . . . . . . 211 10.2 Transcendental Numbers . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 214 10.3 The Fundamental Theorem Of Algebra. . . . . . . . . . . . . . . . . . . . . . . . . . 221 10.4 More On Algebraic Field Extensions . . . . . . . . . . . . . . . . . . . . . . . . . . . 224 CONTENTS 5 II Analysis And Geometry In Linear Algebra 231 11 Normed Linear Spaces 233 11.1 Metric Spaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 233 11.1.1 Open And Closed Sets, Sequences, Limit Points, Completeness . . . . . . . . 233 11.1.2 Cauchy Sequences, Completeness . . . . . . . . . . . . . . . . . . . . . . . . . 236 11.1.3 Closure Of A Set . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 238 11.1.4 Continuous Functions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 239 11.1.5 Separable Metric Spaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 239 11.1.6 Compact Sets . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 240 11.1.7 Lipschitz Continuity And Contraction Maps . . . . . . . . . . . . . . . . . . . 242 11.1.8 Convergence Of Functions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 244 11.2 Connected Sets . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 245 11.3 Subspaces Spans And Bases . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 248 11.4 Inner Product And Normed Linear Spaces . . . . . . . . . . . . . . . . . . . . . . . . 249 11.4.1 The Inner Product In Fn . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 249 11.4.2 General Inner Product Spaces . . . . . . . . . . . . . . . . . . . . . . . . . . . 250 11.4.3 Normed Vector Spaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 251 11.4.4 The p Norms . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 252 11.4.5 Orthonormal Bases . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 254 11.5 Equivalence Of Norms . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 255 11.6 Norms On L(X;Y). . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 257 11.7 The Heine Borel Theorem . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 258 11.8 Limits Of A Function . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 260 11.9 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 263 12 Limits Of Vectors And Matrices 269 12.1 Regular Markov Matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 269 12.2 Migration Matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 272 12.3 Absorbing States . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 273 12.4 Positive Matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 276 12.5 Functions Of Matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 283 12.6 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 286 13 Inner Product Spaces 289 13.1 Orthogonal Projections . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 289 13.2 Riesz Representation Theorem, Adjoint Map . . . . . . . . . . . . . . . . . . . . . . 291 13.3 Least Squares . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 295 13.4 Fredholm Alternative. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 296 13.5 The Determinant And Volume . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 296 13.6 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 299 14 Matrices And The Inner Product 305 14.1 Schur’s Theorem, Hermitian Matrices . . . . . . . . . . . . . . . . . . . . . . . . . . 305 14.2 Quadratic Forms . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 309 14.3 The Estimation Of Eigenvalues . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 310 14.4 Advanced Theorems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 311 14.5 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 314 14.6 The Right Polar Factorization(cid:3) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 321 14.7 An Application To Statistics . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 324 14.8 Simultaneous Diagonalization . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 326 14.9 Fractional Powers . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 329 14.10Spectral Theory Of Self Adjoint Operators. . . . . . . . . . . . . . . . . . . . . . . . 329 14.11Positive And Negative Linear Transformations . . . . . . . . . . . . . . . . . . . . . 334 14.12The Singular Value Decomposition . . . . . . . . . . . . . . . . . . . . . . . . . . . . 335 CONTENTS 6 14.13Approximation In The Frobenius Norm . . . . . . . . . . . . . . . . . . . . . . . . . 337 14.14Least Squares And Singular Value Decomposition . . . . . . . . . . . . . . . . . . . . 339 14.15The Moore Penrose Inverse . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 339 14.16The Spectral Norm And The Operator Norm . . . . . . . . . . . . . . . . . . . . . . 342 14.17The Positive Part Of A Hermitian Matrix . . . . . . . . . . . . . . . . . . . . . . . . 343 14.18Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 344 15 Analysis Of Linear Transformations 349 15.1 The Condition Number . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 349 15.2 The Spectral Radius . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 350 15.3 Series And Sequences Of Linear Operators . . . . . . . . . . . . . . . . . . . . . . . . 353 15.4 Iterative Methods For Linear Systems . . . . . . . . . . . . . . . . . . . . . . . . . . 357 15.5 Theory Of Convergence . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 362 15.6 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 364 16 Numerical Methods, Eigenvalues 371 16.1 The Power Method For Eigenvalues. . . . . . . . . . . . . . . . . . . . . . . . . . . . 371 16.1.1 The Shifted Inverse Power Method . . . . . . . . . . . . . . . . . . . . . . . . 374 16.1.2 The Explicit Description Of The Method . . . . . . . . . . . . . . . . . . . . 375 16.2 Automation With Matlab . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 375 16.2.1 Complex Eigenvalues . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 378 16.2.2 Rayleigh Quotients And Estimates for Eigenvalues . . . . . . . . . . . . . . . 379 16.3 The QR Algorithm . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 382 16.3.1 Basic Properties And De(cid:12)nition . . . . . . . . . . . . . . . . . . . . . . . . . 382 16.3.2 The Case Of Real Eigenvalues . . . . . . . . . . . . . . . . . . . . . . . . . . 385 16.3.3 The QR Algorithm In The General Case. . . . . . . . . . . . . . . . . . . . . 389 16.3.4 Upper Hessenberg Matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . 393 16.4 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 396 III Analysis Which Involves Linear Algebra 399 17 The Derivative, A Linear Transformation 401 17.1 Basic De(cid:12)nitions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 401 17.2 The Chain Rule . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 403 17.3 The Matrix Of The Derivative . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 403 17.4 A Mean Value Inequality . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 405 17.5 Existence Of The Derivative, C1 Functions . . . . . . . . . . . . . . . . . . . . . . . 406 17.6 Higher Order Derivatives . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 409 17.7 Some Standard Notation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 410 17.8 The Derivative And The Cartesian Product . . . . . . . . . . . . . . . . . . . . . . . 411 17.9 Mixed Partial Derivatives . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 414 17.10Newton’s Method . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 416 17.11Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 417 18 Implicit Function Theorem 421 18.1 Statement And Proof Of The Theorem . . . . . . . . . . . . . . . . . . . . . . . . . . 421 18.2 More Derivatives . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 426 18.3 The Case Of Rn . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 427 18.4 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 427 18.5 The Method Of Lagrange Multipliers . . . . . . . . . . . . . . . . . . . . . . . . . . . 430 18.6 The Taylor Formula . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 431 18.7 Second Derivative Test . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 433 18.8 The Rank Theorem. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 435 18.9 The Local Structure Of C1 Mappings . . . . . . . . . . . . . . . . . . . . . . . . . . 438 CONTENTS 7 18.10Brouwer Fixed Point Theorem Rn . . . . . . . . . . . . . . . . . . . . . . . . . . . . 440 18.10.1Simplices And Triangulations . . . . . . . . . . . . . . . . . . . . . . . . . . . 441 18.10.2Labeling Vertices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 442 18.10.3The Brouwer Fixed Point Theorem . . . . . . . . . . . . . . . . . . . . . . . . 443 18.11Invariance Of Domain . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 445 18.12Tensor Products . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 447 18.12.1The Norm In Tensor Product Space . . . . . . . . . . . . . . . . . . . . . . . 450 18.12.2The Taylor Formula And Tensors . . . . . . . . . . . . . . . . . . . . . . . . . 452 18.13Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 453 19 Abstract Measures And Measurable Functions 457 19.1 Simple Functions And Measurable Functions . . . . . . . . . . . . . . . . . . . . . . 457 19.2 Measures And Their Properties . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 461 19.3 Dynkin’s Lemma . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 462 19.4 Measures And Regularity . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 464 19.5 When Is A Measure A Borel Measure? . . . . . . . . . . . . . . . . . . . . . . . . . . 467 19.6 Measures And Outer Measures . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 468 19.7 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 469 19.8 An Outer Measure On P(R) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 471 19.9 Measures From Outer Measures . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 473 19.10One Dimensional Lebesgue Stieltjes Measure . . . . . . . . . . . . . . . . . . . . . . 477 19.11Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 479 20 The Abstract Lebesgue Integral 483 20.1 De(cid:12)nition For Nonnegative Measurable Functions . . . . . . . . . . . . . . . . . . . . 483 20.1.1 Riemann Integrals For Decreasing Functions. . . . . . . . . . . . . . . . . . . 483 20.1.2 The Lebesgue Integral For Nonnegative Functions . . . . . . . . . . . . . . . 484 20.2 The Lebesgue Integral For Nonnegative Simple Functions . . . . . . . . . . . . . . . 485 20.3 The Monotone Convergence Theorem . . . . . . . . . . . . . . . . . . . . . . . . . . 486 20.4 Other De(cid:12)nitions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 487 20.5 Fatou’s Lemma . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 488 20.6 The Integral’s Righteous Algebraic Desires . . . . . . . . . . . . . . . . . . . . . . . . 488 20.7 The Lebesgue Integral, L1 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 489 20.8 The Dominated Convergence Theorem . . . . . . . . . . . . . . . . . . . . . . . . . . 493 20.9 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 495 21 Measures From Positive Linear Functionals 501 21.1 Lebesgue Measure On Rn;Fubini’s Theorem . . . . . . . . . . . . . . . . . . . . . . . 507 21.2 The Besicovitch Covering Theorem . . . . . . . . . . . . . . . . . . . . . . . . . . . . 510 21.3 Change Of Variables, Linear Map . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 515 21.4 Vitali Coverings. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 517 21.5 Change Of Variables . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 519 21.6 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 525 22 The Lp Spaces 531 22.1 Basic Inequalities And Properties . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 531 22.2 Density Considerations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 537 22.3 Separability . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 538 22.4 Continuity Of Translation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 540 22.5 Molli(cid:12)ers And Density Of Smooth Functions . . . . . . . . . . . . . . . . . . . . . . 540 22.6 Fundamental Theorem Of Calculus For Radon Measures . . . . . . . . . . . . . . . . 543 22.7 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 546 CONTENTS 8 23 Representation Theorems 551 23.1 Basic Theory . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 551 23.2 Radon Nikodym Theorem . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 555 23.3 Improved Change Of Variables Formula . . . . . . . . . . . . . . . . . . . . . . . . . 560 23.4 Vector Measures . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 561 23.5 Representation Theorems For The Dual Space Of Lp . . . . . . . . . . . . . . . . . . 567 23.6 The Dual Space Of C (X). . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 573 0 23.7 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 578 IV Appendix 581 A The Cross Product 583 A.1 The Box Product . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 586 A.2 The Distributive Law For Cross Product . . . . . . . . . . . . . . . . . . . . . . . . . 587 B Weierstrass Approximation Theorem 589 B.1 Functions Of Many Variables . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 591 B.2 Tietze Extension Theorem . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 596 C The Hausdorﬀ Maximal Theorem 599 C.1 The Hamel Basis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 602 C.2 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 603 Preface This is on linear algebra and its interaction with analysis. It emphasizes the main ideas, both algebraic and geometric and attempts to present these ideas as quickly as possible without being overlyterse. Theemphasiswillbeonarbitrary(cid:12)eldsinthe(cid:12)rstpartandthenlatergeometricideas will be included in the context of the usual (cid:12)elds of R and C. The (cid:12)rst part is on linear algebra as a part of modern algebra. The second part is on the role of analysis in linear algebra. It is like baby functional analysis. Some analysis ideas do in fact creep in to the (cid:12)rst part, but they are generally fairly rudimentary and will have been seen in calculus. It may be that increased understanding is obtained by this kind of presentation in which that which is purely algebraic is presented (cid:12)rst. This also involves emphasizing the minimum polynomial more than the characteristic polynomial and postponing the determinant. In each part, I have included a few related topics which are similar to ideas found in linear algebra or which have linear algebra as a fundamental part. Thebookisarewrittenversionofanearlierbook. Italsoincludesseveraltopicsnotinthisother book including a chapter which is an introduction to modules and rings and much more material on analysis. However, I am not including topics from functional analysis so much. Instead, I am limitingthetopicstothestandardanalysisinvolvingderivativesandintegrals. Infact, ifeverything which uses linear algebra were presented, the book would be much longer. It is limited to topics that I especially like and emphasizes (cid:12)nite dimensional situations. i CONTENTS ii