Table Of ContentKindly
do
not
share
this
PDF
Point
others
to
h2p://www.ulaff.net
instead
Linear Algebra: Foundations to Frontiers
Notes to LAFF With
Margaret E. Myers
Pierce M. van de Geijn
Robert A. van de Geijn
Release Date June 19, 2014
Kindly do not share this PDF
(cid:42)
Point others to http://www.ulaff.net instead
This is a work in progress
Copyright©2014byMargaretE.Myers,PierceM.vandeGeijn,andRobertA.van
deGeijn.
10987654321
Allrightsreserved. Nopartofthisbookmaybereproduced,stored,ortransmittedin
anymannerwithoutthewrittenpermissionofthepublisher. Forinformation,contact
anyoftheauthors.
No warranties, express or implied, are made by the publisher, authors, and their em-
ployersthattheprogramscontainedinthisvolumearefreeoferror. Theyshouldnot
bereliedonasthesolebasistosolveaproblemwhoseincorrectsolutioncouldresult
in injury to person or property. If the programs are employed in such a manner, it
is at the user’s own risk and the publisher, authors, and their employers disclaim all
liabilityforsuchmisuse.
Trademarked names may be used in this book without the inclusion of a trademark
symbol. Thesenamesareusedinaneditorialcontextonly;noinfringementoftrade-
markisintended.
LibraryofCongressCataloging-in-PublicationDatanotyetavailable
DraftEdition,May2014
This “Draft Edition” allows this material to be used while we sort out through what
mechanismwewillpublishthebook.
Contents
1. VectorsinLinearAlgebra 1
1.1. OpeningRemarks . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1
1.1.1. TakeOff . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1
1.1.2. OutlineWeek1 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2
1.1.3. WhatYouWillLearn . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4
1.2. WhatisaVector? . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5
1.2.1. Notation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5
1.2.2. UnitBasisVectors . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8
1.3. SimpleVectorOperations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9
1.3.1. Equality(=),Assignment(:=),andCopy . . . . . . . . . . . . . . . . . . . . . . 9
1.3.2. VectorAddition(ADD) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10
1.3.3. Scaling(SCAL) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13
1.3.4. VectorSubtraction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15
1.4. AdvancedVectorOperations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17
1.4.1. ScaledVectorAddition(AXPY) . . . . . . . . . . . . . . . . . . . . . . . . . . . 17
1.4.2. LinearCombinationsofVectors . . . . . . . . . . . . . . . . . . . . . . . . . . . 19
1.4.3. DotorInnerProduct(DOT) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21
1.4.4. VectorLength(NORM2) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24
1.4.5. VectorFunctions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26
1.4.6. VectorFunctionsthatMapaVectortoaVector . . . . . . . . . . . . . . . . . . . 29
1.5. LAFFPackageDevelopment: Vectors . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33
1.5.1. StartingthePackage . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33
1.5.2. ACopyRoutine(copy) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 34
1.5.3. ARoutinethatScalesaVector(scal) . . . . . . . . . . . . . . . . . . . . . . . . . 34
1.5.4. AScaledVectorAdditionRoutine(axpy) . . . . . . . . . . . . . . . . . . . . . . 35
1.5.5. AnInnerProductRoutine(dot) . . . . . . . . . . . . . . . . . . . . . . . . . . . 35
1.5.6. AVectorLengthRoutine(norm2) . . . . . . . . . . . . . . . . . . . . . . . . . . 35
1.6. SlicingandDicing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36
1.6.1. SlicingandDicing: DotProduct . . . . . . . . . . . . . . . . . . . . . . . . . . . 36
1.6.2. AlgorithmswithSlicingandRedicing: DotProduct . . . . . . . . . . . . . . . . . 36
1.6.3. CodingwithSlicingandRedicing: DotProduct . . . . . . . . . . . . . . . . . . . 37
1.6.4. SlicingandDicing: axpy . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38
1.6.5. AlgorithmswithSlicingandRedicing: axpy . . . . . . . . . . . . . . . . . . . . . 38
i
1.6.6. CodingwithSlicingandRedicing: axpy . . . . . . . . . . . . . . . . . . . . . . . 39
1.7. Enrichment . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 40
1.7.1. LearntheGreekAlphabet . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 40
1.7.2. OtherNorms . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 40
1.7.3. OverflowandUnderflow . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 44
1.7.4. ABitofHistory . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45
1.8. WrapUp . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45
1.8.1. Homework . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45
1.8.2. SummaryofVectorOperations . . . . . . . . . . . . . . . . . . . . . . . . . . . . 46
1.8.3. SummaryofthePropertiesofVectorOperations . . . . . . . . . . . . . . . . . . 47
1.8.4. SummaryoftheRoutinesforVectorOperations . . . . . . . . . . . . . . . . . . . 48
2. LinearTransformationsandMatrices 49
2.1. OpeningRemarks . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49
2.1.1. Rotatingin2D . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49
2.1.2. Outline . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52
2.1.3. WhatYouWillLearn . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 53
2.2. LinearTransformations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 54
2.2.1. WhatMakesLinearTransformationssoSpecial? . . . . . . . . . . . . . . . . . . 54
2.2.2. WhatisaLinearTransformation? . . . . . . . . . . . . . . . . . . . . . . . . . . 54
2.2.3. OfLinearTransformationsandLinearCombinations . . . . . . . . . . . . . . . . 58
2.3. MathematicalInduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 60
2.3.1. WhatisthePrincipleofMathematicalInduction? . . . . . . . . . . . . . . . . . . 60
2.3.2. Examples . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 61
2.4. RepresentingLinearTransformationsasMatrices . . . . . . . . . . . . . . . . . . . . . . 64
2.4.1. FromLinearTransformationtoMatrix-VectorMultiplication . . . . . . . . . . . . 64
2.4.2. PracticewithMatrix-VectorMultiplication . . . . . . . . . . . . . . . . . . . . . 68
2.4.3. ItGoesBothWays . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 71
2.4.4. RotationsandReflections,Revisited . . . . . . . . . . . . . . . . . . . . . . . . . 73
2.5. Enrichment . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 77
2.5.1. TheImportanceofthePrincipleofMathematicalInductionforProgramming . . . 77
2.5.2. PuzzlesandParadoxesinMathematicalInduction . . . . . . . . . . . . . . . . . . 78
2.6. WrapUp . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 79
2.6.1. Homework . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 79
2.6.2. Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 79
3. Matrix-VectorOperations 83
3.1. OpeningRemarks . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 83
3.1.1. TimmyTwoSpace . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 83
3.1.2. OutlineWeek3 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 84
3.1.3. WhatYouWillLearn . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 85
3.2. SpecialMatrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 86
3.2.1. TheZeroMatrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 86
3.2.2. TheIdentityMatrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 88
3.2.3. DiagonalMatrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 92
3.2.4. TriangularMatrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 94
3.2.5. TransposeMatrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 98
3.2.6. SymmetricMatrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 101
3.3. OperationswithMatrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 104
3.3.1. ScalingaMatrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 104
3.3.2. AddingMatrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 108
3.4. Matrix-VectorMultiplicationAlgorithms . . . . . . . . . . . . . . . . . . . . . . . . . . . 112
3.4.1. ViaDotProducts . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 112
3.4.2. Via AXPY Operations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 116
3.4.3. CompareandContrast . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 119
3.4.4. CostofMatrix-VectorMultiplication . . . . . . . . . . . . . . . . . . . . . . . . 121
3.5. WrapUp . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 121
3.5.1. Homework . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 121
3.5.2. Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 122
4. FromMatrix-VectorMultiplicationtoMatrix-MatrixMultiplication 127
4.1. OpeningRemarks . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 127
4.1.1. PredictingtheWeather . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 127
4.1.2. Outline . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 133
4.1.3. WhatYouWillLearn . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 134
4.2. Preparation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 135
4.2.1. PartitionedMatrix-VectorMultiplication . . . . . . . . . . . . . . . . . . . . . . 135
4.2.2. TransposingaPartitionedMatrix . . . . . . . . . . . . . . . . . . . . . . . . . . . 138
4.2.3. Matrix-VectorMultiplication,Again . . . . . . . . . . . . . . . . . . . . . . . . . 143
4.3. Matrix-VectorMultiplicationwithSpecialMatrices . . . . . . . . . . . . . . . . . . . . . 148
4.3.1. TransposeMatrix-VectorMultiplication . . . . . . . . . . . . . . . . . . . . . . . 148
4.3.2. TriangularMatrix-VectorMultiplication . . . . . . . . . . . . . . . . . . . . . . . 150
4.3.3. SymmetricMatrix-VectorMultiplication . . . . . . . . . . . . . . . . . . . . . . 161
4.4. Matrix-MatrixMultiplication(Product) . . . . . . . . . . . . . . . . . . . . . . . . . . . 166
4.4.1. Motivation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 166
4.4.2. FromComposingLinearTransformationstoMatrix-MatrixMultiplication . . . . . 167
4.4.3. ComputingtheMatrix-MatrixProduct . . . . . . . . . . . . . . . . . . . . . . . . 168
4.4.4. SpecialShapes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 172
4.4.5. Cost . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 180
4.5. Enrichment . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 180
4.5.1. HiddenMarkovProcesses . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 180
4.6. WrapUp . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 181
4.6.1. Homework . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 181
4.6.2. Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 183
5. Matrix-MatrixMultiplication 187
5.1. OpeningRemarks . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 187
5.1.1. ComposingRotations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 187
5.1.2. Outline . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 188
5.1.3. WhatYouWillLearn . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 189
5.2. Observations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 190
5.2.1. PartitionedMatrix-MatrixMultiplication . . . . . . . . . . . . . . . . . . . . . . 190
5.2.2. Properties . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 192
5.2.3. TransposingaProductofMatrices . . . . . . . . . . . . . . . . . . . . . . . . . . 193
5.2.4. Matrix-MatrixMultiplicationwithSpecialMatrices . . . . . . . . . . . . . . . . . 193
5.3. AlgorithmsforComputingMatrix-MatrixMultiplication . . . . . . . . . . . . . . . . . . 200
5.3.1. LotsofLoops . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 200
5.3.2. Matrix-MatrixMultiplicationbyColumns . . . . . . . . . . . . . . . . . . . . . . 202
5.3.3. Matrix-MatrixMultiplicationbyRows . . . . . . . . . . . . . . . . . . . . . . . 204
5.3.4. Matrix-MatrixMultiplicationwithRank-1Updates . . . . . . . . . . . . . . . . . 207
5.4. Enrichment . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 210
5.4.1. SlicingandDicingforPerformance . . . . . . . . . . . . . . . . . . . . . . . . . 210
5.4.2. HowItisReallyDone . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 215
5.5. WrapUp . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 217
5.5.1. Homework . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 217
5.5.2. Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 222
6. GaussianElimination 227
6.1. OpeningRemarks . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 227
6.1.1. SolvingLinearSystems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 227
6.1.2. Outline . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 228
6.1.3. WhatYouWillLearn . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 229
6.2. GaussianElimination . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 230
6.2.1. ReducingaSystemofLinearEquationstoanUpperTriangularSystem . . . . . . 230
6.2.2. AppendedMatrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 233
6.2.3. GaussTransforms . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 237
6.2.4. ComputingSeparatelywiththeMatrixandRight-HandSide(ForwardSubstitution)241
6.2.5. TowardsanAlgorithm . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 242
6.3. SolvingAx=bviaLUFactorization . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 246
6.3.1. LUfactorization(Gaussianelimination) . . . . . . . . . . . . . . . . . . . . . . . 246
6.3.2. SolvingLz=b(Forwardsubstitution) . . . . . . . . . . . . . . . . . . . . . . . . 250
6.3.3. SolvingUx=b(Backsubstitution) . . . . . . . . . . . . . . . . . . . . . . . . . 253
6.3.4. PuttingitalltogethertosolveAx=b . . . . . . . . . . . . . . . . . . . . . . . . 255
6.3.5. Cost . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 256
6.4. Enrichment . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 262
6.4.1. BlockedLUFactorization . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 262
6.5. WrapUp . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 268
6.5.1. Homework . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 268
6.5.2. Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 268
7. MoreGaussianEliminationandMatrixInversion 275
7.1. OpeningRemarks . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 275
7.1.1. Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 275
7.1.2. Outline . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 276
7.1.3. WhatYouWillLearn . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 277
7.2. WhenGaussianEliminationBreaksDown . . . . . . . . . . . . . . . . . . . . . . . . . . 278
7.2.1. WhenGaussianEliminationWorks . . . . . . . . . . . . . . . . . . . . . . . . . 278
7.2.2. TheProblem . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 283
7.2.3. Permutations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 285
7.2.4. GaussianEliminationwithRowSwapping(LUFactorizationwithPartialPivoting) 290
7.2.5. WhenGaussianEliminationFailsAltogether . . . . . . . . . . . . . . . . . . . . 296
7.3. TheInverseMatrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 297
7.3.1. InverseFunctionsin1D . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 297
7.3.2. BacktoLinearTransformations . . . . . . . . . . . . . . . . . . . . . . . . . . . 297
7.3.3. SimpleExamples . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 299
7.3.4. MoreAdvanced(butStillSimple)Examples . . . . . . . . . . . . . . . . . . . . 305
7.3.5. Properties . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 309
7.4. Enrichment . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 310
7.4.1. LibraryRoutinesforLUwithPartialPivoting . . . . . . . . . . . . . . . . . . . . 310
7.5. WrapUp . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 312
7.5.1. Homework . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 312
7.5.2. Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 312
8. MoreonMatrixInversion 319
8.1. OpeningRemarks . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 319
8.1.1. WhenLUFactorizationwithRowPivotingFails . . . . . . . . . . . . . . . . . . 319
8.1.2. Outline . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 323
8.1.3. WhatYouWillLearn . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 324
8.2. Gauss-JordanElimination . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 325
8.2.1. SolvingAx=bviaGauss-JordanElimination . . . . . . . . . . . . . . . . . . . . 325
8.2.2. SolvingAx=bviaGauss-JordanElimination: GaussTransforms . . . . . . . . . 327
8.2.3. SolvingAx=bviaGauss-JordanElimination: MultipleRight-HandSides . . . . . 331
8.2.4. ComputingA−1 viaGauss-JordanElimination. . . . . . . . . . . . . . . . . . . . 336
8.2.5. ComputingA−1 viaGauss-JordanElimination,Alternative . . . . . . . . . . . . . 341
8.2.6. Pivoting . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 345
8.2.7. CostofMatrixInversion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 345
8.3. (Almost)Never,EverInvertaMatrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 349
8.3.1. SolvingAx=b . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 349
8.3.2. But... . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 350
8.4. (VeryImportant)Enrichment . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 351
8.4.1. SymmetricPositiveDefiniteMatrices . . . . . . . . . . . . . . . . . . . . . . . . 351
8.4.2. SolvingAx=bwhenAisSymmetricPositiveDefinite . . . . . . . . . . . . . . . 352
8.4.3. OtherFactorizations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 356
8.4.4. WelcometotheFrontier . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 356
8.5. WrapUp . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 359
8.5.1. Homework . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 359
8.5.2. Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 359
Midterm 361
M.1HowtoPrepare . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 361
M.2SampleMidterm . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 362
M.3Midterm . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 369
9. VectorSpaces 375
9.1. OpeningRemarks . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 375
9.1.1. Solvableornotsolvable,that’sthequestion . . . . . . . . . . . . . . . . . . . . . 375
9.1.2. Outline . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 381
9.1.3. Whatyouwilllearn . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 382
9.2. WhenSystemsDon’tHaveaUniqueSolution . . . . . . . . . . . . . . . . . . . . . . . . 383
9.2.1. WhenSolutionsAreNotUnique . . . . . . . . . . . . . . . . . . . . . . . . . . . 383
9.2.2. WhenLinearSystemsHaveNoSolutions . . . . . . . . . . . . . . . . . . . . . . 384
9.2.3. WhenLinearSystemsHaveManySolutions . . . . . . . . . . . . . . . . . . . . 386
9.2.4. WhatisGoingOn? . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 388
9.2.5. TowardaSystematicApproachtoFindingAllSolutions . . . . . . . . . . . . . . 390
9.3. ReviewofSets . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 393
9.3.1. DefinitionandNotation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 393
9.3.2. Examples . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 394
9.3.3. OperationswithSets . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 395
9.4. VectorSpaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 398
9.4.1. WhatisaVectorSpace? . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 398
9.4.2. Subspaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 398
9.4.3. TheColumnSpace . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 401
9.4.4. TheNullSpace . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 404
9.5. Span,LinearIndependence,andBases . . . . . . . . . . . . . . . . . . . . . . . . . . . . 406
9.5.1. Span . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 406
9.5.2. LinearIndependence . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 408
9.5.3. BasesforSubspaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 413
9.5.4. TheDimensionofaSubspace . . . . . . . . . . . . . . . . . . . . . . . . . . . . 415
9.6. Enrichment . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 416
9.6.1. TypesettingalgrithmswiththeFLAMEnotation . . . . . . . . . . . . . . . . . . 416
9.7. WrapUp . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 417
9.7.1. Homework . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 417
9.7.2. Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 417
10.VectorSpaces,Orthogonality,andLinearLeastSquares 421
10.1. OpeningRemarks . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 421
10.1.1. VisualizingPlanes,Lines,andSolutions . . . . . . . . . . . . . . . . . . . . . . . 421
10.1.2. Outline . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 429
10.1.3. WhatYouWillLearn . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 430
10.2. HowtheRowEchelonFormAnswers(Almost)Everything . . . . . . . . . . . . . . . . . 431
10.2.1. Example . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 431
10.2.2. TheImportantAttributesofaLinearSystem . . . . . . . . . . . . . . . . . . . . 431
10.3. OrthogonalVectorsandSpaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 438
10.3.1. OrthogonalVectors . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 438
10.3.2. OrthogonalSpaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 440
10.3.3. FundamentalSpaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 441
10.4. ApproximatingaSolution . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 445
10.4.1. AMotivatingExample . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 445
10.4.2. FindingtheBestSolution . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 448
