Basics of Algebra, Topology, and Differential Calculus

967 Pages·2016·6.11 MB·English

Algebra, Topology, Differential Calculus, and
Optimization Theory
For Computer Science and Machine Learning
Jean Gallier and Jocelyn Quaintance
Department of Computer and Information Science
University of Pennsylvania
Philadelphia, PA 19104, USA
e-mail: [email protected]
c Jean Gallier
(cid:13)
October 30, 2022
2
Contents
Contents 3
1 Introduction 19
2 Groups, Rings, and Fields 21
2.1 Groups, Subgroups, Cosets . . . . . . . . . . . . . . . . . . . . . . . . . . . 21
2.2 Cyclic Groups . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35
2.3 Rings and Fields . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38
I Linear Algebra 47
3 Vector Spaces, Bases, Linear Maps 49
3.1 Motivations: Linear Combinations, Linear Independence, Rank . . . . . . . 49
3.2 Vector Spaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 61
(cid:80)
3.3 Indexed Families; the Sum Notation a . . . . . . . . . . . . . . . . . . 64
i I i
3.4 Linear Independence, Subspaces . . . .∈ . . . . . . . . . . . . . . . . . . . . 70
3.5 Bases of a Vector Space . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 77
3.6 Matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 84
3.7 Linear Maps . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 89
3.8 Quotient Spaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 97
3.9 Linear Forms and the Dual Space . . . . . . . . . . . . . . . . . . . . . . . . 98
3.10 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 101
3.11 Problems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 103
4 Matrices and Linear Maps 111
4.1 Representation of Linear Maps by Matrices . . . . . . . . . . . . . . . . . . 111
4.2 Composition of Linear Maps and Matrix Multiplication . . . . . . . . . . . 116
4.3 Change of Basis Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 122
4.4 The Effect of a Change of Bases on Matrices . . . . . . . . . . . . . . . . . 125
4.5 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 130
4.6 Problems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 130
5 Haar Bases, Haar Wavelets, Hadamard Matrices 137
3
4 CONTENTS
5.1 Introduction to Signal Compression Using Haar Wavelets . . . . . . . . . . 137
5.2 Haar Matrices, Scaling Properties of Haar Wavelets . . . . . . . . . . . . . . 139
5.3 Kronecker Product Construction of Haar Matrices . . . . . . . . . . . . . . 144
5.4 Multiresolution Signal Analysis with Haar Bases . . . . . . . . . . . . . . . 146
5.5 Haar Transform for Digital Images . . . . . . . . . . . . . . . . . . . . . . . 149
5.6 Hadamard Matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 155
5.7 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 157
5.8 Problems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 158
6 Direct Sums 163
6.1 Sums, Direct Sums, Direct Products . . . . . . . . . . . . . . . . . . . . . . 163
6.2 Matrices of Linear Maps and Multiplication by Blocks . . . . . . . . . . . . 173
6.3 The Rank-Nullity Theorem; Grassmann’s Relation . . . . . . . . . . . . . . 186
6.4 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 192
6.5 Problems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 193
7 Determinants 201
7.1 Permutations, Signature of a Permutation . . . . . . . . . . . . . . . . . . . 201
7.2 Alternating Multilinear Maps . . . . . . . . . . . . . . . . . . . . . . . . . . 205
7.3 Definition of a Determinant . . . . . . . . . . . . . . . . . . . . . . . . . . . 209
7.4 Inverse Matrices and Determinants . . . . . . . . . . . . . . . . . . . . . . . 218
7.5 Systems of Linear Equations and Determinants . . . . . . . . . . . . . . . . 221
7.6 Determinant of a Linear Map . . . . . . . . . . . . . . . . . . . . . . . . . . 223
7.7 The Cayley–Hamilton Theorem . . . . . . . . . . . . . . . . . . . . . . . . . 224
7.8 Permanents . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 229
7.9 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 231
7.10 Further Readings . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 233
7.11 Problems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 233
8 Gaussian Elimination, LU, Cholesky, Echelon Form 239
8.1 Motivating Example: Curve Interpolation . . . . . . . . . . . . . . . . . . . 239
8.2 Gaussian Elimination . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 243
8.3 Elementary Matrices and Row Operations . . . . . . . . . . . . . . . . . . . 248
8.4 LU-Factorization . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 251
8.5 PA = LU Factorization . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 257
(cid:126)
8.6 Proof of Theorem 8.5 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 265
8.7 Dealing with Roundoff Errors; Pivoting Strategies . . . . . . . . . . . . . . . 270
8.8 Gaussian Elimination of Tridiagonal Matrices . . . . . . . . . . . . . . . . . 272
8.9 SPD Matrices and the Cholesky Decomposition . . . . . . . . . . . . . . . . 274
8.10 Reduced Row Echelon Form . . . . . . . . . . . . . . . . . . . . . . . . . . . 283
8.11 RREF, Free Variables, Homogeneous Systems . . . . . . . . . . . . . . . . . 289
8.12 Uniqueness of RREF . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 292
8.13 Solving Linear Systems Using RREF . . . . . . . . . . . . . . . . . . . . . . 294
CONTENTS 5
8.14 Elementary Matrices and Columns Operations . . . . . . . . . . . . . . . . 300
(cid:126)
8.15 Transvections and Dilatations . . . . . . . . . . . . . . . . . . . . . . . . 301
8.16 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 307
8.17 Problems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 308
9 Vector Norms and Matrix Norms 319
9.1 Normed Vector Spaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 319
9.2 Matrix Norms . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 331
9.3 Subordinate Norms . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 336
9.4 Inequalities Involving Subordinate Norms . . . . . . . . . . . . . . . . . . . 343
9.5 Condition Numbers of Matrices . . . . . . . . . . . . . . . . . . . . . . . . . 345
9.6 An Application of Norms: Inconsistent Linear Systems . . . . . . . . . . . . 354
9.7 Limits of Sequences and Series . . . . . . . . . . . . . . . . . . . . . . . . . 355
9.8 The Matrix Exponential . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 358
9.9 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 361
9.10 Problems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 363
10 Iterative Methods for Solving Linear Systems 369
10.1 Convergence of Sequences of Vectors and Matrices . . . . . . . . . . . . . . 369
10.2 Convergence of Iterative Methods . . . . . . . . . . . . . . . . . . . . . . . . 372
10.3 Methods of Jacobi, Gauss–Seidel, and Relaxation . . . . . . . . . . . . . . . 374
10.4 Convergence of the Methods . . . . . . . . . . . . . . . . . . . . . . . . . . . 382
10.5 Convergence Methods for Tridiagonal Matrices . . . . . . . . . . . . . . . . 385
10.6 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 390
10.7 Problems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 391
11 The Dual Space and Duality 395
11.1 The Dual Space E and Linear Forms . . . . . . . . . . . . . . . . . . . . . 395
∗
11.2 Pairing and Duality Between E and E . . . . . . . . . . . . . . . . . . . . 402
∗
11.3 The Duality Theorem and Some Consequences . . . . . . . . . . . . . . . . 407
11.4 The Bidual and Canonical Pairings . . . . . . . . . . . . . . . . . . . . . . . 413
11.5 Hyperplanes and Linear Forms . . . . . . . . . . . . . . . . . . . . . . . . . 415
11.6 Transpose of a Linear Map and of a Matrix . . . . . . . . . . . . . . . . . . 416
11.7 Properties of the Double Transpose . . . . . . . . . . . . . . . . . . . . . . . 423
11.8 The Four Fundamental Subspaces . . . . . . . . . . . . . . . . . . . . . . . 425
11.9 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 428
11.10 Problems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 429
12 Euclidean Spaces 433
12.1 Inner Products, Euclidean Spaces . . . . . . . . . . . . . . . . . . . . . . . . 433
12.2 Orthogonality and Duality in Euclidean Spaces . . . . . . . . . . . . . . . . 442
12.3 Adjoint of a Linear Map . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 449
12.4 Existence and Construction of Orthonormal Bases . . . . . . . . . . . . . . 452
6 CONTENTS
12.5 Linear Isometries (Orthogonal Transformations) . . . . . . . . . . . . . . . . 459
12.6 The Orthogonal Group, Orthogonal Matrices . . . . . . . . . . . . . . . . . 462
12.7 The Rodrigues Formula . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 464
12.8 QR-Decomposition for Invertible Matrices . . . . . . . . . . . . . . . . . . . 467
12.9 Some Applications of Euclidean Geometry . . . . . . . . . . . . . . . . . . . 472
12.10 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 473
12.11 Problems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 475
13 QR-Decomposition for Arbitrary Matrices 487
13.1 Orthogonal Reflections . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 487
13.2 QR-Decomposition Using Householder Matrices . . . . . . . . . . . . . . . . 492
13.3 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 502
13.4 Problems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 502
14 Hermitian Spaces 509
14.1 Hermitian Spaces, Pre-Hilbert Spaces . . . . . . . . . . . . . . . . . . . . . 509
14.2 Orthogonality, Duality, Adjoint of a Linear Map . . . . . . . . . . . . . . . 518
14.3 Linear Isometries (Also Called Unitary Transformations) . . . . . . . . . . . 523
14.4 The Unitary Group, Unitary Matrices . . . . . . . . . . . . . . . . . . . . . 525
14.5 Hermitian Reflections and QR-Decomposition . . . . . . . . . . . . . . . . . 528
14.6 Orthogonal Projections and Involutions . . . . . . . . . . . . . . . . . . . . 533
14.7 Dual Norms . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 536
14.8 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 543
14.9 Problems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 544
15 Eigenvectors and Eigenvalues 549
15.1 Eigenvectors and Eigenvalues of a Linear Map . . . . . . . . . . . . . . . . . 549
15.2 Reduction to Upper Triangular Form . . . . . . . . . . . . . . . . . . . . . . 557
15.3 Location of Eigenvalues . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 561
15.4 Conditioning of Eigenvalue Problems . . . . . . . . . . . . . . . . . . . . . . 565
15.5 Eigenvalues of the Matrix Exponential . . . . . . . . . . . . . . . . . . . . . 567
15.6 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 569
15.7 Problems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 570
16 Unit Quaternions and Rotations in SO(3) 581
H
16.1 The Group SU(2) and the Skew Field of Quaternions . . . . . . . . . . . 581
16.2 Representation of Rotation in SO(3) By Quaternions in SU(2) . . . . . . . 583
16.3 Matrix Representation of the Rotation r . . . . . . . . . . . . . . . . . . . 588
q
16.4 An Algorithm to Find a Quaternion Representing a Rotation . . . . . . . . 590
16.5 The Exponential Map exp: su(2) SU(2) . . . . . . . . . . . . . . . . . . 593
→
(cid:126)
16.6 Quaternion Interpolation . . . . . . . . . . . . . . . . . . . . . . . . . . . 595
16.7 Nonexistence of a “Nice” Section from SO(3) to SU(2) . . . . . . . . . . . . 597
16.8 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 599
CONTENTS 7
16.9 Problems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 600
17 Spectral Theorems 603
17.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 603
17.2 Normal Linear Maps: Eigenvalues and Eigenvectors . . . . . . . . . . . . . . 603
17.3 Spectral Theorem for Normal Linear Maps . . . . . . . . . . . . . . . . . . . 609
17.4 Self-Adjoint and Other Special Linear Maps . . . . . . . . . . . . . . . . . . 614
17.5 Normal and Other Special Matrices . . . . . . . . . . . . . . . . . . . . . . . 620
17.6 Rayleigh–Ritz Theorems and Eigenvalue Interlacing . . . . . . . . . . . . . 623
17.7 The Courant–Fischer Theorem; Perturbation Results . . . . . . . . . . . . . 628
17.8 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 631
17.9 Problems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 632
18 Computing Eigenvalues and Eigenvectors 639
18.1 The Basic QR Algorithm . . . . . . . . . . . . . . . . . . . . . . . . . . . . 641
18.2 Hessenberg Matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 647
18.3 Making the QR Method More Efficient Using Shifts . . . . . . . . . . . . . 653
18.4 Krylov Subspaces; Arnoldi Iteration . . . . . . . . . . . . . . . . . . . . . . 658
18.5 GMRES . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 662
18.6 The Hermitian Case; Lanczos Iteration . . . . . . . . . . . . . . . . . . . . . 663
18.7 Power Methods . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 664
18.8 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 666
18.9 Problems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 667
19 Introduction to The Finite Elements Method 669
19.1 A One-Dimensional Problem: Bending of a Beam . . . . . . . . . . . . . . . 669
19.2 A Two-Dimensional Problem: An Elastic Membrane . . . . . . . . . . . . . 680
19.3 Time-Dependent Boundary Problems . . . . . . . . . . . . . . . . . . . . . . 683
20 Graphs and Graph Laplacians; Basic Facts 691
20.1 Directed Graphs, Undirected Graphs, Weighted Graphs . . . . . . . . . . . 694
20.2 Laplacian Matrices of Graphs . . . . . . . . . . . . . . . . . . . . . . . . . . 701
20.3 Normalized Laplacian Matrices of Graphs . . . . . . . . . . . . . . . . . . . 705
20.4 Graph Clustering Using Normalized Cuts . . . . . . . . . . . . . . . . . . . 709
20.5 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 711
20.6 Problems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 712
21 Spectral Graph Drawing 715
21.1 Graph Drawing and Energy Minimization . . . . . . . . . . . . . . . . . . . 715
21.2 Examples of Graph Drawings . . . . . . . . . . . . . . . . . . . . . . . . . . 718
21.3 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 722
22 Singular Value Decomposition and Polar Form 725
8 CONTENTS
22.1 Properties of f f . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 725
∗
◦
22.2 Singular Value Decomposition for Square Matrices . . . . . . . . . . . . . . 731
22.3 Polar Form for Square Matrices . . . . . . . . . . . . . . . . . . . . . . . . . 735
22.4 Singular Value Decomposition for Rectangular Matrices . . . . . . . . . . . 737
22.5 Ky Fan Norms and Schatten Norms . . . . . . . . . . . . . . . . . . . . . . 741
22.6 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 742
22.7 Problems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 742
23 Applications of SVD and Pseudo-Inverses 747
23.1 Least Squares Problems and the Pseudo-Inverse . . . . . . . . . . . . . . . . 747
23.2 Properties of the Pseudo-Inverse . . . . . . . . . . . . . . . . . . . . . . . . 754
23.3 Data Compression and SVD . . . . . . . . . . . . . . . . . . . . . . . . . . . 759
23.4 Principal Components Analysis (PCA) . . . . . . . . . . . . . . . . . . . . . 761
23.5 Best Affine Approximation . . . . . . . . . . . . . . . . . . . . . . . . . . . 772
23.6 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 776
23.7 Problems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 777
II Affine and Projective Geometry 781
24 Basics of Affine Geometry 783
24.1 Affine Spaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 783
24.2 Examples of Affine Spaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . 792
24.3 Chasles’s Identity . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 793
24.4 Affine Combinations, Barycenters . . . . . . . . . . . . . . . . . . . . . . . . 794
24.5 Affine Subspaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 799
24.6 Affine Independence and Affine Frames . . . . . . . . . . . . . . . . . . . . . 805
24.7 Affine Maps . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 811
24.8 Affine Groups . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 818
24.9 Affine Geometry: A Glimpse . . . . . . . . . . . . . . . . . . . . . . . . . . 820
24.10 Affine Hyperplanes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 824
24.11 Intersection of Affine Spaces . . . . . . . . . . . . . . . . . . . . . . . . . . . 826
25 Embedding an Affine Space in a Vector Space 829
25.1 The “Hat Construction,” or Homogenizing . . . . . . . . . . . . . . . . . . . 829
ˆ
25.2 Affine Frames of E and Bases of E . . . . . . . . . . . . . . . . . . . . . . . 836
ˆ
25.3 Another Construction of E . . . . . . . . . . . . . . . . . . . . . . . . . . . 839
25.4 Extending Affine Maps to Linear Maps . . . . . . . . . . . . . . . . . . . . . 842
26 Basics of Projective Geometry 847
26.1 Why Projective Spaces? . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 847
26.2 Projective Spaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 852
26.3 Projective Subspaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 857
CONTENTS 9
26.4 Projective Frames . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 860
26.5 Projective Maps . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 874
26.6 Finding a Homography Between Two Projective Frames . . . . . . . . . . . 880
26.7 Affine Patches . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 893
26.8 Projective Completion of an Affine Space . . . . . . . . . . . . . . . . . . . 896
26.9 Making Good Use of Hyperplanes at Infinity . . . . . . . . . . . . . . . . . 901
26.10 The Cross-Ratio . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 904
26.11 Fixed Points of Homographies and Homologies . . . . . . . . . . . . . . . . 908
26.12 Duality in Projective Geometry . . . . . . . . . . . . . . . . . . . . . . . . . 922
26.13 Cross-Ratios of Hyperplanes . . . . . . . . . . . . . . . . . . . . . . . . . . . 926
26.14 Complexification of a Real Projective Space . . . . . . . . . . . . . . . . . . 928
26.15 Similarity Structures on a Projective Space . . . . . . . . . . . . . . . . . . 930
26.16 Some Applications of Projective Geometry . . . . . . . . . . . . . . . . . . . 939
III The Geometry of Bilinear Forms 945
27 The Cartan–Dieudonn´e Theorem 947
27.1 The Cartan–Dieudonn´e Theorem for Linear Isometries . . . . . . . . . . . . 947
27.2 Affine Isometries (Rigid Motions) . . . . . . . . . . . . . . . . . . . . . . . . 959
27.3 Fixed Points of Affine Maps . . . . . . . . . . . . . . . . . . . . . . . . . . . 961
27.4 Affine Isometries and Fixed Points . . . . . . . . . . . . . . . . . . . . . . . 963
27.5 The Cartan–Dieudonn´e Theorem for Affine Isometries . . . . . . . . . . . . 969
28 Isometries of Hermitian Spaces 973
28.1 The Cartan–Dieudonn´e Theorem, Hermitian Case . . . . . . . . . . . . . . . 973
28.2 Affine Isometries (Rigid Motions) . . . . . . . . . . . . . . . . . . . . . . . . 982
29 The Geometry of Bilinear Forms; Witt’s Theorem 987
29.1 Bilinear Forms . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 987
29.2 Sesquilinear Forms . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 995
29.3 Orthogonality . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 999
29.4 Adjoint of a Linear Map . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1004
29.5 Isometries Associated with Sesquilinear Forms . . . . . . . . . . . . . . . . . 1006
29.6 Totally Isotropic Subspaces . . . . . . . . . . . . . . . . . . . . . . . . . . . 1010
29.7 Witt Decomposition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1016
29.8 Symplectic Groups . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1024
29.9 Orthogonal Groups and the Cartan–Dieudonn´e Theorem . . . . . . . . . . . 1028
29.10 Witt’s Theorem . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1035
10 CONTENTS
IV Algebra: PID’s, UFD’s, Noetherian Rings, Tensors,
Modules over a PID, Normal Forms 1041
30 Polynomials, Ideals and PID’s 1043
30.1 Multisets . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1043
30.2 Polynomials . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1044
30.3 Euclidean Division of Polynomials . . . . . . . . . . . . . . . . . . . . . . . 1050
30.4 Ideals, PID’s, and Greatest Common Divisors . . . . . . . . . . . . . . . . . 1052
30.5 Factorization and Irreducible Factors in K[X] . . . . . . . . . . . . . . . . . 1060
30.6 Roots of Polynomials . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1064
30.7 Polynomial Interpolation (Lagrange, Newton, Hermite) . . . . . . . . . . . . 1071
31 Annihilating Polynomials; Primary Decomposition 1079
31.1 Annihilating Polynomials and the Minimal Polynomial . . . . . . . . . . . . 1081
31.2 Minimal Polynomials of Diagonalizable Linear Maps . . . . . . . . . . . . . 1083
31.3 Commuting Families of Linear Maps . . . . . . . . . . . . . . . . . . . . . . 1086
31.4 The Primary Decomposition Theorem . . . . . . . . . . . . . . . . . . . . . 1089
31.5 Jordan Decomposition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1095
31.6 Nilpotent Linear Maps and Jordan Form . . . . . . . . . . . . . . . . . . . . 1098
31.7 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1104
31.8 Problems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1105
32 UFD’s, Noetherian Rings, Hilbert’s Basis Theorem 1109
32.1 Unique Factorization Domains (Factorial Rings) . . . . . . . . . . . . . . . . 1109
32.2 The Chinese Remainder Theorem . . . . . . . . . . . . . . . . . . . . . . . . 1123
32.3 Noetherian Rings and Hilbert’s Basis Theorem . . . . . . . . . . . . . . . . 1129
32.4 Futher Readings . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1133
33 Tensor Algebras 1135
33.1 Linear Algebra Preliminaries: Dual Spaces and Pairings . . . . . . . . . . . 1137
33.2 Tensors Products . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1142
33.3 Bases of Tensor Products . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1154
33.4 Some Useful Isomorphisms for Tensor Products . . . . . . . . . . . . . . . . 1155
33.5 Duality for Tensor Products . . . . . . . . . . . . . . . . . . . . . . . . . . . 1159
33.6 Tensor Algebras . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1165
33.7 Symmetric Tensor Powers . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1172
33.8 Bases of Symmetric Powers . . . . . . . . . . . . . . . . . . . . . . . . . . . 1176
33.9 Some Useful Isomorphisms for Symmetric Powers . . . . . . . . . . . . . . . 1179
33.10 Duality for Symmetric Powers . . . . . . . . . . . . . . . . . . . . . . . . . . 1179
33.11 Symmetric Algebras . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1183
33.12 Problems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1186
34 Exterior Tensor Powers and Exterior Algebras 1189