Lineare Algebra und Analytische Geometrie II Prof. Dr. Peter Knabner U¨berarbeitung eines Skripts von Prof. Dr. Wolf Barth Sommersemester 2007 Institut fu¨r Angewandte Mathematik Friedrich-Alexander-Universit¨at Erlangen-Nu¨rnberg Martensstraße 3 91058 Erlangen e-mail: [email protected] Version vom 20. Februar 2008 Inhaltsverzeichnis 4.6 Die Singul¨arwertzerlegung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 4.7 Positiv definite Matrizen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13 4.8 Ausblick: Das Ausgleichsproblem und die QR–Zerlegung . . . . . . . . . . . . . . . . . 19 5 Lineare Algebra und Analysis 22 5.1 Normierte Vektorr¨aume . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22 5.2 Normierte Algebren . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33 5.3 Hilbertr¨aume . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47 6 Einige Anwendungen der Linearen Algebra 63 6.1 Lineare Gleichungssysteme und Ausgleichsprobleme unter Datenst¨orungen . . . . . . . 63 6.2 Ausblick: Iterationsverfahren fu¨r lineare Gleichungssysteme . . . . . . . . . . . . . . . 70 6.3 Ausblick: Datenanalyse, -synthese und -kompression . . . . . . . . . . . . . . . . . . . 81 7 Algebraische Strukturen in der linearen Algebra 93 7.1 Von der Halbgruppe zur K-Algebra. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 93 7.2 Quotientenstrukturen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 104 7.3 Geometrie und Gruppeninvarianz . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 114 7.4 α-Bilinearformen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 121 7.5 Symmetrische Bilinearformen und hermitesche Formen . . . . . . . . . . . . . . . . . . 133 7.6 Quadriken . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 142 7.7 Alternierende Bilinearformen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 155 8 Polyeder und Lineare Optimierung 161 8.1 Elementare affine und konvexe Geometrie . . . . . . . . . . . . . . . . . . . . . . . . . 166 8.2 Polyeder . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 174 8.3 Beschr¨ankte Polyeder . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 186 8.4 Das Optimierungsproblem . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 191 8.5 Ecken und Basisl¨osungen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 197 8.6 Das Simplex-Verfahren . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 203 2 4.6 Die Singul¨arwertzerlegung Die folgende Graphik stellt die bisher erreichten Normalformen zusammen, abh¨angig davon, ob die Basen in Urbild- und Bildraum gleich sind bzw. ob sie orthonormal sind. Sei A R(n,n), r := Rang(A) ∈ Basen ungleich Basen gleich 1 ... r Jordan-Normalform in C 1 ) Basen beliebig diagonalisierbar in C 0 ⇔ algebraische = geometrische Vielfachheit ... 0 σ 1 ... Schur-Normalform in C σ Basen orthonormal r diagonalisierbar in C A normal 0 ⇔ diagonalisierbar in R A symmetrisch ... ⇔ 0 Ist die Situation (oben, links) zu aussagelos, ist die (oben, rechts) nicht immer befriedigend, insbeson- dere wenn sie numerisch instabil ist. Die Situation (unten, rechts) ist am aussagest¨arksten, aber auch am eingeschr¨anktesten, so dass eventuell das noch nicht untersuchte (unten, links) einen allgemeinen aussagekr¨aftigen Kompromiss bieten kann. Gesucht werden also orthogonale U,V, so dass U−1A V = UtAV = Σ = diag(σ ) (4.59) i gilt, wobei wir uns also zur Vereinfachung der Notation auf den reellen Fall beschr¨anken. Eine Normalform kann fu¨r verschiedene Zwecke nu¨tzlich sein. Eine Diagonalisierung oder auch die Jordan-Normalform erlaubt (prinzipiell) die explizite Berechnung von L¨osungen von gew¨ohnlichen Differentialgleichungen (siehe als Beispiel (4.11) im Skript Lineare Algebra I und ff. und allgemein unten) bzw. damit zusammenh¨angend Matrixpolynome. Eine andere Frage ist die nach der L¨osbarkeit des LGS Ax = b fu¨r A R(n,n),x,b Rn. Sei hier A nichtsingul¨ar. ∈ ∈ Hier ist die obere Zeile der obigen Tabelle (beliebige Basen) nicht sehr hilfreich, denn: 3 Sei 1 ... 0 r 1 ) U−1AV = D := im linken, bzw. 0 0 .. . 0 U = V und U−1AU = J im rechten Fall, wobei J aus Jordan-Bl¨ocken bestehe und U,V R(n,n) nichtsingul¨ar seien. ∈ Dann folgt fu¨r y := V−1x , d.h. x = Vy : (4.60) Dy = U−1AVy = U−1b (4.61) im linken bzw. Jy = U−1AVy = U−1b (4.62) im zweiten Fall. Das LGS in (4.61) ist trivial zu l¨osen (durch y = (U−1b) ,i = 1,...,r, y = 0,i = r+1,...,n), das i i i in (4.62) entsprechend, wobei maximal eine auf einen Term verku¨rzte Ru¨ckw¨artssubstitution n¨otig ist. Das Problem liegt in der Bestimmung von U−1b, was im Allgemeinen genau einem LGS des Ausgangstyps entspricht. Anders ist dies in der zweiten Zeile der Tabelle, da dort U und V orthogonal sind: Im rechten Fall ist (bei reellen Eigenwerten) λ 1 ∗ U−1AU = T := ... , 0 λ n wobei U = u(1),...,u(n) orthogonal ist, d.h. (cid:0) (cid:1) U−1 = Ut und somit mit (4.60) (wobei U = V) gilt Ty = U−1b = Utb (4.63) und dieses LGS ist durch Ru¨ckw¨artssubstitution (wenn nicht T gar diagonal ist) mit geringem Aufwand zu l¨osen, bei durch Matrix-Vektormultiplikation explizit bekannter rechter Seite. Diese Vorteile bleiben auch in linkem Fall erhalten, d.h. bei (4.59): Dann: Σy = U−1b = Utb , also 1 y = (Utb) , i = 1,...,n i i σ i 4 und damit n 1 x = (Utb) v(i) , i σ i i=1 X wobei V = v(1),...,v(n) . Eine ¨aquiva(cid:0)lente Schreibw(cid:1)eise ist n 1 x = u(i),b v(i) . (4.64) σ h i i i=1 X Esstelltsichheraus,dassfu¨reinesolcheSingul¨arwertzerlegungkeineBedingungenanAgestelltwerden mu¨ssen, ja sogar beliebige Zeilen- und Spaltenanzahlen zugelassen werden k¨onnen. Definition 4.45 Seien n,m N, A R(m,n). ∈ ∈ Gesucht sind σ ,...,σ R,k = min(m,n), die Singul¨arwerte von A und orthogonale 1 k ∈ U R(m,m),V R(n,n), so dass ∈ ∈ UtAV = Σ = diag(σ ) , (4.65) i wobei Σ R(m,n) eine (verallgemeinerte) Diagonalmatrix ist. (4.65) heißt eine Singul¨arwertzerlegung ∈ (SVD: Singular Value Decomposition) von A. Die Spalten von V heißen auch rechte singul¨are Vekto- ren, die von U linke singul¨are Vektoren. Abbildung 1 stellt die beinhalteten F¨alle grafisch dar. Es reicht, den Fall m n zu behandeln, da der Fall m < n durch Transponieren in diesen u¨bergeht: ≥ A= UΣVt At = VΣtUt . ⇔ Im Folgenden sollen notwendige Bedingungen aus der Existenz einer SVD hergeleitet und in einem zweiten Schritt gezeigt werden, dass diese Bedingungen erfu¨llbar sind und zu einer SVD fu¨hren. Das ergibt schließlich einen Existenzbeweis (Satz 4.46). Sei also eine SVD von A R(m,n) gegeben: ∈ UtAV = Σ . Es besteht ein enger Zusammenhang zur orthogonalen Diagonalisierung der symmetrischen Matrizen AAt und At A, da folgt: UtAAtU = UtAV VtAtU = ΣΣt = diag(σˆ2) i VtAtAV = VtAtU UtA V = ΣtΣ = diag(σ˜2) . i Dabei ist diag(σˆ2) R(m,m), wobei i ∈ σˆ2 = σ2 fu¨r i= 1,...,k, σˆ2 = 0 fu¨r i = k+1,...,m i i i diag(σ˜2) R(n,n), wobei i ∈ σ˜2 = σ2 fu¨r i= 1,...,k, σ˜2 = 0 fu¨r i = k+1,...,n . i i i also etwa fu¨r m n : ≥ 5 σ2 1 σ2 ... 0 1 σ2 ... 0 1 diag(σˆ2) = diag(σ˜2)= i 0 0 i .. 0 . .. . σ2 n 0 Die Matrizen U und V sind also notwendigerweise aus einer ONB von Eigenvektoren von AAt bzw. AtA (die existieren) zusammengesetzt und es muss gelten Ist σ = 0, dann ist σ2 ein Eigenwert von AAt und von AtA . i 6 i Diese Bedingungen sind erfu¨llbar, da gilt: m > n (m,n) (m,m) (m,n) σ1... (n,n) σ n = Vt A U Σ m = n (n,n) (n,n) (n,n) (n,n) σ = 1... σ n A U Σ Vt m > n (m,n) (n,n) (m,n) (n,n) σ = 1... σ m A U Σ Vt Abbildung 1: Singul¨arwertzerlegung 6 AtAv = λv A At(Av) = λ(Av) ⇒ (4.66) AAtu = λu AtA(Atu) = λ(Atu) , ⇒ also sind die Eigenwerte von AtA und AAt identisch. Sie sind nicht nur reell, sondern auch nichtnegativ: λ v.v = AtAv.v = Av.Av 0 , h i h i h i ≥ so dass fu¨r die positiven Eigenwerte λ von AtA (und A At), die o.B.d.A. absteigend angeordnet seien: λ λ ... λ > 0 , 1 2 r ≥ ≥ definiert werden kann σ := + λ fu¨r i= 1,...,r . (4.67) i i Eine andere Anordnung der λ (und zugeh¨oprigen Eigenvektoren) bzw. eine andere Vorzeichenwahl als i in (4.67) kann als orthogonale Permutation- bzw. Diagonalmatrix in U oder V aufgenommen werden und fu¨hrt zu einer anderen Singul¨arwertzerlegung. Die spezielle SVD (die existiert, wenn u¨berhaupt eine existiert) mit σ σ ... σ > 0= σ =... = σ (4.68) 1 2 r r+1 k ≥ ≥ ≥ heißt normiert. Weiter gilt Kern(A) = Kern(AtA) , (4.69) Kern(At) = Kern(A At) , da etwa: AtAv = 0 0 = AtAv.v = Av.Av Av = 0 . ⇒ h i h i ⇒ Da wegen der Diagonalisierbarkeit von AtA gilt: r = Rang(AtA) und deshalb wegen der Dimensionsformel r+dimKern(AtA) = n , ist also n r = dimKern(A) und so r = Rang(A) . − Sei also v ,...,v eine ONB von Kern(A), d.h. des Eigenraums von AtA zum Eigenwert 0, dann r+1 n gilt offensichtlich Av = 0 , i = r+1,...,n . (4.70) i Genauso gilt wegen der Diagonalisierbarkeit von AAt: r = Rang(AAt) (womit sich noch nochmal Rang(A) = Rang(AtA) = Rang(A At) ergibt) und deshalb: r+dimKern(AAt) = m , also m r = dimKern(At) . − 7 Sei u ,...,u eine ONB von Kern(At), also dem Eigenraum von AAt zum Eigenwert 0. r+1 m Setzen wir genauer σ := +√λ fu¨r i= 1,...,r i i (4.71) σ := 0 fu¨r i = r,...,min(m,n) i fu¨r die Singul¨arwerte, so ist fu¨r die Gu¨ltigkeit von AV = UΣ noch Av = σ u , ,i = 1,...,r (4.72) i i i zu sichern. Dazu w¨ahlen wir v ,...,v als eine ONB von AtA zu den Eigenwerten λ ,...,λ . Nach Satz 4.39, v) 1 r 1 r wird diese mit v ,...,v zu einer ONB von Rn erg¨anzt, d.h. die Matrix r+1 n V = (v ,...,v ) R(n,n) 1 n ∈ ist orthogonal und entsprechend w¨ahlen wir u ,...,u als eine ONB von AAt zu den Eigenwerten 1 r λ ,...,λ , die aus gleichen Gru¨nden mit u ,...,u zu einer ONB von Rm erg¨anzt wird. 1 r r+1 m U = (u ,...,u ) R(m,m) 1 m ∈ ist also orthogonal. Zum Nachweis von (4.72) beachte man: Av 2 = Av .Av = v .AtAv = λ v 2 = λ , also Av = σ fu¨r i = 1,...,r i i i i i i i i i i k k h i h i k k k k undnach (4.66)ist Av ein Eigenvektor von A At zum Eigenwert λ , so dass wegen der Orthogonalit¨at i i der u also gelten muss i Av = α u , i i i zusammen also mit u = 1 folgt die Behauptung (4.72). i k k Also ist bewiesen Satz 4.46 Sei A R(m,n). Dann existiert eine Singul¨arwertzerlegung (SVD) von A in der Form ∈ UtAV = Σ mitorthogonalen U R(m,m),V R(n,n) undeinerDiagonalmatrixΣ R(m,n) mitgenaur = Rang(A) ∈ ∈ ∈ positiven Diagonalelementen σ (o.B.d.A. auf den Positionen 1,...,r absteigend angeordnet), den i (positiven) Singul¨arwerten, und dem Singul¨arwert 0 auf den Diagonalpositionen r+1,...,min(m,n), die normierte SVD. U und V sind erh¨altlich als Eigenvektor-ONB f¨ur A At bzw. AtA zu den Eigenwerten λ ,...,λ > 0 1 r und λ = ...,λ (bzw. λ )= 0. r+1 m n Andererseits ist f¨ur jede SVD die Anzahl der nichtverschwindenden Singul¨arwerte r = Rang(A) und U und V sind Eigenvektor-ONB f¨ur AAt bzw. AtA. 8 Die Singul¨arwertzerlegung kann auch in reduzierter (oder auch kompakter) Form geschrieben werden. Sei o.B.d.A. m n, dann sei fu¨r A R(m,n) ≥ ∈ A = U 1 Vt 0 (cid:18) P (cid:19) mit Σ R(n,n) die normierte SVD. 1 ∈ Zerlegt man U = (U U ) mit U R(m,n), U R(m,m−n), dann ist 1 2 1 2 | ∈ ∈ A = U Σ Vt , (4.73) 1 1 die reduzierte SVD. Im Fall m n, in dem Rang(A) n gilt, sind also die Spalten v(i) von V eine ONB von Rn und die ≥ ≤ Spalten u(j),j = 1,...,n, von U eine ONB von W Bild(A), so dass fu¨r 1 ⊃ n n x = α v(i) gilt: Ax = α σ u(i) , i i i i=1 i=1 X X d.h. die Abbildung wird in den gew¨ahlten Koordinatensystemen V und U diagonal. In der (nicht 1 reduzierten) SVD wird U noch mit einer ONB von W⊥ (mit W⊥ Bild(A)⊥ = Kern(At)) erg¨anzt. 1 ⊂ Im Fall einer normalen Matrix, d.h. der Diagonalisierbarkeit mit einer orthogonalen A¨hnlichkeitsfor- mation, d.h. bei A = UΣUt mit U = u(1),...,u(n) orthogonal und Σ = diag(λ ) gilt i (cid:0) (cid:1) n A= λ u(i) u(i) (4.74) i ⊗ i=1 X (vgl. (4.56) im Skript Lineare Algebra I). In dieser Spektraldarstellung in dyadischer Form ist also A als Summe von Vielfachen von orthogonalen Projektionen auf (eindimensionale) Eigenr¨aume geschrieben. Die entsprechende Darstellung fu¨r A R(m,n) auf der Basis der normierten SVD ist ∈ A = UΣVt, d.h. r A= σ u(i) v(i) (4.75) i ⊗ i=1 X bzw. r Ax = σ v(i),x u . i i h i i=1 X Die Interpretation ist also analog, wobei es sich um fu¨r u(i) = v(i) nichtorthogonale Projektionen 6 handelt (siehe (2.41) im Skript Lineare Algebra I). (cid:0) (cid:1) (4.75) zeigt auch, dass nicht nur der Singul¨arwertσ = 0 (wie allgemein der Kern (A)) beider Betrach- tung von BildA keine Rolle spielt, auch k¨onnen anscheinend kleine, positive σ vernachl¨assigt werden. i Das ist eine Basis fu¨r Datenkompression (siehe unten). 9 In der Konstruktion der normierten SVD einer Matrix A sind wieder die vier fundamentalen Un- terr¨aume aufgetreten: von Rn : Kern A = span(v ,...,v ) r+1 n Bild At = span(v ,...,v ) (4.76) 1 r = Zeilenraum von Rm : Kern At = span(u ,...,u ) r+1 m Bild A = span(u ,...,u ) 1 r = Spaltenraum . Dabei ergibt sich die letzte Aussage aus (4.76) und die zweite aus Atu = σ v , i = 1,...,r , (4.77) i i i was direkt aus (4.72) folgt. Also symbolisch Spaltenraum Kern U = R(m,m) von A von At ∈ (cid:18) (cid:19) Zeilenraum Kern V = R(n,n) . von A von A ∈ (cid:18) (cid:19) Mit der Singul¨arzerlegung, deren Aufwand also etwa dem der Diagonalisierung einer symmetrischen Matrix entspricht, l¨asst sich einfach die Pseudoinverse von A angeben. Fu¨r die Diagonalmatrix Σ gilt 1 Σ+ = diag R(n,m) (4.78) σ ∈ i!! b mit 1 1 1 := ,i = 1,...,r, = 0 fu¨r i = r+1,...,k , (4.79) σ σ σ i! i i! b b wie etwa direktes Nachrechnen der charakterisierenden Eigenschaften von Satz 2.39 ergibt. Auf gleichem Weg ergibt sich Satz 4.47 Sei A R(m,n) mit Singul¨arwertzerlegung ∈ A= UΣVt . Dann ergibt sich die Pseudoinverse von A durch A+ = VΣ+Ut . A+ ist also eine SVD, die aber i.A. nicht normiert ist. Ein alternativer, direkter Beweis (der auch (4.79) mit einschließt) ist: 10