Springer Studium Mathematik – Bachelor Folkmar Bornemann Numerische lineare Algebra Eine konzise Einführung mit MATLAB und Julia 2. Auflage Springer Studium Mathematik – Bachelor Reihe herausgegeben von M. Aigner, Berlin, Deutschland H. Faßbender, Braunschweig, Deutschland B. Gentz, Bielefeld, Deutschland D. Grieser, Oldenburg, Deutschland P. Gritzmann, Garching, Deutschland J. Kramer, Berlin, Deutschland V. Mehrmann, Berlin, Deutschland G. Wüstholz, Zürich, Schweiz Die Reihe „Springer Studium Mathematik“ richtet sich an Studierende aller mathema- tischen Studiengänge und an Studierende, die sich mit Mathematik in Verbindung mit einem anderen Studienfach intensiv beschäftigen, wie auch an Personen, die in der Anwendung oder der Vermittlung von Mathematik tätig sind. Sie bietet Studierenden während des gesamten Studiums einen schnellen Zugang zu den wichtigsten mathema- tischen Teilgebieten entsprechend den gängigen Modulen. Die Reihe vermittelt neben einer soliden Grundausbildung in Mathematik auch fachübergreifende Kompetenzen. Insbesondere im Bachelorstudium möchte die Reihe die Studierenden für die Prinzipien und Arbeitsweisen der Mathematik begeistern. Die Lehr‐ und Übungsbücher unterstüt- zen bei der Klausurvorbereitung und enthalten neben vielen Beispielen und Übungsauf- gaben auch Grundlagen und Hilfen, die beim Übergang von der Schule zur Hochschule am Anfang des Studiums benötigt werden. Weiter begleitet die Reihe die Studierenden im fortgeschrittenen Bachelorstudium und zu Beginn des Masterstudiums bei der Ver- tiefung und Spezialisierung in einzelnen mathematischen Gebieten mit den passenden Lehrbüchern. Für den Master in Mathematik stellt die Reihe zur fachlichen Expertise Bände zu weiterführenden Themen mit forschungsnahen Einblicken in die moderne Mathematik zur Verfügung. Die Bücher können dem Angebot der Hochschulen entspre- chend auch in englischer Sprache abgefasst sein. Weitere Bände in der Reihe http://www.springer.com/series/13446 Folkmar Bornemann Numerische lineare Algebra Eine konzise Einführung mit MATLAB und Julia 2., verbesserte und erweiterte Auflage Folkmar Bornemann Zentrum Mathematik Technische Universität München Garching, Deutschland ISSN 2364-2378 ISSN 2364-2386 (electronic) Springer Studium Mathematik – Bachelor ISBN 978-3-658-24430-9 ISBN 978-3-658-24431-6 (eBook) https://doi.org/10.1007/978-3-658-24431-6 Die Deutsche Nationalbibliothek verzeichnet diese Publikation in der Deutschen Nationalbibliografie; detail- lierte bibliografische Daten sind im Internet über http://dnb.d-nb.de abrufbar. Springer Spektrum © Springer Fachmedien Wiesbaden GmbH, ein Teil von Springer Nature 2016, 2018 Das Werk einschließlich aller seiner Teile ist urheberrechtlich geschützt. Jede Verwertung, die nicht ausdrücklich vom Urheberrechtsgesetz zugelassen ist, bedarf der vorherigen Zustimmung des Verlags. Das gilt insbesondere für Vervielfältigungen, Bearbeitungen, Übersetzungen, Mikroverfilmungen und die Einspeicherung und Verarbeitung in elektronischen Systemen. Die Wiedergabe von Gebrauchsnamen, Handelsnamen, Warenbezeichnungen usw. in diesem Werk berechtigt auch ohne besondere Kennzeichnung nicht zu der Annahme, dass solche Namen im Sinne der Warenzeichen- und Markenschutz-Gesetzgebung als frei zu betrachten wären und daher von jedermann benutzt werden dürften. Der Verlag, die Autoren und die Herausgeber gehen davon aus, dass die Angaben und Informationen in diesem Werk zum Zeitpunkt der Veröffentlichung vollständig und korrekt sind. Weder der Verlag, noch die Autoren oder die Herausgeber übernehmen, ausdrücklich oder implizit, Gewähr für den Inhalt des Werkes, etwaige Fehler oder Äußerungen. Der Verlag bleibt im Hinblick auf geografische Zuordnungen und Gebietsbezeichnungen in veröffentlichten Karten und Institutionsadressen neutral. Verantwortlich im Verlag: Ulrike Schmickler-Hirzebruch Springer Spektrum ist ein Imprint der eingetragenen Gesellschaft Springer Fachmedien Wiesbaden GmbH und ist ein Teil von Springer Nature Die Anschrift der Gesellschaft ist: Abraham-Lincoln-Str. 46, 65189 Wiesbaden, Germany Thetroublewithpeopleisnotthattheydon’t knowbutthattheyknowsomuchthatain’tso. (JoshBillings1874) Vieleshätteichverstanden –hättemanesmirnichterklärt. (StanisławJerzyLec1957) Anexpertissomeonewhohasmadeallthe mistakeswhichcanbemadeinanarrowfield. (NielsBohr1954) unteresundadjungiertesoberesDreieckssystemausdemManuskript∗vonA.-L.Cholesky(1910),vgl.§8.3 ∗«Surlarésolutionnumériquedessystèmesd’équationslinéaires»,FondsAndré-LouisCholesky(1875-1918), AbdruckmitfreundlicherGenehmigungderArchivesdel’EcolePolytechnique,Palaiseau,Frankreich. Vorwort DiesesBuchentstandzurzweistündigenVorlesungEinführungindienumerischeli- neareAlgebradesBachelorstudiengangsMathematikanderTUMünchen:Anhand grundlegenderProblemstellungenderlinearenAlgebrawirdindasalgorithmisch- numerischeDenkeneingeführt.DieBeschränkungaufdielineareAlgebrasichert einestärkerethematischeKohärenzalssiesonstineinführendenVorlesungenzur Numerikzufindenist.NebendiesemdidaktischenAspektsinddievermittelten KonzepteundAlgorithmenvongrundsätzlicherBedeutungfürdienumerische Praxisundsolltendahermöglichstfrühzeitigbeherrschtwerden. MeineDarstellungbetontdieZweckmäßigkeitderBlockpartionierungvonVek- torenundMatrizengegenübereinerklassischen,komponentenweisenBetrachtung. SoerhaltenwirnichtnureineübersichtlichereNotationundkürzereAlgorithmen, sondernwerdenangesichtsvonVektorprozessorenundhierachischenSpeicherar- chitekturenmodernerComputerauchzusignifikantenLaufzeitgewinnengeführt. DasMottolautetdaher: DiehöhereAbstraktionsstufegewinnt. BeimThemaFehleranalysezieleichkompromisslosaufgrößtmöglichekonzep- tionelleSchärfe:NursoerlerntmanwirklichhoheKompetenzinderBeurteilung numerischerVerfahren;anderes(z.B.irgendwelche„Faustregeln“)führtnurzu unzuverlässigem,kostenträchtigemund–zuweilengefährlichem–Halbwissen. DieAlgorithmenundbegleitendennumerischenBeispielewerdeninderimuni- versitärenUnterrichtverbreitetenProgrammierumgebungMATLABangegeben, zusätzlichimAnhangBaberauchinderzukunftsweisenden,freizugänglichen ProgrammierspracheJuliavomMIT.IchverbindedamitdieHoffnung,dassdie LektüremeinesBuchszuweiterenComputerexperimentenanregt. DasbegleitendeE-BuchbietetalshyperverlinktesPDF-DokumentamComputer zusätzliche Inhalte: Interne Verweise sind blau, externe Verweise rot markiert. LetztereführenaufErläuterungenvonBegriffenundSachverhalten,dieichals bekanntvoraussetzenmöchte,oderaufweiterführendesMaterialwieetwaweb- basierte,computergestützteRechnungenundhistorischeInformationen. Die2.AuflageenthältnebenVerbesserungenundErgänzungen(etwaeinneu bearbeiteter§15)weiterezwanzigAufgabenundwurdeandieimAugust2018 vorgestellte,nunerstmaligvorwärtskompatibleVersion1.0vonJuliaangepasst. München,imOktober2018 FolkmarBornemann [email protected] viii Vorwort Laboratorium ZurVertiefungderLektüreempfehleich,sicheinLaboratoriumeinzurichten: Werkzeug1:Programmierumgebung WegenihrergegenwärtighohenVerbrei- tung in universitärer Lehre und industrieller Praxis verwende ich im Buch die SkriptsprachedernumerischeEntwicklungsumgebungMATLABderFirmaThe MathWorks. Als zukunftsweisende, frei zugängliche Alternative empfehle ich jedochdieProgrammierspracheJuliavomMIT,fürdieichdeshalbimAnhangB alleProgrammedesBuchserneutzusammengestellthabe. Werkzeug2:Rechenknecht IchwerdemichaufIdeenundKonzeptekonzen- trierenunddahernichtmitRechnungenaufhalten,dieaufgrundihrerhandwerk- lichen Natur auch von einem „Rechenknecht“ übernommen werden könnten. HierfüreignensichComputeralgebrasystemewieMapleoderMathematica;zu letzteremgibtesüberWolframAlphaeinenkostenfreien„einzeiligen“Zugangim Internet.BeispielefindensichmitexternenLinks(rot)in§§14.2und14.3. Werkzeug 3: Lehrbuch X Um sich den Stoff aus einer weiteren Perspektive erklärenzulassen,sollteeinpassendes„X“stetsinGriffweiteliegen;hiereinpaar EmpfehlungenausderangelsächsischenLiteratur: • PeterDeuflhard,AndreasHohmann:NumericalAnalysisinModernScientificCompu- ting,2.Aufl.,Springer-Verlag,NewYork,2003. Schulbildend;lautVorwortformtemeinjugendlicherElandieDarstellungderFehleranalyse. • LloydN.Trefethen,DavidBau:NumericalLinearAlgebra,SocietyofIndustrialand AppliedMathematics,Philadelphia,1997. EinsehrlebendiggeschriebenesLehrbuch,einKlassikerundAllzeit-BestsellerdesVerlags. • JamesW.Demmel:AppliedNumericalLinearAlgebra,SocietyofIndustrialandApplied Mathematics,Philadelphia,1997. TiefergehendundausführlicheralsderTrefethen–Bau,ebenfallseinKlassiker. Werkzeug 4: Nachschlagwerke Zur Vertiefung und als hervorragenden Aus- gangspunktweitererRecherchenempfehleichschließlichnoch: • GeneH.Golub,CharlesF.VanLoan:MatrixComputations,4.Aufl.,TheJohnsHopkins UniversityPress,Baltimore2013. Die„Bibel“zumThema. • NicholasJ.Higham:AccuracyandStabilityofNumericalAlgorithms,2.Aufl.,Societyof IndustrialandAppliedMathematics,Philadelphia,2002. DasumfassendemoderneStandardwerkzurFehleranalyse(ohneEigenwertprobleme). • RogerA.Horn,CharlesR.Johnson:MatrixAnalysis,2.Aufl.,CambridgeUniversity Press,Cambridge2012. DerKlassikerzurMatrixtheorie;sehrumfassendunddicht,unverzichtbareStandardreferenz. Inhaltsverzeichnis Vorwort vii Laboratorium . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . viii I MatrizenundComputer 1 1 WasistNumerik? . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 2 Matrizenkalkül . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 3 MATLAB . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8 4 Laufzeiten . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10 5 Dreiecksmatrizen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14 6 UnitäreMatrizen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18 II Matrixfaktorisierung 21 7 Dreieckszerlegung . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21 8 Cholesky-Zerlegung . . . . . . . . . . . . . . . . . . . . . . . . . . . 28 9 QR-Zerlegung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31 III Fehleranalyse 39 10 Fehlermaße . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 40 11 KonditioneinesProblems . . . . . . . . . . . . . . . . . . . . . . . . 41 12 Maschinenzahlen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47 13 StabilitäteinesAlgorithmus . . . . . . . . . . . . . . . . . . . . . . . 50 14 Beispielanalysen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 54 15 AnalyselinearerGleichungssysteme . . . . . . . . . . . . . . . . . . 60 IV KleinsteQuadrate 67 16 Normalgleichung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 67 17 Orthogonalisierung . . . . . . . . . . . . . . . . . . . . . . . . . . . . 70 V Eigenwertprobleme 73 18 Grundbegriffe . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 73 19 Störungstheorie . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 76 20 Vektoriteration. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 78 21 QR-Iteration . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 84 Anhang 95 A MATLAB–EineganzkurzeEinführung . . . . . . . . . . . . . . . 95 x Inhaltsverzeichnis B Julia–einemoderneAlternativezuMATLAB . . . . . . . . . . . . 101 C Normen–WiederholungundErgänzung . . . . . . . . . . . . . . . 115 D DasHouseholder-Verfahrenzur QR-Zerlegung . . . . . . . . . . . 119 E FürNeugierige,KennerundKönner . . . . . . . . . . . . . . . . . . 121 RückwärtsanalyseeinesModellsderNachiteration . . . . . . . 121 GlobaleKonvergenzder QR-IterationohneShift . . . . . . . . 121 LokaleKonvergenzder QR-IterationmitShift . . . . . . . . . 124 StochastischeobereAbschätzungderSpektralnorm . . . . . . 127 F WeitereAufgaben . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 131 Notation 143 Index 145