Robert Hafner Wahrscheinlichkeits rechnung und Statistik Springer-Verlag Wien New York o. Univ.-Prof. Dipl.-Ing. Dr. techno Robert Hafner Institut flir Angewandte Statistik, Johannes-Kepler-Universitat Linz Das Werk ist urheberrechtlich geschtitzt. Die dadurch begrtindeten Rechte, insbesondere die der Obersetzung, des Nachdruckes, der Entnahme von Abbildungen, der Funksendung, der Wiedergabe auf photomechanischem oder 1ihnlichem Wege und der Speicherung in Datenverarbeitungsanlagen, bleiben, auch bei nur auszugsweiser Verwertung, vorbehaIten. © 1989 by Springer-Verlag, Wien Softcover reprint of the hardcover 1s t edition 1989 Mit 165 Abbildungen CIP-Titelaufnahme der Deutschen Bibliothek Hafner, Robert: Wahrscheinlichkeitsrechnung und Statistik / Robert Hafner. Wien ; New York : Springer, 1989 ISBN-13: 978-3-211-82162-6 (Wien) e-ISBN-13: 978-3-7091-6944-5 (New York) ISBN-13: 978-3-7091-7443-2 e-ISBN-13: 978-3-7091-6944-5 DOl: 10.1007/978-3-7091-6944-5 Meiner Frau Elisabeth und meinen Kindem Robert und Stephan Vorwort vii Vorwort Dieses Buch ist aus Vorlesungen entstanden, die der Autor in den zuriickliegenden zwanzig J ahren an verschiedenen Hochschulen (Technische Un i versitiit Wien, Universitiit Dortmund, Universitiit Bielefeld, Universitat Linz) vor Horern sehr unterschiedlicher Studienrichtungen (Mathematik, Statistik, technische Wissenschaften, Na turwissenschaften, Sozial- und Wirtschaftswis senschaften, etc.) gehalten hat. Der Stil der Stoft'prasentation in Vorlesungen und Lehrbiichern der Wahr scheinlichkeitstheorie und Statistik im speziellen, wie der Mathematik im allge meinen, hat sich in diesen zwanzig J ahren gewaltig verindert. Stand man in den sechziger und beginnenden siebziger J ahren noch voll im Bann Bourb8.kistischer Strukturmathematik, so ist man heute ganz yom Computer be- und verzaubert. Gab es damals kein noch so element ares und anwendungsorientiertes Lehrbuch der Wahrscheinlichkeitsrechnung, das nicht bereits auf den ersten Seiten auf Meflbarkeitsprobleme einging, Boolesche u-Algebren von Ereignissen einfiihrte und abstrakte Wahrscheinlichkeitsraume aufspannte, so lautet das Motto heute: wer etwas auf sich hiilt, bringt Computerprogramme. War man friiher struktur-, abstraktions- und theorielastig bis zum Unertriiglichen, so scheint heute nur die Vorlesung oder das Lehrbuch etwas zu gelten, wo der Geist des PC iiber den Wassern schwebt. Das vorliegende Buch h8.lt zu beiden Positionen deutlich Abstand. Es sollte eine Einfiihrung in die Wahrscheinlichkeitsrechnung und mathematische Statistik entstehen, die den mit guten Kenntnissen der Differential- und Inte gralrechnung und einigen Grundlagen der linearen Algebra ausgeriisteten Leser auch wirklich einzufiihren vermag, ohne ihm durch unnotige Abstraktionen die Sinne zu verdunkeln und sein ProblembewuBtsein auf falsche Fiihrten zu locken. Eingefiihrt sollte aber durchaus in die Grundlagen der Wahrscheinlichkeitsrech nung und Statistik werden und nicht in die Beniitzung fertiger Programmpa kete. Zwar ist es eine Binsenweisheit, daB ein Programmpaket nur der sinnvoll nutzen kann, der iiber des sen theoretische Grundlagen, das Warum und Wieso, das "Wann-darf-ich" und "Wann-darf-ich-nicht" Bescheid weiB, doch sind Bin senweisheiten bekanntlich dazu da, ignoriert zu werden. Wer zahlt die Scharen derer, die PC-bewehrt munter drauflos varianz-, kovarianz-, faktorenanalysie ren, ohne Ahnung davon, was sie tun, die ihren outprint in rasch erlerntem Technolekt schnoddrig kommentieren und denjenigen anbieten, die nicht ein mal ahnen, daB sie es mit Ahnungslosen zu tun haben? Das erste Ziel: Verzicht auf unnotige Abstraktionen, brachte es mit sich, daB MeBbarkeitsfragen vollstindig ausgeschlossen wurden. Es war dem Autor viii Vorwort dabei nicht weh ums Herz. Das Bewufitsein davon, wieviel Schaden er selbst im Laufe der zuriickliegenden Jahre durch die fast zwanghafte Fixierung auf die Standardeinfii.hrung in die Wahrscheinlichkeitstheorie: Boolesche Algebra, Boolesche u-Algebra, Mefiraum, Mafiraum, etc., etc. bei Anfangern angerichtet hat, verlangte gebieterisch nach Wiedergutmachung. Dabei liegen und lagen die guten Vorbilder so nahe. Welchem der ehrwiirdigen alten Klassiker der Analy sis ware es je eingefallen, bei der Besprechung der Flachenbestimmung ebener Bereiche gleich das allgemeine Mefi- und Mafiproblem aufzurollen? Solche Fra gen blieben, einem weisen Instinkt folgend, in einfiihrenden Vorlesungen und Biichern unbenihrt - sie hatten ihren Platz in Spezialtexten iiber die Theorie der reellen Funktionen. Auch die Eigenschaften der Zahlen stellte man rasch und ohne viel Hinterfragen zusammen - ihre axiomatische Begnindung blieb Spezialisten vorbehalten, Anfangern hatte sie weit mehr geschadet als geniitzt. Erst in den fiinfziger und sechziger Jahren kamen dann die grofien Manner, die, von keiner Na turwissenschaft verdorben, in ihren Analysis-Vorlesungen und Biichern nichts als Mengen, Axiome und Strukturen brachten - ihre Schiller beniitzen heute den Computer, wenn sie zwei und zwei zusammenzihlen. Der Verzicht auf Mefibarkeitsfragen macht das Lehren und Lernen unend lich einfacher. Das Wesentliche tritt hervor, das Vertrackte bleibt im Verborge nen. Kein Satz, kein Beweis wird darum falscher, als er es durch ein gelegent lich und schuldbewufit eingefiigtes "fast sieher" oder "falls die Funktion t(:z:) mefibar ist" ware. Letzte Strenge ist auf einfiihrendem Niveau weder moglich noch wiinschenswert, und - was ist schon letzte Strenge? Das ist kein Pladoyer fiir Schlamperei, im Gegenteil, es gibt immer noch genug zu beweisen, und der Lernende hat wahrhaftig ausreichend zu tun, auch dann, wenn ihm jede Menge ein Ereignis ist. Die innere Freiheit, so zu tun, als ob es so ware, ohne besta.ndig den Stachel des schlecht en Gewissens zu fiihlen, ganz so wie die erwihnten Altmeister der Analysis handelten, wenn sie von der Flache ebener Bereiehe sprachen, miissen wir von der Mafitheorie gepragten Lehrenden der Wahrscheinlichkeitsrechnung erst noch erringen. Wir tragen diese Pragung in uns wie eine Erbsiinde und fiihlen uns, wie Priester, erst wohler, wenn wir die Lernenden davon iiberzeugt haben, dafi sie allgegenwartig ist. Dabei gibt es soviel Wiehtigeres zu tun: der saubere und iiberzeugende Aufbau der Modelle fiir stochastische Unabhangigkeit und Abhangigkeit, ein dem Lernenden wirklich einleuchtender Zugang zum Suffizienzbegriff, die klare und anschauliche Durchgestaltung der Dualitat zwischen Testen und Be reichschatzen, die bewufite und konsequente Gegeniiberstellung von wirklichem Experiment und abbildendem Modell, usw., usw. Der Autor war bemiiht, in diesen und zahlreichen anderen Punkten zu motivieren und zu iiberzeugen - wieweit das gelungen ist, werden die Leser zu beurteilen haben. Sollte auch der eine oder andere Dozent Anregungen fiir die eigene Lehre empfangen, so ware das dem Autor eine besondere Freude. Die Beschrankung auf den klassischen Stoff der Wahrscheinlichkeitsrech nung und Statistik war sowohl durch die inhaltliche Aufgabenstellung, eine Vorwort ix Einfiihrung zu schreiben, wie auch durch den angestrebten Gesamtumfang des Buches geboten. Zahlreiche Beispiele iiber nichtparametrische und multivariate Modelle weisen aber iiber diesen Rahmen hinaus, und in der Tat kann man auf der gewonnenen Grundlage bequem weiterbauen - so ist etwa der Haupt teil der Theorie des linearen Modells in drei oder vier Beispielen dargestellt, und Kapitel15 bringt eine sehr allgemeine Sicht der Grundfragen multivariater Modelle. Das Buch richtet sich an alle, die Statistik nicht nur nach Kochrezept be treiben, sondern wirklich verstehen wollen - an Mathematiker, Statistiker, Na turwissenschaftler, Techniker, Sozial- und Wirtschaftswissenschaftler, Biolo gen, etc., etc. Nicht gegen den Computer wurde es geschrieben, sondern aus der Uberzeugung, daB dieses heute unverzichtbare Werkzeug nur dann zu frucht barem Zweck benutzt werden kann, wenn man die Grundlagen dessen, was man tut, beherrscht. AbschlieBend danke ich meinen Mitarbeitern Frau R. J anout, Frau Mag. A. Schusser, Frau Mag. H. Wagner, Herrn M. Schofecker und Herrn Dipl.-Ing. A. Wagner fiir ihren Einsatz. Sie alle haben hervorragend gearbeitet. Besonde ren Dank mochte ich aber doch meiner Sekretarin Frau R. Janout aussprechen. Sie hat das gesamte Manuskript mit dem zwar wahrscheinlich leistungsfahigsten, ebenso wahrscheinlich aber auch unangenehmsten Textverarbeitungssystem TEX - in nimmermiider Sorgfalt geschrieben - nur wer TEX kennt, weiB, was das bedeutet. Dank schulde ich auch meiner Frau. Sie hat unsere beiden Cowboys an Sonn- und Feiertagen, bei Wind und Wetter gebandigt, auf die Prane hinaus gefiihrt und mir dadurch die Ruhe geschaffen, die fiir ein Unternehmen dieser Art unverzichtbar ist. Linz, im Mai 1989 R. Hafner Inhaltsverzeichnis xi Inhaltsverzeichnis Teil I: Wahrscheinlichkeitsrechnung 1. Zufallsexperimente 1.1 Einfiihrung.......................................................... 3 1.2 Ereignisse............................................................ 7 Beschreibung von Versuc:hsausglingen. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7 Aussagen iiber Versuc:hsausgiinge . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9 Verkniipfung von Aussagen ......... " .. .. ... . .... .. . .. .. .. . .. ... .. . ... 11 Ereignisse. . . • . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. 13 Die konjunktive Normalform fiir Ereignisse ... . . ....... .. .. .. . .. . .. .. . .. 15 Rec:hnen mit Ereignissen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21 1.3 Die Grundaxiome der Wahrsc:heinlic:hkeitstheorie . . . . . . . . . . . . . . . . . . . . . . .. 23 1.4 Folgerungen aus den Grundaxiomen. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. 29 2. Eindimensionale Verteilungen 2.1 Diskrete und stetige Verteilungen. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 34 Besc:hreibung diskreter Verteilungen.. .. .. .. .. .. .. . .... .. .. ... . . . . . .. . .. 35 Besc:hreibung stetiger Verteilungen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. 39 2.2 Die diskrete Gleic:hverteilung .. .. .. . . .. .. .. .. .. .. .. .. .. . .. .. . .. . . . .. ... 44 2.3 Die hypergeometrische Verteilung .. .. .. . . .. .. . .. .. .. . . .. .. .. . .. .. . .. ... 46 2.4 Die Binomialverteilung. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. 51 2.5 Die Poisson-Verteilung. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. 56 2.6 Die stetige Gleic:hverteilung ..................................... '" .. .. 62 2.7 Die Normalverteilung.... .. . . .. .. . . . . .. .. .. .. .. .. . . .. .. .. ... .. . . . .. . .. 63 2.8 Die Ga.mmaverteilung. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. 67 Zusa.mmenhang mit der Poisson-Verteilung . . . .. .. .. .. . . .. . . .. . .. . . . .. . . 71 2.9 Die Betaverteilung ... " ........................................ '" . . .. 72 Zusa.mmenhang mit der Binomialverteilung.. . . . . . . . . . . . . . . . . . . . . . . . . . . . 74 2.10 Funktionen von Zufallsvariablen .. . . .. . . . . . . .. .. .. .. .. .. .. . . . .. . . . . .. .. 75 2.11 Lage- und Skalenfamilien von Verteilungen...... .. . . .. . . . .. .. . .. .. . . . .. 87 2.12 Simulation eindimensionaler Verteilungen .......................... '.' ... 92 3. Mehrdimensionale Verteilungen 3.1 Diskrete und stetige Verteilungen. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. 96 3.2 Randverteilungen ..................................................... 102 xii InhaltBverzeichnia 3.3 Die polyhypergeometriache Verteilung .•.•••...•••••.••••.•••.•••••••••• 106 3.4 Die Multinomialverteilung •.•.•.•..•.•..•.•.•.•....•...••...•.........• 109 3.5 Die mehrdimenaionale Normalverteilung .•.•...•...••..••.•••••••..•••.• 113 3.6 Funktionen von mehrdimensionalen Zufallavariablen . • . . . . . . . • . . . • • . • • • .• 120 4. Stochastische Unabhingigkeit 4.1 UnabhAngige Experimente •...••...•...••.•.......•....••••••..••.••.•• 128 4.2 UnabhAngige Zufallavariable ..•...•••..•.•...•....••.•••.•••.•••..••..• 136 4.3 UnabhAngige Ereigniaae ..•...•....•.••...........••.••••..•...•.•.••.. 143 5. Stochastische Abhingigkeit 5.1 AbhAngige Experimente ...•.•....•...•......•....•..•...•..•...•....•• 146 5.2 Bedingte Verteilungen .•.•.......•..••........•..•...•.............•.. 152 5.3 Bedingte Wahrscheinlichkeiten ......................................... 157 5.4 Das Theorem von Bayes .•..............•.•...........••..•••.......... 160 6. Parameter von Wahrscheinlichkeitsverteilungen 6.1 Die Erwartung ••••••..••..••....•...•.......•...•••.••.•.•.......•... 166 6.2 Momente eindimensionaler Verteilungen ••..•••.•.......•...•....•...•.. 176 Existenz von Momenten ...••....•....•..........••....•..•••.......... 177 Zusammenhange zwischen Momenten ................................... 180 6.3 Lage- und Streuungsparameter ........•.............................•.. 186 6.4 Momente mehrdimensionaler Verteilungen ...................•.......•.. 201 6.5 Die bedingte Erwartung ...•.•............•••.....•.................... 211 Regression •..•••....•................•••.........•...•......••.•.•... 212 T. Gesetze der groBen Zahlen 7.1 Das schwache Gesetz der groBen Zahlen •••.•••..•...••..••..••..•...••• 216 7.2 Das starke Gesetz der groBen Zahlen . .. . . .. .. . • . .. • .. • • .. • . • . • • . . .. . ... 220 8. Summen von unabhingigen Zufallsvariablen 8.1 Die Faltung •••••••••••..•••••••.••.•••••.•••.•••.•••.••..•••..••..••. 223 8.2 Die charakteristische Funktion •...•..•••.•.••......•.•.•...•••.•..••..• 230 8.3 Verteilungskonvergenz ..•.......••..••...............•...•..•••..•..•• 241 8.4 Der zentrale Grenzverteilungssatz ...................................... 247 Inhalt&verzeichnis xiii Teil II: Statistik 9. Was ist Statistik? 9.1 Modellbildung •.....•................................................. 256 9.2 Grundaufgaben der mathematischen Statistik ........................... 262 10. Punktschitzung 10.1 Methoden zur Konstruktion von Punktsehitzern ....................... 269 Die Minimum-x2-Methode .......................................... 271 Die Momenten-Methode . . . . . . • . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. 273 Die Maximum-Likelihood-Methode .................................... 280 Die Bayes-Methode ........ " ......................................... 286 10.2 Erwartungstreue und Konsistenz von Sehiitzern . . . . . . . . . . . . . . . . . . . . . . .. 293 Transformation von ML-, Min-x2-, Momenten- und Bayes-Schiitzern ..... 299 10.3 Die Ungleiehung von Rao-Cramer ..................................... 300 Exponentialfamilien . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. 305 10.4 Asymptotisehe Eigensehaften von Sehiitzern ............................ 307 11. SufBzienz und Vollstindigkeit 11.1 Suffiziente Statistiken ...............................................• 313 11.2 Suffizienz bei Exponentialfamilien ..................................... 323 11.3 Vollstiindige Verteilungsfamilien ...................................... 328 11.4 Varianzminimale erwartungstreue Sehiitzer ............................. 332 Die Sitze von Rao-Blackwell und Lehmann-Scheffe ..................... 334 12. Die Priifverteilungen der Normalverteilung 12.1 Die x2-Verteilung .••................................................ 347 Die niehtzentrale X2- Verteilung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. 355 12.2 Die t-Verteilung ..................................................... 357 Die niehtzentrale t-Verteilung ......................................... 362 12.3 Die F-Verteilung .•.•................................................ 363 Die niehtzentrale F-Verteilung ........................................ 366 13. Testen von Hypothesen 13.1 Grundbegriffe der Testtheorie ...•.•.•................................. 368 Die allgemeine Form eines Testproblems ............................... 370 Die allgemeine Form einer Teststrategie . . . • . . . . . . . . . . . . . . . . . . . . . . . . . .. 372 Fehlentseheidungen erster und zweiter Art ............................. 373