PAL REVESZ DIE GESETZE DER GROSSEN ZAHLEN MATHEMATISCHE REIHE BAND 35 LEHRBÜCHER UND MONOGRAPHIEN AUS Dlnl GEBIETE DER EXAKTEN WISSENSCHAFTEN P.AL REVESZ DIE GESETZE DER GROSSEN ZAHLEN SPRINGER BASEL AG 1968 Titel der Originalausgabe: The Laws of Large Numbers Akademiai Kiad6, Budapest 1967 "Übersetzt von Frau Eva Vas ISBN 978-3-0348-6941-6 ISBN 978-3-0348-6940-9 (eBook) DOI 10.1007/978-3-0348-6940-9 © 1968 Springer Basel AG Ursprünglich erschienen bei Birkhäuser Verlag, Basel und Akadémiai Kiadó, Budapest 1968 Softcover reprint of the hardcover 1st edition 1968 INHALTSVERZI<JICHNIS EINLEITUNG 7 Kapitel 0 DER MATHEMATISCHE HINTERGRUND ll 0.1. Maßtheorie ll 0.2. ·wa hrscheinlichkeitstheorie 15 o.:{. Stochastische Prozesse 20 0.4. Hilbert- und Banachräume 23 0.5. Ergodentheorie 26 O.!i. OrthogonalreihPn 29 Kapitel l DEFINITIONEN UND ALLGEMEINE ZUSAMMENHÄNGE :H l.l. Die verschiedenen Arten <lPr GesPtze der großen Zahlen 31 1.2. Allgemeine Sätze 34 Kapitel 2 UNABHÄNGIG-E ZU.FALLR\TERÄNDERLICHE 39 2.1. Ungleichungen 39 2.2. Der Dreireihensat" 41 ' 2.3. \Velche sind die möglichen Grenzworte? 45 s~ s 2.4. Konvergenz im Mittel 45 2.5. Schwache Gesetze 46 ~ 2.6. Schätzung der Geschwindigkeit der Konvergenz 53 § 2.7. Starke Gesetze 59 § 2.8. Das Gesetz vom iterierten Logarithmus 67 s§ 2.9. Zufallsveränderliche mit dersdben Verteilung 7l 2.10. Gewogenes Mittel 74 § 2.11. Konvnrgenz gegen + = 79 Kapitol :{ ORTHOGONALE ZU.FALLSVERÄNDEHLICHE 82 s :u. Ungleichungen 82 ~- :L2. Konvergenz von HeihPn und ein starkes GesPtz der großen Zahlen 85 § 3.:{. Multiplikative Systeme 87 § a.4. Spezielle Orthogonalfolgen 95 6 INHALTSVERZEICHNIS Kapitel 4 ~TATIONÄRE FOLGEN 97 § 4.1. Stationäre Folgen im strengen Sinn 97 § 4.2. Starke und schwache Gesetze für stationäre Folgen im schwachen Sinn 100 § 4.3. Schätzung der Kovarianzfunktion 101 Kapitel 5 TEILFOLr+EN AU8 FOLGENVON ZUFALLSVERÄNDERLICHEN 103 § 5.1. Eine Vermutung von Steinhaus 103 § 5.2. Teilfolgen von stationären Folgen 112 § 5.3. Teilfolgen spezieller Orthogonalfolgen 113 Kapitel 6 t-IYMMETRISCH ABHÄNGIGE ZUFALLSVERÄNDERLICHE UND IHRE: VERALLGEMEINERUNGEN 118 § 6.1. Symmetrisch abhängige Zufallsveränderliche 118 § 6.2. Quasiunabhängige Ereignisse 123 § 6.3. Quasimultiplikative Systeme 126 Kapitel 7 MARKOFFSORE KETTEN 129 § 7.1. Homogene Markoffsehe Ketten 130 s 7.2. Inhomogene Markoffsehe Ketten 131 § 7 .3. Das Gesetz vom iterierten Logarithmus 136 Kapitel S SCHWACH ABHÄNGIGE ZUFALLSVERÄNDERLICHE 137 § 8.1. Ein allgemeiner Satz über zentrierte Zufalls- veränderliche 137 § 8.2. Mischung 140 Kapitel 9 UNABHÄNGIGE ZUFALLSVERÄNDERLICHE MIT WERTEN AUS EINEM ABSTRAKTEN RAUM 144 § 9.1. Unabhängige Zufallsveränderliche mit Werten aus einem Hilbertraum 145 § 9.2. Unabhängige Zufallsveränderliche mit Werten aus einem Banachraum 146 Kapitel10 SUMME EINER ZUFÄLLIGEN ANZAHL VON ZUFALLSVERÄNDERLICHEN 149 Kapitell I ANWFJNDUNGEN 152 § 11.1. Anwendungen in der Zahlentheorie 152 § 11.2. Anwendungen in der Statistik 158 § 11.3. Anwendungen in der Informationstheorie 168 BIBLIOGRAPHIE 169 AUTORENVERZEICHNIS 175 EINLEITUNG Der Begriff der Wahrscheinlichkeit wird zumeist mit dem der relativen Häufigkeit verbunden. Deshalb erschien es naheliegend, zu versuchen, eine mathematische Theorie der Wahrscheinlichkeit mit Hilfe des Begriffes der relativen Häufigkeit aufzubauen. Dieser Weg wurde auch tatsächlich beschritten (z. B. durch MrsES [1], [2] in den ersten Jahrzehnten unseres Jahrhunderts), da dies aber leider nicht zu genügend tiefen Resultaten geführt hatten, war es nötig, eine andere Möglichkeit zu suchen. Diese hat KOLMOGOROFF in der axiomatischen Behandlung der Wahrscheinlich keit gefunden. \Vill man sich jedoch davon überzeugen, daß diese Theorie mit den natürlichen Vorstellungen über die Wahrscheinlichkeit in Einklang Rteht, so muß man die Beziehungen zwischen der axiomatischen Definition der Wahrscheinlichkeit und der relativen Häufigkeit untersuchen. Die l<~rgebnis.~e dieser Untersuchungen sind die sogenannten Gesetze der großen Zahlen. Ahnlieherweise lassen sich auch Zusammenhänge zwischen anderen theoretischen und praktischen Begriffen der Wahrscheinlichkeitstheorie - wie z. B. Erwartungswert und Mittelwert, theoretische und empirische Varianz - mit Hilfe der Gesetze der großen Zahlen untersuchen. Diese Bemerkungen weisen schon auf die große theoretische Bedeutung des Problemkreises dieses Buches hin. Seine praktische Bedeutung ist jedoch auch nicht geringer. Will man nämlich die unbekannte Wahrschein lichkeit eines zufälligen Ereignisses oder den unbekannten Erwartungswert einer Zufallsveränderlichen schätzen, so muß man nachweisen können, daß die relative Häufigkeit und der Mittelwert einer Stichprobe zu der entsprechenden Wahrscheinlichkeit bzw. zum Erwartungswert konver gieren. Diese statistische Anwendung der Gesetze der großen Zahlen wirft weitere Probleme auf: erstens die Frage nach der Geschwindigkeit der Konvergenz der relativen Häufigkeit bzw. des Stichprobenmittelwertes, zweitens die des Verhaltens des Stichprobenmittelwertes, wenn die Stich probenelemente nicht notwendigerweise unabhängige Zufallsveränderliche mit derselben Verteilung sind. Arbeitet man in der Praxis mit einer Klasse ::! Neuerlich wurde wieder der Versuch einer Annäherung aus dieser Richtung unternommen, vor allem durch KoLMOGOROFF [3] und MARTIN·LÖF [1]. Ihre Ergeh· nisse sind auf sehr tiefe mathematische Methoden aufgebaut, und sie vermögen, in gewissem Sinne, das Problem von MISES zu lösen. 8 EINJ,EITUNG stochastischer Prozesse, so ist es wichtig zu wissen, wie die Parameter des Prozesses geschätzt werden können, oder - mit anderen Worten - es ist wichtig, das entsprechende Gesetz der großen Zahlen zu kennen. Die genaue Abgrenzung des Bereichs, den die Gesetze der großen Zahlen umfassen, scheint sehr schwierig zu sein. Um eine Definition zu erhalten, kann man versuchsweise sagen, daß jedes Gesetz der großen Zahlen - in einem gewissen Sinne - die Konvergenz des Mittelwertes + + · · · + ~1 ~2 ~n 1] n-- n der Zufallsveränderlichen ~v ;2, • • • gegen eine Zufallsveränderliche 'Yi sichert. Tatsächlich gehören diesem Typ von Sätzen jedoch viele solche Sätze an, die nichts mit dem Begriff der Wahrscheinlichkeit zu tun haben (wie z. B. die klassischen Sätze von FEJER über die Cesaro-Summierbarkeit der Fouriersehen Reihen). Deshalb wollen wir sagen, daß die Gesetze der großen Zahlen solche Sätze sind, die die Konvergenz von 17" aussagen und hinsichtlich der Wahrscheinlichkeitstheorie von Interesse sind. Offensicht lich läßt es sich sehr schwer genau sagen, welche Sätze für die \Vahrschein lichkeitstheorie interessant Rind. So kann es vorkommen, daß in diesem Buch manche Probleme untersucht werden, die uns persönlich besonders interessieren, obwohl sie nicht sehr enge Beziehungen zur Wahrscheinlich keitstheorie haben, andere Probleme hingegen, die vielleicht näher mit ihr verwandt sind, unberücksichtigt bleiben. Untersucht man die Konvergenz von 1Jn, u. zw. die verschiedenen Arten der Konvergenz, so erhält man demgemäß drei verschiedene Typen von Gesetzen der großen Zahlen, die den folgenden drei Konvergenzbegriffen entsprechentt: 1°. Stochastische Konvergenz: P(lrlm - rJ I > s) --+ 0 (Konvergenz dem Maße nach, Konvergenz in \Vahrscheinlichkeit). 2°. Konvergenz im (quadratischen) Mittel: E[(nn - 1'})2] 0. --+ 3°. Fast sichere Konvergenz: P(rJn--+ rJ) = 1 (Konvergenz mit \Vahr scheinlichkeit 1, Konvergenz fast überall). Diesen Begriffen entsprechend ergeben sich drei verschiedene Typen der Gesetze der großen Zahlen. In Zusammenhang mit einem jeden dieser Typen werden wir die Geschwindigkeit der Konvergenz untersuchen. In den ersten beiden Fällen ist die Bedeutung des Begriffes )>Geschwindigkeit der Konvergenz<< klar. Im dritten Fall definiert man die Geschwindigkeit der Konvergenz mit Hilfe der •>größten<< Funktion f(n), für welche P(/(n) I nn- r1 I-+ 0) = 1; genauer gesagt, man untersucht die Klasse jener Funktionen f(n), für welche dieser letzte Zusammenhang erfüllt ist. Dem zufolge wird in diesem Buch auch der Satz vom iterierten Logarithmus besprochen. Obwohl in dem oben festgelegten Sinne die Behauptung der Konvergenz einer Reihe der Form 2~ ck ~k (wobei {;k} eine Folge von Zufallsver k=t änderlichen und {cd eine reelle Zahlenfolge bezeichnen) nicht als ein ::t Die genauen Definitionen werden in § l.l gegeben. EINLEITUNG 9 Gesetz der großen Zahlen betrachtet werden kann, werden wir manchmal auch Sätze von diesem Typ prüfen, da aus der Konvergenz einer Reihe von dieser Form auf Grund von Satz 1.2.2 sich sogleich ein Gesetz der großen Zahlen ergibt. Nun wollen wir einige Typen von Sätzen erwähnen, die zwar als Gesetze der großen Zahlen aufgefaßt werden könnten, mit denen wir uns jedoch in diesem Buch nicht beschäftigen werden. Zunächst erwähnen wir, daß die Theorie der großen Abweichungen nicht berücksichtigt wird, obwohl man anführen könnte, daß die hierzu gehörenden Sätze gleichfalls ergebnisse über die Geschwindigkeit der Kon vergenz für Fall I o ergeben. Im allgarneinen waren wir bestrebt, die Gesetze der großen Zahlen von den Grenzwertsätzen abzugrenzen. Selbstverständ lich läßt sich dies nicht in jedem Fall streng durchführen. Eine andere Klasse von Sätzen, die wir hier ebenfalls nicht behandeln wollen, sind die Gesetze der großen Zahlen für stochastische Prozesse mit einem stetigen Parameter. Die Probleme der Doppelfolgen werden auch nicht untersucht, es sei aber an dieser Stelle erwähnt, daß sich in letzter Zeit mehrere Arbeiten mit dieser Frage beschäftigten (siehe z. B. GNEDENKO-KOLMOGOROFF [1] und ÜHOW (1 ]). Unsere Zielsetzung ist, eine allgemeine Übersicht über die Ergebnisse und wichtigsten Beweismethoden dieses Gebietes zu geben. Benötigt der Beweis eines Satzes allzu spezielle Methoden, so wird dieser Beweis manch mal weggelassen. Beispielsweise lassen sich einige Gesetze der großen Zahlen für eine gewisse Klasse stochastischer Prozesse mit den allgemeinen Beweismethoden dieses Gebietes beweisen; aber manchmal ist zum Beweis eines solchen Satzes die Anwendung tiefer spezieller Eigenschaften eines bestimmten stochastischen Prozesses nötig. In solchen Fällen geben wir keinen Beweis an, denn in diesem Buch wollen wir uns mit den speziellen Methoden der stochastischen Prozesse nicht beschäftigen. Beispielsweise wird die Theorie der Martingale, die als Beweismethode zum Erhalten von Gesetzen der großen Zahlen dienen kann, nicht besprochen. In Kapitel 0 sind die wichtigsten Definitionen und Sätze zusammen gefaßt, von denen in diesem Buch Gebrauch gemacht wird. Es muß jedoch betont werden, daß wir in diesem Kapitel nicht beabsichtigen, eine syste matische Behandlung zu geben. Dem Leser sollten die grundlegendsten Resultate und Begriffe der Wahrscheinlichkeit (Frsz [1], GNEDENKO [1], Lo:EvE [1], R:ENYI [IJ)1:t, der stochastischen Prozesse (DooB [1]), der Maß theorie (HALMOS [1]), der Ergodentheorie (HALMOS [2], JACOBS [1]), der Funktionentheorie (RrEsz-Sz. NAGY [1], YosHIDA [1]) usw. bekannt sein. Ausschließliches Ziel von Kapitel 0 ist, durch die Zusammenfassung der nötigen Vorkenntnisse dem Leser eine kleine Hilfe zu bieten. Kapitel 1 behandelt die speziellen Begriffe und die allgemeinen Formen der Gesetze der großen Zahlen. Die darauf folgenden Kapitel (bis zu Kapi- j:): Die in Klammern stehenden Zahlen weisen auf einige Bücher hin, die die notwendigen Vorkenntnisse enthalten. (Siehe das Literaturverzeichnis am Ende des Ruches.)