Wunsch · Schreiber Stochastische Systeme Stochastische Systeme Grundlagen Prof. Dr.-Ing. habil. Gerhard Wunsch Dr. sc. techn. Helmut Schreiber SPRINGER-VERLAG WIEN GMBH ISBN 978-3-7091-4193-9 ISBN 978-3-7091-4192-2 (eBook) DOI 10.1007/978-3-7091-4192-2 110 Bilder LAuflage © Springer-Verlag Wien 1984 Ursprünglich erschienen bei VEB Verlag Technik, Berlin, 1984 Softcoverreprint ofthe bardeover Istedition 1984 Lizenz 201 · 370/13/84 DK 519.217(075.8) · LSV 3534 · VT 3/5733-1 Lektor: Doris Netz Schutzumschlag: Kurt Beckert Gesamtherstellung: Offizin Andersen Nexö, Graphischer Großbetrieb, Leipzig III/18/38 Bestellnummer: 5533257 01300 Vorwort Das vorliegende Buch enthält die wichtigsten Begriffe und Grundlagen zur Analyse stochastischer Systeme. Es verfolgt das Ziel, eine dem gegenwärtigen internationalen Niveau entsprechende, für Ingenieure gedachte Darstellung der Wahrscheinlichkeits rechnung, der Theorie zufälliger Prozesse und deren Anwendungen auf Systeme der Informationstechnik zu geben. Damit unterscheidet sich das Buch grundlegend einerseits von den hauptsächlich für Mathematiker gedachten Darstellungen, für deren Studium gute Kenntnisse der Wahrscheinlichkeitsrechnung vorausgesetzt werden (z.B. [5, 6, 7]), und andererseits von den zahlreichen Werken der technischen Literatur, in denen die angewandten Rechenmethoden meist recht knapp begründet sind oder nur sehr spezielle Anwendungen betrachtet werden. Das Buch ist aus Vorlesungen für Studierende der Fachrichtung Informationstechnik und aus der bereits in [17] verfolgten Konzeption hervorgegangen. Dabei wurde in ver stärktem Maße auf eine international übliche Diktion Wert gelegt, um dem Leser so einen leichteren Übergang zu größeren und anerkannten Standardwerken mit weiter führendem Inhalt zu ermöglichen. Es wurde versucht, den allgemeinen theoretischen Rahmen, in dem sich heute jede moderne Darstellung der Stochastik bewegt, möglichst allgemeingültig und zugleich anschaulich darzustellen. Dabei wurden gleichzeitig alle Abschnitte stärker als üblich ausgebaut, die eine direkte Anwendung in der System analyse (Schaltungsanalyse) zulassen (z.B. Abschn. 1.2.4., 1.3.1., 2.1.2., 2.1.4., 2.2.2. und 2.2.3.), Der gesamte Stoff ist in zwei Hauptabschnitte unterteilt. Der erste enthält die Grund lagen der Wahrscheinlichkeitsrechnung sowie deren Anwendung bei der Analyse stati scher Systeme. Im zweiten Hauptabschnitt sind die Grundlagen der Theorie stochasti scher Prozesse und ihre Anwendung bei der Beschreibung statischer und dynamischer Systeme dargestellt. Um dem Charakter dieses Buches als Lehrbuch zu entsprechen, wurden die Abschnitte mit zahlreichen Beispielen und Übungsaufgaben ausgestattet, deren Lösungen in einem Anhang zusammengefaßt sind. In diesem Buch wird aufwesentliche Begriffe und Definitionen aus [I] und [2] zurück gegriffen. Damit soll ein Beitrag zu einer in den Grundzügen einheitlichen Darstellung und Beschreibung von determinierten und stochastischen Systemen geschaffen werden. Herrn Prof. Dr. sc. techn. W. Schwarz danken wir für seine großzügige Unterstützung, seine Mitwirkung und sein förderndes Interesse bei der Abfassung des Manuskripts. Unser besonderer Dank gilt auch der Lektorin, Frau D. Netz, für die umsichtige und ver ständnisvolle Zusammenarbeit. Dresden, Oktober 1982 G. Wunsch H. Schreiber Inhaltsverzeichnis Formelzeichen . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9 0. Einführung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13 1. Wahrscheinlichkeitsrechnung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14 1.1. Ereignis und Wahrscheinlichkeit . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14 1.1.1. Ereignisraum . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14 l.l.l.l. Elementarereignis. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14 1.1.1.2. Ereignis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15 1.1.1.3. Ereignisraum . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17 1.1.2. Wahrscheinlichkeit . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20 1.1.2.1. Relative Häufigkeit . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20 1.1.2.2. Definition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22 1.1.2.3. Rechenregeln . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24 1.1.3. Bedingte Wahrscheinlichkeit . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25 1.1.3.1. Definition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25 1.1.3.2. Formeln...................................................... 27 1.1.3.3. Unabhängige Ereignisse . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28 1.1.4. Aufgaben zum Abschn.l.l. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29 1.2. Zufällige Veränderliche................................................ 30 1.2.1. Eindimensionale Veränderliche . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30 1.2.1.1. Meßbare Abbildungen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30 1.2.1.2. Verteilungsfunktion............................................ 33 1.2.1.3. Verteilung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35 1.2.1.4. Dichtefunktion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39 1.2.2. Mehrdimensionale Veränderliche . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41 1.2.2.1. Verteilungsfunktion und Verteilung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41 1.2.2.2. Dichtefunktion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45 1.2.3. Bedingte Verteilungen.............................. . . . . . . . . . . . . 48 1.2.3.1. Randverteilungsfunktion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 48 1.2.3.2. Bedingte Verteilungsfunktion. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49 1.2.3.3. Unabhängigkeit von zufälligen Veränderlichen . . . . . . . . . . . . . . . . . . . . 52 1.2.4. Statische Systeme . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 53 1.2.4.1. Determinierte Systeme . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 53 1.2.4.2. Verteilungs- und Dichtefunktion am Systemausgang. . . . . . . . . . . . . . . . 54 1.2.4.3. Stochastische Systeme . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 60 1.2.5. Aufgaben zum Abschn. 1.2. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 63 1.3. Momente. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 66 1.3.1. Varianz und Kovarianz . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 66 1.3.1.1. Erwartungswert ....... : . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 66 8 Inhaltsverzeichnis 1.3.1.2. Varianz . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 70 1.3.1.3. Kovarianz . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 71 1.3.1.4. Stochastisches System.. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 75 1.3.2. Charakteristische Funktion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 76 1.3.2.1. Eindimensionale zufällige Veränderliche . . . . . . . . . . . . . . . . . . . . . . . . . . 76 1.3.2.2. Zufällige Vektoren . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 79 1.3.3. Aufgaben zum Abschn.1.3. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 80 2. Zufällige Prozesse . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 83 2.1. Grundbegriffe ............ : . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 83 2.1.1. Einfache Prozesse . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 83 2.1.1.1. Prozeß und Realisierung. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 83 2.1.1.2. Verteilungsfunktion............................................ 87 2.1.1.3. Ergänzungen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 90 2.1.2. Vektorprozesse und statische Systeme . . . . . . . . . . . . . . . . . . . . . . . . . . . . 92 2.1.2.1. Vektorprozeß und Verteilungsfunktion . . . . . . . . . . . . . . . . . . . . . . . . . . . 92 2.1.2.2. Determinierte Systeme . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 93 2.1.2.3. Stochastische Systeme . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 98 2.1.3. Momente zufälliger Prozesse . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 100 2.1.3.1. Einfache Prozesse ............................................. 100 2.1.3.2. Vektorprozesse ................................................ 101 2.1.3.3. Charakteristische Funktion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 103 2.1.4. Spezielle Prozesse. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 103 2.1.4.1. Stationäre Prozesse . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 103 2.1.4.2. Markow-Prozesse .............................................. 107 2.1.4.3. Gaußsehe Prozesse (normale Prozesse) ........................... 113 2.1.5. Aufgaben zum Abschn.2.1. ..................................... 115 2.2. Dynamische Systeme ....... , . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 117 2.2.1. Analysis zufälliger Prozesse . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11 7 2.2.1.1. Konvergenz im quadratischen Mittel . . . . . . . . . . . . . . . . . . . . . . . . . . . . 117 2.2.1.2. Stetigkeit im quadratischen Mittel . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 121 2.2.1.3. Differentiation im quadratischen Mittel. .......................... 123 2.2.1.4. Integration im quadratischen Mittel ............................. 127 2.2.2. Lineare Systeme... . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 130 2.2.2.1. Systemgleichungen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 130 2.2.2.2. Lösung ....................................................... 132 2.2.2.3. Stationäre Prozesse ............................................ 134 2.2.2.4. Stationäre Gauß-Prozesse ....................................... 138 2.2.3. Anwendungen stationärer Prozesse. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14Q 2.2.3.1. Ergodizität ................................................... 140 2.2.3.2. Messung des Leistungsspektrums . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 142 2.2.3.3. Wärmerauschen ............................................... 144 2.2.4. Aufgaben zum Abschn.2.2 ...................................... 148 3. Lösungen zu den Übungsaufgaben . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 151 Literaturverzeichnis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 173 Sachwörterverzeichnis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 174 Formelzeichen A Ereignisraum (a-Algebra über Q) Ä zu A komplementäres Ereignis A Menge aller zufälligen Veränderlichen auf (.Q, A, P) 8. Menge aller zufälligen Prozesse auf (.Q, A. P) A,B, ... (zufällige) Ereignisse A,B,C,D Zustandsmatrizen (lineares dynamisches System) !1 Borel-Mengen-System (a-Algebra über IR) c Menge der komplexen Zahlen Cov (X, Y) Kovarianz von X und Y Cov(K,X) Kovarianzmatrix des Vektorprozesses X detA Determinante der Matrix A D,,,, Differenzoperator EX=mx Erwartungswert von X, Mittelwert f Überführungsfunktion (statisches System) /('I') bedingte Dichtefunktion fx Dichtefunktion von X fK Dichtefunktion von K Fx Verteilungsfunktion von X FK Verteilungsfunktion von K g Ergebnisfunktion (statisches System) h Gewichtsfunktion, Impulsantwort h* Übertragungsfunktion hA(n) relative Häufigkeit von A bei n Versuchen H*(jw) Übertragungsmatrix (im Bildbereich der Fourier-Transformation) H*(jw) zu H* (jw) konjugierte Matrix H*'(jw) zu H* (jw) transponierte Matrix H*(p) Übertragungsmatrix (im Bildbereich der Laplace-Transformation) H(t) Gewichtsmatrix, Übertragungsmatrix im Originalbereich i.q.M. im quadratischen Mittel I,= (-oo, ~) reelles Intervall kA(n) Häufigkeit von A beinVersuchen l.i.m. Grenzwert im (quadratischen) Mittel 11...2 Menge aller zufälligen Veränderlichen mit EX2 < oo M Mengensystem IMI Kardinalzahl (Mächtigkeit) von M M,N, ... Mengen mx Erwartungswert von X, Mittelwert !1 Menge der Zahlen 1, 2, ... , n 1\1 Menge der natürlichen Zahlen NM Menge aller Abbildungen von M in N p Wahrscheinlichkeitsmaß auf 4 10 Formelzeichen P(A) Wahrscheinlichkeit des Ereignisses A P (AlB) Wahrscheinlichkeit von A unter der Bedingung B l!(M) Potenzmenge der Menge M Px Wahrscheinlichkeitsmaß auf JJ, Verteilung von X PK Verteilung von X IR Menge der reellen Zahlen (IR, JJ, Px) spezieller Wahrscheinlichkeitsraum s Sprungfunktion, Sprungsignal sK Korrelationsfunktion von X Sg Kreuzkorrelationsfunktion von X und r S!I Leistungs[dichte]spektrum von X Sn Kreuzleistungs[dichte]spektrum von X und y Var(X) Varianz von X x = X(w ) Wert der zufälligen Veränderlichen X X= (X Xn) zufälliger Vektor, n-dimensionale zufällige Veränderliche 1, ••• , X(m) = x = (x1, ••• , xn) Wert des zufälligen Vektors, n-Tupel X Menge der zufälligen Vektoren X = (X1, ••• , X1) X zufälliger Prozeß ;; = X(w) Realisierung des Prozesses X X= (}!1, ... ,X") Vektorprozeß X Menge der Vektorprozesse X= (X1, ... ,}!1) (Eingabe) IIXII Norm von X i Ableitung i. q. M. des Prozesses X [X!] Klasse, der das Element x angehört X, Y,. .. zufällige Veränderliche, meßbare Abbildung V Menge der zufälligen Vektoren Y = (Y1, ••• , Ym) Y Menge der Vektorprozesse y = (Yt> ... , Ym) (Ausgabe) 7L Menge der ganzen Zahlen ~ Menge der Vektorprozesse Z = (Z1, ••• , Z") (Zustand) (J Dirac-Funktion, Impulssignal I Ia CPt· ... , r:p") Funktionaldeterminante c (x1, ... , x") TJ.(M) Klasseneinteilung der Menge M e (X, Y) Korrelationskoeffizient von X und Y q. einfache Alphabetabbildung (statisches System) r[J Alphabetabbildung (statisches System), Systemabbildung p einfache Realisierungsabbildung, Prozeßabbildung f}J Realisierungsabbildung, Prozeßabbildung r:p:M--tN Abbildung r:p von M in N 'Px charakteristische Funktion von X 'P!! charakteristische Funktion von X f/J(t) Fundamentalmatrix (im Originalbereich) f/J*(p) Fundamentalmatrix (im Bildbereich der Laplace-Transformation) (JJ Elementarereignis, Kreisfrequenz (je nach Zusammenhang) Q sicheres Ereignis, Stichprobenraum (Q, A) Ereignisraum (Q, A, P) Wahrscheinlichkeitsraum 0 unmögliches Ereignis E Elementrelation ("ist Element von") Formelzeichen 11 => folgt (bei Aussagen) <=> ist äquivalent (bei Aussagen) c ist Teilmenge von, ist enthalten in u Vereinigung (bei Mengen), Summe (bei Ereignissen) n Durchschnitt (bei Mengen), Produkt (bei Ereignissen) mehrfache Vereinigung ~ mehrfacher Durchschnitt \ Differenz (bei Mengen und Ereignissen) X kartesisches Produkt (bei Mengen) 0 Verkettung, Komposition von Abbildungen Faltung (bei reellen Funktionen) * Äquivalenz (bei zufälligen Veränderlichen)