Estimation Theory and Foundations of Atmospheric Data Assimilation

196 Pages·2002·1.62 MB·English

DAO O(cid:1)ce Note (cid:2)(cid:3)(cid:3)(cid:3)(cid:4)(cid:5)(cid:2)
O(cid:1)ce Note Series on
Global Modeling and Data Assimilation
Robert Atlas(cid:1) Head
Data Assimilation O(cid:1)ce
Goddard Space Flight Center
Greenbelt(cid:2) Maryland
Estimation Theory and
Foundations of Atmospheric Data
Assimilation
Ricardo Todling
General Sciences Corporation
Data Assimilation O(cid:1)ce(cid:2) Goddard Laboratory for Atmospheres
Class Notes created for courses given at Instituto de Matema(cid:3)tica Pura e Applicada in (cid:4)(cid:5)(cid:5)(cid:6)
and at University of Maryland in (cid:4)(cid:5)(cid:5)(cid:7)
This paper has not been published and should
be regarded as an Internal Report from the DAO(cid:1)
Permission to quote from it should be
obtained from the DAO(cid:1)

Goddard Space Flight Center
Greenbelt(cid:1) Maryland (cid:2)(cid:3)(cid:4)(cid:4)(cid:5)
June (cid:1)(cid:2)(cid:2)(cid:2)
iii
The following is a collection of notes geared to provide an elementary introduc(cid:2)
tion to the topic of data assimilation(cid:3) The topic is presented with the point
of view of estimation theory(cid:3) As such(cid:1) the (cid:4)rst half of these notes is devoted
to presenting basic concepts of probability theory(cid:1) stochastic processes(cid:1) esti(cid:2)
mation and (cid:4)ltering(cid:3) The second half of these notes gives an introduction to
atmospheric data assimilation and related problems(cid:3) Illustrations of advanced
assimilation procedures are given by discussing results from the application of
Kalman (cid:4)ltering and smoothing to a linear shallow(cid:2)water model(cid:3)
Classes based on earlier versions ofthese notes have been presented atthe Insti(cid:2)
tuto de Matem(cid:5)atica Pura e Aplicada(cid:1) in Rio de Janeiro(cid:1) at the Department of
Meteorology of University of Maryland(cid:1) and at Laboratorio Nacional de Com(cid:2)
puta(cid:6)c(cid:7)ao Cient(cid:5)i(cid:4)ca(cid:1) Rio de Janeiro(cid:3)
(cid:8)(cid:8)(cid:8)(cid:8)(cid:8)(cid:8)(cid:2)
iv
Contents
Abstract iii
List of Figures x
(cid:1) Probability Theory (cid:1)
(cid:9)(cid:3)(cid:9) Probability Space (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:9)
(cid:9)(cid:3)(cid:9)(cid:3)(cid:9) The Probability Triplet (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:9)
(cid:9)(cid:3)(cid:9)(cid:3)(cid:10) Conditional Probability (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:10)
(cid:9)(cid:3)(cid:10) Random Variables (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:10)
(cid:9)(cid:3)(cid:10)(cid:3)(cid:9) Distribution and Density Functions (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:10)
(cid:9)(cid:3)(cid:10)(cid:3)(cid:10) Expectations and Moments (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:11)
(cid:9)(cid:3)(cid:10)(cid:3)(cid:12) Characteristic Function (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:13)
(cid:9)(cid:3)(cid:12) Jointly Distributed Random Variables (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:14)
(cid:9)(cid:3)(cid:12)(cid:3)(cid:9) Distribution(cid:1) Density Function and Characteristic Function (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:14)
(cid:9)(cid:3)(cid:12)(cid:3)(cid:10) Expectations and Moments (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:15)
(cid:9)(cid:3)(cid:12)(cid:3)(cid:12) Conditional Expectations (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:9)(cid:9)
Exercises (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:9)(cid:13)
(cid:2) Stochastic Processes and Random Fields (cid:1)(cid:3)
(cid:10)(cid:3)(cid:9) De(cid:4)nition and Probabilistic Concepts (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:9)(cid:16)
(cid:10)(cid:3)(cid:10) Independent Process (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:10)(cid:9)
(cid:10)(cid:3)(cid:12) Markov Process (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:10)(cid:10)
(cid:10)(cid:3)(cid:11) Gaussian Process (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:10)(cid:12)
(cid:10)(cid:3)(cid:13) Stationary Process (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:10)(cid:12)
(cid:10)(cid:3)(cid:14) Wiener(cid:17)Khintchine Relation (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:10)(cid:11)
(cid:10)(cid:3)(cid:15) White Noise Process (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:10)(cid:13)
(cid:10)(cid:3)(cid:18) Wiener Process (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:10)(cid:13)
(cid:10)(cid:3)(cid:16) Spatial Random Fields (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:10)(cid:14)
Exercises (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:12)(cid:19)
(cid:4) Stochastic Di(cid:5)erential Equations (cid:4)(cid:6)
(cid:12)(cid:3)(cid:9) Linear Dynamical Systems (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:12)(cid:13)
(cid:12)(cid:3)(cid:9)(cid:3)(cid:9) Continuous Processes (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:12)(cid:14)
(cid:12)(cid:3)(cid:9)(cid:3)(cid:10) Discrete Processes (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:12)(cid:16)
(cid:12)(cid:3)(cid:9)(cid:3)(cid:12) Relation between the Continuous and Discrete Cases (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:11)(cid:10)
(cid:12)(cid:3)(cid:10) Nonlinear Dynamical Systems (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:11)(cid:12)
(cid:12)(cid:3)(cid:10)(cid:3)(cid:9) Continuous Processes (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:11)(cid:12)
v
(cid:12)(cid:3)(cid:10)(cid:3)(cid:10) Discrete Processes (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:11)(cid:18)
(cid:12)(cid:3)(cid:12) Nonlinear Stochastic PDEs (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:11)(cid:16)
Exercises (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:13)(cid:19)
(cid:7) Introduction to Estimation Theory (cid:6)(cid:3)
(cid:11)(cid:3)(cid:9) Concepts of Probabilistic Estimation (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:13)(cid:16)
(cid:11)(cid:3)(cid:9)(cid:3)(cid:9) Bayesian Approach (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:13)(cid:16)
(cid:11)(cid:3)(cid:9)(cid:3)(cid:10) Minimum Variance Estimation (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:14)(cid:19)
(cid:11)(cid:3)(cid:9)(cid:3)(cid:12) Maximum a posteriori Probability Estimation (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:14)(cid:9)
(cid:11)(cid:3)(cid:9)(cid:3)(cid:11) Maximum Likelihood Estimation (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:14)(cid:12)
(cid:11)(cid:3)(cid:10) Example(cid:20) Estimation of a Constant Vector (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:14)(cid:11)
(cid:11)(cid:3)(cid:12) Least Squares Estimation (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:14)(cid:16)
(cid:11)(cid:3)(cid:11) Least Squares and Minimum Variance (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:15)(cid:10)
Exercises (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:15)(cid:12)
(cid:6) The Linear Kalman Filter (cid:8)(cid:8)
(cid:13)(cid:3)(cid:9) Derivation of the Linear Kalman Filter (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:15)(cid:15)
(cid:13)(cid:3)(cid:9)(cid:3)(cid:9) Estimation Problem in Linear Systems (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:15)(cid:15)
(cid:13)(cid:3)(cid:9)(cid:3)(cid:10) The Kalman Filter (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:18)(cid:19)
(cid:13)(cid:3)(cid:9)(cid:3)(cid:12) Comments(cid:20) Minimum Variance and Conditional Mean (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:18)(cid:9)
(cid:13)(cid:3)(cid:10) Properties of the Kalman Filter (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:18)(cid:13)
(cid:13)(cid:3)(cid:10)(cid:3)(cid:9) Whiteness of the Innovation Process (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:18)(cid:13)
(cid:13)(cid:3)(cid:10)(cid:3)(cid:10) Orthogonality between the Estimate and the Estimation Error (cid:3) (cid:3) (cid:3) (cid:18)(cid:15)
(cid:13)(cid:3)(cid:10)(cid:3)(cid:12) Observability and Controllability (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:18)(cid:15)
(cid:13)(cid:3)(cid:12) Computational Aspects of the Kalman Filter (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:16)(cid:9)
(cid:13)(cid:3)(cid:12)(cid:3)(cid:9) Generalities (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:16)(cid:9)
(cid:13)(cid:3)(cid:12)(cid:3)(cid:10) Sensitivity of the Filter to the Gains (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:16)(cid:10)
(cid:13)(cid:3)(cid:12)(cid:3)(cid:12) Serial Processing of Observations (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:16)(cid:11)
Exercises (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:16)(cid:14)
(cid:9) Basic Concepts in Nonlinear Filtering (cid:1)(cid:10)(cid:4)
(cid:14)(cid:3)(cid:9) Introduction (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:9)(cid:19)(cid:12)
(cid:14)(cid:3)(cid:10) The Extended Kalman Filter (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:9)(cid:19)(cid:11)
(cid:14)(cid:3)(cid:12) An Approach to Parameter Estimation (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:9)(cid:9)(cid:19)
Exercises (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:9)(cid:9)(cid:10)
(cid:8) Basic Concepts of Atmospheric Dynamics (cid:1)(cid:1)(cid:6)
(cid:15)(cid:3)(cid:9) Governing Equations (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:9)(cid:9)(cid:13)
(cid:15)(cid:3)(cid:10) Scales of the Equations of Motion (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:9)(cid:9)(cid:14)
(cid:15)(cid:3)(cid:12) Geostrophic and Hydrostatic Approximations (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:9)(cid:9)(cid:18)
(cid:15)(cid:3)(cid:11) Vertical Strati(cid:4)cation (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:9)(cid:9)(cid:16)
(cid:15)(cid:3)(cid:13) Linearized Shallow(cid:17)Water Equations (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:9)(cid:10)(cid:19)
(cid:15)(cid:3)(cid:14) Numerical Solution(cid:20) A Finite Di(cid:21)erence Method (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:9)(cid:10)(cid:12)
Exercises (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:9)(cid:10)(cid:14)
vi
(cid:11) Data Assimilation(cid:12) Conventional Methods (cid:1)(cid:2)(cid:3)
(cid:18)(cid:3)(cid:9) History (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:9)(cid:10)(cid:16)
(cid:18)(cid:3)(cid:10) Initialization (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:9)(cid:12)(cid:10)
(cid:18)(cid:3)(cid:12) Dynamic Relaxation (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:9)(cid:12)(cid:15)
(cid:18)(cid:3)(cid:11) Optimal Interpolation (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:9)(cid:11)(cid:9)
Exercises (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:9)(cid:11)(cid:14)
(cid:3) Data Assimilation(cid:12) Advanced Methods (cid:1)(cid:7)(cid:3)
(cid:16)(cid:3)(cid:9) Developments toward Advanced Methods (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:9)(cid:11)(cid:16)
(cid:16)(cid:3)(cid:9)(cid:3)(cid:9) Generation of Balanced Cross(cid:17)Covariances (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:9)(cid:13)(cid:19)
(cid:16)(cid:3)(cid:9)(cid:3)(cid:10) A Non(cid:17)Separable Covariance Model (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:9)(cid:13)(cid:11)
(cid:16)(cid:3)(cid:9)(cid:3)(cid:12) Covariance Tuning (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:9)(cid:13)(cid:15)
(cid:16)(cid:3)(cid:10) The Kalman Filter for a Simple Model (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:9)(cid:14)(cid:19)
(cid:16)(cid:3)(cid:12) The Fixed(cid:17)Lag Kalman Smoother (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:9)(cid:15)(cid:19)
(cid:16)(cid:3)(cid:12)(cid:3)(cid:9) Theory (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:9)(cid:15)(cid:19)
(cid:16)(cid:3)(cid:12)(cid:3)(cid:10) Application to a Linear Shallow(cid:2)Water Model (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:9)(cid:15)(cid:12)
Exercise (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:9)(cid:15)(cid:14)
Acknowledgments (cid:1)(cid:2)(cid:3)
References (cid:1)(cid:2)(cid:4)
vii
viii
List of Figures
(cid:13)(cid:3)(cid:9) Schematic diagram of the linear Kalman (cid:4)lter(cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:18)(cid:9)
(cid:15)(cid:3)(cid:9) Morphology of the dynamics for the discretized system of o shallow(cid:17)water
equations(cid:1) with the Richtmyer version of the Lax(cid:17)Wendro(cid:21) (cid:4)nite di(cid:21)erence
scheme on a (cid:11) (cid:13) resolution grid(cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:9)(cid:10)(cid:14)
(cid:1)
(cid:18)(cid:3)(cid:9) Point(cid:17)correlations at the center of a square domain using the geostrophic
balance relation(cid:22) the equations obtained in this section(cid:20) (cid:23)a(cid:24)(cid:1)(cid:17)(cid:1)(cid:22) (cid:23)b(cid:24) (cid:1)(cid:17)v(cid:22) (cid:23)c(cid:24)
(cid:1)(cid:17)u(cid:22) (cid:23)d(cid:24) v(cid:17)(cid:1)(cid:22) (cid:23)e(cid:24) v(cid:17)v(cid:22) (cid:23)f(cid:24) v(cid:17)u(cid:22) (cid:23)g(cid:24) u(cid:17)(cid:1)(cid:22) (cid:23)h(cid:24) u(cid:17)v(cid:22) and (cid:23)i(cid:24) u(cid:17)u(cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:9)(cid:11)(cid:13)
(cid:16)(cid:3)(cid:9) Domain of the model of Cohn (cid:25) Parrish (cid:26)(cid:12)(cid:12)(cid:27) encompassing the contiguous
United State(cid:3) The tick(cid:17)marks indicate grid points(cid:22) the (cid:28)plus(cid:29) signs indicate
radiosonde observations(cid:22) and the (cid:28)squares(cid:29) indicate the wind pro(cid:4)lers(cid:3) (cid:3) (cid:3) (cid:9)(cid:14)(cid:19)
(cid:16)(cid:3)(cid:10) Results obtained withtheKalman (cid:4)lter(cid:20) forecastand analysisexpected error
standarddeviations averagedoverthe domain(cid:1) foreach of the three variables
of the model(cid:1) as a time function(cid:3) The panels show the result for the errorsin
the (cid:23)a(cid:24) zonal velocity(cid:1) (cid:23)b(cid:24) meridional velocity(cid:1) and (cid:23)c(cid:24) height(cid:3) Each curve is
indicate by the observational system in question(cid:1) that is(cid:1) A for radiosondes
and B for the radiosondes and wind pro(cid:4)lers(cid:3) The height errors are given
in meters while the wind errors are in meters per second(cid:3) The dotted lines(cid:1)
indicated by OLV(cid:1) refer to the radiosondes observational error levels for each
of the variables(cid:1) according to Table (cid:16)(cid:3)(cid:10)(cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:9)(cid:14)(cid:10)
(cid:16)(cid:3)(cid:12) Spatial distribution of the forecast error standard deviation(cid:3) Panels (cid:23)a(cid:24) refer
to experiment A(cid:1) while panels (cid:23)b(cid:24) refer to experiment (cid:23)B(cid:24)(cid:20) (cid:23)a(cid:3)(cid:9)(cid:24) and (cid:23)b(cid:3)(cid:9)(cid:24)
for (cid:2)u(cid:1) (cid:23)a(cid:3)(cid:10)(cid:24) and (cid:23)b(cid:3)(cid:10)(cid:24) for (cid:2)v(cid:1) and (cid:23)a(cid:3)(cid:12)(cid:24) and (cid:23)b(cid:3)(cid:12)(cid:24) for (cid:2)h(cid:3) Contour interval is
(cid:1)(cid:1)
of (cid:9) m for height errors(cid:1) and of (cid:19)(cid:3)(cid:13) m s for wind errors(cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:9)(cid:14)(cid:12)
(cid:16)(cid:3)(cid:11) AnalogoustoFig(cid:3) (cid:16)(cid:3)(cid:10)(cid:1)butonly forthecase ofthe B(cid:17)network(cid:3) The curvesre(cid:2)
fertotheevaluation resultofthe performanceofdi(cid:21)erentapproximations for
thesystemofCohn (cid:25)Parrish(cid:3) The approximationsbeing evaluated are(cid:20) bal(cid:2)
anced optimal interpolation with domain averaged error growth (cid:23)OID(cid:24)(cid:22) bal(cid:2)
anced optimal interpolation with latitudinal dependent error growth (cid:23)OIZ(cid:24)(cid:22)
advection of balanced height error variance (cid:4)eld (cid:23)HVA(cid:24)(cid:22) and advection of
balanced height(cid:17)height error covariance (cid:4)eld (cid:23)SKF(cid:24)(cid:3) The Kalman (cid:4)lter re(cid:2)
sults(cid:1) thatserveasthe basis ofcomparison tothese approximationsarethose
indicated by the curves B in Fig(cid:3) (cid:16)(cid:3)(cid:10)(cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:9)(cid:14)(cid:13)
ix
(cid:16)(cid:3)(cid:13) Expected analysis error standard deviations averaged over the domain(cid:1) for
eachvariable ofthemodel(cid:1) asafunctionoftime(cid:3) PanelsareorderedasinFig(cid:3)
(cid:16)(cid:3)(cid:10)(cid:1)andresultsareforthe(cid:4)xed(cid:17)lagKalmansmootherusingonly thewestern
half of the radiosonde observations displayed in Fig(cid:3) (cid:16)(cid:3)(cid:9)(cid:3) The uppermost
curve in each panel corresponds to the Kalman (cid:4)lter analysis (cid:23)analogous to
the lower envelope of the curves in Fig(cid:3) (cid:16)(cid:3)(cid:10)(cid:24)(cid:1) and successively lower curves
are for the retrospective analysis results for (cid:9)(cid:10)(cid:17)hour lags (cid:3)(cid:30) (cid:9)(cid:4)(cid:10)(cid:4)(cid:12) and (cid:11)(cid:3) (cid:9)(cid:15)(cid:11)
(cid:16)(cid:3)(cid:14) Mapsofanalysis errorstandarddeviations atday(cid:10)oftheassimilation period
forthe (cid:4)xed(cid:17)lag Kalman smoother(cid:3) Panels (cid:23)a(cid:3)(cid:9)(cid:24)(cid:17)(cid:23)a(cid:3)(cid:12)(cid:24)refer to errorsin u for
the Kalman (cid:4)lter and Kalman smoother for lags (cid:3) (cid:30) (cid:9) and (cid:11)(cid:1) respectively(cid:22)
panels (cid:23)b(cid:3)(cid:9)(cid:24)(cid:17)(cid:23)b(cid:3)(cid:12)(cid:24) refer to errors in h for the Kalman (cid:4)lter and Kalman
smoother for lags (cid:3) (cid:30) (cid:9) and (cid:11)(cid:1) respectively(cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:9)(cid:15)(cid:13)
x
Chapter (cid:1)
Fundamental Concepts of
Probability Theory
(cid:2)(cid:6)(cid:2) Probability Space
(cid:1)(cid:5)(cid:1)(cid:5)(cid:1) The Probability Triplet
The probability space is formally de(cid:4)ned through the probability triplet (cid:23)(cid:31)(cid:4) (cid:4)P(cid:24) where(cid:1)
B
(cid:31)(cid:20) is the sample space(cid:1) which contains all possible outcomes of an experiment(cid:3)
(cid:2)
(cid:20) is a set of subsets of (cid:31) (cid:23)a Borel (cid:4)eld (cid:8) a closed set under operations of(cid:20) union(cid:1)
(cid:2) B
intersection and complement(cid:24)
P(cid:20) is a scalar function de(cid:4)ned on (cid:1) called the probability function or probability
(cid:2) B
measure(cid:3)
Each set B is called an event(cid:1) that is(cid:1) B is a collection of speci(cid:4)c possible outcomes(cid:3)
(cid:3) B
In what follows(cid:1) the mathematical details corresponding to the (cid:4)eld will be ignored (cid:23)e(cid:3)g(cid:3)(cid:1)
B
see Chung (cid:26)(cid:10)(cid:14)(cid:27)(cid:1) for a detailed treatment(cid:24)(cid:3) The values (cid:5) (cid:31) are the realizations(cid:1) and for
(cid:3)
each set B (cid:1) the function P(cid:23)B(cid:24) de(cid:4)nes the probability that the realization (cid:5) is in B(cid:3)
(cid:3) B
The quantity P is a probability function if it satis(cid:4)es the following axioms(cid:20)
(cid:9)(cid:3) (cid:19) P(cid:23)B(cid:24) (cid:9)(cid:1) for all B
(cid:4) (cid:4) (cid:3) B
(cid:10)(cid:3) P(cid:23)(cid:31)(cid:24)(cid:30) (cid:9)
(cid:2) (cid:2)
(cid:12)(cid:3) P(cid:23) i(cid:2)(cid:1)Bi(cid:24)(cid:30) i(cid:2)(cid:1)P(cid:23)Bi(cid:24)(cid:1) for all disjoint sequences of Bi (cid:3)
(cid:3) B
S P
(cid:9)