Stochastic Processes. From Applications to Theory

884 Pages·2014·18.215 MB·english

by  Pierre Del Moral, Spiridon Penev

Stochastic
Processes
From Applications to Theory
Pierre Del Moral
University of New South Wales
Sydney, Australia
and
INRIA Sud Ouest Research Center
Bordeaux, France
Spiridon Penev
University of New South Wales
Sydney, Australia
CRC Press
Taylor & Francis Group
6000 Broken Sound Parkway NW, Suite 300
Boca Raton, FL 33487-2742
© 2014 by Taylor & Francis Group, LLC
CRC Press is an imprint of Taylor & Francis Group, an Informa business
Version Date: 20161005
International Standard Book Number-13: 978-1-4987-0183-9 (Hardback)
Visit the Taylor & Francis Web site at
http://www.taylorandfrancis.com
and the CRC Press Web site at
http://www.crcpress.com
Contents
Introduction xxi
I An illustrated guide 1
1 Motivating examples 3
1.1 Lost in the Great Sloan Wall . . . . . . . . . . . . . . . . . . . . . . . . . . 3
1.2 Meeting Alice in Wonderland . . . . . . . . . . . . . . . . . . . . . . . . . 6
1.3 The lucky MIT Blackjack Team . . . . . . . . . . . . . . . . . . . . . . . . 7
1.4 Kruskal’s magic trap card . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10
1.5 The magic fern from Daisetsuzan . . . . . . . . . . . . . . . . . . . . . . . 12
1.6 The Kepler-22b Eve . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15
1.7 Poisson’s typos . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17
1.8 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21
2 Selected topics 25
2.1 Stabilizing populations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25
2.2 The traps of reinforcement . . . . . . . . . . . . . . . . . . . . . . . . . . . 28
2.3 Casino roulette . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31
2.4 Surfing Google’s waves . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 34
2.5 Pinging hackers . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36
2.6 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37
3 Computational and theoretical aspects 43
3.1 From Monte Carlo to Los Alamos . . . . . . . . . . . . . . . . . . . . . . . 43
3.2 Signal processing and population dynamics . . . . . . . . . . . . . . . . . . 45
3.3 The lost equation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49
3.4 Towards a general theory . . . . . . . . . . . . . . . . . . . . . . . . . . . . 56
3.5 The theory of speculation . . . . . . . . . . . . . . . . . . . . . . . . . . . . 60
3.6 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 66
II Stochastic simulation 69
4 Simulation toolbox 71
4.1 Inversion technique . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 71
4.2 Change of variables . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 74
4.3 Rejection techniques . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 75
4.4 Sampling probabilities . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 77
4.4.1 Bayesian inference . . . . . . . . . . . . . . . . . . . . . . . . . . . . 77
4.4.2 Laplace’s rule of successions . . . . . . . . . . . . . . . . . . . . . . . 79
4.4.3 Fragmentation and coagulation . . . . . . . . . . . . . . . . . . . . . 79
4.5 Conditional probabilities . . . . . . . . . . . . . . . . . . . . . . . . . . . . 80
4.5.1 Bayes’ formula . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 80
4.5.2 The regression formula . . . . . . . . . . . . . . . . . . . . . . . . . . 81
4.5.3 Gaussian updates . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 82
4.5.4 Conjugate priors . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 84
4.6 Spatial Poisson point processes . . . . . . . . . . . . . . . . . . . . . . . . . 85
4.6.1 Some preliminary results. . . . . . . . . . . . . . . . . . . . . . . . . 85
4.6.2 Conditioning principles . . . . . . . . . . . . . . . . . . . . . . . . . 88
4.6.3 Poisson-Gaussian clusters . . . . . . . . . . . . . . . . . . . . . . . . 91
4.7 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 92
5 Monte Carlo integration 99
5.1 Law of large numbers . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 99
5.2 Importance sampling . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 102
5.2.1 Twisted distributions . . . . . . . . . . . . . . . . . . . . . . . . . . . 102
5.2.2 Sequential Monte Carlo . . . . . . . . . . . . . . . . . . . . . . . . . 102
5.2.3 Tails distributions . . . . . . . . . . . . . . . . . . . . . . . . . . . . 103
5.3 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 104
6 Some illustrations 107
6.1 Stochastic processes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 107
6.2 Markov chain models . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 108
6.3 Black-box type models . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 108
6.4 Boltzmann-Gibbs measures . . . . . . . . . . . . . . . . . . . . . . . . . . . 110
6.4.1 Ising model . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 110
6.4.2 Sherrington-Kirkpatrick model . . . . . . . . . . . . . . . . . . . . . 111
6.4.3 The traveling salesman model . . . . . . . . . . . . . . . . . . . . . . 111
6.5 Filtering and statistical learning . . . . . . . . . . . . . . . . . . . . . . . . 113
6.5.1 Bayes’ formula . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 113
6.5.2 Singer’s radar model . . . . . . . . . . . . . . . . . . . . . . . . . . . 114
6.6 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 115
III Discrete time processes 119
7 Markov chains 121
7.1 Description of the models . . . . . . . . . . . . . . . . . . . . . . . . . . . . 121
7.2 Elementary transitions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 122
7.3 Markov integral operators . . . . . . . . . . . . . . . . . . . . . . . . . . . . 123
7.4 Equilibrium measures . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 124
7.5 Stochastic matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 125
7.6 Random dynamical systems . . . . . . . . . . . . . . . . . . . . . . . . . . . 126
7.6.1 Linear Markov chain model . . . . . . . . . . . . . . . . . . . . . . . 126
7.6.2 Two-states Markov models . . . . . . . . . . . . . . . . . . . . . . . 127
7.7 Transition diagrams . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 128
7.8 The tree of outcomes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 128
7.9 General state space models . . . . . . . . . . . . . . . . . . . . . . . . . . . 129
7.10 Nonlinear Markov chains . . . . . . . . . . . . . . . . . . . . . . . . . . . . 132
7.10.1 Self interacting processes . . . . . . . . . . . . . . . . . . . . . . . . 132
7.10.2 Mean field particle models . . . . . . . . . . . . . . . . . . . . . . . . 134
7.10.3 McKean-Vlasov diffusions . . . . . . . . . . . . . . . . . . . . . . . . 135
7.10.4 Interacting jump processes . . . . . . . . . . . . . . . . . . . . . . . 136
7.11 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 138
8 Analysis toolbox 141
8.1 Linear algebra . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 141
8.1.1 Diagonalisation type techniques . . . . . . . . . . . . . . . . . . . . . 141
8.1.2 Perron Frobenius theorem . . . . . . . . . . . . . . . . . . . . . . . . 143
8.2 Functional analysis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 145
8.2.1 Spectral decompositions . . . . . . . . . . . . . . . . . . . . . . . . . 145
8.2.2 Total variation norms . . . . . . . . . . . . . . . . . . . . . . . . . . 149
8.2.3 Contraction inequalities . . . . . . . . . . . . . . . . . . . . . . . . . 152
8.2.4 Poisson equation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 156
8.2.5 V-norms . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 156
8.2.6 Geometric drift conditions . . . . . . . . . . . . . . . . . . . . . . . . 160
8.2.7 V-norm contractions . . . . . . . . . . . . . . . . . . . . . . . . . . . 164
8.3 Stochastic analysis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 166
8.3.1 Coupling techniques . . . . . . . . . . . . . . . . . . . . . . . . . . . 166
8.3.1.1 The total variation distance. . . . . . . . . . . . . . . . . . 166
8.3.1.2 Wasserstein metric . . . . . . . . . . . . . . . . . . . . . . . 169
8.3.2 Stopping times and coupling . . . . . . . . . . . . . . . . . . . . . . 172
8.3.3 Strong stationary times . . . . . . . . . . . . . . . . . . . . . . . . . 173
8.3.4 Some illustrations . . . . . . . . . . . . . . . . . . . . . . . . . . . . 174
8.3.4.1 Minorization condition and coupling . . . . . . . . . . . . . 174
8.3.4.2 Markov chains on complete graphs . . . . . . . . . . . . . . 176
8.3.4.3 A Kruskal random walk . . . . . . . . . . . . . . . . . . . . 177
8.4 Martingales . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 178
8.4.1 Some preliminaries . . . . . . . . . . . . . . . . . . . . . . . . . . . . 178
8.4.2 Applications to Markov chains . . . . . . . . . . . . . . . . . . . . . 183
8.4.2.1 Martingales with fixed terminal values . . . . . . . . . . . . 183
8.4.2.2 Doeblin-It¯o formula . . . . . . . . . . . . . . . . . . . . . . 184
8.4.2.3 Occupation measures . . . . . . . . . . . . . . . . . . . . . 185
8.4.3 Optional stopping theorems . . . . . . . . . . . . . . . . . . . . . . . 187
8.4.4 A gambling model . . . . . . . . . . . . . . . . . . . . . . . . . . . . 191
8.4.4.1 Fair games . . . . . . . . . . . . . . . . . . . . . . . . . . . 192
8.4.4.2 Unfair games . . . . . . . . . . . . . . . . . . . . . . . . . . 193
8.4.5 Maximal inequalities . . . . . . . . . . . . . . . . . . . . . . . . . . . 194
8.4.6 Limit theorems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 196
8.5 Topological aspects . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 203
8.5.1 Irreducibility and aperiodicity . . . . . . . . . . . . . . . . . . . . . . 203
8.5.2 Recurrent and transient states . . . . . . . . . . . . . . . . . . . . . 206
8.5.3 Continuous state spaces . . . . . . . . . . . . . . . . . . . . . . . . . 210
8.5.4 Path space models . . . . . . . . . . . . . . . . . . . . . . . . . . . . 211
8.6 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 212
9 Computational toolbox 221
9.1 A weak ergodic theorem . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 221
9.2 Some illustrations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 224
9.2.1 Parameter estimation . . . . . . . . . . . . . . . . . . . . . . . . . . 224
9.2.2 Gaussian subset shaker . . . . . . . . . . . . . . . . . . . . . . . . . 225
9.2.3 Exploration of the unit disk . . . . . . . . . . . . . . . . . . . . . . . 226
9.3 Markov Chain Monte Carlo methods . . . . . . . . . . . . . . . . . . . . . 226
9.3.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 226
9.3.2 Metropolis and Hastings models . . . . . . . . . . . . . . . . . . . . 227
9.3.3 Gibbs-Glauber dynamics. . . . . . . . . . . . . . . . . . . . . . . . . 229
9.3.4 Propp and Wilson sampler . . . . . . . . . . . . . . . . . . . . . . . 233
9.4 Time inhomogeneous MCMC models . . . . . . . . . . . . . . . . . . . . . 236
9.4.1 Simulated annealing algorithm . . . . . . . . . . . . . . . . . . . . . 236
9.4.2 A perfect sampling algorithm . . . . . . . . . . . . . . . . . . . . . . 237
9.5 Feynman-Kac path integration . . . . . . . . . . . . . . . . . . . . . . . . . 239
9.5.1 Weighted Markov chains . . . . . . . . . . . . . . . . . . . . . . . . . 239
9.5.2 Evolution equations . . . . . . . . . . . . . . . . . . . . . . . . . . . 240
9.5.3 Particle absorption models . . . . . . . . . . . . . . . . . . . . . . . 242
9.5.4 Doob h-processes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 244
9.5.5 Quasi-invariant measures . . . . . . . . . . . . . . . . . . . . . . . . 245
9.5.6 Cauchy problems with terminal conditions . . . . . . . . . . . . . . . 247
9.5.7 Dirichlet-Poisson problems . . . . . . . . . . . . . . . . . . . . . . . 248
9.5.8 Cauchy-Dirichlet-Poisson problems . . . . . . . . . . . . . . . . . . . 250
9.6 Feynman-Kac particle methodology . . . . . . . . . . . . . . . . . . . . . . 252
9.6.1 Mean field genetic type particle models . . . . . . . . . . . . . . . . 252
9.6.2 Path space models . . . . . . . . . . . . . . . . . . . . . . . . . . . . 254
9.6.3 Backward integration . . . . . . . . . . . . . . . . . . . . . . . . . . 255
9.6.4 A random particle matrix model . . . . . . . . . . . . . . . . . . . . 257
9.6.5 A conditional formula for ancestral trees . . . . . . . . . . . . . . . . 258
9.7 Particle Markov chain Monte Carlo methods . . . . . . . . . . . . . . . . . 260
9.7.1 Many-body Feynman-Kac measures . . . . . . . . . . . . . . . . . . 260
9.7.2 A particle Metropolis-Hastings model . . . . . . . . . . . . . . . . . 261
9.7.3 Duality formulae for many-body models . . . . . . . . . . . . . . . . 262
9.7.4 A couple particle Gibbs samplers . . . . . . . . . . . . . . . . . . . . 266
9.8 Quenched and annealed measures . . . . . . . . . . . . . . . . . . . . . . . 267
9.8.1 Feynman-Kac models . . . . . . . . . . . . . . . . . . . . . . . . . . 267
9.8.2 Particle Gibbs models . . . . . . . . . . . . . . . . . . . . . . . . . . 269
9.8.3 Particle Metropolis-Hastings models . . . . . . . . . . . . . . . . . . 271
9.9 Some application domains . . . . . . . . . . . . . . . . . . . . . . . . . . . 272
9.9.1 Interacting MCMC algorithms . . . . . . . . . . . . . . . . . . . . . 272
9.9.2 Nonlinear filtering models . . . . . . . . . . . . . . . . . . . . . . . . 276
9.9.3 Markov chain restrictions . . . . . . . . . . . . . . . . . . . . . . . . 276
9.9.4 Self avoiding walks . . . . . . . . . . . . . . . . . . . . . . . . . . . . 277
9.9.5 Twisted measure importance sampling . . . . . . . . . . . . . . . . . 279
9.9.6 Kalman-Bucy filters . . . . . . . . . . . . . . . . . . . . . . . . . . . 280
9.9.6.1 Forward filters . . . . . . . . . . . . . . . . . . . . . . . . . 280
9.9.6.2 Backward filters . . . . . . . . . . . . . . . . . . . . . . . . 281
9.9.6.3 Ensemble Kalman filters . . . . . . . . . . . . . . . . . . . 283
9.9.6.4 Interacting Kalman filters . . . . . . . . . . . . . . . . . . . 285
9.10 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 286
IV Continuous time processes 297
10 Poisson processes 299
10.1 A counting process . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 299
10.2 Memoryless property . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 300
10.3 Uniform random times . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 301
10.4 Doeblin-It¯o formula . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 302
10.5 Bernoulli process . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 304
10.6 Time inhomogeneous models . . . . . . . . . . . . . . . . . . . . . . . . . . 306
10.6.1 Description of the models . . . . . . . . . . . . . . . . . . . . . . . . 306
10.6.2 Poisson thinning simulation . . . . . . . . . . . . . . . . . . . . . . . 309
10.6.3 Geometric random clocks . . . . . . . . . . . . . . . . . . . . . . . . 309
10.7 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 311
11 Markov chain embeddings 313
11.1 Homogeneous embeddings . . . . . . . . . . . . . . . . . . . . . . . . . . . 313
11.1.1 Description of the models . . . . . . . . . . . . . . . . . . . . . . . . 313
11.1.2 Semigroup evolution equations . . . . . . . . . . . . . . . . . . . . . 314
11.2 Some illustrations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 317
11.2.1 A two-state Markov process . . . . . . . . . . . . . . . . . . . . . . . 317
11.2.2 Matrix valued equations . . . . . . . . . . . . . . . . . . . . . . . . . 318
11.2.3 Discrete Laplacian . . . . . . . . . . . . . . . . . . . . . . . . . . . . 320
11.3 Spatially inhomogeneous models . . . . . . . . . . . . . . . . . . . . . . . . 322
11.3.1 Explosion phenomenon. . . . . . . . . . . . . . . . . . . . . . . . . . 324
11.3.2 Finite state space models . . . . . . . . . . . . . . . . . . . . . . . . 328
11.4 Time inhomogeneous models . . . . . . . . . . . . . . . . . . . . . . . . . . 329
11.4.1 Description of the models . . . . . . . . . . . . . . . . . . . . . . . . 329
11.4.2 Poisson thinning models . . . . . . . . . . . . . . . . . . . . . . . . . 331
11.4.3 Exponential and geometric clocks . . . . . . . . . . . . . . . . . . . . 332
11.5 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 332
12 Jump processes 337
12.1 A class of pure jump models . . . . . . . . . . . . . . . . . . . . . . . . . . 337
12.2 Semigroup evolution equations . . . . . . . . . . . . . . . . . . . . . . . . . 338
12.3 Approximation schemes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 340
12.4 Sum of generators . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 342
12.5 Doob-Meyer decompositions . . . . . . . . . . . . . . . . . . . . . . . . . . 344
12.5.1 Discrete time models . . . . . . . . . . . . . . . . . . . . . . . . . . . 344
12.5.2 Continuous time martingales . . . . . . . . . . . . . . . . . . . . . . 346
12.5.3 Optional stopping theorems . . . . . . . . . . . . . . . . . . . . . . . 349
12.6 Doeblin-It¯o-Taylor formulae . . . . . . . . . . . . . . . . . . . . . . . . . . 350
12.7 Stability properties . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 351
12.7.1 Invariant measures . . . . . . . . . . . . . . . . . . . . . . . . . . . . 351
12.7.2 Dobrushin contraction properties . . . . . . . . . . . . . . . . . . . . 353
12.8 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 356
13 Piecewise deterministic processes 363
13.1 Dynamical systems basics . . . . . . . . . . . . . . . . . . . . . . . . . . . . 363
13.1.1 Semigroup and flow maps . . . . . . . . . . . . . . . . . . . . . . . . 363
13.1.2 Time discretization schemes . . . . . . . . . . . . . . . . . . . . . . . 366
13.2 Piecewise deterministic jump models . . . . . . . . . . . . . . . . . . . . . . 367
13.2.1 Excursion valued Markov chains . . . . . . . . . . . . . . . . . . . . 367
13.2.2 Evolution semigroups . . . . . . . . . . . . . . . . . . . . . . . . . . 369
13.2.3 Infinitesimal generators . . . . . . . . . . . . . . . . . . . . . . . . . 371
13.2.4 Fokker-Planck equation . . . . . . . . . . . . . . . . . . . . . . . . . 372
13.2.5 A time discretization scheme . . . . . . . . . . . . . . . . . . . . . . 373
13.2.6 Doeblin-Ito¯-Taylor formulae . . . . . . . . . . . . . . . . . . . . . . . 376
13.3 Stability properties . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 377
13.3.1 Switching processes . . . . . . . . . . . . . . . . . . . . . . . . . . . 377
13.3.2 Invariant measures . . . . . . . . . . . . . . . . . . . . . . . . . . . . 379
13.4 An application to Internet architectures . . . . . . . . . . . . . . . . . . . . 379
13.4.1 The transmission control protocol . . . . . . . . . . . . . . . . . . . 379
13.4.2 Regularity and stability properties . . . . . . . . . . . . . . . . . . . 381
13.4.3 The limiting distribution . . . . . . . . . . . . . . . . . . . . . . . . 383
13.5 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 384
14 Diffusion processes 393
14.1 Brownian motion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 393
14.1.1 Discrete vs continuous time models . . . . . . . . . . . . . . . . . . . 393
14.1.2 Evolution semigroups . . . . . . . . . . . . . . . . . . . . . . . . . . 395
14.1.3 The heat equation . . . . . . . . . . . . . . . . . . . . . . . . . . . . 397
14.1.4 Doeblin-Ito¯-Taylor formula . . . . . . . . . . . . . . . . . . . . . . . 398
14.2 Stochastic differential equations . . . . . . . . . . . . . . . . . . . . . . . . 401
14.2.1 Diffusion processes . . . . . . . . . . . . . . . . . . . . . . . . . . . . 401
14.2.2 Doeblin-Ito¯ differential calculus . . . . . . . . . . . . . . . . . . . . . 402
14.3 Evolution equations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 405
14.3.1 Fokker-Planck equation . . . . . . . . . . . . . . . . . . . . . . . . . 405
14.3.2 Weak approximation processes . . . . . . . . . . . . . . . . . . . . . 406
14.3.3 A backward stochastic differential equation . . . . . . . . . . . . . . 408
14.4 Multidimensional diffusions . . . . . . . . . . . . . . . . . . . . . . . . . . . 409
14.4.1 Multidimensional stochastic differential equations . . . . . . . . . . . 409
14.4.2 An integration by parts formula . . . . . . . . . . . . . . . . . . . . 411
14.4.3 Laplacian and orthogonal transformations . . . . . . . . . . . . . . . 412
14.4.4 Fokker-Planck equation . . . . . . . . . . . . . . . . . . . . . . . . . 413
14.5 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 413
15 Jump diffusion processes 425
15.1 Piecewise diffusion processes . . . . . . . . . . . . . . . . . . . . . . . . . . 425
15.2 Evolution semigroups . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 426
15.3 Doeblin-It¯o formula . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 428
15.4 Fokker-Planck equation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 433
15.5 An abstract class of stochastic processes . . . . . . . . . . . . . . . . . . . . 434
15.5.1 Generators and carré du champ operators . . . . . . . . . . . . . . . 434
15.5.2 Perturbation formulae . . . . . . . . . . . . . . . . . . . . . . . . . . 437
15.6 Jump diffusion processes with killing . . . . . . . . . . . . . . . . . . . . . 439
15.6.1 Feynman-Kac semigroups . . . . . . . . . . . . . . . . . . . . . . . . 439
15.6.2 Cauchy problems with terminal conditions . . . . . . . . . . . . . . . 440
15.6.3 Dirichlet-Poisson problems . . . . . . . . . . . . . . . . . . . . . . . 442
15.6.4 Cauchy-Dirichlet-Poisson problems . . . . . . . . . . . . . . . . . . . 447
15.7 Some illustrations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 450
15.7.1 One-dimensional Dirichlet-Poisson problems . . . . . . . . . . . . . . 450
15.7.2 A backward stochastic differential equation . . . . . . . . . . . . . . 451
15.8 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 451
16 Nonlinear jump diffusion processes 463
16.1 Nonlinear Markov processes . . . . . . . . . . . . . . . . . . . . . . . . . . 463
16.1.1 Pure diffusion models . . . . . . . . . . . . . . . . . . . . . . . . . . 463
16.1.2 Burgers equation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 464
16.1.3 Feynman-Kac jump type models . . . . . . . . . . . . . . . . . . . . 466
16.1.4 A jump type Langevin model . . . . . . . . . . . . . . . . . . . . . . 467
16.2 Mean field particle models . . . . . . . . . . . . . . . . . . . . . . . . . . . 468
16.3 Some application domains . . . . . . . . . . . . . . . . . . . . . . . . . . . 470
16.3.1 Fouque-Sun systemic risk model . . . . . . . . . . . . . . . . . . . . 470
16.3.2 Burgers equation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 471
16.3.3 Langevin-McKean-Vlasov model . . . . . . . . . . . . . . . . . . . . 472
16.3.4 Dyson equation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 473
16.4 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 474
17 Stochastic analysis toolbox 481
17.1 Time changes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 481
17.2 Stability properties . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 482
17.3 Some illustrations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 483
17.3.1 Gradient flow processes . . . . . . . . . . . . . . . . . . . . . . . . . 483
17.3.2 One-dimensional diffusions . . . . . . . . . . . . . . . . . . . . . . . 484
17.4 Foster-Lyapunov techniques . . . . . . . . . . . . . . . . . . . . . . . . . . 485
17.4.1 Contraction inequalities . . . . . . . . . . . . . . . . . . . . . . . . . 485
17.4.2 Minorization properties . . . . . . . . . . . . . . . . . . . . . . . . . 486
17.5 Some applications . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 487
17.5.1 Ornstein-Uhlenbeck processes . . . . . . . . . . . . . . . . . . . . . . 487
17.5.2 Stochastic gradient processes . . . . . . . . . . . . . . . . . . . . . . 487
17.5.3 Langevin diffusions . . . . . . . . . . . . . . . . . . . . . . . . . . . . 488
17.6 Spectral analysis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 490
17.6.1 Hilbert spaces and Schauder bases . . . . . . . . . . . . . . . . . . . 490
17.6.2 Spectral decompositions . . . . . . . . . . . . . . . . . . . . . . . . . 493
17.6.3 Poincaré inequality . . . . . . . . . . . . . . . . . . . . . . . . . . . . 494
17.7 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 495
18 Path space measures 501
18.1 Pure jump models . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 501
18.1.1 Likelihood functionals . . . . . . . . . . . . . . . . . . . . . . . . . . 504
18.1.2 Girsanov’s transformations . . . . . . . . . . . . . . . . . . . . . . . 505
18.1.3 Exponential martingales . . . . . . . . . . . . . . . . . . . . . . . . . 506
18.2 Diffusion models . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 507
18.2.1 Wiener measure . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 507
18.2.2 Path space diffusions . . . . . . . . . . . . . . . . . . . . . . . . . . . 508
18.2.3 Girsanov transformations . . . . . . . . . . . . . . . . . . . . . . . . 509
18.3 Exponential change twisted measures . . . . . . . . . . . . . . . . . . . . . 512
18.3.1 Diffusion processes . . . . . . . . . . . . . . . . . . . . . . . . . . . . 513
18.3.2 Pure jump processes . . . . . . . . . . . . . . . . . . . . . . . . . . . 514
18.4 Some illustrations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 514
18.4.1 Risk neutral financial markets . . . . . . . . . . . . . . . . . . . . . . 514
18.4.1.1 Poisson markets . . . . . . . . . . . . . . . . . . . . . . . . 514
18.4.1.2 Diffusion markets . . . . . . . . . . . . . . . . . . . . . . . 515
18.4.2 Elliptic diffusions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 516
18.5 Nonlinear filtering . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 517
18.5.1 Diffusion observations . . . . . . . . . . . . . . . . . . . . . . . . . . 517
18.5.2 Duncan-Zakai equation . . . . . . . . . . . . . . . . . . . . . . . . . 518
18.5.3 Kushner-Stratonovitch equation . . . . . . . . . . . . . . . . . . . . 520
18.5.4 Kalman-Bucy filters . . . . . . . . . . . . . . . . . . . . . . . . . . . 521
18.5.5 Nonlinear diffusion and ensemble Kalman-Bucy filters . . . . . . . . 523
18.5.6 Robust filtering equations . . . . . . . . . . . . . . . . . . . . . . . . 524
18.5.7 Poisson observations . . . . . . . . . . . . . . . . . . . . . . . . . . . 525
18.6 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 527
V Processes on manifolds 533
19 A review of differential geometry 535
19.1 Projection operators . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 535
19.2 Covariant derivatives of vector fields . . . . . . . . . . . . . . . . . . . . . . 541
19.2.1 First order derivatives . . . . . . . . . . . . . . . . . . . . . . . . . . 543
19.2.2 Second order derivatives . . . . . . . . . . . . . . . . . . . . . . . . . 546
19.3 Divergence and mean curvature . . . . . . . . . . . . . . . . . . . . . . . . 547
19.4 Lie brackets and commutation formulae . . . . . . . . . . . . . . . . . . . . 554
19.5 Inner product derivation formulae . . . . . . . . . . . . . . . . . . . . . . . 556
19.6 Second order derivatives and some trace formulae . . . . . . . . . . . . . . 559
19.7 Laplacian operator . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 562
19.8 Ricci curvature . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 563
19.9 Bochner-Lichnerowicz formula . . . . . . . . . . . . . . . . . . . . . . . . . 568
19.10Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 576
20 Stochastic differential calculus on manifolds 579
20.1 Embedded manifolds . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 579
20.2 Brownian motion on manifolds . . . . . . . . . . . . . . . . . . . . . . . . . 581
20.2.1 A diffusion model in the ambient space . . . . . . . . . . . . . . . . 581
20.2.2 The infinitesimal generator . . . . . . . . . . . . . . . . . . . . . . . 583
20.2.3 Monte Carlo simulation . . . . . . . . . . . . . . . . . . . . . . . . . 584
20.3 Stratonovitch differential calculus . . . . . . . . . . . . . . . . . . . . . . . 584
20.4 Projected diffusions on manifolds . . . . . . . . . . . . . . . . . . . . . . . 586
20.5 Brownian motion on orbifolds . . . . . . . . . . . . . . . . . . . . . . . . . 589
20.6 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 591
21 Parametrizations and charts 593
21.1 Differentiable manifolds and charts . . . . . . . . . . . . . . . . . . . . . . 593
21.2 Orthogonal projection operators . . . . . . . . . . . . . . . . . . . . . . . . 596
21.3 Riemannian structures . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 599
21.4 First order covariant derivatives . . . . . . . . . . . . . . . . . . . . . . . . 602
21.4.1 Pushed forward functions . . . . . . . . . . . . . . . . . . . . . . . . 602
21.4.2 Pushed forward vector fields. . . . . . . . . . . . . . . . . . . . . . . 604
21.4.3 Directional derivatives . . . . . . . . . . . . . . . . . . . . . . . . . . 606
21.5 Second order covariant derivative . . . . . . . . . . . . . . . . . . . . . . . 609
21.5.1 Tangent basis functions . . . . . . . . . . . . . . . . . . . . . . . . . 609
21.5.2 Composition formulae . . . . . . . . . . . . . . . . . . . . . . . . . . 612
21.5.3 Hessian operators. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 613
21.6 Bochner-Lichnerowicz formula . . . . . . . . . . . . . . . . . . . . . . . . . 617
21.7 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 623
22 Stochastic calculus in chart spaces 629
22.1 Brownian motion on Riemannian manifolds . . . . . . . . . . . . . . . . . . 629
22.2 Diffusions on chart spaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . 631
22.3 Brownian motion on spheres . . . . . . . . . . . . . . . . . . . . . . . . . . 632
22.3.1 The unit circle S =S1 R2 . . . . . . . . . . . . . . . . . . . . . . . 632
⊂
22.3.2 The unit sphere S =S2 R3 . . . . . . . . . . . . . . . . . . . . . . 633
⊂
22.4 Brownian motion on the torus . . . . . . . . . . . . . . . . . . . . . . . . . 634
22.5 Diffusions on the simplex . . . . . . . . . . . . . . . . . . . . . . . . . . . . 635
22.6 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 637