Table Of ContentAn Introduction to
Measure-Theoretic
Probability
Second edition
This page is intentionally left blank
An Introduction to
Measure-Theoretic
Probability
Second edition
by
GEORGE G. ROUSSAS
Department of Statistics
University of California, Davis
AMSTERDAM • BOSTON • HEIDELBERG • LONDON
NEW YORK • OXFORD • PARIS • SAN DIEGO
SAN FRANCISCO • SINGAPORE • SYDNEY • TOKYO
Academic Press is an imprint of Elsevier
Academic Press is an imprint of Elsevier
The Boulevard, Langford Lane, Kidlington, Oxford OX5 1GB, UK
Radarweg 29, PO Box 211, 1000 AE Amsterdam, The Netherlands
225 Wyman Street, Waltham, MA 02451, USA
525 B Street, Suite 1800, San Diego, CA 92101-4495, USA
Second edition 2014
Copyright © 2014, 2005 Elsevier Inc. All rights reserved.
No part of this publication may be reproduced, stored in a retrieval system or trans-
mitted in any form or by any means electronic, mechanical, photocopying, recording
or otherwise without the prior written permission of the publisher.
Permissions may be sought directly from Elsevier’s Science & Technology
Rights Department in Oxford, UK: phone ( 44) (0) 1865 843830; fax ( 44) (0)
+ +
1865 853333; email: permissions@elsevier.com. Alternatively you can submit
your request online by visiting the Elsevier web site at http://elsevier.com/locate/
permissions, and selecting Obtaining permission to use Elsevier material.
Notice
No responsibility is assumed by the publisher for any injury and/or damage to per-
sons or property as a matter of products liability, negligence or otherwise, or from
any use or operation of any methods, products, instructions or ideas contained in the
material herein. Because of rapid advances in the medical sciences, in particular,
independent verification of diagnoses and drug dosages should be made.
Library of Congress Cataloging-in-Publication Data
Application submitted
British Library Cataloguing in Publication Data
A catalogue record for this book is available from the British Library
For information on all Academic Press publications
visit our web site at store.elsevier.com
Printed and bound in USA
14 15 16 17 18 10 9 8 7 6 5 4 3 2 1
ISBN: 978-0-12-800042-7
This book is dedicated to the memory of Edward W. Barankin,
the probabilist, mathematical statistician, classical scholar, and
philosopher, for his role in stimulating my interest in probability with
emphasis on detail and rigor.
Also, to my dearest sisters, who provided material means in my needy
student years, and unrelenting moral support throughout my career.
This page is intentionally left blank
Contents
Pictured on the Cover ����������������������������������������������������������������������������������������������xiii
Preface to First Edition ��������������������������������������������������������������������������������������������xv
Preface to Second Edition �������������������������������������������������������������������������������������xxiii
CHAPTER 1 Certain Classes of Sets, Measurability, and
Pointwise Approximation ������������������������������������������1
1�1 Measurable Spaces ��������������������������������������������������������������������������1
1�2 Product Measurable Spaces ������������������������������������������������������������5
1�3 Measurable Functions and Random Variables ��������������������������������7
CHAPTER 2 Definition and Construction of a Measure
and its Basic Properties ������������������������������������������19
2�1 About Measures in General, and Probability Measures in
Particular ���������������������������������������������������������������������������������������19
2�2 Outer Measures �����������������������������������������������������������������������������22
2�3 The Carathéodory Extension Theorem �����������������������������������������27
2�4 Measures and (Point) Functions ���������������������������������������������������30
CHAPTER 3 Some Modes of Convergence of Sequences of
Random Variables and their Relationships ���������������41
3�1 Almost Everywhere Convergence and Convergence
in Measure ������������������������������������������������������������������������������������41
3�2 Convergence in Measure is Equivalent to
Mutual Convergence in Measure ��������������������������������������������������45
CHAPTER 4 The Integral of a Random Variable and its
Basic Properties �����������������������������������������������������55
4�1 Definition of the Integral���������������������������������������������������������������55
4�2 Basic Properties of the Integral �����������������������������������������������������60
4�3 Probability Distributions ���������������������������������������������������������������66
CHAPTER 5 Standard Convergence Theorems,
The Fubini Theorem ������������������������������������������������71
5�1 Standard Convergence Theorems and Some of Their
Ramifications ��������������������������������������������������������������������������������71
5�2 Sections, Product Measure Theorem,
the Fubini Theorem �����������������������������������������������������������������������80
5�2�1 Preliminaries for the Fubini Theorem �������������������������������88
vii
viii Contents
CHAPTER 6 Standard Moment and Probability Inequalities,
Convergence in the r th Mean and
its Implications ������������������������������������������������������95
6�1 Moment and Probability Inequalities ��������������������������������������������95
6�2 Convergence in the rth Mean, Uniform Continuity, Uniform
Integrability, and Their Relationships �����������������������������������������101
CHAPTER 7 The Hahn–Jordan Decomposition Theorem,
The Lebesgue Decomposition Theorem,
and the Radon–Nikodym Theorem �������������������������117
7�1 The Hahn–Jordan Decomposition Theorem �������������������������������117
7�2 The Lebesgue Decomposition Theorem �������������������������������������122
7�3 The Radon–Nikodym Theorem ��������������������������������������������������128
CHAPTER 8 Distribution Functions and Their Basic Properties,
Helly–Bray Type Results ���������������������������������������135
8�1 Basic Properties of Distribution Functions ���������������������������������135
8�2 Weak Convergence and Compactness of a Sequence of
Distribution Functions ����������������������������������������������������������������141
8�3 Helly–Bray Type Theorems for Distribution Functions �������������145
CHAPTER 9 Conditional Expectation and
Conditional Probability, and Related
Properties and Results ������������������������������������������153
9�1 Definition of Conditional Expectation
and Conditional Probability ��������������������������������������������������������153
9�2 Some Basic Theorems About Conditional Expectations
and Conditional Probabilities �����������������������������������������������������158
9�3 Convergence Theorems and Inequalities for Conditional
Expectations ��������������������������������������������������������������������������������160
9�4 Further Properties of Conditional Expectations and
Conditional Probabilities ������������������������������������������������������������169
CHAPTER 10 Independence ����������������������������������������������������179
10�1 Independence of Events, σ -Fields,
and Random Variables ����������������������������������������������������������������179
10�2 Some Auxiliary Results ��������������������������������������������������������������181
10�3 Proof of Theorem 1 and of Lemma 1 in
Chapter 9 �������������������������������������������������������������������������������������187
Contents ix
CHAPTER 11 Topics from the Theory of
Characteristic Functions �������������������������������������193
11�1 Definition of the Characteristic Function of a
Distribution and Basic Properties �����������������������������������������������193
11�2 The Inversion Formula ����������������������������������������������������������������195
11�3 Convergence in Distribution and Convergence of
Characteristic Functions—The Paul Lévy
Continuity Theorem ��������������������������������������������������������������������202
11�4 Convergence in Distribution in the Multidimensional
Case—The Cramér–Wold Device �����������������������������������������������210
11�5 Convolution of Distribution Functions and
Related Results ���������������������������������������������������������������������������211
11�6 Some Further Properties of Characteristic Functions �����������������216
11�7 Applications to the Weak Law of Large Numbers and the
Central Limit Theorem ���������������������������������������������������������������223
11�8 The Moments of a Random Variable Determine
its Distribution ����������������������������������������������������������������������������225
11�9 Some Basic Concepts and Results from Complex Analysis
Employed in the Proof of Theorem 11 ���������������������������������������229
CHAPTER 12 The Central Limit Problem:
The Centered Case ���������������������������������������������239
12�1 Convergence to the Normal Law (Central Limit
Theorem, CLT) ���������������������������������������������������������������������������240
12�2 Limiting Laws of (S ) Under Conditions (C ) �������������������������245
n
L
12�3 Conditions for the Central Limit Theorem to Hold ��������������������252
12�4 Proof of Results in Section 12�2 �������������������������������������������������260
CHAPTER 13 The Central Limit Problem:
The Noncentered Case ����������������������������������������271
13�1 Notation and Preliminary Discussion �����������������������������������������271
13�2 Limiting Laws of (S ) Under Conditions (C'') ������������������������274
n
L
13�3 Two Special Cases of the Limiting Laws of (S ) ���������������������278
n
L
CHAPTER 14 Topics from Sequences of Independent
Random Variables ����������������������������������������������289
14�1 Kolmogorov Inequalities ������������������������������������������������������������290
14�2 More Important Results Toward Proving the Strong
Law of Large Numbers ���������������������������������������������������������������294