An Introduction to Measure-Theoretic Probability Second edition This page is intentionally left blank An Introduction to Measure-Theoretic Probability Second edition by GEORGE G. ROUSSAS Department of Statistics University of California, Davis AMSTERDAM • BOSTON • HEIDELBERG • LONDON NEW YORK • OXFORD • PARIS • SAN DIEGO SAN FRANCISCO • SINGAPORE • SYDNEY • TOKYO Academic Press is an imprint of Elsevier Academic Press is an imprint of Elsevier The Boulevard, Langford Lane, Kidlington, Oxford OX5 1GB, UK Radarweg 29, PO Box 211, 1000 AE Amsterdam, The Netherlands 225 Wyman Street, Waltham, MA 02451, USA 525 B Street, Suite 1800, San Diego, CA 92101-4495, USA Second edition 2014 Copyright © 2014, 2005 Elsevier Inc. All rights reserved. No part of this publication may be reproduced, stored in a retrieval system or trans- mitted in any form or by any means electronic, mechanical, photocopying, recording or otherwise without the prior written permission of the publisher. Permissions may be sought directly from Elsevier’s Science & Technology Rights Department in Oxford, UK: phone ( 44) (0) 1865 843830; fax ( 44) (0) + + 1865 853333; email: [email protected]. Alternatively you can submit your request online by visiting the Elsevier web site at http://elsevier.com/locate/ permissions, and selecting Obtaining permission to use Elsevier material. Notice No responsibility is assumed by the publisher for any injury and/or damage to per- sons or property as a matter of products liability, negligence or otherwise, or from any use or operation of any methods, products, instructions or ideas contained in the material herein. Because of rapid advances in the medical sciences, in particular, independent verification of diagnoses and drug dosages should be made. Library of Congress Cataloging-in-Publication Data Application submitted British Library Cataloguing in Publication Data A catalogue record for this book is available from the British Library For information on all Academic Press publications visit our web site at store.elsevier.com Printed and bound in USA 14 15 16 17 18 10 9 8 7 6 5 4 3 2 1 ISBN: 978-0-12-800042-7 This book is dedicated to the memory of Edward W. Barankin, the probabilist, mathematical statistician, classical scholar, and philosopher, for his role in stimulating my interest in probability with emphasis on detail and rigor. Also, to my dearest sisters, who provided material means in my needy student years, and unrelenting moral support throughout my career. This page is intentionally left blank Contents Pictured on the Cover ����������������������������������������������������������������������������������������������xiii Preface to First Edition ��������������������������������������������������������������������������������������������xv Preface to Second Edition �������������������������������������������������������������������������������������xxiii CHAPTER 1 Certain Classes of Sets, Measurability, and Pointwise Approximation ������������������������������������������1 1�1 Measurable Spaces ��������������������������������������������������������������������������1 1�2 Product Measurable Spaces ������������������������������������������������������������5 1�3 Measurable Functions and Random Variables ��������������������������������7 CHAPTER 2 Definition and Construction of a Measure and its Basic Properties ������������������������������������������19 2�1 About Measures in General, and Probability Measures in Particular ���������������������������������������������������������������������������������������19 2�2 Outer Measures �����������������������������������������������������������������������������22 2�3 The Carathéodory Extension Theorem �����������������������������������������27 2�4 Measures and (Point) Functions ���������������������������������������������������30 CHAPTER 3 Some Modes of Convergence of Sequences of Random Variables and their Relationships ���������������41 3�1 Almost Everywhere Convergence and Convergence in Measure ������������������������������������������������������������������������������������41 3�2 Convergence in Measure is Equivalent to Mutual Convergence in Measure ��������������������������������������������������45 CHAPTER 4 The Integral of a Random Variable and its Basic Properties �����������������������������������������������������55 4�1 Definition of the Integral���������������������������������������������������������������55 4�2 Basic Properties of the Integral �����������������������������������������������������60 4�3 Probability Distributions ���������������������������������������������������������������66 CHAPTER 5 Standard Convergence Theorems, The Fubini Theorem ������������������������������������������������71 5�1 Standard Convergence Theorems and Some of Their Ramifications ��������������������������������������������������������������������������������71 5�2 Sections, Product Measure Theorem, the Fubini Theorem �����������������������������������������������������������������������80 5�2�1 Preliminaries for the Fubini Theorem �������������������������������88 vii viii Contents CHAPTER 6 Standard Moment and Probability Inequalities, Convergence in the r th Mean and its Implications ������������������������������������������������������95 6�1 Moment and Probability Inequalities ��������������������������������������������95 6�2 Convergence in the rth Mean, Uniform Continuity, Uniform Integrability, and Their Relationships �����������������������������������������101 CHAPTER 7 The Hahn–Jordan Decomposition Theorem, The Lebesgue Decomposition Theorem, and the Radon–Nikodym Theorem �������������������������117 7�1 The Hahn–Jordan Decomposition Theorem �������������������������������117 7�2 The Lebesgue Decomposition Theorem �������������������������������������122 7�3 The Radon–Nikodym Theorem ��������������������������������������������������128 CHAPTER 8 Distribution Functions and Their Basic Properties, Helly–Bray Type Results ���������������������������������������135 8�1 Basic Properties of Distribution Functions ���������������������������������135 8�2 Weak Convergence and Compactness of a Sequence of Distribution Functions ����������������������������������������������������������������141 8�3 Helly–Bray Type Theorems for Distribution Functions �������������145 CHAPTER 9 Conditional Expectation and Conditional Probability, and Related Properties and Results ������������������������������������������153 9�1 Definition of Conditional Expectation and Conditional Probability ��������������������������������������������������������153 9�2 Some Basic Theorems About Conditional Expectations and Conditional Probabilities �����������������������������������������������������158 9�3 Convergence Theorems and Inequalities for Conditional Expectations ��������������������������������������������������������������������������������160 9�4 Further Properties of Conditional Expectations and Conditional Probabilities ������������������������������������������������������������169 CHAPTER 10 Independence ����������������������������������������������������179 10�1 Independence of Events, σ -Fields, and Random Variables ����������������������������������������������������������������179 10�2 Some Auxiliary Results ��������������������������������������������������������������181 10�3 Proof of Theorem 1 and of Lemma 1 in Chapter 9 �������������������������������������������������������������������������������������187 Contents ix CHAPTER 11 Topics from the Theory of Characteristic Functions �������������������������������������193 11�1 Definition of the Characteristic Function of a Distribution and Basic Properties �����������������������������������������������193 11�2 The Inversion Formula ����������������������������������������������������������������195 11�3 Convergence in Distribution and Convergence of Characteristic Functions—The Paul Lévy Continuity Theorem ��������������������������������������������������������������������202 11�4 Convergence in Distribution in the Multidimensional Case—The Cramér–Wold Device �����������������������������������������������210 11�5 Convolution of Distribution Functions and Related Results ���������������������������������������������������������������������������211 11�6 Some Further Properties of Characteristic Functions �����������������216 11�7 Applications to the Weak Law of Large Numbers and the Central Limit Theorem ���������������������������������������������������������������223 11�8 The Moments of a Random Variable Determine its Distribution ����������������������������������������������������������������������������225 11�9 Some Basic Concepts and Results from Complex Analysis Employed in the Proof of Theorem 11 ���������������������������������������229 CHAPTER 12 The Central Limit Problem: The Centered Case ���������������������������������������������239 12�1 Convergence to the Normal Law (Central Limit Theorem, CLT) ���������������������������������������������������������������������������240 12�2 Limiting Laws of (S ) Under Conditions (C ) �������������������������245 n L 12�3 Conditions for the Central Limit Theorem to Hold ��������������������252 12�4 Proof of Results in Section 12�2 �������������������������������������������������260 CHAPTER 13 The Central Limit Problem: The Noncentered Case ����������������������������������������271 13�1 Notation and Preliminary Discussion �����������������������������������������271 13�2 Limiting Laws of (S ) Under Conditions (C'') ������������������������274 n L 13�3 Two Special Cases of the Limiting Laws of (S ) ���������������������278 n L CHAPTER 14 Topics from Sequences of Independent Random Variables ����������������������������������������������289 14�1 Kolmogorov Inequalities ������������������������������������������������������������290 14�2 More Important Results Toward Proving the Strong Law of Large Numbers ���������������������������������������������������������������294