A First Course in Probability, 8th Edition

545 Pages·2009·3.046 MB·English

by  Sheldon Ross

A FIRST COURSE IN PROBABILITY
This page intentionally left blank
A FIRST COURSE IN PROBABILITY
Eighth Edition
Sheldon Ross
University of Southern California
UpperSaddleRiver,NewJersey07458
LibraryofCongressCataloging-in-PublicationData
Ross,SheldonM.
Afirstcourseinprobability/SheldonRoss.—8thed.
p.cm.
Includesbibliographicalreferencesandindex.
ISBN-13:978-0-13-603313-4
ISBN-10:0-13-603313-X
1.Probabilities—Textbooks. I.Title.
QA273.R832010
519.2—dc22
2008033720
EditorinChief,MathematicsandStatistics:DeirdreLynch
SeniorProjectEditor:RachelS.Reeve
AssistantEditor:ChristinaLepre
EditorialAssistant:DanaJones
ProjectManager:RobertS.Merenoff
AssociateManagingEditor:BayaniMendozadeLeon
SeniorManagingEditor:LindaMihatovBehrens
SeniorOperationsSupervisor:DianePeirano
MarketingAssistant:KathleenDeChavez
CreativeDirector:JayneConte
ArtDirector/Designer:BruceKenselaar
AVProjectManager:ThomasBenfatti
Compositor:IntegraSoftwareServicesPvt.Ltd,Pondicherry,India
CoverImageCredit:GettyImages,Inc.
©2010,2006,2002,1998,1994,1988,
1984,1976byPearsonEducation,Inc.,
PearsonPrenticeHall
PearsonEducation,Inc.
UpperSaddleRiver,NJ07458
Allrightsreserved.Nopartofthisbookmaybereproduced,inany
formorbyanymeans,withoutpermissioninwritingfromthepublisher.
PearsonPrenticeHall™isatrademarkofPearsonEducation,Inc.
PrintedintheUnitedStatesofAmerica
10 9 8 7 6 5 4 3 2 1
ISBN-13: 978-0-13-603313-4
ISBN-10: 0-13-603313-X
PearsonEducation,Ltd.,London
PearsonEducationAustraliaPTY.Limited,Sydney
PearsonEducationSingapore,Pte.Ltd
PearsonEducationNorthAsiaLtd,HongKong
PearsonEducationCanada,Ltd.,Toronto
PearsonEducacio´ndeMexico,S.A.deC.V.
PearsonEducation–Japan,Tokyo
PearsonEducationMalaysia,Pte.Ltd
PearsonEducationUpperSaddleRiver,NewJersey
For Rebecca
This page intentionally left blank
Contents
Preface xi
1 CombinatorialAnalysis 1
1.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1
1.2 TheBasicPrincipleofCounting . . . . . . . . . . . . . . . . . . . . . . 1
1.3 Permutations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3
1.4 Combinations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5
1.5 MultinomialCoefficients . . . . . . . . . . . . . . . . . . . . . . . . . . 9
1.6 TheNumberofIntegerSolutionsofEquations . . . . . . . . . . . . . 12
Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15
Problems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16
TheoreticalExercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18
Self-TestProblemsandExercises . . . . . . . . . . . . . . . . . . . . . 20
2 AxiomsofProbability 22
2.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22
2.2 SampleSpaceandEvents . . . . . . . . . . . . . . . . . . . . . . . . . . 22
2.3 AxiomsofProbability . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26
2.4 SomeSimplePropositions . . . . . . . . . . . . . . . . . . . . . . . . . 29
2.5 SampleSpacesHavingEquallyLikelyOutcomes . . . . . . . . . . . . 33
2.6 ProbabilityasaContinuousSetFunction . . . . . . . . . . . . . . . . . 44
2.7 ProbabilityasaMeasureofBelief . . . . . . . . . . . . . . . . . . . . . 48
Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49
Problems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 50
TheoreticalExercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . 54
Self-TestProblemsandExercises . . . . . . . . . . . . . . . . . . . . . 56
3 ConditionalProbabilityandIndependence 58
3.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 58
3.2 ConditionalProbabilities . . . . . . . . . . . . . . . . . . . . . . . . . . 58
3.3 Bayes’sFormula . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 65
3.4 IndependentEvents . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 79
3.5 P(·|F)IsaProbability . . . . . . . . . . . . . . . . . . . . . . . . . . . . 93
Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 101
Problems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 102
TheoreticalExercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . 110
Self-TestProblemsandExercises . . . . . . . . . . . . . . . . . . . . . 114
4 RandomVariables 117
4.1 RandomVariables. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 117
4.2 DiscreteRandomVariables . . . . . . . . . . . . . . . . . . . . . . . . 123
4.3 ExpectedValue . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 125
4.4 ExpectationofaFunctionofaRandomVariable . . . . . . . . . . . . 128
4.5 Variance . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 132
4.6 TheBernoulliandBinomialRandomVariables . . . . . . . . . . . . . 134
4.6.1 PropertiesofBinomialRandomVariables . . . . . . . . . . . . 139
4.6.2 ComputingtheBinomialDistributionFunction . . . . . . . . . 142
vii
viii Contents
4.7 ThePoissonRandomVariable . . . . . . . . . . . . . . . . . . . . . . . 143
4.7.1 ComputingthePoissonDistributionFunction . . . . . . . . . . 154
4.8 OtherDiscreteProbabilityDistributions . . . . . . . . . . . . . . . . . 155
4.8.1 TheGeometricRandomVariable . . . . . . . . . . . . . . . . . 155
4.8.2 TheNegativeBinomialRandomVariable . . . . . . . . . . . . 157
4.8.3 TheHypergeometricRandomVariable . . . . . . . . . . . . . 160
4.8.4 TheZeta(orZipf)Distribution . . . . . . . . . . . . . . . . . . 163
4.9 ExpectedValueofSumsofRandomVariables . . . . . . . . . . . . . 164
4.10 PropertiesoftheCumulativeDistributionFunction . . . . . . . . . . . 168
Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 170
Problems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 172
TheoreticalExercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . 179
Self-TestProblemsandExercises . . . . . . . . . . . . . . . . . . . . . 183
5 ContinuousRandomVariables 186
5.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 186
5.2 ExpectationandVarianceofContinuousRandomVariables . . . . . 190
5.3 TheUniformRandomVariable . . . . . . . . . . . . . . . . . . . . . . 194
5.4 NormalRandomVariables . . . . . . . . . . . . . . . . . . . . . . . . . 198
5.4.1 TheNormalApproximationtotheBinomialDistribution . . . 204
5.5 ExponentialRandomVariables . . . . . . . . . . . . . . . . . . . . . . 208
5.5.1 HazardRateFunctions . . . . . . . . . . . . . . . . . . . . . . . 212
5.6 OtherContinuousDistributions . . . . . . . . . . . . . . . . . . . . . . 215
5.6.1 TheGammaDistribution . . . . . . . . . . . . . . . . . . . . . 215
5.6.2 TheWeibullDistribution . . . . . . . . . . . . . . . . . . . . . 216
5.6.3 TheCauchyDistribution . . . . . . . . . . . . . . . . . . . . . . 217
5.6.4 TheBetaDistribution . . . . . . . . . . . . . . . . . . . . . . . 218
5.7 TheDistributionofaFunctionofaRandomVariable . . . . . . . . . 219
Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 222
Problems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 224
TheoreticalExercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . 227
Self-TestProblemsandExercises . . . . . . . . . . . . . . . . . . . . . 229
6 JointlyDistributedRandomVariables 232
6.1 JointDistributionFunctions . . . . . . . . . . . . . . . . . . . . . . . . 232
6.2 IndependentRandomVariables . . . . . . . . . . . . . . . . . . . . . . 240
6.3 SumsofIndependentRandomVariables . . . . . . . . . . . . . . . . . 252
6.3.1 IdenticallyDistributedUniformRandomVariables . . . . . . 252
6.3.2 GammaRandomVariables . . . . . . . . . . . . . . . . . . . . 254
6.3.3 NormalRandomVariables . . . . . . . . . . . . . . . . . . . . 256
6.3.4 PoissonandBinomialRandomVariables . . . . . . . . . . . . 259
6.3.5 GeometricRandomVariables . . . . . . . . . . . . . . . . . . . 260
6.4 ConditionalDistributions:DiscreteCase . . . . . . . . . . . . . . . . . 263
6.5 ConditionalDistributions:ContinuousCase . . . . . . . . . . . . . . . 266
6.6 OrderStatistics . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 270
6.7 JointProbabilityDistributionofFunctionsofRandomVariables . . . 274
6.8 ExchangeableRandomVariables . . . . . . . . . . . . . . . . . . . . . 282
Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 285
Problems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 287
TheoreticalExercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . 291
Self-TestProblemsandExercises . . . . . . . . . . . . . . . . . . . . . 293
Contents ix
7 PropertiesofExpectation 297
7.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 297
7.2 ExpectationofSumsofRandomVariables . . . . . . . . . . . . . . . . 298
7.2.1 ObtainingBoundsfromExpectations
viatheProbabilisticMethod . . . . . . . . . . . . . . . . . . . . 311
7.2.2 TheMaximum–MinimumsIdentity . . . . . . . . . . . . . . . . 313
7.3 MomentsoftheNumberofEventsthatOccur . . . . . . . . . . . . . . 315
7.4 Covariance,VarianceofSums,andCorrelations. . . . . . . . . . . . . 322
7.5 ConditionalExpectation . . . . . . . . . . . . . . . . . . . . . . . . . . 331
7.5.1 Definitions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 331
7.5.2 ComputingExpectationsbyConditioning . . . . . . . . . . . . 333
7.5.3 ComputingProbabilitiesbyConditioning . . . . . . . . . . . . 344
7.5.4 ConditionalVariance . . . . . . . . . . . . . . . . . . . . . . . . 347
7.6 ConditionalExpectationandPrediction . . . . . . . . . . . . . . . . . 349
7.7 MomentGeneratingFunctions. . . . . . . . . . . . . . . . . . . . . . . 354
7.7.1 JointMomentGeneratingFunctions . . . . . . . . . . . . . . . 363
7.8 AdditionalPropertiesofNormalRandomVariables . . . . . . . . . . 365
7.8.1 TheMultivariateNormalDistribution . . . . . . . . . . . . . . 365
7.8.2 TheJointDistributionoftheSampleMean
andSampleVariance . . . . . . . . . . . . . . . . . . . . . . . . 367
7.9 GeneralDefinitionofExpectation. . . . . . . . . . . . . . . . . . . . . 369
Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 370
Problems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 373
TheoreticalExercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . 380
Self-TestProblemsandExercises . . . . . . . . . . . . . . . . . . . . . 384
8 LimitTheorems 388
8.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 388
8.2 Chebyshev’sInequalityandtheWeakLawofLarge
Numbers . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 388
8.3 TheCentralLimitTheorem . . . . . . . . . . . . . . . . . . . . . . . . 391
8.4 TheStrongLawofLargeNumbers . . . . . . . . . . . . . . . . . . . . 400
8.5 OtherInequalities . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 403
8.6 BoundingtheErrorProbabilityWhenApproximatingaSumof
IndependentBernoulliRandomVariablesbyaPoisson
RandomVariable . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 410
Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 412
Problems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 412
TheoreticalExercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . 414
Self-TestProblemsandExercises . . . . . . . . . . . . . . . . . . . . . 415
9 AdditionalTopicsinProbability 417
9.1 ThePoissonProcess . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 417
9.2 MarkovChains. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 419
9.3 Surprise,Uncertainty,andEntropy . . . . . . . . . . . . . . . . . . . . 425
9.4 CodingTheoryandEntropy . . . . . . . . . . . . . . . . . . . . . . . . 428
Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 434
ProblemsandTheoreticalExercises . . . . . . . . . . . . . . . . . . . . 435
Self-TestProblemsandExercises . . . . . . . . . . . . . . . . . . . . . 436
References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 436