Model-Based Data Analysis Parameter Inference and Model Testing

209 Pages·2016·4.39 MB·English

Model-Based Data Analysis
Parameter Inference and Model Testing
Allen Caldwell
January 25, 2016
2
Acknowledgement
3
4
Preface
5
6
Contents
1 IntroductiontoProbabilisticReasoning 11
1.1 WhatisProbability? . . . . . . . . . . . . . . . . . . . . . . . . 12
1.1.1 MathematicalDefinitionofProbability . . . . . . . . . . 13
1.2 ScientificKnowledge . . . . . . . . . . . . . . . . . . . . . . . . 15
1.2.1 UpdatingScheme . . . . . . . . . . . . . . . . . . . . . . 16
1.2.2 SchoolsofDataAnalysis . . . . . . . . . . . . . . . . . . 18
1.2.3 Whichprobability? . . . . . . . . . . . . . . . . . . . . . 19
1.3 Warm-upExcercizes . . . . . . . . . . . . . . . . . . . . . . . . 20
1.3.1 ApparatusandEventType . . . . . . . . . . . . . . . . . 20
1.3.2 EfficiencyofAparratus . . . . . . . . . . . . . . . . . . . 21
1.3.3 ExercizeinBayesianLogic . . . . . . . . . . . . . . . . 22
2 BinomialandMultinomialDistribution 25
2.1 BinomialDistribution . . . . . . . . . . . . . . . . . . . . . . . . 25
2.1.1 SomePropertiesoftheBinomialDistribution . . . . . . . 26
2.1.2 Example . . . . . . . . . . . . . . . . . . . . . . . . . . 27
2.1.3 CentralInterval . . . . . . . . . . . . . . . . . . . . . . . 27
2.1.4 SmallestInterval . . . . . . . . . . . . . . . . . . . . . . 28
2.2 NeymanConfidenceLevelConstruction . . . . . . . . . . . . . . 29
2.2.1 Example . . . . . . . . . . . . . . . . . . . . . . . . . . 31
2.3 Likelihood . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31
2.4 LimitoftheBinomialDistribution . . . . . . . . . . . . . . . . . 32
2.4.1 LikelihoodfunctionforaBinomialModel . . . . . . . . . 32
2.4.2 GaussianApproximationfortheBinomialProbability . . 33
2.5 ExtractingKnowledgeusingBayesEquation . . . . . . . . . . . 36
2.5.1 FlatPior . . . . . . . . . . . . . . . . . . . . . . . . . . . 36
2.5.2 DefiningProbableRanges . . . . . . . . . . . . . . . . . 38
2.5.3 NonflatPrior . . . . . . . . . . . . . . . . . . . . . . . . 42
7
8 CONTENTS
2.5.4 ADetailedExample . . . . . . . . . . . . . . . . . . . . 43
2.6 MultinomialDistribution . . . . . . . . . . . . . . . . . . . . . . 49
2.6.1 BayesianDataAnalysis . . . . . . . . . . . . . . . . . . 49
2.6.2 Likelihood . . . . . . . . . . . . . . . . . . . . . . . . . 50
2.6.3 AddingthePrior . . . . . . . . . . . . . . . . . . . . . . 51
3 PoissonDistribution 57
3.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 57
3.2 Derivation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 57
3.2.1 LimitoftheBinomialDistribution . . . . . . . . . . . . . 58
3.2.2 ConstantRateProcess&FixedObservationTime . . . . . 59
3.3 ThePoissonDistribution . . . . . . . . . . . . . . . . . . . . . . 60
3.3.1 Properties . . . . . . . . . . . . . . . . . . . . . . . . . . 60
3.3.2 ExamplesandGraphicalDisplay . . . . . . . . . . . . . . 61
3.4 BayesianAnalysis . . . . . . . . . . . . . . . . . . . . . . . . . . 65
3.4.1 DiscussionandExamples: FlatPriorResults . . . . . . . 66
3.4.2 Non-flatPriors . . . . . . . . . . . . . . . . . . . . . . . 69
3.5 SuperpostionoftwoPoissonProcesses . . . . . . . . . . . . . . . 72
3.5.1 LikelihoodforMultiplePoissonProcesses . . . . . . . . . 73
3.6 Feldman-CousinsIntervals . . . . . . . . . . . . . . . . . . . . . 75
3.7 BayesianAnalysisofPoissonProcesswithBackground . . . . . . 78
3.7.1 ComparisonoftheBayesianandFeldman-CousinsIntervals 78
3.8 UncertainBackground . . . . . . . . . . . . . . . . . . . . . . . 82
3.8.1 FrequentistAnalysis . . . . . . . . . . . . . . . . . . . . 82
3.8.2 BayesianAnalysis . . . . . . . . . . . . . . . . . . . . . 82
3.9 BayesianAnalysisoftheOn/OffProblem . . . . . . . . . . . . . 83
3.9.1 SourcediscoverywithOn/Offdata . . . . . . . . . . . . . 87
3.9.2 On/offwithfactorizedJeffreyspriors . . . . . . . . . . . 88
4 GaussianProbabilityDistributionFunction 97
4.1 TheGaussDistributionastheLimitoftheBinomialDistribution . 98
4.2 TheGaussDistributionastheLimitofthePoissonDistribution . . 98
4.3 Gauss’derivationoftheGaussdistribution . . . . . . . . . . . . . 99
4.4 SomepropertiesoftheGaussdistribution . . . . . . . . . . . . . 101
4.5 CharacteristicFunction . . . . . . . . . . . . . . . . . . . . . . . 103
4.5.1 Sumofindependentvariables . . . . . . . . . . . . . . . 104
4.5.2 CharacteristicFunctionofaGaussian . . . . . . . . . . . 106
4.5.3 SumofGaussdistributedvariables . . . . . . . . . . . . . 106
CONTENTS 9
4.5.4 GraphicalExample . . . . . . . . . . . . . . . . . . . . . 107
4.5.5 AddinguncertaintiesinQuadrature . . . . . . . . . . . . 108
4.6 AddingCorrelatedVariables . . . . . . . . . . . . . . . . . . . . 110
4.6.1 CorrelationCoefficient-examples . . . . . . . . . . . . . 110
4.6.2 SumofCorrelatedGaussDistributedVariables . . . . . . 111
4.7 CentralLimitTheorem . . . . . . . . . . . . . . . . . . . . . . . 112
4.7.1 ExampleofCentralLimitTheorem . . . . . . . . . . . . 114
4.8 CentralLimitTheoremforPoissonDistribution . . . . . . . . . . 115
4.9 Practical use of the Gauss function for a Poisson or Binomial
probability . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 118
4.10 FrequentistAnalysiswithGaussdistributeddata . . . . . . . . . . 120
4.10.1 Neymanconfidencelevelintervals . . . . . . . . . . . . . 120
4.10.2 Feldman-Cousinsconfidencelevelintervals . . . . . . . . 122
4.11 BayesiananalysisofGaussdistributeddata . . . . . . . . . . . . 125
4.11.1 Example . . . . . . . . . . . . . . . . . . . . . . . . . . 129
4.12 Ontheimportanceoftheprior . . . . . . . . . . . . . . . . . . . 131
5 ModelFittingandModelselection 139
5.1 BinomialData . . . . . . . . . . . . . . . . . . . . . . . . . . . . 140
5.1.1 BayesianAnalysis . . . . . . . . . . . . . . . . . . . . . 140
5.1.2 Example . . . . . . . . . . . . . . . . . . . . . . . . . . 140
5.2 FrequentistAnalysis . . . . . . . . . . . . . . . . . . . . . . . . 146
5.2.1 Test-statistics . . . . . . . . . . . . . . . . . . . . . . . . 146
5.2.2 Example . . . . . . . . . . . . . . . . . . . . . . . . . . 147
5.3 Goodness-of-fittesting . . . . . . . . . . . . . . . . . . . . . . . 149
5.3.1 BayesAnalysis-poormodel . . . . . . . . . . . . . . . . 151
5.3.2 FrequentistAnalysis-poormodel . . . . . . . . . . . . . 152
5.4 p-values . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 153
5.4.1 Definitionofp-values . . . . . . . . . . . . . . . . . . . . 154
5.4.2 Probabilitydensityforp . . . . . . . . . . . . . . . . . . 154
5.4.3 Bayesianargumentforp-values . . . . . . . . . . . . . . 156
5.5 Theχ2 teststatistic . . . . . . . . . . . . . . . . . . . . . . . . . 157
5.5.1 χ2 forGaussdistributeddata . . . . . . . . . . . . . . . . 158
5.5.2 Alternatederivation . . . . . . . . . . . . . . . . . . . . . 160
5.5.3 Useoftheχ2 distribution . . . . . . . . . . . . . . . . . . 160
5.5.4 General case for linear dependence on parameters and
fixedGaussianuncertainties . . . . . . . . . . . . . . . . 164
5.5.5 Parameteruncertaintiesforthelinearmodel . . . . . . . . 168
10 CONTENTS
5.5.6 χ2 distributionafterfittingparameters . . . . . . . . . . . 169
5.5.7 χ2 forPoissondistributeddata . . . . . . . . . . . . . . . 171
5.5.8 Generalχ2 AnalysisforGaussdistributeddata . . . . . . 172
5.5.9 χ2 forBayesianandFrequentistAnalysis . . . . . . . . . 173
5.6 MaximumLikelihoodanalysis . . . . . . . . . . . . . . . . . . . 174
5.6.1 Parameteruncertaintiesinlikelihoodanalysis . . . . . . . 175
5.6.2 Likelihoodratioasteststatistic . . . . . . . . . . . . . . . 178
5.6.3 LikelihoodratioforPoissondistributeddata . . . . . . . . 181
5.7 ModelSelection . . . . . . . . . . . . . . . . . . . . . . . . . . . 183
5.7.1 Fisher’ssignificancetesting . . . . . . . . . . . . . . . . 184
5.7.2 Neyman-Pearsonhypothesistesting . . . . . . . . . . . . 184
5.7.3 Bayesianposteriorprobabilitytest . . . . . . . . . . . . . 185
5.8 Testofp-valuedefinitions,fromBeaujeanetal. . . . . . . . . . . 185
5.8.1 DatawithGaussianuncertainties . . . . . . . . . . . . . . 186
5.8.2 ExamplewithPoissonuncertainties . . . . . . . . . . . . 188
5.8.3 ExponentialDecay . . . . . . . . . . . . . . . . . . . . . 194