Algorithms and Programs of Dynamic Mixture Estimation : Unified Approach to Different Types of Components

116 Pages·2017·3.814 MB·English

by  Nagy, Ivan, Suzdaleva, Evgenia

SPRINGER BRIEFS IN STATISTICS
Ivan Nagy
Evgenia Suzdaleva
Algorithms and
Programs of
Dynamic Mixture
Estimation
Unified Approach
to Different Types of
Components
123
SpringerBriefs in Statistics
More information about this series at http://www.springer.com/series/8921
Ivan Nagy Evgenia Suzdaleva
(cid:129)
Algorithms and Programs
of Dynamic Mixture
Estimation
fi
Uni ed Approach to Different Types
of Components
123
IvanNagy Evgenia Suzdaleva
Department ofSignal Processing Department ofSignal Processing
Institute of Information Theory and Institute of Information Theory and
Automation of theCzech Academy of Automation of theCzech Academy of
SciencesandCzech Technical University Sciences
inPrague Prague
Prague Czech Republic
Czech Republic
ISSN 2191-544X ISSN 2191-5458 (electronic)
SpringerBriefs inStatistics
ISBN978-3-319-64670-1 ISBN978-3-319-64671-8 (eBook)
DOI 10.1007/978-3-319-64671-8
LibraryofCongressControlNumber:2017947851
©TheAuthor(s)2017
Thisworkissubjecttocopyright.AllrightsarereservedbythePublisher,whetherthewholeorpart
of the material is concerned, specifically the rights of translation, reprinting, reuse of illustrations,
recitation, broadcasting, reproduction on microfilms or in any other physical way, and transmission
orinformationstorageandretrieval,electronicadaptation,computersoftware,orbysimilarordissimilar
methodologynowknownorhereafterdeveloped.
The use of general descriptive names, registered names, trademarks, service marks, etc. in this
publicationdoesnotimply,evenintheabsenceofaspecificstatement,thatsuchnamesareexemptfrom
therelevantprotectivelawsandregulationsandthereforefreeforgeneraluse.
The publisher, the authors and the editors are safe to assume that the advice and information in this
book are believed to be true and accurate at the date of publication. Neither the publisher nor the
authorsortheeditorsgiveawarranty,expressorimplied,withrespecttothematerialcontainedhereinor
for any errors or omissions that may have been made. The publisher remains neutral with regard to
jurisdictionalclaimsinpublishedmapsandinstitutionalaffiliations.
Printedonacid-freepaper
ThisSpringerimprintispublishedbySpringerNature
TheregisteredcompanyisSpringerInternationalPublishingAG
Theregisteredcompanyaddressis:Gewerbestrasse11,6330Cham,Switzerland
Acknowledgements
This research was supported by the project GAČR GA15-03564S.
v
Contents
1 Introduction.... .... .... ..... .... .... .... .... .... ..... .... 1
1.1 On Dynamic Mixtures ..... .... .... .... .... .... ..... .... 1
1.2 General Conventions . ..... .... .... .... .... .... ..... .... 5
2 Basic Models ... .... .... ..... .... .... .... .... .... ..... .... 9
2.1 Regression Model.... ..... .... .... .... .... .... ..... .... 9
2.1.1 Estimation.... ..... .... .... .... .... .... ..... .... 10
2.1.2 Point Estimates..... .... .... .... .... .... ..... .... 11
2.1.3 Prediction .... ..... .... .... .... .... .... ..... .... 12
2.2 Categorical Model ... ..... .... .... .... .... .... ..... .... 12
2.2.1 Estimation.... ..... .... .... .... .... .... ..... .... 14
2.2.2 Point Estimates..... .... .... .... .... .... ..... .... 14
2.2.3 Prediction .... ..... .... .... .... .... .... ..... .... 15
2.3 State-Space Model ... ..... .... .... .... .... .... ..... .... 15
2.3.1 State Estimation .... .... .... .... .... .... ..... .... 16
3 Statistical Analysis of Dynamic Mixtures.. .... .... .... ..... .... 19
3.1 Dynamic Mixture.... ..... .... .... .... .... .... ..... .... 19
3.2 Unified Approach to Mixture Estimation ... .... .... ..... .... 20
3.2.1 The Component Part. .... .... .... .... .... ..... .... 20
3.2.2 The Pointer Part .... .... .... .... .... .... ..... .... 21
3.2.3 Main Subtasks of Mixture Estimation.... .... ..... .... 22
3.2.4 General Algorithm .. .... .... .... .... .... ..... .... 24
3.3 Mixture Prediction ... ..... .... .... .... .... .... ..... .... 24
3.3.1 Pointer Prediction ... .... .... .... .... .... ..... .... 25
3.3.2 Data Prediction..... .... .... .... .... .... ..... .... 27
4 Dynamic Mixture Estimation... .... .... .... .... .... ..... .... 29
4.1 Normal Regression Components.. .... .... .... .... ..... .... 29
4.1.1 Algorithm .... ..... .... .... .... .... .... ..... .... 30
4.1.2 Simple Program .... .... .... .... .... .... ..... .... 31
4.1.3 Comments.... ..... .... .... .... .... .... ..... .... 33
vii
viii Contents
4.2 Categorical Components.... .... .... .... .... .... ..... .... 34
4.2.1 Algorithm .... ..... .... .... .... .... .... ..... .... 35
4.2.2 Simple Program .... .... .... .... .... .... ..... .... 36
4.2.3 Comments.... ..... .... .... .... .... .... ..... .... 38
4.3 State-Space Components.... .... .... .... .... .... ..... .... 39
4.3.1 Algorithm .... ..... .... .... .... .... .... ..... .... 40
4.3.2 Simple Program .... .... .... .... .... .... ..... .... 41
4.3.3 Comments.... ..... .... .... .... .... .... ..... .... 42
5 Program Codes . .... .... ..... .... .... .... .... .... ..... .... 45
5.1 Main Program... .... ..... .... .... .... .... .... ..... .... 45
5.1.1 Comments.... ..... .... .... .... .... .... ..... .... 47
5.2 Subroutines. .... .... ..... .... .... .... .... .... ..... .... 49
5.2.1 Initialization of Estimation .... .... .... .... ..... .... 49
5.2.2 Computation of Proximities.... .... .... .... ..... .... 51
5.2.3 Update of Component Statistics .... .... .... ..... .... 53
5.3 Collection of Programs..... .... .... .... .... .... ..... .... 55
6 Experiments.... .... .... ..... .... .... .... .... .... ..... .... 57
6.1 Mixture with Regression Components . .... .... .... ..... .... 58
6.1.1 Well-Separated Components... .... .... .... ..... .... 60
6.1.2 Weak Components .. .... .... .... .... .... ..... .... 64
6.1.3 Reduced Number of Components... .... .... ..... .... 66
6.1.4 High-Dimensional Output. .... .... .... .... ..... .... 66
6.1.5 Big Noise .... ..... .... .... .... .... .... ..... .... 68
6.2 Mixture with Categorical Components. .... .... .... ..... .... 70
6.3 Mixture with State-Space Components. .... .... .... ..... .... 71
6.4 Case Studies.... .... ..... .... .... .... .... .... ..... .... 75
6.4.1 Static Normal Components.... .... .... .... ..... .... 76
6.4.2 Dynamic Normal Components . .... .... .... ..... .... 81
7 Appendix A (Supporting Notions) ... .... .... .... .... ..... .... 85
7.1 Useful Matrix Formulas .... .... .... .... .... .... ..... .... 85
7.2 Matrix Trace.... .... ..... .... .... .... .... .... ..... .... 85
7.3 Dirac and Kronecker Functions .. .... .... .... .... ..... .... 86
7.4 Gamma and Beta Functions . .... .... .... .... .... ..... .... 87
7.5 The Bayes Rule . .... ..... .... .... .... .... .... ..... .... 89
7.6 The Chain Rule . .... ..... .... .... .... .... .... ..... .... 90
7.7 The Natural Conditions of Control.... .... .... .... ..... .... 90
7.8 Conjugate Dirichlet Distribution.. .... .... .... .... ..... .... 90
7.8.1 The Normalization Constant of Dirichlet Distribution. .... 91
7.8.2 Statistics Update with the Conjugate Dirichlet
Distribution... ..... .... .... .... .... .... ..... .... 92
7.8.3 The Parameter Point Estimate
of the Categorical Model.. .... .... .... .... ..... .... 92
7.8.4 Data Prediction with Dirichlet Distribution.... ..... .... 93
Contents ix
7.9 Conjugate Gauss-Inverse-Wishart Distribution ... .... ..... .... 94
7.9.1 Statistics Update for the Normal Regression Model .. .... 94
7.9.2 The Parameter Point Estimate of the Regression Model ... 95
7.9.3 The Proximity Evaluation. .... .... .... .... ..... .... 96
8 Appendix B (Supporting Programs).. .... .... .... .... ..... .... 99
8.1 Simulation Programs.. ..... .... .... .... .... .... ..... .... 99
8.1.1 The Simulation of Pointer Values... .... .... ..... .... 99
8.1.2 The Simulation of Mixture
with Regression Components .. .... .... .... ..... .... 100
8.1.3 The Simulation of Mixture with Discrete Components.... 102
8.1.4 The Simulation of Mixture
with State-Space Components.. .... .... .... ..... .... 103
8.2 Supporting Subroutines..... .... .... .... .... .... ..... .... 105
8.2.1 Scilab Start Settings . .... .... .... .... .... ..... .... 105
8.2.2 The Point Estimation of a Normal Regression Model. .... 105
8.2.3 The Value of a Normal Multivariate Distribution .... .... 106
8.2.4 Discrete Regression Vector Coding.. .... .... ..... .... 106
8.2.5 Kalman Filter . ..... .... .... .... .... .... ..... .... 108
8.2.6 Matrix Upper–Lower Factorization.. .... .... ..... .... 109
8.2.7 Transition Table Normalization. .... .... .... ..... .... 109
8.2.8 The Approximation of Normal Pdfs by a Single Pdf . .... 110
References.... .... .... .... ..... .... .... .... .... .... ..... .... 111
Chapter 1
Introduction
1.1 OnDynamicMixtures
Mixture models are known to have the ability to describe a rather wide class of
realsystems.Theyhavethepropertyofuniversalapproximationwhichtheoretically
meansthatwithasufficientlylargenumberofcomponents,theyareabletomodel
an arbitrary system showing signs of a multimodal, nonlinear behavior, see, e.g.,
[1].Theareaoftheirapplicationisreallygreat(industry,engineering,socialfields,
medicine, transportation, etc.) [2–7], and there is no particular need to introduce
themindetail.However,itshouldbehighlightedwhichpropertiesofmixturesare
thesubjectofinterestinthepresentedbook.
Any mixture model is composed of two parts—components and a switching
model. Components describe different modes of behavior of the modeled system.
Switchingthecomponentsismodeledasadiscreterandomvariabledescribedbythe
categoricaldistribution.Thisvariableiscalledthepointer,valuesofwhichrepresent
labelsofindividualcomponents(usingtheterminologyfrom[8, 31]adoptedinthis
book).Ateachtimeinstantthepointerindicatesthecurrentlyactivecomponent.
Asitisseenfromthetitle,thebookfocusesondynamicmixtures.Bydynamic
mixtureswemeanmainlyamixturewiththedynamicswitchingmodel.Itmeansthat
switchingdependsonthevalueofthelastactivecomponent.Thecomponentscan
beeitherstatic(i.e.,withoutdelayedvaluesofthemodeledvariableinthecondition)
ordynamic.
The dynamic switching of components may not always exist. Let us say, for
example,thatasubjectofmodelingistheseverityoftrafficaccidentswiththeval-
ues:“fatal”,“severeinjury”,“lightinjury”and“propertydamage”.Inthiscase,the
severitycanbeusedasthepointervariable,whichhasfourpossiblevalues.Com-
ponentscoulddescribevariousdataaccompanyingtheaccident—“speed”,“weather
conditions”,“visibilityontheroad”,“roadslipperiness”,etc.Noticethatthedynamic
model is not suitable here, since there is no dependence in switching the accident
severity.
©TheAuthor(s)2017 1
I.NagyandE.Suzdaleva,AlgorithmsandProgramsofDynamic
MixtureEstimation,SpringerBriefsinStatistics,DOI10.1007/978-3-319-64671-8_1