Applied Modeling Techniques and Data Analysis 1: Computational Data Analysis Methods and Tools

283 Pages·2021·11.147 MB·English

by  Yiannis Dimotikalis, Alex Karagrigoriou, Christina Parpoula, Christos H. Skiadas

Applied Modeling Techniques and Data Analysis 1
Big Data, Artificial Intelligence and Data Analysis Set
coordinated by
Jacques Janssen
Volume 7
Applied Modeling Techniques
and Data Analysis 1

Computational Data Analysis
Methods and Tools

Yannis Dimotikalis
Alex Karagrigoriou
Christina Parpoula
Christos H Skiadas
First published 2021 in Great Britain and the United States by ISTE Ltd and John Wiley & Sons, Inc.
Apart from any fair dealing for the purposes of research or private study, or criticism or review, as
permitted under the Copyright, Designs and Patents Act 1988, this publication may only be reproduced,
stored or transmitted, in any form or by any means, with the prior permission in writing of the publishers,
or in the case of reprographic reproduction in accordance with the terms and licenses issued by the
CLA. Enquiries concerning reproduction outside these terms should be sent to the publishers at the
undermentioned address:
ISTE Ltd John Wiley & Sons, Inc.
27-37 St George’s Road 111 River Street
London SW19 4EU Hoboken, NJ 07030
UK USA
www.iste.co.uk www.wiley.com

© ISTE Ltd 2021
The rights of Yannis Dimotikalis, Alex Karagrigoriou, Christina Parpoula and Christos H Skiadas to
be identified as the authors of this work have been asserted by them in accordance with the Copyright,
Designs and Patents Act 1988.
Library of Congress Control Number: 2020951002

British Library Cataloguing-in-Publication Data
A CIP record for this book is available from the British Library
ISBN 978-1-78630-673-9
Contents
Preface . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . xi
YannisDIMOTIKALIS,AlexKARAGRIGORIOU,ChristinaPARPOULA
andChristosH.SKIADAS
Part1.ComputationalDataAnalysis . . . . . . . . . . . . . . . . . . . . 1
Chapter1.AVariantofUpdatingPageRankinEvolving
TreeGraphs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3
BenardABOLA,PitosSelekaBIGANDA,ChristopherENGSTRÖM,
JohnMageroMANGO,GodwinKAKUBAandSergeiSILVESTROV
1.1.Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3
1.2.Notationsanddefinitions . . . . . . . . . . . . . . . . . . . . . . . . . . 5
1.3.Updatingthetransitionmatrix . . . . . . . . . . . . . . . . . . . . . . . 5
1.4.UpdatingthePageRankofatreegraph . . . . . . . . . . . . . . . . . . 10
1.4.1.UpdatingthePageRankoftreegraphwhenabatch
ofedgeschanges . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12
1.4.2.AnexampleofupdatingthePageRankofatree . . . . . . . . . . . 15
1.5.Maintainingthelevelsofverticesinachangingtreegraph . . . . . . . 17
1.6.Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21
1.7.Acknowledgments . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21
1.8.References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21
Chapter2.NonlinearlyPerturbedMarkovChainsand
InformationNetworks . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23
BenardABOLA,PitosSelekaBIGANDA,SergeiSILVESTROV,
DmitriiSILVESTROV,ChristopherENGSTRÖM,JohnMageroMANGO
andGodwinKAKUBA
2.1.Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23
2.2.StationarydistributionsforMarkovchainswithdampingcomponent. . 26
vi AppliedModelingTechniquesandDataAnalysis1
2.2.1.StationarydistributionsforMarkovchainswithdamping
component. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26
2.2.2.ThestationarydistributionoftheMarkovchainX . . . . . . . . 28
0,n
2.3.AperturbationanalysisforstationarydistributionsofMarkovchains
withdampingcomponent . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29
2.3.1.Continuitypropertyforstationaryprobabilities . . . . . . . . . . . 29
2.3.2.Rateofconvergenceforstationarydistributions . . . . . . . . . . . 29
2.3.3.Asymptoticexpansionsforstationarydistributions . . . . . . . . . 30
2.3.4.Resultsofnumericalexperiments . . . . . . . . . . . . . . . . . . . 32
2.4.CouplingandergodictheoremsforperturbedMarkovchains
withdampingcomponent . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39
2.4.1.CouplingforregularlyperturbedMarkovchains
withdampingcomponent . . . . . . . . . . . . . . . . . . . . . . . . . . . 39
2.4.2.CouplingforsingularlyperturbedMarkovchains
withdampingcomponent . . . . . . . . . . . . . . . . . . . . . . . . . . . 41
2.4.3.ErgodictheoremsforperturbedMarkovchainswithdamping
componentinthetriangulararraymode . . . . . . . . . . . . . . . . . . . 42
2.4.4.Numericalexamples. . . . . . . . . . . . . . . . . . . . . . . . . . . 43
2.5.Acknowledgments . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51
2.6.References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51
Chapter3.PageRankandPerturbedMarkovChains . . . . . . . . . . 57
PitosSelekaBIGANDA,BenardABOLA,ChristopherENGSTRÖM,
SergeiSILVESTROV,GodwinKAKUBAandJohnMageroMANGO
3.1.Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 57
3.2.PageRankofthefirst-orderperturbedMarkovchain . . . . . . . . . . . 59
3.3.PageRankofthesecond-orderperturbedMarkovchain . . . . . . . . . 60
3.4.RatesofconvergenceofPageRanksoffirst-andsecond-order
perturbedMarkovchains. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 70
3.5.Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 72
3.6.Acknowledgments . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 72
3.7.References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 72
Chapter4.DoublyRobustData-drivenDistributionally
RobustOptimization . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 75
JoseBLANCHET,YangKANG,FanZHANG,FeiHEandZhangyiHU
4.1.Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 75
4.2.DD-DRO,optimaltransportandsupervisedmachinelearning . . . . . 79
4.2.1.Optimaltransportdistancesanddiscrepancies . . . . . . . . . . . . 80
4.3.Data-drivenselectionofoptimaltransportcostfunction. . . . . . . . . 81
4.3.1.Data-drivencostfunctionsviametriclearningprocedures . . . . . 81
4.4.Robustoptimizationformetriclearning . . . . . . . . . . . . . . . . . . 83
Contents vii
4.4.1.Robustoptimizationforrelativemetriclearning . . . . . . . . . . . 83
4.4.2.Robustoptimizationforabsolutemetriclearning . . . . . . . . . . 86
4.5.Numericalexperiments . . . . . . . . . . . . . . . . . . . . . . . . . . . 88
4.6.Discussionandconclusion . . . . . . . . . . . . . . . . . . . . . . . . . 89
4.7.References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 89
Chapter5.AComparisonofGraphCentralityMeasures
BasedonLazyRandomWalks . . . . . . . . . . . . . . . . . . . . . . . . 91
CollinsANGUZU,ChristopherENGSTRÖMandSergeiSILVESTROV
5.1.Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 91
5.1.1.Notationsandabbreviations . . . . . . . . . . . . . . . . . . . . . . 93
5.1.2.LinearsystemsandtheNeumannseries. . . . . . . . . . . . . . . . 94
5.2.Reviewonsomecentralitymeasures . . . . . . . . . . . . . . . . . . . 95
5.2.1.Degreecentrality. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 95
5.2.2.Katzstatusandβ-centralities. . . . . . . . . . . . . . . . . . . . . . 95
5.2.3.Eigenvectorandcumulativenominationcentralities . . . . . . . . . 96
5.2.4.Alphacentrality . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 97
5.2.5.PageRankcentrality . . . . . . . . . . . . . . . . . . . . . . . . . . . 98
5.2.6.Summaryofthecentralitymeasuresassteadystate,
shiftedandpowerseries . . . . . . . . . . . . . . . . . . . . . . . . . . . . 99
5.3.Generalizationsofcentralitymeasures . . . . . . . . . . . . . . . . . . 99
5.3.1.Priorstocentralitymeasures . . . . . . . . . . . . . . . . . . . . . . 99
5.3.2.Lazyvariantsofcentralitymeasures. . . . . . . . . . . . . . . . . . 100
5.3.3.Lazyα-centrality . . . . . . . . . . . . . . . . . . . . . . . . . . . . 100
5.3.4.LazyKatzcentrality . . . . . . . . . . . . . . . . . . . . . . . . . . . 102
5.3.5.Lazycumulativenominationcentrality . . . . . . . . . . . . . . . . 103
5.4.Experimentalresults . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 104
5.5.Discussion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 106
5.6.Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 109
5.7.Acknowledgments . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 109
5.8.References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 110
Chapter6.ErrorDetectioninSequentialLaserSensorInput . . . . 113
GwenaelGATTOandOlympiaHADJILIADIS
6.1.Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 113
6.2.Datadescription . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 114
6.3.Algorithms . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 116
6.3.1.Algorithmforconsecutivechangesinmean . . . . . . . . . . . . . 118
6.3.2.Algorithmforburstdetection. . . . . . . . . . . . . . . . . . . . . . 120
6.4.Results . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 125
6.5.Acknowledgments . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 127
6.6.References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 127
viii AppliedModelingTechniquesandDataAnalysis1
Chapter7.DiagnosticsandVisualizationofPointProcessModels
forEventTimesonaSocialNetwork . . . . . . . . . . . . . . . . . . . . 129
JingWU,AnnaL.SMITHandTianZHENG
7.1.Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 129
7.2.Background . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 131
7.2.1.Univariatepointprocesses . . . . . . . . . . . . . . . . . . . . . . . 131
7.2.2.Networkpointprocesses . . . . . . . . . . . . . . . . . . . . . . . . 132
7.3.Modelcheckingfortimeheterogeneity . . . . . . . . . . . . . . . . . . 134
7.3.1.Timerescalingtheorem . . . . . . . . . . . . . . . . . . . . . . . . . 134
7.3.2.Residualprocess . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 136
7.4.Modelcheckingfornetworkheterogeneityandstructure . . . . . . . . 138
7.4.1.Kolmogorov–Smirnovtest . . . . . . . . . . . . . . . . . . . . . . . 138
7.4.2.StructurescorebasedonthePearsonresidualmatrix . . . . . . . . 141
7.5.Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 143
7.6.Acknowledgments . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 144
7.7.References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 144
Part2.DataAnalysisMethodsandTools . . . . . . . . . . . . . . . . . . 147
Chapter8.ExploringtheDistributionofConditionalQuantile
Estimates:AnApplicationtoSpecificCostsofPigProductionin
theEuropeanUnion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 149
DominiqueDESBOIS
8.1.Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 150
8.2.Conceptualframeworkandmethodologicalaspects . . . . . . . . . . . 150
8.2.1.Theempiricalmodelforestimatingthespecific
productioncosts. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 151
8.2.2.Theproceduresforestimatingandtestingconditionalquantiles . . 152
8.2.3.SymbolicPCAofthespecificcostdistributions . . . . . . . . . . . 154
8.2.4.Symbolicclusteringanalysisofthespecificcostdistributions . . . 162
8.3.Results . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 165
8.3.1.TheSO-PCAofspecificcostestimates . . . . . . . . . . . . . . . . 167
8.3.2.Thedivisivehierarchyofspecificcostestimates . . . . . . . . . . . 170
8.4.Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 171
8.5.References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 172
Chapter9.MaximizationProblemSubjecttoConstraintof
AvailabilityinSemi-MarkovModelofOperation . . . . . . . . . . . . . 175
FranciszekGRABSKI
9.1.Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 175
9.2.Semi-Markovdecisionprocess . . . . . . . . . . . . . . . . . . . . . . . 176
9.3.Semi-Markovdecisionmodelofoperation . . . . . . . . . . . . . . . . 177
Contents ix
9.3.1.Descriptionandassumptions . . . . . . . . . . . . . . . . . . . . . . 177
9.3.2.Modelconstruction . . . . . . . . . . . . . . . . . . . . . . . . . . . 177
9.4.Optimizationproblem . . . . . . . . . . . . . . . . . . . . . . . . . . . . 178
9.4.1.Linearprogrammingmethod . . . . . . . . . . . . . . . . . . . . . . 179
9.5.Numericalexample . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 182
9.6.Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 184
9.7.References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 185
Chapter10.TheImpactofMulticollinearityonBigData
MultivariateAnalysisModeling . . . . . . . . . . . . . . . . . . . . . . . . 187
KimonNTOTSISandAlexKARAGRIGORIOU
10.1.Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 187
10.2.Multicollinearity . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 188
10.3.Dimensionreductiontechniques . . . . . . . . . . . . . . . . . . . . . 191
10.3.1.Bealeetal. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 192
10.3.2.Principalcomponentanalysis . . . . . . . . . . . . . . . . . . . . . 192
10.4.Application . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 194
10.4.1.ThemodelingofPPE . . . . . . . . . . . . . . . . . . . . . . . . . 194
10.4.2.Concludingremarks . . . . . . . . . . . . . . . . . . . . . . . . . . 200
10.5.Acknowledgments . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 200
10.6.References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 200
Chapter11.WeakSignalsinHigh-DimensionalPoisson
RegressionModels . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 203
OrawanREANGSEPHET,SupraneeLISAWADIandSyedEjazAHMED
11.1.Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 203
11.2.Statisticalbackground . . . . . . . . . . . . . . . . . . . . . . . . . . . 204
11.3.Methodologies . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 205
11.3.1.Predictorscreeningmethods . . . . . . . . . . . . . . . . . . . . . 205
11.3.2.Post-screeningparameterestimationmethods. . . . . . . . . . . . 206
11.4.Numericalstudies . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 208
11.4.1.Simulationsettingsandperformancecriteria . . . . . . . . . . . . 208
11.4.2.Results . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 209
11.5.Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 217
11.6.Acknowledgments . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 218
11.7.References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 218
Chapter12.GroundwaterLevelForecastingforWaterResource
Management . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 221
AndreaZIRULIA,AlessioBARBAGLIandEnricoGUASTALDI
12.1.Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 221
12.2.Materialsandmethods . . . . . . . . . . . . . . . . . . . . . . . . . . . 222
x AppliedModelingTechniquesandDataAnalysis1
12.2.1.Studyarea. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 222
12.2.2.Forecastmethod . . . . . . . . . . . . . . . . . . . . . . . . . . . . 222
12.3.Results. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 224
12.4.Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 230
12.5.References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 230
Chapter13.PhaseINon-parametricControlChartsforIndividual
Observations:ASelectiveReviewandSomeResults . . . . . . . . . 233
ChristinaPARPOULA
13.1.Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 234
13.1.1.Background . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 234
13.1.2.Univariatenon-parametricprocessmonitoring . . . . . . . . . . . 235
13.2.Problemformulation . . . . . . . . . . . . . . . . . . . . . . . . . . . . 237
13.3.Acomparativestudy . . . . . . . . . . . . . . . . . . . . . . . . . . . . 239
13.3.1.Theexistingmethodologies . . . . . . . . . . . . . . . . . . . . . . 239
13.3.2.Simulationsettings . . . . . . . . . . . . . . . . . . . . . . . . . . . 240
13.3.3.Simulation-studyresults . . . . . . . . . . . . . . . . . . . . . . . . 242
13.4.Concludingremarks . . . . . . . . . . . . . . . . . . . . . . . . . . . . 247
13.5.References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 247
Chapter14.OnDivergenceandDissimilarityMeasuresfor
MultipleTimeSeries . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 249
KonstantinosMAKRIS,AlexKARAGRIGORIOU andIliaVONTA
14.1.Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 249
14.2.Classicalmeasures . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 250
14.3.Divergencemeasures. . . . . . . . . . . . . . . . . . . . . . . . . . . . 252
14.4.Dissimilaritymeasuresforordereddata . . . . . . . . . . . . . . . . . 254
14.4.1.Standarddissimilaritymeasures . . . . . . . . . . . . . . . . . . . 254
14.4.2.Advanceddissimilaritymeasures . . . . . . . . . . . . . . . . . . . 256
14.5.Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 259
14.6.References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 259
ListofAuthors . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 261
Index . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 265