Data Mining for Business Analytics: Concepts, Techniques, and Applications in R

535 Pages·2017·17.78 MB·English

by  Galit Shmueli

DATA MINING
FOR BUSINESS ANALYTICS
Concepts, Techniques, and Applications in R
Galit Shmueli
Peter C. Bruce
Inbal Yahav
Nitin R. Patel
Kenneth C. Lichtendahl, Jr.
Thiseditionfirstpublished2018
©2018JohnWiley&Sons,Inc.
LibraryofCongressCataloging-in-PublicationDataappliedfor
Hardback:9781118879368
CoverDesign:Wiley
CoverImage:©AchimMittler,FrankfurtamMain/Gettyimages
Setin11.5/14.5ptBemboStdbyAptaraInc.,NewDelhi,India
PrintedintheUnitedStatesofAmerica.
Contents
ForewordbyGarethJames xix
ForewordbyRaviBapna xxi
PrefacetotheREdition xxiii
PART I PRELIMINARIES
CHAPTER 1 Introduction 3
1.1 WhatIsBusinessAnalytics? . . . . . . . . . . . . . . . . . . . . . . . . . . . 3
1.2 WhatIsDataMining? . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5
1.3 DataMiningandRelatedTerms . . . . . . . . . . . . . . . . . . . . . . . . . 5
1.4 BigData. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6
1.5 DataScience . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7
1.6 WhyAreThereSoManyDifferentMethods? . . . . . . . . . . . . . . . . . . . 8
1.7 TerminologyandNotation . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9
1.8 RoadMapstoThisBook . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11
OrderofTopics . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11
CHAPTER 2 Overview of the Data Mining Process 15
2.1 Introduction. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15
2.2 CoreIdeasinDataMining . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16
Classification . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16
Prediction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16
AssociationRulesandRecommendationSystems . . . . . . . . . . . . . . . . . 16
PredictiveAnalytics . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17
DataReductionandDimensionReduction . . . . . . . . . . . . . . . . . . . . 17
DataExplorationandVisualization . . . . . . . . . . . . . . . . . . . . . . . . 17
SupervisedandUnsupervisedLearning . . . . . . . . . . . . . . . . . . . . . . 18
2.3 TheStepsinDataMining . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19
2.4 PreliminarySteps . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21
OrganizationofDatasets. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21
PredictingHomeValuesintheWestRoxburyNeighborhood . . . . . . . . . . . 21
LoadingandLookingattheDatainR . . . . . . . . . . . . . . . . . . . . . . 22
SamplingfromaDatabase . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24
OversamplingRareEventsinClassificationTasks . . . . . . . . . . . . . . . . . 25
PreprocessingandCleaningtheData. . . . . . . . . . . . . . . . . . . . . . . 26
2.5 PredictivePowerandOverfitting . . . . . . . . . . . . . . . . . . . . . . . . . 33
Overfitting . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33
CreationandUseofDataPartitions . . . . . . . . . . . . . . . . . . . . . . . 35
2.6 BuildingaPredictiveModel . . . . . . . . . . . . . . . . . . . . . . . . . . . 38
ModelingProcess . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39
2.7 UsingRforDataMiningonaLocalMachine . . . . . . . . . . . . . . . . . . . 43
2.8 AutomatingDataMiningSolutions . . . . . . . . . . . . . . . . . . . . . . . . 43
DataMiningSoftware: TheStateoftheMarket(byHerbEdelstein). . . . . . . . 45
Problems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49
PART II DATA EXPLORATION AND DIMENSION REDUCTION
CHAPTER 3 Data Visualization 55
3.1 UsesofDataVisualization . . . . . . . . . . . . . . . . . . . . . . . . . . . . 55
BaseRorggplot? . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 57
3.2 DataExamples . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 57
Example1: BostonHousingData . . . . . . . . . . . . . . . . . . . . . . . . 57
Example2: RidershiponAmtrakTrains. . . . . . . . . . . . . . . . . . . . . . 59
3.3 BasicCharts: BarCharts,LineGraphs,andScatterPlots . . . . . . . . . . . . . 59
DistributionPlots: BoxplotsandHistograms . . . . . . . . . . . . . . . . . . . 61
Heatmaps: VisualizingCorrelationsandMissingValues . . . . . . . . . . . . . . 64
3.4 MultidimensionalVisualization . . . . . . . . . . . . . . . . . . . . . . . . . . 67
AddingVariables: Color,Size,Shape,MultiplePanels,andAnimation . . . . . . . 67
Manipulations: Rescaling,AggregationandHierarchies,Zooming,Filtering . . . . 70
Reference: TrendLinesandLabels . . . . . . . . . . . . . . . . . . . . . . . . 74
ScalinguptoLargeDatasets. . . . . . . . . . . . . . . . . . . . . . . . . . . 74
MultivariatePlot: ParallelCoordinatesPlot. . . . . . . . . . . . . . . . . . . . 75
InteractiveVisualization . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 77
3.5 SpecializedVisualizations . . . . . . . . . . . . . . . . . . . . . . . . . . . . 80
VisualizingNetworkedData . . . . . . . . . . . . . . . . . . . . . . . . . . . 80
VisualizingHierarchicalData: Treemaps . . . . . . . . . . . . . . . . . . . . . 82
VisualizingGeographicalData: MapCharts . . . . . . . . . . . . . . . . . . . . 83
3.6 Summary: MajorVisualizationsandOperations,byDataMiningGoal . . . . . . . 86
Prediction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 86
Classification . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 86
TimeSeriesForecasting . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 86
UnsupervisedLearning. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 87
Problems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 88
CHAPTER 4 Dimension Reduction 91
4.1 Introduction. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 91
4.2 CurseofDimensionality . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 92
4.3 PracticalConsiderations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 92
Example1: HousePricesinBoston . . . . . . . . . . . . . . . . . . . . . . . 93
4.4 DataSummaries . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 94
SummaryStatistics . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 94
AggregationandPivotTables . . . . . . . . . . . . . . . . . . . . . . . . . . 96
4.5 CorrelationAnalysis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 97
4.6 ReducingtheNumberofCategoriesinCategoricalVariables . . . . . . . . . . . 99
4.7 ConvertingaCategoricalVariabletoaNumericalVariable . . . . . . . . . . . . 99
4.8 PrincipalComponentsAnalysis . . . . . . . . . . . . . . . . . . . . . . . . . . 101
Example2: BreakfastCereals . . . . . . . . . . . . . . . . . . . . . . . . . . 101
PrincipalComponents . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 106
NormalizingtheData . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 107
UsingPrincipalComponentsforClassificationandPrediction . . . . . . . . . . . 109
4.9 DimensionReductionUsingRegressionModels . . . . . . . . . . . . . . . . . . 111
4.10 DimensionReductionUsingClassificationandRegressionTrees . . . . . . . . . . 111
Problems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 112
PART III PERFORMANCE EVALUATION
CHAPTER 5 Evaluating Predictive Performance 117
5.1 Introduction. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 117
5.2 EvaluatingPredictivePerformance . . . . . . . . . . . . . . . . . . . . . . . . 118
NaiveBenchmark: TheAverage . . . . . . . . . . . . . . . . . . . . . . . . . 118
PredictionAccuracyMeasures . . . . . . . . . . . . . . . . . . . . . . . . . . 119
ComparingTrainingandValidationPerformance . . . . . . . . . . . . . . . . . 121
LiftChart . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 121
5.3 JudgingClassifierPerformance . . . . . . . . . . . . . . . . . . . . . . . . . . 122
Benchmark: TheNaiveRule . . . . . . . . . . . . . . . . . . . . . . . . . . . 124
ClassSeparation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 124
TheConfusion(Classification)Matrix. . . . . . . . . . . . . . . . . . . . . . . 124
UsingtheValidationData . . . . . . . . . . . . . . . . . . . . . . . . . . . . 126
AccuracyMeasures . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 126
PropensitiesandCutoffforClassification. . . . . . . . . . . . . . . . . . . . . 127
PerformanceinCaseofUnequalImportanceofClasses . . . . . . . . . . . . . . 131
AsymmetricMisclassificationCosts . . . . . . . . . . . . . . . . . . . . . . . . 133
GeneralizationtoMoreThanTwoClasses . . . . . . . . . . . . . . . . . . . . . 135
5.4 JudgingRankingPerformance . . . . . . . . . . . . . . . . . . . . . . . . . . 136
LiftChartsforBinaryData . . . . . . . . . . . . . . . . . . . . . . . . . . . . 136
DecileLiftCharts . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 138
BeyondTwoClasses . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 139
LiftChartsIncorporatingCostsandBenefits . . . . . . . . . . . . . . . . . . . 139
LiftasaFunctionofCutoff . . . . . . . . . . . . . . . . . . . . . . . . . . . 140
5.5 Oversampling . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 140
OversamplingtheTrainingSet . . . . . . . . . . . . . . . . . . . . . . . . . . 144
EvaluatingModelPerformanceUsingaNon-oversampledValidationSet . . . . . . 144
EvaluatingModelPerformanceifOnlyOversampledValidationSetExists . . . . . 144
Problems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 147
PART IV PREDICTION AND CLASSIFICATION METHODS
CHAPTER 6 Multiple Linear Regression 153
6.1 Introduction. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 153
6.2 Explanatoryvs. PredictiveModeling . . . . . . . . . . . . . . . . . . . . . . . 154
6.3 EstimatingtheRegressionEquationandPrediction. . . . . . . . . . . . . . . . 156
Example: PredictingthePriceofUsedToyotaCorollaCars . . . . . . . . . . . . 156
6.4 VariableSelectioninLinearRegression . . . . . . . . . . . . . . . . . . . . . 161
ReducingtheNumberofPredictors . . . . . . . . . . . . . . . . . . . . . . . 161
HowtoReducetheNumberofPredictors. . . . . . . . . . . . . . . . . . . . . 162
Problems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 169
CHAPTER 7 k-Nearest Neighbors (kNN) 173
7.1 Thek-NNClassifier(CategoricalOutcome) . . . . . . . . . . . . . . . . . . . . 173
DeterminingNeighbors . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 173
ClassificationRule . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 174
Example: RidingMowers . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 175
Choosingk . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 176
SettingtheCutoffValue . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 179
k-NNwithMoreThanTwoClasses . . . . . . . . . . . . . . . . . . . . . . . . 180
ConvertingCategoricalVariablestoBinaryDummies . . . . . . . . . . . . . . . 180
7.2 k-NNforaNumericalOutcome. . . . . . . . . . . . . . . . . . . . . . . . . . 180
7.3 AdvantagesandShortcomingsofk-NNAlgorithms . . . . . . . . . . . . . . . . 182
Problems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 184
CHAPTER 8 The Naive Bayes Classifier 187
8.1 Introduction. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 187
CutoffProbabilityMethod . . . . . . . . . . . . . . . . . . . . . . . . . . . . 188
ConditionalProbability . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 188
Example1: PredictingFraudulentFinancialReporting . . . . . . . . . . . . . . 188
8.2 ApplyingtheFull(Exact)BayesianClassifier . . . . . . . . . . . . . . . . . . . 189
Usingthe“AssigntotheMostProbableClass”Method . . . . . . . . . . . . . . 190
UsingtheCutoffProbabilityMethod . . . . . . . . . . . . . . . . . . . . . . . 190
PracticalDifficultywiththeComplete(Exact)BayesProcedure . . . . . . . . . . 190
Solution: NaiveBayes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 191
TheNaiveBayesAssumptionofConditionalIndependence . . . . . . . . . . . . 192
UsingtheCutoffProbabilityMethod . . . . . . . . . . . . . . . . . . . . . . . 192
Example2: PredictingFraudulentFinancialReports,TwoPredictors . . . . . . . 193
Example3: PredictingDelayedFlights . . . . . . . . . . . . . . . . . . . . . . 194
8.3 AdvantagesandShortcomingsoftheNaiveBayesClassifier . . . . . . . . . . . 199
Problems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 202
CHAPTER 9 Classification and Regression Trees 205
9.1 Introduction. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 205
9.2 ClassificationTrees . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 207
RecursivePartitioning . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 207
Example1: RidingMowers . . . . . . . . . . . . . . . . . . . . . . . . . . . . 207
MeasuresofImpurity . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 210
TreeStructure . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 214
ClassifyingaNewRecord . . . . . . . . . . . . . . . . . . . . . . . . . . . . 214
9.3 EvaluatingthePerformanceofaClassificationTree . . . . . . . . . . . . . . . . 215
Example2: AcceptanceofPersonalLoan . . . . . . . . . . . . . . . . . . . . . 215
9.4 AvoidingOverfitting . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 216
StoppingTreeGrowth: ConditionalInferenceTrees . . . . . . . . . . . . . . . . 221
PruningtheTree. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 222
Cross-Validation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 222
Best-PrunedTree . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 224
9.5 ClassificationRulesfromTrees . . . . . . . . . . . . . . . . . . . . . . . . . . 226
9.6 ClassificationTreesforMoreThanTwoClasses . . . . . . . . . . . . . . . . . . 227
9.7 RegressionTrees . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 227
Prediction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 228
MeasuringImpurity . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 228
EvaluatingPerformance . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 229
9.8 ImprovingPrediction: RandomForestsandBoostedTrees . . . . . . . . . . . . 229
RandomForests . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 229
BoostedTrees . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 231
9.9 AdvantagesandWeaknessesofaTree . . . . . . . . . . . . . . . . . . . . . . 232
Problems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 234
CHAPTER 10 Logistic Regression 237
10.1 Introduction. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 237
10.2 TheLogisticRegressionModel . . . . . . . . . . . . . . . . . . . . . . . . . . 239
10.3 Example: AcceptanceofPersonalLoan . . . . . . . . . . . . . . . . . . . . . . 240
ModelwithaSinglePredictor . . . . . . . . . . . . . . . . . . . . . . . . . . 241
EstimatingtheLogisticModelfromData: ComputingParameterEstimates . . . . 243
InterpretingResultsinTermsofOdds(foraProfilingGoal) . . . . . . . . . . . . 244
10.4 EvaluatingClassificationPerformance . . . . . . . . . . . . . . . . . . . . . . 247
VariableSelection . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 248
10.5 ExampleofCompleteAnalysis: PredictingDelayedFlights . . . . . . . . . . . . 250
DataPreprocessing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 251
Model-FittingandEstimation . . . . . . . . . . . . . . . . . . . . . . . . . . 254
ModelInterpretation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 254
ModelPerformance . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 254
VariableSelection . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 257
10.6 Appendix: LogisticRegressionforProfiling. . . . . . . . . . . . . . . . . . . . 259
AppendixA:WhyLinearRegressionIsProblematicforaCategoricalOutcome. . . 259
AppendixB:EvaluatingExplanatoryPower . . . . . . . . . . . . . . . . . . . . 261
AppendixC:LogisticRegressionforMoreThanTwoClasses . . . . . . . . . . . . 264
Problems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 268
CHAPTER 11 Neural Nets 271
11.1 Introduction. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 271
11.2 ConceptandStructureofaNeuralNetwork . . . . . . . . . . . . . . . . . . . . 272
11.3 FittingaNetworktoData . . . . . . . . . . . . . . . . . . . . . . . . . . . . 273
Example1: TinyDataset . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 273
ComputingOutputofNodes . . . . . . . . . . . . . . . . . . . . . . . . . . . 274
PreprocessingtheData . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 277
TrainingtheModel. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 278
Example2: ClassifyingAccidentSeverity . . . . . . . . . . . . . . . . . . . . . 282
AvoidingOverfitting . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 283
UsingtheOutputforPredictionandClassification . . . . . . . . . . . . . . . . 283
11.4 RequiredUserInput . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 285
11.5 ExploringtheRelationshipBetweenPredictorsandOutcome . . . . . . . . . . . 287
11.6 AdvantagesandWeaknessesofNeuralNetworks . . . . . . . . . . . . . . . . . 288
Problems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 290
CHAPTER 12 Discriminant Analysis 293
12.1 Introduction. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 293
Example1: RidingMowers . . . . . . . . . . . . . . . . . . . . . . . . . . . . 294
Example2: PersonalLoanAcceptance . . . . . . . . . . . . . . . . . . . . . . 294
12.2 DistanceofaRecordfromaClass . . . . . . . . . . . . . . . . . . . . . . . . 296
12.3 Fisher’sLinearClassificationFunctions . . . . . . . . . . . . . . . . . . . . . . 297
12.4 ClassificationPerformanceofDiscriminantAnalysis . . . . . . . . . . . . . . . 300
12.5 PriorProbabilities . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 302
12.6 UnequalMisclassificationCosts . . . . . . . . . . . . . . . . . . . . . . . . . 302
12.7 ClassifyingMoreThanTwoClasses . . . . . . . . . . . . . . . . . . . . . . . . 303
Example3: MedicalDispatchtoAccidentScenes . . . . . . . . . . . . . . . . . 303
12.8 AdvantagesandWeaknesses . . . . . . . . . . . . . . . . . . . . . . . . . . . 306
Problems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 307
CHAPTER 13 Combining Methods: Ensembles and Uplift Modeling 311
13.1 Ensembles . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 311
WhyEnsemblesCanImprovePredictivePower . . . . . . . . . . . . . . . . . . 312
SimpleAveraging . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 314
Bagging . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 315
Boosting . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 315
BaggingandBoostinginR . . . . . . . . . . . . . . . . . . . . . . . . . . . 315
AdvantagesandWeaknessesofEnsembles . . . . . . . . . . . . . . . . . . . . 315
13.2 Uplift(Persuasion)Modeling. . . . . . . . . . . . . . . . . . . . . . . . . . . 317
A-BTesting . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 318
Uplift . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 318
GatheringtheData . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 319
ASimpleModel . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 320
ModelingIndividualUplift . . . . . . . . . . . . . . . . . . . . . . . . . . . . 321
ComputingUpliftwithR . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 322
UsingtheResultsofanUpliftModel . . . . . . . . . . . . . . . . . . . . . . . 322
13.3 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 324
Problems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 325
PART V MINING RELATIONSHIPS AMONG RECORDS
CHAPTER 14 Association Rules and Collaborative Filtering 329
14.1 AssociationRules . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 329
DiscoveringAssociationRulesinTransactionDatabases . . . . . . . . . . . . . 330
Example1: SyntheticDataonPurchasesofPhoneFaceplates . . . . . . . . . . 330
GeneratingCandidateRules . . . . . . . . . . . . . . . . . . . . . . . . . . . 330
TheAprioriAlgorithm . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 333
SelectingStrongRules . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 333
DataFormat . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 335
TheProcessofRuleSelection . . . . . . . . . . . . . . . . . . . . . . . . . . 336
InterpretingtheResults . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 337
RulesandChance . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 339
Example2: RulesforSimilarBookPurchases . . . . . . . . . . . . . . . . . . . 340
14.2 CollaborativeFiltering . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 342
DataTypeandFormat . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 343
Example3: NetflixPrizeContest . . . . . . . . . . . . . . . . . . . . . . . . . 343
User-BasedCollaborativeFiltering: “PeopleLikeYou” . . . . . . . . . . . . . . 344
Item-BasedCollaborativeFiltering . . . . . . . . . . . . . . . . . . . . . . . . 347
AdvantagesandWeaknessesofCollaborativeFiltering . . . . . . . . . . . . . . 348
CollaborativeFilteringvs. AssociationRules . . . . . . . . . . . . . . . . . . . 349
14.3 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 351
Problems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 352
CHAPTER 15 Cluster Analysis 357
15.1 Introduction. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 357
Example: PublicUtilities. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 359
15.2 MeasuringDistanceBetweenTwoRecords . . . . . . . . . . . . . . . . . . . . 361
EuclideanDistance . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 361
NormalizingNumericalMeasurements . . . . . . . . . . . . . . . . . . . . . . 362
OtherDistanceMeasuresforNumericalData . . . . . . . . . . . . . . . . . . . 362
DistanceMeasuresforCategoricalData. . . . . . . . . . . . . . . . . . . . . . 365
DistanceMeasuresforMixedData . . . . . . . . . . . . . . . . . . . . . . . . 366
15.3 MeasuringDistanceBetweenTwoClusters . . . . . . . . . . . . . . . . . . . . 366
MinimumDistance . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 366
MaximumDistance. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 366
AverageDistance . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 367
CentroidDistance . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 367
15.4 Hierarchical(Agglomerative)Clustering . . . . . . . . . . . . . . . . . . . . . 368
SingleLinkage. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 369
CompleteLinkage . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 370
AverageLinkage . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 370
CentroidLinkage. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 370
Ward’sMethod . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 370
Dendrograms: DisplayingClusteringProcessandResults . . . . . . . . . . . . . 371
ValidatingClusters . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 373
LimitationsofHierarchicalClustering . . . . . . . . . . . . . . . . . . . . . . 375
15.5 Non-HierarchicalClustering: Thek-MeansAlgorithm . . . . . . . . . . . . . . . 376
ChoosingtheNumberofClusters(k). . . . . . . . . . . . . . . . . . . . . . . 377
Problems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 382
PART VI FORECASTING TIME SERIES
CHAPTER 16 Handling Time Series 387
16.1 Introduction. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 387
16.2 Descriptivevs. PredictiveModeling . . . . . . . . . . . . . . . . . . . . . . . 389
16.3 PopularForecastingMethodsinBusiness. . . . . . . . . . . . . . . . . . . . . 389
CombiningMethods . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 389
16.4 TimeSeriesComponents . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 390
Example: RidershiponAmtrakTrains. . . . . . . . . . . . . . . . . . . . . . . 390
16.5 Data-PartitioningandPerformanceEvaluation . . . . . . . . . . . . . . . . . . 395
BenchmarkPerformance: NaiveForecasts . . . . . . . . . . . . . . . . . . . . 395
GeneratingFutureForecasts . . . . . . . . . . . . . . . . . . . . . . . . . . . 396
Problems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 398
CHAPTER 17 Regression-Based Forecasting 401
17.1 AModelwithTrend . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 401
LinearTrend . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 401
ExponentialTrend . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 405
PolynomialTrend . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 407
17.2 AModelwithSeasonality . . . . . . . . . . . . . . . . . . . . . . . . . . . . 407
17.3 AModelwithTrendandSeasonality . . . . . . . . . . . . . . . . . . . . . . . 411
17.4 AutocorrelationandARIMAModels. . . . . . . . . . . . . . . . . . . . . . . . 412
ComputingAutocorrelation . . . . . . . . . . . . . . . . . . . . . . . . . . . 413
ImprovingForecastsbyIntegratingAutocorrelationInformation . . . . . . . . . 416
EvaluatingPredictability . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 420
Problems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 422