SLA based Resource Allocation in IoT cloud

128 Pages·2017·2.58 MB·English

by  Anand Singh

ABSTRACT
SINGH,ANAND.SLAbasedServiceDifferentiationinCloudDataCenters.(Underthedirectionof
IoannisViniotis.)
Inthisthesis,weinvestigateaproblemintherealmofhostingInternetofThings(IoT)broker
servicesinacloudcomputingdatacenter.IoTsensorsgeneratemeasurementsthataretransported
tothedatacenterforprocessing.Severaltenants,eachwithhis/herownmeasurementgeneration
patternsarehousedinsuchacenter.ThetenantsanddatacenterproviderenteraServiceLevel
Agreement(SLA)thatformallystatestheserviceexpectations(tenant)andobligations(provider).
IntheparticularSLAwehaveconsidered,theonlyexpectationfromthetenantisto“haveaspecific
amountofmeasurementsprocessedwithinagiventimeperiod”;theprovider’sobligationisto
providetheCPUresourcestomeetthisexpectationregardlessofthedetailsofthemeasurement
generationpattern.ThemainmeritofthisSLAisits(technicalandlegal)simplicity.
ThemaintechnicalproblemweaddressishowcanthisSLAbeguaranteed?Thisisaquestion
thatthedatacenterdesignermustanswer.Thedesignerhasseveraltoolsathis/herdisposalin
answeringthisquestion-wecallsuchtools“knobs”thatcanbeintroducedinalgorithmicsolutions.
Themainknobwefocuson,inthiswork,isCPUtimeprovisioning.
Wetacklethistechnicalproblembybreakingitdowntothreesmallerproblems.First,westudy
theSLAinitspresentform.Weformulatetwoproblems;inthefirst,weassumethatasingleserver
canprovidetheneededtimetomeetthetenantexpectation.Thecontrolknobisfairlysimpleto
designinthisenvironment.Inthesecond,weconsiderthesituationwhereseveralserversmustbe
provisioned,inordertomeettheexpectation.Inthethirdformulationoftheproblem,wemodify
theSLA-weremovesomeofitssimplicity-inordertosimplifythedesignedcontrols.
ThemaintechnicalchallengeinallproblemswhendecidinghowtoprovisionCPUtimeisthe
lackofknowledgeabouttrafficpatterns.Anadditionalchallengeispresentinthecaseofmultiple
servers-thepresenceoftwoconflictingobjectivesthatcomefromthetenantandthecloudprovider.
Thetenantobjectivecanbeexpressedintermsof,say,acceptableaveragedelays,whiletheprovider’s
objectivecanbeexpressedintermsof,say,acceptableoperatingcost.Eventhoughtheseobjectives
arenotexplicitlystatedintheSLAs,itistothebestinterestofallpartiesinvolvedifthedesignerwas
tocomeupwithresourceprovisioningcontrolsthatwillkeepbothpartieshappy.
Themaincontributionofthisthesisistwofold:(a)theintroductionofthenewSLA,and,(b)the
designandevaluationoftheCPUprovisioningalgorithmstomeettheSLAs.
©Copyright2017byAnandSingh
AllRightsReserved
SLAbasedServiceDifferentiation
inCloudDataCenters
by
AnandSingh
AdissertationsubmittedtotheGraduateFacultyof
NorthCarolinaStateUniversity
inpartialfulfillmentofthe
requirementsfortheDegreeof
DoctorofPhilosophy
ComputerEngineering
Raleigh,NorthCarolina
2017
APPROVEDBY:
HarilaosG.Perros MihailL.Sichitiu
DoYoungEun IoannisViniotis
ChairofAdvisoryCommittee
DEDICATION
Tomyparents,mywifeAvani,andallmyfamilymembers.
ii
BIOGRAPHY
AnandSinghwasborninIndiain1985.HereceivedhisB.Tech.degreeinElectronicsandCommu-
nicationEngineeringfromNITJaipur,Indiain2008,andanMSdegreeinComputerNetworking
fromNorthCarolinaStateUniversity,Raleigh,USAin2013.HeworkedinCiscoSystemsinvoice
technologygroupfrom2008to2011.
AtNCState,Anandwasateachingassistantforalltwelvesemestersandinstructedlabson
switchednetworkdesignandmanagement,routednetworkdesignandmanagement,internetwork-
ing,andInternetofThings.AtNCState,ineverysummer,heledgroupsofstudentsintheirsummer
projects.
HeishappilymarriedtoAvanisinceDecember12,2016.
iii
ACKNOWLEDGEMENTS
Iwouldliketoexpressmysinceregratitudetomyguru,myAristotle,myadvisorProf.YannisViniotis
forguidingmyPh.D.studyandrelatedresearch.Hehelpedmenotonlytogrowasaresearcherand
instructorbutalsomademeabetterperson.Thethreelifelessons,thesevenfundamentaltruths
innetworking,howtothinklikeadesigner,loveforfundamentals,andmanymoresuchlessons
(includingthreeP’s)fromhimaregoingtohelpmeinallwalksoflife.Ifeelblessedtohaveamentor
likehim.
Besidesmyadvisor,Iwouldliketothanktherestofmythesiscommittee:Dr.HarryPerros,
Dr.MihailSichitiu,andDr.DoYoungEunfortheirinsightfulcommentsandencouragement.I
still remember Dr. Perros giving me the personal books on service management to encourage
metoexploreserviceconceptsmorefundamentally.Thatgesturemademeemotionalandmore
determinedtokeeplearning.ThankstoDr.Sichitiu,Iwasabletoreducemyroughedgesinexplaining
concepts.Hiscomment“Iwantyoutobelikeasharpknife,whenyoucutacakeitshouldbeperfect"
inspiredmetoimprovemysharpnessintechnicaldiscussions.
My sincere thanks also go to Dr. Andy Rindos (For all the support from IBM cloud for my
Ph.D.andtheprofessionalguidancethroughout),CarlosPignataro,JoeClark,SkipBooth,Frank
Brockners(CiscoDistinguishedEngineers,forhelpingmewithpracticalknowledgefromindustry
andsupportingmylabsetup),andArunArunachalam(forcollaborationonWiresharkNCSU-Cisco
project,ithelpedmealottounderstandprotocoldesign).
Ithankmystudentsandmysummergroupmembersforthestimulatingdiscussions.Iam
thankfultoDr.Viniotisforgivingmeanopportunitytoteach,guideandworkwithmanystudents
inEB2-2027.Thecountlessdiscussionwithmysummergroupandlabstudentsbroadenedmy
technicalhorizonandmademybeliefstrongerinteachingandlearningtogether.Thankyouallfor
thefunwehadinpast6yearsandforourbondoffriendshipforthelifetime.
Lastbutnottheleast,IwouldliketothankmyfamilyfortheirconstantsupportduringmyPh.D.
iv
TABLEOFCONTENTS
LISTOFTABLES . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . viii
LISTOFFIGURES . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ix
Chapter1 ServiceDifferentiationinNetworkSystems. . . . . . . . . . . . . . . . . . . . . . . . . . . 1
1.1 Background . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1
1.1.1 Networks . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2
1.1.2 EnterpriseDatacenters . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2
1.1.3 CloudComputingEnvironments. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4
1.1.4 InternetofThings . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4
1.2 Services. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4
1.2.1 Introduction. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4
1.2.2 ServiceLevelAgreements . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7
1.2.3 ServiceModelsinCloudComputing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9
1.3 ServiceDifferentiation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10
1.3.1 CriterionforServiceDifferentiation. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10
1.3.2 ApproachesforEnforcingServiceDifferentiation . . . . . . . . . . . . . . . . . . . . . 10
1.4 RelatedWorkonServiceDifferentiation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11
1.4.1 ServiceDifferentiationintheInternet . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11
1.4.2 ServiceDifferentiationinNetworkConnectivityServices . . . . . . . . . . . . . . . 12
1.4.3 ServiceDifferentiationinHostingServices. . . . . . . . . . . . . . . . . . . . . . . . . . 12
1.4.4 ServiceDifferentiationinCloudServices . . . . . . . . . . . . . . . . . . . . . . . . . . . 13
1.4.5 Summary:theBigPicture . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13
1.5 DynamicClosedLoopApproachforServiceDifferentiation . . . . . . . . . . . . . . . . . . . 13
1.5.1 TheGenericObjective. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13
1.5.2 TheElementsoftheControlFramework . . . . . . . . . . . . . . . . . . . . . . . . . . . 14
1.6 ProblemsConsideredinthisThesis. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15
1.7 ContributionsoftheThesis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15
1.8 ThesisOrganization . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16
Chapter2 SLAforIoTCloudComputing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17
2.1 InternetofThings . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17
2.2 IoTCloudComputing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19
2.2.1 IoTCloudServices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20
2.2.2 ServiceRequirementsforIoTCloudComputing. . . . . . . . . . . . . . . . . . . . . . 21
2.2.3 IoTCloudSLA . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22
2.3 MotivationforSLA-basedResourceAllocationinIoTCloudEnvironment . . . . . . . . 24
2.3.1 NeedforIoTSLA-basedResourceAllocation . . . . . . . . . . . . . . . . . . . . . . . . 24
2.3.2 Howisvolume-basedIoTCloudSLADifferentfromaNetworkingSLA?. . . . . 24
2.3.3 WhyisIoTSLA-basedResourceAllocationaChallengingProblem?. . . . . . . . 25
2.4 RelatedWorkinSLA-basedResourceAllocation . . . . . . . . . . . . . . . . . . . . . . . . . . . 25
2.4.1 SLA-basedResourceAllocationinClassicalNetworks. . . . . . . . . . . . . . . . . . 25
v
2.4.2 SLA-basedResourceAllocationinCloudComputing . . . . . . . . . . . . . . . . . . 26
2.4.3 SLA-basedResourceAllocationinIoTCloudComputing . . . . . . . . . . . . . . . 27
2.4.4 DifferencesintheVariousAllocations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28
Chapter3 SystemModel . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29
3.1 ElementsofthePhysicalSystemandSystemModel. . . . . . . . . . . . . . . . . . . . . . . . . 29
3.2 CloudDeploymentModels . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31
3.2.1 Single-tierServiceCloudDeployment . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31
3.2.2 MultitierServiceCloudDeployment . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32
3.3 IoTApplicationsintheIoTDatacenter . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33
3.4 ResourcesintheIoTDatacenter . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 34
3.5 ControlsintheIoTDatacenter . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 34
Chapter4 ResourceAllocationforCurrentIoTSLA-SingleServiceInstance . . . . . . . . . . 35
4.1 ProblemFormulation. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35
4.1.1 SystemArchitecture . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35
4.1.2 FormalIoTSLA. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36
4.1.3 DefinitionofKeyTerms. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37
4.1.4 Objectives . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38
4.2 OurApproach . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38
4.2.1 ControlParametersandConstraintsforAchievingSLA . . . . . . . . . . . . . . . . . 38
4.2.2 DesignConsiderations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39
4.2.3 Assumptions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 40
4.2.4 AlgorithmtoAchievetheCurrentSLA . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 40
4.3 ExperimentalEvaluation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42
4.3.1 ExperimentalSetup . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42
4.3.2 TrafficPatterns . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42
4.3.3 EvaluationofProposedSolution . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43
4.3.4 OverheadandTradeoffAnalysis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45
4.4 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 46
Chapter5 ResourceAllocationforaNovelIoTSLA-SingleServiceInstance . . . . . . . . . . 47
5.1 NeedforNewIoTSLA . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47
5.2 ProblemFormulation. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 48
5.2.1 SystemArchitecture . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 48
5.2.2 ANewIoTSLA . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 48
5.2.3 DefinitionofKeyTerms. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49
5.2.4 Objectives . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 50
5.3 OurApproach . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 50
5.3.1 ControlParametersandConstraintsforAchievingSLA . . . . . . . . . . . . . . . . . 50
5.3.2 DesignConsiderations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 50
5.3.3 Assumptions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51
5.3.4 AlgorithmtoAchievetheNewSLA. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51
5.4 ExperimentalEvaluation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 54
5.4.1 ExperimentalSetup . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 54
vi
5.4.2 TrafficPatterns . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 54
5.4.3 EvaluationofProposedSolution . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 54
5.4.4 OverheadandTradeoffAnalysis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 57
5.5 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 57
Chapter6 ResourceAllocationforCurrentIoTSLA-ClusterofServiceInstances . . . . . . 59
6.1 ServiceClustersinCloudComputing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 60
6.1.1 ClusterofServiceInstancesinCloud . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 60
6.1.2 ServerScalinginCloudComputing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 60
6.2 RelatedWorkinResourceScalinginCloudComputing . . . . . . . . . . . . . . . . . . . . . . 61
6.2.1 ReactiveApproaches. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 61
6.2.2 ProactiveApproaches . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 62
6.3 ProblemFormulation. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 63
6.3.1 SystemArchitecture . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 63
6.3.2 IoTSLA . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 63
6.3.3 DefinitionofKeyTerms. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 63
6.3.4 Objectives . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 66
6.4 OurApproach:DesignofScalingPoliciestoAchievetheSLA . . . . . . . . . . . . . . . . . . 67
6.4.1 IntroductionandMotivation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 67
6.4.2 Assumptions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 67
6.4.3 SpecificDesigns:StaticPolicies . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 67
6.4.4 SpecificDesigns:DynamicPolicies . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 70
6.4.5 Summary:theSelectedSetsofPolicies. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 76
6.5 ExperimentalEvaluation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 76
6.5.1 ExperimentalSetup . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 77
6.5.2 TrafficPatterns . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 77
6.5.3 EvaluationofPoliciesWithinaGivenClassOnly. . . . . . . . . . . . . . . . . . . . . . 78
6.5.4 AnsweringSpecificDesignQuestions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 89
6.5.5 OverheadandTradeoffAnalysis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .102
6.6 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .102
Chapter7 ConclusionandFutureWork . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .105
7.1 ThesisConclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .105
7.2 FutureWork. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .106
BIBLIOGRAPHY . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .110
vii
LISTOFTABLES
Table6.1 Configurationcomplexityofvariouspolicies.. . . . . . . . . . . . . . . . . . . . . . . . .102
Table6.2 Measurementoverheadofvariouspolicies. . . . . . . . . . . . . . . . . . . . . . . . . . .103
Table6.3 Bandwidthoverheadofvariouspolicies. . . . . . . . . . . . . . . . . . . . . . . . . . . . .103
Table6.4 CPUprocessingoverheadofvariouspolicies. . . . . . . . . . . . . . . . . . . . . . . . .104
Table6.5 Memoryoverheadofvariouspolicies. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .104
viii