Efficient allocation for distributed and connected Cloud

165 Pages·2016·2.44 MB·English

THESE DE DOCTORAT CONJOINTE TELECOM SUDPARIS et
Universite´ Pierre et Marie CURIE
Ecole doctorale : Informatique, T´el´ecommunications et Electronique de Paris
Pr´esent´ee par
Thibaud Ecarot
Pour obtenir le grade de
DOCTEUR DE TELECOM SUDPARIS
Allocation efficace de ressource Cloud
dans l’int´erˆet du fournisseur et des
consommateurs
Soutenue le : 29 septembre 2016
devant le jury compos´e de :
Prof. Franc¸ois Spies Rapporteur Universit´e de Franche-Comt´e, France
MC. Lila Boukhatem Rapporteur University Paris-Sud, France
Prof. Pierre Sens Examinateur UPMC, France
Prof. Yacine Ghamri-Doudane Examinateur Universit´e de La Rochelle, France
C´edric Brandily Encadrant Thales Services, France
Prof. Djamal Zeghlache Directeur de th`ese T´el´ecom Sud Paris, France
Th`ese N◦: 2016TELE0017

R´esum´e
Institut Mines-Telecom
Telecom Sud Paris
Allocation efficace de ressource Cloud dans l’int´erˆet du fournisseur et des
consommateurs
par le doctorant Thibaud ECAROT
Dans ce travail, nous nous int´eressons `a la mod´elisation des ressources Cloud, ind´epen-
dammentdescouchesexistantes,afind’apporteruncadre(framework)derepr´esentation
uniqueetouverta`l’arriv´eeanticip´eeduXaaS(AnythingasaService). Nousfournissons,
`a l’aide de ce framework, un outil de placement des ressources pour une plate-forme
donn´ee. Lestravauxdeth`eseseportentaussisurlapriseencomptedesint´erˆetsdesutil-
isateurs ou consommateurs et des fournisseurs. Les solutions existantes ne se focalisent
que sur l’int´erˆet des fournisseurs et ce au d´etriment des consommateurs contraints par
le mod`ele d’affaire des fournisseurs. La th`ese propose des algorithmes ´evolutionnaires
en mesure de respecter les objectifs et int´erˆets des deux acteurs.
JOINT THESIS BETWEEN TELECOM SUDPARIS and Pierre and
Marie Curie University
Doctoral school: Informatique, T´el´ecommunications et Electronique de Paris
Presented by
Thibaud Ecarot
For the degree of
DOCTEUR DE TELECOM SUDPARIS
Efficient allocation for distributed and
connected Cloud
Defense date: September, 29 2016
Jury Members:
Prof. Franc¸ois Spies Evaluator Franche-Comt´e University, France
L. Lila Boukhatem Evaluator Paris-Sud University, France
Prof. Pierre Sens Examiner UPMC, France
Prof. Yacine Ghamri-Doudane Examiner La Rochelle University, France
C´edric Brandily Evaluator Thales Services, France
Prof. Djamal Zeghlache Thesis advisor T´el´ecom Sud Paris, France
Thesis N◦: 2016TELE0017

Abstract
Institut Mines-Telecom
Telecom Sud Paris
Efficient allocation for distributed and connected Cloud
by PhD student Thibaud Ecarot
Thisthesisfocusesonoptimalandsuboptimalallocationofresourcesincloudinfrastruc-
tures taking jointly into account the consumers’ and providers’ interests. A mathema-
tical model of this joint optimization problem serves as a basis to propose evolutionary
algorithms well suited for multiple objectives, criteria and constraints. The proposed al-
gorithms are compared to the state of the art that has so far remained provider-centric.
Our algorithms optimize the dynamic allocation of cloud resources while considering
both the users and the providers objectives and requirements in order to avoid provider
lock-in where end users are tied to the provider’s business models.
Acknowledgements
This thesis would not have been possible without the help, support and patience from
my principal advisor, Pr. Djamal Zeghlache. The good advice, support and friendship
of my second supervisor, research engineer, Cedric Brandily, has also been invaluable to
me on both an industrial and personal level and for which I am extremely grateful.
I would like to acknowledge the financial, academic and technical support of Telecom
Sud Paris, Thales Services SAS and its staff, particularly the computer facilities of the
Thales Services SAS infrastructure, as well as the work environment of Telecom Sud
Paris. I am also thankful to the French ministry of higher education and scientific
research with national association of research and technology for their administrative
and financial support.
I would also like to thank my wife, Laura, for her support and patience during the
writing of my thesis. I warmly thanks my family for their valuable assistance. Last, but
by no means least, my thanks go to my friends in Britain and America amongst others
for their support and encouragement.
iii
Contents
R´esum´e ii
Abstract ii
Acknowledgements iii
Contents iv
List of Figures vii
List of Tables x
Abbreviations xi
Foreword xii
1 Introduction 1
1.1 Dynamic Resource Provisioning in Cloud Computing . . . . . . . . . . . . 2
1.2 Research Problems and Objectives . . . . . . . . . . . . . . . . . . . . . . 6
1.3 Contributions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6
1.4 Thesis Organization . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8
2 Placement and Scheduling Problems - State of the art 9
2.1 Allocation Problem Definition and Resolution . . . . . . . . . . . . . . . . 10
2.1.1 Multi-dimensionnal Packing Problems . . . . . . . . . . . . . . . . 11
2.1.1.1 Vector Bin Packing . . . . . . . . . . . . . . . . . . . . . 11
2.1.1.2 Vector Scheduling . . . . . . . . . . . . . . . . . . . . . . 12
2.1.1.3 Packing Integer Program . . . . . . . . . . . . . . . . . . 13
2.1.2 Partial Permutations . . . . . . . . . . . . . . . . . . . . . . . . . . 14
2.1.2.1 Partial Permutation without repetition . . . . . . . . . . 14
2.1.2.2 Partial Permutation with repetition . . . . . . . . . . . . 15
2.2 cloud computing: Key Performance Indicators . . . . . . . . . . . . . . . . 16
2.2.1 Technical indicators . . . . . . . . . . . . . . . . . . . . . . . . . . 16
2.2.1.1 Infrastructure Capacity . . . . . . . . . . . . . . . . . . . 16
2.2.1.2 Availability Rates . . . . . . . . . . . . . . . . . . . . . . 17
2.2.1.3 Convergence Time . . . . . . . . . . . . . . . . . . . . . . 18
2.2.1.4 Reconfiguration Time . . . . . . . . . . . . . . . . . . . . 18
2.2.2 Strategic and business indicators . . . . . . . . . . . . . . . . . . . 18
iv
Contents v
2.2.2.1 Security Awareness . . . . . . . . . . . . . . . . . . . . . 19
2.2.2.2 Cost Of Goods Sold . . . . . . . . . . . . . . . . . . . . . 19
2.2.2.3 Return On Investment. . . . . . . . . . . . . . . . . . . . 19
2.2.2.4 Earnings before interest and taxes . . . . . . . . . . . . . 19
2.2.3 Tarification indicators . . . . . . . . . . . . . . . . . . . . . . . . . 20
2.3 Problem Resolution and Algorithm Implementation. . . . . . . . . . . . . 20
2.3.1 Branch and Bound . . . . . . . . . . . . . . . . . . . . . . . . . . . 20
2.3.2 Round-Robin . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22
2.3.3 MatchMaking . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23
2.3.4 Constraint Programming . . . . . . . . . . . . . . . . . . . . . . . 23
2.3.5 Standard Evolutionary Algorithm . . . . . . . . . . . . . . . . . . 25
2.3.6 Decentralized Scheduling . . . . . . . . . . . . . . . . . . . . . . . 27
2.3.7 Summary of Existing Algorithms . . . . . . . . . . . . . . . . . . . 28
2.4 Scheduling in the industry . . . . . . . . . . . . . . . . . . . . . . . . . . . 29
2.4.1 OpenStack scheduler . . . . . . . . . . . . . . . . . . . . . . . . . . 29
2.4.2 Amazon EC2 Scheduling . . . . . . . . . . . . . . . . . . . . . . . . 31
2.4.3 VMware, Distributed Resource Scheduler . . . . . . . . . . . . . . 32
3 Mathematical model for Cloud Placement Problem 34
3.1 Cloud Resource Mapping Problem . . . . . . . . . . . . . . . . . . . . . . 35
3.2 Single Objective Definition . . . . . . . . . . . . . . . . . . . . . . . . . . 41
3.3 Allocation problem solving . . . . . . . . . . . . . . . . . . . . . . . . . . 44
3.4 Multi Objectives Definition . . . . . . . . . . . . . . . . . . . . . . . . . . 46
4 Cloud Resource Allocation Algorithm 48
4.1 Graph Decomposition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49
4.2 Cloud Resource Placement Algorithm . . . . . . . . . . . . . . . . . . . . 52
4.2.1 Initialization Operator . . . . . . . . . . . . . . . . . . . . . . . . . 55
4.2.2 Crossover Operator . . . . . . . . . . . . . . . . . . . . . . . . . . . 58
4.2.3 Mutation Operator . . . . . . . . . . . . . . . . . . . . . . . . . . . 59
4.2.4 Constraints validation . . . . . . . . . . . . . . . . . . . . . . . . . 60
4.3 Performance Evaluation . . . . . . . . . . . . . . . . . . . . . . . . . . . . 62
4.3.1 Round Robin Evaluation . . . . . . . . . . . . . . . . . . . . . . . 62
4.3.1.1 Linear scenario . . . . . . . . . . . . . . . . . . . . . . . . 62
4.3.1.2 Random scenario . . . . . . . . . . . . . . . . . . . . . . . 64
4.3.1.3 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . 66
4.3.2 Constraint Programming Evaluation . . . . . . . . . . . . . . . . . 66
4.3.2.1 Linear scenario . . . . . . . . . . . . . . . . . . . . . . . . 67
4.3.2.2 Random scenario . . . . . . . . . . . . . . . . . . . . . . . 69
4.3.2.3 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . 71
4.3.3 Genetic Algorithm Evaluation . . . . . . . . . . . . . . . . . . . . . 71
4.3.3.1 Linear scenario . . . . . . . . . . . . . . . . . . . . . . . . 71
4.3.3.2 Random scenario . . . . . . . . . . . . . . . . . . . . . . . 73
4.3.3.3 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . 75
4.3.4 Algorithms comparison . . . . . . . . . . . . . . . . . . . . . . . . 75
4.3.4.1 Linear scenario . . . . . . . . . . . . . . . . . . . . . . . . 75
4.3.4.2 Random scenario . . . . . . . . . . . . . . . . . . . . . . . 78
Contents vi
4.3.5 Extended performance comparison . . . . . . . . . . . . . . . . . . 81
4.3.5.1 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . 86
5 Conclusions and Perspectives 87
5.1 Conclusion et discussions . . . . . . . . . . . . . . . . . . . . . . . . . . . 88
5.2 Future Research Directions . . . . . . . . . . . . . . . . . . . . . . . . . . 88
A Thesis Publications 90
B HAWKS Allocation Tool 91
B.1 Pattern generator . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 92
B.2 Optimization process . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 94
B.3 Showing results . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 94
C R´esum´e en Fran¸cais 96
C.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 97
C.1.1 Probl`emes et objectifs de recherche . . . . . . . . . . . . . . . . . . 101
C.1.2 Contributions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 102
C.1.3 Organisation du m´emoire . . . . . . . . . . . . . . . . . . . . . . . 104
C.2 Mod´elisation des probl`emes de placement . . . . . . . . . . . . . . . . . . 106
C.3 Algorithme de placement des ressources IaaS . . . . . . . . . . . . . . . . 117
C.3.1 Evaluation des algorithmes . . . . . . . . . . . . . . . . . . . . . . 124
C.3.1.1 Avec un sc´enario lin´eaire . . . . . . . . . . . . . . . . . . 124
C.3.1.2 Avec un sc´enario al´eatoire . . . . . . . . . . . . . . . . . 127
C.4 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 135
C.4.1 Conclusion et discussions . . . . . . . . . . . . . . . . . . . . . . . 135
C.4.2 Perspectives et axes futurs de recherche . . . . . . . . . . . . . . . 136
Bibliography 137