Probabilistic Models of Partial Order Enforcement in Distributed Systems

142 Pages·2017·4.23 MB·French

by  Jordi Martori Adrian

Probabilistic Models of Partial Order Enforcement in
Distributed Systems
Jordi Martori Adrian
To cite this version:
Jordi Martori Adrian. Probabilistic Models of Partial Order Enforcement in Distributed Systems.
Distributed, Parallel, and Cluster Computing [cs.DC]. Université de Lorraine, 2017. English. ￿NNT:
2017LORR0040￿. ￿tel-01649866￿
HAL Id: tel-01649866
https://theses.hal.science/tel-01649866
Submitted on 27 Nov 2017
HAL is a multi-disciplinary open access L’archive ouverte pluridisciplinaire HAL, est
archive for the deposit and dissemination of sci- destinée au dépôt et à la diffusion de documents
entific research documents, whether they are pub- scientifiques de niveau recherche, publiés ou non,
lished or not. The documents may come from émanant des établissements d’enseignement et de
teaching and research institutions in France or recherche français ou étrangers, des laboratoires
abroad, or from public or private research centers. publics ou privés.
AVERTISSEMENT

Ce document est le fruit d'un long travail approuvé par le jury de
soutenance et mis à disposition de l'ensemble de la
communauté universitaire élargie.

Il est soumis à la propriété intellectuelle de l'auteur. Ceci
implique une obligation de citation et de référencement lors de
l’utilisation de ce document.

D'autre part, toute contrefaçon, plagiat, reproduction illicite
encourt une poursuite pénale.

Contact : [email protected]

LIENS

Code de la Propriété Intellectuelle. articles L 122. 4
Code de la Propriété Intellectuelle. articles L 335.2- L 335.10
http://www.cfcopies.com/V2/leg/leg_droi.php
http://www.culture.gouv.fr/culture/infos-pratiques/droits/protection.htm
E´cole doctorale IAEM Lorraine
Probabilistic Models of Partial Order
Enforcement in Distributed Systems
`
THESE
pr´esent´ee et soutenue publiquement le 12 juin 2017
pour l’obtention du
Doctorat de l’Universit´e de Lorraine
(mention Informatique)
par
Jordi Martori Adrian
Composition du jury
Rapporteurs : Maria POTOP BUTUCARU
Weihai YU
Examinateurs : Hala SKAF
Marine MINIER
Directeur de thèse : Franc¸ois CHAROY
Co-Directeur de thèse : Pascal URSO
Laboratoire Lorrain de Recherche en Informatique et ses Applications — UMR 7503
Mis en page avec la classe thesul.
3
“The point isn’t to win?” I asked.
“The point,” Bredon said grandly, “is to
playabeautifulgame.” Heliftedhishands
and shrugged, his face breaking into a
beatific smile. “Why would I want to win
anything other than a beautiful game?”
The Wise Man’s Fear
Patrick Rothfuss
4
Contents
1 Introduction 21
2 Background 27
2.1 Reliability . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28
2.1.1 Failure Classification . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28
2.1.2 Message Acknowledgment . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29
2.1.3 Multicast Messaging . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31
2.2 Consistency Models . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33
2.2.1 Strong Consistency . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 34
2.2.2 Weak Consistency . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 34
2.3 Consistency Management Algorithms . . . . . . . . . . . . . . . . . . . . . . . . . . . 38
2.3.1 Consensus . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38
2.3.2 2PC . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39
2.3.3 Paxos . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39
2.3.4 Quorum . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41
2.3.5 CRDT . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41
2.3.6 Bounding divergence . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42
3 Theoretical Models 45
3.1 Notation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 46
3.2 System Model . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47
3.2.1 Latency Model . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 48
3.2.2 Visibility . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 48
3.3 Equations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49
3.3.1 Sending to 1 or P2P . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 50
3.3.2 Sending to n-1 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 50
5
6 CONTENTS
3.3.3 Reception from n-1 (for n = 3) . . . . . . . . . . . . . . . . . . . . . . . . . . 51
3.3.4 Reception from n-1 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 53
3.4 Partial Orders. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 53
3.4.1 FIFO . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 53
3.4.2 Causal . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 55
3.5 Generalization . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 57
3.5.1 Window of events . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 57
3.5.2 Rate op for Delta . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 58
3.5.3 FIFO . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 58
3.5.4 Causal . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 59
3.6 Reactive Error Recovery . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 61
3.6.1 Mechanism description . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 61
3.6.2 Probability of False Positives . . . . . . . . . . . . . . . . . . . . . . . . . . . 62
4 Simulations 65
4.1 Structure . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 66
4.1.1 Input parameters . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 66
4.1.2 Data Generation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 68
4.1.3 Partial Order enforcement . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 69
4.1.4 Result analysis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 69
4.2 Equation Experiments . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 71
4.2.1 Statistical Error between Equations and Simulations . . . . . . . . . . . . . . 71
4.2.2 Impact of partial order enforcement . . . . . . . . . . . . . . . . . . . . . . . 79
4.3 RER Experiments . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 85
5 Experimental Validation 89
5.1 Motivations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 90
5.2 Experimental Setup . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 90
5.2.1 AWS . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 91
5.2.2 Parameters . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 94
5.2.3 Data Recovered . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 95
5.3 Results. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 96
5.3.1 Data Processing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 96
5.3.2 Single Datacenter. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 97
5.3.3 Multiple Datacenters . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 103
CONTENTS 7
5.3.4 Fitting . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 105
5.4 Limitations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 110
5.4.1 Global Clock . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 110
5.4.2 Performance . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 110
5.4.3 Not a real case-study. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 110
6 Conclusions 113
6.1 Future Works . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 114
Bibliography 116
List of Figures 127
List of Tables 129
List of Algorithms 131
Appendices 133
A Proof 135
A.1 Reception in n nodes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 135
A.2 Reception in 3 nodes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 136
A.3 Window of Events Exponential Distribution . . . . . . . . . . . . . . . . . . . . . . . 137
A.4 Window of Events Pareto Distribution . . . . . . . . . . . . . . . . . . . . . . . . . . 138
A.5 Reception Equivalence . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 139
A.6 Quantile Equivalence . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 140
8 CONTENTS