Isolated Actors for Race-Free Concurrent Programming - Infoscience

173 Pages·2010·0.64 MB·English

Isolated Actors for Race-Free Concurrent Programming
THÈSE NO 4874 (2010)
PRÉSENTÉE LE 26 NOVEMBRE 2010
À LA FACULTÉ INFORMATIQUE ET COMMUNICATIONS
LABORATOIRE DE MÉTHODES DE PROGRAMMATION 1
PROGRAMME DOCTORAL EN INFORMATIQUE, COMMUNICATIONS ET INFORMATION
ÉCOLE POLYTECHNIQUE FÉDÉRALE DE LAUSANNE
POUR L'OBTENTION DU GRADE DE DOCTEUR ÈS SCIENCES
PAR
Philipp HALLER
acceptée sur proposition du jury:
Prof. B. Faltings, président du jury
Prof. M. Odersky, directeur de thèse
Prof. D. Clarke, rapporteur
Prof. V. Kuncak, rapporteur
Prof. P. Müller, rapporteur
Suisse
2010
ii
Abstract
Message-based concurrency using actors has the potential to scale from multi-
core processors to distributed systems. However, several challenges remain until
actor-basedprogrammingcanbeappliedonalargescale.
First, actor implementations must be efficient and highly scalable to meet the
demands of large-scale distributed applications. Existing implementations for
mainstream platforms achieve high performance and scalability only at the cost
of flexibility and ease of use: the control inversion introduced by event-driven
designs and the absence of fine-grained message filtering complicate the logic of
applicationprograms.
Second,commonrequirementspertainingtoperformanceandinteroperability
makeprogramspronetoconcurrencybugs: reusingcodethatreliesonlower-level
synchronizationprimitivesmayintroducelivelocks;passingmutablemessagesby
referencemayleadtodataraces.
ThisthesisdescribesthedesignandimplementationofScalaActors. Oursys-
tem offers the efficiency and scalability required by large-scale production sys-
tems,insomecasesexceedingtheperformanceofstate-of-the-artJVM-basedac-
tor implementations. At the same time, the programming model (a) avoids the
control inversion of event-driven designs, and (b) supports a flexible message re-
ception operation. Thereby, we provide experimental evidence that Erlang-style
actorscanbeimplementedonmainstreamplatformswithonlyamodestoverhead
compared to simpler actor abstractions based on inversion of control. A novel
integrationofevent-basedandthread-basedmodelsofconcurrencyenablesasafe
reuseoflock-basedcodefrominsideactors.
Finally, we introduce a new type-based approach to actor isolation which
avoids data races using unique object references. Simple, static capabilities are
used to enforce a flexible notion of uniqueness and at-most-once consumption of
uniquereferences. Ourmainpointofinnovationisanovelwaytosupportinternal
aliasing of unique references which leads to a surprisingly simple type system,
for which we provide a complete soundness proof. Using an implementation as
a plug-in for the EPFL Scala compiler, we show that the type system can be in-
tegrated into full-featured languages. Practical experience with collection classes
iii
iv ABSTRACT
and actor-based concurrent programs suggests that the system allows type check-
ingreal-worldScalacodewithonlyfewchanges.
Keywords: Concurrentprogramming,actors,threads,events,joinpatterns,chords,
aliasing,lineartypes,uniquepointers,capabilities
Kurzfassung
NachrichtenbasierteNebenläufigkeitmitAktorenhatdasPotentialvonMehrkern-
Prozessoren hin zu verteilten System zu skalieren. Es gibt jedoch noch mehrere
Herausforderungen zu meistern bis aktorenbasierte Programmierung im grossen
Massstabangewandtwerdenkann.
ZumeinenwerdeneffizienteImplementierungenbenötigt,diehochgradigskalier-
bar sind, um den Anforderungen moderner verteilter Anwendungen gerecht zu
werden. Existierende Implementierungen für verbreitete Plattformen erreichen
hoheLeistungundSkalierbarkeitnuraufKostenvonFlexibilitätundBenutzbarkeit:
DieSteuerfluss-Inversion,dieereignisbasierteEntwürfemitsichbringen,unddas
Fehlen von feingranularer Nachrichtenfilterung führen oft dazu, dass die Anwen-
dungslogikdeutlichkomplizierterwird.
Zum anderen bringen Leistungs- und Interoperabilitätsanforderungen oft eine
erhöhte Anfälligkeit für Synchronisierungsfehler mit sich: Die Wiederverwen-
dung von Quellcode, der auf Synchronisierungsmechanismen einer niedrigeren
Abstraktionsebene basiert, kann Livelocks zur Folge haben; das Senden von Ref-
erenzenaufnichtkonstanteDatenalsNachrichtenkannzuDataracesführen.
DieseDissertationbeschreibtdenEntwurfunddieImplementierungvonScala
Actors. Unser System stellt die Effizienz und Skalierbarkeit zur Verfügung, die
fürgrosseSystemeinProduktionsumgebungenerforderlichist,wobeiinmanchen
FällendieLeistungandererJavabasierterAktorimplementierungendeutlichübertrof-
fenwird. GleichzeitigwirdvomProgrammiermodell(a)dieSteuerfluss-Inversion
ereignisbasierterEntwürfevermieden,und(b)eineflexibleNachrichtenempfang-
soperation unterstützt. Damit zeigen wir mit Hilfe experimenteller Ergebnisse,
dass Erlang-Aktoren mit nur geringem Overhead im Vergleich zu einfacheren
Programmiermodellen, die auf Steuerfluss-Inversion basieren, auf weitverbreit-
eten Plattformen implementiert werden können. Eine neuartige Integration von
ereignisbasiertenundthreadbasiertenNebenläufigkeitsmodellenerlaubteinesichere
WiederverwendungvonlockbasiertemQuellcodeinnerhalbvonAktoren.
ImletztenTeilderDissertationführenwireinenneuentypbasiertenAnsatzzur
Isolierung von Aktoren ein, bei dem Dataraces mit Hilfe von eindeutigen Objek-
treferenzen vermieden werden. Einfache, statische Capabilities werden genutzt
v
vi KURZFASSUNG
um sowohl eine flexible Form von Referenzeindeutigkeit als auch den höchstens
einmaligen Verbrauch eindeutiger Referenzen sicherzustellen. Unsere wichtig-
ste Innovation ist eine neuartige Methode, internes Aliasing eindeutiger Referen-
zen zu erlauben, was zu einem erstaunlich einfachen Typsystem führt; wir stellen
einenvollständigenBeweisderTypsicherheitunseresSystemszurVerfügung. Mit
HilfeeinerImplementierungalsPluginfürdenEPFLScala-Compilerzeigenwir,
dass das Typsystem in umfangreiche, produktionsreife Sprachen integriert wer-
den kann. Praktische Experimente mit Collections und aktorbasierten, nebenläu-
figenProgrammenzeigen,dassdasSystemdieTypprüfungpraktischbenutzbaren
Scala-Quellcodeserlaubt,wobeinurwenigezusätzlicheÄnderungenbenötigtwer-
den.
Stichwörter: NebenläufigeProgrammierung,Aktoren,Threads,Ereignisse,Join-
Kalkül, Chords, Alias-Analyse, Lineare Typen, Eindeutige Referenzen, Capabili-
ties
Acknowledgements
I am deeply indebted to my advisor Martin Odersky for his support and insight,
without which this dissertation would not have been possible. More than once
he encouraged me to work out another less-than-half-baked idea which ended up
gettingpublished,andeventuallyformedtheheartofthisthesis.
I’d like to thank the past and present members of the Scala team at EPFL for
providinganoutstandingresearchenvironment.
I want to thank Tom Van Cutsem for sharing his passion for concurrent pro-
gramming, and for his contributions to a joint paper which forms the basis of
chapter3ofthisdissertation.
I’dalsoliketothankmyothercommitteemembersDaveClarke,PeterMüller,
and Viktor Kuncak for their time and helpful feedback on drafts of the material
presentedinthisdissertation.
Finally,mydeepestthanksgotomyfamilyandfriendsforenjoyingthehighs
ofdoctoralschooltogetherwithme,andforsupportingmeduringtheunavoidable
lows.
vii
viii ACKNOWLEDGEMENTS
List of Figures
2.1 Example: ordersandcancellations . . . . . . . . . . . . . . . . . 10
2.2 Extendingactorswithnewbehavior . . . . . . . . . . . . . . . . 14
2.3 Extending the ManagedBlocker trait for implementing blocking
actoroperations . . . . . . . . . . . . . . . . . . . . . . . . . . . 23
2.4 Producerthatgeneratesallvaluesinatreeinin-order . . . . . . . 24
2.5 Implementationoftheproducerandcoordinatoractors . . . . . . 25
2.6 Implementationofthecoordinatoractorusingreact . . . . . . . . 25
2.7 Thread-basedpipes . . . . . . . . . . . . . . . . . . . . . . . . . 27
2.8 Event-drivenpipes . . . . . . . . . . . . . . . . . . . . . . . . . 28
2.9 Actor-basedpipes . . . . . . . . . . . . . . . . . . . . . . . . . . 30
2.10 Throughput(numberofmessagepassespersecond)whenpassing
asinglemessagearoundaringofprocesses . . . . . . . . . . . . 34
2.11 Networkscalabilitybenchmark,single-threaded . . . . . . . . . . 36
2.12 Networkscalabilitybenchmark,multi-threaded . . . . . . . . . . 37
3.1 Theabstractsuperclassofsynchronousandasynchronousevents . 53
3.2 Aclassimplementingsynchronousevents . . . . . . . . . . . . . 54
4.1 Runningtestsandreportingresults . . . . . . . . . . . . . . . . . 66
4.2 Comparing (a) external uniqueness and (b) separate uniqueness
(⇒uniquereference,→legalreference,(cid:57)(cid:57)(cid:75)illegalreference) . . 68
4.3 Corelanguagesyntax . . . . . . . . . . . . . . . . . . . . . . . . 73
4.4 Syntaxforheaps,environments,anddynamiccapabilities . . . . . 75
4.5 Languagesyntaxextensionforconcurrentprogrammingwithactors 89
4.6 Concurrentprogramshowingtheuseofactor,receive,andthe
sendoperator(!). . . . . . . . . . . . . . . . . . . . . . . . . . . 90
4.7 Definitionsofauxiliarypredicatesforwell-formedactors . . . . . 94
4.8 Leakingamanagedresource . . . . . . . . . . . . . . . . . . . . 97
ix
x LISTOFFIGURES