Massively Parallel Multi-Objective Optimization with Application to Particle Accelerators

160 Pages·2013·2.84 MB·English

by  Yves Ineichen

ETH Library
Toward massively parallel multi-
objective optimization with
application to particle accelerators
Doctoral Thesis
Author(s):
Ineichen, Yves
Publication date:
2013
Permanent link:
https://doi.org/10.3929/ethz-a-009792359
Rights / license:
In Copyright - Non-Commercial Use Permitted
This page was generated automatically upon download from the ETH Zurich Research Collection.
For more information, please consult the Terms of use.
DISS. ETH NO. 21114
TOWARD MASSIVELY PARALLEL
MULTI-OBJECTIVE OPTIMIZATION WITH
APPLICATION TO PARTICLE ACCELERATORS
A dissertation submitted to
ETH ZURICH
for the degree of
Doctor of Sciences
presented by
YVES INEICHEN,
Master of Science ETH in Computer Science, ETH Zu(cid:127)rich
born on April 5th, 1982
citizen of Eglisau, Switzerland
accepted on the recommendation of
Prof. Dr. Peter Arbenz, examiner
Prof. Dr. Lothar Thiele, co-examiner
Dr. Andreas Adelmann, co-examiner
Dr. Costas Bekas, co-examiner
2013
Abstract
Particle accelerators are invaluable tools for research in the basic and applied
sciences,in(cid:12)eldssuchasmaterialsscience,chemistry,thebiosciences,particle
physics, nuclear physics and medicine. The successful design, commission,
and operation of accelerator facilities is a non-trivial problem. Today, tuning
machineparameters,i.e.,bunchcharge,emissiontimeandvariousparameters
ofbeamlineelements,ismostcommonlydonemanuallybyrunningsimulation
codestoscantheparameterspace. Thisapproachistedious,timeconsuming
andcanbeerrorprone. Inordertobeabletoautomatetheprocessofreliably
identifyingoptimalcon(cid:12)gurationsofacceleratorsweproposetoformulatethe
investigation for an optimal set of tuning parameters as a large-scale multi-
objective design optimization problem.
This involves signi(cid:12)cant computer modeling using accelerator simulation
codes such as PSI’s OPAL (Object Oriented Parallel Accelerator Library)
framework. Despite the fact that these codes are parallel, typical simulation
parameters(e.g.asmallnumberofmacroparticlesandmeshsize)forindivid-
ual runs, limit their scalability to several hundred or a few thousand proces-
sors. This represents a strong impediment in view of the petascale regime,
therefore parallelization on multiple levels, e.g. running multiple parallel sim-
ulations in parallel, becomes a necessity. On the other hand, introducing a
low-dimensional scalable model enables multi-resolution simulation runs.
Wepresentageneral-purposeframeworkforsimulation-basedmulti-objective
optimizationmethodsthatallowstheautomaticinvestigationofoptimalsetsof
machineparameters. Theimplementationisbasedonamaster/slaveparadigm,
employing several masters and groups of workers to prevent communication
hot-spots at master processes. In addition, we exploit information about the
underlying network topology when placing master processes and assigning
roles. Solutionstatesareexchangedbetweenmastersinarumorroutingfash-
ion on a social network graph using one-sided communication.
UsingevolutionaryalgorithmsandOPALsimulationsasoptimizerandfor-
ward solver in our framework, we demonstrate the feasibility and scalability
of our approach on real applications in the domain of particle accelerators.
ii
Zusammenfassung
Neben ihrer fundamentalen Bedeutung innerhalb der theoretischen Grundla-
genforschung besitzten Teilchenbeschleuniger eine gleichwertige Relevanz fu(cid:127)r
die angwandten Wissenschaften. Das Design, die Inbetriebnahme sowie der
permanenteBetriebeinesTeilchenbeschleunigersstelleneinenkomplexenProb-
lembereich dar. Die Feineinstellung der Parameter eines Teilchenbeschleu-
nigers, wie zum Beispiel die Teilchenladung, die Emissionszeit sowie zahlre-
icheandereParameterderBeamlineElemente,werdenheutzutagemeistdurch
manuellesAbsuchendesParameterraumesmitHilfevonSimulationenerreicht.
Dieser Vorgang ist oft sehr zeitraubend sowie fehleranf(cid:127)allig. In dieser Arbeit
formulieren wir diesen Prozess als multikriterielle Design- Optimierungsprob-
leme, welche anschliessend mit Hilfe von multikriteriellen Optimierungsver-
fahren gel(cid:127)ost werden k(cid:127)onnen. Mit diesem Ansatz scha(cid:11)en wir eine automa-
tisierteundzuverla(cid:127)ssigeGrundlagefu(cid:127)rdasBestimmenvonoptimalenKon(cid:12)g-
urationen von Teilchenbeschleuniger.
DieRealisierungsolcherL(cid:127)osungsansa(cid:127)tzebedingtdieVerfu(cid:127)gbarkeitvonkom-
plexenRechenmodellen,wiebeispielsweisedieamPSIentwickelteTeilchensim-
ulationOPAL(ObjectOrientedParallelAcceleratorLibrary). Trotzderschon
vorhandenen Parallelisierung der Implementierung wird die Skalierung von
typischen Simulationsparametern (zum Beispiel eine geringe Anzahl Makro-
partikel und eine kleine Gittergr(cid:127)osse) auf einige tausend Prozessoren limi-
tiert. Dies ist ein grosses Hindernis im Zeitalter der Petascale-Rechenzentren
und eine Parallelisierung auf mehreren Ebenen wird zur Notwendigkeit. Das
Einfu(cid:127)hrenvonzus(cid:127)atzlichenundparallele(cid:14)zientenModellenverschiedenerDe-
tailau(cid:13)(cid:127)osungerlaubtesunsimLaufedesOptimierungsprozesses,Teilchensim-
ulationen mit verschiedener Au(cid:13)(cid:127)osung einzusetzen.
In dieser Arbeit pr(cid:127)asentieren wir die Implementierung eines universellen
Software-frameworksfu(cid:127)rdieautomatisierteSuchenachoptimalenKon(cid:12)gurati-
onen fu(cid:127)r Teilchenbeschleuniger. Diese Implementierung basiert auf dem Mas-
ter/Slave Prinzip. Da die Netzwerkverbindungen zum Master-Knoten durch
vieleNachrichtenderzahlreichenSlavessaturiertwerden,teilenwirdieverfu(cid:127)g-
baren Knoten in Master/Slave-Gruppen ein. Fu(cid:127)r die Vergabe der Rollen
nu(cid:127)tzen wir zus(cid:127)atzliche Informationen u(cid:127)ber den Netzwerkgraph fu(cid:127)r eine op-
timalere Verteilung. Um globale Synchronisationspunkte zu vermeiden, wer-
den die Zustandsr(cid:127)aume w(cid:127)ahrend des Optimierungsvorganges mittels rumor
routing auf einem Graphen eines sozialen Netzwerks mit Hilfe von einseitiger
Kommunikation propagiert.
Die Machbarkeit und Skalierung unseres Ansatzes, unterVerwendungeines
evolution(cid:127)arenOptimierungsverfahrensundOPALalsSimulationskomponente,
wird anhand von Beispielen aus der Teilchenphysik pr(cid:127)asentiert.

Acknowledgments
First and foremost I would like to thank my supervisors Andreas Adelmann,
Peter Arbenz and Costas Bekas for their continuous support and scienti(cid:12)c
advise. I am sure that this dissertation would not have progressed so well
without their support, understanding and encouragement, I received when
tackling my research problems.
For the stimulating and informative working environment I valued and en-
joyedimmensely,IthankthemembersofalltheresearchgroupsIcouldbepart
of, in particular Alessandro Curioni, Cyril Flaig, Hua Goa, Christof Kraus,
Stefan Pauli, Erhan Turan and Markus Wittberger for many interesting and
helpful discussions on various topics.
For enriching my life and for moral support I would like to thank all the
centralnodesinmysocialnetworkgraph,mostnotablySimon,Andrea,Andy,
Bj(cid:127)orn, Boris, Chrissy, Daniel, Daniela, Marc, Mark, Martin, Robi, Roby, Ro-
man, Tom C. and Tom D.
Last but not least I would like to show my gratitude to my parents, Beat
andEvaandmybrotherChristianfortheirrichandplentifulsupportoverthe
years.
January 2013
v

Contents
1 Introduction 1
1.1 Motivation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1
1.2 State-of-the-Art Multi-Objective Optimization Approaches . . 4
1.3 Related Work . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8
1.4 Contributions . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9
1.5 Thesis Outline . . . . . . . . . . . . . . . . . . . . . . . . . . . 10
2 Multi-Objective Optimization 13
2.1 De(cid:12)nition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13
2.2 Pareto Optimality . . . . . . . . . . . . . . . . . . . . . . . . . 14
2.3 Solution Approaches: An Overview . . . . . . . . . . . . . . . . 18
2.4 Evolutionary Algorithms . . . . . . . . . . . . . . . . . . . . . . 19
2.4.1 The PISA Framework . . . . . . . . . . . . . . . . . . . 21
2.4.2 Selector . . . . . . . . . . . . . . . . . . . . . . . . . . . 21
2.4.3 Variator . . . . . . . . . . . . . . . . . . . . . . . . . . . 24
2.4.4 Parallelization . . . . . . . . . . . . . . . . . . . . . . . 31
2.5 Validation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33
3 The Framework 37
3.1 Related Work . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38
3.2 Components and Plugins. . . . . . . . . . . . . . . . . . . . . . 40
3.3 Inter-Component Communication . . . . . . . . . . . . . . . . . 43
3.3.1 Event-Driven MPI State Machine. . . . . . . . . . . . . 43
3.3.2 Job Handling . . . . . . . . . . . . . . . . . . . . . . . . 44
3.3.3 Optimizer API . . . . . . . . . . . . . . . . . . . . . . . 45
3.3.4 Simulation API . . . . . . . . . . . . . . . . . . . . . . . 46
3.4 Optimization Problem Parser . . . . . . . . . . . . . . . . . . . 47
3.5 Parallelization. . . . . . . . . . . . . . . . . . . . . . . . . . . . 52
3.5.1 Theoretical Network Model . . . . . . . . . . . . . . . . 53
3.5.2 Communicators . . . . . . . . . . . . . . . . . . . . . . . 57
3.5.3 Solution State propagation . . . . . . . . . . . . . . . . 58
3.6 Visualization . . . . . . . . . . . . . . . . . . . . . . . . . . . . 62
4 Forward Solvers for Beam Dynamics 65
4.1 Short Introduction to Particle Accelerator Modeling . . . . . . 66
4.1.1 Objectives in Beam Dynamic Optimization Problems . 68
vii
Contents
4.2 Iterative Space-Charge Solver . . . . . . . . . . . . . . . . . . . 70
4.2.1 The Discretization . . . . . . . . . . . . . . . . . . . . . 72
4.2.2 The Solution Method . . . . . . . . . . . . . . . . . . . 75
4.2.3 Implementation Details . . . . . . . . . . . . . . . . . . 78
4.2.4 Numerical Experiments . . . . . . . . . . . . . . . . . . 79
4.2.5 Improving Domain Decomposition . . . . . . . . . . . . 86
4.3 Envelope Tracker . . . . . . . . . . . . . . . . . . . . . . . . . . 88
4.3.1 The Envelope Model . . . . . . . . . . . . . . . . . . . . 89
4.3.2 Theoretical Complexity . . . . . . . . . . . . . . . . . . 94
4.3.3 Parallelization . . . . . . . . . . . . . . . . . . . . . . . 95
5 Results & Applications 97
5.1 Parallel Performance . . . . . . . . . . . . . . . . . . . . . . . . 97
5.1.1 Iterative Space-Charge Solver . . . . . . . . . . . . . . . 98
5.1.2 Envelope Tracker . . . . . . . . . . . . . . . . . . . . . . 107
5.1.3 The Master/Slave Framework . . . . . . . . . . . . . . . 116
5.2 Application: Ferrario Matching . . . . . . . . . . . . . . . . . . 121
6 Conclusions 127
A The opt-pilot Framework 131
A.1 Building . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 131
A.1.1 Homotopic Optimizer . . . . . . . . . . . . . . . . . . . 132
A.1.2 Con(cid:12)guring . . . . . . . . . . . . . . . . . . . . . . . . . 132
A.2 Environment and Command Line Arguments . . . . . . . . . . 133
A.2.1 The Drivers . . . . . . . . . . . . . . . . . . . . . . . . . 134
A.2.2 Installing a Selector . . . . . . . . . . . . . . . . . . . . 134
A.3 Documentation . . . . . . . . . . . . . . . . . . . . . . . . . . . 134
B Visualization Tools 135
B.1 Python Visualization Script . . . . . . . . . . . . . . . . . . . . 135
B.1.1 Installation . . . . . . . . . . . . . . . . . . . . . . . . . 135
B.1.2 Command Line Arguments . . . . . . . . . . . . . . . . 135
B.1.3 Values of Design Variables . . . . . . . . . . . . . . . . . 136
B.2 Pareto Explorer . . . . . . . . . . . . . . . . . . . . . . . . . . . 136
B.2.1 Installation . . . . . . . . . . . . . . . . . . . . . . . . . 137
B.2.2 File Format . . . . . . . . . . . . . . . . . . . . . . . . . 137
Bibliography 139
Curriculum Vitae 149
viii
Symbols
(cid:12) speed relative to speed of light
? boolean false
(cid:13) Lorentz factor
R reel numbers
Z integers
B magnetic (cid:12)eld
E electric (cid:12)eld
(cid:22) dominance relation operator
(cid:27) root mean square of particle beam size
> boolean true
c speed of light
Q bunch charge
x(cid:3) Pareto optimal solution to a given problem
i
xj i-th gene value of individual j
i
h(cid:1)i average over time
ix