Méthode de dé hybride et acc l équation du Méthode de décompo hybride et accélératio l équation

210 Pages·2017·5.25 MB·French

UNNIIVVEERRSSIITTEE DD(cid:502)(cid:502)AAIX-MAAARRRSSSEEEIIILLLLLLEEE
CCCEEEAAA CCCaaadddaaarrraaaccchhheee /// DEN // DER / SSPPRRCC ///// LLLLLaaaaabbbbbooooorrrrraaaaatttttoooooiiiiirrrrreeeee ddddd(cid:502)(cid:502)(cid:502)(cid:502)(cid:502)EEEEEtttttuuuuudddddeeeeesssss PPPPPhhhhhyyyyysssssiiiiiqqqqquuuuueeeeesssss

TTThhhèèèssseee ppprrréééssseeennntttéééeee eeeeennnnn vvvvvuuuuueeeee dddddeeeee lllll(cid:502)(cid:502)(cid:502)(cid:502)(cid:502)ooooobbbbbttttteeeeennnnntttttiiiiiooooonnnnn ddddduuuuu gggggrrrrraaaaadddddeeeee dddddeeeee

DOOOCCCTTTEEEUUURRR DDDEEE LLL(cid:502)UUUNNNIIIVVVEEERRRSSSIIITTTEEE DDD(cid:502)AIIXX-MAARRSSEEIILLLLEE

DDiisscciipplliinnee : EEDD 352 - PPHHYYSSIIIQQQUUUEEE EEETTT SSSCCCIIIEEENNNCCCEEESS DDDEEE LLLAAA MMMAAATTTIIIEEERRREEE
SSppéécciiaalliittéé : EEEEEnnnnneeeeerrrrrgggggiiiiieeeee,,,,, RRRRRaaaaayyyyyooooonnnnnnnnnneeeeemmmmmeeeeennnnnttttt eeeeettttt PPPPPlllllaaaaasssssmmmmmaaaaa
NNaannss OODDRRYY

MMMMMMMMMéééééééééttttttttthhhhhhhhhooooooooodddddddddeeeeeeeee dddddddddeeeeeeeee dddddddddééééééééécccccccccooooooooommmmmmmmmpppppppppooooooooosssssssssiiiiiiiiitttttttttiiiiiiiiiooooooooonnnnnnnnn dddddddddeeeeeeeee dddddddddooooooooommmmmmmmmaaaaaaaaaiiiiiiiiinnnnnnnnneeeeeeeee aaaaaaaaavvvvvvvvveeeeeeeeeccccccccc pppppppppaaaaaaaaarrrrrrrrraaaaaaaaalllllllllllllllllléééééééééllllllllliiiiiiiiisssssssssmmmmmmmmmeeeeeeeee
hhhhhhhhhyyyyyyyyybbbbbbbbbrrrrrrrrriiiiiiiiidddddddddeeeeeeeee eeeeeeeeettttttttt aaaaaaaaaccccccccccccccccccééééééééélllllllllééééééééérrrrrrrrraaaaaaaaatttttttttiiiiiiiiiooooooooonnnnnnnnn nnnnnnnnnooooooooonnnnnnnnn llllllllliiiiiiiiinnnnnnnnnéééééééééaaaaaaaaaiiiiiiiiirrrrrrrrreeeeeeeee pppppppppooooooooouuuuuuuuurrrrrrrrr lllllllllaaaaaaaaa rrrrrrrrrééééééééésssssssssooooooooollllllllluuuuuuuuutttttttttiiiiiiiiiooooooooonnnnnnnnn dddddddddeeeeeeeee
lllll(cid:502)(cid:502)(cid:502)(cid:502)(cid:502)éééééqqqqquuuuuaaaaatttttiiiiiooooonnnnn ddddduuuuu tttttrrrrraaaaannnnnssssspppppooooorrrrrttttt SSSSS eeeennnn ggggééééoooommmmééééttttrrrriiiieeee nnnnoooonnnn-ssttrruuccttuurrééee
n

SSoouutteennuuee ppuubblliiqquueemmeenntt le 000777 oooccctttooobbbrrreee 222000111666 ddeevvaanntt llee jjuurryy ccoommppoosséé ddee :

Mme EEllssaa MERLE-LLUCOTTE PPrrooffeesssseeuurr,, GGrreennoobbllee INP PPrrééssiiddeenntt dduu jjuurryy
M. AAnnddrreeii RIINNEEIISSKKII PPrrooffeesssseeuurr,, KKKaaarrrlllsssrrruuuhhheee IIInnnssstttiiitttuuuttteee ooofff TTTeeeccchhhnnnooollloggyy RRaappppoorrtteeuurr
MM.. DDeenniiss BAARRTTHHOOUU PPPrrrooofffeeesssssseeeuuurrr,,, IIINNNRRRIIIAAA BBBooorrrdeaux RRaappppoorrtteeuurr
M. Joël RROSATO PPrrooffeesssseeuurr,, Aix-MMMaaarrrssseeeiiilllllleee UUUnnniiivvveeerrrsssiiitttééé EExxaammiinnaatteeuurr
M. Jean--François VVIDAL IInnggéénniieeuurr//cchheerrcchheeuurr,, CEA CCaaddaarraacchhee EEnnccaaddrraanntt
M. GGéérraalldd RIIMMPPAAUULLTT EEExxxpppeeerrrttt iiinnnttteeerrrnnnaaatttiiiooonnnaaalll,,, CEA CCaaddaarraacchhee DDDiiirrreeecccttteeeuuurrr dddeee ttthhhèèèssseee
M. Jean--Jacques LAAUUTTAARRDD Ingénnniiieeeuuurrr///ccchhheeerrrccchhheeeuuurrr,,, CCCEEEAAA SSaaccllaayy Invité

Résumé du travail de thèse vii

Méthode de décomposition de domaine avec parallélisme hybride et
accélération non linéaire pour la résolution de l(cid:502)équation du
transport S en géométrie non structurée
n

Les schémas de calcul déterministes sont dédiés à la résolution de l(cid:502)équation du transport. Con-
traints par les ressources informatiques disponibles, les calculs de cœurs sont traditionnellement construits
sur des approximations (décomposition réseau/cœur…). Elles permettent une modélisation à moindre coût du
comportement de la population de neutrons en réacteur. La thèse propose de revenir sur une partie de ces
sources d(cid:502)erreur, de façon à rapprocher la méthode déterministe d(cid:502)un schéma de référence. Le travail effectué
bénéficie des architectures informatiques modernes (HPC) pour résoudre le problème neutronique à l(cid:502)échelle
du cœur 3D, tout en préservant l(cid:502)opérateur de transport et une partie des hétérogénéités de la géométrie.

Dans cette optique, une méthode de décomposition de domaine en espace est retenue. En favori-
sant un recours massif au parallélisme, elle contribue à lever les contraintes en mémoire et temps de calcul.
Ce travail est réalisé au sein du solveur cœur S Minaret de la plateforme de calcul déterministe APOLLO3®.
n
Il est restreint aux géométries de réacteurs à neutrons rapides (réseau hexagonal d(cid:502)assemblages), bien que
tout concept de cœur puisse être envisagé. Nous distinguons quatre étapes :

 Une méthode de décomposition de domaine sans recouvrement est implémentée dans Minaret.
L(cid:502)idée fondamentale consiste à décomposer un problème de grande dimension en sous-problèmes « indépen-
dants » de taille réduite. La convergence vers la solution globale est assurée par échange des flux angulaires
entre sous-domaines au cours d(cid:502)un processus itératif. Un algorithme de Gauss-Jacobi par bloc est retenu.
Plusieurs stratégies d(cid:502)insertion de la décomposition de domaine dans la structure algorithmique existante ont
été envisagées. Une vérification systématique est menée par comparaison à l(cid:502)algorithme de référence. Le k
eff
et les flux sont préservés dans les marges des critères de la convergence numérique.

 Aux conditions aux limites près, chaque sous-domaine est traité indépendamment, ce qui autorise la
parallélisation de l(cid:502)algorithme. Dans l(cid:502)optique d(cid:502)un recours aux supercalculateurs, un parallélisme hybride
est retenu de façon à coupler les paradigmes de parallélisme à mémoire distribuée MPI et de parallélisme à
mémoire partagée OpenMP : des blocs de données locaux, propres à chaque sous-domaine, sont créés et
distribués sur les nœuds de calcul via des communications MPI (parallélisme de données). Les sous-
problèmes d(cid:502)un même nœud peuvent, dès lors, être traités simultanément sur les cœurs disponibles (parallé-
lisme de tâche). L(cid:502)efficacité du parallélisme ainsi obtenu est très encourageante.

 La décomposition de domaine induit un ralentissement dans la propagation de l(cid:502)information à tra-
vers le cœur. La conséquence est une augmentation significative du nombre d(cid:502)itérations par rapport à
l(cid:502)algorithme de référence. Cette pénalité de convergence se répercute directement sur les temps de calcul.
Une méthode d(cid:502)accélération non linéaire Coarse Mesh Rebalance est mise en place pour pallier à ce
problème. Elle est fondée sur l(cid:502)accélération de la résolution de l(cid:502)équation du transport par un problème
simplifié dit d(cid:502)ordre moindre. Les performances obtenues témoignent de la capacité de la méthode à compen-
ser efficacement la pénalité de convergence.

 Le potentiel du nouveau schéma de calcul est finalement mis en évidence sur un cœur CFV en 3D.
La géométrie est construite de façon à préserver l(cid:502)hétérogénéité des assemblages absorbants, ce qui suffit à
pallier aux difficultés que rencontre le schéma traditionnel pour modéliser efficacement les milieux sous-
critiques (particulièrement les effets en réactivité des barres de contrôle). Nous montrons que la décomposi-
tion de domaine parallélisée ouvre la voie au traitement de configurations plus exigeantes, dont le traitement
par le schéma standard n(cid:502)est pas assuré du fait de contraintes en mémoire ou en temps de calcul. Ces résul-
tats sont d(cid:502)autant plus encourageants que des marges de progression existent.
viii Summary of the PhD work

Domain decomposition method using a hybrid parallelism and a
low-order acceleration for solving the S neutron transport
n
equation on unstructured geometry

Deterministic calculation schemes are devised to numerically solve the neutron transport equation
in nuclear reactors. Dealing with core-sized problems is very challenging for computers, so much that the
dedicated core calculations have no choice but to allow simplifying assumptions (assembly- then core-scale
steps …). The PhD work aims at overcoming some of these approximations: thanks to important changes in
computer architecture and capacities (HPC), nowadays one can solve 3D core-sized problems, using both
high mesh refinement and the transport operator. It is an essential step forward in order to perform, in the
future, reference calculations using deterministic schemes.

This work focuses on a spatial domain decomposition method (DDM). Using massive parallelism,
DDM allows much more ambitious computations in terms of both memory requirements and calculation
time. Developments were performed inside the S core solver Minaret, from the new CEA neutronics plat-
n
form APOLLO3®. Only fast reactors (hexagonal periodicity) are considered, even if all kinds of geometries can
be dealt with, using Minaret. The work has been divided in four steps:

 The spatial domain decomposition with no overlap is inserted into the standard algorithmic struc-
ture of Minaret. The fundamental idea involves splitting a core-sized problem into smaller, independent,
spatial subproblems. Angular flux is exchanged between adjacent subdomains. In doing so, all combined
subproblems converge to the global solution at the outcome of an iterative process. Various strategies were
explored regarding both data management and algorithm design. Results (k and flux) are systematically
eff
compared to the reference in a numerical verification step.

 Introducing more parallelism is an unprecedented opportunity to heighten performances of deter-
ministic schemes. Domain decomposition is particularly suited to this. A two-layer hybrid parallelism
strategy, suited to HPC, is chosen. It benefits from the advantages of both the distributed-memory parallel-
ism MPI and the shared-memory parallelism OpenMP: local data blocks are built on each subdomain, then
distributed among computing nodes thanks to MPI communications (data parallelism). The shared-memory
parallelism is then used inside each node (task parallelism). Performances of such a strategy applied to
domain decomposition are very promising.

 The very principle of domain decomposition delays the propagation of information inside the core.
The number of iterations and the computing time both increase due to this convergence penalty. To
tackle the issue, a Coarse Mesh Rebalance acceleration method has been developed, using a low order
calculation to improve the knowledge each subdomain has of its environment. Performances show that the
acceleration can efficiently balance the convergence penalty.

 The potential of the new calculation scheme is demonstrated on a 3D core of the CFV-kind. A het-
erogeneous description of absorbent rods is kept, while fuel assemblies are homogenized. Doing so, tradition-
al difficulties of core codes to correctly model subcritical media (particularly control rods reactivity) are
overcome. We show that domain decomposition open the way to more challenging computations, that
exceed the traditional calculation capabilities in terms of memory requirements or computing time. These
results are very promising, even more so, considering that there is still room for improvement.
Remerciements ix

Remerciements

En premier lieu, je souhaite remercier l(cid:502)ensemble des membres du jury pour l(cid:502)intérêt qu(cid:502)ils ont
porté à mon travail. Merci donc à Messieurs Andreï RINEISKI et Denis BARTHOU, pour leur lecture
attentive du manuscrit, mais également pour leur ouverture d(cid:502)esprit envers un sujet parfois un peu
périphérique à leur domaine d(cid:502)expertise. De même, je remercie Monsieur Joël ROSATO d(cid:502)avoir
accepté de juger mon travail. Un grand merci à Madame Elsa MERLE-LUCOTTE, pour sa prési-
dence exemplaire du jury (jusqu(cid:502)au « y-a-t(cid:502)il un docteur dans la salle […] ? »), et plus encore pour
sa bienveillance durant toutes ces années (en GEN puis en thèse).

Je remercie chaleureusement le duo aux manettes de ce travail de thèse : Jean-François VIDAL
d(cid:502)abord, pour son optimisme, sa sérénité à toute épreuve et la confiance qu(cid:502)il m(cid:502)aura accordé tout
du long. Gérald RIMPAULT ensuite, la force tranquille, que je remercie pour son suivi attentionné
et son ouverture d(cid:502)esprit sur les questions informatiques. J(cid:502)en profite pour exprimer toute mon
amitié aux membres passés et présents du SPRC. A défaut de pouvoir citer tout le monde, je me
contenterai de remercier Cyrille DE SAINT JEAN (« capitaine, mon capitaine »), Jean TOMMASI
(par qui tout est arrivé), Gilles NOGUERE (mon premier co-bureau), Fred N(cid:502)GUYEN (et sa maîtrise
du contre-jour), Alexandra HERRENSCHMIDT et Claire BOUCHER (les petites mains du labo), ainsi
que la dream team APOLLO3 de l(cid:502)étage, en particulier Vincent (cid:501)Pascal(cid:502) ARCHIER, ft. Jean-Marc
PALAU.

Je remercie également le SERMA et l(cid:502)ensemble des équipes de développement d(cid:502)APOLLO3 pour
le chaleureux accueil qu(cid:502)ils m(cid:502)ont réservé durant ces trois années. En particulier, j(cid:502)exprime toute
ma gratitude à Jean-Jacques LAUTARD, non seulement pour sa bienveillance et son regard expert
sur mon travail - mais également pour m(cid:502)avoir laissé jouer (parfois violemment) avec son bébé - le
solveur Minaret. Merci également à Anne-Marie BAUDRON, pour sa gentillesse et ses nombreux
conseils, à Didier SCHNEIDER, pour son dynamisme et sa disponibilité, à Emiliano MASIELLO et
Erell JAMELOT pour nos conversations, ainsi qu(cid:502)à la paire Fabien/Rémi pour leur patience lors-
qu(cid:502)un commit un peu ambitieux vient corrompre la base.
x Remerciements

Je remercie de façon toute particulière mes camarades de « rez-de-sous-sol », tout à la fois
compagnons de travail, de pauses-café et de soirées, d(cid:502)excursions plus ou moins hasardeuses ou de
vacances systématiquement pluvieuses… bref, d(cid:502)instants de vie.

La légende raconte qu(cid:502)au commencement, il y avait Pascal1 et Florence2. Puis vinrent :
- Guillaume, ambassadeur Nespresso® à succès
- Léonie, co-bureau exemplaire et rempart contre les dérives sexistes
- Pierre, incarnation de la bonne humeur … et des horaires de travail extensibles
- Edwin, responsable intégration, vivre-ensemble et activités périscolaires

Dans ce terreau fertile, plusieurs générations de thésards se sont depuis épanouies. Merci donc,
pêle-mêle, à Nicholas, Luca et Juan-Pablo, pour leur sympathie toute méridionale ; à Axel L. et
ses talents de cuisiniers ; à Ludo et sa traditionnelle pause café de 18h ; à Axel R., toujours le
bienvenu au sous-sol malgré sa « différence » (le LECy, tout ça tout ça ^^) ; et à Virginie, à qui
je confie la lourde charge de veiller sur Eglantine (et inversement). Pour m(cid:502)avoir subi pendant la
rédaction, mention spéciale à Tim, trafiquant en produits du terroir et papiers en revue. Bon
courage à la relève - Bastien et Aaron en tête - et bon vent à tous les stagiaires venus égayer de
façon plus ou moins éphémère les couloirs du SPRC.

Un énorme merci à Claire pour le combo soirée jeux/lasagnes (cid:501)végétariennes(cid:502) ; à Paul R., mon
conseiller culturel ; à l(cid:502)incontournable Paul D. et ses talents de détective ^^ ; à Maxence, mes plus
belles nuits de rédaction ; à Valentin, de tous les bons plans, de tous les mauvais aussi ;) . Longue
vie à la PAST3L ! ; et bien sûr à Edwin, sans qui ces trois années auraient été bien fades.
Je vous attends tous sur Paris.

Un mot pour mon coloc(cid:502) et néanmoins docteur, David, qui m(cid:502)aura supporté (dans les deux sens
du terme) tout du long, et sera finalement parvenu à survivre trois ans en milieu hostile, entre
restrictions de chauffage, problèmes d(cid:502)étanchéité et rupture de la chaîne du froid. Merci pour tout
et à tantôt pour une raclette ou une grosse assiette de pâtes devant TPMP.

Enfin, merci à ma famille, en particulier à mes toutes petites sœurs, pour leur indéfectible soutien…

1 « Notre Père à tous », évangile selon M.M.
2 aka. florence.martin2 : amie des animaux (juments domestiques, ornithorynques priapiques et autres sgrogneu-
gneus sauvages), collectionneuse de balais (dont un véritable éclair de feu), et fervente admiratrice de Daenerys Targua-
ryen, Florence n(cid:502)aime rien tant que bouquiner à la lumière jaune d(cid:502)un lampadaire, sous le scintillement ténu d(cid:502)une
guirlande électrique ou éclairée seulement par le halo rougeâtre d(cid:502)une résistance chauffante d(cid:502)appareil à raclette.
Table des matières xi

Table des matières
Chapitre 1 : Eléments de contexte et objectifs
1. Les schémas de calcul déterministes ................................................................. 2
1.1. Les outils de simulation numérique en physique des réacteurs ....................................... 2
1.2. Deux familles de méthodes de calcul en neutronique ...................................................... 2
1.3. La structure des schémas déterministes .......................................................................... 3
1.3.1. Principes généraux .................................................................................................... 3
1.3.2. Calcul réseau ............................................................................................................. 4
1.3.3. Calcul cœur ............................................................................................................... 6
1.4. Les approximations inhérentes aux schémas déterministes ............................................ 7
2. Orientation donnée aux travaux de thèse ........................................................ 8
2.1. Objectifs généraux .......................................................................................................... 8
2.2. Opportunités .................................................................................................................. 9
2.3. Contraintes imposées .................................................................................................... 11
2.4. Orientation retenue et structure du travail réalisé ....................................................... 11
2.4.1. Méthode de décomposition de domaine ................................................................... 12
2.4.2. Vers un parallélisme massif ..................................................................................... 12
2.4.3. Une nécessaire accélération de la convergence ........................................................ 13
2.4.4. Applications à la simulation d(cid:502)un cœur CFV .......................................................... 13
Structure du présent manuscrit .................................................................................. 14

Chapitre 2 : Méthodes numériques pour l'équation du transport
1. Dérivation de l(cid:502)équation de Boltzmann .......................................................... 19
1.1. Grandeurs d(cid:502)intérêt et notations .................................................................................. 19
1.1.1. Espace des phases ................................................................................................... 19
1.1.2. Notions de section efficace ...................................................................................... 19
1.2. Flux neutronique .......................................................................................................... 20
1.3. Bilan du nombre de neutrons ....................................................................................... 22
1.3.1. Approximations usuelles .......................................................................................... 22
1.3.2. Construction du bilan neutronique.......................................................................... 22
1.3.3. Conditions aux limites ............................................................................................ 24
1.4. Approximation stationnaire .......................................................................................... 25
1.5. Traitement de l(cid:502)opérateur de transfert ......................................................................... 26
xii Table des matières

1.6. Approximation de la diffusion ...................................................................................... 27
2. Résolution numérique de l(cid:502)équation du transport .......................................... 28
2.1. Méthode des itérations de la puissance ......................................................................... 29
2.2. Discrétisation multigroupe ........................................................................................... 29
2.3. Résolution du système multigroupe .............................................................................. 30
2.4. Discrétisation de la variable angulaire .......................................................................... 32
2.5. Discrétisation de la variable spatiale ............................................................................ 34
2.5.1. Caractéristiques générales du maillage Minaret ...................................................... 34
2.5.2. Les éléments finis de Galerkin discontinus .............................................................. 35
2.5.3. Balayage ad hoc des mailles spatiales et intégration au schéma ............................. 39
Résumé du chapitre ..................................................................................................... 41

Chapitre 3 : Méthodes de décomposition de domaine
1. Principes généraux de la décomposition de domaine ...................................... 45
1.1. Méthodes de Schwarz – DDM avec recouvrement ........................................................ 45
1.1.1. Principe fondamental .............................................................................................. 45
1.1.2. Méthodes de Schwarz additives et multiplicatives ................................................... 46
1.1.3. Parallèle entre méthodes de Schwarz alternées et algorithmes de Gauss ................ 47
1.1.4. Intérêt du recouvrement .......................................................................................... 49
1.1.5. Partition sans recouvrement et modifications des conditions aux limites ............... 50
1.2. Application à l(cid:502)équation du transport des neutrons ..................................................... 51
1.2.1. Adaptation à l(cid:502)équation du transport neutronique .................................................. 51
1.2.2. Structure donnée à la décomposition de domaine ................................................... 53
1.3. Panorama des décompositions de domaine dans la littérature ..................................... 56
2. Intégration de la décomposition de domaine dans Minaret ............................ 57
2.1. Pré-requis au calcul Minaret ........................................................................................ 57
2.1.1. Calculs d(cid:502)autoprotection aux résonances ................................................................. 58
2.1.2. Construction de la géométrie .................................................................................. 58
2.2. Décomposition en sous-problèmes ................................................................................ 59
2.2.1. Construction modulaire du cœur ............................................................................. 59
2.2.2. Maillage de la géométrie ......................................................................................... 60
2.2.3. Restriction des données propres au sous-domaine ................................................... 60
2.3. Un algorithme de Jacobi par bloc................................................................................. 63
2.3.1. Une DDM itérative en deux étapes ......................................................................... 63