Machine learning spatial appliquée aux images multivariées et multimodales

196 Pages·2017·28.16 MB·French

THÈSE DE DOCTORAT

de l’Université de recherche Paris Sciences et Lettres 
PSL Research University

Préparée à MINES ParisTech

Spatial machine learning applied to multivariate and multimodal
images
Machine learning spatial appliquée aux images multivariées et
multim odales
Ecole doctorale n°432

SCIENCES DES METIERS DE L’INGENIEUR

Spécialité MORPHOLOGIE MATHEMATIQUE

COMPOSITION DU JURY :

Mme. Isabelle BLOCH

Institut Mines-Telecom, Telecom

ParisTech, Présidente du jury

M. Gustau CAMPS-VALLS
Universitat de València, Rapporteur 

M. Ludovic MACAIRE
Université Lille1, Rapporteur 

M. Stéphane MALLAT
Soutenue par Gianni FRANCHI Ecole normale supérieure, PSL Research

University, Membre du jury
le 21 septembre 2016

h M. Maxime MOREAUD

IFP Energies nouvelles, Membre du jury

Dirigée par Jesús Angulo
M. Jesús ANGULO

Mines ParisTech, Membre du jury

h

Remerciements
J’aimerais tout d’abord remercier mon directeur de th`ese, Jesus Angulo, pour
son encadrement hors pair. Ainsi que pour la confiance qu’il m’a accord´ee en ac-
ceptant de m’encadrer, et pour toutes les heures qu’il a consacr´ees a` me diriger, a`
m’aider et a` me conseiller durant mes recherches. Sa grande disponibilit´e et ainsi
que nos nombreux ´echanges m’ont permis de mieux d´efinir mon projet. Je souhaite
´egalement remercier Maxime Monreaud et Lo¨ıc Sorbier, mes encadrants a` IFP En-
ergie Nouvelles, pour leur aide et leurs conseils tout au long de ma th`ese, ainsi que
leurimplicationtoutaulongdemonprojetquiapermisderendrepossiblebeaucoup
de nos id´ees.
Ce travail n’aurait pas ´et´e possible sans les Mines ParisTech, IFP Energie Nou-
vellesainsiquedel’associationdesanciensdesMinesParisTech, quigraˆce`aleursou-
tienfinancierm’ontpermisdemeconsacrersereinementa`mestravauxderecherches.
Je remercie ´egalement les membres de mon jury de th`ese pour avoir formul´e
des critiques constructives et pour leurs conseils. Je remercie Isabelle Bloch d’avoir
accept´e de pr´esider ce dernier, ainsi que Gustau Camps-Valls et Ludovic Macaire
pour avoir accept´e d’ˆetre les rapporteurs de mon manuscrit. Ma reconnaissance se
porte aussi a` l’attention de St´ephane Mallat qui a accept´e d’ˆetre membre de mon
jury de th`ese.
Je remercie de plus l’ensemble des personnes qui ont contribu´e d’une mani`ere ou
d’une autre a` ce projet de th`ese. Je n’aurais jamais pu r´ealiser ce travail doctoral
sans les formations fournies par les Mines ParisTech ainsi que celles du Master MVA
de l’ENS Cachan. Je souhaite donc remercier l’ensemble des professeurs ou membres
du personnel de ces formations avec qui j’ai int´eragi.
Pendant mon doctorat j’ai eu l’occasion de faire un ´echange au d´epartement
de statistique de l’universit´e d’Oxford. Je souhaiterais remercier mes coll`egues
de l’universit´e d’Oxford, et en particulier Dino Sejdinovic pour avoir accept´e de
m’encadrer, pour sa confiance ainsi que pour toute l’aide qu’il m’a fourni.
De plus, durant ces trois ans sur le site des Mines de Paris a` Fontainebleau j’ai
eu l’occasion de cotoyer de nombreux coll`egues. J’aimerais remercier en particulier
mes coll`egues de G´eostatistics et CBIO, et en particulier Emilie Chautru, Christian
Lantuejoul ainsi que Jean-Philippe Vert pour avoir pris du temps pour r´epondre a`
toutes mes questions.
Je remercie ensuite les membres du CMM. Je tiens `a les remercier pour leur
accueil, leur aide, ainsi que pour les differents ´echanges que j’ai eu avec eux qui
ont ´et´e une source d’enrichissement, a` la fois sur le plan scientifique et humain.
Je tiens a` remercier: Michel Bilodeau, Serge Beucher, Etienne Decenci`ere, Petr
Dokladal, Dominique Jeulin, Beatriz Marcotegui, Fernand Meyer, Fran¸cois Willot,
Bruno Figliuzzi, Santiago Velasco-Forero, Serge Koudoro, Matthieu Faessel. Un
grand merci ´egalement a` Catherine Moysan et a` Anne-Marie de Castro pour leur
accompagnement dans toutes les d´emarches administratives et leur bienveillance.
Je remercie enfin les th´esards et post-doctorants que j’ai cotoy´e au Mines Paris-
Tech Fontainebleau ainsi qu’a` Paris. Je les remercie pour leur g´en´erosit´e, leur bonne
humeur, leur amiti´e, leur cours de salsa, leurs tricheries r´ep´et´ees en soir´ee jeu, leur
manque de talent culinaire ( surtout quand il s’agit de faire des paˆtes), leurs soir´ees
crˆepes excellentes, leurs soir´ees repas cens´ees commencer a` 20:30 mais qui finalement
commencent a` 23:30, leurs critiques intempestives sur ma fa¸con de conduire, leur
mauvais niveau en ski, de m’avoir enseign´e l’escalade, et enfin pour m’avoir oubli´e a`
IKEA.... Pour tout ¸ca je remercie Amin, Aur´elie, Bassam, Benjamin, Daniele, Elise,
Emmanuel, Enguerrand, Haisheng, Joris, Jean Baptiste, Jean-Charles, Lydia, Luc,
Mauro, S´ebastien, Serge, Simona, Th´eodore et Va¨ıa. Vous avez su rendre magique
mon exp´erience a` Fontainebleau.
Je remercie ´egalement tous mes autres amis : Anais, Basile, Bastien, Franck,
Giancarlo, Guillaume, Jeremy, Laura, Laurent, Marco, Marion, Xavier.
Enfin, je remercie l’ensemble des personnes de ma famille qui m’ont soutenu au
cours de mes ´etudes et dans mon projet de th`ese.
Abstract
This thesis focuses on multivariate spatial statistics and machine learning applied to
hyperspectral and multimodal and images in remote sensing and scanning electron
microscopy (SEM). In this thesis the following topics are considered:
Fusion of images:
SEM allows us to acquire images from a given sample using different modali-
ties. The purpose of these studies is to analyze the interest of fusion of infor-
mation to improve the multimodal SEM images acquisition. We have modeled
and implemented various techniques of image fusion of information, based in
particular on spatial regression theory. They have been assessed on various
datasets.
Spatial classification of multivariate image pixels:
We have proposed a novel approach for pixel classification in multi/hyper-
spectral images. The aim of this technique is to represent and efficiently
describethespatial/spectralfeaturesofmultivariateimages. Thesemulti-scale
deepdescriptorsaimatrepresentingthecontentoftheimagewhileconsidering
invariances related to the texture and to its geometric transformations.
Spatial dimensionality reduction:
We have developed a technique to extract a feature space using morphological
principal component analysis. Indeed, in order to take into account the spatial
and structural information we used mathematical morphology operators
Keywords
Image processing, Machine learning, Kernel methods, Mathematical morphology,
Principal Component Analysis, Support Vector Machine, Deep learning, Scattering
transform, Kriging
R´esum´e
Cette th`ese porte sur la statistique spatiale multivari´ee et l’apprentissage appliqu´es
aux images hyperspectrales et multimodales. Les th`emes suivants sont abord´es :
Fusion d’images :
Le microscope ´electronique `a balayage (MEB) permet d’acqu´erir des images `a
partir d’un ´echantillon donn´e en utilisant diff´erentes modalit´es. Le but de ces
´etudes est d’analyser l’int´erˆet de la fusion de l’information pour am´eliorer les
images acquises par MEB. Nous avons mis en oeuvre diff´erentes techniques de
fusion de l’information des images, bas´ees en particulier sur la th´eorie de la
r´egression spatiale. Ces solutions ont ´et´e test´ees sur quelques jeux de donn´ees
r´eelles et simul´ees.
Classification spatiale des pixels d’images multivari´ees :
Nous avons propos´e une nouvelle approche pour la classification de pixels
d’images multi/hyper-spectrales. Le but de cette technique est de repr´esenter
et de d´ecrire de fa¸con efficace les caract´eristiques spatiales / spectrales de ces
images. Ces descripteurs multi-´echelle profond visent `a repr´esenter le contenu
de l’image tout en tenant compte des invariances li´ees a` la texture et a` ses
transformations g´eom´etriques.
R´eduction spatiale de dimensionnalit´e :
Nous proposons une technique pour extraire l’espace des fonctions en utilisant
l’analyse en composante morphologiques. Ainsi, pour ajouter de l’information
spatialeetstructurelle,nousavonsutilis´elesop´erateursdemorphologiemath´ematique.
Mots Cl´es
Traitementdel’image,MachineLearning,M´ethodesa`noyaux,Morphologiemath´ematique,
Analyse en Composantes Principales, Support Vector Machine, Apprentissage pro-
fond, Transform´ee de scattering, Krigeage.
Table of Contents
I Introduction 1
II Feature representation and classification for hyper-
spectral images 9
1 State-of-the-Art on Statistical Learning Applied to Hyperspectral
Images 11
1.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12
1.2 Hyperspectral images . . . . . . . . . . . . . . . . . . . . . . . . . . . 12
1.2.1 Representation of hyperspectral data . . . . . . . . . . . . . . 13
Physical description . . . . . . . . . . . . . . . . . . . . . . . . 13
1.2.2 Mathematical description of linear mixing model . . . . . . . . 15
1.3 State-of-the-art on dimensionality reduction . . . . . . . . . . . . . . 15
1.3.1 Notation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15
1.3.2 From PCA to manifold learning . . . . . . . . . . . . . . . . . 15
Principal Component Analysis (PCA) - A linear method . . . 16
Multi Dimensional Scaling (MDS) - A linear method . . . . . 17
Isomap - A nonlinear method . . . . . . . . . . . . . . . . . . 23
Locally linear Embedding (LLE) - A nonlinear method . . . . 24
Hessian Eigenmaps - A nonlinear method . . . . . . . . . . . . 24
1.3.3 Kernels and Kernel PCA - A nonlinear method . . . . . . . . 24
Kernel trick . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24
Kernel PCA . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26
Importance of the choice of the kernel . . . . . . . . . . . . . . 27
1.3.4 Dictionary learning . . . . . . . . . . . . . . . . . . . . . . . . 28
Maximum likelihood method - A probabilistic method . . . . . 30
VQ objective - A clustering based method . . . . . . . . . . . 30
The K-SVD - A clustering based method . . . . . . . . . . . . 30
Unions of orthonormal Bases - Structured dictionary . . . . . 30
1.4 State-of-the-art on classification . . . . . . . . . . . . . . . . . . . . . 30
1.4.1 Regression . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30
1.4.2 Classification . . . . . . . . . . . . . . . . . . . . . . . . . . . 33
From regression to classification . . . . . . . . . . . . . . . . . 33
From binary hyperplane classification to multi-class hyper-
plane classification . . . . . . . . . . . . . . . . . . . 34
Support Vector Machine (SVM) . . . . . . . . . . . . . . . . . 36
Neural network classification . . . . . . . . . . . . . . . . . . . 37
2 Morphological Principal Component Analysis for Hyperspectral
Image Analysis 43
2.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43
2.2 Basics on morphological image representation . . . . . . . . . . . . . 45
2.2.1 Notation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45
2.2.2 Nonlinear scale-spaces and morphological decomposition . . . 45
2.2.3 Pattern Spectrum . . . . . . . . . . . . . . . . . . . . . . . . . 46
2.2.4 Grey-scale distance function . . . . . . . . . . . . . . . . . . . 47
2.3 Morphological Principal Component Analysis . . . . . . . . . . . . . 50
2.3.1 Covariance matrix and Pearson correlation matrix . . . . . . . 50
2.3.2 MorphPCA and its variants . . . . . . . . . . . . . . . . . . . 50
Scale-space Decomposition MorphPCA . . . . . . . . . . . . . 51
Pattern Spectrum MorphPCA . . . . . . . . . . . . . . . . . . 51
Distance Function MorphPCA . . . . . . . . . . . . . . . . . . 52
Spatial/Spectral MorphPCA . . . . . . . . . . . . . . . . . . . 55
2.4 MorphPCA applied to hyperspectral images . . . . . . . . . . . . . . 59
2.4.1 Criteria to evaluate PCA vs. MorphPCA . . . . . . . . . . . . 59
2.4.2 Evaluation of algorithms . . . . . . . . . . . . . . . . . . . . . 62
2.4.3 Evaluation on hyperspectral images . . . . . . . . . . . . . . . 63
2.5 Conclusions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 72
3 Invariant Spatial Classification of Multi/Hyper-spectral Images 73
3.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 74
3.1.1 Related works . . . . . . . . . . . . . . . . . . . . . . . . . . . 74
3.2 Invariant classification on hyperspectral images . . . . . . . . . . . . 75
3.2.1 Notation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 75
3.2.2 Invariance properties of hyperspectral data . . . . . . . . . . . 75
Spatial invariance . . . . . . . . . . . . . . . . . . . . . . . . . 76
Spectral invariance . . . . . . . . . . . . . . . . . . . . . . . . 77
3.2.3 Support vector machine classification for remote sensing . . . 77
3.2.4 Invariance thanks to training set generation . . . . . . . . . . 79
3.2.5 Invariance thanks to morphological profiles . . . . . . . . . . . 80
3.2.6 Outline of the deep weighted mean map scattering represen-
tation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 81
3.3 Scattering transform . . . . . . . . . . . . . . . . . . . . . . . . . . . 81
3.4 Deep mean map . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 83
3.4.1 Mean map kernel . . . . . . . . . . . . . . . . . . . . . . . . . 83
3.4.2 Random features for kernels . . . . . . . . . . . . . . . . . . . 84
3.4.3 Random features mean map on hyperspectral images . . . . . 84
3.4.4 Weighted mean map for a spatial regularization . . . . . . . . 85
3.5 Geostatistics of the feature field . . . . . . . . . . . . . . . . . . . . . 87
3.6 Support vector machines on kernel distribution embeddings . . . . . . 89
3.7 Kernel mean map scattering and invariance . . . . . . . . . . . . . . . 92
3.8 Multiple kernel mean map . . . . . . . . . . . . . . . . . . . . . . . . 93
3.9 Experiments . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 94
3.9.1 Hyperspectral remote sensing . . . . . . . . . . . . . . . . . . 94
3.9.2 Multispectral remote sensing . . . . . . . . . . . . . . . . . . . 98
3.10 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 99
III Fusion of information for multimodal SEM images 101
4 Multimodal Scanning Electron Microscopy Images 103
4.1 Background on Scanning Electron Microscope (SEM) . . . . . . . . . 103
4.1.1 Backscattered electrons . . . . . . . . . . . . . . . . . . . . . . 104
4.1.2 Secondary electrons . . . . . . . . . . . . . . . . . . . . . . . . 105
4.1.3 X-ray . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 105
4.2 Noise on SEM images . . . . . . . . . . . . . . . . . . . . . . . . . . . 106
5 Enhanced EDX images by fusion of multimodal SEM images using
pansharpening techniques 109
5.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 109
5.2 Materials and methods . . . . . . . . . . . . . . . . . . . . . . . . . . 111
5.2.1 Multimodal SEM imaging. . . . . . . . . . . . . . . . . . . . . 111
5.2.2 SEM datasets. . . . . . . . . . . . . . . . . . . . . . . . . . . . 111
5.3 State-of-the-art . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 113
5.3.1 Component substitution methods (CS) . . . . . . . . . . . . . 114
CS by PCA. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 115
CS by Gram-Schmidt decomposition (GS). . . . . . . . . . . . 116
5.3.2 Multiresolution analysis methods (MRA) . . . . . . . . . . . . 116
MRA by Smoothing Filter-based Intensity Modulation (SFIM).116
MRA by Laplacian Pyramid (MTF-GLP). . . . . . . . . . . . 117
5.3.3 An hybrid method: Guided PCA . . . . . . . . . . . . . . . . 117
5.4 Fusion of SEM information by Abundance Guided Bilateral Filter
(AGB) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 117
5.5 Fusion of SEM information by Bilateral Guided Morphological Filter
(BGM) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 120
5.6 Results and discussion . . . . . . . . . . . . . . . . . . . . . . . . . . 124
5.6.1 Evaluation criteria of pansharpening algorithms . . . . . . . . 124
5.6.2 Evaluation on dataset 1 . . . . . . . . . . . . . . . . . . . . . 126
5.6.3 Evaluation on dataset 2 . . . . . . . . . . . . . . . . . . . . . 126
5.6.4 Evaluation on simulated dataset . . . . . . . . . . . . . . . . . 136
5.7 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 136
6 Spatial Regression for Image Pansharpening: Application to Mul-
timodal SEM Image Fusion 139
6.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 139
6.1.1 Notations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 140
6.2 Spatial kernel regression . . . . . . . . . . . . . . . . . . . . . . . . . 141
6.3 Gaussian kriging . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 147
6.4 Ordinary kriging and pansharpening fusion of information . . . . . . 149
6.5 Results and discussion . . . . . . . . . . . . . . . . . . . . . . . . . . 155
6.5.1 Evaluation criteria of pansharpening algorithms . . . . . . . . 155
6.5.2 Evaluation on dataset 1 . . . . . . . . . . . . . . . . . . . . . 157
6.5.3 Evaluation on dataset 2 . . . . . . . . . . . . . . . . . . . . . 163
6.6 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 164
IV Conclusion 167
7 Conclusions and Perspectives 169
7.1 Summary of main contributions . . . . . . . . . . . . . . . . . . . . . 169
7.2 Suggestions for future work . . . . . . . . . . . . . . . . . . . . . . . 170