Alain Droniou Apprentissage de représentations et robotique développementale

200 Pages·2015·9.74 MB·English

Une Thèse de doctorat par
Alain Droniou
présentée à
Université Pierre et Marie Curie
École doctorale Informatique, Télécommunications et Électronique (EDITE)
Institut des Systèmes Intelligents et de Robotique
pour obtenir le grade de
Docteur en Informatique
Apprentissage de représentations et
robotique développementale
Quelques apports de l’apprentissage profond pour la robotique autonome
Jury
Rapporteurs Alain Dutech Université de Lorraine, LORIA
Pierre-Yves Oudeyer INRIA Bordeaux Sud-Ouest
Examinateurs Ludovic Denoyer Université Pierre et Marie Curie, LIP6
David Filliat ENSTA ParisTech
Michèle Sebag Université Paris-Sud Orsay, LRI
Directeur de thèse Olivier Sigaud Université Pierre et Marie Curie, ISIR
Résumé
La question des représentations est un enjeu majeur pour la robotique : afin de pouvoir
évoluer de manière autonome et sûre dans leur environnement, les robots doivent être
capables d’en construire un modèle fiable et pertinent. Lorsque les tâches sont définies à
l’avance ou les environnements restreints, des algorithmes dédiés peuvent doter les robots
de mécanismes ad-hoc leur permettant de mener à bien leur mission. Cependant, pour
des tâches variées dans des environnements complexes, il devient difficile de prévoir de
manière exhaustive les capacités nécessaires au robot.
Il est alors intéressant de doter les robots de mécanismes d’apprentissage leur donnant
la possibilité de construire eux-mêmes des représentations adaptées à leur environnement.
Se posent alors deux questions : quelle doit être la nature des représentations utilisées et
par quels mécanismes peuvent-elles être apprises?
Cette thèse aborde le problème d’un point de vue développemental, arguant qu’afin
de rendre possible une représentation de l’environnement permettant de faire face à des
situations nouvelles, il est nécessaire que les représentations soient apprises de manière
autonome et non-supervisée. Nous proposons pour cela l’utilisation de l’hypothèse des
sous-variétés, définissant les symboles perceptifs et moteurs comme des sous-variétés dans
des espaces sensoriels et fonctionnels, afin de développer des architectures permettant de
faire émerger une représentation symbolique de flux sensorimoteurs bruts. Nous mon-
trons que le paradigme de l’apprentissage profond fournit des mécanismes appropriés à
l’apprentissage autonome de telles représentations. Dans un premier travail, nous démon-
trons que l’exploitation de la nature multimodale des flux sensorimoteurs permet d’en
obtenir une représentation symbolique pertinente. Dans un second temps, nous étudions
le problème de l’évolution temporelle des stimuli du point de vue de l’hypothèse des sous-
variétés et de la robotique développementale. Nous discutons les défauts de la plupart
des approches aujourd’hui utilisées et nous esquissons une approche à partir de laquelle
nous approfondissons deux sous-problèmes. Nous étudions d’abord l’émergence de repré-
sentations des transformations entre stimuli successifs, puis nous testons la viabilité de
l’hypothèse des sous-variétés dans des espaces fonctionnels pour expliquer notamment
l’existence de répertoires d’actions. Dans une troisième partie, nous proposons des pistes
de recherche pour permettre le passage des expériences de laboratoire à des environne-
ments naturels. Nous explorons plus particulièrement la problématique de la curiosité
artificielle dans des réseaux de neurones non supervisés.
Mots clefs
Apprentissage de représentations non-supervisé, Robotique développementale, Appren-
tissage profond
Table des mati`eres
1 Introduction 13
1.1 Robotique autonome et robotique développementale . . . . . . . . . . . . . 17
1.1.1 Une approche “systèmes experts” de la robotique autonome . . . . 18
1.1.2 Vers une robotique autonome réellement autonome : la robotique
développementale . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20
1.2 L’enjeu des représentations . . . . . . . . . . . . . . . . . . . . . . . . . . . 25
1.2.1 Le rôle de la prédiction pour la cognition . . . . . . . . . . . . . . . 25
1.2.2 Problématique et contributions . . . . . . . . . . . . . . . . . . . . 26
1.2.3 Publications . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27
2 Perception, action et sous-variétés 29
2.1 La perception, un problème difficile . . . . . . . . . . . . . . . . . . . . . . 30
2.1.1 Biologie de la perception . . . . . . . . . . . . . . . . . . . . . . . . 31
2.1.2 Des mécanismes intriqués . . . . . . . . . . . . . . . . . . . . . . . 34
2.2 L’action . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37
2.2.1 Agir pour percevoir . . . . . . . . . . . . . . . . . . . . . . . . . . . 38
2.2.2 Percevoir pour agir . . . . . . . . . . . . . . . . . . . . . . . . . . . 40
2.3 Unification de l’action et de la perception : modèles cognitifs . . . . . . . . 43
2.3.1 Les contingences sensorimotrices . . . . . . . . . . . . . . . . . . . 43
2.3.2 Zones de Convergence-Divergence . . . . . . . . . . . . . . . . . . . 44
2.3.3 Principe du minimum d’énergie libre . . . . . . . . . . . . . . . . . 45
2.4 L’hypothèse des sous-variétés . . . . . . . . . . . . . . . . . . . . . . . . . 46
2.4.1 Des données dans des espaces de grande dimensionalité . . . . . . . 46
2.4.2 Des régularités de l’environnement . . . . . . . . . . . . . . . . . . 48
2.4.3 Une hypothèse forte : le rôle des sous-variétés . . . . . . . . . . . . 49
3 Réseaux de neurones et apprentissage profond 55
3.1 Les réseaux de neurones . . . . . . . . . . . . . . . . . . . . . . . . . . . . 56
3.1.1 Neurones et perceptron . . . . . . . . . . . . . . . . . . . . . . . . 56
3.1.2 Réseaux feedforward . . . . . . . . . . . . . . . . . . . . . . . . . . 61
3.1.3 Réseaux récurrents . . . . . . . . . . . . . . . . . . . . . . . . . . . 67
3.1.4 Universalité des réseaux de neurones . . . . . . . . . . . . . . . . . 71
3.2 Apprentissage profond . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 72
3.2.1 Intérêt des réseaux profonds . . . . . . . . . . . . . . . . . . . . . . 72
.....
Table des mati`eres 3
3.2.2 Difficulté de l’apprentissage dans les réseaux profonds . . . . . . . . 73
3.2.3 L’émergence de l’apprentissage profond . . . . . . . . . . . . . . . . 76
3.2.4 Entraîner des réseaux profonds . . . . . . . . . . . . . . . . . . . . 76
4 Des capteurs aux concepts 85
4.1 Structuration du flux sensoriel . . . . . . . . . . . . . . . . . . . . . . . . . 86
4.1.1 Apprentissage de variétés et réduction de la dimensionalité . . . . . 87
4.1.2 Représentations symboliques . . . . . . . . . . . . . . . . . . . . . 88
4.1.3 Multimodalité . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 89
4.1.4 Synthèse . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 91
4.2 Architecture . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 91
4.2.1 Réseau monomodal . . . . . . . . . . . . . . . . . . . . . . . . . . . 91
4.2.2 Réseau multimodal . . . . . . . . . . . . . . . . . . . . . . . . . . . 94
4.3 Expériences . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 95
4.3.1 Entraînement du réseau . . . . . . . . . . . . . . . . . . . . . . . . 95
4.3.2 Classification de MNIST . . . . . . . . . . . . . . . . . . . . . . . . 96
4.3.3 Mélanger vision et proprioception . . . . . . . . . . . . . . . . . . . 100
4.3.4 Avec trois modalités . . . . . . . . . . . . . . . . . . . . . . . . . . 104
4.4 Discussion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 108
4.4.1 Classification . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 109
4.4.2 Apprentissage de variétés . . . . . . . . . . . . . . . . . . . . . . . 110
4.4.3 Fusion multimodale . . . . . . . . . . . . . . . . . . . . . . . . . . 111
4.4.4 Perspectives . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 112
5 La temporalité 115
5.1 La perception des phénomènes temporels . . . . . . . . . . . . . . . . . . . 116
5.2 Des approches insatisfaisantes de la temporalité . . . . . . . . . . . . . . . 118
5.2.1 Mémoire du passé : le problème de l’œuf et de la poule . . . . . . . 118
5.2.2 Le don de voyance . . . . . . . . . . . . . . . . . . . . . . . . . . . 120
5.2.3 Avec un peu de chance... . . . . . . . . . . . . . . . . . . . . . . . 121
5.2.4 Quelques pistes intéressantes . . . . . . . . . . . . . . . . . . . . . 121
5.3 Vers une approche intégrée de la temporalité . . . . . . . . . . . . . . . . . 122
5.3.1 Quelques éléments d’architecture . . . . . . . . . . . . . . . . . . . 123
5.3.2 Représentation des transformations . . . . . . . . . . . . . . . . . . 126
5.3.3 Apprentissage de séquences contextuelles . . . . . . . . . . . . . . . 136
5.4 Enjeux et perspectives . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 146
6 Pistes de recherche 149
6.1 Apprentissage profond et renforcement . . . . . . . . . . . . . . . . . . . . 149
6.1.1 Pistes de recherche . . . . . . . . . . . . . . . . . . . . . . . . . . . 151
6.2 Apprentissage profond et curiosité artificielle . . . . . . . . . . . . . . . . . 155
6.2.1 Preuve de concept . . . . . . . . . . . . . . . . . . . . . . . . . . . 157
6.2.2 Pistes de recherche . . . . . . . . . . . . . . . . . . . . . . . . . . . 166
.....
4 Table des mati`eres
7 Discussion 167
7.1 Apprentissage profond et apprentissage permanent, temps réel . . . . . . . 167
7.1.1 Apprentissage permanent et lutte contre l’oubli . . . . . . . . . . . 168
7.1.2 Apprentissage temps réel . . . . . . . . . . . . . . . . . . . . . . . . 168
7.2 Des expériences de laboratoire aux environnements naturels . . . . . . . . 169
7.2.1 Rôle de l’attention . . . . . . . . . . . . . . . . . . . . . . . . . . . 169
7.2.2 Gestion de l’incertitude : autoencodeur versus RBM . . . . . . . . 173
8 Conclusion 175
Bibliographie 177
.....
Table des mati`eres 5

Table des figures
1.1 Véhicules de Braitenberg . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16
1.2 Robotique industrielle versus robotique autonome . . . . . . . . . . . . . . 17
1.3 Concepts simples et ontologies . . . . . . . . . . . . . . . . . . . . . . . . . 19
1.4 Réseaux profonds supervisés et problème de l’ancrage des symboles . . . . 21
2.1 Sélectivité à l’orientation des neurones de l’aire V1 . . . . . . . . . . . . . 32
2.2 Vertumne (Rodolphe II), par Giuseppe Arcimboldo . . . . . . . . . . . . . 34
2.3 Multistabilité perceptive . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35
2.4 Simultagnosie . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36
2.5 Cécité au changement . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37
2.6 Cécité au changement - 2 . . . . . . . . . . . . . . . . . . . . . . . . . . . 38
2.7 Expérience de Held et Hein . . . . . . . . . . . . . . . . . . . . . . . . . . 39
2.8 Illusion d’Akiyoshi Kitaoka . . . . . . . . . . . . . . . . . . . . . . . . . . 40
2.9 Points répartis uniformément en 2 dimensions . . . . . . . . . . . . . . . . 47
2.10 Sous-variétés et visages . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 50
2.11 Hiérarchie des concepts et inclusion de sous-variétés . . . . . . . . . . . . . 52
2.12 Chouette et hibou . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 53
3.1 Neurone biologique . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 57
3.2 Plasticité synaptique . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 58
3.3 Fonctions d’activation usuelles . . . . . . . . . . . . . . . . . . . . . . . . . 60
3.4 Classifieur linéaire . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 60
3.5 Réseau feedforward . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 61
3.6 Carte de Kohonen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 65
3.7 Connexion “gated” . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 65
3.8 Couche “gated” . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 67
3.9 Réseaux de Elman et de Jordan . . . . . . . . . . . . . . . . . . . . . . . . 68
3.10 Machine de Boltzmann . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 69
3.11 Approximateurs universels . . . . . . . . . . . . . . . . . . . . . . . . . . . 71
3.12 Représentations hiérarchiques . . . . . . . . . . . . . . . . . . . . . . . . . 74
3.13 Autoencodeur . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 77
3.14 Techniques de régularisation pour les autoencodeurs . . . . . . . . . . . . . 79
4.1 Réseau monomodal . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 92
.....
Table des figures 7
4.2 Flot de calculs dans le réseau monomodal . . . . . . . . . . . . . . . . . . 93
4.3 Réseau multimodal . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 94
4.4 Réseau utilisé pour l’expérience . . . . . . . . . . . . . . . . . . . . . . . . 96
4.5 Boîte à moustaches . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 97
4.6 Influence du bruit de régularisation . . . . . . . . . . . . . . . . . . . . . . 97
4.7 Performance de classification sur MNIST . . . . . . . . . . . . . . . . . . . 98
4.8 Influence du nombre de neurones softmax . . . . . . . . . . . . . . . . . . . 99
4.9 Nombre de neurones softmax utilisés . . . . . . . . . . . . . . . . . . . . . 99
4.10 Variétés apprises avec deux neurones softplus . . . . . . . . . . . . . . . . . 100
4.11 Prototypes appris en l’absence de neurones softplus . . . . . . . . . . . . . 101
4.12 Variétés apprises avec trois neurones softplus . . . . . . . . . . . . . . . . . 102
4.13 Dispositif expérimental . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 103
4.14 Illustration du pré-traitement des images . . . . . . . . . . . . . . . . . . . 103
4.15 Images utilisées pour l’expérience . . . . . . . . . . . . . . . . . . . . . . . 104
4.16 Performance de classification avec entrées bimodales . . . . . . . . . . . . . 105
4.17 Erreur de reconstruction d’entrées bimodales . . . . . . . . . . . . . . . . . 106
4.18 Reconstruction des images . . . . . . . . . . . . . . . . . . . . . . . . . . . 107
4.19 Reconstruction des trajectoires . . . . . . . . . . . . . . . . . . . . . . . . 107
4.20 Exemples de spectrogrammes enregistrés . . . . . . . . . . . . . . . . . . . 108
4.21 Score de classification avec entrées trimodales . . . . . . . . . . . . . . . . 109
4.22 Réseau chaîné et réseau hiérarchique . . . . . . . . . . . . . . . . . . . . . 113
5.1 Architecture pour l’apprentissage de transformations orthogonales. . . . . . 128
5.2 Implémentation concrète du réseau . . . . . . . . . . . . . . . . . . . . . . 131
5.3 Corrélations des facteurs . . . . . . . . . . . . . . . . . . . . . . . . . . . . 133
5.4 Distances des représentations des rotations . . . . . . . . . . . . . . . . . . 133
5.5 Représentation des rotations pour 40 neurones . . . . . . . . . . . . . . . . 134
5.6 Représentation des rotations par 5 neurones . . . . . . . . . . . . . . . . . 135
5.7 Courbes d’apprentissages . . . . . . . . . . . . . . . . . . . . . . . . . . . . 137
5.8 Erreur de reconstruction moyenne . . . . . . . . . . . . . . . . . . . . . . . 137
5.9 Matrice apprise par le réseau . . . . . . . . . . . . . . . . . . . . . . . . . 138
5.10 Architecture pour la génération de séquences . . . . . . . . . . . . . . . . . 141
5.11 Exemples de trajectoires utilisées pour l’apprentissage . . . . . . . . . . . . 143
5.12 Trajectoires générées par le réseau . . . . . . . . . . . . . . . . . . . . . . . 145
5.13 Trajectoires générées par le réseau après apprentissage le long de sous-
variétés unidimensionnelles . . . . . . . . . . . . . . . . . . . . . . . . . . . 146
5.14 Trajectoires générées par le réseau à partir des représentations apprises par
le réseau décrit au chapitre 4 . . . . . . . . . . . . . . . . . . . . . . . . . 147
6.1 Proposition d’architecture fusionnant model-based et model-free . . . . . . . 154
6.2 Variantes de la base MNIST . . . . . . . . . . . . . . . . . . . . . . . . . . 158
6.3 Évolution de la variante MNIST choisie au cours du temps . . . . . . . . . 159
6.4 Actions choisies pendant les 100 premières itérations . . . . . . . . . . . . 160
6.5 Évolution de l’erreur de reconstruction moyenne au cours du temps . . . . 161
.....
8 Table des figures
6.6 Exemples de reconstructions des variantes MNIST . . . . . . . . . . . . . . 162
6.7 Évolution du gradient obtenu au cours de l’apprentissage . . . . . . . . . . 163
6.8 Évolution du gradient obtenu au début de l’apprentissage . . . . . . . . . . 163
6.9 Descente de gradient active ou aléatoire . . . . . . . . . . . . . . . . . . . 164
6.10 Évolution de l’erreur de classification au cours du temps . . . . . . . . . . 165
7.1 Couche élémentaire de réseau à convolution . . . . . . . . . . . . . . . . . 170
.....
Table des figures 9