Reconstruction 3D et localisation simultanée de caméras mobiles

162 Pages·2017·10.42 MB·French

by  Etienne Mouragnon

Reconstruction 3D et localisation simultanée de caméras
mobiles: une approche temps-réel par ajustement de
faisceaux local
Etienne Mouragnon
To cite this version:
Etienne Mouragnon. Reconstruction 3D et localisation simultanée de caméras mobiles: une approche
temps-réel par ajustement de faisceaux local. Automatique / Robotique. Université Blaise Pascal -
Clermont-Ferrand II, 2007. Français. ￿NNT: 2007CLF21799￿. ￿tel-00925661￿
HAL Id: tel-00925661
https://theses.hal.science/tel-00925661
Submitted on 8 Jan 2014
HAL is a multi-disciplinary open access L’archive ouverte pluridisciplinaire HAL, est
archive for the deposit and dissemination of sci- destinée au dépôt et à la diffusion de documents
entific research documents, whether they are pub- scientifiques de niveau recherche, publiés ou non,
lished or not. The documents may come from émanant des établissements d’enseignement et de
teaching and research institutions in France or recherche français ou étrangers, des laboratoires
abroad, or from public or private research centers. publics ou privés.
N° d’ordre : D.U. 1799
EDSPIC : 392
Université Blaise Pascal - Clermont-Ferrand II
École Doctorale
Sciences Pour l’Ingénieur de Clermont-Ferrand
Thèse présentée par :
Etienne Mouragnon
Formation Doctorale CSTI :
Composants et Systèmes pour le Traitement de l’Information
en vue de l’obtention du grade de
Docteur d’Université
spécialité : Vision pour la robotique
Reconstruction 3D et localisation simultanée de caméras
mobiles : une approche temps-réel par ajustement de
faisceaux local
Soutenue publiquement le 5 décembre 2007 devant le jury :
M. Jean-Marc Lavest Président
M. François Chaumette Rapporteur et examinateur
M. El Mustapha Mouaddib Rapporteur et examinateur
M. Peter Sturm Rapporteur et examinateur
M. Fabien Dekeyser Examinateur
M. Maxime Lhuillier Examinateur
M. Michel Dhome Directeur de thèse

Remerciements
Je remercie tout d’abord François Chaumette, El Mustapha Mouaddib et
Peter Sturm qui ont bien voulu faire partie de mon jury de thèse et examiner
mon travail.
Jeremercieégalement mesencadrantsencommençant parMichelDhome,
mon directeur de thèse et Fabien Dekeyser, mon correspondant au Commis-
sariat à l’Énergie Atomique (CEA). Il m’a été bien agréable de travailler
avec eux pendant ces trois années. Je tiens à remercier sincèrement Maxime
Lhuillier pour son encadrement sans faille de tous les instants et suis heureux
d’avoir su le divertir.
Merci également à Patrick Sayd et Jean-Marc Lavest qui, forts de leur
expérience, ont joué un rôle important dans le déroulement de ma thèse.
Je suis aussi très reconnaissant envers Éric Royer qui m’a beaucoup aidé
au début de ma thèse et François Marmoiton qui a largement facilité les
manipulations sur Cycab.
Bien sûr, je n’oublie pas Paul Checchin car il m’a fait découvrir la vision
par ordinateur, et c’est grâce à lui que j’ai eu l’opportunité de faire une thèse
dans ce domaine.
Je remercie les dirigeants et tous les membres permanents, temporaires,
doctorants et stagiaires de l’équipe ComSee du LASMEA (Laboratoire des
Sciences et Matériaux pour l’Électronique et d’Automatique) qui m’a ac-
cueilli à Clermont-Ferrand pendant la première année et demi, et du LSVE
(Laboratoire des Systèmes de Vision Embarqués) du CEA LIST à Saclay où
j’ai travaillé pendant la deuxième moitié du temps. Les nombreuses heures
de travail en leur compagnie m’ont offert de bons moments, et je pense plus
particulièrement à ceux qui ont partagé mon bureau : Lucie, Steve, Gaëtan,
Laetitia, Julien, Nicolas, Pierre, Florent, Alexandre, Romain mais également
Laetitia et Hala, et bien sûr tous les autres.
Un grand merci à ma famille et mes amis qui m’ont soutenu et encouragé.
Finalement, mes plus tendres remerciements s’adressent à Florence pour
m’avoir supporté dans tous les sens du terme. Je ne la remercierai jamais
iii
iv
assez pour avoir toujours été présente à mes côtés, dans les moments les plus
difficiles comme dans les meilleurs.
Résumé
Le problème de la reconstruction 3D à partir d’une séquence d’images ac-
quise par une caméra en mouvement est un sujet important dans le domaine
de la vision par ordinateur. Ce travail de thèse présente une méthode qui
permet d’estimer conjointement des points 3D de la scène filmée et le mou-
vement de la caméra en combinant la précision des méthodes "hors-ligne"
(basées sur une optimisation globale de tous les paramètres par ajustement
de faisceaux) et la vitesse de calcul des méthodes incrémentales. La nouvelle
approche est considérée comme une accélération des techniques classiques de
reconstruction 3D qui utilisent l’ajustement de faisceaux, permettant ainsi
de traiter de longues séquences vidéos.
L’algorithme développé peut être résumé de la façon suivante : détection
de points d’intérêt dans les images, mise en correspondance de ces points et
sous-échantillonnage temporel de la vidéo. En effet, seul un sous-ensemble
d’images dites "images clef" est sélectionné pour la reconstruction des points
3D alors que la localisation de la caméra est calculée pour chaque image. Le
point clef de l’approche est l’ajustement de faisceaux local : les paramètres
de la reconstruction sont affinés sur la fin de la séquence uniquement, à
chaque fois qu’une image est choisie comme nouvelle image clef. La méthode,
initialement prévue pour les caméras perspectives, a ensuite été généralisée
de manière à rendre possible l’utilisation d’autres types de caméras, comme
les caméras catadioptriques ou encore les paires rigides de caméras.
Lesrésultatsobtenusmontrentquelaprécisionatteinteestdumêmeordre
que celledes méthodes paroptimisationglobale,avec des temps decalcultrès
réduits, ce qui permet de viser des applications d’odométrie visuelle temps-
réel pour la robotique mobile ou l’aide à la conduite en automobile.
Mots-clef : reconstruction3D,localisation,ajustementdefaisceaux,temps-
réel
v
vi
Abstract
The Structure from Motion problem is an intense research topic in com-
puter vision and has been the subject of much investigation. This thesis
presents a method for estimating the motion of a calibrated camera and the
threedimensional geometry of the filmed environment. The main idea is to
take advantage of both offline methods (based on an optimization of all 3D
parameters by global bundle adjustment) and fast incremental methods. The
new approach may be seen as an acceleration of conventional 3D reconstruc-
tion techniques that make use of bundle adjustment, and thus enables to
treat very long video sequences.
The introduced algorithm may be summarized as follows : interest points
detection and matching between frames, sub-sampling of the video into "key
frames", full 3D reconstruction of these key frames (3D points and camera
poses), and localization of all frames. The keystone of the method is the local
bundle adjustment : reconstruction parameters are refined at the end of the
sequence only, for all current frame selected as key frame. This method is
applied initially to a perspective camera model, then extended to a generic
camera model to describe most existing kinds of cameras like catadioptric
cameras or stereo rigs.
Experiments have shown that results are very similar to those obtained
by methods with global optimisation, with much lower computing times. We
can envisage applications like real-time visual odometry for mobile robots or
car assisted driving.
Key-words : StructurefromMotion,localization,bundleadjustment,real-
time
vii
viii
Table des matières
Introduction 1
1 Principes et méthodes de base 5
1.1 La caméra perspective . . . . . . . . . . . . . . . . . . . . . . 5
1.1.1 Le modèle sténopé . . . . . . . . . . . . . . . . . . . . 5
1.1.2 Les paramètres intrinsèques . . . . . . . . . . . . . . . 6
1.1.3 Les paramètres extrinsèques . . . . . . . . . . . . . . . 6
1.1.4 Changement de repère monde/caméra . . . . . . . . . 7
1.1.5 La projection perspective d’un point 3D . . . . . . . . 8
1.1.6 Paramètres de distorsion . . . . . . . . . . . . . . . . . 9
1.1.7 Étalonnage des caméras . . . . . . . . . . . . . . . . . 10
1.2 Le problème de la reconstruction 3D . . . . . . . . . . . . . . 12
1.2.1 Principe . . . . . . . . . . . . . . . . . . . . . . . . . . 12
1.2.2 Les primitives . . . . . . . . . . . . . . . . . . . . . . . 14
1.2.3 Détection et mise en correspondance de points d’intérêt 15
1.2.4 Formulation du problème . . . . . . . . . . . . . . . . . 19
1.3 Calculs de la géométrie 3D (méthodes directes) . . . . . . . . 20
1.3.1 La géométrie de deux images . . . . . . . . . . . . . . 20
1.3.2 Reconstruction 3D d’un nuage de points . . . . . . . . 25
1.3.3 Calcul de pose . . . . . . . . . . . . . . . . . . . . . . . 27
1.4 Solutions optimales (méthodes itératives) . . . . . . . . . . . . 30
1.4.1 Moindres carrés non-linéaires . . . . . . . . . . . . . . 31
1.4.2 L’erreur de reprojection . . . . . . . . . . . . . . . . . 31
1.4.3 Intersection - Résection - Ajustement de faisceaux . . . 32
1.4.4 Méthodes robustes . . . . . . . . . . . . . . . . . . . . 33
1.5 Ajustement de faisceaux par minimisation non-linéaire . . . . 36
1.5.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . 36
1.5.2 Formulation . . . . . . . . . . . . . . . . . . . . . . . . 36
1.5.3 L’itération de Gauss-Newton . . . . . . . . . . . . . 37
ix