Boulbaba BEN AMOR Contributions `a la modélisation et `

165 Pages·2007·6.45 MB·French

Ann´ee 2006 N˚d’ordre : 2006-39
E´cole Doctorale Informatique et Information pour la Socie´te´
THE`SE
pour obtenir le grade de
Docteur en
Informatique de l’E´cole Centrale de Lyon
pr´esent´ee et soutenue publiquement par
Boulbaba BEN AMOR
le 08 de´cembre 2006
Contributions `a la mod´elisation et `a la reconnaissance faciales 3D
pr´epar´ee au sein du laboratoire LIRIS
sous la direction de
Liming CHEN
Mohsen ARDABILIAN
COMPOSITION DU JURY
M. G´erard CHOLLET Pr´esident (Directeur de Recherche CNRS, ENST-Paris)
M. Faouzi GHORBEL Rapporteur (Professeur, ENSI-Tunis)
M. Mohamed DAOUDI Rapporteur (Professeur, Telecom-Lille 1)
M. Liming CHEN Directeur de th`ese (Professeur, EC-Lyon)
M. Mohsen ARDABILIAN Co-directeur de th`ese (Maˆıtre de conf´erences, EC-Lyon)
Mm. Dijana PETROVSKA Membre invit´e (Maˆıtre de conf´erences, INT-Evry)

R´esum´e
La reconnaissance automatique de visages est un domaine de recherche pour lequel un effort
important a ´et´e consenti au cours des trois derni`eres d´ecennies. Le pr´esent travail de th`ese s’inscrit
dans le cadre de l’un des th`emes d’actualit´e de ce domaine `a savoir la reconnaissance faciale en
3D. Dans ce travail, nous nous sommes int´eress´e aux deux aspects compl´ementaires de ce sujet qui
sont : la mod´elisation et la reconnaissance faciales tridimensionnelle. Alors que la mod´elisation a
pourobjectifl’acquisitiondelaforme3Dduvisage,lareconnaissancevisel’identificationd’unvisage
requˆete parmi des visages stock´es dans une base de donn´ees ou bien la v´erification de son identit´e.
Pourcela,deuxapprochesont´et´e´etudi´eesetmisesenplace:(i)uneapprochehybrided’acquisition
facialebas´eesurlast´er´eovisionactiveetlamod´elisationg´eom´etrique,et(ii)uneapprochederecalage
de surfaces faciales afin de mesurer les similarit´es entre les mod`eles 3D de visages.
Unenouvellebasededonn´eeincluantdesacquisitions3D,a´et´ecollect´eedanslecadreduprojet
Technovision IV2 afin d’effectuer des ´evaluations significatives sur les algorithmes d´evelopp´es.
Mots cl´es
Reconnaissancefaciale,acquisitiondeforme3D,recalagedesurfaces3D,m´etriquedesimilarit´e.
Abstract
Nowadays,facerecognitionrepresentoneoftheprivilegedfieldsofsearchduetotheemergenceof
thesecurityinmanydomains.Thisthesislieswithinthisscope,andmoreparticularly,inthethree-
dimensional face recognition. In this work, we are interested to the complementary fields : 3D face
modelling and recognition. Whereas modelling task aims at 3D face shape acquisition, recognition
task aims at the identification of a probe face model among faces stored in a data base (gallery) or
verify his identity. For that, two approaches are studied and implemented : (i) an hybrid approach
for facial acquisition based on active vision and geometrical modelling, and (ii) an approach for
aligning facial surfaces before computing similarities between 3D models.
A new 3D face database is collected within the IV2 French project in order to make signifiant
experiments and evaluations of the developed algorithms.
Keywords
Face recognition, 3D face acquisition, 3D surface alignment, similarity metric, biometric
evaluations.
- i -
- ii -
Remerciements
Mˆeme si une th`ese est `a la base un travail personnel c’est aussi le fruit d’une aventure
collective. Je me dois de remercier tout ceux qui y ont particip´e.
Je tiens `a remercier en tout premier lieu Pr. Liming CHEN pour avoir encadr´e mon
travaildepuislestagedetravaildefind’´etudesetpendantl’ann´eeduDEAetlestroisann´ees
de th`ese. Ce travail n’aurait pas vu le jour sans sa confiance et sa g´en´erosit´e. Je voudrais
par ailleurs lui exprimer ma gratitude pour la rigueur scientifique dont il a toujours fait
preuve ainsi que pour ses qualit´es humaines et son soutien permanent mˆeme pendant les
moments les plus difficiles.
Je voudrais aussi remercier Dr. Mohsen ARDABILIAN pour avoir co-encadr´e ce travail
avec d´evouement et disponibilit´e. Je lui suis reconnaissant pour tout les conseils judicieux
et les remarques pertinentes qu’il m’a prodigu´es.
Jesuistr`essensible`alapr´esencedecejurypr´esid´eparPr. G´erardCHOLLET,Directeur
de recherche CNRS `a l’E´cole Nationale Sup´erieure des T´el´ecommunications.
Je tiens `a remercier vivement Pr. Faouzi GHORBEL, Professeur `a l’E´cole Nationale des
Sciences de l’Informatique de Tunis et Pr. Mohamed DAOUDI, Professeur `a l’Universit´e
TelecomLille1pourm’avoirfaitl’honneurd’examinercetravailetd’enˆetrelesrapporteurs.
Messieurs Abdelmajid BEN HAMADOU et Christian VIAL ont relu attentivement tout
ou partie de ce manuscrit. Merci du temps qu’ils ont consacr´e `a redonner un peu de rigueur
`a ma plume qui a tendance quelques fois `a d´eraper ...
Toute mon amiti´e `a Mademoiselle Karima OUJI avec qui j’ai eu le plaisir de travailler
et d’encadrer son PFE et son DEA, et avec qui j’ai eu tant de discussions fructueuses.
J’ai eu ´egalement le plaisir de collaborer avec des coll`egues fran¸cais et ´etrangers dans le
domainedelabiom´etrie.Jepenseenpremierlieuauxpartenairesacad´emiquesetindustriels
duprojetnationalTechnovisionIV2 etauxparticipantsauprojeteurop´eenBIOSECURE.
Nous avons eu ensemble des moments de meeting et de travail tr`es utiles.
Jen’oublieraipasderemerciertoutlesmembresenseignants-chercheursdud´epartements
Math-Info de l’E´cole Centrale de Lyon, particuli`erement les directeurs Mohand MOUS-
SAOUI et Jean-Pierre LOHEAC, les secr´etaires Fran¸coise CHATELIN et Isabelle SAN
- iii -
JOSE et la technicienne Colette VIAL-BUIL. Je leur exprime ma profonde sympathie et
leur souhaite beaucoup de bien.
Je voudrai par ailleurs remercier tout mes amis doctorants et docteurs : Mohamed,
Walid, Alain, Hadi, Dzmitry, Aliaksandr, Vyacheslav et Kun.
J’adresse mes remerciements, pour l’amiti´e qu’ils m’ont t´emoign´es pendant nos colloca-
tions, `a Mohamed HAMMAMI, Riadh BEN MESSAOUD, Anis JAMMOUSSI et Mohamed
Ali HBAIEB. Avec eux, je n’ai que des beaux souvenirs!
Je ne pourrais pas parler de mon aventure Lyonnaise sans parler des amis qui ont
beaucoup compt´e pour moi; mes compagnons de route Mouna, Fadoua, Emna, Rima,
Kaouther, Sana, Meriam, Sonia, Nada, Zeina, Abdel-kader, Tarak et Khaled. Je n’oublierai
jamais la chaleur des moments qu’on a partag´e; merci d’avoir toujours ´et´e l`a pour moi.
Je voudrai aussi remercier ma tendre famille : mes deux adorables soeurs Sameh et
Fatma pour leur soutien permanent et leur affection; mes beaux fr`eres Monji et Mourad
pour leur gentillesse et leur joie de vivre.
Un merci particulier pour ma fianc´ee Emna qui a toujours ´et´e l`a pour m’aimer et me
soutenir, mˆeme dans les moments les plus difficiles et m’apaiser comme elle seule sait le
faire ainsi qu’`a mes beaux-parents, Mohsen et Naziha pour leur amour, leur gentillesse et
leur affection.
Enfin, une pens´ee ´emue et sp´eciale pour mes parents Zohra et Ameur sans qui je
n’aurais pas ´et´e ce que je suis aujourd’hui. Ils ont toujours su m’inculquer la valeur de la
science, m’ont support´e inconditionnellement pendant toutes mes´etudes et ont fait beaucoup
de sacrifices pour moi. Que cette th`ese leur soit d´edi´e avec toute mon affection.
Lyon, le 08 d´ecembre 2006 Boulbaba BEN AMOR
- iv -
Table des mati`eres
Table des mati`eres viii
1 Introduction g´en´erale 1
1.1 Contexte et probl´ematiques . . . . . . . . . . . . . . . . . . . . . . . . . . . 1
1.2 Objectifs et contributions . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3
1.3 Organisation de la th`ese . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4
2 E´tat de l’art : mod´elisation et reconnaissance faciales 3D 7
2.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7
2.2 Technologies de num´erisation tridimensionnelle . . . . . . . . . . . . . . . . 9
2.2.1 Techniques actives de reconstruction . . . . . . . . . . . . . . . . . . 10
2.2.1.1 Techniques `a base de balayage laser . . . . . . . . . . . . . 12
2.2.1.2 Techniques `a base de lumi`ere structur´ee complexe . . . . . 15
2.2.2 Techniques passives de reconstruction . . . . . . . . . . . . . . . . . 19
2.2.2.1 Techniques `a base de st´er´eovision passive . . . . . . . . . . 19
2.2.2.2 Techniques `a base de calcul de l’enveloppe visuelle . . . . . 23
2.3 Discussion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25
2.4 Identification/v´erification de personnes par visages 3D . . . . . . . . . . . . 26
2.4.1 Approches 2D vs. 2D. . . . . . . . . . . . . . . . . . . . . . . . . . . 28
2.4.1.1 M´ethodes de sous-espace (subspace methods) . . . . . . . . 29
2.4.1.2 M´ethodes bas´ees sur des attribues g´eom´etriques (geometric
feature-based methods) . . . . . . . . . . . . . . . . . . . . . 29
2.4.2 Approches 2D vs. 2D via 3D . . . . . . . . . . . . . . . . . . . . . . 30
2.4.3 Approches 3D vs. 3D. . . . . . . . . . . . . . . . . . . . . . . . . . . 31
2.4.3.1 M´ethodes de sous-espace (subspace methods) . . . . . . . . 31
2.4.3.2 M´ethodes bas´ees sur l’alignement de surfaces . . . . . . . . 32
2.4.3.3 M´ethodes bas´ee sur le calcul de courbure . . . . . . . . . . 33
- v -
TABLE DES MATIE`RES
2.4.3.4 M´ethodes bas´ees sur le calcul g´eod´esique (bending-invariant
canonical form) . . . . . . . . . . . . . . . . . . . . . . . . 34
2.4.3.5 M´ethode bas´ee sur le calcul des courbes de niveaux (level
curves) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35
2.4.4 Approches multimodales 2D+3D . . . . . . . . . . . . . . . . . . . . 36
2.5 Discussion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37
2.6 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38
3 Reconstruction faciale 3D par vision active et mod´elisation g´eom´etrique 41
3.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41
3.2 Notre approche et l’architecture globale . . . . . . . . . . . . . . . . . . . . 41
3.3 Calibration du capteur st´er´eo . . . . . . . . . . . . . . . . . . . . . . . . . . 44
3.3.1 Mod`ele math´ematique de cam´era . . . . . . . . . . . . . . . . . . . . 44
3.3.1.1 Transformation monde/cam´era . . . . . . . . . . . . . . . . 45
3.3.1.2 Projection 3D-2D . . . . . . . . . . . . . . . . . . . . . . . 45
3.3.1.3 Prise en compte des distorsions . . . . . . . . . . . . . . . . 46
3.3.1.4 Transformation cam´era/image . . . . . . . . . . . . . . . . 47
3.3.1.5 Transformation globale . . . . . . . . . . . . . . . . . . . . 47
3.3.2 Au-del`a d’une cam´era . . . . . . . . . . . . . . . . . . . . . . . . . . 47
3.3.2.1 Calibrage st´er´eo . . . . . . . . . . . . . . . . . . . . . . . . 47
3.3.2.2 Relation droite/gauche . . . . . . . . . . . . . . . . . . . . 48
3.3.3 M´ethode de calibration . . . . . . . . . . . . . . . . . . . . . . . . . 48
3.3.3.1 Classification des m´ethodes de calibration . . . . . . . . . . 49
3.3.3.2 M´ethode de calibration . . . . . . . . . . . . . . . . . . . . 50
3.4 Strat´egie de mise en correspondance st´er´eo . . . . . . . . . . . . . . . . . . 51
3.4.1 G´eom´etrie ´epipolaire et rectification g´eom´etrique . . . . . . . . . . . 52
3.4.2 Lumi`ere et d´etection sous-pix´elique de fronti`eres de franges . . . . . 53
3.4.2.1 Conception du patron (pattern) de lumi`eres . . . . . . . . . 53
3.4.2.2 Interpolation des pixels par les Splines cubiques . . . . . . 54
3.4.2.3 Notre m´ethode d’extraction de primitives . . . . . . . . . . 55
3.4.2.4 Discussion . . . . . . . . . . . . . . . . . . . . . . . . . . . 55
3.4.3 Appariement par programmation dynamique . . . . . . . . . . . . . 56
3.5 Mod´elisation partielle du visage . . . . . . . . . . . . . . . . . . . . . . . . . 60
3.5.1 Triangulation optique . . . . . . . . . . . . . . . . . . . . . . . . . . 61
3.5.2 Interpolation par des mod`eles de Splines cubiques . . . . . . . . . . 62
3.5.3 G´en´eration de la forme 3D . . . . . . . . . . . . . . . . . . . . . . . 64
- vi -
TABLE DES MATIE`RES
3.6 Mod´elisation compl`ete du visage . . . . . . . . . . . . . . . . . . . . . . . . 66
3.6.1 Recalage grossier des diff´erentes vues . . . . . . . . . . . . . . . . . . 66
3.6.2 Recalage fin par ICP . . . . . . . . . . . . . . . . . . . . . . . . . . . 68
3.7 R´esultats et proc´edure de validation . . . . . . . . . . . . . . . . . . . . . . 69
3.8 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 73
4 Reconnaissance/Authentification de personnes via leurs surfaces faciales 75
4.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 75
4.2 Architecture globale et principe de reconnaissance faciale . . . . . . . . . . 77
4.2.1 Architecture globale . . . . . . . . . . . . . . . . . . . . . . . . . . . 77
4.2.2 Principe de recalage de surfaces faciales par ICP . . . . . . . . . . . 79
4.3 Approche globale pour la reconnaissance . . . . . . . . . . . . . . . . . . . . 84
4.4 Approche orient´ee r´egions de reconnaissance . . . . . . . . . . . . . . . . . . 89
4.4.1 Segmentation d’une surface faciale en r´egions . . . . . . . . . . . . . 89
4.4.2 Recalage des surfaces faciales par un algorithme ICP orient´e r´egions 95
4.4.3 M´etrique de similarit´e orient´ee r´egions . . . . . . . . . . . . . . . . . 96
4.5 Approche g´eod´esique de reconnaissance . . . . . . . . . . . . . . . . . . . . 98
4.6 Discussion et conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 102
5 Exp´erimentation, ´evaluation et discussion 107
5.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 107
5.2 Base de donn´ees ECL−IV2 : Protocole d’acquisition et d’´evaluation . . . 108
5.2.1 Nouvelle base de donn´ees ECL−IV2 . . . . . . . . . . . . . . . . . 108
5.2.2 Bases de visages 3D existantes . . . . . . . . . . . . . . . . . . . . . 115
5.2.3 Sc´enarios des exp´erimentations . . . . . . . . . . . . . . . . . . . . . 116
5.2.4 Crit`eres de performances . . . . . . . . . . . . . . . . . . . . . . . . 117
5.3 R´esultats exp´erimentaux et ´evaluation de l’approche globale . . . . . . . . . 118
5.4 R´esultats exp´erimentaux et ´evaluation de l’approche orient´ee r´egions . . . . 121
5.5 R´esultats exp´erimentaux et ´evaluation de l’approche bas´ee sur le calcul
g´eod´esique . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 125
5.6 Discussion et conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 130
6 Conclusion et perspectives 135
Bibliographie 139
Liste des figures 154
- vii -
Liste des tableaux 155
- viii -