Apprentissage de métriques et méthodes à noyaux appliqués à la reconnaissance de personnes ...

127 Pages·2017·2.65 MB·French

by  Alexis Mignon

Apprentissage de métriques et méthodes à noyaux
appliqués à la reconnaissance de personnes dans les
images
Alexis Mignon
To cite this version:
Alexis Mignon. Apprentissage de métriques et méthodes à noyaux appliqués à la reconnaissance de
personnesdanslesimages. Traitementdesimages[eess.IV].universitédecaen, 2012. Français. ￿NNT:
￿. ￿tel-01076898￿
HAL Id: tel-01076898
https://hal.archives-ouvertes.fr/tel-01076898
Submitted on 23 Oct 2014
HAL is a multi-disciplinary open access L’archive ouverte pluridisciplinaire HAL, est
archive for the deposit and dissemination of sci- destinée au dépôt et à la diffusion de documents
entific research documents, whether they are pub- scientifiques de niveau recherche, publiés ou non,
lished or not. The documents may come from émanant des établissements d’enseignement et de
teaching and research institutions in France or recherche français ou étrangers, des laboratoires
abroad, or from public or private research centers. publics ou privés.
UNIVERSITÉ DE CAEN BASSE NORMANDIE
U.F.R. de Sciences
ÉCOLE DOCTORALE SIMEM
T H È S E
Présentée par
M. Alexis MIGNON
et soutenue le
13 Décembre 2012
en vue de l’obtention du
DOCTORAT de l’UNIVERSITÉ de CAEN
Spécialité : Informatique et applications
Arrêté du 07 août 2006
Titre :
Apprentissage de métriques et méthodes à noyaux
appliqués à la reconnaissance de personnes
dans les images
[\
MEMBRES du JURY :
M.StéphaneCANU ProfesseurdesUniversités INSAdeRouen (Rapporteur)
M.ChristopheGARCIA ProfesseurdesUniversités INSAdeLyon (Rapporteur)
MmeMarinetteREVENU ProfesseuréméritedesUniversités UniversitédeCaen
M.FrédéricJURIE ProfesseurdesUniversités UniversitédeCaen (Directeurdethèse)

UNIVERSITÉ DE CAEN BASSE NORMANDIE
U.F.R. de Sciences
ÉCOLE DOCTORALE SIMEM
T H È S E
Présentée par
M. Alexis MIGNON
et soutenue le
13 Décembre 2012
en vue de l’obtention du
DOCTORAT de l’UNIVERSITÉ de CAEN
Spécialité : Informatique et applications
Arrêté du 07 août 2006
Titre :
Apprentissage de métriques et méthodes à noyaux
appliqués à la reconnaissance de personnes
dans les images
[\
MEMBRES du JURY :
M.StéphaneCANU ProfesseurdesUniversités INSAdeRouen (Rapporteur)
M.ChristopheGARCIA ProfesseurdesUniversités INSAdeLyon (Rapporteur)
MmeMarinetteREVENU ProfesseuréméritedesUniversités UniversitédeCaen
M.FrédéricJURIE ProfesseurdesUniversités UniversitédeCaen (Directeurdethèse)

Table des matières
1 Lareconnaissancedepersonnesdanslesimages 1
1.1 Lareconnaissancedepersonnesdanslesimages:besoinsetdifficultés . . . . . . . . 2
1.1.1 Lesdifférentstypesdebesoins . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2
1.1.2 Lareprésentationdesvisages . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3
1.1.3 Basesdedonnéespubliquesutilisées . . . . . . . . . . . . . . . . . . . . . . . . 4
1.1.3.1 LabaseMultiPIE . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4
1.1.3.2 LabeledFacesintheWild(LFW) . . . . . . . . . . . . . . . . . . . . . . 5
1.1.3.3 LabaseCUFSF. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8
1.1.3.4 ViewpointInvariantPersonRe-identification(VIPeR) . . . . . . . . . . . 8
1.2 Reconnaissancedevisageetnoyaux . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8
1.2.1 Lareconnaissancedevisages:principesetrésultatsrécents . . . . . . . . . . . 8
1.2.1.1 Lesprincipauxdescripteursvisuelsutiliséspourreprésenterlesvisages 9
1.2.1.2 Mesuredesimilaritéentredescripteurs . . . . . . . . . . . . . . . . . . 10
1.2.2 Lesméthodesànoyauxetle«trucdunoyau» . . . . . . . . . . . . . . . . . . . 11
1.2.2.1 Distanceetproduitscalaire . . . . . . . . . . . . . . . . . . . . . . . . . 11
1.2.2.2 Fonctionsnoyaux . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12
1.2.2.3 Le«trucdunoyau» . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13
1.2.2.4 Lethéorèmedureprésentant . . . . . . . . . . . . . . . . . . . . . . . . 14
1.2.3 Contributionsdelathèse . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15
2 Lerecalagedevisages 17
2.1 Recalageetreconnaissancedevisages . . . . . . . . . . . . . . . . . . . . . . . . . . . 17
2.2 Localisationdepoints-clésparrégression . . . . . . . . . . . . . . . . . . . . . . . . . . 19
2.2.1 Travauxantérieurs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19
2.2.2 Modèlederégression . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20
2.2.3 Algorithmedelocalisation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21
2.2.4 LedescripteurHOLD . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21
2.2.5 Résultatsexpérimentaux . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23
2.2.6 Améliorationspossibles . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27
2.3 Alignementdevisage2D-3D . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29
2.3.1 Optimisationauto-cohérente . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30
2.3.2 Résultatsexpérimentaux . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30
3 Apprentissagededistanceetdistancedecommutationsurgraphe 33
3.1 L’apprentissagededistance . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 34
3.2 Lesalgorithmespourl’apprentissagededistance . . . . . . . . . . . . . . . . . . . . . . 35
3.2.1 LadistancedeMahalanobis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35
3.2.2 Lesapprochesbaséessurlesgraphesetl’apprentissagedevariété . . . . . . . 36
3.3 Apprentissagededistanceparanalyseencomposanteslogistiquesdiscriminantes . . . 38
3.3.1 Formulationdedépart(LDML) . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38
3.3.2 InconvénientsdelaméthodeLDML . . . . . . . . . . . . . . . . . . . . . . . . . 39
3.3.3 Notrecontribution:LogisticDiscriminantComponentAnalysis (LDCA) . . . . . . 39
3.3.4 Convexité . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 40
3.4 Distancesurgrapheetapprentissagesemi-supervisé . . . . . . . . . . . . . . . . . . . 40
3.4.1 Apprentissagesemi-supervisé . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41
3.4.2 Notionsdethéoriesdesgraphes . . . . . . . . . . . . . . . . . . . . . . . . . . . 43
ii Tabledesmatières
3.4.3 Marchealéatoiresurungraphe . . . . . . . . . . . . . . . . . . . . . . . . . . . . 44
3.4.4 Tempsmoyendepremierpassageettempsmoyendecommutation . . . . . . . 44
3.4.5 Lamatricelaplacienneetsapseudo-inverse . . . . . . . . . . . . . . . . . . . . 45
3.4.6 Classificationpark-plusprochesvoisinssurgraphe . . . . . . . . . . . . . . . . 47
3.5 Expériences. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47
3.5.1 Descriptiondelaméthode. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47
3.5.2 Représentationdesvisages . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 48
3.5.3 ÉvaluationdelaméthodeLDCA . . . . . . . . . . . . . . . . . . . . . . . . . . . 48
3.5.4 Évaluationdelaméthodepark-PPVsurgraphe . . . . . . . . . . . . . . . . . . 49
3.5.5 Classificationpark-PPVsurgraphe . . . . . . . . . . . . . . . . . . . . . . . . . 49
3.5.6 CombinaisondesreprésentationsLDCAetk-PPVsurgraphe . . . . . . . . . . . 50
3.5.7 Évaluationdelaméthodecomplète . . . . . . . . . . . . . . . . . . . . . . . . . 51
3.6 Conclusionsetperspectives . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52
4 Apprentissagededistancecontraintesurlespaires 53
4.1 PairwiseConstrainedComponentAnalysis(PCCA) . . . . . . . . . . . . . . . . . . . . . 53
4.1.1 Contraintesdesimilaritésurlespaires . . . . . . . . . . . . . . . . . . . . . . . . 53
4.1.2 Formulationmathématique . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 54
4.1.3 Choixdel’application . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 56
A
4.1.4 Optimisation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 57
4.1.4.1 Convexité . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 57
4.1.4.2 Algorithmed’optimisationutilisé . . . . . . . . . . . . . . . . . . . . . . 58
4.1.4.3 Casdesnoyauxetpréconditionnement . . . . . . . . . . . . . . . . . . 58
4.2 Expériences. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 60
4.2.1 Vérificationdevisages . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 60
4.2.1.1 Variationdunombredepairesd’entraînement . . . . . . . . . . . . . . 60
4.2.1.2 Lesnoyauxutilisés . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 60
4.2.1.3 Choixdesparamètres . . . . . . . . . . . . . . . . . . . . . . . . . . . . 61
4.2.2 Ré-identification . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 62
4.2.2.1 Protocoleexpérimental . . . . . . . . . . . . . . . . . . . . . . . . . . . 63
4.2.2.2 Variationsdesparamètres . . . . . . . . . . . . . . . . . . . . . . . . . 63
4.2.2.3 Lesautresméthodes . . . . . . . . . . . . . . . . . . . . . . . . . . . . 64
4.2.3 Résultatsexpérimentaux . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 64
4.3 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 66
5 Apprentissagededistancetrans-modale 69
5.1 L’appariementtrans-modal. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 69
5.2 Lesalgorithmesexistantspourl’appariementtrans-modal . . . . . . . . . . . . . . . . . 71
5.3 CMML:Apprentissagededistancetrans-modale . . . . . . . . . . . . . . . . . . . . . . 73
5.4 Applications et etoptimisation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 73
A B
5.5 Résultatsexpérimentaux . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 74
5.5.1 Reconnaissancemulti-pose:résultatssurMulti-PIE . . . . . . . . . . . . . . . . 75
5.5.2 Reconnaissancedevisagesphotographie/dessin:résultatssurCUFSF . . . . . 77
5.5.3 Vérificationdevisagetrans-modale:résultatssurLFW . . . . . . . . . . . . . . 78
5.6 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 79
6 Approximationetapprentissagedenoyauxadditifshomogènes 81
6.1 Travauxantérieurs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 81
6.2 Noyauxadditifshomogènesetfonctiondere-description . . . . . . . . . . . . . . . . . . 82
6.2.1 Définitions. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 82
6.2.2 Fonctiondere-description . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 83
Tabledesmatières iii
6.2.3 Fonctiondere-descriptionapprochée . . . . . . . . . . . . . . . . . . . . . . . . 85
6.3 Lenoyaudelamoyennepuissance. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 85
6.3.1 Moyennegénéralisée . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 85
6.3.2 Lenoyaudelamoyennepuissance . . . . . . . . . . . . . . . . . . . . . . . . . 86
6.3.3 Fonctiondere-descriptiondunoyaudelamoyennepuissance . . . . . . . . . . 87
6.3.4 Utilisationdunoyaudelamoyennepuissance . . . . . . . . . . . . . . . . . . . 89
6.4 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 89
7 Conclusion 91
7.1 Recalageetextractiond’informations. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 91
7.2 L’apprentissagededistance . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 92
7.3 Lesnoyaux . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 93
7.4 Versuneméthodedereconnaissancerobuste . . . . . . . . . . . . . . . . . . . . . . . 93
A Moyennepuissance :noyaudéfinipositif 95
B Quantitésremarquablesetpseudo-inversedulaplaciend’ungraphe 97
B.1 Rappelsetdéfinitions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 97
B.2 CalculenfonctiondesélémentsdeL+ . . . . . . . . . . . . . . . . . . . . . . . . . . . . 99
B.3 Réseauxélectriques . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 100
B.4 Caractérisationdespontsd’ungraphe . . . . . . . . . . . . . . . . . . . . . . . . . . . . 103
C Optimisationsurlavariétédesmatricessemi-définiespositives 105

CHAPITRE 1
La reconnaissance de personnes
dans les images
LAreconnaissancedespersonnesdanslesimagessusciteunvifattraitdanslacommunautéscien-
tifique, à un tel point qu’il serait difficile de faire une revue exhaustive de l’ensemble des travaux
sur le sujet. Ceci s’explique d’une part par l’énorme intérêt applicatif (aussi bien en matière de sé-
curité, vidéosurveillance, etc. que pour les applications multimédia grand public) mais aussi de par
le défi que cela représente pour les algorithmes de vision artificielle. En effet, ceux-ci doivent être
capables de faire face à la grande variabilité des visages eux-mêmes tout autant qu’aux variations
desparamètresdeprisedevue(pose,éclairage,coupedecheveux,expression,arrière-plan,etc.).
Danscechapitre,nousprésentonsdemanièregénéralelesdifférentestâchesquerecouvrelano-
tiondereconnaissancedespersonnesdanslesimages,expliquonspourquoicestâchessontdifficiles,
présentons les différentes bases du domaine public utilisable pour expérimenter des algorithmes de
reconnaissance, expliquons comment les méthodes à noyaux peuvent apporter à la reconnaissance
depersonnes,et,finalement,présentonslescontributionsdelathèse.
❙♦♠♠❛✐r❡
✶✳✶ ▲❛ r❡❝♦♥♥❛✐ss❛♥❝❡ ❞❡ ♣❡rs♦♥♥❡s ❞❛♥s ❧❡s ✐♠❛❣❡s ✿ ❜❡s♦✐♥s ❡t ❞✐✣❝✉❧tØs ✳ ✳ ✳ ✷
✶✳✶✳✶ ▲❡s ❞✐✛Ør❡♥ts t②♣❡s ❞❡ ❜❡s♦✐♥s ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✷
✶✳✶✳✷ ▲❛ r❡♣rØs❡♥t❛t✐♦♥ ❞❡s ✈✐s❛❣❡s ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✸
✶✳✶✳✸ ❇❛s❡s ❞❡ ❞♦♥♥Ø❡s ♣✉❜❧✐q✉❡s ✉t✐❧✐sØ❡s ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✹
✶✳✶✳✸✳✶ ▲❛ ❜❛s❡ ▼✉❧t✐ P■❊ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✹
✶✳✶✳✸✳✷ ▲❛❜❡❧❡❞ ❋❛❝❡s ✐♥ t❤❡ ❲✐❧❞ ✭▲❋❲✮ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✺
✶✳✶✳✸✳✸ ▲❛ ❜❛s❡ ❈❯❋❙❋✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✽
✶✳✶✳✸✳✹ ❱✐❡✇♣♦✐♥t ■♥✈❛r✐❛♥t P❡rs♦♥ ❘❡✲✐❞❡♥t✐✜❝❛t✐♦♥ ✭❱■P❡❘✮ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✽
✶✳✷ ❘❡❝♦♥♥❛✐ss❛♥❝❡ ❞❡ ✈✐s❛❣❡ ❡t ♥♦②❛✉① ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✽
✶✳✷✳✶ ▲❛ r❡❝♦♥♥❛✐ss❛♥❝❡ ❞❡ ✈✐s❛❣❡s ✿ ♣r✐♥❝✐♣❡s ❡t rØs✉❧t❛ts rØ❝❡♥ts ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✽
✶✳✷✳✶✳✶ ▲❡s ♣r✐♥❝✐♣❛✉① ❞❡s❝r✐♣t❡✉rs ✈✐s✉❡❧s ✉t✐❧✐sØs ♣♦✉r r❡♣rØs❡♥t❡r ❧❡s ✈✐s❛❣❡s✳ ✾
✶✳✷✳✶✳✷ ▼❡s✉r❡ ❞❡ s✐♠✐❧❛r✐tØ ❡♥tr❡ ❞❡s❝r✐♣t❡✉rs ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✶✵
✶✳✷✳✷ ▲❡s ♠Øt❤♦❞❡s (cid:224) ♥♦②❛✉① ❡t ❧❡ ✓tr✉❝ ❞✉ ♥♦②❛✉✔ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✶✶
✶✳✷✳✷✳✶ ❉✐st❛♥❝❡ ❡t ♣r♦❞✉✐t s❝❛❧❛✐r❡ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✶✶
✶✳✷✳✷✳✷ ❋♦♥❝t✐♦♥s ♥♦②❛✉① ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✶✷
✶✳✷✳✷✳✸ ▲❡ ✓tr✉❝ ❞✉ ♥♦②❛✉✔ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✶✸
✶✳✷✳✷✳✹ ▲❡ t❤Ø♦rŁ♠❡ ❞✉ r❡♣rØs❡♥t❛♥t ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✶✹
✶✳✷✳✸ ❈♦♥tr✐❜✉t✐♦♥s ❞❡ ❧❛ t❤Łs❡ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✶✺