Face Detection and Verification using Local - Idiap Publications

150 Pages·2007·10.5 MB·English

Face Detection and Verification
using Local Binary Patterns
THÈSENo 3681(2006)
PRESENTÉELE26OCTOBRE2006
ÁLAFACULTÉDESSCIENCESETTECHNIQUESDEL’INGÉNIEUR
Laboratoiredel’IDIAP
SECTIONDEGÉNIEÉLECTRIQUEETÉLECTRONIQUE
ÉCOLE POLYTECHNIQUE FÉDÉRALE DE LAUSANNE
POURL’OBTENTIONDUGRADEDEDOCTEURÈSSCIENCES
PAR
Yann RODRIGUEZ
ingénieurenmicrotechniqueEPF
denationalitésuisseetoriginairedeBagnes(VS)
acceptéesurpropositiondujury:
Prof. J.R.Mosig,présidentdujury
Prof. H.Bourlard,Dr. S.Marcel,directeursdethèse
Prof. T.Cootes,rapporteur
Prof. M.Pietikäinen,rapporteur
Prof. J.-Ph. Thiran,rapporteur
Lausanne,EPFL
2006
2
Abstract
This thesis proposes a robust Automatic Face Verification (AFV) system using Local Binary Pat-
terns (LBP). AFV is mainly composed of two modules: Face Detection (FD) and Face Verification
(FV).ThepurposeofFDistodeterminewhetherthereareanyfaceinanimage,whileFVinvolves
confirming or denying the identity claimed by a person. The contributions of this thesis are the
following: 1)areal-timemultiviewFDsystemwhichisrobusttoilluminationandpartialocclusion,
2) a FVsystembased on theadaptation of LBP features, 3) an extensive studyof the performance
evaluationofFDalgorithmsandinparticulartheeffectofFDerrorsonFVperformance.
ThefirstpartofthethesisaddressestheproblemoffrontalFD.WeintroducethesystemofViola
and Jones which is the first real-time frontal face detector. One of its limitations is the sensitivity
tolocallightingvariationsandpartialocclusionoftheface. Inordertocopewiththeselimitations,
we propose to use LBP features. Special emphasis is given to the scanning process and to the
merging of overlapped detections, because both have a significant impact on the performance. We
thenextendourfrontalFDmoduletomultiviewFD.
Inthesecondpart,wepresentanovelgenerativeapproachforFV,basedonanLBPdescription
of the face. The main advantages compared to previous approaches are a very fast and simple
trainingprocedureandrobustnesstobadlightingconditions.
In the third part, we address the problem of estimating the quality of FD. We first show the
influence of FD errors on the FV task and then empirically demonstrate the limitations of current
detection measures when applied to this task. In order to properly evaluate the performance of a
face detection module, we propose to embed the FV into the performance measuring process. We
showempiricallythattheproposedmethodologybettermatchesthefinalFVperformance.
Keywords: FaceDetectionandVerification,Boosting,LocalBinaryPatterns.
i
ii
Résumé
Cettethèseprésenteunsystèmed’authentificationbiométriquebasésurlareconnaisancedevisage.
Lesystèmeestcomposédedeuxmodules: détectionetauthentification. Lebutdupremiermodule
consisteàdétectersiunvisageestcontenudansl’image. Lesecondmoduledéterminesicevisage
appartient ou non à la personne qui tente de s’authentifier. Les contributions de cette thèse sont
les suivantes: 1) un module de détection temps-réel robuste à lumière et capable de localiser des
visagesnonfrontaux,2)unmoduled’authentificationbasésurl’adaptationdefiltreslocauxappelés
LBP(LocalBinaryPattern),3)uneétudesurl’évaluationdelaqualitédesmodulesdedétection.
La première partie de ce travail discute le problème de la détection de visages. Les principales
limites des systèmes existants résident dans le manque de robustesse à la lumière et aux occulta-
tionspartiellesduvisage. Pouryremédier,nousproposonsunereprésentationduvisagebaséesur
les LBP. Une attention particulière est apportée aux processus de recherche dans l’image et de la
fusion des multiples détections, qui peuvent avoir un impact significatif sur les performances du
système.
Dans la deuxième partie, nous présentons une nouvelle méthode d’authentification, basée sur
une représentation LBP de l’image. Elle offre une meilleure robustesse aux conditions de lumière
etuneprocédured’entrainementplussimpleetrapide.
La troisième partie adresse le problème de l’évaluation de la qualité de la détection de visages.
Enpremierlieu,nousanalysonsl’influencedeserreursdedétectionsurl’authentification. Ensuite,
nous démontrons empiriquement les limites des mesures de détection existantes, puis nous pro-
posons d’encapsuler le module d’authentification dans le processus d’évaluation. La méthodologie
proposéeaméliorel’évaluationdelaperformancefinaledumoduled’authentification.
Mots-clés: Détectionetauthentificationdevisages,Boosting,LocalBinaryPatterns.
iii
iv
Acknowledgement
The research presented in this thesis has been carried out at the IDIAP Research Institute in
Martigny, between the years 2002 and 2006, under the supervision of Dr. Sébastien Marcel and
Dr. Samy Bengio. I would like to thank them for their guidance, availability and enthusiasm dur-
ingthisthesis. Itwasgreattoworkwiththem. ManythankstoSébastienwhoalwayssupportme
along these four years. Beside the hot discussions about C++ code cleaning and Torchvision data
management, I will keep very nice memories of the CeBIT (darts, box of cookies, Japanese restau-
rant..) andalsoofthewonderful"Médaillondecerf"wehadaftertheprivatedefense! Iwouldalso
like tothank IDIAPfor funding my research and Prof. Hervé Bourlard for his encouragement and
valuableadvice.
Thanks to my officemates and colleagues at IDIAP over the years, and especially to Agnes for
theinterestingdiscussions,forsometimesbeingmysecretary,forhelpingmewhenIwasdesperate
withlatexandgenerallyfortheniceworkingatmosphere. SpecialthankstoRonanandJohnnyfor
their C++ support and teaching in machine learning. I do not want to forget Frank, Norbert and
Tristanofthesystemgroup,alwaysavailable,efficientandveryniceguys.
I would like to thank the jury members of my thesis committee for the many interesting com-
mentsandcriticismthathelpedimprovethismanuscript.
Lastlyandmostimportantly,Iamdeeplygratefultomylovelyparentsandmybrotherfortheir
unconditionalsupport,andtoSandraforherencouragement,hersmile,herdeliciousfoodandher
constantlove.
v
vi
Contents
1 Introduction 3
1.1 AutomaticFaceVerification . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4
1.2 Challenges . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5
1.3 ScopeandContributions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5
1.4 OrganizationoftheThesis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7
2 FrontalFaceDetection 9
2.1 RelatedWork. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9
2.1.1 Appearance-basedApproaches . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10
2.1.2 Boosting-basedApproaches . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11
2.1.3 Discussion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15
2.2 FrontalFaceDetectionUsingLocalBinaryPatterns . . . . . . . . . . . . . . . . . . . . 18
2.2.1 LBPFeatures . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18
2.2.2 WeakClassifiersandCascadeTraining . . . . . . . . . . . . . . . . . . . . . . . 21
2.3 PerformanceEvaluation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22
2.3.1 PerformanceMeasure . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22
2.3.2 FaceCriterion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23
2.3.3 Application-dependentEvaluation . . . . . . . . . . . . . . . . . . . . . . . . . . 24
2.4 ExperimentalSetup . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24
2.4.1 TrainingData . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24
2.4.2 BenchmarkTestSets . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27
2.4.3 ImageScanning . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28
vii
viii CONTENTS
2.4.4 MergingOverlappedDetections . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30
2.4.5 BenchmarkFaceDetectors. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31
2.5 FrontalFaceDetectionResults . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32
2.5.1 LBPvs. HaarFaceLocalizationResults . . . . . . . . . . . . . . . . . . . . . . . 33
2.5.2 InfluenceofMergingParameters . . . . . . . . . . . . . . . . . . . . . . . . . . . 35
2.5.3 InfluenceoftheSizeoftheTrainingSet . . . . . . . . . . . . . . . . . . . . . . . 36
2.5.4 TimeConstraints . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38
2.6 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39
3 MultiviewFaceDetection 41
3.1 Relatedwork . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41
3.2 ProposedMultiviewFaceDetectionSystem . . . . . . . . . . . . . . . . . . . . . . . . . 45
3.2.1 MultiviewFaceDetector . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45
3.2.2 Out-of-planeFaceDetector. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 46
3.2.3 In-planeFaceDetector . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47
3.3 ExperimentalSetup . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 48
3.3.1 TrainingData . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 48
3.3.2 BenchmarkTestSets . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49
3.3.3 ImageScanning . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49
3.3.4 MergingOverlappedDetections . . . . . . . . . . . . . . . . . . . . . . . . . . . . 50
3.3.5 PerformanceEvaluation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52
3.4 MultiviewFaceDetectionResults . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 53
3.4.1 MultiviewDetectorvs. FrontalDetector . . . . . . . . . . . . . . . . . . . . . . . 53
3.4.2 In-planeandOut-of-planeFaceDetectionResults . . . . . . . . . . . . . . . . . 55
3.4.3 MultiviewFaceDetectionResults. . . . . . . . . . . . . . . . . . . . . . . . . . . 58
3.4.4 PoseEstimation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 60
3.5 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 62
4 FaceVerificationUsingAdaptedLocalBinaryPatternHistograms 63
4.1 RelatedWork. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 64
4.1.1 FeatureExtraction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 64