Methods for face detection and adaptive face recognition

145 Pages·2010·12.22 MB·English

M
e
t
h
o
d
s

f
o
r

f
a
c
e Methods for

d
e
t face detection and
e
c
ti adaptive face recognition
o
n

a
n
d

a
d
a
p
t
i
v
e

f
a
c
e

r
e
c
o
g
n
i
t
i
? o
n
S
r
i
-
K
a
u
s
h
i
k

ISBN 9789081059237 P
a
v
a
n
i
2
0
1 Sri-Kaushik Pavani
9 789081059237 0
Methods for face detection and adaptive
face recognition
Sri-KaushikPavani
Methodsforfacedetectionandadaptivefacerecognition
Sri-KaushikPavani
ISBN:9789081059237
Depósitolegal:DLB-29799-2010
TypesetinLATEX2ε,generatedbypdfTeXver.3.1415926-1.40.10-2.2.
PrintedbyAgpografS.A.Barcelona,Spain.
ThesisclasscourtesyofDr.AvanSuinesiaputra.
©2010Sri-KaushikPavani,Barcelona,Spain
Allrightsreserved. Nopartofthispublicationmaybereproducedortransmittedinany
formorbyanymeans,electronicormechanical,includingphotocopying,recording,or
any information storage and retrieval system, without permission in writing from the
copyrightowner.
Methods for face detection and adaptive
face recognition
AthesissubmittedbySri-KaushikPavaniinpartialfulfilmentofthe
requirementsforthedegreeofDoctorofPhilosophy
DepartamentdeTecnologiesdelaInformacióilesComunicacions
UniversitatPompeuFabra
2010
Supervisors: Dr.AlejandroF.Frangi
UniversitatPompeuFabra
Dr.DavidDelgado-Gomez
UniversidadCarlosIIIdeMadrid
ThisworkwascarriedoutintheCenterforComputationalImagingandSimulationTech-
nologiesinBiomedicine(CISTIB).
Dissertationseriesnumber4.
ThisworkwaspartiallyfundedbythegrantsTIC2002-04495-C02&TEC2006-03617/TCM
from the Spanish Ministry of Education & Science, FIT-360000-2006-55 & FIT-360005-
2007-9fromtheSpanishMinistryofIndustry,andTIN2009-14536-C02-01fromSpanish
MinistryofScience&Innovation.
FinancialsupportforthepublicationofthisthesiswaskindlyprovidedbyCISTIBandby
UPF.
ABSTRACT / RESUM
Thefocusofthisthesisisonfacialbiometrics;specificallyintheproblemsoffacedetec-
tionandfacerecognition.Despiteintensiveresearchoverthelast20years,thetechnology
is not foolproof, which is why we do not see use of face recognition systems in critical
sectorssuchasbanking.Inthisthesis,wefocusonthreesub-problemsinthesetwoareas
ofresearch. Firstly,weproposemethodstoimprovethespeed-accuracytrade-offofthe
state-of-the-artfacedetector.Secondly,weconsideraproblemthatisoftenignoredinthe
literature: todecreasethetrainingtimeofthedetectors. Weproposetwotechniquesto
thisend.Thirdly,wepresentadetailedlarge-scalestudyonself-updatingfacerecognition
systemsinanattempttoanswerifcontinuouslychangingfacialappearancecanbelearnt
automatically.
L’objectiud’aquestatesiéssobrebiometriafacial,específicamentenelsproblemesde
deteccióderostresireconeixementfacial.Malgratlaintensarecercadurantelsúltims20
anys,latecnologianoésinfalible,demaneraquenoveieml’úsdelssistemesdereconeix-
ement de rostres en sectors crítics com la banca. En aquesta tesi, ens centrem en tres
sub-problemesenaquestesduesàreesderecerca.Enprimerlloc,esproposamètodesper
millorarl’equilibrientrelaprecisióilavelocitatdeldetectordecaresd’últimageneració.
Ensegonlloc,consideremunproblemaquesovints’ignoraenlaliteratura: disminuirel
tempsdeformaciódelsdetectors. Esproposenduestècniquesperaaquestfi. Entercer
lloc,espresentaunestudidetallatagranescalasobrel’auto-actualitzaciódelssistemes
dereconeixementfacialenunintentderespondresielcanviconstantdel’aparençafacial
espotaprendredeformaautomàtica.
i
CONTENTS
Abstract/Resum i
Contents ii
ListofFigures v
ListofTables vii
PrefaceandAcknowledgements ix
1 Introduction 1
1.1 References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7
2 Improvingthespeed-accuracytrade-offofobjectdetectors 9
2.1 Haar-like Features with Optimally Weighted Rectangles for Rapid Object
Detection . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12
2.1.1 Haar-likefeatures . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12
2.1.1.1 Haar-likeFeatureswithOptimallyWeightedRectangles . 13
2.1.1.2 Weakclassifiers . . . . . . . . . . . . . . . . . . . . . . . . . 13
2.1.1.3 Single-rectanglefeaturespace . . . . . . . . . . . . . . . . 14
2.1.1.4 PerformanceofweakclassifiersinSRFS . . . . . . . . . . 15
2.1.2 Trainingweakclassifiers. . . . . . . . . . . . . . . . . . . . . . . . . . 17
2.1.2.1 Brute-forcesearch . . . . . . . . . . . . . . . . . . . . . . . 19
2.1.2.2 GeneticAlgorithms. . . . . . . . . . . . . . . . . . . . . . . 19
2.1.2.3 Fisher’slineardiscriminantanalysis. . . . . . . . . . . . . 20
2.1.3 Boostingweakclassifiers . . . . . . . . . . . . . . . . . . . . . . . . . 20
2.1.4 Trainingtheobjectdetector . . . . . . . . . . . . . . . . . . . . . . . 23
2.1.4.1 Frameworkoftheobjectdetectionsystem . . . . . . . . . 23
2.1.5 Buildingtherejectioncascade . . . . . . . . . . . . . . . . . . . . . . 23
2.1.6 Experimentalsetupandresults . . . . . . . . . . . . . . . . . . . . . 25
2.1.6.1 Thetrainingdatasets. . . . . . . . . . . . . . . . . . . . . . 26
2.1.6.2 Thetestdatasets . . . . . . . . . . . . . . . . . . . . . . . . 27
2.1.6.3 LimitingthenumberofHaar-likefeatures . . . . . . . . . 27
2.1.6.4 Trainingobjectdetectors . . . . . . . . . . . . . . . . . . . 28
ii
2.1.6.5 Comparisonofaccuraciesofobjectdetectors . . . . . . . 28
2.1.6.6 Comparisonofspeedofobjectdetectors . . . . . . . . . . 31
2.1.7 Conclusions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 34
2.2 Gaussianweakclassifiersbasedonco-occurringHaar-likefeaturesforface
detection . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36
2.2.1 WeakclassifiersbasedonHFs . . . . . . . . . . . . . . . . . . . . . . 36
2.2.1.1 Gaussianweakclassifiers . . . . . . . . . . . . . . . . . . . 37
2.2.2 MotivationforusingGWCs . . . . . . . . . . . . . . . . . . . . . . . . 38
2.2.3 Buildingthefacedetector . . . . . . . . . . . . . . . . . . . . . . . . . 39
2.2.4 Results . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39
2.2.4.1 Comparisonofaccuracy . . . . . . . . . . . . . . . . . . . 43
2.2.4.2 Comparisonofspeed . . . . . . . . . . . . . . . . . . . . . 43
2.2.5 Conclusionsanddiscussions . . . . . . . . . . . . . . . . . . . . . . . 45
2.3 GaussianweakclassifiersbasedonHaar-likefeatureswithfourrectangles
forreal-timefacedetection . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49
2.3.1 Relatedwork . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49
2.3.2 WeakclassifiersbasedonHFs . . . . . . . . . . . . . . . . . . . . . . 50
2.3.2.1 Gaussianweakclassifiers . . . . . . . . . . . . . . . . . . . 50
2.3.3 MotivationforusingGaussianweakclassifiers . . . . . . . . . . . . 52
2.3.4 Results . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52
2.3.5 Conclusions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 55
2.4 References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 56
3 Acceleratingthetrainingphaseoffacialdetectors 59
3.1 ARapidlyTrainableandGlobalIlluminationInvariantObjectDetectionSys-
tem. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 62
3.1.1 Haar-likefeaturesandweakclassifiers . . . . . . . . . . . . . . . . . 62
3.1.1.1 Acluttermodel . . . . . . . . . . . . . . . . . . . . . . . . . 63
3.1.1.2 Proposedweakclassifier . . . . . . . . . . . . . . . . . . . 64
3.1.1.3 Pre-eliminatingredundantHFs . . . . . . . . . . . . . . . 65
3.1.2 Experimentalsetupandresults . . . . . . . . . . . . . . . . . . . . . 65
3.1.3 Conclusions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 66
3.2 Fast training of Viola-Jones type object detectors using Laplacian clutter
models . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 69
3.2.1 Viola-Jonesobjectdetector . . . . . . . . . . . . . . . . . . . . . . . . 69
3.2.2 Relatedapproaches . . . . . . . . . . . . . . . . . . . . . . . . . . . . 70
3.2.3 Methodology . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 71
3.2.3.1 Cluttermodel . . . . . . . . . . . . . . . . . . . . . . . . . . 71
3.2.3.2 Trainingprocedure. . . . . . . . . . . . . . . . . . . . . . . 72
3.2.4 Results . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 74
3.2.5 Conclusionsanddiscussions . . . . . . . . . . . . . . . . . . . . . . . 76
3.2.5.1 Howisfasttrainingachieved? . . . . . . . . . . . . . . . . 77
3.2.5.2 Prosandcons: . . . . . . . . . . . . . . . . . . . . . . . . . 77
3.2.5.3 Whichobjectscanbelearnt? . . . . . . . . . . . . . . . . . 78
3.3 References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 80
iii
4 Towardsself-updatingfacerecognitionsystems 83
4.1 DesignandExperimentalEvaluationofSelf-UpdatingFrontalFaceRecog-
nitionSystems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 86
4.1.1 Comparisontopreviouswork . . . . . . . . . . . . . . . . . . . . . . 87
4.1.2 Componentsofthefacerecognitionsystem . . . . . . . . . . . . . . 89
4.1.2.1 Facedetection . . . . . . . . . . . . . . . . . . . . . . . . . 89
4.1.2.2 Facesegmentation . . . . . . . . . . . . . . . . . . . . . . . 90
4.1.2.3 Facenormalization. . . . . . . . . . . . . . . . . . . . . . . 90
4.1.2.4 Classification . . . . . . . . . . . . . . . . . . . . . . . . . . 91
4.1.2.5 Selectionblock . . . . . . . . . . . . . . . . . . . . . . . . . 92
4.1.3 Selectionprocessforautomaticupdates . . . . . . . . . . . . . . . . 92
4.1.3.1 Temporalconfidence(C ). . . . . . . . . . . . . . . . . . . 92
t
4.1.3.2 Confidenceofthefacedetector(C ) . . . . . . . . . . . . 93
d
4.1.3.3 Confidenceofthesegmentationalgorithm(C ) . . . . . . 94
s
4.1.3.4 Confidenceoftheclassificationalgorithm(C ) . . . . . . 94
c
4.1.3.5 Fusionofshapeandtexturep-values . . . . . . . . . . . . 95
4.1.3.6 Computationofconfidencevalue . . . . . . . . . . . . . . 96
4.1.3.7 Imageselectionusingconfidencemeasures . . . . . . . . 96
4.1.4 Experimentalsetup . . . . . . . . . . . . . . . . . . . . . . . . . . . . 97
4.1.4.1 Imagedatabases . . . . . . . . . . . . . . . . . . . . . . . . 97
4.1.4.2 GEFA . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 97
4.1.4.3 YT . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 97
4.1.4.4 Limitations . . . . . . . . . . . . . . . . . . . . . . . . . . . 98
4.1.4.5 Updateprocedure . . . . . . . . . . . . . . . . . . . . . . . 98
4.1.4.6 Impostordetection. . . . . . . . . . . . . . . . . . . . . . . 99
4.1.5 Results . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 101
4.1.6 Summaryanddiscussion . . . . . . . . . . . . . . . . . . . . . . . . . 105
4.1.7 Databasesdownloadinformation . . . . . . . . . . . . . . . . . . . . 107
4.2 References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 108
5 Conclusions 113
Publications 117
Publicationsinjournals . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 117
Publicationsinpeer-reviewedconferences. . . . . . . . . . . . . . . . . . . . . . . 117
Mediacoverage . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 119
Biography 121
Index 123
iv
LIST OF FIGURES
1.1 Arethesetwofacesthesametoacomputer? . . . . . . . . . . . . . . . . . . . . 4
1.2 Howdissimilararethesetwofaces? . . . . . . . . . . . . . . . . . . . . . . . . . . 5
1.3 Howsimilararethesetwofaces?. . . . . . . . . . . . . . . . . . . . . . . . . . . . 5
2.1 IllustrationofHaar-likefeatures . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14
2.2 Typicalimagesfromobjectandclutterdatabases. . . . . . . . . . . . . . . . . . 15
2.3 DistributionofobjectpointsfordifferentHaar-likefeatures . . . . . . . . . . . 16
2.4 Distributionofclutterpoints . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17
2.5 Ageometricalviewofaweakclassifierperformance . . . . . . . . . . . . . . . . 18
2.6 Illustrationofcascadedclassifiers . . . . . . . . . . . . . . . . . . . . . . . . . . . 25
2.7 FirstfeaturesselectedbyAdaBoost . . . . . . . . . . . . . . . . . . . . . . . . . . 29
2.8 ComparisonofROCcurvesforvariousfaceandheartdetectors . . . . . . . . . 31
2.9 FacedetectoroutputonMIT+CMUdatabase. . . . . . . . . . . . . . . . . . . . . 32
2.10 Heartdetectoroutputonvarioustestimages. . . . . . . . . . . . . . . . . . . . . 33
2.11 Falsepositiverateatagivennodeofthefaceandtheheartdetectors . . . . . . 34
2.12 Jointdistributionoffeaturevaluesfromco-occurringHaar-likefeatures . . . . 39
2.13 AgeometricalviewoftheperformanceofGWCsandMWCs . . . . . . . . . . . 40
2.14 Illustrationofthearchitectureoftheobjectdetector . . . . . . . . . . . . . . . . 41
2.15 IllustrationoffeaturesselectedbySFSinthefirstroundofAdaBoost . . . . . . 42
2.16 FacedetectionresultsonCMU+MITdatabase . . . . . . . . . . . . . . . . . . . 46
2.17 Plotoffalsepositiverateandtruepositiveratefordifferentfacedetectors . . . 47
2.18 Plotillustratingthetrade-offbetweentestingtimeandaccuracyoffacedetectors 48
2.19 IllustrationofthejointdistributionoffeaturevaluesfromHaar-likefeatures . 52
2.20 AgeometricalviewoftheperformanceofGWCandtheweakclassifiersused
byViolaandJones,Rasolzadehetal.andMitaetal. . . . . . . . . . . . . . . . . 53
2.21 ComparisonofROCcurvesofdifferentfacedetectors . . . . . . . . . . . . . . . 55
3.1 Histogramsoffeaturevaluesobtainedbyevaluatingfaceandclutterclassimages 63
3.2 Illustrationofthecascadedclassifierarchitecture . . . . . . . . . . . . . . . . . 65
3.3 BestfitwithaLaplaciandistributiontohistogramsofclutterfeaturevalues . . 71
3.4 Geometricalviewofweakclassifierthresholds . . . . . . . . . . . . . . . . . . . 72
3.5 Illustrationofthecascadedclassifierarchitecture . . . . . . . . . . . . . . . . . 73
3.6 Visualresultswhentheobjectdetectoristestedonstop-sign,IEEE-logo,bicy-
clewheel,etc. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 79
v