Analyse du Comportement Humain

184 Pages·2012·10.57 MB·French

Analyse du Comportement Humain `a
´
Partir de la Vid´eo en Etudiant
l’Orientation du Mouvement
`
THESE
pr´esent´ee et soutenue publiquement le 19 novembre 2012
pour l’obtention du
Doctorat de l’Universit´e des Sciences et Technologies de Lille
(sp´ecialit´e informatique)
par
Yassine Benabbas
Composition du jury
Pr´esident : R´emi Gilleron, (Professeur) Universit´e Lille 3
Rapporteurs : Bernard Merialdo, (Professeur) Eurecom Sophia Antipolis
Cyril Carincotte, (HDR) Institut MULTITEL Mons
Examinateur : Peter Veelaert, (Professeur) Universit´e de Gand
Directeur de th`ese : Chabane Djeraba, (Professeur) Universit´e Lille 1
UNIVERSITE´ DES SCIENCES ET TECHNOLOGIES DE LILLE
Laboratoire d’Informatique Fondamentale de Lille — UPRESA 8022
U.F.R. d’I.E.E.A. – Baˆt. M3 – 59655 VILLENEUVE D’ASCQ CEDEX
T´el. : [phone] – T´el´ecopie : [phone] – email : [email protected]
MisenpageetcomposéavecLATEXetlaclassethlifl.
i
A` mes parents...
A` mes fr`eres...
A` toute ma famille...
A` tous mes amis...
ii
iii
Remerciements
Tout d’abord, je remercie vivement le professeur Chabane Djeraba de m’avoir accueilli au
seindesonéquipepourréalisermathèse.Jeleremerciepourm’avoirguidé,conseilléetsoutenu
toutaulongdecetravail.
Je suis très reconnaissant envers les professeurs Dan Simovici, Slimane Larabi et Mark
Zhang pour leurs discussions, leurs idées et leurs disponibilités. Mes remerciements vont éga-
lement à Adel Lablack, à Nacim Ihaddadene, à Thierry Urruty et à Tarek Yahiaoui pour leur
collaboration,leuraideetleursoutienpendantcestroisannées.
Je tiens à remercier également les professeurs Bernard Merialdo et Cyril Carincotte pour
avoir accepté d’être les rapporteurs de mon mémoire de thèse, et le professeur Peter Veelaert
pouravoiracceptéd’êtreexaminateur.
JeremercievivementRémiGilleron,professeuràl’UniversitéLille3,d’êtrelePrésidentde
mon jury de thèse. Je remercie aussi l’ensemble des membres du LIFL, doctorants, chercheurs
etpersonnelsadministratifsquiontcontribuédeprèsoudeloinàmathèse.
Je tiens à saluer l’ensemble de l’équipe Fox-Miire dans laquelle j’ai réalisé ma thèse. Plus
particulièrement, Jean et Marius pour l’aide apportée durant la rédaction de ce mémoire, ainsi
quelesautresdoctorantsetpost-doctorantsSamir,Ismail,Haidar,Taner,RémyetAmel.
iv
Abstract
The recognition and prediction of people activities from videos are major concerns in the
fieldofcomputervision.
Themainobjectiveofmythesisistoproposealgorithmsthatanalyzehumanbehaviorfrom
video. This problem is also called video content analysis or VCA. This analysis is performed
in outdoor or indoor environments using simple webcams or more sophisticated surveillance
cameras.
The video scene can be of two types depending on the number of people present. The first
type is characterized by the presence of only one person at a time in the video. We call this
anindividualscenewherewewilltackletheproblemofhumanactionrecognition.Thesecond
type of scene contains a large number of persons. This is called a crowd scene where we will
addresstheproblemsofmotionpatternextraction,crowdeventdetectionandpeoplecounting.
To achieve our goals, we propose an approach based on three levels of analysis. The first
level is the detection of low-level descriptors retrieved from the images of the video (e.g. areas
in motion). The second level retrieves descriptors for modeling human behavior (e.g. average
speedanddirectionofmovement).Thetoplevelusesthedescriptorsoftheintermediatestepto
provide users with concrete results on the analysis of behavior (e.g. this person is running, that
oneiswalking,etc.).
Experimentation on well-known benchmarks have validated our approaches, with very sa-
tisfyingresultscomparedtothestateoftheart.
Keywords : Computer vision, classification, event detection, action recognition, coun-
ting,motionpatterns.
Résumé
La reconnaissance du comportement et la prédiction des activités des personnes depuis la
vidéosontdespréoccupationsmajeuresdansledomainedelavisionparordinateur.
L’objectif principal de mon travail de thèse est de proposer des algorithmes qui permettent
d’analyser des objets en mouvement à partir de la vidéo pour extraire des comportements hu-
mains. Cette analyse est effectuée dans des environnements intérieurs ou extérieurs filmés par
desimpleswebcamsoupardescamérasplussophistiquées.
La scène analysée peut être de deux types en fonction du nombre de personnes présentes.
On distingue les scènes de foule où le nombre de personnes est important. Dans ce type de
scène, nous nous intéressons aux problèmes de la détection d’évènements de foule, à l’analyse
des flux et à l’extraction des motifs de mouvement. Le deuxième type de scène se caractérise
parlaprésenced’uneseulepersonneàlafoisdanslechampdelacaméra.Cetypedescèneest
appeléscèneindividuelle.Nousytraitonsleproblèmedereconnaissanced’actionshumaines.
Pouratteindrecesobjectifs,nousproposonsuneapprochebaséesurtroisniveauxd’analyse.
Le premier est l’extraction des caractéristiques de bas niveau depuis les images constituant un
fluxvidéo(ex.leszonesenmouvement).Ledeuxièmeconstruitdesdescripteurspourl’analyse
du comportement humain (ex. la direction moyenne et la vitesse moyenne de mouvement). Le
niveau le plus haut se sert des descripteurs du deuxième niveau afin de fournir aux utilisateurs
des résultats concrets sur l’analyse du comportement humain (ex. telle personne marche, une
autrecourt,etc.).
Des expérimentations sur des benchmarks connus ont validé nos approches, avec un posi-
tionnementquinoussembleintéressantparrapportàl’étatdel’art.
Mots clés : Analyse du comportement, vision par ordinateur, classification, détection
d’évènements,reconnaissanced’actions,comptage,motifsdemouvement.
Table des matières
Tabledesfigures xi
Listedestableaux xvii
1 Introduction 1
1.1 Contexte . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2
1.2 Problématique . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8
1.3 Objectifs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9
1.4 Contributionetoriginalité . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10
1.5 Schémagénéraldel’approche . . . . . . . . . . . . . . . . . . . . . . . . . . 11
1.6 Plandelathèse . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13
2 Étatdel’art 15
2.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16
2.2 Définitiondeszonesd’intérêt . . . . . . . . . . . . . . . . . . . . . . . . . . . 16
2.2.1 Zonesprédéfinies . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17
2.2.2 Avant-planextraitparuneméthoded’extractiond’arrière-plan . . . . . 18
2.2.3 Pointsd’intérêt . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20
2.2.4 Synthèse . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23
2.3 Descripteursdemouvement . . . . . . . . . . . . . . . . . . . . . . . . . . . 25
2.3.1 Fluxoptique . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25
2.3.2 Volumesspatiotemporels . . . . . . . . . . . . . . . . . . . . . . . . . 30
2.3.3 Lesimagesd’historiqueetd’énergiedumouvement . . . . . . . . . . 31
2.3.4 Synthèse . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33
2.4 Méthodesdeclassificationbaséesurl’apprentissageautomatique . . . . . . . . 34
2.4.1 LesMachinesàVecteursdeSupport(SVM) . . . . . . . . . . . . . . . 34
2.4.2 AdaBoost . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35
vii
2.5 Analyseducomportementhumaindansdesscènesindividuelles . . . . . . . . 35
2.5.1 Représentationsglobales . . . . . . . . . . . . . . . . . . . . . . . . . 37
2.5.2 Représentationslocales . . . . . . . . . . . . . . . . . . . . . . . . . . 38
2.5.3 Synthèse . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41
2.6 Analyseducomportementhumaindansdesscènesdefoule . . . . . . . . . . . 42
2.6.1 Extractiondesmotifsdemouvement . . . . . . . . . . . . . . . . . . . 42
2.6.2 Détectiond’évènementsdefoule . . . . . . . . . . . . . . . . . . . . . 49
2.6.3 Estimationdesflux . . . . . . . . . . . . . . . . . . . . . . . . . . . . 54
2.7 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 66
3 Descripteurspourl’analyseducomportementhumain 69
3.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 70
3.2 Modèledirectionneletmodèledemagnitude . . . . . . . . . . . . . . . . . . . 70
3.3 Descripteurssurlesgroupesdepersonnesenmouvement . . . . . . . . . . . . 76
3.3.1 Extractiondesblobsdepuisunecartespatiotemporelle2D . . . . . . . 76
3.3.2 Groupesdepersonnesdansunereprésentationsousformedegrille . . . 79
3.4 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 81
4 Analyseducomportementhumaindansdesscènesindividuelles 83
4.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 84
4.2 Descriptiondel’approche . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 84
4.3 Reconnaissancedel’action(niveausémantique) . . . . . . . . . . . . . . . . . 86
4.4 Expérimentationsetrésultats . . . . . . . . . . . . . . . . . . . . . . . . . . . 88
4.4.1 Efficacitédelareconnaissancedesactions . . . . . . . . . . . . . . . . 88
4.4.2 Étudecomparative . . . . . . . . . . . . . . . . . . . . . . . . . . . . 90
4.4.3 Étudedunombredeclassesd’actionsetdelatailledesblocs . . . . . . 92
4.5 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 92
5 Analyseducomportementhumaindansunescènedefoule 95
5.1 Extractiondesmotifsdemouvement . . . . . . . . . . . . . . . . . . . . . . . 96
5.1.1 Descriptiondel’approche . . . . . . . . . . . . . . . . . . . . . . . . 97
5.1.2 Extractiondesmotifsdemouvement(niveausémantique) . . . . . . . 98
5.1.3 Expérimentations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 100
5.2 Détectiond’évènementsdefoule . . . . . . . . . . . . . . . . . . . . . . . . . 105
5.2.1 Descriptiondel’approche . . . . . . . . . . . . . . . . . . . . . . . . 105