Reconnaissance automatique de la parole de personnes âgées pour les services d'assistance à ...

227 Pages·2016·3.88 MB·French

by  Frederic Aman

Reconnaissance automatique de la parole de personnes
ˆag´ees pour les services d’assistance `a domicile
Frederic Aman
To cite this version:
Frederic Aman. Reconnaissance automatique de la parole de personnes aˆg´ees pour les services
d’assistance a` domicile. Traitement du signal et de l’image. Universit´e Grenoble Alpes, 2014.
Fran¸cais. <NNT : 2014GRENM095>. <tel-01347155>
HAL Id: tel-01347155
https://tel.archives-ouvertes.fr/tel-01347155
Submitted on 20 Jul 2016
HAL is a multi-disciplinary open access L’archive ouverte pluridisciplinaire HAL, est
archive for the deposit and dissemination of sci- destin´ee au d´epˆot et `a la diffusion de documents
entific research documents, whether they are pub- scientifiques de niveau recherche, publi´es ou non,
lished or not. The documents may come from ´emanant des ´etablissements d’enseignement et de
teaching and research institutions in France or recherche fran¸cais ou ´etrangers, des laboratoires
abroad, or from public or private research centers. publics ou priv´es.
THÈSE
Pour obtenir le grade de
DOCTEUR DE L’UNIVERSITÉ DE GRENOBLE
Spécialité : Informatique
Arrêtéministériel:7août2006
Présentéepar
Frédéric AMAN
Thèse dirigée par Michel VACHER
préparée au sein Laboratoire d’Informatique de Grenoble (LIG)
et de Ecole Doctorale Mathématiques, Sciences et Technologies de
l’Information, Informatique
Reconnaissance automatique de la
parole de personnes âgées pour
les services d’assistance à domi-
cile
Thèse soutenue publiquement le 9 décembre 2014,
devant le jury composé de :
Mme Christine VERDIER
Professeur des Universités, Université Joseph Fourier, Grenoble 1, LIG,
Président
Mme Martine ADDA-DECKER
DirecteurdeRecherche,CNRS,LaboratoiredePhonétiqueetPhonologie,Paris,
Rapporteur
M. Jean-François BONASTRE
ProfesseurdesUniversités,Universitéd’Avignon,LIA,Rapporteur
M. Vincent RIALLE
Maître de Conférences-Praticien Hospitalier, Université Joseph Fourier, Gre-
noble1,AGIM,Examinateur
M. Jacques DUCHENE
ProfesseurdesUniversités,UniversitédeTechnologiedeTroyes,Examinateur
M. Alain ANFOSSO
Ingénieur,CSTB,Nice,Examinateur
M. Michel VACHER
IngénieurdeRechercheCNRSHDR,LIG,Directeurdethèse
Mme Solange ROSSATO
Maître de Conférences, Université Stendhal, Grenoble 3, LIG, Co-Encadrant de
thèse

Résumé
Environ un tiers de la population française aura plus de 65 ans à l’horizon 2050. Face
aumanquedeplacesdanslesinstitutionsspécialiséespourpersonnesâgées,lemaintienà
domicilelepluslongtempspossibleestunenjeusociétaletéconomiquemajeurquigagne-
raitàbénéficierd’uneassistancetechnologiquepoursoulagerletravaildesaidants.C’estle
butpoursuiviparlaMaisonIntelligentequiestunerésidenceéquipéedetechnologieinfor-
matique pour assister ses habitants dans les situations diverses de la vie domestique aussi
biensurleplanduconfortqueceluidelasécurité.Lareconnaissanceautomatiquedelapa-
role (RAP) pourrait être un apport essentiel dans la détection des situations anormales qui
constitueunpointessentield’unsystèmedesurveillanceàdomicile.
C’estpourquoi,lebutdestravauxdecettethèseestd’incluredanslemilieudeviedela
personne âgée dépendante et isolée à domicile un système de RAP capable de reconnaître
des appels vers les proches ou les aidants et de détecter des appels de détresse prononcés
par la personne âgée. Pour ce faire, il sera nécessaire d’adapter les techniques de RAP aux
caractéristiquesparticulièresdelavoixdecespersonnes.
En effet, des études ont montré que les performances des systèmes de RAP diminuent
aveclesvoixâgéescarlesmodèlesdessystèmesdeRAPexistantssontmajoritairementap-
pris avec des corpus de parole non âgée. De plus, les corpus d’apprentissage sont pour la
plupart prononcés de façon neutre et enregistrés dans des conditions idéales. Cependant,
ensituationréelle,noussommesloindesconditionsidéales,etlesappelsdedétresseseront
aussi prononcées de manière expressive. Pourtant, si de nombreuses études portent sur la
reconnaissanceautomatiquedesémotions,trèspeud’étudesontétéréaliséespourévaluer
lesperformancesdessystèmesdeRAPdanslecasd’uneparoleexpriméeavecdesémotions
fortes.L’apprentissagedesmodèlesacoustiquesetl’évaluationdessystèmesdeRAPnéces-
sitent des corpus spécifiques adaptés à la tâche et aux locuteurs visés. Or nous constatons
l’inexistencedecorpusdeparoleâgéeenfrançaisadaptéaucontexteapplicatif,c’est-à-dire
comprenantd’unepartdesappelsàl’aidemaisaussiverslesaidants.
C’estpourquoi,lesrecherchesprésentéesdanscemanuscrits’appuientsurtroiscorpus
quenousavonsenregistrés.Lepremier,AD80,aétéconstituéàpartird’enregistrementsde
phrasesadaptéesàlasituation,luesaussibienpardespersonnesjeunesquedespersonnes
âgées en institution. Le second est constitué d’entretiens avec des personnes âgées (parole
spontanée)tandisqueletroisièmeestcomposédevoixémuesactées(détresse)enregistrées
enlaboratoire.Uneétudephonémiqueetuneétudeprosodiquedesdifférencesentrelavoix
jeuneetlavoixâgéeontmontréuneplusgrandedispersiondesrésultatspourlavoixâgée
maisaussilapossibilitédanslaplupartdescasd’améliorerlesperformances.Cesrésultats
nous ontensuite permis de développer un système de RAP adapté à la tâche qui a été éva-
lué sur corpus. Ce système a été évalué ensuite sur des données enregistrées pendant une
expérimentation en situation réelle incluant des chutes jouées dans l’appartement de test
DOMUSduLIGpardespersonnesjeunesetâgées.
Motsclés:Reconnaissanceautomatiquedelaparole,voixâgée,voixémue,dépendance,
environnementsperceptifs,AssistanceàlaVieAutonome(AAL).
3

Abstract
AboutathirdoftheFrenchpopulationwillbeover65yearsoldto2050.Duetothelack
ofplacesinspecializedinstitutionsfortheelderly,thelongtermdomesticsupportisasocial
and economic challenge, which deserves to benefit from technological assistance to facili-
tate the work of caregivers. It is the aim of the Smart Home which is a residence equipped
withcomputingtechnologytoassistpeopleinvarioussituationsofdomesticlife,intermsof
comfortandsafety.Theautomaticspeechrecognition(ASR)couldbeanessentialcontribu-
tiontothedetectionofabnormalsituations,whichisanessentialpointofahomemonito-
ringsystem.
Therefore,theaimofthisthesisworkistoincludeintothelivingenvironmentofthede-
pendentandisolatedelderlyanASRsystem.Thissystemwillrecognizethecallstorelatives
orcaregiversanddetectdistresscallsutteredbytheelderly.Todothis,itwillbenecessaryto
adapttheASRsystemtotheparticularcharacteristicsoftheelderlyvoice.
Furthermore, studies have shown that the performances of ASR systems decrease with
agingvoices.Indeed,modelsofexistingsystemsofASRaremostlylearnedwithnon-elderly
speech. In addition, the training corpora are mostly spoken neutrally and recorded under
ideal conditions. However, in real life, we are far from these ideal conditions, and distress
callswillalsobeexpressivelypronounced.However,whilemanystudiesfocusontheauto-
maticrecognitionofemotions,veryfewstudieshavebeenconductedtoevaluatetheperfor-
manceofautomaticspeechrecognitionsystemsinthecaseofspeechspokenunderstressful
conditions.ThelearningofacousticmodelsandtheevaluationofASRsystemsrequirespe-
cific corpora adapted to the task and the speakers. Nevertheless, we see the lack of French
speechcorporarecordedbyelderlyadaptedtotheapplicationcontext,withcallstorelatives
aswellasdistresscalls.
Therefore, the research presented in this manuscript is based on three corpora that we
recorded.Thefirstcorpus,AD80,hasbeenformedfromrecordingsofsentencesappropriate
to the situation, read by young and elderly people. The second one consists of interviews
withseniors(spontaneousspeech)whilethethirdoneismadeupofemotionalspeech(dis-
tress) recorded in the laboratory. A phonemic analysis and a study of prosodic differences
between the young and the elderly voices demonstrated a greater variability of results for
theagingvoicebutalsothepossibilityinmostcasestoimprovetheperformance.Thesere-
sultsallowedustodevelopanASRsystemadaptedtothetask.Thesystemwasthentested
on data recorded during an experiment in a real situation, including falls played by young
andelderlypeople,intheDOMUStestapartment.
5

Remerciements
JetiensàremerciermondirecteurdethèseMichelVacheretmaco-encadranteSolange
Rossatopourleursconseils,leursoutienetleurdisponibilitétoutaulongdemathèse.Leur
expérienceetleurpassionontpermisdeguiderdefaçonstimulanteledéroulementdecette
thèse.Jelesremercieégalementpourleurseffortsderelecturedumanuscrit.
Je remercie aussi François Portet pour ses nombreuses idées qui ont aidé à donner les
directions scientifiques de ma thèse, et pour ses contributions dans le développement des
logicielsGEODetCirdoX.
JeremercieVéroniqueAubergépoursesencouragements,poursonaidedanslamiseen
placeduprotocolederecueildecorpusdevoixdedétresse,ainsiquepoursescontributions
scientifiquesdanslathèserenduespossiblesparsonimmenseculturedanslessciencesdu
langage.
Je remercie également Laurent Besacier et tout le groupe de recherche GETALP de
m’avoiraccueillidansleuréquipe.
J’aimeraisremercierMartineAdda-DeckeretJean-FrançoisBonastrepouravoiraccepté
d’être les rapporteurs de ma thèse. Je remercie également Chritine Verdier qui a accepté
d’être le président du jury, ainsi que Vincent Rialle, Jacque Duchêne et Alain Anfosso pour
leurparticipationaujurycommeexaminateurs.
Je remercie ma sœur Caroline et tout le personnel de l’EHPAD Château de Labahou et
duSSRLesCadièresdem’avoiraccueillidansleurétablissementpourréaliserlesenregistre-
mentsdecorpusdeparole.
Jeremerciedeplustouslesparticipantsquiontacceptéd’êtreenregistrésdanslecadre
demacollectedecorpus.
JeremercieégalementSarahSamsonJuanetBenjaminLecouteuxpourleursoutientech-
niquesurlessystèmesdereconnaissanceautomatiquedelaparole.MerciégalementàSarah
poursesrelecturesattentivesdemesarticlesenanglais.
JetiensaussiàremercierElodie,qui,enmetransférantl’offred’emploipourcettethèse,
aétélepointdedépartdecetteaventure.
Un grand merci aux doctorants, post-doctorants, stagiaires et ingénieurs de l’équipe
GETALP et MRIM, restés plus ou moins longtemps au laboratoire, qui ont créé une bonne
ambiancedetravailetpermisdepartagerdesmomentsdeconvivialitétrèsagréables:Sarah,
Elodie, Nadia, Juline, Pathatai, Uyanga, Marion, Manuela, Yuko, Johann, David, Guillaume,
Pedro,Remus,Marwen,Quang,Sohnoun,Andrew,Issam,Mateusz,CheicketShachar.
MerciàVanildopourletraditionnelcaféaprèslerestoU.
Je remercie également mes parents, Cécile, Elodie, Cécilia, Pathatai, Sarah et Mateusz
pouravoirorganisémonpotdethèse.
Enfin,ungrandmerciàmafamilleetmesamisquim’ontsoutenuetencouragédurant
mathèse.
7

Tabledesmatières
Résumé 3
Abstract 5
Tabledesmatières 12
Tabledesfigures 14
Listedestableaux 17
1 Introduction 19
1.1 Motivation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19
1.2 LeprojetCIRDO . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21
1.3 Définitionduproblème . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22
1.4 Objectifsdutravaildethèse . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23
1.5 Plandumanuscrit . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23
2 Étatdel’artdesapplicationsenmaintienàdomicile 25
2.1 Intelligenceambiante . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28
2.1.1 e-lio . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29
2.1.2 CompanionAble. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29
2.1.3 GERHOME . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30
2.1.4 House_n . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31
2.1.5 RoboCare. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31
2.1.6 Sweet-Home . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32
2.2 Acceptabilité . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32
2.3 Analyse sonore pour la reconnaissance des situations problématiques et des
chutes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35
2.3.1 Reconnaissancedessonsdanslecadredeladétectiondessituationsde
détresse . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35
2.3.2 Reconnaissanceautomatiquedelaparoledanslecadredeladétection
dessituationsdedétresse . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37
2.4 Autressystèmesdedétectiondechute . . . . . . . . . . . . . . . . . . . . . . . . 39
2.5 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39
3 Étatdel’artdelareconnaissancedesvoixâgéesetémues 41
3.1 Voixâgée . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41
3.1.1 Spécificitésdelavoixâgée . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41
3.1.1.1 Évolutionphysiologiquedelavoixâgée . . . . . . . . . . . . . . 41
3.1.1.2 Évolutiondescaractéristiquesacoustiquesetaérodynamiques
delavoixâgée . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42
9