Thèse de Doctorat de l'Université de Nantes Alexandre NINASSI

250 Pages·2009·9.23 MB·French

UNIVERSITÉ DE NANTES
ÉCOLE DOCTORALE
« SCIENCES ET TECHNOLOGIES DE L’INFORMATION ET DE
MATHEMATIQUES »
Année : 2009
Thèse de Doctorat de l’Université de Nantes
Spécialité : TRAITEMENT DU SIGNAL ET INFORMATIQUE APPLIQUEE
Présentée et soutenue publiquement par
Alexandre NINASSI
le 17 mars 2009
à l’École polytechnique de l’université de Nantes
DE LA PERCEPTION LOCALE DES DISTORSIONS DE CODAGE A L’APPRECIATION
GLOBALE DE LA QUALITE VISUELLE DES IMAGES ET VIDEOS.
APPORT DE L’ATTENTION VISUELLE DANS LE JUGEMENT DE QUALITE
Jury
Présidente : Mme GUERIN-DUGUE Anne Professeur des Universités, INPG, Grenoble
Rapporteurs : M. COUDOUX Francois-Xavier Professeur des Universités, Université de Valenciennes
M. LABIT Claude Directeur de Recherche, INRIA, Rennes
Examinateurs : M. BARBA Dominique Professeur des Universités, Polytech'Nantes
M. EBRAHIMI Touradj Professeur, EPFL, Lausanne
M. LE CALLET Patrick Professeur des Universités, Polytech'Nantes
M. LE MEUR Olivier Ingénieur de recherche, THOMSON R&D, Cesson-Sévigné

Directeur de Thèse : Dominique BARBA
Laboratoire : IRCCyN
Co-encadrant : Patrick LE CALLET
Laboratoire : IRCCyN
Composante de rattachement du directeur de thèse : École polytechnique de l’université de Nantes
N° ED 503-041

A` Sophie.

Remerciements
Je tiens `a remercier
Madame Anne Gu´erin-Dugu´e, Professeur des Universit´es `a l’INPG de Grenoble, qui m’a fait l’honneur de
pr´esider le jury de cette th`ese;
Monsieur Franc¸ois-Xavier Coudoux, Professeur des Universit´es `a l’Universit´e de Valenciennes, et Monsieur
ClaudeLabit,DirecteurdeRecherche`al’INRIAdeRennes,d’avoirbienvouluaccepterlachargederapporteur;
Monsieur Touradj Ebrahimi, Professeur `a l’EPFL de Lausanne, d’avoir bien voulu juger ce travail;
Dominique Barba, directeur de cette th`ese, Patrick Le Callet et Olivier Le Meur pour m’avoir conseill´e et
guid´e tout au long de mes travaux;
Philippe Guillotel, responsable du laboratoire Compression de Thomson R&D France, pour m’avoir accueilli
dans son ´equipe;
Tous les membres du laboratoire Compression de Thomson R&D France et de l’´equipe Image Vid´eo Commu-
nication de l’IRCCyN pour leur accueil, leur sympathie et leur contribution `a ce travail;
Guillaume et Ana pour leur relecture finale;
Ma famille, mes amis.

Table des mati`eres
Introduction g´en´erale 1
I Distorsions visuelles en images et vid´eos 5
Introduction 7
1 E´tat de l’art 9
1.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9
1.2 Vid´eo num´erique et facteurs humains . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9
1.2.1 Repr´esentation et codage . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10
1.2.2 Les distorsions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14
1.3 Mod´elisation du syst`eme visuel humain . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16
1.3.1 La perception de la luminance . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17
1.3.2 La perception des couleurs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18
1.3.3 La sensibilit´e au contraste . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19
1.3.4 L’organisation multi-canal . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24
1.3.5 Les effets de masquage . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26
1.4 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30
2 Imagerie des distorsions perc¸ues : conception de nouvelles m´ethodes et validation compa-
rative 33
2.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33
2.2 Revue des m´ethodes existantes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 34
2.2.1 Les approches purement de type signal . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35
2.2.2 Les approches structurelles . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35
2.2.3 Les approches mod´elisant le syst`eme visuel humain . . . . . . . . . . . . . . . . . . . . . . 38
2.2.4 Discussion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 40
2.3 Principe g´en´eral des deux mod`eles propos´es . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 40
2.4 Espace de couleur et adaptation en luminance . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42
2.5 Mod´elisation du comportement multi-canal . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 44
i
2.5.1 D´ecomposition en canaux perceptuels (DCP) . . . . . . . . . . . . . . . . . . . . . . . . . 44
2.5.2 Adaptation de la transform´ee en ondelettes . . . . . . . . . . . . . . . . . . . . . . . . . . 44
2.6 Mod´elisation de la sensibilit´e aux contrastes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49
2.6.1 Mod`ele bas´e Fourier . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49
2.6.2 Mod`ele bas´e ondelettes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 50
2.7 Mod´elisation de l’effet de masquage spatial . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51
2.7.1 Masquage de contraste . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51
2.7.2 Masquage semi-local . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52
2.8 Normalisation et cumul inter sous-bandes des erreurs . . . . . . . . . . . . . . . . . . . . . . . . . 55
2.9 R´esultats qualitatifs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 56
2.9.1 Comparaison de cartes de distorsions perceptuelles . . . . . . . . . . . . . . . . . . . . . . 56
2.9.2 Perspectives d’am´elioration des cartes de distorsions perceptuelles . . . . . . . . . . . . . 61
2.10 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 63
3 Conception de s´equences de distorsions visuelles de vid´eos 65
3.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 65
3.2 Revue des m´ethodes existantes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 66
3.2.1 Les approches purement de type signal . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 66
3.2.2 Les approches structurelles . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 67
3.2.3 Les approches mod´elisant le syst`eme visuel humain . . . . . . . . . . . . . . . . . . . . . . 67
3.2.4 Discussion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 68
3.3 Principe g´en´eral du mod`ele propos´e . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 70
3.4 Cumul temporel court terme . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 72
3.5 Les tubes spatio-temporels. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 72
3.5.1 Estimation de l’information de mouvement . . . . . . . . . . . . . . . . . . . . . . . . . . 74
3.5.2 Construction des tubes spatio-temporels . . . . . . . . . . . . . . . . . . . . . . . . . . . . 74
3.6 Filtrage temporel des distorsions spatiales dans les tubes . . . . . . . . . . . . . . . . . . . . . . . 77
3.7 E´valuation temporelle des distorsions dans les tubes . . . . . . . . . . . . . . . . . . . . . . . . . 77
3.8 R´esultats qualitatifs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 79
3.9 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 82
ii
Conclusion 83
II Crit`eres objectifs de qualit´e visuelle d’images et de vid´eos 85
Introduction 87
4 E´tat de l’art sur l’´evaluation subjective et objective de la qualit´e visuelle d’images et de
vid´eos 89
4.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 89
4.2 Tests subjectifs d’´evaluation de qualit´e . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 90
4.2.1 Tests subjectifs : maˆıtriser l’environnement . . . . . . . . . . . . . . . . . . . . . . . . . . 90
4.2.2 Tests subjectifs : les sources de biais . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 91
4.2.3 Les diff´erents protocoles de tests subjectifs . . . . . . . . . . . . . . . . . . . . . . . . . . 92
4.2.4 Traitement des r´esultats obtenus lors de tests . . . . . . . . . . . . . . . . . . . . . . . . . 96
4.2.5 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 99
4.3 Indicateurs de performance de crit`eres objectifs de qualit´e visuelle . . . . . . . . . . . . . . . . . 99
4.3.1 Coefficient de corr´elation lin´eaire : indicateur de pr´ecision . . . . . . . . . . . . . . . . . . 100
4.3.2 Coefficient de corr´elation de rang : indicateur de monotonicit´e . . . . . . . . . . . . . . . 101
4.3.3 Outlier ratio : indicateur de coh´erence . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 101
4.3.4 Erreur de pr´ediction de la qualit´e . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 102
4.3.5 Tests de significativit´e ou tests statistiques de diff´erence significative . . . . . . . . . . . . 102
4.4 M´etriques de qualit´e visuelle avec r´ef´erence compl`ete . . . . . . . . . . . . . . . . . . . . . . . . . 103
4.4.1 Approches reposant sur le calcul de cartes de distorsions : cumul spatial des distorsions . 104
4.4.2 Approchesreposantsurlecalculdes´equencestemporellesdecartesdedistorsions:cumul
spatial et temporel des distorsions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 106
4.4.3 Autres approches . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 108
4.4.4 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 109
4.5 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 110
5 Crit`eres objectifs de qualit´e visuelle d’images 111
5.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 111
5.2 Cumul spatial . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 111
5.3 Exp´erimentations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 112
5.3.1 Bases d’´evaluation subjective . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 112
5.3.2 E´valuation des performances . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 116
5.4 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 123
iii
6 Crit`eres objectifs de qualit´e visuelle de vid´eos 125
6.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 125
6.2 Cumul spatial et cumul temporel . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 126
6.2.1 Cumul spatial . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 127
6.2.2 Cumul temporel . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 128
6.3 Exp´erimentations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 131
6.3.1 Base d’´evaluation subjective . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 131
6.3.2 E´valuation des performances . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 132
6.4 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 140
Conclusion 141
III Attention visuelle et construction du jugement de qualit´e visuelle 143
Introduction 145
7 E´tat de l’art sur l’attention visuelle 147
7.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 147
7.2 Les mouvements oculaires et l’attention visuelle . . . . . . . . . . . . . . . . . . . . . . . . . . . . 147
7.2.1 Les mouvements oculaires . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 147
7.2.2 L’attention visuelle s´elective . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 149
7.3 Attention visuelle et ´evaluation de qualit´e . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 152
7.3.1 Attention visuelle et ´evaluation subjective de la qualit´e . . . . . . . . . . . . . . . . . . . 152
7.3.2 Attention visuelle et ´evaluation objective de la qualit´e . . . . . . . . . . . . . . . . . . . . 152
7.4 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 154
8 Attention visuelle et construction du jugement de qualit´e d’images 155
8.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 155
8.2 Exp´erimentations oculom´etriques et tests subjectifs de qualit´e . . . . . . . . . . . . . . . . . . . . 155
8.2.1 Dispositif oculom´etrique : l’oculom`etre . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 156
8.2.2 Exploration libre . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 158
8.2.3 Tˆache d’´evaluation de qualit´e . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 158
8.2.4 D´eroulement de l’ensemble des tests oculom´etriques . . . . . . . . . . . . . . . . . . . . . 159
8.2.5 Construction d’une saillance spatiale . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 160
8.3 Impact de la tˆache d’´evaluation de la qualit´e sur l’attention visuelle. . . . . . . . . . . . . . . . . 161
8.3.1 Tˆache et dur´ee des fixations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 162
8.3.2 Tˆache et cartes de saillance . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 163
iv