On salience and non-accidentalness: comparing human vision to a contrario algorithms

108 Pages·2017·3.41 MB·English

by  Samy Blusseau

On salience and non-accidentalness: comparing human
vision to a contrario algorithms
Samy Blusseau
To cite this version:
Samy Blusseau. On salience and non-accidentalness: comparing human vision to a contrario algo-
rithms. General Mathematics [math.GM]. École normale supérieure de Cachan - ENS Cachan, 2015.
English. ￿NNT: 2015DENS0042￿. ￿tel-01222247￿
HAL Id: tel-01222247
https://theses.hal.science/tel-01222247
Submitted on 29 Oct 2015
HAL is a multi-disciplinary open access L’archive ouverte pluridisciplinaire HAL, est
archive for the deposit and dissemination of sci- destinée au dépôt et à la diffusion de documents
entific research documents, whether they are pub- scientifiques de niveau recherche, publiés ou non,
lished or not. The documents may come from émanant des établissements d’enseignement et de
teaching and research institutions in France or recherche français ou étrangers, des laboratoires
abroad, or from public or private research centers. publics ou privés.
École Normale Supérieure de Cachan
On salience and non-accidentalness:
a contrario
comparing human vision to algorithms
A dissertation presented by
Samy Blusseau
in fulfillment of the requirements
for the degree of Doctor of Philosophy
in the subject of Applied Mathematics
Committee in charge
Referees Andrés Almansa - Télécom ParisTech, FR
Laurent Perrinet - Aix-Marseille Université, FR
Johan Wagemans - KU Leuven, BE
Advisors Jean-Michel Morel - ENS de Cachan, FR
Rafael Grompone von Gioi - ENS de Cachan, FR
Examiners Yann Gousseau - Télécom ParisTech, FR
Alessandro Sarti - EHESS, FR
September 2015
◦
ENSC-2015n 601

Abstract
Thepresentdissertationcomparesthehumanvisualperceptiontocomputervisional-
gorithms based on a mathematical model called a contrario theory. To this aim, it
focusesontwovisualtasksthatareatthesametimeeasytomodelandconvenientto
test in psychophysical experiments. Both tasks consist in the perceptual grouping of
orientedelements,namelyGaborpatches. Thefirstoneisthedetectionofalignments
and the second one extends to curves, that is to say to more general arrangements of
elementsingoodcontinuation. Inbothcases,alignmentsandcurves,psychophysical
experimentsweresetuptocollectdataonthehumanvisualperceptioninamasking
context.
Thenon-accidentalnessprinciplestatesthatspatialrelationsareperceptuallyrelevant
whentheiraccidentaloccurrenceisunlikely. Theacontrariotheoryisaformalization
ofthisprinciple,andisusedincomputervisiontosetdetectionthresholdsaccordingly.
In this thesis, the a contrario framework is applied in two practical algorithms de-
signedtodetectnon-accidentalalignmentsandcurvesrespectively. Thesealgorithms
playthepartofartificialsubjectsforourexperiments.
Theexperimentaldataofhumansubjectsisthencomparedtothedetectionalgorithms
ontheverysametasks,yieldingtwomainresults. First,thisprocedureshowsthatthe
NumberofFalseAlarms(NFA),whichisthescalarmeasureofnon-accidentalnessin
theacontrariotheory,stronglycorrelateswiththedetectionratesachievedbyhuman
subjectsonalargevarietyofstimuli. Secondly,thealgorithms’responsesmatchvery
welltheaveragebehaviorofhumanobservers.
The contribution of this thesis is therefore two-sided. On the one hand, it provides a
rigorousvalidationoftheacontrariotheory’srelevancetoestimatevisualthresholds
and implement visual tasks in computer vision. On the other hand, it reinforces the
importanceofthenon-accidentalnessprincipleinhumanvision.
Aiming at reproducible research, all the methods are submitted to IPOL journal, in-
cluding detailed descriptions of the algorithms, commented reference source codes,
andonlinedemonstrationsforeachone.

Résumé
Dans cette thèse nous comparons la vision humaine à des algorithmes de vision par
ordinateur basés sur un modèle mathématique appelé théorie a contrario. Pour cela,
nous nous concentrons sur deux tâches visuelles dont la modélisation d’une part, et
l’expérimentation psychophysique d’autre part, sont simples. Celles-ci relèvent du
groupement perceptuel d’éléments orientés appelés patchs de Gabor. Dans la pre-
mièretâcheils’agitdedétecterdesalignements,etdanslasecondedescourbes,soit
desconfigurationsplusgénéralesdanslesquelleslesélémentssontenbonnecontinu-
ation. Danslesdeuxcas,desexpériencespsychophysiquesontétémenéesafindecol-
lecterdesdonnéessurlaperceptionvisuellehumainedansuncontextedemasquage.
Leprincipedenon-accidentalitédésignelefaitquelesrelationsspatialesentredesélé-
ments prennent un sens pour la perception lorsqu’il semble invraisemblable qu’elles
soientlefruitduhasard. Ceprincipetrouveuneformalisationdanslathéorieacon-
trario,quiestutiliséeenvisionparordinateurpourdéterminerdesseuilsdedétection
en accord avec la non-accidentalité. Les méthodes a contrario sont appliquées ici
dansl’implémentationdedeuxalgorithmes,conçuspourdétecterrespectivementdes
alignements et des courbes non-accidentels. Ces algorithmes jouent le rôle de sujets
artificielsdansnosexpériences.
Les données expérimentales des sujets humains ont donc été comparées aux algo-
rithmessurlesmêmestaches,conduisantàdeuxprincipauxrésultats. Premièrement,
le Nombre de Fausses Alarmes (NFA), qui est la mesure de non-accidentalité dans
la théorie a contrario, est en forte corrélation avec les taux de détection obtenus par
les sujets humains sur un large éventail de stimuli. Deuxièmement, les réponses des
algorithmessonttrèssimilairesàcellesdelamoyennedessujetshumains.
Lacontributiondecettethèseestdoncdouble. D’unepart,ellevalidedefaçonrigoureuse
la pertinence des méthodes a contrario dans l’estimation de seuils perceptuels, et
leurapplicationenvisionparordinateur. D’autrepart, ellesoulignel’importancedu
principedenon-accidentalitédanslavisionhumaine.
Danslebutderendrecesrecherchesreproductibles,lesméthodesdécritesdanslathèse
sontsoumisespourpublicationdanslejournalIPOL.Cespublicationsfournissentle
détail des algorithmes, leur code source commenté, ainsi qu’une démonstration en
lignepourchacund’eux.

Remerciements
Les années de thèse ont été pour moi une période privilégiée, durant laquelle il m’a
étéoffertd’apprendreenmeconsacrantpleinementàunprojetunique,etcedansles
meilleuresconditions. Jesuissincèrementreconnaissantenverstousceuxquiontpar-
ticipéàmedonnercettechance.
J’aitrouvéauCMLAuncadreidéalpourtravaillerdanslasérénitéetlabonnehumeur.
JeledoisengrandepartieàCarine,Christophe,Micheline,NicolasP.,Sandra,Véronique
et Virginie, dont la bienveillance et la compétence ont assuré le bon déroulement de
monséjouraulaboratoire,tantsurlesplanslogistiqueetadministratifqu’humain. Je
remercie également tous les professeurs du CMLA pour leur accessibilité et l’image
positivequ’ilsm’ontdonnéedumétierd’enseignant-chercheur.
Mes remerciements vont tout particulièrement à mes directeurs Jean-Michel Morel
et Rafael Grompone von Gioi, qui m’ont laissé la plus grande liberté dans mon tra-
vailtoutenmeprévenantd’éventuelségarementsparleursidéesetleursconseils. Ils
ont fait preuve d’une disponibilité exceptionnelle que je souhaite à tous les doctor-
ants. Parailleurs,jegarderaiunsouvenirenthousiastedugroupe“images”duCMLA,
où la qualité scientifique va de paire avec un esprit de partage et d’entraide. Merci
également aux chercheurs du CibPSI, en particulier Alejandra Carboni et Alejandro
Maiche,etàGregoryRandallquiaencouragécettecollaborationavecl’Universidad
delaRepúblicadeMontevideo.
Les journées au laboratoire n’auraient pas été aussi plaisantes sans mes camarades
duCMLA:entrerisotti,débatsetplaisanteries,lacuisineaétélelieudesmeilleures
pausesgrâceàvous.
Enfin, merci à toutes celles et tous ceux que je devrais remercier chaque jour - ils se
reconnaîtront.

Contents
1 Introduction 11
1.1 Motivation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11
1.2 Salienceofalignments . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14
1.3 Salienceofcurves . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17
1.4 Summaryofthecontributions . . . . . . . . . . . . . . . . . . . . . . . . . . . 21
2 Psychophysics,GestaltsandGames 23
2.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23
2.2 Thenon-accidentalnessprincipleinvision . . . . . . . . . . . . . . . . . . . . . 25
2.3 Introductiontotheacontrariotheory . . . . . . . . . . . . . . . . . . . . . . . 28
2.4 DetectionTheoryversusGestaltism . . . . . . . . . . . . . . . . . . . . . . . . 34
2.5 DetectionTheoryversusPsychophysics . . . . . . . . . . . . . . . . . . . . . . 39
2.6 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 46
3 Measuringthesalienceofalignmentsbytheirnon-accidentalness 47
3.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47
3.2 Methods . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49
3.3 ExperimentI (𝑁 = 200) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51
3.4 ExperimentII (𝑁 = 100) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 55
3.5 ExperimentIII (𝑁 = 600) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 55
3.6 Modelandalgorithm . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 56
3.7 Subjectscomparedtothealgorithm . . . . . . . . . . . . . . . . . . . . . . . . 61
3.8 Discussion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 64
3.9 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 67
4 Measuringthesalienceofcurvesbytheirnon-accidentalness 69
4.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 69
4.2 Methods . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 71
4.3 ExperimentI . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 74
4.4 ExperimentII . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 79
4.5 Modelandalgorithm . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 83
4.6 Subjectscomparedtothealgorithm . . . . . . . . . . . . . . . . . . . . . . . . 88
4.7 Discussion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 96
4.8 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 97
5 Conclusionandperspectives 99
9