Analyzing and Introducing Structures in Deep Neural Networks PDF
Preview Analyzing and Introducing Structures in Deep Neural Networks
THÈSE DE DOCTORAT de l’Université de recherche Paris Sciences et Lettres PSL Research University Préparée à l’Ecole Normale Supérieure Analyzing and Introducing Structures in Deep Convolutional Neural Networks Ecole doctorale n°386 SCIENCES MATHEMATIQUES DE PARIS CENTRE Spécialité INFORMATIQUE COMPOSITION DU JURY : M. PARAGIOS Nikos CentraleSupélec, Rapporteur M. PERRONIN Florent Naver Labs, Rapporteur M. CORD Matthieu Soutenue par EdouardOyallon LIP6 / UPMC, Président du jury le 6 Octobre 2017 M. LAPTEV Ivan h INRIA / ENS, Membre du jury M. PEREZ Patrick Technicolor, Membre du jury Dirigée par Stéphane Mallat h Analyzing and Introducing Structures in Deep Convolutional Neural Networks Edouard Oyallon Résumé Cette thèse étudie des propriétés empiriques des réseaux de neurones con- volutionnels profonds, et en particulier de la transformée en Scattering. En effet, l’analyse théorique de ces derniers est difficile et représente jusqu’à ce jour un défi: les couches successives de neurones ont la capacité de réaliser des opérations complexes, dont la nature est encore inconnue, via des algorithmes d’apprentissages dont les garanties de convergences ne sont pas bien comprises. Pourtant, ces réseaux de neurones sont de formidables outils pour s’attaquer à une grande variété de tâches dffiiciles telles la classification d’images, ou plus simplement effectuer des prédictions. La transformée de Scattering est un opérateur mathématique, non-linéaire dont les spécifications sont inspirées par les réseaux convolutionnels. Dans ce travail, elle est appliquée sur des images naturelles et obtient des résultats compétitifs avec les architectures non-supervisées. En placant un réseaux de neurones convolutifs supervisés à la suite du Scattering, on obtient des performances compétitives sur Ima- geNet2012, qui est le plus grand jeu de données d’images étiquetées accessible aux chercheurs. Cela nécessite d’implémenter un algorithme efficace sur carte graphique. Dans un second temps, cette thèse s’intéresse aux propriétés des couchesàdifférentesprofondeurs. Onmontrequ’unphénomènederéductionde dimensionalitéprogressifalieuetons’intéresseauxpropriétésdeclassifications supervisées lorsqu’on varie des hyper paramètres de ces réseaux. Finalement, onintroduitunenouvelleclassederéseauxconvolutifs, dontlesopérateurssont structurés par des groupes de symétries du problème de classification. Abstract This thesis studies empirical properties of deep convolutional neural net- works,andinparticulartheScatteringTransform. Indeed,thetheoreticalanal- ysis of the latter is hard and until now remains a challenge: successive layers of neurons have the ability to produce complex computations, whose nature is still unknown, thanks to learning algorithms whose convergence guarantees are not well understood. However, those neural networks are outstanding tools to tackle awide varietyof difficulttasks, likeimage classification ormore formally statistical prediction. The Scattering Transform is a non-linear mathematical operatorwhosepropertiesareinspiredbyconvolutionalnetworks. Inthiswork, we apply it to natural images, and obtain competitive accuracies with unsuper- visedarchitectures. CascadingasupervisedneuralnetworksaftertheScattering permits to compete on ImageNet2012, which is the largest dataset of labeled imagesavailable. AnefficientGPUimplementationisprovided. Then,thisthe- sis focuses on the properties of layers of neurons at various depths. We show that a progressive dimensionality reduction occurs and we study the numerical propertiesofthesupervisedclassificationwhenwevarythehyperparametersof thenetwork. Finally,weintroduceanewclassofconvolutionalnetworks,whose linearoperatorsarestructuredbythesymmetrygroupsoftheclassificationtask. Acknowledgement This work is supported by the ERC InvariantClass grant 320959. Remerciements Tout d’abord merci à Stéphane pour m’avoir beaucoup appris et consacré beaucoup de temps. J’ai passé d’intenses moments de réflexions, et ton regard sur tous les sujets que nous avons étudiés est exceptionnellement profond, et m’inspirera longtemps. Je tiens à remercier tous les brillants (actuels, anciens) membres de l’équipe deStéphaneavecquij’aipuparfoisdiscuté,commeVincent,Joakim,Joan,Lau- rent, Irène, Tomàs, Matthew, Guy, Tomàs, Louis, John, Sira, Carmine, Sixhin, Gilles, Alberto, Ravi, Ivan, Michaël, Mathieu. Je vous souhaite le meilleur par- cours possible. Merci à Damien, Bogdan, Gabriel, Frederick, Maxime, Sergey, Jörnpourlescollaborations! EnfinmerciàJoëlle,Lise-Marie,ValérieetSophie, ainsi que le SPI qui sont d’une efficacité redoutable. PuisderemerciermescamaradesdeRennes,avecquij’aipassédebonsmo- ments en licence. Puis les amis parisiens. Comme Pauline, Jonathan, Thomas, Gisela, Agnès, Adrien. Merci aux slovaques. (Michal^2 & Anna) Merci à vous d’être des personnes formidables. Je tiens à remercier aussi chaleureusement Maxime & Daria (les meilleurs voisins), Paul-Darius, Rafael, Grégoire & Misko, Fred, Eugene, Mikael, Bour- reau pour avoir contribué très négativement à l’écriture de ce manuscrit. Je sais que j’en oublie, et je m’excuse :-) Merci à ma famille (ma sœur, cousines, cousins, tantes, oncles, mes grand- parents, mes parents) pour son soutien, qui est très important pour moi, et de ne pas avoir trop râlé pendant ces 4 ans de ne pas trop me voir. Et puis merci à toi, Hélène.
Description:The list of books you might like
