Università degli Studi dell’Insubria FacoltàdiScienzeMM.FF.NN. CorsodiLaureaSpecialisticainInformatica Studio e sviluppo di un nuovo algoritmo di stereo matching basato su reti neurali autorganizzanti Relatore: Dott. IGNAZIOGALLO Correlatore: Prof. ELISABETTABINAGHI TesidiLaureaSpecialisticadi MARCOVANETTI Matricola: 705145 AnnoAccademico2008-2009 ALauraeame, perlareciprocasopportazionedurantelastesuradelletesi. Aimieigenitori,AlessandroeAntonietta, peravermisupportatoemotivatoduranteglistudi. AmiofratelloLuca, perlesvariatepizzeeicinematraunesameel’altro. Studio e sviluppo di un nuovo algoritmo di stereo matching basato su reti neurali autorganizzanti MarcoVanetti [email protected] Elaboratofinaleperilcorsodi LaureaSpecialisticainInformatica SessionediLaureaAutunnale (14ottobre2009) Sommario Nell’ambito dell’analisi di immagini stereoscopiche, questo lavoro mira a defi- nire una importante e innovativa estensione di un metodo di stereo matching ba- sato su reti neurali autorganizzanti. Alla base del modello originale, proposto nel 2007 da Venkatesh, Y.V. et all in [40], vi è una Self-Organizing Map, opportunamente modificata al fine di risolvere il problema delle corrispondenze stereo e produrre mappedidisparitàdense. Seppuraffascinanteeinnovativodalpuntodivistame- todologico,ilmodellooriginalenonpermettevadiraggiungererisultatidiinteresse operativo. Leestensionielemodifichealmodellopropostoin[40],ispiratearecen- ti ed efficienti tecniche di stereo matching, migliorano notevolmente la qualità dei risultatipurmantenendointattalastrutturadibase,caratterizzatadaunapproccio neurale autorganizzante. Analizzando la letteratura sullo stereo matching si sco- precomeimetodibasatisuanalisilocalirichiedanogeneralmenteminoritempidi elaborazioneascapitodiunaqualitàdeirisultatiminore,seconfrontataconquella ottenuta da algoritmi che trovano le corrispondenze analizzando globalmente le immagini. Purcollocandositraglialgoritmidicorrispondenzalocali,connotevoli vantaggi dal punto di vista della semplicità e dell’efficienza, il modello descritto fornisceottimirisultati,chesuperanoinqualitàmoltialgoritmidistereomatching globalipropostinegliultimianni. Parolechiave: Visionestereo,stereomatching,corrispondenzastereo, Self-OrganizingMap,mappedidisparità,gestionedelleocclusioni Prefazione In questo elaborato viene proposta ed analizzata una innovativa estensione di un modello neurale basato su Self-Organizing Maps che si presta a risolvere una que- stione fondamentale della visione stereo: il problema delle corrispondenze. Dal puntodivistaoperativoilmodelloesteso,chechiameremoStereoSOM,rientranella categoriadeglialgoritmidistereomatchingdenso1. Ènotocomeilcervelloumanosfruttilavisionestereoscopicaperdarcimaggio- ri informazioni sulla profondità degli oggetti che guardiamo. Questo, unitamente al fatto che esistono all’interno del cervello umano alcune aree che adottano com- portamentisimilialleretiSOM2,rendeStereoSOMaffascinantee,almenodalpunto divistaconcettuale,biologicamenteplausibile. Ritornandoallaclassedeimetodidistereomatchingèpossibilespecificaredue sottoinsiemidialgoritmi,asecondadicomeilmetodooperasull’immagine. Si dicono locali quei metodi che, ad ogni passo dell’elaborazione, per trovare una corrispondenza operano solo su una piccola area delle due immagini. Come il metodo operi localmente varia molto da algoritmo a algoritmo, alcuni metodi utilizzano una funzione di similarità o dissimilarità applicata ad una piccola fine- stra di punti, altri considerano il singolo punto, altri ancora un insieme di punti dipendentedalcontestolocale. Si dicono invece globali i metodi che considerano il problema della ricerca del- le corrispondenze come un problema di minimizzazione di una funzione energia globale,basatasull’interaimmagine. Solitamenteglialgoritmiglobaliconsiderano 1Glialgoritmidistereomatchingsonoanchedettialgoritmidicorrispondenzastereo;ladicitura densoindicachel’algoritmodovràtrovarelecorrispondenzeperognipuntodellacoppiadiimmagini stereoenon,comeaccadeperun’altracategoriadialgoritmidettibasatisullefeature,soloperalcuni puntispecifici. 2In realtà fu Teuvo Kohonen, uno dei primi ad occuparsi di reti SOM, ad ispirarsi al cervello umanonelladefinizionedelsuomodellodireteneuraleartificiale. vii viii l’intera immagine come un grafo e usano strategie approssimate per minimizzare lafunzioneenergia,poichéunaricercaesaustivadelminimosarebbetroppoonero- sadalpuntodivistacomputazionale. Laqualitàdeirisultatiottenibiliconmetodi globali è solitamente superiore a quella che gli algoritmi di tipo locale possono fornire, anche se questi ultimi sono decisamente più semplici dal punto di vista algoritmico ed efficienti in termini di tempi di esecuzione. Inoltre i metodi loca- li, per definizione stessa, possono essere facilmente ottimizzati per l’elaborazione parallela,diventandoancorapiùefficientisualcunearchitetturehardware. StereoSOM è un metodo di tipo locale ma, sorprendentemente, si vedrà come la qualità dei suoi risultati superi in accuratezza quella di molti algoritmi globali presentati negli ultimi anni. Questo rende di fatto il metodo proposto in questo elaboratounodeipiùaccuratialgoritmilocalidicorrispondenzastereo. Un ulteriore merito di StereoSOM è quello di non impiegare, a differenza del- la maggior parte degli algoritmi di stereo matching denso, nessuna fase esplicita di segmentazione, inoltre non è prevista alcuna fase di estrazione delle feature: le immagini in input vengono utilizzate direttamente dall’algoritmo e, alla fine del- l’elaborazione,lemappedidisparitàdensevengonoestrattedirettamentedaipesi neuralidellareteautorganizzante. Il contributo finale di questa tesi di laurea è senza dubbio rappresentato dal- la parte strutturale e algoritmica di StereoSOM e dall’analisi dei risultati ottenuti, tuttavia è stata redatta nei primi due capitoli una parte introduttiva mirata a pre- sentare gli aspetti più generali dei sistemi stereoscopici insieme ad alcuni passi fondamentalinellaletteraturacorrentesullostereomatching. Nellaparteintrodut- tivariguardanteilproblemadellacorrispondenzastereosaràdatapiùenfasiaquei punti che con StereoSOM trovano maggior contatto, con l’intenzione di portare il lettore alla descrizione del modello finale con una chiara e forte consapevolezza delleproblematichechesidovrannoaffrontare. Nei capitoli successivi sarà poi discusso l’algoritmo vero e proprio, partendo dalladescrizioneinizialesucuièbasatol’interolavoro,passandoperladescrizione dellesingoleestensioniearrivandoinfinealmodelloStereoSOM. Gliultimicapitoliraccolgonounconsiderevolenumerodiprovepraticheecon- siderazionimirateavalutare,qualitativamenteequantitativamente,lecaratteristi- che del modello StereoSOM e i miglioramenti introdotti dalle varie estensioni del modello originale. Sono stati effettuati inoltre particolari test di robustezza del- ix l’algoritmo in condizioni estreme, con stereocoppie deteriorate artificialmente o catturateconstrumentipocosofisticati. Per quanto riguarda i test quantitativi, le metodologie impiegate sono quelle maggiormente usate nella letteratura sullo stereo matching e si basano su un noto insieme di dataset forniti dal Middlebury College [41], dove è attivo un importan- te gruppo di ricerca nell’ambito della computer vision, multi-vision e stereo mat- ching. MarcoVanetti
Description: