Universidad de la Repu´blica Facultad de Ingenier´ıa Plataforma Abierta de Restauracio´n de Pel´ıculas Memoria de proyecto presentada a la Facultad de Ingenier´ıa de la Universidad de la Repu´blica por Sebastia´n Bugna, Juan Andr´es Friss de Kereki en cumplimiento parcial de los requerimientos para la obtencio´n del t´ıtulo de Ingeniero Electricista, Ingeniero en Computacio´n. Tutores Gregory Randall ................. Universidad de la Repu´blica, IIE Eduardo Ferna´ndez............ Universidad de la Repu´blica, INCO Mauricio Delbracio............... Universidad de la Repu´blica, IIE Tribunal Isabel Wschebor ......... Archivo General de la Universidad, AGU Ignacio Ramirez.................. Universidad de la Repu´blica, IIE Pablo Mus´e ...................... Universidad de la Repu´blica, IIE Alvaro Mart´ın................. Universidad de la Repu´blica, INCO Libertad Tansini............... Universidad de la Repu´blica, INCO Montevideo viernes 28 de abril, 2017 Plataforma Abierta de Restauraci´on de Pel´ıculas Sebastia´n Bugna, Juan Andr´es Friss de Kereki Esta tesis fue preparada en LATEX usando la clase iietesis (v1.1). Contiene un total de 177 p´aginas. Compilada el viernes 28 de abril, 2017. http://iie.fing.edu.uy/ Resumen La restauraci´on digital de pel´ıculas es un ´area de creciente inter´es. Muchas pel´ıculas deterioradas son digitalizadas y remasterizadas en nuevos formatos de mayorcalidadparasuarchivado,exhibici´onydistribuci´on.Resultadeinter´esdesa- rrollar m´etodos que faciliten el proceso de restauraci´on mediante procesamiento de sen˜ales. En Uruguay, el Archivo General de la Universidad (AGU) cuenta con decenas de pel´ıculas nacionales de car´acter hist´orico que fueron rescatadas en condiciones diversas de degradaci´on y posteriormente digitalizadas, pero au´n conservan des- perfectosdebidoasudeterioro.Otrasinstitucioneslocales,comoelServicioOficial de Difusi´on, Radiotelevisi´on y Espect´aculos (SODRE) o la Facultad de Informa- ci´on y Comunicaci´on (FIC), atraviesan situaciones similares, y en muchos casos el volumen de los acervos no amerita la inversi´on tecnol´ogica implicada en la restau- raci´on. En el continente la situaci´on se repite en todos los pa´ıses. El objetivo de este proyecto consiste en desarrollar una plataforma basada en softwarelibreparalarestauraci´ondepel´ıculasdeterioradaspreviamentedigitaliza- das,quepuedaseru´tilenparticularenlospa´ısesdeltercermundocondificultades de acceso a las herramientas de restauraci´on comerciales, y tambi´en para permitir que grupos en otras universidades aporten otros m´odulos para restaurar diferentes desperfectos, enriqueciendo de esa manera la plataforma. LaplataformadesarrolladasedenominaPARP,PlataformaAbiertadeRestau- raci´on de Pel´ıculas Deterioradas1, utiliza la aplicaci´on de postproducci´on Natron y la librer´ıa de computer vision OpenCV. Se incluye la implementaci´on de algorit- mosdepostproducci´ondevideopararestaurardegradacionesespec´ıficas:detecci´on semi-autom´atica de cortes entre planos, correcci´on de flicker de luminancia, detec- ci´on y restauraci´on de scratches. Los algoritmos fueron disen˜ados para tener una interacci´on intuitiva y fluida con el usuario. El estado actual del archivo y patrimonio audiovisual uruguayo impulsa a in- cursionarennuevasramasdeinvestigaci´onenel´area.Archiv´ologos,bibliotecarios, ingenieros, cineastas, postproductores, programadores y catalogadores, entre otras especialidades, forman parte de una gran cadena de investigaci´on y trabajo que distintas instituciones y archivos nacionales buscan profundizar a futuro. 1PARP se encuentra publicado en https://github.com/SebastianBugna/PARP Tabla de contenidos Resumen I 1. Introducci´on 1 2. Contexto y Marco Te´orico 4 2.1. Caracter´ısticas de la pel´ıcula de celuloide . . . . . . . . . . . . . . 4 2.2. Degradaci´on de la pel´ıcula anal´ogica . . . . . . . . . . . . . . . . . 6 2.2.1. S´ındrome del vinagre . . . . . . . . . . . . . . . . . . . . . . 7 2.3. Conservaci´on de materiales audiovisuales . . . . . . . . . . . . . . . 9 2.4. Archivo y patrimonio audiovisual en Uruguay . . . . . . . . . . . . 9 2.4.1. Contexto actual . . . . . . . . . . . . . . . . . . . . . . . . 9 2.4.2. Archivos nacionales . . . . . . . . . . . . . . . . . . . . . . 10 2.4.3. Archivo General de la Universidad de la Repu´blica . . . . . 13 2.5. Digitalizaci´on . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14 2.5.1. Breve repaso hist´orico . . . . . . . . . . . . . . . . . . . . . 14 2.5.2. Est´andares de captura digital . . . . . . . . . . . . . . . . . 15 2.5.3. Telecine . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18 2.5.4. Datacine. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19 2.5.5. Scanner . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20 2.5.6. Experiencia con telecine del AGU . . . . . . . . . . . . . . 21 2.6. Proyectos de preservaci´on y restauraci´on digital . . . . . . . . . . . 22 2.7. Herramientas de software de restauraci´on digital de pel´ıculas . . . 24 2.7.1. Tipos de licencias de software . . . . . . . . . . . . . . . . . 24 2.7.2. Tipos de software de postproducci´on digital . . . . . . . . . 27 2.7.3. Herramientas de postproducci´on/restauraci´on libres . . . . 29 2.7.4. Herramientas de restauraci´on propietarias . . . . . . . . . . 33 2.8. Conclusiones . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35 3. Estado del Arte: Restauraci´on de Videos 36 3.1. Detecci´on de Cortes . . . . . . . . . . . . . . . . . . . . . . . . . . 36 3.2. Correcci´on de flicker de luminancia . . . . . . . . . . . . . . . . . . 38 3.3. Detecci´on y restauraci´on de manchas y ruido dirt & sparkles . . . 39 3.4. Detecci´on autom´atica de scratches . . . . . . . . . . . . . . . . . . 40 3.5. Eliminaci´on de borrosidad (deblurring) . . . . . . . . . . . . . . . . 42 3.6. Video inpainting . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43 Tabla de contenidos 4. Disen˜o 46 4.1. Requerimientos . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 46 4.1.1. Interfaz de usuario . . . . . . . . . . . . . . . . . . . . . . . 48 4.2. Representaci´on de alto nivel . . . . . . . . . . . . . . . . . . . . . . 48 4.3. Flujo de trabajo de los algoritmos de restauraci´on . . . . . . . . . 49 5. Implementaci´on 50 5.1. Decisiones . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 50 5.1.1. Elecci´on de plataforma . . . . . . . . . . . . . . . . . . . . . 50 5.1.2. Herramientas de restauraci´on digital disponibles en Natron 52 5.1.3. Selecci´on de los problemas a abordar . . . . . . . . . . . . . 53 5.2. Integraci´on entre plataformas . . . . . . . . . . . . . . . . . . . . . 53 5.2.1. Disen˜o general de la aplicaci´on . . . . . . . . . . . . . . . . 54 5.2.2. Integraci´on entre Natron y OFX . . . . . . . . . . . . . . . 54 5.2.3. Integraci´on entre Natron y Python . . . . . . . . . . . . . . 55 5.2.4. Integraci´on entre OpenCV y OFX . . . . . . . . . . . . . . 55 5.3. Licenciamiento . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 59 5.4. Repositorio de PARP . . . . . . . . . . . . . . . . . . . . . . . . . 60 5.5. Testing y validaci´on . . . . . . . . . . . . . . . . . . . . . . . . . . 61 6. Herramienta para Separar una Secuencia en Planos 63 6.1. M´etodo mediante lista de cortes . . . . . . . . . . . . . . . . . . . . 63 6.2. M´etodo de detecci´on de cortes semi-autom´atico . . . . . . . . . . . 64 6.2.1. Par´ametros . . . . . . . . . . . . . . . . . . . . . . . . . . . 65 6.3. Evaluaci´on . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 65 7. Herramienta de Correcci´on de Flicker 69 7.1. Descripci´on del algoritmo . . . . . . . . . . . . . . . . . . . . . . . 69 7.2. Implementaci´on realizada . . . . . . . . . . . . . . . . . . . . . . . 72 7.3. Par´ametros . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 74 7.4. Evaluaci´on . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 75 8. Herramienta de Detecci´on y Restauraci´on de Scratches 80 8.1. Resumen del algoritmo de detecci´on espacial adaptativa de scratches 81 8.2. Implementaci´on del algoritmo de detecci´on espacial de scratches . 86 8.3. Optimizaci´on del algoritmo de detecci´on de scratches . . . . . . . . 90 8.4. Restauraci´on de scratches con t´ecnicas de image inpainting. . . . 95 8.5. Par´ametros . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 96 8.6. Evaluaci´on . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 100 9. An´alisis Experimental y Discusi´on 107 9.1. Desempen˜o en la restauraci´on de una secuencia . . . . . . . . . . . 107 9.2. Tiempos de ejecuci´on . . . . . . . . . . . . . . . . . . . . . . . . . . 111 9.3. Limitaciones. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 112 iii Tabla de contenidos 10.Conclusiones y Trabajo Futuro 114 10.1.Conclusiones . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 114 10.2.Trabajo Futuro . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 116 A. Glosario 134 B. Manual de Usuario 138 C. Plan de Proyecto 162 iv Cap´ıtulo 1 Introducci´on Aquellos nacidos en el siglo XX probablemente recuerdan los videocassettes o VHS. Sin embargo, hoy en d´ıa no nos encontraremos con ellos normalmente, ya que se acostumbra a filmar y almacenar videos y pel´ıculas digitalmente, en nuevos formatos. La tendencia indica que se est´a dejando de usar el celuloide o material f´ılmico casi por completo. Reproducirlos genera una copia de menor calidad que la original, un problema que no afecta a los archivos digitales, donde una copia exacta es posible. Figura 1.1: Formato de captura de las cien pel´ıculas de mayor recaudaci´on en Estados Unidos an˜o a an˜o. [1] ¿Pero qu´e sucede con las pel´ıculas de celuloide con el paso del tiempo? El de- terioro inevitable del celuloide provoca la p´erdida de pel´ıculas que son parte de una herencia cultural. Estas degradaciones incluyen suciedades que se adhieren al f´ılmico, roturas, flicker, rayones, p´erdida de color y descomposici´on de la pel´ıcula, entre otros procesos irreversibles. Cap´ıtulo 1. Introducci´on La restauraci´on digital de pel´ıculas es un ´area de creciente inter´es. Muchas pel´ıculas deterioradas est´an siendo digitalizadas y remasterizadas en nuevos for- matos de mayor calidad para su archivado, exhibici´on y distribuci´on (HD, 2K, 4K, UHD, DCP, DPX, etc). La restauraci´on manual mediante t´ecnicas de postproducci´on es tediosa y con- sume una inmensa cantidad de tiempo. A modo de ejemplo, “Viaje a la Lu- na”(1902) de Georges M´eli`es, cuya duraci´on es de 15 minutos, tom´o un an˜o entero enserrestauradaconestast´ecnicas.Poresto,resultadeinter´esdesarrollarm´etodos quefacilitenelprocesoderestauraci´ondeestosdeteriorosmedianteprocesamiento de sen˜ales. Figura1.2:Fotograf´ıasdelprocesoderestauraci´ondelapel´ıculaemblem´atica“Viajealaluna” (1902),G.M´eli`es,cont´ecnicasderestauraci´onanal´ogicasydigitales.Extra´ıdodeldocumental que registra dicho proceso“Le Voyage Extraordinaire” (S. Bromberg y E. Lange, 2011)[2]. En Uruguay, el Archivo General de la Universidad (AGU), cuenta con decenas de pel´ıculas nacionales de car´acter hist´orico que fueron rescatadas en condiciones diversas de degradaci´on y posteriormente digitalizadas, pero au´n conservan des- perfectos debido a su deterioro [3]. Otras instituciones locales, como el Servicio Oficial de Difusi´on, Radiotelevi- si´onyEspect´aculos(SODRE)olaFacultaddeInformaci´onyComunicaci´on(FIC), atraviesan situaciones similares, y en muchos casos el volumen de los acervos no amerita la inversi´on tecnol´ogica implicada en la restauraci´on. En el continente la situaci´on se repite en todos los pa´ıses. El principal objetivo de este proyecto consisti´o en desarrollar una plataforma de restauraci´on digital de pel´ıculas basada en software libre, modular, que ayude a los restauradores en su proceso de trabajo. En particular, puede ser de gran ayuda en instituciones de pa´ıses del tercer mundo con dificultades de acceso a las herramientas de restauraci´on comerciales. Otro objetivo es permitir que grupos en otras universidades aporten otros m´odulos para restaurar diferentes desperfectos. 2 Nos proponemos realizar una bu´squeda de diferentes m´etodos computaciona- les, as´ı como explorar distintos algoritmos de restauraci´on digital, con el objetivo de programar una interfaz gr´afica abierta que permita visualizar, restaurar y ex- portar una pel´ıcula. Se parte de una versi´on digital de la pel´ıcula, y se permite al usuario aplicar t´ecnicas de procesamiento de video para corregir las distintas degradaciones. La interfaz gr´afica facilita la toma de decisiones as´ı como la visualizaci´on de los resul- tados intermedios en el proceso de restauraci´on. Las opciones de software de restauraci´on digital en el mercado tienen licencias muy costosas. En general los costos resultan prohibitivos para la mayor´ıa de las instituciones y archivos de la regi´on. Por ello resulta de inter´es montar y dejar en funcionamiento una plataforma libre y abierta, con buenas condiciones de reusabi- lidad y evolucionabilidad, con una comunidad participativa y una documentaci´on s´olida que permitan el acercamiento de nuevos desarrolladores. Comocriteriode´exitoenelproyecto,nospropusimosrestaurarconlaplatafor- ma desarrollada al menos dos de los problemas t´ıpicos de degradaci´on de pel´ıculas, y poder instalar y utilizar la plataforma sobre computadoras que utilicen sistema operativo libre Linux. El Archivo General de la Universidad (AGU) suministr´o pel´ıculas deterioradas ya digitalizadas, que fueron elegidas por el equipo de trabajo. Dichas pel´ıculas presentan otros desperfectos, adem´as de los abordados en esta tesis. Tempranamente el alcance de este proyecto implicaba la implementaci´on de cuatro algoritmos de restauraci´on. Este objetivo fue modificado al conocer las complejidades espec´ıficas de la integraci´on entre tecnolog´ıas de video, as´ı tambi´en como la escasez de implementaciones libres y disponibles de algoritmos de restau- raci´on digital de pel´ıculas deterioradas. 3 Cap´ıtulo 2 Contexto y Marco Te´orico En esta secci´on se hace un repaso sobre diferentes recursos e informaciones relevantes en torno a la tem´atica de restauraci´on digital de pel´ıculas deterioradas. En cuanto al contenido, primero se presentan algunas caracter´ısticas del ma- terial f´ılmico, as´ı como los distintos est´andares de formatos. Luego se repasan las principales degradaciones asociadas a estos formatos. Tambi´en se presenta el con- texto actual del archivo audiovisual nacional y los diferentes archivos existentes, y se sen˜alan las caracter´ısticas de las tecnolog´ıas de digitalizaci´on disponibles, con elobjetivodeanalizarlanaturalezadelosarchivosdigitalesquesedesearestaurar. Adem´as, se plantea el punto de vista del Archivo General de la Universidad (AGU) con respecto a la restauraci´on de pel´ıculas conservadas en su acervo. Tam- bi´en se presentan opciones, basadas en software libre y software propietario, dis- ponibles para realizar diferentes tareas dentro de lo que comprende la restauraci´on digital de pel´ıculas. Finalmente se hace una conclusi´on sobre el contexto nacional y los recursos que existen en el mercado para realizar tareas de restauraci´on. 2.1. Caracter´ısticas de la pel´ıcula de celuloide El celuloide es un material termo-pl´astico sintetizado, utilizado durante todo el siglo XX, principalmente por la industria cinematogr´afica como materia prima para crear material f´ılmico en formatos est´andar. El uso del celuloide permite fil- mar, copiar, proyectar y distribuir las pel´ıculas. La pel´ıcula se comercializa en un rollo o tira de acetato transparente sobre el cual se adhiere, a trav´es de un adhesivo, una emulsi´on gelatinosa que contiene cristales microsc´opicos de haluros de plata que son sensibles al impacto de la luz. Las caracter´ısticas de estos cristales definen aspectos de la pel´ıcula como son la sensibilidad, el contraste y la resoluci´on.
Description: