ALGORITMOS PARA SUPERRESOLUCIÓN EN IMÁGENES Y VIDEO TESIS Que para obtener el ...

188 Pages·2010·9.83 MB·English

INSTITUTO POLITECNICO NACIONAL

ESCUELA SUPERIOR DE INGENIERIA MECANICA Y ELECTRICA
SECCIÓN DE ESTUDIOS DE POSGRADO E
INVESTIGACIÓN UNIDAD CULHUACÁN
ALGORITMOS PARA
SUPERRESOLUCIÓN EN IMÁGENES
Y VIDEO

TESIS

Que para obtener el grado de:

DOCTOR EN CIENCIAS EN

COMUNICACIONES Y ELECTRÓNICA
Presenta:

M. EN C. FRANCISCO GOMEZTAGLE
SEPULVEDA

Director de tesis:

DR. VOLODYMYR PONOMARYOV

México D.F. Septiembre 2010

Francisco Gomeztagle Sepúlveda

Agradecimientos

En esta Tesis, hay inmerso el trabajo y apoyo de muchas personas, por
ello quiero agradecerles a:

A mis padres, Francisco y Patricia, son innumerables las cosas por las
que debo agradecerles que nunca terminaría de enlistarlas. A ustedes y
a mi hermano Hugo que siempre han estado ahí para apoyarme y hacer
de mi vida más alegre.

A Claudia, por estar junto a mi y ser lo que me impulsa a mejorar día
con día.

A mi abuela por los cuidados que ha dado en toda mi vida. A mis
sobrinitos, ojala y que les sirva este pequeño esfuerzo de ejemplo.

Al Instituto Politécnico Nacional:
Por haberme entregado la gran parte de mi educación.

Al Consejo Nacional De Ciencia Y Tecnología:
Por el apoyo brindado durante para la realización de mis estudios.

2
Algoritmos para superresolución en imágenes y video

indice

Pag
Resumen 6
Abstract 7

Capitulo 1

1.1. Introducción 9
1.2. Planteamiento del problema 11
1.3. Solución propuesta 11
1.4. Objetivo 11
1.5. Metas 11
1.6. Justificación 11
1.7. Aplicaciones 13
1.8. Aportaciones 14
1.9. Cuerpo de trabajo de tesis 14

Capitulo 2 Estado del arte Estado del arte de Técnica de Superresolución

2.1. Introducción. 16
2.2. Métodos clásicos de Estimación para Superresolución Digital 17
en Imágenes a partir de imágenes de Baja Resolución
2.2.1. Interpolación Sinc 18
2.2.2. Técnica de interpolación “vecino mas cercano” 19
2.2.3. Técnica de Interpolación “Bilineal”. 20
2.2.4. Técnica de Interpolación “Bicubica”. 22
2.2.5. Superresolución vía deformación de imagen (Warping). 23
2.3. Métodos basados en lógica difusa 26
2.3.1. Lógica difusa con des-entrelazado. 26
2.3.2. Método de lógica difusa recursiva. 27
2.4. Métodos probabilísticos 29
2.4.1. Mejora de Resolución por la vía de de-convolución 30
probabilística de múltiples imágenes degradadas
2.4.2. Interpolación no iterativa basada en la minimización del 31
aliasing para superresolución. Superresolución preservando
bordes usando MAP.
2.4.3. Superresolución usando funciones B-splines 33
2.4.4. Interpolación no iterativa basada en la minimización del 34
“aliasing” para superresolución

2.4.5. Superresolución realizada por estimación de parámetros 35

3
Francisco Gomeztagle Sepúlveda
2.5. Métodos basados en transformadas 39
2.5.1. Interpolación en el dominio de la frecuencia 39
2.5.2. Estimación de información utilizando la Transformada 40
Coseno Discreto.
2.5.3. Superresolución utilizando la transformada discreta 41
Wavelet
2.6. Conclusiones 46
2.7. Referencias 47

Capitulo 3. Funciones Atómicas
3.1. Wavelets con Funciones Atómicas 50
3.1.1. Funciones atómicas utilizadas 50
3.2. Propiedades claves de las Wavelets. 53
3.2.1. Respuesta en frecuencia 54
3.2.2. Orden de aproximación 55
3.2.3. Límites de Riesz 56
3.2.4. Proyección coseno 56
3.3. Metodo de Superresolución utilizando Funciones Atómicas 60
Wavelets (W-FA)
3.4. Estimación de movimiento 61
3.4. Conclusiones 63
3.5. Referencias 64

Capitulo 4. Simulación de método propuesto y técnicas
existentes
4.1. Imágenes y Videos utilizados 66
4.2. Criterios objetivos de valoración 67
4.2.1. Relación Pico de Señal al Ruido 67
4.2.2. El error absoluto medio (MAE) 68
4.2.3. Diferencia de Color Normalizado 69
4.3. Análisis y comparación de resultados. 70
4.3.1. Superresolución en imágenes estáticas. 71
4.3.2. Superresolución en secuencias de video 78
4.3.3. Superresolución Imágenes de una secuencia de video a 87
color.
4.3.4. Superresolución de Imágenes video utilizando la 88
estimación de movimiento
4.4. Conclusiones 90
4.5. Referencias 91

4
Algoritmos para superresolución en imágenes y video

Capitulo 5. Implementación de algoritmos de superresolución en
DSP EVM DM642

5.1. Implementación de procesamiento en tiempo real de los 93
algoritmos de Superresolución.
5.1.1. Características del DSP EVM DM642 93
5.2. Valores de tiempos de procesamiento implementando en 96
Matlab y en DSP
5.3. Conclusiones 98
5.4. Referencias 99

Capitulo 6. Conclusiones generales y trabajo a futuro.

6. Conclusiones generales y trabajo al futuro 100
7. Índice de figuras 102
8. Índice de tablas 104
9. Publicaciones en revistas internacionales y congresos 107
internacionales indizadas

5
Francisco Gomeztagle Sepúlveda
Resumen

Diferentes aplicaciones de procesamiento de imágenes de percepción
remota por satélite, radares, imágenes médicas, fotografías digitales,
televisión de alta definición, realidad virtual, la microscopia electrónica,
etc. necesitan un procedimiento de recuperación de resolución y
eliminación de ruido. Todas estas imágenes por lo general están
dañadas por limitaciones de resolución física o ruido debido a los
sensores, durante la transmisión de las señales, o ruidos pueden ser
producidos por fenómenos ambientales también (por ejemplo, el ruido
atmosférico), o pueden ser afectadas por el ruido multiplicativo
(speckle). El objetivo principal del presente trabajo es presentar los
algoritmos que permitan la restauración de resolución de imágenes vía
estimación de valores perdidos anteriormente.

Dado que existen diversos métodos que permiten realizar la estimación
de valores perdidos para obtener la superresolución, en este trabajo fue
necesario analizar las diferentes técnicas, con el fin de tener un
panorama de sus respuestas a diferente tipo de imágenes. Presentamos
el análisis para técnicas tradicionales basados en lógica difusa, métodos
probabilísticas, y los que usan transformadas. En especial mostramos
los que usan la transformada Wavelet. Presentamos un definición y
análisis de las funciones atómicas (up, fup , g , up , , ), sus
n k n n n
propiedades. Para las diferentes familias de funciones atómicas se
calcularon las respuestas en frecuencia, los limites de Riesz, y su
proyección coseno que permiten caracterizar su calidad en
superresolución.

El algoritmo propuesto está basado en la transformada inversa Wavelet,
tomando como premisa que esta transformada se usa para restaurar
imágenes con perdidas de información pequeñas. También, se propone
usar las Wavelets basadas en funciones atómicas, por que estas han
demostrado tener mejor comportamiento en comparación a las Wavelets
tradicionales. También, presentamos la modificación al algoritmo usando
la estimación de movimiento.

Las imágenes usadas en simulación son Mandril, Villa, Células, y Lena, y
los videos Walter, Stephan, Toy, Flowers. A partir de una imagen baja
resolución que evidentemente contiene menor cantidad de pixeles,
usando los algoritmos intentaremos estimar la información pérdida.

Para obtener las propiedades objetivas de diferentes métodos de
superresolución aplicamos los criterios de MAE, PSNR, y NCD. También,
para caracterizar visión subjetiva comparamos dos imágenes original y
6
Algoritmos para superresolución en imágenes y video
restaurada que permite ver errores y artefactos para diferentes
algoritmos
Una de las metas es implementar los métodos existentes y el propuesto
en tiempo real. Para lograr esto se usó el DSP EVM-DM642, el cual esta
diseñando para el procesamiento de imágenes y video.

La implementación de los algoritmos en el DSP consistía en el uso de
programados en Matlab, registrando el tiempo de procesamiento en el,
luego estos son llevados a Simulink, donde se cuenta con una interfaz
que nos compila el código a “C”, para Code Compuser Studio (CCS). El
CCS es la Ambiente que permite subir el recompilar el código de “C” a
ensamblador, permite cargarlo al DSP, y gracias una “Bitácora” que esta
programada dentro del código, podemos realizar la medición de
tiempos. Finalmente, se presenta la comparación de tiempos obtenidos
en: Matlab, en el DSP y en el DSP usando procesamiento en serie.

Abstract

Applications such as satellite and radar images, medical imaging, digital
photography, high definition television, virtual reality, electron
microscopy, etc., are some applications of multispectral and multi-
channel where images need an implementation of reconstruction and
denoising. All these images are usually damaged by natural or resolution
limitations due to sensor or noise during the transmission of the signals
or may be noise is caused by environmental phenomena as well (eg,
atmospheric noise), or may be affected by multiplicative noise (speckle).
The main objective of this work is to present algorithms for image
superresolution via estimation of missing values at the time of his
acquisition.

There are several methods that allow the estimation of missing values
for super resolution. In this work, it have been analyzed the different
techniques in order to obtain an classify their properties for different
types of images, We present in the superresolution problem the
traditional approaches, based on fuzzy logic, probabilistic methods, and
other ones that use the different transforms, in particular, wavelet
transform. Also, the analysis of atomic functions (up, fup , gk, up , ,
n n n
), their properties for the different families has been realized. This
n
permits to characterize the Wavelet based on atomic functions by their
frequency response, the limits of Riesz, and projection cosine.

The proposed algorithm uses the inverse wavelet transform, on the
premise that this transform is applied to restore lost pixels in low
7
Francisco Gomeztagle Sepúlveda
resolution image. It is also proposed using the wavelet based on atomic
functions, because these have demonstrated a better response
compared to traditional wavelet. We also present the modification of the
algorithm using motion estimation.

The images used were Baboon, Godhill, Cells, and Lena, and videos
Walter, Stephan, Toy, Flowers. The procedure in superresolution
simulation is consisted of reconstruction of low resolution images via
different algorithms and after comparing formed superresolution image
with original one.
To characterize the performance of the superresolution algorithm the
criteria of MAE, PSNR, and NCD were applied. Also, we present
subjective visual perception comparing the superresolution and original
images.

Important objective of this thesis was also the implementation of the
proposed method and existed ones in the real time mode. To accomplish
this, the DSP-DM642 EVM was employed that was designed for
processing images and video.

For the implementation of DSP algorithms, first, the algorithms are
programmed in Matlab, finding the processing time values on it, then it
is passed to Simulink, which has an interface for compilation the code to
"C" for Code Composer Studio (CCS). The CCS is the environment that
allows uploading the code to recompile the C to assembly, it allows the
DSP to load. Through a "log", which is scheduled within the code, we
can make time measurements.
The comparison of time values obtained in Matlab, the DSP and the DSP
using serial processing is presented in the thesis demonstrating the
possibility to realize the real time mode of the processing in the
superresolution.

8