Combinación del aprendizaje multitarea y del algoritmo EM en problemas de clasificación con ...

160 Pages·2006·2.12 MB·Spanish

ESCUELA TÉCNICA SUPERIOR DE INGENIERÍA DE TELECOMUNICACIÓN
UNIVERSIDAD POLITÉCNICA DE CARTAGENA

Proyecto Fin de Carrera

Combinación del aprendizaje multitarea
y del algoritmo EM en problemas de clasificación
con datos incompletos

AUTOR: Juan José Alcaraz Jiménez
DIRECTOR: José Luis Sancho Gómez
CODIRECTOR: Pedro José García Laencina

Septiembre 2006

Autor Juan José Alcaraz Jiménez. E-mail [email protected]
Director José Luis Sancho Gómez. E-mail [email protected]
Codirector Pedro José García Laencina E-mail [email protected]
Combinación del aprendizaje multitarea y del algoritmo EM en problemas de
Título del PFC
clasificación con datos incompletos.
Redes neuronales, MTL, EM, datos incompletos.
Descriptores

Resumen

El propósito de este proyecto de fin de carrera consiste en combinar la capacidad de
modelado de funciones de densidad del algoritmo EM con la potencia de las arquitecturas de
redes neuronales MTL para poder resolver problemas de clasificación con conjuntos de
datos incompletos.

Titulación Ingeniero de Telecomunicación
Intensificación Planificación y Gestión de Telecomunicaciones
Departamento Tecnologías de la Información y Comunicaciones
Fecha de Presentación Septiembre - 2006

A mis padres y a mi hermana

Agradecimientos

Quiero comenzar agradeciendo a José Luis, director de este proyecto, el haber
despertado en mí el interés por el campo de la inteligencia artificial, así como el haberme
brindado la posibilidad de realizar este proyecto.

Por otro lado, quiero señalar la gran ayuda que me ha prestado Pedro, codirector de
este proyecto. Sin sus explicaciones sobre el funcionamiento de las redes neuronales ni su
labor de supervisión y guía, hubiera sido imposible llevar a cabo este trabajo.

También me gustaría destacar a mis compañeros de carrera, quienes con sus bromas
y amistad han hecho muy placentero el transcurso de estos últimos cinco años. Y a mis
amigos de Cartagena y Mazarrón, por todos los inolvidables momentos de diversión que
me han hecho vivir.

Finalmente, quiero dedicar un agradecimiento especial a mi familia; por el cariño,
apoyo incondicional, alegrías y comprensión que me ofrecen cada día. Cualquier meta que
logre en mi vida será gracias a vosotros.

ÍNDICE

Capítulo 1 Introducción........................................................................................................1
1.1. Objetivos del proyecto......................................................................................................4
1.2. El aprendizaje máquina....................................................................................................5
1.2.1 Aplicaciones de las redes neuronales...............................................................................................6
1.3. Reconocimiento de patrones.............................................................................................8
1.4. Valores perdidos.............................................................................................................11
1.4.1 Motivos de la pérdida de datos......................................................................................................11
1.4.2 Tipos de datos perdidos..................................................................................................................12
1.5. Alternativas para el tratamiento de valores perdidos....................................................15
1.6. Métodos de estimación de la función de densidad de probabilidad basados en la función
de verosimilitud.....................................................................................................................19
1.7. Estructura del proyecto..................................................................................................20
Capítulo 2 Funciones de densidad de probabilidad y algoritmo EM................................23
2.1. Probabilidad a priori, densidad de probabilidad y probabilidad a posteriori..............24
2.1.1 Probabilidad a priori......................................................................................................................24
2.1.2 Densidad de probabilidad...............................................................................................................25
2.1.3 Probabilidad a posteriori................................................................................................................25
2.2. Métodos paramétricos.....................................................................................................26
2.2.1 La distribución normal o gaussiana................................................................................................26
2.2.2 Máxima verosimilitud....................................................................................................................27
2.3. Métodos no paramétricos................................................................................................29
2.3.1 Histogramas...................................................................................................................................29
2.3.2 Métodos tipo Kernel......................................................................................................................30
2.3.3 Los K vecinos más próximos.........................................................................................................32
2.4. Mezcla de gaussianas......................................................................................................33
2.4.1 Datos incompletos..........................................................................................................................37
2.4.2 Estimación de parámetros..............................................................................................................37
2.5. El algoritmo EM..............................................................................................................40
2.5.1 Introducción...................................................................................................................................40
2.5.2 Propiedades....................................................................................................................................42
2.5.3 El algoritmo...................................................................................................................................44
2.5.4 EM para modelos de mezclas.........................................................................................................46
2.5.5 Incorporando valores perdidos en EM...........................................................................................47
2.5.6 Datos con valores reales: mezcla de gaussianas.............................................................................48
2.5.7 Datos de valores categóricos: mezcla de multinomiales................................................................51
2.5.8 Clustering.......................................................................................................................................53
2.5.9 Aproximación de funciones...........................................................................................................55
2.5.10 Clasificación................................................................................................................................56
2.5.11 Detalles de implementación.........................................................................................................58
Capítulo 3 Aprendizaje Multitarea......................................................................................64
3.1. Aprendizaje monotarea (Single Task Learning)............................................................65
3.1.1 Breve reseña histórica....................................................................................................................65
3.1.2 La neurona biológica......................................................................................................................66
3.1.3 La neurona artificial.......................................................................................................................67
3.1.4 Arquitectura de las redes neuronales artificiales............................................................................69
3.1.5 Propiedades....................................................................................................................................70
3.1.6 El perceptrón multicapa.................................................................................................................71
3.1.7 Método de entrenamiento: Algoritmo Backpropagation................................................................73
3.2. Aprendizaje multitarea (MultiTask Learning)..............................................................82
3.2.1 Introducción...................................................................................................................................82
3.2.2 Arquitecturas neuronales usadas en MTL......................................................................................83
Capítulo 4 Imputación Multitarea......................................................................................88
4.1. Topologías.......................................................................................................................89
4.2. Inicialización, aprendizaje y operación..........................................................................95
4.2.1 Inicialización..................................................................................................................................95
4.2.2 Aprendizaje....................................................................................................................................96
4.2.3 Operación.......................................................................................................................................98
4.3. El problema de la calidad de imputación.......................................................................98
4.4. Incorporación de EM a la imputación MTL.................................................................101
4.4.1 Solución propuesta.......................................................................................................................101