Algoritmos de Optimización sobre Variedades con Restricciones de Ortogonalidad

112 Pages·2016·0.98 MB·Spanish

Centro de Investigacio´n en Matema´ticas, A. C.
Departamento de Ciencias de la Computacio´n
Algoritmos de Optimizacio´n sobre
Variedades con Restricciones de
Ortogonalidad
por
Harry F. Oviedo Leon
Sometida a revisi´on al Departamento de Ciencias de la
Computaci´on en el cumplimiento parcial de los requisitos
para obtener el grado de
Maestro en Ciencias de la Computaci´on y Matem´aticas
Industriales
en el
Centro de Investigacio´n en Matema´ticas, A. C.
Firma del autor.............................................
Departamento de Ciencias de la Computaci´on
Certificado por............................................. .
Dr. Oscar S. Dalmau Ceden˜o
Director de Tesis
Certificado por............................................. .
Dr. Francisco Javier Sol´ıs Lozano
Presidente del comit´e de evaluaci´on
Guanajuato, Guanajuato, M´exico Junio de 2016

Comit´e de evaluaci´on
Dr. Francisco Javier Sol´ıs Lozano (Presidente)
Centro de Investigaci´on en Matem´aticas, CIMAT A. C.
Dr. Rafael Herrera Guzm´an (Secretario)
Centro de Investigaci´on en Matem´aticas, CIMAT A. C.
Dr. Oscar S. Dalmau Ceden˜o (Vocal)
Centro de Investigaci´on en Matem´aticas, CIMAT A. C.
iii

Resumen
Los problemas de optimizaci´on sobre variedades han sido estudiados por m´as de 40 an˜os para
diferentes conjuntos de restricciones, sin embargo, es hasta los an˜os 90’s que surgen trabajos que
encaran el problema de minimizar una funci´on objetivo sujeto a restricciones de ortogonalidad,
a este conjunto de restricciones se le conoce como variedad de Stiefel. Investigar este tipo de
problemas ha generado gran inter´es en an˜os recientes debido al gran nu´mero de aplicaciones que
han aparecido en diferentes ´areas. En esta tesis se abordan problemas de optimizaci´on con res-
tricciones de ortogonalidad con la finalidad de proponer eficientes algoritmos para resolver esta
clase de problemas.
Utilizando el enfoque de algoritmos de optimizaci´on sobre variedades matriciales, se estu-
dian e implementan un total de cuatro algoritmos de bu´squeda lineal que resuelven problemas
generales de optimizaci´on sobre la variedad de Stiefel, tres de los cuales son m´etodos basados
en proyecciones, inspirados en los m´etodos Adams-Bashforth y Adams-Moulton que se utilizan
para resolver ecuaciones diferenciales num´ericamente, y el cuarto m´etodo es una generalizaci´on
de un algoritmo propuesto en an˜os recientes. Adem´as, se estudia un problema particular sobre la
variedad de Stiefel llamado Weighted Orthogonal Procrustes Problem, para el cual se obtiene una
reformulaci´on de dicho problema y se implementa el conocido algoritmo Iteraci´on de Bregman
pararesolverdichareformulaci´on.Asimismo,paraacelerardichosm´etodosempleamosunat´ecni-
ca no mon´otona para seleccionar el taman˜o de paso combinada con el paso de Barzilai-Borwein.
Algunos resultados te´oricos y de convergencia son estudiados para los algoritmos presentados
en esta tesis. Igualmente, en este trabajo se realiza un estudio comparativo de los algoritmos
propuestos versus algunos de los algoritmos publicados recientemente por diversos autores, con
la finalidad de analizar el desempen˜o y la eficiencia de los m´etodos como algoritmos generales
que resuelven problemas de optimizaci´on sobre la variedad de Stiefel.
v

Agradecimientos
Quisiera hacer constar mi m´as profundo agradecimiento a todas las personas que me ayuda-
ron o que estuvieron involucradas para que mi persona pueda realizar este viaje, en especial a
mi abuela Dina Ortiz, mis padrinos Isabel Le´on y Jose Luis Hern´andez, a mis t´ıos Victor Le´on
y Ana Garc´ıa, as´ı como tambi´en a mi prima Mar´ıa Carolina Pen˜a por su apoyo econ´omico y
confianza en mi. Tambi´en quiero agradecer a los profesores: Msc. Jhonny Escalona y Dr. Joaqu´ın
Ortega S´anchez por prestar sus servicios para realizar el examen de admisi´on en mi pa´ıs y por
hacer posible la conexi´on entre mi anterior universidad y el CIMAT.
Le doy gracias a toda mi familia, a mis padres y a mi hermano, que fueron mi fuente de
inspiraci´on y de esperanza, as´ı como tambi´en por apoyarme en todo momento y por los valores
que me han inculcado.
Mi especial agradecimiento a mi asesor de tesis Dr. Oscar S. Dalmau Ceden˜o por su labor de
direccio´n.
Asimismo, quisiera agradecer al todo el colectivo de profesores, investigadores y trabajadores
del CIMAT. En particular agradezco a aquellos profesores que con trabajo y dedicaci´on lograron
trasmitirme sus conocimientos a trav´es de sus excelentes clases: Dr. Johan Van Horebeek, Dr.
Mariano Jos´e Juan Rivera Meraz, Dr. Jean-Bernard Hayet, Dr. Rafael Herrera Guzm´an y al Dr.
Salvador Botello Rionda.
Igualmente quiero agradecer a Karla por su amor incondicional y por ser la mujer que me
hace feliz.
A mis amigos Shaday Guerrero y Diana Pin˜ango los cuales al igual que mi persona empren-
dimos este viaje a este hermoso pa´ıs para seguir form´andonos acad´emicamente y con los cuales
he vivido grandes experiencias. Siempre los tengo presentes.
Adem´as, deseo agradecer a mis compan˜eros de maestr´ıa con los que compart´ı agradables
momentos de esparcimiento as´ı como conocimientos e ideas que ayudaron a mi formaci´on, Jorge
L´opez, Salvador Botello, Miguel Angel Ochoa, David Dobarro, Fernando Cervantes, Jos´e Angel
Neria, Mario Ocampo, Ulises Rodriguez, Dora Alvarado y Emmanuel Ovalle.
Finalmente, quiero reconocer al Consejo Nacional de Ciencia y Tecnolog´ıa (CONACYT) y a
la Organizaci´on de los Estados Americanos (OEA), ya que nada de esto hubiera sido posible sin
el apoyo econ´omico brindado.
vii
viii

´
Indice general
Resumen V
Agradecimientos VII
´Indice de tablas XIII
´Indice de figuras XIV
1. Introducci´on 1
1.1. Motivaci´on . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1
1.2. Objetivos . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2
1.3. Visio´n general y organizaci´on . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2
2. Preliminares 4
2.1. An´alisis matricial . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4
2.2. Elementos de an´alisis matem´atico . . . . . . . . . . . . . . . . . . . . . . . . . . . 7
2.3. Derivadas . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9
2.3.1. Algunas derivadas de funciones matriciales . . . . . . . . . . . . . . . . . 11
2.4. Ecuaciones diferenciales . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11
2.4.1. M´etodo de Crank-Nicolson . . . . . . . . . . . . . . . . . . . . . . . . . . 11
2.4.2. M´etodos de Adams-Bashforth y de Adams-Moulton . . . . . . . . . . . . 12
2.5. Optimizaci´on sobre variedades . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12
2.5.1. La variedad de Stiefel . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13
2.5.2. Algoritmos de optimizaci´on en variedades basados en retracciones . . . . 14
3. Estado del arte 19
3.1. Esquemas de actualizaci´on basados en geod´esicas . . . . . . . . . . . . . . . . . . 19
3.2. Esquemas de actualizaci´on basados en proyecciones y en retracciones . . . . . . . 20
3.3. Otras propuestas . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22
4. M´etodos propuestos para resolver problemas de optimizaci´on con restricciones
de ortogonalidad 24
4.1. Condiciones de optimalidad . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24
4.2. Esquemas de actualizaci´on . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25
4.2.1. Esquema de actualizaci´on basado en una combinaci´on lineal . . . . . . . . 26
4.2.2. Los esquemas Adams-Bashforth y Adams-Moulton . . . . . . . . . . . . . 27
4.2.3. M´etodo basado en la factorizaci´on de Cholesky . . . . . . . . . . . . . . . 32
x