Aprendizaje Automatico Basado en Intercambio de Operadores en Sistemas Inteligentes Autonomos

314 Pages·2003·4.25 MB·Spanish

APRENDIZAJE AUTOMATICO
BASADO EN INTERCAMBIO DE OPERADORES
EN SISTEMAS INTELIGENTES AUTONOMOS

TESIS DE GRADO EN INGENIERIA INFORMATICA

FACULTAD DE INGENIERIA
UNIVERSIDAD DE BUENOS AIRES

TESISTA: Sr. Pablo MACERI

DIRECTOR: Prof. Dr. Ramón GARCIA-MARTINEZ

Laboratorio de Sistemas Inteligentes

JUNIO 2001
Aprendizaje Automático Basado en Intercambio de Operadores en Sistemas Inteligentes Autónomos

Resumen

Los sistemas inteligentes que actúan de forma autónoma en un ambiente tienen que ser
capaces de integrar tres comportamientos básicos: aprendizaje, planificación y ejecución.
Esta integración es imprescindible cuando se requiere del sistema un desempeño
satisfactorio en ausencia de conocimiento sobre cómo sus acciones pueden afectar el
ambiente en el cual funciona o cómo reacciona éste a sus acciones.

En este contexto, los sistemas inteligentes autónomos (SIA) deben ser capaces de
aprender el comportamiento de su ambiente y estructurar este aprendizaje mediante la
formulación de teorías de su funcionamiento (operadores). Por otra parte, deben ser
capaces de autoproponerse objetivos y construir planes (a partir de la teoría de
funcionamiento del ambiente que han aprendido) para alcanzarlos.

En este trabajo, se estudia de qué manera la interacción entre sistemas inteligentes
autónomos, que intercambian los operadores aprendidos en un mismo ambiente, mejora el
comportamiento individual acelerando la convergencia del aprendizaje y el rendimiento
general para alcanzar los objetivos autopropuestos por el SIA.

Palabras claves: Planificación, aprendizaje no supervisado, sistemas inteligentes
autónomos, formación y revisión de teorías, cooperación entre agentes.

Abstract

Intelligent systems that act autonomously in an environment have to be able to integrate
three basic behaviors: learning, planning and execution. This integration is mandatory
when the system must have a satisfactory performance without any knowledge about how
its actions can affect the environment in which it runs or how the environment reacts to its
actions.

In this context, autonomous intelligent systems (AIS) have to be able to learn the
enviroment’s behavior and to structure this learning by the formulation of theories about
his permormace (operators). Moreover, they have to be able to self-propose goals and set-
up plans for achieving them.
Resumen Pablo M. Maceri i
Aprendizaje Automático Basado en Intercambio de Operadores en Sistemas Inteligentes Autónomos

This work studies how the interaction between autonomous intelligent systems, that share
the operators learnt in the same environment, improves the individual performance
increasing the learning convergence speed and the general performance to achieve the
AIS self-proposed goals.

Keywords: Planning, unsupervised machine learning, autonomous intelligent systems,
theory formation and revision, cooperation between agents.
i i Pablo M. Maceri Resumen
Indice

Capítulo 1 - Introducción 1

Capítulo 2 - Estado de la Cuestión 5
2.1. GINKO: Una arquitectura integrada para aprendizaje y planificación en robótica 5
2.2. PRODIGY: una arquitectura integrada para planificación y aprendizaje 7
2.3. Un Análisis de Soar como una Arquitectura Integrada 10
2.4. LIVE: una arquitectura para aprendizaje del entorno 13
2.5. Dyna, una Arquitectura Integrada para Aprendizaje, Planificación 15
2.6. Sistema de Christiansen 18
2.7. Sistema de Hayes-Roth 20
2.8. Sistema Inteligente Autónomo 22

Capítulo 3 - Descripción del Problema 25
3.1. Introducción 25
3.2. Integración SIA-Khepera 26
3.3. El problema de la extensión del modelo del SIA 26
3.4. Interacción entre intercambio de operadores y otras estrategias 26
3.5. Lugar de las soluciones 27

Capítulo 4 - Solución Propuesta 29
4.1. Introducción 29
4.2. Representación del modelo de teoría 31
4.3. Descripción General del Sistema 32
4.4. Arquitectura del Sistema 34
4.5. Entorno del Sistema 35
4.6 Sistema Sensor 36
4.7. Módulo de Aprendizaje 37
4.8. Módulo Planificador 38
4.9. Módulo Ponderador de Planes 42
4.10. Módulo Controlador de Planes en Ejecución 45
4.11. Módulo de Intercambio de Teorías 45
4.12. Ejemplo Integrador 50

Capítulo 5 - Experimentos 71
5.1. Introducción 71
5.2. Diseño Experimental 71
5.3. Gráficas y su Interpretación 73

Capítulo 6 - Conclusiones 83

Referencias 87

Anexo A - Simulador Khepera versión 2.0 95
A.1. Acuerdo de Licencia 95
A.2. Introducción 95
A.3. Programación 99
A.4. Reconocimientos 105
A.5. Referencias 106
A.6. Apéndice: Librería de funciones 107
A.7. Apéndice: Estructura de directorios 111
A.8 Apéndice: Comandos seriales Khepera 112
A.9. Apéndice: multirobots.h 113
A.10. Preguntas más frecuentes del Simulador Khepera 115

Anexo B - Escenarios 121

Anexo C - Datos Experimentales 129

Anexo D - Documentación del Sistema 135
D.1. Introducción 135
D.3. Instalación de los archivos fuente del SIA 136
D.4. Integración del SIA al Khepera 140
D.5. Descripción de los archivos fuente 141
D.6. Esquema de interacción de los módulos 145
D.7. Diagramas de estructura 146
D.8. Comandos implementados 149
D.9. Estructuras de datos 150
D.10. Formato de los archivos de estadísticas 153

Anexo E - Código Fuente 155
Aprendizaje Automático Basado en Intercambio de Operadores en Sistemas Inteligentes Autónomos

Capítulo 1

Introducción

El Aprendizaje Automático es una disciplina dentro de los Sistemas Inteligentes cuya
importancia ha quedado establecida desde hace dos décadas [Anderson y Kline, 1979].
De las variadas formas que se han explorado, la que mejor modeliza el aprendizaje
humano es la que toma en los sistemas con aprendizaje por observación y descubrimiento.

Bock [1985] sostiene que no se puede hablar de Sistemas Inteligentes sino hay
Aprendizaje Automático. En apoyo de la postulación de Bock sobre aprendizaje, Rauch-
Hindin [1985] sostiene que los sistemas que pueden observar y aprender a manejar
cambios incesantes en los entornos de funcionamiento son el sueño de las organizaciones
e industrias. Sostiene también el principio de que los programas de aprendizaje permiten
comprobar teorías de aprendizaje [Moravec, 1988] y define los sistemas de producción
adaptativos como sistemas que aprenden nuevas reglas basadas en lo que han observado
[Carbonell, 1983; Eiter y Gotlob, 1992; Falkenhaimer, 1990; Christiansen, 1992],
agregando estas nuevas reglas al sistema de producción existente.

Un sistema inteligente autónomo ha sido definido [Fritz y otros, 1989; 1990; García
Martínez y Borrajo, 1996] como aquél que puede descubrir y registrar si una acción hecha
en una situación dada fue favorable. Entra dentro de los sistemas que aprenden por
observación y descubrimiento por experimentación activa [Wang, 1994; 1995].

Los sistemas inteligentes autónomos formulan operadores que en conjunto constituyen un
modelo de como el entorno que los circunda funciona [García Martínez, 1992a]. Tal
modelo es parcial pero tiene la consistencia suficiente [García Martínez, 1993a; 1993b;
1995] como para ser utilizado por su carácter predictivo en procesos de planificación
suficiente [García Martínez, 1996; 1997a; García Martínez et al., 1998a; 1998b; García
Martínez et al., 1999a; 1999b].

En este contexto, el propósito de este proyecto es estudiar de que manera la interacción
entre sistemas inteligentes autónomos mejora el modelo de funcionamiento del entorno
que cada sistema va formando y cómo se integran en dicha interacción los modelos de
refuerzo [Sutton, 1984].

Introducción Pablo M. Maceri 1
Aprendizaje Automático Basado en Intercambio de Operadores en Sistemas Inteligentes Autónomos

En este trabajo se parte del modelo de sistema que integra planificación, aprendizaje, y
ejecución en un ciclo cerrado, mostrando un comportamiento inteligente autónomo. El
sistema obtiene operadores de aprendizaje y planificación mediante la observación de las
consecuencias de ejecutar acciones planeados en el ambiente. Para acelerar la
convergencia, se utilizan heurísticas de generalización de las observaciones. Se usan
estimadores de probabilidad para manejar las contradicciones que presentan los
operadores de planificación generados. El mecanismo de aprendizaje no solo permite
adquirir descripciones de los operadores, sino también adaptar dichas descripciones a los
cambios del ambiente.

En este trabajo se presenta una extensión del mecanismo de aprendizaje que permite
compartir el conocimiento entre varios agentes. El resultado de usar una arquitectura
multiagente muestra cómo la interacción con otros sistemas de aprendizaje mejora la
convergencia del aprendizaje y el comportamiento exitoso.

El objetivo del sistema es planificar de una manera autónoma para alcanzar objetivos auto
propuestos, ejecutar los planes, encontrar divergencias en los planes o corregir el
comportamiento, y aprender operadores (modelos) que predicen los efectos de las
acciones en el ambiento, observando las consecuencias de dichas acciones. Varios
agentes pueden intercambiar el conocimiento bajo un mismo entorno de manera de
mejorar su rendimiento y acelerar la convergencia del aprendizaje.

En el capítulo 2 se establece el estado del dominio de conocimiento sobre arquitecturas
inteligentes describiendo la arquitectura del sistema GINKO (sección 2.1), la arquitectura
del sistema PRODIGY (sección 2.2), la arquitectura del sistema SOAR (sección 2.3), la
arquitectura LIVE (sección 2.4), la arquitectura DYNA (sección 2.5), el sistema de
Christiansen (sección 2.6), el sistema de Hayes-Roth (sección 2.7) y por último el sistema
inteligente autónomo (sección 2.8).

En el capítulo 3 se presenta el entorno en el cual se plantea el problema a abordar en la
tesis (sección 3.1), se señalan cuestiones relativas a la integración de la arquitectura
elegida con una plataforma estandar (sección 3.2), surgen las cuestiones relativas a la
extensión de la arquitectura elegida (sección 3.3), se señalan aspectos a explorar como
resultado de la interacción como estrategia de aprendizaje (sección 3.4), y se identifican
otras partes de la tesis donde se abordan las cuestiones precedentemente tratadas (sección
3.5).

2 Pablo M. Maceri Introducción
Aprendizaje Automático Basado en Intercambio de Operadores en Sistemas Inteligentes Autónomos

En el capítulo 4 se presenta una introducción al sistema implementado y la plataforma
utilizada (sección 4.1), la representación del modelo de teoría (sección 4.2), se da la
descripción general del sistema (sección 4.3), se explica su arquitectura (sección 4.4), se
describe el entorno del sistema (sección 4.5), se describe el sistema sensor (sección 4.6),
se explica el módulo de aprendizaje (sección 4.7), se da una descripción del módulo
planificador (sección 4.8), se explica el módulo ponderador de planes (sección 4.9), se
presenta el módulo controlador de planes en ejecución (sección 4.10) y se explica el
módulo de intercambio de teorías (sección 4.11). Por último, se detalla un ejemplo
integrador de la funcionalidad del sistema (sección 4.12).

En el capítulo 5 se presentan los resultados experimentales del comportamiento del
sistema inteligente autónomo implementado en la plataforma Khepera. Se da una
introducción (sección 5.1), luego se da una visión del diseño experimental (sección 5.2) y
por último, se muestran gráficamente los resultados obtenidos y su interpretación (sección
5.3).

En el capítulo 6 se toman las cuestiones abordadas en el capítulo 3 y se sumarizan las
respuestas a las mismas que aparecen a lo largo de la tesis.

En el anexo A se presenta una adaptación del documento de dominio público preparado
por Oliver Michel (E-mail: [email protected]) sobre el manual del usuario del
Simulador Khepera versión 2.0 y la preguntas más frecuentes sobre el mismo. Se da el
acuerdo de licencia (sección A.1), una introducción (sección A.2), la explicación sobre la
programación del simulador (sección A.3), los reconocimientos (sección A.4), las
referencias del manual (sección A.5), el apéndice sobre la librería de funciones (sección
A.6), el apéndice con la estructura de directorios (sección A.7), el apéndice con los
comandos seriales del Khepera (sección A.8), un apéndice con el archivo multirobots.h
(sección A.9) y las preguntas más frecuentes del simulador Khepera (sección A.9)

En el anexo B se presentan los distintos escenarios seleccionados para realizar los
experimentos descriptos en el capítulo 5. En el anexo C se muestran los datos obtenidos
durante la ejecución del diseño experimental.

En el anexo D se presenta la documentación del sistema. Se da una introducción (sección
D.1), se explica la descarga y compilación del simulador Khepera (sección D.2), se da
una explicación sobre la instalación de los archivos fuentes del sistema inteligente
autónomo (sección D.3), se explica la integración del SIA al Khepera (sección D.4), se da
una explicación de los archivos fuente (sección D.5), se presenta el esquema de
Introducción Pablo M. Maceri 3
Aprendizaje Automático Basado en Intercambio de Operadores en Sistemas Inteligentes Autónomos

interacción de los módulos (sección D.6), se explican los diagramas de estructura del
sistema implementado (sección D.7), se dan los comandos implementados (sección D.8),
se explican las estructuras de datos utilizadas (sección D.9) y se presenta el formato de los
archivos de estadísticas (sección D.10).

Por último, en el anexo E se presenta el código fuente de la implementación del sistema
inteligente autónomo integrado a la plataforma Khepera.
4 Pablo M. Maceri Introducción
Aprendizaje Automático Basado en Intercambio de Operadores en Sistemas Inteligentes Autónomos

Capítulo 2

Estado de la Cuestión

En este capítulo se establece el estado del dominio de conocimiento describiendo la
arquitectura del sistema GINKO (sección 2.1), la arquitectura del sistema PRODIGY
(sección 2.2), la arquitectura del sistema SOAR (sección 2.3), la arquitectura LIVE
(sección 2.4), la arquitectura DYNA (sección 2.5), el sistema de Christiansen (sección
2.6), el sistema de Hayes-Roth (sección 2.7) y por último el sistema inteligente autónomo
(sección 2.8).

2.1. GINKO: Una arquitectura integrada para aprendizaje y
planificación en robótica

El sistema GINKO [Barbehenn y Hutchinson, 1991] consiste de cuatro componentes
principales. Consta de un conjunto de sensores que son actualizados continuamente.
Posee una memoria que es dividida conceptualmente en dos partes: un modelo del mundo
y las lecturas de los sensores que le dan importancia y soporte a ese modelo. Tiene un
componente de inducción que forma un modelo del mundo consistente con los datos. Y
finalmente, posee un elemento de ejecución que consiste de un planificador y monitores
de planes en ejecución. El elemento de ejecución es responsable de llevar a cabo tareas en
el ambiente y es completamente dependiente de los sensores y del modelo del mundo.
En la figura 2-1 se muestra un diagrama de la arquitectura.
ENTORNO
Ejecución
Sensores EJECUCION
Planificación
Lecturas de Modelo
los sensores del mundo
MEMORIA
INDUCCION
Aprendizaje
Figura 2-1: arquitectura del sistema GINKO

Estado de la Cuestión Pablo M. Maceri 5