Multimodale Mensch-Roboter-Interaktion f¨ur Ambient Assisted Living

182 Pages·2013·10.08 MB·English

TECHNISCHE UNIVERSITA¨ T MU¨ NCHEN
Lehrstuhl fu¨r Mensch-Maschine-Kommunikation
Multimodale Mensch-Roboter-Interaktion
fu¨r Ambient Assisted Living
Tobias F. Rehrl
Vollsta¨ndiger Abdruck der von der Fakulta¨t fu¨r Elektrotechnik und Informationstechnik
der Technischen Universita¨t Mu¨nchen zur Erlangung des akademischen Grades eines
Doktor-Ingenieurs (Dr.-Ing.)
genehmigten Dissertation.
Vorsitzende: Univ.-Prof. Dr.-Ing. Sandra Hirche
Pru¨fer der Dissertation: 1. Univ.-Prof. Dr.-Ing. habil. Gerhard Rigoll
2. Univ.-Prof. Dr.-Ing. Horst-Michael Groß
(Technische Universita¨t Ilmenau)
Die Dissertation wurde am 17. April 2013 bei der Technischen Universita¨t Mu¨nchen
eingereicht und durch die Fakulta¨t fu¨r Elektrotechnik und Informationstechnik am
8. Oktober 2013 angenommen.
Bibliografische Information der Deutschen Nationalbibliothek
Die Deutsche Nationalbibliothek verzeichnet diese Publikation in der Deutschen Nationalbibliografie;
detaillierte bibliografische Daten sind im Internet über
http://dnb.d-nb.de abrufbar.
ISBN 978-3-8439-1372-0
© Verlag Dr. Hut, München 2013
Sternstr. 18, 80538 München
Tel.: [phone]
www.dr.hut-verlag.de
Die Informationen in diesem Buch wurden mit großer Sorgfalt erarbeitet. Dennoch können Fehler nicht vollständig ausgeschlossen
werden. Verlag, Autoren und ggf. Übersetzer übernehmen keine juristische Verantwortung oder irgendeine Haftung für eventuell
verbliebene fehlerhafte Angaben und deren Folgen.
Alle Rechte, auch die des auszugsweisen Nachdrucks, der Vervielfältigung und Verbreitung in besonderen Verfahren wie
fotomechanischer Nachdruck, Fotokopie, Mikrokopie, elektronische Datenaufzeichnung einschließlich Speicherung und
Übertragung auf weitere Datenträger sowie Übersetzung in andere Sprachen, behält sich der Autor vor.
1. Auflage 2013
Zusammenfassung
Der demografische Wandel vera¨ndert die deutsche sowie die europa¨ische
Gesellschaft, daher gewinnen besonders Aspekte der Mensch-Maschine-
Kommunikation fu¨r die Entwicklung, Gestaltung und Umsetzung von In-
formations- und Kommunikationstechnologien immer mehr an Bedeutung,
damit auch a¨ltere Menschen diese Technologien einfach und intuitiv be-
dienen ko¨nnen. Unter dem Begriff Ambient Assisted Living ko¨nnen ver-
schiedene Bemu¨hungen zusammengefasst werden, die darauf abzielen,
durch den Einsatz von modernen Informations- und Kommunikationstech-
nologien die Auswirkungen des demografischen Wandels abzumildern.
Die nonverbalen Komponenten in der Mensch-Maschine-Interaktion bil-
den den ersten Ansatzpunkt in dieser Arbeit, um die Kommunikation zwi-
schen Mensch und Maschine einfach und intuitiv zu gestalten. Hierbei
werden sowohl Gesten als auch der Ausdruck von Emotionen mittels Mi-
mik betrachtet. Bildbasierte Verfolgungsmethoden bilden einen zentralen
Bestandteil von videobasierten Systemen, die vermehrten Einsatz in All-
tagssituationen finden. Auch im Bereich der Gesten- und Mimikerkennung
werden bildbasierte Verfolgungsmethoden eingesetzt, um echtzeitfa¨hige
Verarbeitungen zu verwirklichen. In dieser Arbeit werden die bildbasier-
ten Verfolgungsmethoden mithilfe von Graphischen Modellen dargestellt
sowie erweitert. Mithilfe eines Graphischen Modells wird eine bildbasierte
Verfolgungsmethode mit einer Gestenklassifikation kombiniert, wodurch
es mo¨glich ist, die Bewegung einer Hand zu verfolgen und gleichzeitig
die dargestellte Geste zu klassifizieren. Die Inferenzverfahren der Graphi-
schen Modelle werden fu¨r die Anpassung der bildbasierten Verfolgungs-
methoden genutzt. Auf diese Weise wird sowohl das Bewegungsmodell
als auch die Partikel-Bewertungsfunktion adaptiv an die gegenwa¨rtige Be-
obachtungssequenz angepasst.
Abschließend wird in dieser Arbeit ein Spieleszenario als eine beispielhaf-
te Anwendung fu¨r Ambient Assisted Living vorgestellt. In diesem Spiele-
szenario werden die entwickelten Methoden zur Gesten- und Mimikerken-
nung aufgegriffen und kommen auf einer Roboterplattform zum Einsatz.
Diese Roboterplattform ist aufgrund ihrer technischen Ausstattung zu ei-
ner multimodalen Mensch-Roboter-Interaktion befa¨higt. Somit stehen fu¨r
das Spieleszenario mehrere Modalita¨ten zur Eingabe sowie zur Ausgabe
zur Verfu¨gung.
Abstract
The demographic change affects the German as well as the European so-
ciety, therefore, aspects of human-machine communication are becoming
increasingly important for the development, design and implementation of
information and communication technologies, so that elderly people can
use these technologies in a simple and intuitive way. Under the term Am-
bient Assisted Living various efforts can be summarized, which attempt to
mitigate the impact of the demographic change by applying modern infor-
mation and communication technologies.
The non-verbal components in the human-machine interaction are the first
points of departure in this thesis to make the communication between hu-
mans and machines easy and intuitive, therefore both gestures and the ex-
pression of emotions via facial expressions are considered. Image-based
tracking methods are a central component of video-based systems, which
are applied increasingly in everyday situations. In the field of gesture and
facial expression recognition image-based tracking methods are used to
achieve real-time processing. In this thesis graphical models are applied
to realize and augment image-based tracking methods. An image-based
tracking method is combined with a classification step using a graphical
model, thus it is possible to track the movement of a hand, while classi-
fying the shown hand gesture. The inference process of graphical models
can be used for the adjustment of image-based tracking methods, thus it
is possible to adapt the motion model as well as the particle evaluation
function according to the current observation sequence.
Finally, in this thesis a game scenario is presented as an example applica-
tion for Ambient Assisted Living. In this scenario, the developed methods
for the gesture and facial expression recognition are picked up and are
applied on a robotic platform. The technical equipment of the robotic plat-
form provides for a multimodal human-robot interaction, thus for playing
the game several modalities for input and output are available.
Inhaltsverzeichnis
1 Einleitung 1
1.1 Motivation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1
1.2 Gliederung dieser Arbeit . . . . . . . . . . . . . . . . . . . . . . . . . . 2
2 Ambient Assisted Living 5
2.1 Einfu¨hrung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6
2.1.1 Begriffskla¨rung . . . . . . . . . . . . . . . . . . . . . . . . . . . 6
2.1.2 Ursache fu¨r den Einsatz von AAL-Technologien . . . . . . . . 7
2.2 AAL-Anwendungen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8
2.2.1 Anforderungen und Bedu¨rfnisse von AAL-Nutzern . . . . . . 9
2.2.2 Technologien fu¨r AAL-Lo¨sungen . . . . . . . . . . . . . . . . . 12
2.3 Das ALIAS-Projekt . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15
2.3.1 Zielsetzung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15
2.3.2 Umsetzung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16
3 Grundlagen 19
3.1 Graphische Modelle . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20
3.1.1 Einfu¨hrung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20
3.1.2 Bayes’sche Netze . . . . . . . . . . . . . . . . . . . . . . . . . . 22
3.1.3 Hidden-Markov-Modelle . . . . . . . . . . . . . . . . . . . . . . 23
3.1.4 Markov Random Fields . . . . . . . . . . . . . . . . . . . . . . 26
3.1.5 Inferenz in Graphischen Modellen . . . . . . . . . . . . . . . . 27
3.1.6 Lernen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32
3.2 Experimente . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33
3.2.1 Kreuzvalidierung . . . . . . . . . . . . . . . . . . . . . . . . . . 33
3.2.2 Statistische Signifikanz . . . . . . . . . . . . . . . . . . . . . . . 34
vii
INHALTSVERZEICHNIS
4 Gestenerkennung 35
4.1 Einfu¨hrung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36
4.1.1 Motivation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36
4.1.2 Stand der Technik . . . . . . . . . . . . . . . . . . . . . . . . . . 37
4.2 Architektur . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 40
4.3 Statische Handgestenerkennung im Tiefenbild . . . . . . . . . . . . . . 42
4.3.1 Realisierung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43
4.3.2 Experimente . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47
4.4 Dynamische Handgestenerkennung . . . . . . . . . . . . . . . . . . . . 49
4.4.1 Realisierung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 50
4.4.2 Experimente . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 55
4.5 Kopfgestenerkennung . . . . . . . . . . . . . . . . . . . . . . . . . . . . 56
4.5.1 Realisierung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 57
4.5.2 Experimente . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 61
4.6 Diskussion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 61
5 Mimikerkennung 63
5.1 Einfu¨hrung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 64
5.1.1 Motivation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 64
5.1.2 Stand der Technik . . . . . . . . . . . . . . . . . . . . . . . . . . 65
5.2 GM-Ansa¨tze . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 69
5.2.1 Datensa¨tze . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 70
5.2.2 Merkmale . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 71
5.2.3 Ansa¨tze . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 72
5.2.4 Ergebnisse . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 77
5.3 Merkmalsselektion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 80
5.3.1 Sequentielle Merkmalsselektion . . . . . . . . . . . . . . . . . . 81
5.3.2 Kullback-Leibler-Divergenz-Ansatz . . . . . . . . . . . . . . . 84
5.4 Diskussion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 88
6 Graphische Modelle fu¨r bildbasierte Verfolgungsmethoden 91
6.1 Einfu¨hrung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 92
6.1.1 Motivation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 92
6.1.2 Stand der Technik . . . . . . . . . . . . . . . . . . . . . . . . . . 93
6.2 Probabilistische bildbasierte Verfolgung . . . . . . . . . . . . . . . . . . 95
6.2.1 Beobachtungsmodell . . . . . . . . . . . . . . . . . . . . . . . . 95
6.2.2 Bewegungsmodell . . . . . . . . . . . . . . . . . . . . . . . . . 96
6.2.3 Realisierung der probabilistischen bildbasierten Verfolgung . 96
6.2.4 Partikel-Filter . . . . . . . . . . . . . . . . . . . . . . . . . . . . 98
6.2.5 Der CONDENSATION-Algorithmus . . . . . . . . . . . . . . . . 100
6.3 GM-basierte probabilistische bildbasierte Verfolgung . . . . . . . . . . 101
viii
INHALTSVERZEICHNIS
6.3.1 Der CONDENSATION-Algorithmus als GM . . . . . . . . . . . 101
6.3.2 Kombinierte Klassifikation und bildbasierte Verfolgung . . . . 101
6.3.3 Adaptives Bewegungsmodell . . . . . . . . . . . . . . . . . . . 103
6.3.4 Adaptive Gewichtungsfunktion . . . . . . . . . . . . . . . . . . 113
6.3.5 Ganzheitlicher GM-Ansatz . . . . . . . . . . . . . . . . . . . . 122
6.4 Experimente . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 125
6.4.1 Datensatz . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 125
6.4.2 Evaluierungsmaße . . . . . . . . . . . . . . . . . . . . . . . . . 127
6.4.3 Ergebnisse . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 127
6.5 Diskussion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 128
7 Spieleanwendung auf einer multimodalen Roboterplattform als Beispiel-
anwendung fu¨r AAL 131
7.1 Einfu¨hrung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 132
7.2 Die Roboterplattform ELIAS . . . . . . . . . . . . . . . . . . . . . . . . 132
7.3 Multimodale Interaktion in einem Spieleszenario . . . . . . . . . . . . 134
7.3.1 Motivation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 134
7.3.2 Realisierung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 135
7.4 Diskussion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 140
8 Zusammenfassung 141
8.1 Beitra¨ge und Ergebnisse . . . . . . . . . . . . . . . . . . . . . . . . . . . 141
8.2 Ausblick . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 142
A Wahrscheinlichkeitstheorie 145
A.1 Einfu¨hrung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 145
A.2 Definition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 145
A.3 Unabha¨ngigkeit . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 146
A.3.1 Statistische Unabha¨ngigkeit . . . . . . . . . . . . . . . . . . . . 146
A.3.2 Bedingte Unabha¨ngigkeit . . . . . . . . . . . . . . . . . . . . . 147
A.4 Zufallsvariablen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 148
B Graphentheorie 149
B.1 Einfu¨hrung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 149
B.2 Grundlagen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 149
B.3 Der Verbundbaum . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 151
Abku¨rzungsverzeichnis 153
Literaturverzeichnis 157
ix