Event-driven Middleware for Body and Ambient Sensor Applications

157 Pages·2014·6.44 MB·English

Event‐driven Middleware for 
Body and Ambient Sensor 
Applications 
Ereignisgesteuerte Middleware für körpernahe und umgebende Sensoranwendungen 
Vom Fachbereich Informatik zur Erlangung des akademischen Grades Doktor‐Ingenieur 
(Dr.‐Ing.) genehmigte Dissertation von M.Sc. Christian Seeger aus Bad Nauheim 
Darmstadt, 2014 – D17 

1. Gutachten: Professor Alejandro Buchmann  Tag der Einreichung: 06.11.2013
2. Gutachten: Professor Danny Hughes  Tag der Prüfung: 21.01.2014 
3. Gutachten: Dr. Kristof Van Laerhoven
Curriculum Vitae 
Christian Seeger 
Date of birth:  September 19th, 1982 
Place of birth:  Bad Nauheim, Germany 

Education  2010 – 2014  TU Darmstadt, Germany 
PhD student in computer science 
  2012  ETH Zurich, Switzerland 
Visiting student 
  2009  McGill University, Montreal, Canada 
Visiting student 
  2007 – 2009  TU Darmstadt, Germany 
Master of science in computer science 
  2003 – 2007  TU Darmstadt, Germany 
Bachelor of science in computer science 
  1993 – 2002   Sankt Lioba Gymnasium, Bad Nauheim, Germany 

Positions  2010 – 2013  TU Darmstadt, Germany 
Databases and Distributed Systems group of Prof. 
Alejandro Buchmann, PhD 
Research and teaching assistant 
  2010 – 2012   TU Darmstadt, Germany  
DFG Research Training Group GRK 1362 
Scholarship holder 
  2010 – 2012   TU Darmstadt, Germany  
Simulation, Systems Optimization and Robotics group by 
Prof. Dr. Oskar von Stryk 
Student assistant
Abstract
Continuingdevelopmentofon-bodyandambientsensorshasledtoavastincreaseinsensor-based
assistance and monitoring solutions. A growing range of modular sensors, and the necessity of
runningmultipleapplicationsonthesensorinformation,hasledtoanequallyextensiveincreasein
efforts for system development. In this work, we present an event-driven middleware for on-body
and ambient sensor networks allowing multiple applications to define information types of their
interest in a publish/subscribe manner. Incoming sensor data is hereby transformed into the
required data representation which lifts the burden of adapting the application with respect to
the connected sensors off the developer’s shoulders. Furthermore, an unsupervised on-the-fly
reloading of transformation rules from a remote server allows the system’s adaptation to future
applications and sensors at run-time as well as reducing the number of connected sensors. Open
communication channels distribute sensor information to all interested applications. In addition
to that, application-specific event channels are introduced that provide tailor-made information
retrieval as well as control over the dissemination of critical information.
The system is evaluated based on an Android implementation with transformation rules imple-
mented as OSGi bundles that are retrieved from a remote web server. Evaluation shows a low
impact of running the middleware and the transformation rules on a phone and highlights the
reduced energy consumption by having fewer sensors serving multiple applications. It also points
out the behavior and limits of the open and application-specific event channels with respect to
CPU utilization, delivery ratio, and memory usage.
Inadditiontothemiddlewareapproach,four(preventive)healthcareapplicationsarepresented.
They take advantage of the mediation between sensors and applications and highlight the system’s
capabilities. By connecting body sensors for monitoring physical and physiological parameters
as well as ambient sensors for retrieving information about user presence and interactions with
the environment, full-fledged health monitoring examples for monitoring a user throughout the
day are presented. Vital parameters are gathered from commercially available biosensors and the
mediator device running both the middleware and the application is an off-the-shelf smart phone.
Forgaininginformationaboutauser’sphysicalactivity,custom-builtbodyandambientsensorsare
presented and deployed.
i

Zusammenfassung
Das rasche Voranschreiten der Sensorentwicklung, ihre zunehmende Modularität sowie der re-
sultierende Zuwachs an Anwendungen, haben zu neuen Herausforderungen im Bereich der
Sensor-basierten Systeme geführt. Im Rahmen der vorliegenden Arbeit wurde eine Event-basierte
Middleware für Sensornetze bestehend aus Körper- und Umgebungssensoren entwickelt, die An-
wendungen die von ihnen angeforderten Informationen mittels eines Publish/Subscribe-Ansatzes
zur Verfügung stellt. Durch die Abstraktion von der eigentlichen Sensorik, wird die Anwendungs-
entwicklung erheblich erleichtert. Außerdem ermöglichen sogenannte Transformationsregeln das
Umwandeln von Sensordaten in eine für die Anwendung adäquate Darstellung. Diese Transforma-
tionsregeln können zur Laufzeit von einer entfernten Datenbank geladen und installiert werden
und ermöglichen somit das automatische Anpassen des Systems an zukünftige Anwendungen
und Sensoren und zugleich die Einsparung von Sensorik. Diese Middleware-basierte Umwand-
lung von Sensorinformationen ermöglicht somit den Verzicht auf die aufwendige Entwicklung
anwendungs- beziehungsweise sensorspezifischer Systeme. Die Verteilung der Sensordaten er-
folgt entweder über offene oder über anwendungsspezifische Kommunikationskanäle. Letztere
ermöglichen ein maßgeschneidertes Ausliefern von Informationen sowie die Kontrolle über die
Informationsverarbeitung.
DasSystemwurdealsAndroidAnwendungimplementiertundevaluiert. DieEvaluationzeigtden
geringen Einfluss der Middleware und der Transformationsregeln auf die Systemauslastung sowie
den durch die Einsparung von Sensorik und dem gleichzeitigen Bedienen mehrere Anwendungen
reduzierten Energieverbrauch. Des Weiteren werden das Verhalten und die Grenzen der offenen
sowie der anwendungsspezifischen Kommunikationskanäle bezüglich der CPU-Auslastung, der
Delivery Ratio und des Speicherverbrauchs analysiert.
ZusätzlichzudemMiddleware-AnsatzwerdenvierAnwendungenausdemBereich(präventiver)
Gesundheitsversorgung vorgestellt. Sie machen von den Vorzügen der Middleware Gebrauch und
heben die Leistung des Gesamtsystems hervor. Körpernahe und umgebende Sensorik ermöglicht
das Ermitteln von physikalischen und physiologischen Parametern und liefert Informationen
über die Anwesenheit und Interaktion des Nutzers mit seiner Umgebung. Die vorgestellten
Beispielanwendungen erlauben das permanente Monitoring einer Person. Dabei wurden für die
medizinische Überwachung kommerziell erhältliche Biosensoren verwendet; als Plattform für die
Middleware dient ein herkömmliches Smartphone. Die körpernahe und umgebende Sensorik zur
Ermittlung der Benutzeraktivität wurde speziell für unsere Anwendungen entwickelt.
iii

Acknowledgments
First and foremost, I would like to express my special appreciation and thanks to my advisors
Alejandro Buchmann and Kristof Van Laerhoven, you have been tremendous mentors for me.
Thank you for encouraging and supporting my research and for allowing me to grow as a person
as well as a scientist. Without your guidance, persistent help, and motivation this dissertation
would not have been possible.
I would also like to thank my committee members, Danny Hughes, Silvia Santini, Matthias
Hollick, and Stefan Roth, for letting my defense be an enjoyable moment, and for your brilliant
comments and suggestions.
I am indebted to my many colleagues in the DVS and ESS groups who supported me with
valuable help and fruitful comments and suggestions. I especially like to thank Daniel Jacobi for
his general help at the beginning of my work, Pablo Guerrero for providing me deep insights in
the field of sensor networks, Stefan Appel, Tobias Freudenreich, and Sebastian Frischbier for their
brilliant help in the area of event-based systems. Furthermore, I like to thank Eugen Berlin and
Marko Borazio for their excellent help especially regarding application development. Many things
such as the research stays and conference visits would not have been possible without help from
Marion Braun, Gabriele Ploch, Ursula Paeckel, and Maria Tiedemann. Thank you.
I consider it an honor that parts of this dissertation arose from a collaboration with Friedemann
Mattern’s Distributed Systems Group at ETH Zurich. Special thanks to Friedemann Mattern and
Gábor Sörös for their hospitality. Moreover, thank you to Benedikt Ostermaier and Simon Mayer
for your brilliant ideas and support with ambient sensors.
I am also honored that a second collaboration contributed to this project - thanks to the
Telemedical Systems Department of Robert Bosch GmbH, especially Thorsten Sohnke who was my
specialist adviser at Bosch, for their support.
Thank you to all the undergraduate students who I had the chance to work with and who
contributed to the project: Chi Hieu Ha, Jennifer Conrad, Jens Sauer, Moritz Jansson, Nezir Önkol,
Dassi Ponka, Sebastian Niederhöfer, and Thomas Pignede.
A special thanks to my parents. Words cannot express how grateful I am. Without their support,
teaching, and unshakeable faith in me, all this would not have been possible to me. I hold my
mother in high esteem for teaching me in staying power and my father for his early support in
computer science and teaching me in conscientious working. Properties that laid the foundations
of working as a scientist.
At long last, I like to express the deepest gratitude to my fiancée. Fabienne supported me in so
many different ways: as a doctor she provided the medical background to my work, she always
gave me tremendous feedback on non-technical questions, and she motivated me when I was in
despair. For what I like to thank her most is her incessant faith in me.
v

Contents
1 Introduction 1
1.1 Medical Sensor Network Applications . . . . . . . . . . . . . . . . . . . . . . . . . . . 3
1.1.1 Preventive Care . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3
1.1.2 Out-patient Care. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4
1.1.3 Elderly Care . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6
1.1.4 Motivational Example . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8
1.2 Middleware for Medical Sensor Network Applications . . . . . . . . . . . . . . . . . . 10
1.3 Summary of Contributions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12
1.4 Outline . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14
2 Background 15
2.1 Body and Ambient Sensor Technology . . . . . . . . . . . . . . . . . . . . . . . . . . . 15
2.1.1 Sensor Types . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15
2.1.2 Networking Technologies . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18
2.1.3 Mediator Devices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20
2.2 Related Middleware for Sensor Networks . . . . . . . . . . . . . . . . . . . . . . . . . 21
2.2.1 Distributed Middleware . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21
2.2.2 Mediator-only Middleware . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24
2.2.3 Comparison to this Work . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26
2.3 Android OS . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27
2.3.1 Intents . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28
2.3.2 Components . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30
2.3.3 Secure Inter-Application Communication . . . . . . . . . . . . . . . . . . . . . 32
3 Event-drivenMiddlewareArchitecture 37
3.1 Requirements . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37
3.1.1 Multi-Setup Requirements . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38
3.1.2 Networking Requirements . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39
3.1.3 Mediator Requirements . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 40
3.2 Generic Architecture . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41
3.2.1 Message Handler . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43
3.2.2 Sensor Module Manager . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 44
3.2.3 Security Manager . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 44
3.2.4 System Monitor . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 44
3.2.5 User Repository . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45
3.2.6 Event Composer . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45
3.2.7 Transformation Manager . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45
3.3 Open Communication Channels . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45
3.3.1 Subscription . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 46
3.3.2 Notification. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47
3.4 Application-specific Communication Channels . . . . . . . . . . . . . . . . . . . . . . 47
3.4.1 Advertisement . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 48
3.4.2 Subscription . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49
vii
3.4.3 Notification. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49
3.5 Adaptive Event Transformation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49
3.5.1 Transformation Request . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51
3.5.2 Transformation Life-cycle . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51
3.5.3 Remote Repository . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 53
3.6 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 54
4 MiddlewareImplementation 57
4.1 Overview . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 57
4.1.1 Message Handler . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 60
4.1.2 Sensor Module Manager . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 60
4.1.3 Security Manager . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 63
4.1.4 System Monitor . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 63
4.1.5 User Repository . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 64
4.1.6 Event Composer . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 64
4.1.7 Transformation Manager . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 65
4.2 Open Communication Channels . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 65
4.2.1 Subscription . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 66
4.2.2 Notification. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 67
4.3 Application-specific Communication Channels . . . . . . . . . . . . . . . . . . . . . . 67
4.3.1 Advertisement . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 69
4.3.2 Subscription . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 70
4.3.3 Notification. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 70
4.4 Adaptive Event Transformation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 71
4.4.1 Transformation Manager . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 72
4.4.2 Event Transformations as OSGi Bundles. . . . . . . . . . . . . . . . . . . . . . 73
4.4.3 Remote Repository . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 74
4.5 Integration in Existing Environments . . . . . . . . . . . . . . . . . . . . . . . . . . . . 74
4.5.1 RedPin . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 74
4.5.2 InfraWOT . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 75
4.6 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 76
5 ApplicationsusingtheMiddleware 77
5.1 Fitness Diary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 78
5.1.1 System Overview . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 79
5.1.2 Daily Activities . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 81
5.1.3 Gym Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 83
5.1.4 Evaluation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 88
5.2 Monitoring of Rehabilitation Patients . . . . . . . . . . . . . . . . . . . . . . . . . . . . 89
5.2.1 Interval Training. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 91
5.2.2 Training Instruction Module . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 92
5.2.3 Connection to a Telemedical Platform . . . . . . . . . . . . . . . . . . . . . . . 93
5.2.4 Evaluation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 93
5.3 Fitness Trail . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 95
5.3.1 Exercise Recognition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 97
5.3.2 Exercise Counting . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 98
5.3.3 User Motivation Module . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 98
5.4 Monitoring Activities of Daily Living . . . . . . . . . . . . . . . . . . . . . . . . . . . . 99
5.4.1 System Setup . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 99
5.4.2 Activity Monitoring . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 103
viii