Sensing with Smartphones: Light Authentication, Heavy Personalization and Medical Applications

188 Pages·2013·5.57 MB·English

by  Samuel Welten

Research Collection
Doctoral Thesis
Sensing with Smartphones: Light Authentication, Heavy
Personalization, and Medical Applications
Author(s):
Welten, Samuel Max
Publication Date:
2013
Permanent Link:
https://doi.org/10.3929/ethz-a-010026255
Rights / License:
In Copyright - Non-Commercial Use Permitted
This page was generated automatically upon download from the ETH Zurich Research Collection. For more
information please consult the Terms of use.
ETH Library
DISS. ETH NO. 21454
Sensing with Smartphones:
Light Authentication, Heavy Personalization, and
Medical Applications
A dissertation submitted to
ETH ZURICH
for the degree of
Doctor of Sciences
presented by
SAMUEL MAX WELTEN
MSc ETH ITET, ETH Zürich
born July 18, 1984
citizen of
Saanen (BE)
accepted on the recommendation of
Prof. Roger Wattenhofer, examiner
Prof. Andrew Campbell, co-examiner
2013
Abstract
During the last decade, the fast rise of smartphone distribution
amongst the world’s population has been evident. Initially expen-
sive devices that only business individuals could afford, smartphones
are now found among all classes and age ranges of the population.
Early smartphones featured only minimal internal sensors with
targeted usage scenarios in mind. For example, the accelerometer
was mainly built into the first iPhone to adapt the display content
to the screen orientation. With the introduction of the app and
app-store concept, developers started using the sensors in their own
unique ways.
This thesis focuses on the further extension of the sensing capa-
bilities of smartphones and demonstrates how they can be used to
sense and understand its user. First, we show that the touch screen
of an Android device can be used to detect who is using it, due to
the touch pattern of a person being unique. Second, we extend the
capabilities by sensing the characteristics of the gait when the phone
is in the pocket. The novelty of our method lies in the fact that the
phone does not need to be placed in a certain orientation to achieve
high recognition rates.
We then widen our focus to external wireless sensors for context
sensing. An important part of the context of a person may be medical
parameters. We therefore present two systems that rely on custom
external sensors to measure health-relevant parameters: UV radia-
tion and foot pressure distribution. In both cases the phone acts as
a general purpose computation and interaction platform.
In the last part, we show that analyzing the behavior of the user
can be applied to mobile music recommendations in two scenarios.
To do so, we define a music similarity measure that is based on the
listening behavior of many persons, as well as social tags, applica-
ble to millions of artists and tracks. For the first application, we
apply this knowledge to define the music taste of a user, based on
the songs stored on the smartphone in order to extend the music
collection through opportunistic ad hoc file sharing. Second, we de-
scribe the implementation of a smart meta-radio that uses thousands
of publicly available Internet radio stations and seamlessly switches
between them to offer a personalized listening experience.
Zusammenfassung
Im vergangenen Jahrzehnt hat die Verbreitung von Smartphones
stark zugenommen. Zu Beginn waren es vergleichsweise teure Geräte,
welche vor allem von Geschäftsleuten benutzt wurden. Heutzutage
sind sie aber in allen Bevölkerungs- und Altersschichten zu finden.
Die ersten Smartphones waren nur mit sehr wenigen Sensoren aus-
gestattet, welche alle einen vorgesehenen Verwendungszweck hatten.
So wurde zum Beispiel der Beschleunigungssensor hauptsächlich in
das erste iPhone eingebaut, um den Bildschirminhalt der Orientie-
rung des Bildschirms anzupassen. Mit der Einführung der Apps und
des App-Store-Konzepts fingen Softwareentwickler an, die eingebau-
ten Sensoren für ihre eigenen Zwecke zu gebrauchen.
Diese Arbeit befasst sich mit der Erweiterung der Sensorfähigkei-
ten von Smartphones und zeigt, wie eingebaute Sensoren dazu ver-
wendet werden können den Nutzer zu erkennen und zu verstehen. Als
erstes zeigen wir, dass Androidgeräte aufgrund der charakteristischen
Benutzung des Touchscreens erkennen können, von welcher Person
sie bedient werden. Danach erweitern wir die Fähigkeiten der Smart-
phones, indem wir die charakteristischen Merkmale des Ganges einer
Person erkennen, wenn das Telefon in der Hosentasche getragen wird.
Unsere Methode hat gegenüber existierenden Gangerkennungssyste-
men den Vorteil, dass das Gerät mit einer beliebigen Orientierung in
der Tasche platziert werden kann und dennoch hohe Erkennungsraten
erreicht.
Im darauf folgenden Teil erweitern wir den Fokus auf externe,
drahtlose Sensoren um einen Teil des gesundheitsrelevanten Kontexts
einer Person wahrnehmen zu können. Dazu präsentieren wir zwei
Systeme, die auf externen Sensoren basieren: ein UV-Dosimeter und
und ein System, um die Druckverteilung der Fusssohle messen zu kön-
nen. In beiden Fällen dient das Smartphone der Benutzerinteraktion
und der Datenverarbeitung.
Im letzten Teil zeigen wir, dass die Analyse vom Musikabspiel-
verhalten vieler Personen benutzt werden kann, um Musik passend
zum Geschmack des Benutzers zu empfehlen. Dazu definieren wir
zuerst ein Musikähnlichkeitsmass, das zum einen auf dem Hörverhal-
ten und zum anderen auf sozialen Tags basiert. Dieses Ähnlichkeits-
mass lässt sich auf Millionen von Interpreten und Songs anwenden.
Als zweites verwenden wir dieses Mass um den Musikgeschmack ei-
ner Person aufgrund der auf dem Smartphone gespeicherten Musik
kompakt zu definieren und verwenden dieses Wissen, um die Mu-
siksammlung durch opportunistisches Filesharing zu erweitern. Als
drittes beschreiben wir die Implementierung eines Meta-Radios, das
auf tausende öffentlich verfügbare Internetradiostationen zurückgreift
und nahtlos zwischen den Sendern wechselt, um dem Nutzer ein auf
ihn zugeschnittenes Hörerlebnis zu bieten.
Acknowledgements
The time as a PhD student at the Distributed Computing Group was
an instructive, sometimes stressful, but overall wonderful experience.
I had the possibility to work on many different projects and collab-
orate with a lot of smart people. As a result, my dissertation would
not have been possible without the help of many people who I would
like to thank in the following.
First of all, I would like to thank Prof. Roger Wattenhofer for
supporting me and let me try my (sometimes strange) ideas. He
gave me the freedom to work independently on topics that interested
me and helped me in countless discussions. Moreover, I would like to
thank my co-referee Prof. Andrew Campbell for accepting to review
this thesis and serving on my defense committee.
A special thank goes to the members of the Distributed Com-
puting Group. It was an amazing environment to work in and I
am sure I will miss it. I would like to thank: Michael Kuhn for
being a nice office mate and making my table look less chaotic, To-
bias Langner for keeping the good spirit in our office and providing
me with a constant stream of rock music, Christoph Lenzen for be-
ing a last resort for my mathematical problems, Silvio Frischknecht
for keeping the barefoot fraction alive, Jochen Seidel for giving me
energizing mate tea, Yuval Emek for being a responsible nanny dur-
ing Roger’s sabbatical, Jara Uitto for introducing me to the Finnish
sauna tradition, Jasmin Smula for drawing our beloved office mascot,
Barbara Keller for preserving her expired-food museum, Klaus-Tycho
Förster for baking so many cakes and acting as a reliable source of
randomness, Pascal Bissig for cool paragliding videos, Raphael Ei-
denbenz for bringing musicality into our group, Johannes Schneider
for introducing Austrian mountains to us, Philipp Sommer for being
the last hard(core)ware guy in our group, Stephan Holzer for teach-
ing us the importance of meat, Michael König for programming the
Toeggelomat 2.0, Philipp Brandes for attending the early morning
coffee breaks and introducing cookie time, Christian Decker for mak-
ing us rich with Bitcoins, Remo Meier for awesome skiing holidays
in Zermatt, Nicolas Burri for the Toeggelomat 1.0, Pascal von Rick-
enbach for keeping the startup spirit in our group, Damian Friedli
for fixing our servers over and over again, Thomas Steingruber for
providing me with the hardware I needed, Tanja Lantz for reminding
me of the long-forgotten credit card receipts, and Beat Futterknecht
for magically resolving all organizational issues.
One part of my work at ETH that I really enjoyed was super-
vising student theses. Consequently, I supervised many theses and
would like to thank the following students for their collaboration
and their work: Thomas Fahrni, Chahine Benchohra, Rahul Jain,
Andreas Marcaletti, Si Sun, Etienne Geiser, Michael Grob, Jestin
Kannanmannil, Guido Hungerbühler, Cédric Waldburger, Alexander
Waldin, Samuel Pfaffen, Christian Stocker, Martina Kolly, Damian
Pfammatter, Marian Runo, Beat Gebistorf, Yannick Stucki, Do-
minik Bucher, Sebastian Wendland, Samuel Zihlmann, Pascal Bis-
sig, Tobias Wenger, Roger Odermatt, Dominik Landtwing, Alex
Hugger, Dany Sünnen, Samuel Zehnder, Dominic Plangger, To-
bias Schlüter, Dominic Langenegger, Valerius Huonder, Yawhuei
Lam, Vijay Sahdeva, Jonathan Weber, Philippe von Bergen, Désirée
Clausen, Damian Scherrer, Jannik Schäfer, Pascal Voser, Roland
Meier, Muriel Pauli, Samuel Zweifel, Tobias Bamert, Lennart Elsen,
Marcel Bertsch, Frederik Rothenberger, Demian Jäger, Lukas Sigrist,
Sandro Martis, Sandro Affentranger, Adrian Friedli, Manuel Eichel-
berger
I thank my friends Remo, Chrigi, Röf, Graf, and Sili who have
still not forgotten me (despite the fact that I was living in Zurich) and
were responsible for many fantastic weekends. I would like to thank
my parents Berni and Brigitte, as well as my siblings Mirjam, Yeru,
Marie, David and Anna for supporting me and my dreams. Finally,
I am deeply grateful to my girlfriend Angi for her unwavering love
and encouragement during the last years.
Contents
1 Introduction 1
1.1 Thesis Overview . . . . . . . . . . . . . . . . . . . . . 3
1.2 Collaborations and Contributions . . . . . . . . . . . . 3
I Light Authentication 6
2 Introduction 7
2.1 Applications . . . . . . . . . . . . . . . . . . . . . . . . 8
3 Touch-Based Recognition 11
3.1 Related Work . . . . . . . . . . . . . . . . . . . . . . . 12
3.2 Method . . . . . . . . . . . . . . . . . . . . . . . . . . 16
3.3 User Statistics . . . . . . . . . . . . . . . . . . . . . . 21
3.4 User Recognition . . . . . . . . . . . . . . . . . . . . . 31
3.5 Conclusions . . . . . . . . . . . . . . . . . . . . . . . . 35
4 Gait-Based Recognition 38
4.1 Related Work . . . . . . . . . . . . . . . . . . . . . . . 39
4.2 Methods . . . . . . . . . . . . . . . . . . . . . . . . . . 39
4.3 Evaluation . . . . . . . . . . . . . . . . . . . . . . . . . 44
II Medical Applications 49
5 Introduction 50
5.1 Related Work . . . . . . . . . . . . . . . . . . . . . . . 51
6 Mobile Foot Pressure Analysis 53
6.1 Applications . . . . . . . . . . . . . . . . . . . . . . . . 54
6.2 Related Work . . . . . . . . . . . . . . . . . . . . . . . 55
6.3 The Planipes System . . . . . . . . . . . . . . . . . . . 57
6.4 Smartphone Application . . . . . . . . . . . . . . . . . 62
6.5 Case Studies . . . . . . . . . . . . . . . . . . . . . . . 64
6.6 Outlook . . . . . . . . . . . . . . . . . . . . . . . . . . 67
7 Wearable UV Awareness System 69
7.1 Applications . . . . . . . . . . . . . . . . . . . . . . . . 71
7.2 Related Work . . . . . . . . . . . . . . . . . . . . . . . 72
7.3 Survey . . . . . . . . . . . . . . . . . . . . . . . . . . . 74
7.4 System Design . . . . . . . . . . . . . . . . . . . . . . 76
7.5 Evaluation . . . . . . . . . . . . . . . . . . . . . . . . . 80
7.6 Pilot Study . . . . . . . . . . . . . . . . . . . . . . . . 82
7.7 Conclusions and Outlook . . . . . . . . . . . . . . . . 84
8 UV Awareness Through GPS 85
8.1 Related Work . . . . . . . . . . . . . . . . . . . . . . . 86
8.2 Background . . . . . . . . . . . . . . . . . . . . . . . . 87
8.3 Context Awareness using GPS Signals . . . . . . . . . 88
8.4 Implementation . . . . . . . . . . . . . . . . . . . . . . 89
8.5 Experiments . . . . . . . . . . . . . . . . . . . . . . . . 90
8.6 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . 95
III Personalized Music Experience 96
9 Introduction 97
9.1 Defining Music Similarity . . . . . . . . . . . . . . . . 98
9.2 Creating a Social Audio Space . . . . . . . . . . . . . . 101
9.3 The Social Audio Features . . . . . . . . . . . . . . . . 112