Using Skeleton Information for Human Identification for Elderly Care and Alarm System with the ...

71 Pages·2012·1.38 MB·English

Using Skeleton Information for Human 
Identification for Elderly Care and Alarm System 
with the XBox One Kinect Sensor 

Lexu Qi 

Faculty of mathematics and natural science

UNIVERSITY OF OSLO

7th August 2017
Abstract  

This project explores the possibility of human identification for the Care and 
Alarm System by using human skeleton information captured by the Xbox One 
Kinect sensor. This project experiment three classifiers and three main different 
kinds of skeleton information. These three classifiers are artificial neural 
networks (ANNS), K nearest neighbours (KNNs) and support vector machine 
(SVM); three main kinds of skeleton information include absolute full-body 
skeleton information, absolute partly body skeleton information and 
proportional full-body skeleton information. According to the result, ANNs 
perform the best classification with an accuracy rate of 99.50% by using absolute 
full-body skeleton information. KNN generally has a high classification accuracy 
higher than 90% by using all kinds of skeleton information. SVM is not a good 
choice since it only results in bad classification results. Regarding the skeleton 
information, Absolute full-body produces a better classification result than 
proportional full-body information and absolute partly body information. 
Additionally, for absolute partly body information, torso information leads to a 
better result than bottom part. 

Generally speaking, skeleton information is applicable for human identification 
and can help generate good classification result. 

1
Table of Contents 

Acknowledgements 4 
List of Figures 5 
List of Tables 6 
List of Charts 7 
1 Introduction 8 
1.1 About the Project Idea 9 
1.2 Research Question 11 
1.3 Objectives 11 
1.3.1 Research 11 
1.3.2 Implementation 12 
1.3.3 Evaluation 12 
2 Background/Literature Review 13 
2.1 Xbox One Kinect Sensor 13 
2.2 Skeleton Feature Extraction 17 
2.3 Supervised Learning 18 
2.4 Classifiers 20 
2.4.1 Support Vector Machine (SVM) 20 
2.4.1.2  SVM with Hard Margin 21 
2.4.1.3 SVM with Soft Margin 22 
2.4.2 Artificial Neural Networks (ANNs) 23 
2.4.2.1 Back-propagation Approach 24 
2.4.3 K-nearest Neighbours 27 
2.5 Skeleton information in human identification 28 
3 Goals and Methodology 31 
3.1 The project has 3 main goals 31 
3.2 Preparing Data 32 
3.2.1 Data set design 32 
3.2.2 Data Collection Interface 36 
2
3.2.3 Feature Extraction Techniques 37 
3.2.4 Data Set Collection 38 
3.2.5 Process Data Set 39 
4 Experiments and Results 41 
4.1 Classifiers 41 
4.2 Using Absolute Full-body Information 43 
4.3 Using Absolute Torso Information 45 
4.4 Using Absolute Bottom Information 48 
4.5 Comparing Algorithms (Absolute Information) 50 
4.6 Comparing Full and Partly Body Information 51 
4.7 Using Proportional Full-body Information 53 
4.8 Comparing Absolute and Proportional Data 55 
4.9 Other Results 56 
5 Discussion 58 
5.1 Experiment Results Analysis 59 
5.2 Implications of the Project 61 
5.3 Limitations 62 
5.4 Research Questions 63 
7 Conclusions 64 
8 References 66 

3
Acknowledgements  

First of all,  I would like to thank my supervisor Dr. Jim Tørresen for all the 
support and help with great patience. Additionally, I would like to show my 
gratitude to those kind participants for skeleton data collections 

4
List of Figures 

Figure 1  -  Names of Joints by Kinect 15 
Figure 2  -  A photo of XBox One Kinect 16 
Figure 3  -  Kinect Default Horizontal Sight  17 
Figure 4  -  Kinect Default Vertical Sight 18 
Figure 5  -  The point of overfitting  20 
Figure 6  -  The ideal Boundary Drawn by SVM is the Line H3 22 
Figure 7  -  Hard Margin Drawn by SVM Separates Two Categories Accurately 23 
Figure 8  -  Soft Margin Drawn by SVM with Data Points Inside the Margin 24  
Figure 9  -  A Feed-forward Neural Network with One Hidden Layer 25 
Figure 10-  Local and Global Maximal and Minimal with x in Range of [0.1, 1.1] 27 
Figure 11-  Hyperbolic Tangent Sigmoid Transfer Function  28 
Figure 12-  1NN Classification Result, and 5NN Classification Result  29 
Figure 13-  Whole-body Joints Indice Provided by Kinect  34 
Figure 14-  Whole-body Joints and Skeletons Captured by Kinect 38 

5
List of Tables 

Table 1 -  Accuracy Results for Different Combinations of Skeletons 30 
Table 2 -  Accuracy of Classifiers Using Different Information 31 
Table 3 -  Twelve Skeletons as Features 35 
Table 4 -  Seven Proportional Skeleton Features 36 
Table 5 -  Basic Information of the Candidates 40 
Table 6 -  Confusion Matrix of Full-body Data with ANNs 44 
Table 7 -  Confusion Matrix of Full-body Data with KNNs 45 
Table 8 -   Confusion Matrix of Full-body Data with SVM 45 
Table 9 -   Confusion Matrix of Torso Data with ANNs 46 
Table 10-  Confusion Matrix of Torso Data with KNNs 47 
Table 11-  Confusion Matrix of Torso Data with SVM 48 
Table 12-  Confusion Matrix of Bottom Data with ANNS 49 
Table 13-  Confusion Matrix of Bottom Data with KNNs 49 
Table 14-  Confusion Matrix of Bottom Data with SVM 50 
Table 15-  Confusion Matrix of Proportional Full Body Data with ANNs 54 
Table 16-  Confusion Matrix of Proportional Full Body Data with KNNs 55 
Table 17-  Confusion Matrix of Proportional Full Body Data with SVM 56 
Table 18- ANNs Performance and Different Neuron Number in Hidden Layer 58 

6
List of Charts 
Chart 1 -  Accuracy of Different Algorithms and Body Parts (1) 52 
Chart 2 -  Accuracy of Different Algorithms and Body Parts (2) 53 
Chart 3 -  Accuracy of Absolute and Proportional Skeleton Information  57 

7
1 Introduction  

As human life expectancy increases, we are also more likely to suffer diseases 
and troubles that are caused by aging. However, the problems of a large amount 
of population aging in many countries make it harder and harder to offer a 
comprehensive care to old people, since there is not enough input to the 
workforce with the high proportion of the elderly and low newborn rate. Hence, 
the idea of introducing smart medical care system to the elderly’s home becomes 
increasingly important. 

There have been a number of attempts regarding intelligent elderly care system 
within Europe; CompanionAble project (2008-2012) provided falling detection, 
reminder services and medical management through an assistive companion 
robot called Hector. GiraffPlus (2012-2014) was mainly responsible for 
monitoring home activities. It applied a network of sensors that were placed both 
at home and on the body using the Giraff robotic platform. However, room 
mounted devices require home installation which needs technical skills . And it 
also causes uncertainty if the user has to take the on-body device off for many 
possible reasons (shower, change clothes, forget to put on again, etc). 

Designing a user-friendly technology product for the elderly is both easier and 
more difficult compared to the younger generation. Unlike the younger 
generation, the elderly like simple functionalities, less active interactions with the 
technology product. This requirement should lead to a product that can run 
normally and handle issue mostly on its own. The Elderly Care and Alarm System 
aim to avoid using any on-body devices and any sensors installed home. Instead, 
8
a robot platform is provided to carry all the relevant sensors. The robot is 
expected to be able to recognize the user. 

1.1 About the Project Idea 

Human identification using biometrics is very significant and important in the 
area of surveillance, security and authentication. There are generally two kinds 
of biometrics identification: active and passive [1]. Active identification require 
human to interact properly with the system for the purpose of data collection. 
Fingerprints and irises are commonly used for active biometric identification. 
Such active identifications provides high accuracy, but also requires active 
interaction with the system. Passive biometrics identification, on the other hand, 
doesn’t require any physical contacts or interactions between human and the 
identification system. People are even expected to do their normal routines 
without the notice of the passive identification system. Identification based on 
face could be a passive identification system. 

Being able to find the user is particularly important for the Elderly Care System. 
If the system needs to carry out tasks to monitor medical states, to alarm 
abnormal states, and so on, the first thing to do is to find the user to perform 
tasks on. The elderly usually have less active social life, which means less chance 
of many people appearing simultaneously at home. However, the user might live 
with their partner, might have regular families events, etc. As long as there are 
anyone else other than the user at the scene, the system should be able to find the 
correct user to monitor.  

9