Yüksek Lisans Tezi

110 Pages·2012·3.24 MB·Turkish

T.C.
SELÇUK ÜNĠVERSĠTESĠ
FEN BĠLĠMLERĠ ENSTĠTÜSÜ

HAREKETSĠZ HASTALAR ĠÇĠN GERÇEK
ZAMANLI GÖZ KIRPMA ĠLETĠġĠM SĠSTEMĠ
TASARIMI VE UYGULAMASI

Orhan ÖZYURT

YÜKSEK LĠSANS TEZĠ

Elektronik ve Bilgisayar Sistemleri Eğitimi
Anabilim Dalı

Ocak-2012
KONYA
Her Hakkı Saklıdır

TEZ BĠLDĠRĠMĠ

Bu tezdeki bütün bilgilerin etik davranıĢ ve akademik kurallar çerçevesinde elde
edildiğini ve tez yazım kurallarına uygun olarak hazırlanan bu çalıĢmada bana ait
olmayan her türlü ifade ve bilginin kaynağına eksiksiz atıf yapıldığını bildiririm.

DECLARATION PAGE

I hereby declare that all information in this document has been obtained and
presented in accordance with academic rules and ethical conduct. I also declare that, as
required by these rules and conduct, I have fully cited and referenced all material and
results that are not original to this work.

Orhan ÖZYURT

Tarih: 11.01.2012
ÖZET

YÜKSEK LĠSANS TEZĠ

HAREKETSĠZ HASTALAR ĠÇĠN GERÇEK ZAMANLI GÖZ KIRPMA
ĠLETĠġĠM SĠSTEMĠ TASARIMI VE UYGULAMASI

Orhan ÖZYURT

Selçuk Üniversitesi Fen Bilimleri Enstitüsü
Elektronik ve Bilgisayar Sistemleri Eğitimi Anabilim Dalı

DanıĢman: Yrd. Doç. Dr. Fatih BAġÇĠFTÇĠ

2012, 101 Sayfa

Jüri
DanıĢman: Yrd. Doç. Dr. Fatih BAġÇĠFTÇĠ
Prof. Dr. ġirzat KAHRAMANLI
Prof. Dr. Hakan IġIK

Bu tez çalıĢmasında, hareketsiz hastaların normal veya acil durumlarda, göz kırpma
davranıĢlarıyla kendilerinden uzaktaki kiĢilerle iletiĢim kurmalarını sağlayacak, görüntü iĢleme tabanlı bir
sistem geliĢtirilmiĢtir.
Bir kamera yardımıyla alınan hastanın ön yüz görüntüsünden, görüntü iĢleme teknikleriyle göz
özellikleri çıkarılmıĢ ve bundan sonra kırpma davranıĢları yakalanmıĢtır. Bu aĢamadan sonra kısa ve uzun
menzilli kablosuz iletiĢim yöntemleri kullanılarak, yakalanan davranıĢa karĢılık gelen mesajlar
tanımlanan kiĢi veya kiĢilere iletilmiĢtir.
Yakalanan görüntülerdeki yüz ve göz bölgesinin tespit edilmesinde Haar sınıflayıcı (Haar
classifier), göz kırpma hareketlerin algılanmasında ise dairesel Hough dönüĢümü yöntemleri
kullanılmıĢtır. Bu teknikler uygulanırken intel açık kaynaklı bilgisayar görme kütüphanesi (open source
computer vision library - OpenCv) aracından yararlanılmıĢtır. Mesajların iletilmesi aĢamasında kısa
mesafede endüstriyel, bilimsel ve medikal (industrial, scientific and medical - ISM) bandında çalıĢan
radyo frekans (radio frequency - RF) alıcı vericiler, uzun mesafede ise Google Android iĢletim sistemi
yüklü, gezici iletiĢim için küresel sistem (global system for mobile communication - GSM) özellikli
kiĢisel dijital yardımcı (personel digital assistant - PDA) aracılığıyla kısa mesaj servisi (short message
service - SMS) yöntemi kullanılmıĢtır.
Sonuç olarak, yüzdeki göz özelliklerinin çıkarım ve takibi, göz kırpmalarının yakalanması için
yapılmıĢtır. Elde edilen veriler değerlendirilerek gerekli durumlarda iletiĢim cihazları vasıtasıyla mesajlar
karĢı tarafa transfer edilmiĢtir.

Anahtar Kelimeler: Görsel hasta izleme, görüntü iĢleme, göz kırpması algılama, göz takibi,
gsm tabanlı iletiĢim, insan makine ara yüzü, makine görmesi, radyo frekans iletiĢim, yardımcı teknoloji,
yüz bulma.

iv
ABSTRACT

MS THESIS

REAL TIME EYE BLINK COMMUNICATION SYSTEM DESIGN AND
APPLICATION FOR IMMOBILE PATIENTS

Orhan ÖZYURT

THE GRADUATE SCHOOL OF NATURAL AND APPLIED SCIENCE OF
SELÇUK UNIVERSITY
THE DEGREE OF MASTER OF SCIENCE
IN ELECTRONIC AND COMPUTER SYSTEMS EDUCATION

Advisor: Asst. Prof. Dr. Fatih BAġÇĠFTÇĠ

2012, 101 Pages

Jury
Advisor: Asst. Prof. Dr. Fatih BAġÇĠFTÇĠ
Prof. Dr. ġirzat KAHRAMANLI
Prof. Dr. Hakan IġIK

In this study, an image processing based system developed as a task for immobile patients.
Patients can communicate with people who look away from them by eye blink patterns through this
project.
eye features extracted with image processing techniques from frontal facial images of patient,
captured by a digital camera and then eye blink events of patient detected by system. As second stage of
project, short and long range communication techniques used for transmission of messages corresponding
captured eye blink patterns to determined person or persons.
Haar cascade classifier used for detecting face and eye region on captured images. About
perception of movement on region of captured face features, circular Hough transform algorithm used.
When performing this methods, utilized from intel open source computer vision library (OpenCv). At the
stage of message transmission, in short range industrial, scientific and medical (ISM) band radio
frequency (RF) receiver and transmitter used. For long range wireless transmission of messages, Google
Android powered personal digital assistant (PDA) used as global system for mobile communication
(GSM) module for send short message service messages (SMS) to target device.
As a result, eye features on human face extracted and tracked for capture blink patterns.
Obtained data evaluated and at neccessary stuations determined messages transfered to target devices
using by communication devices.

Keywords: Assistive technology, eye blink detection, eye tracking, face detection, gsm based
communication, human machine interface, image processing, machine vision, radio frequency
communication, visual patient monitoring.

v
ÖNSÖZ

Yüksek lisans eğitimim boyunca, çalıĢmalarımda bana sabırla yol gösteren
saygıdeğer hocam Yrd. Doç. Dr. Fatih BAġÇĠFTÇĠ’ye en içten saygı, sevgi ve
teĢekkürlerimi sunuyorum.
Hayatım boyunca beni maddi ve manevi olarak destekleyen aileme tüm kalbimle
teĢekkür ediyor ve her zaman yanlarında olmayı diliyorum.

Orhan ÖZYURT
KONYA-2012

vi
ĠÇĠNDEKĠLER

ÖZET .............................................................................................................................. iv
ABSTRACT ..................................................................................................................... v
ÖNSÖZ ........................................................................................................................... vi
ĠÇĠNDEKĠLER ............................................................................................................. vii
SĠMGELER VE KISALTMALAR .............................................................................. ix
1. GĠRĠġ ........................................................................................................................... 1
1.1. Tez Projesinin Önemi ............................................................................................ 1
1.2. Tez Projesinin Amacı ............................................................................................. 2
1.3. Tez Projesinin Özgün Yönü ................................................................................... 4
1.4. Tezin Organizasyonu ............................................................................................. 4
2. KAYNAK ARAġTIRMASI ....................................................................................... 6
3. MATERYAL VE YÖNTEM .................................................................................... 17
3.1. Kamera ................................................................................................................. 19
3.2. Radyo Frekans Alıcı-Verici Cihazlar .................................................................. 21
3.2.1. RFM70 Transceiver (Telsiz) ......................................................................... 21
3.3. Google Android PDA’nın Bilgisayardan Kontrol Edilmesi ................................ 24
3.3.1. Android hata ayıklama köprüsü - ADB kurulumu ve kullanımı .................. 24
3.4 GPS Donanımının Projedeki Önemi ..................................................................... 25
3.5. SPI ĠletiĢim Protokolü .......................................................................................... 26
3.6. Evrensel Seri Yol (Universal Serial Bus - USB), Evrensel Asenkron Alıcı/Verici
(Universal Asynchronous Receiver/Transmitter - UART) DönüĢtürücü ................... 27
3.7. Karakter LCD ...................................................................................................... 29
3.8. Mikrodenetleyiciler .............................................................................................. 30
3.8.1 PIC18F4550 Mikrodenetleyicisi ........................................................................ 30
3.8.2 PIC16F628A Mikrodenetleyicisi ....................................................................... 31
3.9. Bazı Görüntü ĠĢleme Teknikleri .......................................................................... 31
3.9.1. Görüntü aritmetiği ......................................................................................... 31
3.9.2. Noktasal operasyonlar ................................................................................... 33
3.9.3. Geometrik operasyonlar ................................................................................ 34
3.9.4. Haar kaskad sınıflayıcı .................................................................................. 36
3.9.5. Adaboost ....................................................................................................... 38
3.9.6. SVM (destekçi vektör makinesi) .................................................................. 38
3.9.7. Optical flow (optik akıĢ) ............................................................................... 41
3.10 GeliĢtirilen Makine Görme Yazılımı .............................................................. 42
3.10.1. Yazılım akıĢ diyagramı ............................................................................... 43
3.10.2. Yazılımın ekran görüntüleri ........................................................................ 49
3.10.3. Yazılımın ayarlar menüsü ........................................................................... 54
3.11. Tasarlanan USB - RS232 Köprü ve Verici Devresi ...................................... 56
3.12. Tasarlanan Alıcı Cihaz Devresi ..................................................................... 59
vii
3.13. OluĢturulan Sistemin Genel Yapısı ................................................................ 61
4. ARAġTIRMA SONUÇLARI VE TARTIġMA ...................................................... 62
4.1 Göz Kırpma ĠletiĢim Sisteminin Genel Yapısı ve Gelinen Nokta ........................ 62
4.2 Deneysel Sonuçlar ................................................................................................ 66
4.3 Sonuçların Diğer ÇalıĢmalarla KarĢılaĢtırılması .................................................. 76
5. SONUÇLAR VE ÖNERĠLER ................................................................................. 79
5.1 Sonuçlar ................................................................................................................ 79
5.2 Öneriler ................................................................................................................. 81
KAYNAKLAR .............................................................................................................. 85
EKLER .......................................................................................................................... 90
ÖZGEÇMĠġ ................................................................................................................ 101

viii
SĠMGELER VE KISALTMALAR

Simgeler

fps : Frame per second (saniyedeki kare sayısı)
GB : Gigabyte
MHz : Mega hertz
m : Metre
mA : Mili amper
V : Volt

Kısaltmalar

ADB : Android debug bridge (Andorid hata ayıklama köprüsü)
ALS : Amyotrophic lateral sclerosis (Motor nöron hastalığı)
ASIC : Application specific integrated circuit (Uygulamaya özel yonga)
ASK : Amplitude shift keying (Genlik kaydırma modülasyonu)
CCD : Charge coupled device (ġarj bağlantılı aygıt)
CCS : Custom computer services Ltd.
CMOS: Complementary metal oxide semiconductor
DSP : Digital signal processor (Dijital sinyal iĢler)
FPGA : Field programmmable gate array (Yerel programlanabilir kapı dizisi)
GĠ : Görüntü iĢleme
GPRS : General package radio service (Genel paket radyo servisi)
GPS : Global positioning system (Küresel konum belirleme sistemi)
GSM : Global system for mobile communication (Gezici iletiĢim için küresel sistem)
HKS : Haar kaskad sınıflayıcı
IRQ : Interrupt Request (Kesme Ġsteği)
ISM : Industrial, Scientific and Medical (Endüstriyel, Bilim ve Medikal)
LCD : Liquid crystal display (likit kristalli ekran)
OS : Operating system (iĢletim sistemi)
PDA : Personal digital assistant
PICC : Peripheral interface controller C
RAM : Random Access memory (rastgele eriĢimli bellek)
RF : Radyo frekans
ROI : Region of interest (Ġlgilenilen bölge)
SDK : Software development kit (Yazılım geliĢtirme kiti)
SMS : Short message service (Kısa mesaj servisi)
SVM : Support vector machine (Destekçi vektör makinesi)
UHF : Ultra high frequency (Ultra yüksek frekans)
USB : Universal serial bus (evrensel seri yol)

ix
1
1. GĠRĠġ

Hastane veya ev ortamında, hastaların acil veya normal hallerdeki ihtiyaçları için
istenilen kiĢilere bilgi vermek amacıyla hâlihazırda kullanılmakta olan birçok çağrı
sistemi bulunmaktadır. Bu sistemler en genel Ģekilde hastanın elindeki kumandada veya
yanındaki duvara monte edilmiĢ bir panelde yer alan butona basmasıyla tetiklenir. Bu
tetikleme tuvalet, banyo gibi yerlerde bir ipin çekilmesi Ģeklinde de yapılabilmektedir.
Tetikleme ardından hastanın oda numarası bilgisi kablolu veya kablosuz olarak ana
çağrı cihazına ve/veya hemĢireler üzerinde bulunan çağrı cihazlarına aktarılmaktadır.
Tez çalıĢmasında kullanılan bilgisayar görme teknikleri sayesinde, sadece
kameradan alınan görüntü bilgisiyle sistem tetiklenecek ve böylece hastanın göstermesi
gereken fiziksel aktivite minimuma indirgenmiĢ olacaktır. Diğer yandan hastanın kendi
vücudundan baĢka bir araca gereksinimi kalmadan çağrı iĢlemini gerçekleĢtirebilmesi
sağlanmıĢ olacaktır. Böylece hastanın el kumandasını yere düĢürmesi, yatak baĢı çağrı
paneline veya çağrı ipine eriĢememesi gibi durumların önüne geçilmiĢ olacaktır. Kaldı
ki hareket kabiliyeti minimum olan bir hastanın bu Ģekilde bile hemĢire ile iletiĢim
kurması mümkün değildir. Fakat geliĢtirilecek sistemle birlikte sadece göz kırpma
hareketleriyle hasta iletiĢim kabiliyeti kazanacaktır.
Hastaların kapalı devre bir izleme sisteminden sağlık görevlileri tarafından
izlenmesi ve acil bir durumda harekete geçmeleri de geleneksel çağrı sistemlerine göre
daha iyi bir çözüm olabilir. Fakat bu durumda insanlardan makineye el veriĢli bir
davranıĢın gösterilmesi beklenmiĢ olur. Bu problem tam olarak bilgisayar teknolojisinin
kullanılabileceği bir alandır. Böylece hastaların daha güvenli bir tedavi süreci
geçirmeleri sağlanmıĢ olacaktır.

1.1. Tez Projesinin Önemi

Tez çalıĢması, bir anlamda akıllı kameralar yardımıyla hasta gözetiminin
baĢlangıcı niteliğindedir. Görme ve analiz süreçlerini kendi içinde barındıran düĢük
maliyetli akıllı kameralar sayesinde hastaların hareketleri hızlı ve sürekli bir Ģekilde
gerçek zamanlı olarak değerlendirilebilinecek ve gerektiği zaman hasta bakıcı veya
hemĢirelerin olaya müdahale etmeleri sağlanacaktır. Böylece hastaların sürekli gözetimi
hasta mahremiyetini göz ardı etmeksizin gerçekleĢtirilmiĢ olmaktadır. Ayrıca hareket