T.C.
SELÇUK ÜNĠVERSĠTESĠ FEN BĠLĠMLERĠ ENSTĠTÜSÜ
HAREKETSĠZ HASTALAR ĠÇĠN GERÇEK ZAMANLI GÖZ KIRPMA ĠLETĠġĠM SĠSTEMĠ
TASARIMI VE UYGULAMASI Orhan ÖZYURT
YÜKSEK LĠSANS TEZĠ
Elektronik ve Bilgisayar Sistemleri Eğitimi Anabilim Dalı
Ocak-2012 KONYA Her Hakkı Saklıdır
TEZ BĠLDĠRĠMĠ
Bu tezdeki bütün bilgilerin etik davranıĢ ve akademik kurallar çerçevesinde elde edildiğini ve tez yazım kurallarına uygun olarak hazırlanan bu çalıĢmada bana ait olmayan her türlü ifade ve bilginin kaynağına eksiksiz atıf yapıldığını bildiririm.
DECLARATION PAGE
I hereby declare that all information in this document has been obtained and presented in accordance with academic rules and ethical conduct. I also declare that, as required by these rules and conduct, I have fully cited and referenced all material and results that are not original to this work.
Orhan ÖZYURT Tarih: 11.01.2012
iv ÖZET
YÜKSEK LĠSANS TEZĠ
HAREKETSĠZ HASTALAR ĠÇĠN GERÇEK ZAMANLI GÖZ KIRPMA ĠLETĠġĠM SĠSTEMĠ TASARIMI VE UYGULAMASI
Orhan ÖZYURT
Selçuk Üniversitesi Fen Bilimleri Enstitüsü
Elektronik ve Bilgisayar Sistemleri Eğitimi Anabilim Dalı DanıĢman: Yrd. Doç. Dr. Fatih BAġÇĠFTÇĠ
2012, 101 Sayfa Jüri
DanıĢman: Yrd. Doç. Dr. Fatih BAġÇĠFTÇĠ Prof. Dr. ġirzat KAHRAMANLI
Prof. Dr. Hakan IġIK
Bu tez çalıĢmasında, hareketsiz hastaların normal veya acil durumlarda, göz kırpma davranıĢlarıyla kendilerinden uzaktaki kiĢilerle iletiĢim kurmalarını sağlayacak, görüntü iĢleme tabanlı bir sistem geliĢtirilmiĢtir.
Bir kamera yardımıyla alınan hastanın ön yüz görüntüsünden, görüntü iĢleme teknikleriyle göz özellikleri çıkarılmıĢ ve bundan sonra kırpma davranıĢları yakalanmıĢtır. Bu aĢamadan sonra kısa ve uzun menzilli kablosuz iletiĢim yöntemleri kullanılarak, yakalanan davranıĢa karĢılık gelen mesajlar tanımlanan kiĢi veya kiĢilere iletilmiĢtir.
Yakalanan görüntülerdeki yüz ve göz bölgesinin tespit edilmesinde Haar sınıflayıcı (Haar classifier), göz kırpma hareketlerin algılanmasında ise dairesel Hough dönüĢümü yöntemleri kullanılmıĢtır. Bu teknikler uygulanırken intel açık kaynaklı bilgisayar görme kütüphanesi (open source computer vision library - OpenCv) aracından yararlanılmıĢtır. Mesajların iletilmesi aĢamasında kısa mesafede endüstriyel, bilimsel ve medikal (industrial, scientific and medical - ISM) bandında çalıĢan radyo frekans (radio frequency - RF) alıcı vericiler, uzun mesafede ise Google Android iĢletim sistemi yüklü, gezici iletiĢim için küresel sistem (global system for mobile communication - GSM) özellikli kiĢisel dijital yardımcı (personel digital assistant - PDA) aracılığıyla kısa mesaj servisi (short message service - SMS) yöntemi kullanılmıĢtır.
Sonuç olarak, yüzdeki göz özelliklerinin çıkarım ve takibi, göz kırpmalarının yakalanması için yapılmıĢtır. Elde edilen veriler değerlendirilerek gerekli durumlarda iletiĢim cihazları vasıtasıyla mesajlar karĢı tarafa transfer edilmiĢtir.
Anahtar Kelimeler: Görsel hasta izleme, görüntü iĢleme, göz kırpması algılama, göz takibi, gsm tabanlı iletiĢim, insan makine ara yüzü, makine görmesi, radyo frekans iletiĢim, yardımcı teknoloji, yüz bulma.
v ABSTRACT
MS THESIS
REAL TIME EYE BLINK COMMUNICATION SYSTEM DESIGN AND APPLICATION FOR IMMOBILE PATIENTS
Orhan ÖZYURT
THE GRADUATE SCHOOL OF NATURAL AND APPLIED SCIENCE OF SELÇUK UNIVERSITY
THE DEGREE OF MASTER OF SCIENCE
IN ELECTRONIC AND COMPUTER SYSTEMS EDUCATION Advisor: Asst. Prof. Dr. Fatih BAġÇĠFTÇĠ
2012, 101 Pages Jury
Advisor: Asst. Prof. Dr. Fatih BAġÇĠFTÇĠ Prof. Dr. ġirzat KAHRAMANLI
Prof. Dr. Hakan IġIK
In this study, an image processing based system developed as a task for immobile patients. Patients can communicate with people who look away from them by eye blink patterns through this project.
eye features extracted with image processing techniques from frontal facial images of patient, captured by a digital camera and then eye blink events of patient detected by system. As second stage of project, short and long range communication techniques used for transmission of messages corresponding captured eye blink patterns to determined person or persons.
Haar cascade classifier used for detecting face and eye region on captured images. About perception of movement on region of captured face features, circular Hough transform algorithm used. When performing this methods, utilized from intel open source computer vision library (OpenCv). At the stage of message transmission, in short range industrial, scientific and medical (ISM) band radio frequency (RF) receiver and transmitter used. For long range wireless transmission of messages, Google Android powered personal digital assistant (PDA) used as global system for mobile communication (GSM) module for send short message service messages (SMS) to target device.
As a result, eye features on human face extracted and tracked for capture blink patterns. Obtained data evaluated and at neccessary stuations determined messages transfered to target devices using by communication devices.
Keywords: Assistive technology, eye blink detection, eye tracking, face detection, gsm based communication, human machine interface, image processing, machine vision, radio frequency communication, visual patient monitoring.
vi ÖNSÖZ
Yüksek lisans eğitimim boyunca, çalıĢmalarımda bana sabırla yol gösteren saygıdeğer hocam Yrd. Doç. Dr. Fatih BAġÇĠFTÇĠ’ye en içten saygı, sevgi ve teĢekkürlerimi sunuyorum.
Hayatım boyunca beni maddi ve manevi olarak destekleyen aileme tüm kalbimle teĢekkür ediyor ve her zaman yanlarında olmayı diliyorum.
Orhan ÖZYURT KONYA-2012
vii ĠÇĠNDEKĠLER ÖZET ... iv ABSTRACT ... v ÖNSÖZ ... vi ĠÇĠNDEKĠLER ... vii SĠMGELER VE KISALTMALAR ... ix 1. GĠRĠġ ... 1
1.1. Tez Projesinin Önemi ... 1
1.2. Tez Projesinin Amacı ... 2
1.3. Tez Projesinin Özgün Yönü ... 4
1.4. Tezin Organizasyonu ... 4
2. KAYNAK ARAġTIRMASI ... 6
3. MATERYAL VE YÖNTEM ... 17
3.1. Kamera ... 19
3.2. Radyo Frekans Alıcı-Verici Cihazlar ... 21
3.2.1. RFM70 Transceiver (Telsiz) ... 21
3.3. Google Android PDA’nın Bilgisayardan Kontrol Edilmesi ... 24
3.3.1. Android hata ayıklama köprüsü - ADB kurulumu ve kullanımı ... 24
3.4 GPS Donanımının Projedeki Önemi ... 25
3.5. SPI ĠletiĢim Protokolü ... 26
3.6. Evrensel Seri Yol (Universal Serial Bus - USB), Evrensel Asenkron Alıcı/Verici (Universal Asynchronous Receiver/Transmitter - UART) DönüĢtürücü ... 27
3.7. Karakter LCD ... 29
3.8. Mikrodenetleyiciler ... 30
3.8.1 PIC18F4550 Mikrodenetleyicisi ... 30
3.8.2 PIC16F628A Mikrodenetleyicisi ... 31
3.9. Bazı Görüntü ĠĢleme Teknikleri ... 31
3.9.1. Görüntü aritmetiği ... 31
3.9.2. Noktasal operasyonlar ... 33
3.9.3. Geometrik operasyonlar ... 34
3.9.4. Haar kaskad sınıflayıcı ... 36
3.9.5. Adaboost ... 38
3.9.6. SVM (destekçi vektör makinesi) ... 38
3.9.7. Optical flow (optik akıĢ) ... 41
3.10 GeliĢtirilen Makine Görme Yazılımı ... 42
3.10.1. Yazılım akıĢ diyagramı ... 43
3.10.2. Yazılımın ekran görüntüleri ... 49
3.10.3. Yazılımın ayarlar menüsü ... 54
3.11. Tasarlanan USB - RS232 Köprü ve Verici Devresi ... 56
viii
3.13. OluĢturulan Sistemin Genel Yapısı ... 61
4. ARAġTIRMA SONUÇLARI VE TARTIġMA ... 62
4.1 Göz Kırpma ĠletiĢim Sisteminin Genel Yapısı ve Gelinen Nokta ... 62
4.2 Deneysel Sonuçlar ... 66
4.3 Sonuçların Diğer ÇalıĢmalarla KarĢılaĢtırılması ... 76
5. SONUÇLAR VE ÖNERĠLER ... 79 5.1 Sonuçlar ... 79 5.2 Öneriler ... 81 KAYNAKLAR ... 85 EKLER ... 90 ÖZGEÇMĠġ ... 101
ix
SĠMGELER VE KISALTMALAR
Simgeler
fps : Frame per second (saniyedeki kare sayısı) GB : Gigabyte MHz : Mega hertz m : Metre mA : Mili amper V : Volt Kısaltmalar
ADB : Android debug bridge (Andorid hata ayıklama köprüsü) ALS : Amyotrophic lateral sclerosis (Motor nöron hastalığı)
ASIC : Application specific integrated circuit (Uygulamaya özel yonga) ASK : Amplitude shift keying (Genlik kaydırma modülasyonu)
CCD : Charge coupled device (ġarj bağlantılı aygıt) CCS : Custom computer services Ltd.
CMOS: Complementary metal oxide semiconductor DSP : Digital signal processor (Dijital sinyal iĢler)
FPGA : Field programmmable gate array (Yerel programlanabilir kapı dizisi) GĠ : Görüntü iĢleme
GPRS : General package radio service (Genel paket radyo servisi) GPS : Global positioning system (Küresel konum belirleme sistemi)
GSM : Global system for mobile communication (Gezici iletiĢim için küresel sistem) HKS : Haar kaskad sınıflayıcı
IRQ : Interrupt Request (Kesme Ġsteği)
ISM : Industrial, Scientific and Medical (Endüstriyel, Bilim ve Medikal) LCD : Liquid crystal display (likit kristalli ekran)
OS : Operating system (iĢletim sistemi) PDA : Personal digital assistant
PICC : Peripheral interface controller C
RAM : Random Access memory (rastgele eriĢimli bellek) RF : Radyo frekans
ROI : Region of interest (Ġlgilenilen bölge)
SDK : Software development kit (Yazılım geliĢtirme kiti) SMS : Short message service (Kısa mesaj servisi)
SVM : Support vector machine (Destekçi vektör makinesi) UHF : Ultra high frequency (Ultra yüksek frekans)
1. GĠRĠġ
Hastane veya ev ortamında, hastaların acil veya normal hallerdeki ihtiyaçları için istenilen kiĢilere bilgi vermek amacıyla hâlihazırda kullanılmakta olan birçok çağrı sistemi bulunmaktadır. Bu sistemler en genel Ģekilde hastanın elindeki kumandada veya yanındaki duvara monte edilmiĢ bir panelde yer alan butona basmasıyla tetiklenir. Bu tetikleme tuvalet, banyo gibi yerlerde bir ipin çekilmesi Ģeklinde de yapılabilmektedir. Tetikleme ardından hastanın oda numarası bilgisi kablolu veya kablosuz olarak ana çağrı cihazına ve/veya hemĢireler üzerinde bulunan çağrı cihazlarına aktarılmaktadır.
Tez çalıĢmasında kullanılan bilgisayar görme teknikleri sayesinde, sadece kameradan alınan görüntü bilgisiyle sistem tetiklenecek ve böylece hastanın göstermesi gereken fiziksel aktivite minimuma indirgenmiĢ olacaktır. Diğer yandan hastanın kendi vücudundan baĢka bir araca gereksinimi kalmadan çağrı iĢlemini gerçekleĢtirebilmesi sağlanmıĢ olacaktır. Böylece hastanın el kumandasını yere düĢürmesi, yatak baĢı çağrı paneline veya çağrı ipine eriĢememesi gibi durumların önüne geçilmiĢ olacaktır. Kaldı ki hareket kabiliyeti minimum olan bir hastanın bu Ģekilde bile hemĢire ile iletiĢim kurması mümkün değildir. Fakat geliĢtirilecek sistemle birlikte sadece göz kırpma hareketleriyle hasta iletiĢim kabiliyeti kazanacaktır.
Hastaların kapalı devre bir izleme sisteminden sağlık görevlileri tarafından izlenmesi ve acil bir durumda harekete geçmeleri de geleneksel çağrı sistemlerine göre daha iyi bir çözüm olabilir. Fakat bu durumda insanlardan makineye el veriĢli bir davranıĢın gösterilmesi beklenmiĢ olur. Bu problem tam olarak bilgisayar teknolojisinin kullanılabileceği bir alandır. Böylece hastaların daha güvenli bir tedavi süreci geçirmeleri sağlanmıĢ olacaktır.
1.1. Tez Projesinin Önemi
Tez çalıĢması, bir anlamda akıllı kameralar yardımıyla hasta gözetiminin baĢlangıcı niteliğindedir. Görme ve analiz süreçlerini kendi içinde barındıran düĢük maliyetli akıllı kameralar sayesinde hastaların hareketleri hızlı ve sürekli bir Ģekilde gerçek zamanlı olarak değerlendirilebilinecek ve gerektiği zaman hasta bakıcı veya hemĢirelerin olaya müdahale etmeleri sağlanacaktır. Böylece hastaların sürekli gözetimi hasta mahremiyetini göz ardı etmeksizin gerçekleĢtirilmiĢ olmaktadır. Ayrıca hareket
edemeyen konuĢamayan hastaların bilgisayarlı görme teknikleri sayesinde diğer kiĢilerle uzaktan iletiĢim kurabilmeleri gerçekleĢtirilmiĢ olacaktır.
Teknolojinin geliĢim süreci düĢünüldüğünde, gelecekte akıllı kamera veya robot sistemlerinin hastaları gerçek zamanlı olarak gözetim altında tutmaları kaçınılmaz gözükmektedir. Bu alan aynı zamanda yapay zekânın uzman sistemler alanını da yakından ilgilendirmektedir. Uzman sistem algoritmaları ile donatılmıĢ, algılama aĢamasında da yine yapay zekâdan yararlanılmıĢ bir akıllı kamera sisteminin hastane genelindeki hızlı bir çalıĢma ağıyla olan iliĢkisi gelecekte var olacak bu yapının temellerini oluĢturmaktadır.
Bahsedilen iletiĢim sistemi, hareketsiz olarak yaĢamlarını sürdürmek zorunda olan insanların hayatını önemli ölçüde kolaylaĢtıracak çok yönlü bir projedir. Evde ve hastanede geniĢ kullanım alanı bulacak bu sistem, yapay zekâ, mekatronik gibi disiplinlerin katkısıyla sürekli olarak geliĢtirilebilecek bir yapının temelini teĢkil etmektedir.
1.2. Tez Projesinin Amacı
Hareket kabiliyetlerindeki zayıflık nedeniyle diğer insanlarla iletiĢim kurarken güçlük çeken kiĢilerin, göz kırpma davranıĢları vasıtasıyla, mesajlarının karĢı tarafa iletilmesini mümkün kılacak, görüntü iĢleme tabanlı olan gerçek zamanlı ve kiĢiselleĢtirilebilen bir sistemin geliĢtirilmesi bu çalıĢmanın temel amacını oluĢturmaktadır. Bunun için hastanın yanındaki bir görüntü yakalama ve iĢleme istasyonunun yanında mesajın iletileceği yerde de alıcı cihazlar kullanılarak kablosuz iletiĢim tekniklerinden yararlanılmıĢtır.
Ġnsan sağlığı, bilimsel araĢtırmaların büyük çoğunluğunun temelini teĢkil eden önemli bir konu olarak bu araĢtırmaya da yön veren asıl sebeplerin baĢındadır. Bu bağlamdaki önemli konulardan biri de hastane ortamında hastaların kaliteli bir biçimde gözetim altında tutulmalarıdır. Yatarak tedavi gören hastalara acil durumlar karĢısında en kısa sürede müdahale edilmesi hasta hayatı açısından büyük önem taĢımaktadır. Bunun için hemĢirelerin acil olaylarda hızlı bir Ģekilde hastanın durumu hakkında bilgilendirilmeleri gerekmektedir. Bu amaçla çağrı sistemleri kullanılmaktadır. Bu sistemler, hastanın veya refakatçinin hemĢireye haber verebilmesi amacıyla, kullanıcı panelleri içerir. Bu panellere sadece dokunmak suretiyle komut verilebilmektedir.
Yanında kendisine refakat edecek birisi bulunmayan ve hareketsiz olarak yatan hastalarla etkileĢim konusu, bu hastaların bulundukları durum itibariyle çok önemlidir. Zira acil durumlarda dahi kısmi olarak vücudunu kullanamayan, engelli olan veya yaĢlılık sebebiyle hareket güçlüğü yaĢayan kiĢiler, diğer insanlarla iletiĢim kurmakta güçlük çekmektedirler.
GeçmiĢte vücut hareketlerinin bilgisayar sistemleri tarafından tanımlanabilmeleri için giyilebilir donanımlar çokça kullanılmıĢtır. Günümüzde ise iĢlemci teknolojisinin ve yazılımsal imkânların geliĢmesi sayesinde, tek bir kamera yardımıyla en temel Ģekilde uygulanabileceği gibi birden çok kamerayla stereo görüĢ tekniklerinin kullanılmasıyla da vücut hareketleri bilgisayar sistemleri tarafından algılanabilmektedir. Bu geliĢme insan bilgisayar etkileĢimi, robot kontrol, sanal gerçeklik, enteraktif grafik alanlarında kendisini göstermektedir. Bu geliĢmelerin hastanın enteraktif izlenmesi noktasında ele alınması, hastalara daha güvenli ortamların oluĢturulmasını ve onların her an hasta özel yaĢamını tehdit etmeden gözetim altında tutulmalarını sağlayacaktır.
Bu projede, bir kamera ile alınan hasta görüntüsü, görüntü iĢleme teknikleriyle analiz edilmiĢ ve gereken durumlarda hastanın mesajı istenilen kiĢilere bildirilmiĢtir. Hastanın belirli göz kırpma hareketleri karĢısında sistem aktif duruma geçmektedir ve bu hareketler hastaya önceden öğretilmiĢtir. Sistem hemĢirenin çağırılması gerektiği herhangi bir durumda kullanılabilmektedir. Bunun için hastanın göz kırpma kural dizileri belirlenmiĢtir. Bu özel dizilimler hasta tarafından gerçekleĢtirildiğinde, hastanın durumu hakkında bilgiler iletilmektedir. Sistemin kiĢiselleĢebilir esnek bir yapıda olması geniĢ bir kitleye fonksiyonel Ģekilde hitap edebilmesini sağlayacaktır. HemĢire gerekirse sisteme hastanın icra edeceği kırpma sıralamasını girebilmektedir ve böylece sistem hastaya göre Ģekillendirilebilir.
ĠletiĢim sistemi sayesinde, sürekli olarak hastanın yanı baĢında olmuĢçasına, hastayla bir etkileĢim süreci oluĢturulmuĢtur. Bu amaçla kablosuz iletiĢim protokollerden faydalanılmıĢtır. Alıcı tarafında kullanılan kablosuz cihazlar hareketsiz kiĢinin gönderdiği mesajı hedef kiĢiye ulaĢtırmaktadır. Ayrıca hastanın durumunun elvermeyeceği veya hasta için zahmetli olacak bir algılayıcı yerleĢtirme durumu yoktur. Bu da kamera gibi bir giriĢ aygıtı kullanmanın avantajlı yönüdür. Çünkü kolay bir Ģekilde komutlar değerlendirme sürecinin olacağı bilgi sistemine iletilmektedir.
1.3. Tez Projesinin Özgün Yönü
Ulusal tez merkezinde “eye blink - göz kırpma”, “göz izleme - eye tracking”, “eye Mouse – göz iĢaretçi”, “eye cursor – göz sürgü”, “eye gaze – bakıĢ noktası”, “eye disable – göz engelli” anahtar kelimeleriyle yapılan taramada sadece sağlık bilimleriyle (çoğunlukla nöroloji konu baĢlıklı) ilgili çalıĢmalara ulaĢılabilmektedir veya tez çalıĢması bulunamamaktadır. Dolayısı ile göz kırpma iletiĢim sistemi ile ilgili olarak daha önce ülkemizde araĢtırma yapılmamıĢtır veya çok yeni bir araĢtırma konusudur.
Bu çalıĢmada kullanılan yöntemlerde, konuyla ilgili yapılan yabancı kökenli araĢtırmalara yönelik olarak özgün noktalar bulunmaktadır. Bunlardan ilki kullanılan görüntü iĢleme algoritmasıdır. Görüntü üzerinde istenen özelliklerin çıkarımı aĢamasında kullanılan yöntem Haar wavelet (haar dalgacık) matematik tekniğinden yararlanılarak görüntü iĢlemede nesne tanıma problemlerinde kullanılan, ismini kendisini ortaya çıkaran kiĢiden alan Haar sınıflayıcı yöntemdir. Çıkarılan nesneler üzerinde Hough dönüĢümü kullanılarak göz kırpma özelliği belirlenmiĢtir.
Literatürde bulunan çalıĢmalardan farklı olarak, bu proje kablosuz iletiĢim teknolojisini de kullanmıĢtır. Bunun için ücretsiz iletiĢim imkanı sunan ve kapalı alanda 30 m, açık alanda 100 m mesafede kullanılabilen endüstriyel, bilimsel medikal (Industrial, Scientific and Medical - ISM) bandında RF alıcı – vericiler kullanılmıĢtır. Ayrıca, daha uzun mesafelerde, duruma göre daha kullanıĢlı olabilecek SMS yöntemi de kullanılmıĢtır.
1.4. Tezin Organizasyonu
Bu tez çalıĢması 5 bölümden oluĢmaktadır. Her bir bölüme bakılırsa;
Birinci bölümde, incelenen problemin ne olduğu tanımlanarak mevcut sistemlerle karĢılaĢtırılmıĢtır. Bu problemin çözümünde görüntü iĢleme tekniklerinin getirileri belirlenmiĢtir. Hastalara tanınacak iletiĢim olanakları sıralanmıĢ ve literatürde bulunan çalıĢmalara göre hangi özgün noktaları barındırdığına değinilmiĢtir.
Ġkinci bölümde, tez çalıĢmasında konu edinilen problemin çözümüne iliĢkin olan önceki çalıĢmalar ele alınmıĢtır. Bu çalıĢmaların amaçlarının ne olduğu, çalıĢmalarda izlenen yöntemler ve alınan sonuçlar belirtilmiĢtir.
Üçüncü bölümde, araĢtırmanın amacına ulaĢabilmek için kullanılan materyaller açıklanarak kullanılan yöntemler belirtilmiĢtir. Bunlar arasında kullanılan kaynak resim
türleri, geliĢtirilen programın akıĢ diyagramı, kullanılan görüntü iĢleme yaklaĢımları vardır.
Dördüncü bölümde, tez çalıĢması sırasında elde edilen sonuçlar açıklanmıĢtır. Varılan sonuçların literatürde bulunan diğer çalıĢmalarla karĢılaĢtırılması yapılmıĢtır. Ortaya çıkan farkların muhtemel sebepleri belirtilmiĢtir.
BeĢinci bölümde, elde edilen sonuçlar özet olarak verilmiĢ ve ileride yapılacak araĢtırmalara temel teĢkil edecek bilgiler verilmeye çalıĢılmıĢtır.
2. KAYNAK ARAġTIRMASI
Ağır derece engelli hastaların bilgisayar eriĢimi veya insan makine ara yüzü adı altında uzun yıllardan beri birçok çalıĢma gerçekleĢtirilmiĢtir. Bu çalıĢmalar zaman içinde, elektrotlar yardımıyla vücuttaki elektriksel sinyallerin alınarak iĢlenmesi aĢamasından kameralar yardımıyla bu iĢlemin gerçekleĢtirilmesine doğru bir yol izlemiĢtir. Kamera yardımıyla kafa, göz bebeği ve göz kırpması parametrelerinin okunması sırasında, kask veya gözlük benzeri kafa ile birlikte hareket eden platforma yerleĢtirilen görüntü alma aygıtları kullanılmıĢtır. Son zamanlarda yapılan çalıĢmalarda ise genelde uzaktaki bir kameradan alınan görüntüler iĢlenerek daha kullanıĢlı bir yapı geliĢtirilmiĢtir. Bu yeni yapı beraberinde, hareketli kafanın gözün tanınması sırasında ortaya çıkan fazladan iĢlemlerin yapılmasını gerektirmiĢtir. Dolayısıyla artık göz, yakalanan karelerin aynı kısmında olmayacak sürekli değiĢen bir konuma sahip olabilecektir.
Görüntü iĢleme teknikleriyle ilgili akademik yayınlar, çok eskilerden beri araĢtırmacıların ilgi odağı olmuĢtur. Günümüzde de güvenlik, sağlık askeri gibi birçok alanda gittikçe yaygınlaĢan bir uygulama alanı bulmaktadır. Görüntü iĢleme tekniklerinin, engelli hastaların iletiĢim imkânlarını geliĢtirmeye yönelik kullanılmasını konu alan birçok çalıĢma gerçekleĢtirilmiĢtir.
(Colombo ve ark., 1995) Ġnsan makine etkileĢimine geliĢmiĢ bir yaklaĢımla bakılmıĢtır. Bu yaklaĢımda kullanıcı hareketlerini çevirmek amacıyla bilgisayar görme teknikleri kullanılmıĢtır. YaklaĢımın temel fikrini görsel konumlandırma için kafa hareketleri ve içerik seçme için de göz bebeği pozisyonlarının belirlenmesi amaçlarının birleĢtirilerek grafiksel insan bilgisayar ara yüzünde kullanmak oluĢturmaktadır.
(Betke, 2002) “Camera Mouse” sistemi ağır engelli olan hastalara için bilgisayar eriĢimi sağlamak amacıyla geliĢtirilmiĢtir. Sistem bir video kamerayla bilgisayar kullanıcısının hareketlerini takip etmekte ve bunları ekrandaki fare iĢaretçisinin hareketleri olacak Ģekilde çevirmektedir. ÇalıĢmanın sonucunda engelli kullanıcıların mesaj oluĢturması ve internette gezinmeleri sağlanmıĢtır.
(Corno ve ark., 2002) Ġnsanların özel ihtiyaçlarına yardımda bulunmak toplumun önem verdiği bir konudur ve teknolojinin geliĢmesine karĢılık sürekli yeni uygulamalar bu konuyla ilgilenmektedir. Bu çalıĢmada göz takip metoduyla en önemli özellikleri basitlik ve satın alınabilirlik olan kullanıcının bakıĢlarının bilgisayar girdisi olarak kullanılıp ekranın belli noktalarının seçilmesini sağlayan bir sistem tanımlanmıĢtır.
(Hansen ve ark., 2002) ÇalıĢmada günlük yazma iĢinde kullanılabilecek, kullanıĢlı bir göz takip sistemi web kamerasıyla gerçekleĢtirilmiĢtir. Ekranda yazı yazmada doğal bir dilin gereksiz olduğu savunularak bakıĢ takibinde düĢük bir çözünürlüğün yeterli olacağı savunulmuĢtur. Buna bağlı olarak kullanılacak parçaların maliyetleri de düĢmüĢtür. DüĢük bir görüntü kalitesi dolayısıyla gözü takip etmek için güçlü tekniklerin kullanılması gerekmiĢtir. Mean-Shift renk takibi ve aktif görünüm modeli gerçek zamanlı takip amacıyla kullanılan araçlardır.
(Wei-Gang ve ark., 2007) ÇalıĢma otomatik bir göz kırpma çevirmen sistemini ağır engelli insanlar için önermektedir. Öncelikle SVM uygulanmıĢ ve ardından kalıp karĢılaĢtırma algoritmasıyla göz tespit dilmiĢ ve ardından göz kırpması takip edilmiĢtir. Ardından göz kırpma davranıĢı ikilik sisteme çevrilerek kodlanmıĢtır. Ardından göz kırpma sıralaması insan makine arayüzü için bir komuta çevrilmiĢtir.
(Ünlütürk ve Atay, 2010) HemĢire çağrı sistemlerinde bir çok geliĢme olduğunu fakat bu sistemler arasında bir entegrasyon sorunu olduğunu belirtmektedir. Bir LAN ortamında tüm bu cihazları bir araya getirecek bir SEE adında yazılım uygulaması gösterilmiĢtir. SEE genel olarak dört çeĢit uygulamayı desteklemektedir. Bunlar arasında olay yayınlama adlı uygulamalar cihazlardan olayları LAN ağına yayınlar. Diğer uygulamalar da abone kaynak sağlayıcı ve tüketici uygulamalarıdır. Böylece cihazların sağlıklı Ģekilde haberleĢmeleri için yeni bi platform oluĢturulmuĢtur.
(Datong ve ark., 2007) Bilgisayar görmesi ve makine öğrenmesinin öncelikli bir klinik göreve uygulanması olan çalıĢma yaĢlı kiĢilerin güvenliğinin geliĢtirilmesidir. Kamera network ve otomatik kaçıĢ algılama algoritması ile desteklenmiĢ akıllı bir görüntüleme sistemi amaçlanmıĢtır. Akıllı görüntüleme sistemi 23 kamerayı takip ederek kaçma durumunu tespit ettiğinde hasta bakıcılara alarm vermektedir. Denemeler sırasında sistemin çoklu kamera avantajı sayesinde kaçıĢ giriĢimlerini %100 baĢarıyla bildirdiği görülmüĢtür.
(Nakajima, 2009) Halen aktif olan kablosuz teknolojiler ve giyilebilen bio-sensörler sağlık hizmetleri uygulamaları açısından değerlendirilmiĢtir. Birçok durumda kablosuz iletiĢim sensörler ve monitör arasında noktadan noktaya gerçekleĢmektedir. Bu çalıĢmada kablosuz bir ağ sağlık hizmetleri uygulamaları için önerilmiĢtir. Bu ağ hastanede birçok kullanıĢlı fonksiyon sunmaktadır. Bu fonksiyonlar arasında kablosuz hemĢire çağırma ve devamlı hareket ve biyolojik bilgi aktarımı vardır. Bu amaçla saat tipi bir sıcaklık ve nabız sensörü kullanılmıĢtır.
(Knight ve ark., 2008) El hareketi tanıma etkileĢimli teknoloji sandalye alarmı, hastaların sandalye ve tekerlekli sandalyeden tutunmaya yönelik el hareketlerinin algılanmasıyla düĢmelerini önlemek için geliĢtirilmiĢtir. Hasta düĢmeleri hastanedeki hasta yaralanmalarının büyük sebeplerinden biridir. Kullanılan yatak çıkıĢ alarm sistemlerinin eksiklerini kapatmayı amaçlayan sistem sunulmuĢtur.
(Yamada ve Fukuda, 1986) Hastalar için göz hareketleriyle kontrol edilen “göz kelime iĢlemcisi” çalıĢmasını konu almaktadır. Dakikada sekiz kelime giriĢine ve hemĢire çağırma fonksiyonuna sahip olan sistemin kurulumu beĢ dakika almaktadır ve hemĢirelerce kullanım kolaylığı onaylanmıĢtır.
(Du ve Li, 2000) Sanal gerçeklik ve interaktif grafik alanında insan ve bilgisayar arasındaki iletiĢimin önemi gittikçe artmaktadır. Bu çalıĢmada gerçek zamanlı bir insan bilgisayar etkileĢimi için el iĢareti tanıma ve el izleme teknikleri açıklanmaktadır. Tek bir kamerayla el hareketinin tanındığına vurgu yapılmıĢtır.
(Sen ve ark., 2005) Daha önce yazılım olarak geliĢtirilmiĢ el hareketi tanımlamasının donanım tanımlama dili (HDL) kullanılarak tekrar Ģekillendirilebilir mimariye uygulamasını konu almaktadır. XILINX Virtex II FPGA kullanılarak sistem gerçeklenmiĢtir.
(Je ve ark., 2007) El hareketlerinin tanımlanmasıyla robot orkestranın veya bilgisayar tabanlı müzik çalma sisteminin kontrol edilmesi konu alınmıĢtır. ÇalıĢmanın gerçeklenebilmesi için stereo görüĢlü kamera kullanılmıĢtır. Hareketin yönünü ve hareketin nerede gerçekleĢtiğini tanımlayan iki özellik el hareketlerinden analiz edilmiĢtir.
(Verma ve Dev, 2009) Sonlu durum ve bulanık mantık tabanlı bir el hareketi tanımlama sistemi önerilmiĢtir. Ġki boyutlu kullanıcı eli kenar bulma ve vektör çıkarımı yöntemleriyle bulunmuĢtur. Bu veriler elin durumunu ve pozisyonunu elde etmek amacıyla kullanılmıĢtır.
(Göknar, 2005) Ġnsan ve bilgisayar arası etkileĢimde el iĢareti tanıma yöntemi hızlı ve kolay bir yoldur. GeçmiĢte el iĢareti tanıma yöntemi özel eldiven ve donanımların giyilmesi gerektiğinden kullanıĢsız bir yöntemdi. Günümüzde bir bilgisayar ve kamera yardımıyla artık bu iĢlemler yerine getirilebilinmektedir. Bu çalıĢmada bir bilgisayar ve ucuz bir kamera yardımıyla el iĢaretleri tanıma uygulaması yapılmıĢtır.
(Keskin, 2006) Bu çalıĢmada üç boyutlu el iĢareti tanımaları stereo görme teknikleri kullanılarak gerçekleĢtirilmiĢtir. Sistem hareketleri iletiĢimsel ve komutsal olarak iki Ģekilde algılayabilmektedir. Ayrıca yeni hareketler de sisteme öğretilebilmektedir. Kamera kalibrasyon ve hareket eğitim araçları proje içinde gerçeklenmiĢtir.
(Biradal, 2007) kullanılan joyistik fare gibi aygıtlar yerine doğal olan el iĢaretleri daha verimli bir etkileĢimi mümkün kılmaktadır. Bu çalıĢmanın genel konusu gerçek zamanlı, düĢük maliyetli, görüntü tabanlı bir el hareketi tanımlama sistemi gerçekleĢtirmektir. GerçekleĢtirilen etkileĢim sisteminin tek kullanıcılı robot kontrolü ve insan bilgisayar etkileĢimi amaçlı kullanılacağı öngörülmüĢtür.
(Krolak ve Strumillo, 2008) Son yıllarda insan bilgisayar etkileĢim sistemlerinde makinelerle daha doğal yollardan etkileĢimin sağlanmasına yönelik teknikler ilginin arttığı araĢtırma konuları olmuĢtur. Bu tip sistemler yaĢlı ve engelli insanlar için önem arz etmektedir. ÇalıĢmada görme tabanlı bir sistem aracılığıyla uzun istekli göz kırpma hareketlerinin tespit edilmesi ve insan makine etkileĢimi için kullanılması tanımlanmıĢtır.
(Su ve ark., 2008) ÇalıĢmada ağır özürlü olan insanların, göz kırpma hareketlerinin çevrilmesi sayesinde bilgisayar kullanabilmesi ve diğer insanlarla iletiĢim kurabilmesi için geliĢtirilmiĢ görme tabanlı bir sistem açıklanmıĢtır. Bu amaçla bir web kamera ve bilgisayar kullanılmıĢtır.
(Ġnce ve Yang, 2009) GeliĢtirilen sistem on yıllardan beri teknolojik olarak elveriĢli olan bakıĢ takibi uygulamasını yapmaktadır. Fakat hâlihazırda kullanılan sistemler pahalıdır. ÇalıĢmanın amaçlarından biri de bu maliyetlerin düĢürülme yöntemlerinin araĢtırılmasıdır. Göz bebeğinin tespiti için kesin ve hızlı bir algoritma öne sürülmüĢtür. Tanıtılan algoritma farksal geometri üzerine kurulmuĢtur.
(Burke ve ark., 2001) EĢikleme, istatiksel analiz gibi özel matematiksel fonksiyonlar bu çalıĢmada bilgisayar tarafından yakalanan resim karelerinin karĢılaĢtırılması sırasında kullanılmıĢtır. Böylece göz durumundaki değiĢmeler belirlenmiĢ ve bunlar göz kırpmasını tespit etmek için kullanılmıĢtır. Bir mantıksal seçim kuralı amaçlı kırpmaları tanımlar ve onları bir aygıtı kullanmak üzere anlamlandırır.
(Akram ve ark., 2007) Bu çalıĢma geliĢmiĢ bir bilgisayar görmesi tabanlı stratejiyi tanıtmaktadır. Bu stratejinin kullanım alanına kullanıcının yüzündeki niteliğin ucuz bir usb kamerayla alınması ve takip edilen niteliğin iĢaretçi hareketine çevrilmesi
örnek olarak verilebilir. Bu çalıĢmanın getirdiği kolaylıklara bakılırsa; sınırlı fiziksel hareket ile ekranın tümünde iĢaretçi konumlandırması ve kullanıcıya göre kiĢiselleĢtirilebilen arayüz programı sıralanabilir.
(Ayudhya ve Srinark, 2009) Göz kırpma dizilerinin ÇeĢitli insan davranıĢlarını iĢaret ettiği belirtilmiĢtir. Görüntü iĢleme tabanlı bir yöntemle göz kırpma davranıĢı zamanlama diyagramına çevrilmiĢtir. Haar cascade sınıflayıcı ve camshift yöntemleriyle yüz bölgesi takip edilmiĢ ve yüzün eksen bilgisi çıkarılmıĢtır. Eksen bilgisi ve gözler arasındaki iliĢkiyi temel alan geliĢtirilmiĢ haar cascade sınıflayıcı dizisi ile gözlerin konumu belirlenmiĢtir. Gözkapağı durum tespit değeri (eyelid state detection value – ESD value) Ģeklinde adlandırılan yeni bir algoritma geliĢtirilmiĢtir. ESD değeri hesaplandıktan sonra göz kapağının açık ve kapalı durumunu incelemek amacıyla kullanılmıĢtır. OluĢturulan zamana bağlı grafik insan gözünün kısa veya uzun olan göz kırpmalarını göstermektedir.
(Grauman ve ark., 2001) Ġkilik anahtarı tetikleme ve seçme komutu verme iĢlerini yapan iki adet video tabanlı insan makine ara yüz aracı ortaya konmuĢtur. BLINKLINK ilk olanı, otomatik olarak göz kırpmalarını yakalıyor ve doğru bir Ģekilde sürelerini ölçüyor. Sistem ağır derece engelli insanların bilgisayara eriĢebilmeleri için alternatif bir yol olması adına tasarlanmıĢtır. Ġstemli uzun kırpmalar fare tıklama gerçekleĢtirmiĢtir ve istemsiz kısa kırpmalar göz ardı edilmiĢtir. Sistem göz kırpma dizileri sayesinde iletiĢim imkânı sunmaktadır. Uzun ve kısa göz kırpma davranıĢları iĢaretsel mesajlara dönüĢtürülmüĢtür. Ġkinci araç EYEBROECLICKER kullanıcı kaĢını kaldırdığı zaman fare tıklaması oluĢturmaktadır. Ġki sistemde kendilerini baĢlatabilmektedir. Kareler boyunca gözü takip edip hataları düzeltmektedirler. Özel bir ıĢıklandırma ihtiyacı duyulmamaktadır. Sistemler etkileĢimsel oyunlarla ve heceleme programıyla test edilmiĢtir. Genel tespit doğruluğu olarak BLINKLINK %95.6 ve EYEBROWCLICKER %89 ortalamayla çalıĢmaktadır.
(Divjak ve Bischof, 2008) ÇalıĢma gerçek zamanlı uzaktan göz kırpma parametrelerinin algılanması için bir yaklaĢım sunmaktadır. Ġlk olarak geliĢtirilmiĢ sınıflayıcı kombinasyonu ve LucasKanade izleme yöntemi kullanılarak yüz ve gözün hareketi izlenmiĢtir. Ardından detaylandırılan göz hareketi normal kayma olarak adlandırılmıĢtır. Son olarak ayrık sonlu durum makinası kullanılarak göz kırpması tespit edilmiĢtir. Önerilen yaklaĢım bir dizi kısa video bölümünde değerlendirilmiĢtir. Sonuçta iĢ yerindeki sağlık bozucu etkenlerin engellenmesinde kullanılmak üzere umut verici bir göz kırpma kabiliyeti gözlenmiĢtir.
(Chau ve Betke, 2005) Ağır derece engelli insanlar tarafından kullanılması için bir insan makine ara yüzü sunulmuĢtur. Amyotrophic Lateral Sclerosis (Motor nöron hastalığı - ALS) gibi hastalıkları olan insanlar gözleri dıĢında vücutlarının diğer hiçbir parçasını kontrol veya hareket ettirememektedir. Sunulan sistem insanların göz kırpma sıralamalarını tespit edip bunların sürelerini ölçerek bilgisayar sisteminde fare tıklaması Ģeklinde sonuçlanacak bir girdi üretmektedir. Sistem ilk birkaç saniyedeki istemsiz göz kırpmalarından gözlerin yerini tespit etmektedir ev ardından çevrimiçi bir Ģablonla gözü takip etmektedir. Eğer kullanıcıda ani bir derinlik değiĢimi veya baĢ hareketi olursa sistem yeniden baĢlamaktadır. Sistemin çalıĢması için önceden kaydedilmiĢ kalıplara veya özel ıĢıklandırmaya ihtiyaç yoktur. Sistem ucuz USB kameralarla saniyede 30 kare oranında çalıĢmaktadır. DeğiĢik ıĢık ve ortamlar gibi parametreler, geniĢ Ģekilde yapılan deneylere sistemin doğruluğuna ve istemli sitemsiz göz kırpmalarının teĢhisinde artıĢlara öncülük etmiĢtir. Sekiz kiĢi üzerinde yapılan deneylerde sistemin genel tespit doğruluk yüzdesi %95.3 olmuĢtur.
(Puma, 2007) Doktora tezi çalıĢmasında gerçek zamanlı eller serbest iletiĢim sistemi sunulmuĢtur. Sistem bilgisayar ekranındaki imlecin kontrolü için iki sinyali girdi olarak kullanabilmektedir. Bunlar kiĢinin bakıĢ yönü ve kafa hareketleridir. Ġnovatif bir algoritmanın geliĢtirilmiĢ olması bakıĢ yönünün belirlenmesinde verimli ve doğru bir sonuç elde edilmesini sağlamıĢtır. Bu algoritma göz ve kafa pozisyonlarını birleĢtirerek bakıĢ çizgisinin bulunmasını sağlayan gerçek zamanlı bir yaklaĢımın sonucudur. Göz pozisyonu bir gözbebeği yansıma cihazı kullanılarak, kafa hareketleri de manyetik bir izleme sistemiyle takip edilmiĢtir.
(Heishman, 2007) Özel insan makine etkileĢim ortamlarında göz çevresinin biyometrik özelliklerinin çıkarımı ve analizi için etkili ve güvenilir bilgisayar görme teknikleri geliĢtirilmiĢtir. ÇalıĢma yorgunluk izleme sistemi, sürücü uyarı sistemi, insan makine ara yüz sistemi gibi alanlarda kullanılabilecek kaynak bilgileri barındırmaktadır. (Fasel, 2006) Bu tez çalıĢması, objelerin sıkıĢtırılmamıĢ gerçek zamanlı resimlerinin yerlerinin belirlenmesi, tanınması ve küçük bir yönlendirmeyle bunu öğrenmesi görevinin iĢlemsel bir araĢtırmasıdır. Birkaç gerçek dünya görme probleminin analitik modellerinin formüle edilmesiyle ilgilenen olasılıklı ve üretken bir bakıĢ açısı izlenmiĢtir. Eğitim resimlerinin bölütlemesi bilinmediği zaman, ideal anlam çıkarımı ve maksimum benzerlik öğrenmesi için bir algoritma geliĢtirilmiĢtir.
(Xie, 1994) göz özelliklerinin çıkarımı ve takibi bu doktora tezinin iki temel amacını oluĢturmaktadır. Önerilen sistem geleneksel göz hareketi ölçme sistemlerinden farklıdır ve pahalı olmayan kiĢisel bilgisayarlarla gerçekleĢtirilebilir. GeliĢtirilen sistemin öne çıkan özellikleri arasında ucuzluk, yüksek doğruluk oranı, otomatik iĢlem ve acısız iĢlem bulunmaktadır. KöĢeleri belirleme probleminin bir sonuç fonksiyonuna küçültülmesi Ģeklinde yeni bir köĢe bulma algoritması geliĢtirilmiĢtir. Bu tez çalıĢmasında bir dizi resimde verimli olarak çalıĢan bir gerçek zamanlı göz takip algoritması geliĢtirilmiĢtir. Göz özellilerinin tekrarlı çıkarımı için ayrık Kalman filtresi kullanılmıĢtır. Küçük iĢlem zamanı algoritmanın gerçek zamanlı kullanımına olanak sağlamıĢtır. Göz kırpması da göz önüne alınmıĢtır ve basamaklı izleme tasarımıyla tespit edilmiĢtir.
(Deng, 2006) Bu doktora tezinin esas amacı dinamik doğal ve kiĢilerin duygusal konuĢmaları sırasındaki yüz hareketlerinin yakalandığı bir veri güdümlü yüz animasyon sentezi geliĢtirmektir. Çözüm üç boyutlu yüz hareketlerinin yakalanan bilgilerden sentezlenmesi Ģeklinde ele alınmıĢtır. Bu çalıĢma gerçekçi konuĢan yüz sentezlemedeki üç aĢamaya değinilmiĢtir. Bunlar gerçekçi göz hareketi sentezi, doğal kafa hareketi sentezi ve etkileyici konuĢma animasyonu sentezidir. Göz hareket ve kırpmalarının muhtemel bağlantıları göz önüne alarak çizim tabanlı bir yaklaĢımla aynı anda sentezlenmesi gerçekleĢtirilmiĢtir. Sentezlenen sonuçları yakalanan göz hareketinden ayırt etmenin zor olduğu görülmüĢtür.
(Chandrasekaran, 2010) Yüksek lisans tezinde internet ve mobil iletiĢim teknolojilerinin hangi noktaya geldiğinden bahsedilmiĢ ve bu noktada mobil telefonlar aracılığıyla yaĢamsal bilgilerin ölçülüp karĢı tarafa aktarılmasıyla elde edilebilecek avantajlara vurgu yapılmıĢtır.
(Zhang, 2008) Yüksek lisans tez çalıĢmasında üç teknik standart fare giriĢ birimiyle karĢılaĢtırılmıĢtır. Eye+spacebar tekniği göz ile iĢaretleme ve boĢluk tuĢuyla seçme iĢini görmektedir. Ġki göz yazma tekniği ve tespit algoritması ikinci olarak verilmiĢtir. Kelime tahminine benzer Ģekilde, harf tahmini sıradaki harfleri tahmin edip onları ekran klavyesinde vurgulamaktadır. Harf tahmini kelime tahmini kadar iyi ve bazı durumlarda daha etkilidir. Algoritmanın güzel çalıĢtığı gözlenmiĢtir fakat bunun önceki harflerin doğruluğuna bağlı olduğu vurgulanmıĢtır.
(Shic, 2008) Göz takibi teknolojisinin son yüz yılda önemli ölçüde geliĢtiği fakat göz takip analizinin hala baĢlangıç düzeyinde olduğu vurgulanmıĢtır. Doktora tezi çalıĢması bu analizin ilerletilmesi aĢamasında hesaplama teknikleri ve yöntemler
hakkında bilgiler vermektedir. Belirtilen yöntemlerin mevcut uygulamalardaki açıkları kapatacağı ve göz hareketlerine farklı bir soluk getireceği söylenmiĢtir.
(Louisa, 2005) Günün dünyasında insanların bilgi dünyasına parmağını oynatarak eriĢebildiği belirtilmektedir. Evrensel ve kullanıcı dostu tasarımlar sayesinde duyma, görme ve/veya hareket bozukluğu olan insanların bile bilgisayara eriĢmesinin olağan hale geldiği belirtilmiĢtir. Fakat bu geliĢmenin klinik ortamlarında tamamen uygulanamaması nedeniyle birden çok fiziksel engeli olan insanların bilgisayara ulaĢma ve öğrenim açısından azalan fırsatlara sahip olduğu görülmektedir. Bu kapsamda dört öğrencinin klavyesiz eriĢim seçenekleri kullanılarak bilgisayara eriĢtiği farklı deneyler yapılmıĢtır.
(Soundari ve ark., 2011) EriĢilebilirlik ile ilgili konularda insanlarla teknoloji arasındaki mesafe ortadan kaldırılması veya azaltılması gerektiği belirtilmiĢtir. Fakat ağır engelli kiĢiler için hala üstesinden gelinmesi gereken birçok zorluğun bulunduğu belirtilmiĢtir. Bu çalıĢmada else serbest görevlerinin tamamlanmasında göz takibi engeller için değerli bir destek olarak sunulmuĢtur. Ayrıca klavye ve fare tabanlı geleneksel uygulamalarda göz tabanlı ara yüzlerin etkileĢimi artırmak için sahip olduğu potansiyel vurgulanmıĢtır. Göz hareketlerine göre hareket eden ve göz kırpmalarıyla bazı olayların tetiklenebildiği bir robot geliĢtirilmiĢtir.
(Kurylyak ve ark., 2011) Göz kırpmanın uykusuzluğun önemli bir göstergesi olduğu belirtilmiĢtir. Uykusuzluk analizi veya göz kırpma tespitiyle ilgili mevcut sistemler, genellikle gözlük çerçevesinde veya özel bir kaskta yerleĢtirilmiĢ kameraya ihtiyaç duymaktadır ki bunun kullanıĢsız ve sonuca etki eden bir yaklaĢım olduğu belirtilmiĢtir. Bu çalıĢmada kızıl ötesi kamera tabanlı temassız sistem insan yorgunluğunu değerlendirmek için önerilmiĢtir. Kızıl ötesi ıĢık anahtarlaması göz bebğinin dolayısı ile göz kırpmasının her bir karede tespit edilmesini sağlamıĢtır. Olması muhtemel baĢ hareketleri için aktif pan-tilt ünitesi kullanılmıĢtır. Algoritmanın dikkat çekici özelliği istemli göz kırpmaları istemsiz olanlardan ayırt edebilmesidir.
(Kim ve ark., 2011) Bu çalıĢma, bir uzaktan kamera kullanılarak gerçekleĢtirilmiĢ objektif görsel yorgunluk ölçümü sistemi tanıtmaktadır. Yakalanan görüntüde, sırasıyla göz ve göz bebeği görüntüleri görüntü iĢleme teknikleriyle tespit edilmiĢtir. Göz bebeği bölgesi dikkate alınarak büyüklük, konaklama hızı, kırpma sıklığı ve göz kapalılık zamanı gibi bilgilerin bulunabilineceği belirtilmiĢtir. Bu noktalara özen gösterilmesinin altında sıklığı artmıĢ göz kırpmalarının ve yavaĢ göz bebeği hareketlerinin görsel yorgunluğun arttığını belirten parametreler olduğu ve
geliĢtirilen sistemin de görsel yorgunluğu ölçtüğü belirtilmiĢtir. Ayrıca herhangi bir cihaz giymeye gerek olmadığı ve rahatsızlığın en aza indirildiği söylemiĢtir. Ayrıca kırpma tespit doğruluğu %98.8 ve göz bebeği konum tespit hatasının %1.9 olduğu dile getirilmiĢtir.
(Kumar ve ark., 2010) Bu araĢtırma çalıĢmasında, fare ve klavye kullanmada fiziksel engelleri olanlar için güçlü bir yardımcı insan makine etkileĢim teknolojisi makine görme teknikleri kullanılarak geliĢtirilmiĢtir. ÇalıĢmanın ana konusu bir video kamera yardımıyla kafa hareketlerinden pixel koordinat çıkarımı yaparak bunu ekrana fare imleci hareketi olarak yansıtmaktır. Ġnteraktif seyrek bir optik akıĢ algoritması web kamerayla yakalanan sıralı yüz resimlerin arasındaki açık hareketi hesaplamak için kullanılmıĢtır. Kareler boyunca yüz ve gözlerin tespiti için Adaboost tabanlı basamaklı Haar sınıflayıcı kullanılmıĢtır. Eğimli yüz resimleriyle veri kümelerinin eğitilmesine rağmen tanımlanamayan eğimli yüzlerin oluĢturduğu dezavantajlar dikkatlice incelenmiĢtir. Sağ ve sol göz kırpma davranıĢı fare tıklamasını kontrol etmek için kullanılmıĢtır.
(Septanto ve ark., 2009) Bu çalıĢma bilgisayar faresi benzeri bir cihaz sunmaktadır. Bu cihaz göz hareketleri ve istemli göz kırpmaları tarafından kontrol edilmektedir. Cihazın giriĢinde tek kanallı electrooculogram (EOG) sinyali kullanılmıĢtır. Bir çift elektrot sağ göz altı ve sol göz üstü olarak yerleĢtirilmiĢ ve zaman domeni sinyal analizi yapılmıĢtır.
(Song ve Ozawa, 1994) Son yıllarda; görüntü iĢleme ile kiĢisel kimlik saptama (bilgi toplumuna yapılan yüksek değerli bir hizmet ), kiĢisel referans veya doğrulama için önemli bir tekniktir. Fakat bilgisayar tarafından görüntü iĢleme ile bir kiĢiyi tanımlamak zordur çünkü insan yüzü değiĢkendir. Bunun zor olmasına rağmen; yüz görüntülerinden olan kiĢisel kimlik saptama bilgisayar sisteminde ilgi çekici bir konudur çünkü bu geniĢ bir uygulamadır. Bu nedenle; doğal olarak alınan bir dizi fotoğrafik görüntülerden kiĢisel kimlik tanımlama için bir metot önerebiliriz. Bu metot; yüz görüntüsünden otomatik olarak oluĢturulan belirgin özelliklerin karĢılaĢtırılması Ģeklindedir. Bu çalıĢmada; insan arayüzü yaklaĢımının gerçekleĢtirilmesi için, ana stres, normal durumda ana yük; alınan bir dizi fotoğrafik görüntüler kullanılarak belirgin özelliklerin otomatik olarak çıkarılmasına düĢmektedir. Ġlk baĢta; sıralı görüntülerden, göz kırpmayı tespit ederek göz koordinatları çıkarılır. Bu koordinatlara dayanarak, tam bir yüz açıklaması tanımlanır. Sonuç olarak; bu mozaik kimlik saptamaları için
kullanılmak üzere o yüze uygulanır. Deneysel sonuçlar önerilen metodun, gerçek bir karede çok sayıda yüz görüntüsünde sağlam ve geçerli olduğunu göstermektedir.
(Crisman ve ark., 1991) Göz kırpma kontrol arayüzü; bir veya her iki göz kapaklarının kapanma zamanlarına dayalı, ciddi motor bozuklukları olan kiĢiler tarafından kullanılması için tasarlanmıĢ bir giriĢ aygıtıdır.sol ve sağ göz kapaklarının yani basit girdi anahtarlarının yeteneklerini büyük ölçüde artıran özel bilgisayar sistemin ayrılmaz bir parçasıdır. Bu çalıĢmada, göz kırpma kontrol arayüzü ile kontrol edilen desteklenmiĢ tekerlekli sandalye kullanan prototip sistemimizin uygulama ve ön testlerinin sonuçlarını sunuyoruz. Arayüzü, birim için komut dizisi tasarımı, tekerlekli sandalye eğitim yazımlı geliĢtirme ve desteklenmiĢ sandalyeyle bütünleĢtirilmesi tartıĢılan genel konular arasındadır.
(Bobis ve ark., 1999) Bu çalıĢma insan yüzünün otomatik kimlik saptaması ve analizi için bir sistemle ilgilenir.Bir yüz, kiĢisel özelliklerin detayları çözüldüğünde tanınabilir.Bu fikir, yakın pozisyonları ve diğer ayırıcı özelliklerin parametrelerini (gözler, ağız, burun ve çene gibi) çıkarır.Yüz özelliklerinin genel geometrik konfigürasyonu, ana yüz özelliklerinin konumunu ve boyutunu temsil eden sayısal veriler bir vektör tarafından tarif edilmiĢtir.Ġlk olarak; ardıĢık görüntülerden, gözlerin kırpılması tespit edilerek, gözlerin koordinatları çıkarılır. Gözler arası mesafe ve gözlerin pozisyonu, yüz özellikleri için arama alanların boyutu ve konumunu belirlemek için kullanılmıĢtır. Bu alanlarda ikili eĢikleme yapılır, sistem otomatik olarak özellikleri saptamak için eĢik değiĢtirir. Koordinatları bulmak için ikili görüntüde süreksizlikler aranmıĢtır. Deneysel sonuçlar göstermiĢtir ki; gerçek sahnedeki yüz görüntüsünün çok sayıda tür için önerilen yöntem, sağlam, geçerli düĢük donanım gereksinimleri ile gerçek zamanlı olarak çalıĢır ve tüm süreç otomatik olarak gerçekleĢtirilmiĢtir.
(Brandt ve ark., 2004) Bu çalıĢmada sürücülerin kafa ve bunun yanında göz kırpma dizilerini gözlemlemek amacıyla görsel sürücü gözetim sistemi tanıtılmıĢtır. Ölçülen bu özelliklere dayanarak sistem yorgunluk ve monotonluk belirtilerini tespit edebilmektedir. Mevcut olanlara karĢı sunulan sistemin temel avantajları; standart donanımların iyi bir fiyat-performans oranı sağlamak için kullanılması, hızlı hesaplama zamanı, karanlıkta ölçüm imkânı ve monotonluğu dikkate alabilmesidir. Görüntü analizi kaba-ince bir mimarinin içerisinde gerçeklenmiĢtir. Ġlk olarak sürücünün yüzü geliĢtirilmiĢ Haar dalgacık dizisi tabanlı olarak tespit edilmiĢtir. Ardından yüz üzerinde gözler aranmıĢtır ve göz bölgesinin optik akıĢ analiziyle gerçekleĢen göz kırpmaları
ölçülmüĢtür. Sistemin performansı ideal ve doğal koĢullar altında baĢarıyla test edilmiĢtir.
(Zheng ve ark., 2009) Ġnsan-Bilgisayar Arayüzü, engelliler için araĢtırma ve geliĢtirme de önemli bir alan haline gelmiĢtir. TaĢınabilir kablosuz bir göz hareket-kontrollü Ġnsan-Bilgisayar Arayüzü; motor felçli ve çoklu uygulamalarda konuĢamayan (mesela; iletiĢim yardımı ve akıllı ev uygulamalarında) engelliler için kullanılması üzerine çalıĢılmıĢtır. Bu arayüzü dört ana bölümden oluĢur: 1-Yüzey elektrotları 2- iki kanallı yükseltici 3- bir dizüstü bilgisayar (ya da bir mikro-iĢlemci) 4- ZigBee kablosuz modülü. Kafa üzerinde 5 adet yüzey elektrotu kullanılarak yatay ve dikey electrooculogram (EOG) sinyalleri ölçülmüĢtür. Dikey elektrotlar sağ kaĢın 1 cm üzerinde ve sağ aĢağı kaĢın 2 cm altında, yatay elektrotlar her iki gözün 2 cm dıĢına ve son elektrot kullanıcının alnına toprak niyetiyle yerleĢtirilmiĢtir. 2 kanallı yükseltici, enstrümantasyon yükselteçleri, bant geçiren filtreler ve kaydırma devrelerinden oluĢmaktadır. Elde edilen EOG sinyalleri 250 Hz oranında iĢlemci birime matematiksel morfoloji tabanlı sinyal iĢleme amacıyla ve göz hareketleriyle istemli kırpmaların tespiti için gönderilmiĢtir. ZigBee kablosuz iletiĢim teknolojisi, taĢınabilir arayüz de kullanılmıĢtır.
3. MATERYAL VE YÖNTEM
Bu tez çalıĢmasında, kamera yardımıyla alınan hareketsiz hasta ön yüz görüntülerinin değerlendirilmesi ve bunun sonucunda hastanın verdiği göz kırpması Ģeklinde kodlanmıĢ mesajların kablosuz iletiĢim cihazlarıyla karĢı tarafa aktarılması gerçekleĢtirilmiĢtir. Sistem bilgisayar programı, kamera, bilgisayar, kablosuz alıcı ve verici cihazlardan oluĢmaktadır.
ġekil 3.1’de sistemin genel yapısı görülmektedir. Hasta önüne yerleĢtirilen kameranın görüntüleri bilgisayar programı aracılığıyla sürekli kontrol edilmektedir. Hasta, tanımlanan göz kırpma serilerinden birini oluĢturduğunda ilgili seriye tanımlanan mesaj kablosuz iletiĢim cihazı ile hemĢireye veya istenen diğer kiĢilere iletilmektedir.
ġekil 3.1. Sistemin genel yapısı ve çalıĢma Ģekli
Kullanılan kamera, 1280x720 @ 30 fps, 640x480 @ 30 fps, 320x240 @ 30 fps çözünürlük ve hızlarda görüntü verebilen Ģarj bağlantılı aygıt (charge coupled device - CCD) bir kameradır. Bilgisayar, Core i7 iĢlemciye, 4 GB RAM belleğe sahip olup 64-bit Windows 7 iĢletim sistemi ile birlikte kullanılmaktadır. Kablosuz iletiĢim cihazı olarak kısa mesafede alıcı verici modüller, uzun mesafede ise GSM mobil telefon kullanılmıĢtır.
Görüntü yakalama, iĢleme ve iletiĢim cihazlarına bilgi aktarma fonksiyonlarına sahip olacak bilgisayar yazılımı geliĢtirilirken, Visual Studio geliĢtirme ortamı ve görsel C# programlama dili kullanılmıĢtır. Yakın mesafe iletiĢim cihazları, alıcı verici modüller kullanılarak mikrodenetleyici tabanlı bir mimari Ģeklinde tasarlanmıĢtır. Bunun için Custom Computer Services (CCS) firmasının ürünü olan çevresel kontrol ara yüzü C (Peripheral Interface Controller C - PICC) programlama dili kullanılmıĢtır.
Kamera
Görüntü ĠĢleme
Birimi Kablosuz Verici Cihaz Kablosuz Alıcı
ĠletiĢim cihazı donanım tasarımı da Proteus tasarım programında gerçekleĢtirilmiĢtir. Görüntü iĢleme tekniklerinden Haar benzer özellikler ve dairesel Hough dönüĢümü kullanılarak, göz bölgesi tanımlanmıĢ ve kırpma olayları yakalanmıĢtır.
GeliĢtirilen yazılım, kullanımı giderek artan hasta baĢı akıllı terminal sistemlerinde kolaylıkla kullanılabilecektir. Bu sistemler iĢlem terminali olarak hemĢireler ve doktorlar tarafından hastaların durumlarını gözleme, aldıkları tedavileri kaydetme gibi amaçlar için kullanılmaktadır. Ayrıca hastaların iletiĢim ihtiyaçlarını karĢılamada ve yaĢam kalitelerini arttırma konusunda da önemli fonksiyonlara sahiptirler. Hasta açısından, felç gibi hareket etmesini engelleyecek bir durum olduğunda ise bu tez projesindeki gibi bir sistemle hastanın bir takım iletiĢim ihtiyaçları karĢılanabilir.
Yaygın olan bilgisayar teknolojileri göz önüne alındığında aĢağıda verilen akıllı terminal sistemi gibi ürünlerde bu tez projesi rahatlıkla uygulanabilmektedir. Web kamerası gibi zengin bir aksesuar yelpazesine sahip olan terminallerde sadece yazılım kurulumu yapılarak sistem çalıĢmaya hazır hale getirilebilmektedir. ġekil 3.2’de görüldüğü üzere bir çok Ģirket hastanelerde kullanılmak üzere biliĢim teknolojisi tabanlı ürünler geliĢtirmektedir. Bu ürünlerin kazandırdığı hazır altyapılar düĢünüldüğünde bu tez projesinin konu aldığı çalıĢma geniĢ bir uygulama alanında pratik bir Ģekilde kullanılabilecektir.
3.1. Kamera
Bu çalıĢmada amacımız hasta görüntülerini en iyi Ģekilde bilgisayara aktararak üzerinde gerekli iĢlemleri yapabilmektir. Günümüzde kullanılan kameralarda bulunan resim algılayıcılar genellikle bütünler metal oksit yarıiletken (complementary metal oxide semiconductor - CMOS) ve Ģarj bağlantılı aygıt (charge coupled device - CCD) olmaktadır. CCD 1970 yılında Willard BOYLE ve George SMITH tarafından Bell laboratuarlarında bulunmuĢtur (Taylor, 1998).
Her iki teknolojinin de kendilerine göre avantaj ve dezavantajları vardır. Ancak önemli olan her koĢul altında en iyi görüntüyü alabilmektir. Dolayısı ile algılayıcının CCD veya CMOS olmasından ziyade kullanılan teknoloji, algılayıcı boyutu, saniyedeki kare sayısı (Frame Per Second - FPS) önemli noktalar olarak karĢımıza çıkmaktadır.
Yüksek FPS oranına ve çözünürlüğe sahip kameralar kullandıkça veri aktarma teknolojisi de önemli bir değiĢken olarak karĢımıza çıkmaktadır. Ayrıca FPS oranının gerçek zamanlı iĢlem yapabilmemiz için yeterince yüksek olması çok önemlidir. Kullandığımız kamera tüm çözünürlük değerlerinde 30 fps oranına yakın sonuçlar vermektedir. Kamera üzerinde veri iletim teknolojisi olarak evrensel seri yol (universal serial bus - USB) kullanılmaktadır. Kameranın yüksek FPS oranına sahip olması geliĢtirilecek yazılıma da esneklik kazandırmaktadır. Çünkü kareler yeterince hızlı iĢlenemezse gerçek zamanlı iĢlem sınırı aĢılarak sistemin performansı düĢecektir. Kullanılan görüntü iĢleme yöntemlerinde en hızlı yolun seçilmesi ve ilgi alanının (region of interest - ROI) mümkün olduğunca az seçilmesi iĢlem hızını önemli ölçüde etkileyecektir. Dolayısıyla sistemin yegâne giriĢ aygıtı olan kamera kilit bir role sahiptir.
ÇalıĢmada Microsoft LifeCam Studio ürünü kullanılmıĢtır. Kamera 1920x1080 Yüksek çözünürlüklü (High Definition - HD) görüntü verebilmektedir. Kullanılan kamera, görüntü iĢleme amaçlı değerlendirilebilecek fonksiyonel kameralar arasında fiyat performans oranıyla projenin ekonomikliğine katkı sağlamıĢtır. Aynı iĢ için onlarca kat fazla para ödeyerek alınan kameralar da kullanılabilecekken bu kameranın seçilmesi, çalıĢmanın bilgisayarlarda bulunan dâhili kameralarla da gerçekleĢtirilebileceğini göstermektedir.
Otomatik Odaklama (Auto Focus - AF) özelliği sayesinde en yüksek çözünürlük değerinde resim yakalamak kolaylaĢmaktadır. Böylece resmi alınacak hasta önüne kamera yerleĢtirilirken kurulum zamanı en aza indirilmiĢtir. Aksi takdirde bir ayar
mekanizmasıyla veya kameranın manüel odak ayarıyla netlik değerinin kontrol edilmesi gerekecektir. Fakat manüel olarak ayarlanan bu netlik değeri hasta pozisyonundaki herhangi bir değiĢmeyle tekrar bozulmaya uğrayabilir. Bu durumda hasta kamera arasındaki mesafenin tekrar ayarlanması gerekir. Örneğin hastanın yataktan kalkıp tekrar dönmesi gibi durumlarda ayarın yapılmaması sistem performansını önemli ölçüde etkileyebilir. AĢağıda bulunan ġekil 3.3’te kullanılan kameranın görüntüsüne yer verilmiĢtir. Kameranın alt tarafında bulunan esnek kısım sayesinde konulmak istenen yere kolaylıkla tutturulmaktadır.
ġekil 3.3. Microsoft LifeCam Studio
Kamera saniyede 30 çerçeveye kadar (30fps) görüntü yakalama hızına ulaĢabilmektedir. Bu hız göz kırpma hareketinin yakalanabilmesi için yeterli olmaktadır. ÇalıĢmada, istemsiz göz kırpma hareketleri göz önüne alınmamıĢ, istemli olarak yapılan iletiĢim amaçlı göz kırpma hareketlerinin yakalanması amaçlanmıĢtır. ÇalıĢmanın tabiatı gereği resim yakalama hızı yüksek olan ve en az birkaç bin dolar fiyata sahip ürünlerin kullanılmasını gerektirmemektedir. Böylece hareket kabiliyeti olmayan hastaların iletiĢim kabiliyetlerini ekonomik bir Ģekilde artırmaları mümkün olacaktır. Sistemin fiyat-performans oranının yükselmesi açısından da kamera ek bir artı sağlamaktadır.
3.2. Radyo Frekans Alıcı-Verici Cihazlar
DeğiĢik firmaların geliĢtirmiĢ olduğu birçok radyo frekans alıcı verici veya bu iki iĢlevi bir arada yerine getiren iletiĢim modülleri bulunmaktadır. Projemizde bunlardan düĢük güç tüketimine sahip RFM 70 modeli kullanılmıĢtır. Böylece kapalı mekânda 30m açık mekânda 100m mesafede mesajlar iletilebilinecektir.
Radyo frekans iletiĢimi sırasında kullanılacak frekans endüstriyel bilimsel ve medikal (Industrial, Scientific and Medical - ISM) bandı olduğu için çevrede aynı frekansı kullanacak birçok farklı cihazın bulunması muhtemel olacaktır. Dolayısı ile sinyallerin gönderimi ve alınması sırasında Ģifreleme tekniği ile doğrulamalı olarak iletiĢimin gerçekleĢtirilmesi kaçınılmazdır.
USB protokolü ile bilgisayara bağlanan mikrodenetleyici tabanlı devre rf verici modülü barındırmaktadır. Böylece kullanıcı göz kırpmalarının tetiklediği mesajlar bilgisayar aracılığıyla gönderilebilmiĢtir. KarĢı tarafta da yine mikrodenetleyicili bir alıcı cihaza rf alıcı modül bağlanmıĢtır. Cihaza konulan küçük LCD ekran sayesinde mesaj bilgisi anlaĢılır bir Ģekilde görüntülenmiĢtir. ġekil 3.4’te geliĢtirilen sistemin blok diyagramı yer almaktadır. Gönderici ve alıcı tarafta elektriksel sinyalleri radyo frekans sinyallerine çeviren modüller kullanılmıĢtır. Mesaj görüntüleme sisteminin olabildiğince az enerji tüketmesi, sistemin kullanılma süresini dolayısıyla fonksiyonelliğini etkileyen önemli faktörlerden biridir.
ġekil 3.4. Yakın mesafe kablosuz iletiĢim sistemi genel yapısı 3.2.1. RFM70 Transceiver (Telsiz)
RFM70, radyo frekans alıcı veya verici modül olmanın dıĢında telsiz modüldür. Yani istenirse alıcı istenirse verici olarak kullanılabilir. 2400 ile 2485,5 MHz endüstriyel bilimsel ve medikal (Industrial, Scientific and Medical - ISM) bandında iletim yapabilmektedir. 1-2 Mbps iletim hızlarını desteklemektedir. ÇıkıĢ gücü -40 ile 5 dBm arasında ayarlanabilmektedir. DüĢük güç tüketimine sahiptir. Özellikle alıcı
Makine Görme Sistemi Radyo Frekans Verici Mesaj Görüntüleme Sistemi Radyo Frekans Alıcı
devresi taĢınabilir olarak tasarlandığından güç sarfiyatının az olması çok önemlidir. Ġletim yükü yani her seferde iletilen bilgi miktarı 1 ile 32 byte arasında ayarlanabilmektedir. Mikrodenetleyici ile arasında seri çevresel arabirim (Serial Peripheral Interface - SPI) veri yolu kullanılmaktadır.
Bu telsiz modül kullanılarak, yıldız topolojisinde ağ kurulabilmektedir. Bu özellik tasarlanan sistemin hastane gibi, birden çok kiĢi tarafından aynı yerde kullanılacağı durumlarda sisteme artı bir özellik katacaktır. Alıcı devreler aynı ağa dahil olarak düĢünüldüğünde zigbee protokolünde olduğu gibi iletiĢim mesafesinin artması söz konusu olmayacaktır. Fakat aynı verici cihazdan ve kullanılan diğer cihazlardan ortak olarak bir çok alıcı cihaza veri aktarılabilecektir. Alıcı cihazların hasta bakıcılarda olduğu düĢünülürse, tüm hastabakıcılar tüm hastaların durumlarından bilgi sahibi olabilecekler veya hastaya tanımlanan hastabakıcıdan cevap gelmediği durumda diğer hastabakıcılara veya hemĢirelere mesaj aktarılabilecektir.
AĢağıdaki ġekil 3.5’te görüldüğü gibi entegre devre dıĢarıdan bağlanacak kristal, anten gibi elemanlara ihtiyaç duymaktadır. Çoğu 433 MHz alıcı verici modül için anten dıĢarıdan modüle takılması gereken bir ek elemandır. RFM70 üzerinde baskı devre kartı (Printed Circuit Board - PCB) üzerine çizilmiĢ dahili 2.4 GHz’lik antene ve kristale sahiptir.
Kristalin modül üzerinde bulunması sisteme sağlıklı bir saat sinyali sağlanması açısından önemlidir. Aksi takdirde sonradan takılan kristaller zamanla veya sıcaklık gibi çevresel etkiler sonucunda frekans kaymasına uğrayabilmektedirler. Bu gibi sorunların önüne geçmek amacıyla farklı uygulamalarda osilatörlü kristal kullanımı dikkat çekmektedir. Projede kullanılan RFM70 modül içerisinde kristal kullanıldığından bu gibi bir iĢleme gerek kalmamıĢtır.
Kullanılan mikrodenetleyici tabanlı alıcı devrede, güç tüketim performansını artırmak amacıyla RFM70 telsiz modülün kesme isteği (Interrupt Request - IRQ) kullanıldığında önemli bir artı sağlanmaktadır. Bu çıkıĢ telsize bir veri geldiğinde aktif olmaktadır. Mikrodenetleyici normal durumda uyku moduna geçirilip, sadece radyo frekans verisi geldiğinde uyku modundan çıkarılırsa daha az enerji tüketimi gerçekleĢtirilmiĢ olur.
CE giriĢ sinyali ise, modülün alıcı-verici olarak çalıĢmasını ayarlamak için kullanılır.
ġekil 3.5. RFM70 blok diyagramı
Sistemdeki mikrodenetleyici ile SPI gibi bir iletiĢim protokolünün kullanılması projenin yazılım tarafına ek bir yük getirmektedir. Verilen seri bilgileri aynen karĢı tarafa ileten kablosuz alıcı verici sistemlerinde buna gerek kalmamaktadır. Fakat SPI iletiĢim protokolünün kullanılması birçok cihazın iletiĢim kurması gerektiği durumlarda kolaylık sağlamaktadır. RFM70 kullanılan asgari bir iletiĢim devresi ġekil 3.6’da görülen biçimdedir.
ġekil 3.6. RFM70 mikrodenetleyici iletiĢim devresi
Dikkat edilirse kullanılan PIC16F690 mikrodenetleyicinin donanımsal SPI portu olmasına rağmen bunun yerine diğer genel amaçlı giriĢ çıkıĢ portları kullanılmıĢtır. Bu
tez çalıĢmasında geliĢtirilen devrede SPI portu olmayan bir mikrodenetleyici alıcı tarafında kullanılmıĢtır. Böylece daha ekonomik bir çözüm mümkün olmuĢtur.
RFM70 telsiz modülü ile iletiĢim üzerindeki kayıtçılara Seri Çevresel Arabirim (Serial Peripheral Interface - SPI) protokolü ile bağlanılıp veri yazılması Ģeklinde olmaktadır. Böylece iletiĢim frekansı, iletilecek veri gibi bütün veriler ve ayarlar modüle yüklenebilmektedir. Modül, ardından gerekli iĢlemleri yapmaktadır. Veri geldiği zaman telsiz modülün kesme isteği (Interrupt Request - IRQ) çıkıĢı sayesinde mikrodenetleyici tetiklenebilmektedir. Böylelikle mikrodenetleyicinin sürekli olarak giriĢ portunu kontrol edip verinin gelip gelmediğini gözlemlemesine gerek kalmamaktadır. Mikrodenetleyici uyku modunda olsa bile gerekli ayarlamalar yapılırsa IRQ çıkıĢı sayesinde uyanıp gelen bilgiyi okuyup mesajı görüntüleyebilir. Bu da düĢük güç tüketimi açısından önemli bir özellik olarak karĢımıza çıkmaktadır.
3.3. Google Android PDA’nın Bilgisayardan Kontrol Edilmesi
Bu tez projesi içerisinde bir cep bilgisayarı (personel digital assistant - PDA) kullanılarak çeĢitli donanımları içerisinde barındıran bu cihazın özellikleri minimum tasarım zamanı avantajı ile projeye dahil edilmiĢ olmaktadır. Böylece gerekli yazılımın geliĢtirilmesiyle GSM/GPRS modülü, ivme sensörü, küresel pozisyonlama sistemi (global positioning system - GPS), bluetooth gibi donanımlar projeye dahil edilmiĢ olmaktadır. Bu esnek kullanım imkânının doğmasında kuĢkusuz açık kaynaklı iĢletim sistemi olan adnroid iĢletim sisteminin büyük payı vardır. Gerekli iletiĢim rutinlerinin visual studio ortamında yazılması sonucu PDA’nın istenen özelliği proje içerisinde kullanılabilmektedir.
3.3.1. Android hata ayıklama köprüsü - ADB kurulumu ve kullanımı
Android hata ayıklama köprüsü (android debug bridge - ADB) USB gibi bir protokolle PDA’ya bağlanılmasını ve çeĢitli komutlar verilerek cihaza eriĢilmesini sağlamaktadır. Bu yöntemin kullanılabilmesi için android iĢletim sistemi (operating system - OS) yüklü PDA’ya eriĢmek amacıyla sürücülerin önceden yüklenmesi gerekmektedir. Adb.exe isimli dosya kullanılarak ek argümanlarla çeĢitli fonksiyonlara eriĢilebilmektedir.
Öncelikle Android SDK bilgisayarın iĢletim sistemine göre seçilip yüklenmelidir. Ardından SDK kullanılarak gerekli USB sürücüleri yüklenecektir. Bu aĢamadan sonra komut satırı kullanılarak ADB komutları çalıĢtırılabilir. ADB komutları içerisinde cihazın birçok farklı özelliğine kumanda edilebilinecek birimler mevcuttur. Ġstenirse kabuk komutları verilerek cihaza güçlü bir Ģekilde eriĢim sağlanabilir.
ADB komutlarının verilmesi sırasında komut satırı kullanılabilir. Windows iĢletim sistemindeki CMD programı çalıĢtırılarak istenilen komutlar cihaza gönderilebilmektedir. GeliĢtirilen görsel C# uygulaması aracılığıyla PDA’ya eriĢim gerektiğinde öncelikle bir ProcessStartInfo nesnesi tanımlanarak özellikleri belirlenmelidir. Daha sonra da bir Process nesnesi tanımlanarak çalıĢtırıldığında, processStartInfo nesnesinde tanımlı olan komut sistem komut satırındaymıĢ gibi program içerisinden çalıĢtırılacaktır.
ġekil 3.7’de adb yüklenmesiyle ilgili pencere görülmektedir. Adb yüklemesi android SDK platform-tools seçilerek yapılmaktadır.
ġekil 3.7. Android SDK yükleme iĢlemi 3.4 GPS Donanımının Projedeki Önemi
Küresel pozisyonlama sistemi (Global Positioning System - GPS) dünya üzerindeki herhangi bir noktanın konum, yükseklik bilgilerini en az üç uydulardan aldığı sinyaller üzerindeki hesaplamalar sonucu bulabilen bir cihazdır. Önceleri sadece askeri amaçlar için kullanılan GPS uyduları uzun zamandan beri sivil kullanıma
