STANBUL TEKNK ÜNVERSTES FEN BLMLER ENSTTÜSÜ
YÜKSEK LSANS TEZ Onur ENCAN
Anabilim Dal : Kontrol Mühendislii
Program : Kontrol ve Otomasyon Mühendislii
OCAK 2010
OTONONOM MOBL ROBOTLARDA OPTK AKI TABANLI GÖRSEL E ZAMANLI LOKALZASYON VE HARTALAMA
iii Ocak 2010
STANBUL TEKNK ÜNVERSTES FEN BLMLER ENSTTÜSÜ
YÜKSEK LSANS TEZ Onur ENCAN
Tezin Enstitüye Verildii Tarih : 25 Aralk 2009 Tezin Savunulduu Tarih : 25 Ocak 2010
Tez Danman : Prof. Dr. Hakan TEMELTA (TÜ) Dier Jüri Üyeleri : Prof. Dr. Metin GÖKAAN (TÜ)
Yrd. Doç. Dr. Osman Kaan EROL (TÜ) OTONONOM MOBL ROBOTLARDA OPTK AKI TABANLI GÖRSEL
iii
v ÖNSÖZ
Yaptm çalma ve aratrmalar süresince 107E007 no’lu proje çerçevesinde verdii destekten ötürü TUBTAK’a, çalmalarm için bana ilham veren ve yol gösteren tez danmanm Prof. Dr. Hakan Temelta’a, bata M. Kürat Yalçn, Emrah Adamey ve Kadir Paslolu olmak üzere üyesi olmaktan gurur duyduum robotik laboratuar ekibine ve son olarak yaamm boyunca sevgisini ve desteini esirgemeyen aileme teekkürü bir borç bilirim.
Ocak 2010 Onur encan
Elektrik-Elektronik ve Haberleme Mühendisi
vii ÇNDEKLER SAYFA ÖNSÖZ ... v ÇNDEKLER ... vii KISALTMALAR ... ix ÇZELGE LSTES ... xi
EKL LSTES ... xiii
ÖZET ... xv
SUMMARY ... xvii
1. GR ... 1
2. KAMERA MODEL ... 7
2.1 Basit Kamera Modeli ... 7
2.2 Kamera ç ve D Parametreleri ... 8
2.2.1 Kamera ç Parametreleri ... 8
2.2.2 Kamera D Parametreleri ... 10
2.3 Kamera Kalibrasyonu ... 12
2.3.1 zdüüm Yöntemiyle Kamera Kalibrasyonu ... 13
2.3.2 Kamera Kalibrasyonu Deneysel Çalma... 18
3. GÖRÜNTÜ LEME KATMANI ... 21
3.1 Görüntüde Hareket Alglamas ... 21
3.1.1 Hareket analizindeki problemler ... 23
3.2 Görüntüde Takip Noktalarnn Belirlenmesi ... 24
3.3 Görüntüde Optik Akn Belirlenmesi ... 26
3.3.1 Lucas-Kanade yöntemiyle optik akn hesaplanmas ... 27
3.4 Iraklk(Paralaks) Açs ile Nesnelerin Derinlik Analizi ... 32
4. ÇFT BAKILI GEOMETR ... 37
4.1 Epipolar Geometri ... 37
4.1.1 Öz Matris (E) ... 38
4.1.2 Temel Matris(F) ... 41
5. DNAMK BAYES ALARININ KALMAN FLTRES LE OPTMZASYONU ... 43
6. E ZAMANLI LOKALZASYON VE HARTALAMA(EZLH) ALGORTMALARI ... 49
6.1 SLAM uygulamalarnda kamera ve üç boyutlu lazer taraycnn karlatrlmas ... 50
6.2 GKF Tabanl Görsel SLAM ... 51
6.2.1 GKF Tabanl Görsel SLAM Algoritmalar ... 56
6.3 Veri likilendirme ... 57
6.3.1 Tekil uyumluluk testi (ICT) ... 59
6.3.2 Balantl uyum testi (JCT) ... 60
7. DENEYSEL ÇALIMALAR ... 63
viii
ix KISALTMALAR
SLAM : Simultaneous Localization And Mapping GKF : Geniletilmi Kalman Filtresi
EKF : Extended Kalman Filter MCL : Monte Carlo Lokalizasyonu AGWN : Additive Gaussian White Noise DBN : Dynamical Bayesian Network MMSE : Minimum Mean Squared Error GPS : Global Positioning System CCD : Charged Coupled Device
CMOS : Complementary Metal-Oxide Semiconductor SVD : Singular Value Decomposition
IMU : Inertial Measurement Unit ICT : Individual Compability Test JCT : Joint Compability Test
xi ÇZELGE LSTES
Sayfa Çizelge 2.1 : Kamera iç parametreleri ... 20
xiii EKL LSTES
Sayfa ekil 2.1 : Uzaydaki bir X,Y,Z noktasnn ine delii kamera modelindeki izdüümü
... 7
ekil 2.2 : Uzaydaki bir X,Y,Z noktasnn ine delii kamera modelindeki aynalanm izdüümü ... 8
ekil 2.3 : ki kamera ekseni arasndaki dönme ve öteleme ile dönüüm ... 11
ekil 2.4 : Kamera kalibrasyonunda kullanlan damal kalibrasyon tahtas ... 19
ekil 2.5 : Kalibrasyon tahtasnda bulunan köe noktalar. Bu noktalar kalibrasyon parametrelerinin hesaplanmasnda kullanlacaktr ... 19
ekil 2.6 : Kalibrasyon sonras bozunum etkisi verilmi ekran görüntüsü ... 20
ekil 3.1 : ki boyutlu bir düzlemdeki bir noktann bir boyutlu düzlemdeki çizgisel hareketi ... 22
ekil 3.2 : Tek boyutlu eksende optik hz bileenleri ... 28
ekil 3.3 : Optik ak hznn iteratif olarak elde edilmesi ... 29
ekil 3.4 : ki boyutlu eksende optik hz bileenleri ... 30
ekil 3.5 : Optik ak yönünün açkla bal olarak alglanmas ... 31
ekil 3.6 : Hiyerarik Lucas Kanade optik ak kestirim yöntemi ... 32
ekil 3.7 : Eri uydurma ile piksel alt koordinatlarn elde edilmesi ... 33
ekil 3.8 : Iraklk etkisinin kamerann konum deiimine bal gösterimi ... 35
ekil 4.1 : Epipolar geometri temsili ... 37
ekil 4.2 : ki kamera arasndaki geometrik dönüüm ... 38
ekil 5.1 : Sistem yapsnn Dinamik Bayes Alar(DBN) ile gösterimi ... 44
ekil 5.2 : Ölçüm modeli ile birlikte sistemin Dinamik Bayes Alar(DBN) ile gösterimi ... 45
ekil 6.1 : Nokta takibine dayal SLAM algoritmasnn Bayes Alar karl ... 52
ekil 6.2 : Bayes çkarmndaki olabilirlik gösterimi ... 53
ekil 6.3 : Nokta takibine dayal SLAM algoritmasnn kontrol iaretli Bayes Alar karl ... 54
ekil 6.4 : Kalman filtresi ileyi yaps ... 55
ekil 6.5 : Optik ak tabanl görsel SLAM algoritmas ak diyagram ... 58
ekil 6.6 : ICT ve JCT veri ilikilendirme algoritmalarnn kullanm ... 61
ekil 7.1 : Araç test düzenei ... 63
ekil 7.2 : Aracn haritalama ilemi srasnda izledii yol ... 64
ekil 7.3 : Araç konumuna bal olarak elde edilen yaklak harita ... 65
ekil 7.4 : Aracn haritalama ilemi srasnda izledii ikinci yol ... 66
xv
OTONONOM MOBL ROBOTLARDA OPTK AKI TABANLI GÖRSEL E ZAMANLI LOKALZASYON VE HARTALAMA
ÖZET
E zamanl haritalama ve Lokalizasyon(SLAM) teknikleri otonom bir robotun belirli bir görevi gerçekletirebilmesi için gerekli temel unsurlardandr. Bu çalmada, robotlarn akll olarak tanmlanabilmesi için gereken temel motor reflekslerine sahip olabilmesi ve bunun bir adm ötesinde çevresi hakknda çkarmlarda bulunabilmesi için gerekli görsel bileen olan kamera kullanmyla, herhangi bir ön bilgi olmakszn aracn çevresindeki dinamik ortam haritalandrmas, böylece tek boyutlu lazer tarayc ve reflektör ile gelitirilen önceki çalmalardaki dinamik ortam ve üç boyut belirsizliklerinin giderilmesi amaçlanmtr. Böylece otonom aracn dinamik bir ortamdaki navigasyon kabiliyeti arttrlarak, görev temelli çalmalarda bilisel robotik uygulamalarnn daha etkin bir biçimde gerçekletirilebilmesi salanacaktr. Elde edilen ham görüntü verilerini kamera kaçma ve bozunum etkilerinin giderilmesinin ardndan çeitli filtreleme teknikleri ile gürültülerden arndrlm ve takip edilebilir noktalar etkin hareket takibini salayabilmek için görüntü üzerinde belirlenmitir. Bu takip eden aamada takip edilebilir noktalardan elde edilen optik ak bilgisiyle aracn IMU ve odometrisinin veri füzyonu ile elde edilen konum bilgisi kullanlarak takip noktalarnn üç boyutlu koordinatlar dolaysyla araç çevresinin düük çözünürlüklü bir haritasnn elde edilmesi amaçlanmtr. Bu harita bir takm varsaymlar altnda global optimal bir filtre olan Kalman Filtresi’nin dorusal olmayan sistem yaklam olan Geniletilmi Kalman Filtresi(GKF) tabanl e zamanl lokalizasyon ve haritalama algoritmasnca ilenmitir.
Çalmada kullanlan yöntem ve teknikler irdelenmi, iç ortam koullarnda yaplan deneysel çalma sonuçlar sunulmutur.
xvii
OPTICAL FLOW BASED VISUAL SIMULTANEOUS LOCALIZATION AND MAP BUILDING IN AUTONOMOUS MOBILE ROBOTS
SUMMARY
Simultaneously Localization and Mapping techniques are corner Stones for an autonomous robot to achieve a certain task. In order to define a robot as an intelligent system it has to be qualified for primary motor reflexes and beyond that, inference abilities should be satisfactory in uncertain environment for predefined tasks.
To achieve that, vision which is the most important perception mechanism is using for mapping dynamical environment with any given information. Since therefore, eliminating the disadvantages of former works with two dimensional laser scanner is crucial to detect 3D maps in dynamical environments. By this way, enhancing the navigation abilities of autonomous mobile robots can cause effective implementation of cognitive robotics applications on task-based works.
For this purpose, raw image data is processed for camera distortion effect and noise with various filtering techniques. In the next step traceable points are detected on image data for effective motion detection. Optical flow information which is obtained from traceable points is combined with odometry value which is also correctedwith IMU data to determine 3D coordinates for the purpose of low resolution map of the environment. This rough map is utilized initial guess for EKF based visual SLAM algorithm.
Eventually methods and techniques are examined with experimental results in indoor environment.
1
1. GR
Otonom araçlarn kendi lokalizasyon bilgisi ile ortamdaki dier objelerin lokalizasyon bilgileri dier bir deyi ile ortam haritas ileri düzey navigasyon fonksiyonlarnn gerçeklenebilmesi için oldukça önem tayan matematiksel oluumlardr. Bunlar ile otonom araçlarda hedef noktaya eriim, ortamn belirlenmesi ve gözlemlenmesi, engellerden saknma gibi stratejik yol planlamas ile planlanan bu yolun izlenmesi gibi navigasyon fonksiyonlar gerçeklenebilir. E zamanl Lokalizasyon ve Harita Oluturma (SLAM : Simultaneous Localization And Map Building) yöntemindeki amaç bir otonom aracon yada bir mobil robotun hem engellerden saknma ve yol planlama amacyla bulunduu ortamn haritasnn oluturmak hem de aracn kendi lokalizasyonunu dier bir deyi ile bulunduu konumu ve oryantasyonunu e zamanl olarak belirlemektir. Ancak bu yaklamdaki önemli problemler öyle sralanabilir:
x Otonom Aracn lokalizasyonunun belirlenmesi için içinde bulunduu ortamn haritasna ihtiyaç vardr.
x Aracn içinde bulunduu ortamn haritasn oluturmak için lokalizasyon bilgisine ihtiyaç vardr.
Bu problemin çözümü için genel olarak dorusal(lineer) kestirim teorisi kullanlmakta ve bu çerçevede özellikle olaslksal SLAM (Simultaneous Localization And Map Building) yöntemleri kullanlmaktadr. Burada ortam içinde hareketini oluturan kontrol girii ile ortamdaki cisimlerden elde edilen gözlemler olarak da adlandrlan çeitli mesafe ölçüm bilgileri, bilinen büyüklükler olarak kabul edilir. Bu olaslksal yaklamda otonom aracn ortam ile yapt herbir ölçüm etkileiminde ölçüm deerlerine ek olarak belirsizlik bilgileri de kapsanr. Olaslksal SLAM yaklamnda temel iki yaklam vardr. Bunlar:
x Geniletilmi Kalman Filtreleri ile SLAM metodu
2
SLAM ile ilgili ilk çalmalar 1980’li yllarn ortalarnda yaynlanmaya balamtr. [1]. Haritalama için en basit yaklam aracn konumunu mesafe sayacndan lokalizasyon hesab bilgisine dayanarak kestirimi üzerine kuruludur. SLAM konusunda en iyi bilinen çalmalara örnek olarak Cheesman ve Smith’in 1988 ylnda navigasyonu yaplacak ortamn yapsnn ayrk-zamanl durum uzay gösterimiyle ifade edilmesi temeline dayanan istatistiksel haritalama çalmas verilebilir [2]. Yine ayn yllarda Ayache ve Paugeras görüntü tabanl navigasyon [3], Chatila ve Laumond 1985 ylnda, Crowley’de 1989 ylnda sonar tabanl Kalman filtresi algoritmalar kullanlarak mobil robot navigasyonu üzerinde çalmalar yapmlardr [4] [5]. Fakat 1999 ylnda Tardos, Neira ve Castellanos’un yapt SPMap çalmas göstermitir ki uzun süreli çalmalarda bu yaklam çok güvenilir sonuçlar vermemekte, aracn lokasyonundaki belirsizlik elipsleride giderek daha büyük deerler almaktadr. [6]. Hem ölçümdeki hem de aracn lokasyonundaki belirsizliklerin azaltlmas için son on ylda literatürde oldukça fazla sayda çalma yaplm ve yaplmaya devam etmektedir.
Geniletilmi Kalman Filtre tabanl SLAM temelinde robot lokasyonu ve iaretçi nesnelerin lokasyonunun birletirilmesiyle oluan ayrk zamanl büyüyen durum vektörü bulunmaktadr. Bu durum vektörü sensörden alnan gözlem ve araç modelinin oluturduu bilgilerle ardl olarak güncellenmektedir. Lokasyonlar kesin bilgiler içermemekte, modellerden ve gürültülerden gelen belirsizliklere sahiptir. Belirsizlikler, durum vektörünün, hareket modelinin ve sensör gözlemlerinin olaslksal dalm fonksiyonu (pdf) ile ifade edilirler. Ardl olarak yaplan ilemler neticesindeki güncellemelerle bu olaslksal dalm fonksiyonlarnn ortalama deer ve kovaryanslarnn durumlarn kestirimi için optimal bir deere yaknsayaca düünülür [7].
SLAM’nin en ciddi problemlerinden biri hesaplama younluudur. Gerçek zamanl SLAM’de robotun hareket halindeyken haritalama yapabilmesi gerekmektedir. Eer kestirim algoritmalar ilemcide çok zaman alrsa robot hareket halindeyken ortamn haritasn doru çkaramaz ve birçok iaretçi nesne alglanamaz. Örnein Geniletilmi Kalman Filtresi (GKF) tabanl SLAM yaklamnda ilem zamannn büyük bir ksm kovaryans matrisinin hesaplanma sürecine ayrlmaktadr. Kovaryans matrisinin boyutu harita boyutu, dier bir ifade ile, iaretçi says ile orantl olarak artar ve bu matrisin güncellenmesi daha karmak ve daha çok çözümleme süresi
3
gerektiren duruma gelir. GKF tabanl SLAM’dan ortamdaki iaretçi nesne says ve araç lokasyon bilgisi olmak üzere O(n2)’dir [6]. Büyük çalma ortamlarnda ya da iaretçi nesne saysnn yüksek olmas durumunda SLAM’nin hesaplama derecesini azaltacak bir çok çalma yaplmaktadr. Mevcut bir çok yöntemde hesaplama problemini haritann belli bir lokal bölgesine indirgeme üzerine kuruludur. Örnek olarak 2001 ylnda Nebot ve Guivant’n yapt çalmada Sktrlm Kalman Filtresi [8] ile SLAM çalmas verilebilir. Ayrca Kita ve Davison’un yapt çalmada da GKF tabanl SLAM uygulamas için hassasiyet kayb olmakszn hesaplama zaman önemli ölçüde azaltlmaktadr [9]. Gene ayn ylda Julier ve Uhlmann’n gerçekletirdikleri çalmada kullandklar Parçalanm Kovaryans Kesiim Metodu da hesaplama derecesini önemli ölçüde azaltmakla beraber kestirim hassasiyetini de yitirdii gözlenmitir [10]. 2003 ylnda Lui ve Thrun’un d ortamda SLAM uygulamasnda kullandklar Dank Geniletilmi Bilgi Filtresi ile kapal çevrim yörüngeleri hariç her admda sabit bir zamanla yaklak bir harita elde edebilmektedir [11].
Yukarda anlatlan tüm bu çalmalar tek bir harita için yaplmtr. Büyük alanlarn haritalarnda ilemci zaman çok önemlidir ve yukardaki teknikler yetersiz kalmaktadrlar. Tardos, ve ardalarnn 2002’de sonar verilerini kullanarak yaptklar çalmada kullandklar Lokal Harita Ekleme [12] ve Williams’n yine ayn ylda doktora tezinde ortaya att Snrlandrlm Lokal Altharitalama Filtresimetodlar bir lokal referans eksenine göre alt haritalardan global stokastik haritalar oluturmak için ortaya atlm ve büyük alanlarda oldukça iyi sonuçlar vermilerdir [13]. Bu iki teknik hesaplama derecesini düürmekle beraber dorusallatrma esnasnda oluan hatalar artrmaktadrlar.
Bütün bu teknikler birçok yönden iyi gibi görünseler de çevrim kapama ileminde yeterince iyi sonuç vermemekte, dier bir deyile çevrim balangc ile çevrim sonunun eletirilmesinde saysal olarak hatalar ve tutarszlklar olumaktadr. 2005 ylnda Estrada, Neira ve Tardos’un yapt Hiyerarik SLAM çalmasnda çevrim kapamadaki nümerik kararllk ve tutarl önemli ölçüde arttrmlardr [14]. 2002 ylnda Montemerlo, Thrun ve dierlerinin ortaya att Hzl SLAM algoritmas ise farkl bir yapya sahiptir. HzlSLAM (FastSLAM) teknii araç yörüngesini kestirmek için parçack filtre yaps kullanmaktadr [15]. Bu yaklamda haritadaki her bir iaretçi nesne lokasyonunu kestirmek için her bir parçack filtresi birbirinden
4
bamsz Geniletilmi Kalman Filtre grubuyla ilikilendirilir. Bu çalmada ayrca FastSLAM tekniindeki hesaplama derecesinin, n haritadaki iaretçi says olmak üzere, O(log(n)) ile orantl olduu vurgulanmtr.
SLAM amaçl gelitirilen yöntemlerdeki ciddi problemlerinden biri de veri ilikilendirmedir. Veri ilikilendirme mobil robotun o anda elde ettii gözlemlerin haritadaki hangi iaretçi nesnesine ait olduu ya da yaplan gözlemin yeni bir nesneye mi ait olup olmad bilgisini veren bir yaklamdr. SLAM algoritmalar içinde yaygn olarak kullanlan bu veri ilikilendirme teknikleri üç gruba ayrlabilir. Bunlardan ilki Grup Dorulama tekniidir ve bu teknik nesneler arasndaki geometik yapy baz almaktadr. Bu tekniin iki formu mevcuttur. Neira ve Tardos’un 2001 ylnda ortaya koyduu Bileik Uyumluluk Dallanma ve Balanma (BUDB) metodu grup dorulamann ilk formudur ki aaç arama metodu olarak bilinir [16]. kinci form, Tim Bailey’in 2002 ylnda hazrlad doktora tez çalmasnda ortaya koyduu Birletirilmi Snrlandrlm Veri likilendirme (CCDA)’dirki grafik arama metodu olarak bilinir [17]. Büyük alanlarda veri ilikilendirmenin 3. grubunda bulunan Çokluhipotez zleme (MHT) teknii kullanlmaktadr. Bu teknik ilk olarak 1994 ylnda Cox ve Leonard tarafndan kullanlmtr [18]. HzlSLAM metodu da doal bir MHT içerir. Veri ilikilendirmenin 2. grubunda yer alan Görünüm mzalar olarak bilinen ve görüntü tabanl çalan bir tekniktir. Bu teknikte sadece nesneler aras geometrik iliki kullanlmayp ayn zamanda nesnelerin görünümleri, renkleri ve yaplarda veri ilikilendirme algoritmasda dahil edilmektedir [19]. Bu alandaki bilinen en önemli çalmalardan biri de 1999 ve 2004 yllarnda Konolige ve Gutmann tarafndan gerçekletirilmitir [20].
SLAM robotlarn bilinmeyen bir ortamda çalabilmesine ve çevrenin haritasn olutururken kendi konumunu da dorulamasna olanak salamaktadr. Bununla birlikte SLAM algoritmalar nesneleri duraan varsaymalarndan dolay bu varsaymn geçerli olmad dinamik koullar söz konusu olduunda SLAM optimal yapsn yitirecektir. Bu durumu önlemenin bir yolu hareketli nesneleri belirleyip, haritalama ilemlerinden onlar ayrmaktr [21]
Hareketli nesneleri saptamak için kameralarn kullanld durumlarda sklkla görünüm tabanl algoritmalar tercih edilmektedir. Bu tip algoritmalarda cisim hareketli yapda olduu tespit edildikten sonra cismin hareketli veya duraan olduuna baklmakszn cisim sürekli gözlem altnda bulundurulur. Lazer
5
tarayclarn haritalama ve harita takip için kullanldu durumlarda ise iaretçi takibi ve ilikilendirilmesi esasna dayal yöntemlerin kullanlmas daha uygun olacaktr. Bu çalmada kamera kullanmyla görünüm ve iaretçi tabanl yöntemleri birlikte kullanan bir yaklam ile SLAM problemine çözüm bulunmasna çallacaktr.
7
2. KAMERA MODEL
Üç boyutlu uzaydaki cisimlerin tanmlanabilmesi veya nesnelerin konumlarnn belirlenmesi için üç boyutlu uzayn iki boyutlu kamera düzlemine izdüümünü gerçekletirecek geometrik dönüümlerin elde edilmesi gereklidir. Bunun için literatürde ine delii(pinhole) kamera olarak bilinen basit kamera modelinden balayarak gerçek uygulamalarda yüzleilmesi gereken iç ve d parametreler ile lensten kaynaklanan dorusal olmayan sapmalar irdelenecektir.
2.1 Basit Kamera Modeli
Kamera modelinin anlalabilmesi için öncelikle en basit kamera tipi olan ine delii kamera modelinin incelenmesi yaplacaktr.
Üç boyutlu uzayda X,Y,Z koordinatlarndaki bir cismin f odak uzaklna sahip iki boyutlu bir kamera düzlemindeki koordinatlar x,y olmak üzere;
X x f Z Y y f Z (2.1)
Eitlik (2.1)’deki ine delii kamera modeli yaps ekil 2.1‘de gösterilmektedir.
8
Ancak çou uygulama ve hesaplamada eitlik (2.1)’deki negatiflikten kurtulmak amacyla görüntü düzlemi odak noktasna göre aynalanarak hesaplamalar gerçekletirilmektedir(ekil 2.2).
ekil 2.2 : Uzaydaki bir X,Y,Z noktasnn ine delii kamera modelindeki aynalanm izdüümü
2.2 Kamera ç ve D Parametreleri
Basitletirilmi kamera modelinden gerçek uygulamalarda kullanlabilecek yapda bir kamera modeline geçi basit modele kamera iç ve d parametrelerinin eklenmesi ile salanmaktadr.
2.2.1 Kamera ç Parametreleri
Kamerann ideal (ine delii) kamera modelinden sapma gösterdii noktalar kamera iç parametreleri ile temsil edilmektedir. Bunlardan ilki perspektif bilgisine etkiyen, x ve y eksenlerinde farkl odak deerlerine sahip lenslerden kaynaklanan fxve fy
parametreleridir.
Bir dier kamera iç parametresi lens merkezi ile optik alglayc(CCD,CMOS sensör) merkezleri arasndaki sapmay belirten cx ve cy parametreleridir. Bu durumda (X,Y,Z) koordinatlarndaki bir noktann ekran üzerindeki piksel says üzerinden izdüümleri;
9 iz x x iz y y X x f c Z y y f c Z § · ¨ ¸ © ¹ § · ¨ ¸ © ¹ (2.2)
Görüntü ileme algoritmalarnda k nnn dütüü piksel bölgesi piksel koordinat matrisi ile tanmlandndan dolay ଶ ‘ye düen piksel saysnn da hesaplara dâhil edilmesi gerekmektedir. Görüntü düzlemleri genel olarak dikdörtgen olmasna karn, piksel geometrileri ve boyutlar üretici firmaya göre altgen, kare, dikdörtgen geometrilerine sahip olabilmektedir. Piksellerin dikdörtgen olduu varsaymyla mm bana düen piksel saylar x ve y koordinatlar için srasyla sx ve sy[px/mm] ile gösterilecektir(piksel geometrisinin kare olmas durumunda sx sy ). Piksel geometrik yaps ve boyutlarnn sensör üreticisi firmadan salanmas gerekmektedir. Bu durumda piksel birimi cinsinden izdüüm koordinatlar;
_ _ iz px x x x iz px y y y X x s f c Z y y s f c Z § § · · ¨ ¸ ¨ © ¹ ¸ © ¹ § § · · ¨ ¸ ¨ © ¹ ¸ © ¹ (2.3)
Genel olarak gösterimde fx, fy,cx,cy parametreleri piksel koordinatlar cinsinden ifade edilerek eitlik (2.2)‘deki gösterim kullanlmaktadr.
Kamera iç parametrelerinde son olarak lens yapsndan kaynaklanan bozunumlar(distorsiyon) modele eklenecektir. Kamera bozunumlar radyal bozunumlar cinsinden modellenebilmektedirler;
2 4 1 2 2 4 1 2 (1 ) (1 ) d d x x k r k r y y k r k r (2.4)
Burada ( x yd, d ) bozunuma uram nokta koordinatlarn(gözlemlenen), k1 , k2
10
noktann ekrana olan izdüümünün ekran üzerindeki piksel biriminden koordinatlar cinsen uzakl r olmak üzere kamera merkezinden r yarçapl bir çember çizildiinde, çember üzerinde e radyal bozunmaya urayan noktalar elde edilecektir. Radyal bozunma özellikle ölçüm kesinliinin önemli olduu uygulamalarda(Örn. Üç boyutlu koordinat hesaplamalarnda) önem kazanmaktadr. Aksi durumda ihmal edilebilir kamera iç parametrelerindendir.
Kamera iç parametrelerinin de hesaba dâhil edildii durumda, homojen koordinat düzleminde (X, Y, Z) koordinatlarndaki bir
&
noktasnn kamera izdüümü (x, y) koordinatlarndakiF
noktas olsun., ; Homojen koordinat sistemleri
x X y Y w Z F ª º ª º « » & « » « » « » « » « » ¬ ¼ ¬ ¼ (2.5) i
K kamera iç matrisi olmak üzere;
2 4 1 2 0 (1 ) 0 0 0 0 x x i y y f c K k r k r f c ª º « » « » « » ¬ ¼ (2.6)
tanm yaplmtr. Bu durumda üç boyutlu uzayn kamera üzerindeki izdüüm koordinatlar;
i
K
F
& (2.7)2.2.2 Kamera D Parametreleri
Kamera d parametreleri, iki farkl kamera konumu arasndaki dönme( R ) ve öteleme( T ) bilgilerini tutan parametrelerdir. Burada dönme bilgisi iki kamera normali arasndaki aç deiimi, öteleme bilgisi ise iki kamera merkezi arasndaki uzaklk deiimini göstermektedirler.
Kamera merkezleri srasyla C1 ve C2 olan iki kamera arasndaki dönme ve ötelemeye bal dönüüm;
11
2 ( 1 )
C R C T (2.8)
Bu dönüüm ayrca ekil 2.3‘de görselletirilmitir.
ekil 2.3 : ki kamera ekseni arasndaki dönme ve öteleme ile dönüüm
Dönme matrisi R ve öteleme matrisi T homojen koordinat dönüümleri kullanldnda; 11 12 13 21 22 23 31 32 33 x y z r r r r r r r r r t t t ª º « » « » « » ¬ ¼ ª º ¬ ¼ R T (2.9)
elde edilir ve kamera harici matrisi Kdolmak üzere iki kamera merkezi arasndaki dönüüm;
2 1
C KdC (2.10)
Bu durumda eitlik (2.8) ve eitlik (2.10) birlikte düünüldüünde Kdmatrisinin açk formu; T 11 12 13 1 T 21 22 23 2 T 31 32 33 3 r r r r r r r r r ª º « » « » « » ¬ ¼ d R T K R T R T (2.11)
12
Burada Ri(i=1,2,3) dönme matrisinin i. satrn temsil etmektedirler.
Eitlik (2.6) ve eitlik (2.11) kullanlarak kamera iç ve d matrisinin birleimi K
kamera matrisinde toplanrsa;
i d
K K (2.12)
Bu durumda eitlik (2.7)’de tanmlanan (X Y Z, , x y, ) dönüümü hem iç hem de d parametrelerin hesaplamaya katlmasyla yeniden düzenlendiinde;
1 i d x X y Y w Z
F
& ª º « » ª º « » « » « » « » « » « » ¬ ¼ « » « » ¬ ¼ K K K (2.13)Son durumda eitlik (2.13)’de, eitlik 1’deki ideal kamera modelinden kamera iç ve d parametreleri gözetilerek, uygulama açsndan daha salkl sonuç elde edilmesini salayacak bir dönüüm matrisi elde edilmitir.
2.3 Kamera Kalibrasyonu
Kamera iç ve d parametrelerinin belirlenmesinden bir sonraki adm bu parametrelerin hesaplanmas ilemidir. Kamera kalibrasyonunun ardndaki ana fikir üç boyutlu uzaydaki noktalar ve bu noktalarn görüntü yüzeyindeki iki boyutlu akislerini birbiriyle ilikilendiren eitliklerin yazlp farkl örnekleme noktalar için hatalar minimize eden parametreleri hesaplamaktr.
Kamera kalibrasyonunda temel olarak iki farkl yöntem kullanlmaktadr. Bunlardan birincisi dorudan parametre kestirimleri, dieri ise hesaplamalarda kullanlacak nokta kümesinin tek bir düzlem üzerinde olduu varsaymyla yaplan izdüüm temelli yöntemlerdir. Bu çalmada kamera kalibrasyonu izdüüm temelli yöntemler araclyla gerçeklenecektir.
13
2.3.1 zdüüm Yöntemiyle Kamera Kalibrasyonu
Üç boyutlu uzaydaki bir (X,Y,Z) noktasn iki boyutlu kamera eksenine düüren kamera iç ve d parametrelerinin de hesaba katld izdüüm matrisi eitlik (2.13)’de görülmektedir. Eitlik (2.13) yar açk formda tekrar yazlrsa;
>
1 2 3@
1 i x X y K r r r t Y w Z ª º « » ª º « » « » « » « » « » « » ¬ ¼ « » « » ¬ ¼ (2.14) Burada; T 11 12 13 1 T 1 21 2 22 3 23 2 T 31 32 33 3 , , , , r r r r r r r r r t r r r ª º ª º ª º ª º « » « » « » « » « » « » « » « » « » « » « » « » ¬ ¼ ¬ ¼ ¬ ¼ ¬ ¼ R T R T R TKamera kalibrasyonu için genel yapy bozmadan noktann z eksenindeki uzakl sfr kabul edilerek (Z ) ilemlere devam edilebilir. Bu kabuldeki sebep 3 x 4 0 boyutundaki kamera d parametre matrisini 3 x 3 boyutunda bir kare matrise dönütürmektir. Yeni durumda eitlik (2.14) tekrar düzenlendiinde;
>
@
>
@
1 2 3 1 2 0 1 1 x X y r r r t Y w X r r t Y ª º « » ª º « » « » « » « » « » « » ¬ ¼ « » « » ¬ ¼ ª º « » « » « » ¬ ¼ i i K K (2.15)Burada H homografi matrisi tanmlanrsa;
>
r1 r2 r3 t@
i
H K (2.16)
14 1 x X y Y w ª º ª º « » « » « » « » « » « » ¬ ¼ ¬ ¼ H (2.17)
Yeni durumda H matrisi sütun vektör bileenleri cinsinden tanmlanrsa;
>
1 2 3@
1 1, 2 2, 3 h h h h ir h ir h it H K K K (2.18)Benzer biçimde dönme ve öteleme vektörleri;
1 1 1 1 2 2 1 3 i i i r h r h t h K K K (2.19)
Kamera kalibrasyon cismi olarak tek bir düzlemdeki noktalarn seçilmesi gerektiinden söz edilmiti. Literatürde bu ilem sklkla siyah-beyaz damal resim ile gerçekletirilmektedir [22]. Damal tahta yapsndan dolay r ve 1 r dönme 2 vektörleri birbiriyle ortagonaldir. Buna ek olarak vektör uzunluklar eit olacandan bu iki vektör ayn zamanda ortanormal vektörlerdir. ki vektörün ortanormal olmas iki önemli özellii de beraberinde getirmektedir. Bunlar; vektör noktasal çarpmlarnn sfr olmas ve vektör uzunluklarnn eit olmas;
T 1 2 0 r r (2.20) T T 1 2 1 1 2 2 r r r r r r (2.21)
Bu durumda eitlik (2.19) ve eitlik (2.20) birlikte düünüldüünde;
T T 1 T T 1 1 i i 1 2 i i 2 h K Kh h K Kh (2.22) T 1 i i S K K tanm yaplrsa;
15 11 12 13 T 1 21 22 23 31 32 33 i i s s s s s s s s s ª º « » « » « » ¬ ¼ S K K (2.23)
Eitlik (2.23)’deki S matrisi açk formda yazldnda;
2 2 2 2 2 2 2 2 2 2 1 0 1 0 1 x x x y y y y y x x x y x y c f f c f f c c c c f f f f ª º « » « » « » « » « » « » « » « » ¬ ¼ S (2.24)
Yeni durumda eitlik (2.22) ve eitlik (2.24)’deki S matrisi i, j indisiyle tanmlanan ayrk noktalar için;
2 2 T 2 2 2 2 2 2 2 2 1 0 1 0 0 1 x x x y i j y y y y x x x y x y c f f c h h f f c c c c f f f f ª º « » « » « » « » « » « » « » « » ¬ ¼ (2.25)
S matrisi denklem takmn gerçeklemek amacyla vektör formunda yeniden
düzenlendiinde; T 11 12 22 13 23 33 0 T ij s s s h s s s ª º « » « » « » « » « » « » « » « » ¬ ¼ (2.26) Burada;
16 1 1 1 2 2 1 2 2 3 1 1 3 3 2 2 3 3 3 i j i j i j i j ij i j i j i j i j i i h h h h h h h h h h h h h h h h h h h ª º « » « » « » « » « » « » « » « » ¬ ¼
Benzer biçimde eitlik (2.21)’deki ikinci kst koulu için denklem takm oluturulduunda; T 11 12 22 13 23 33 ( )T 0 ii jj s s s h h s s s ª º « » « » « » « » « » « » « » « » ¬ ¼ (2.27)
Böylece n farkl damal kalibrasyon tahtas görüntüsü alndnda eitlik (2.26) ve eitlik (2.27) için n farkl denklem kümesi elde edilmi olacaktr. n farkl konumdan alnm k adet köeye sahip damal tahta görüntüsünün mevcut olduu durumda, her nokta için (x,y) izdüüm bileenleri bilindiinden 2nk adet ksta sahip olacaktr. Bu kstlar her kamera için 6 adet kamera iç parametresi( fx, f c c k ky, ,x y, ,1 2), her bir
kamera konumunda 6 adet olmak üzere 6n adet kamera d parametresinin hesaplanmasnda kullanlacaktr. Bu durumda denklem çözümünün gerçekletirilmesi için kst saysnn deiken saysna eit ya da büyük olmas(ar kst) gerekir;
2nkt6n 6 n k( t 3) 3 (2.28)
Her ne kadar n=1 ve k=6 için çözüm üretiliyormu gibi görünse de, kamera d parametrelerinin hesaplanabilmesi için en az iki kamera bak açsna ihtiyaç duyulmaktadr. Bu koullarda bir dier kst;
2
nt (2.29)
olacaktr. Bu durumda en düük yaplandrma iki farkl kamera için (n=2) en az 5 köe noktasnn bulunmas gerekmektedir (kt ). Böylece en az 3 x 3 lük bir 5
17
kalibrasyon tahtasnn kullanlmas gerektii gözükmektedir. Ancak pratik uygulamalarda klandrma koullar da dikkate alnarak 8 x 8 vb. bir kalibrasyon tahtasnn kullanlmas daha uygun olacaktr.
Kamera iç ve d parametreleri bu bilgiler dorultusunda eitlik (2.26) ve eitlik (2.27) kullanlarak;
1 11 2 1 11 11 22 12 2 13 1 12 13 11 23 2 11 22 12 / / ( ) / x y x x y f s f s s s s c s f s s s s c s s s J J J (2.30) Burada;
2 2 12 13 11 23 13 1 33 2 11 11 12 11 22 s s s s s s s s s s s J
Kamera d parametreleri de benzer biçimde;
1 1 2 1 1 2 2 2 3 1 2 1 2 3 d d d r K h r K h r r r t K h J J J u (2.31) Burada; 2 1 1 1 d K h
J
Kamera d parametreleri hesaplanrken bir noktaya dikkat etmek gerekir. Hesaplanan R dönme matrisi (R
>
r1 r2 r3@
) ortagonal olduundan;T T
18
artn salamas gerekir. Bununla birlikte hesaplanan dönme matrisi çok büyük olaslkla bu yapda olmayacaktr. Bu nedenle R matrisinin SVD1 si alndnda;
T
R U S V (2.33)
R ayn zamanda ortanormal bir matris olduundan SVD sonucu elde edilen S
bileeninin birim matris(I) olmas gerekmektedir. Bu nedenle hesaplanan S deeri yerine birim matris yazlarak R tekrar hesaplandnda ortanormal özellikleri salayan bir dönme matrisi elde edilmi olacaktr;
' T
R U I V (2.34)
Son olarak, kamera parametre hesabnda önemli bir noktaya dikkat edilmesi gereklidir. Kamera iç parametrelerindeki bozunum katsaylar olan k ve 1 k deerleri 2 kamerann dier iç ve d parametrelerinin hesaplanmasna dorudan etkimektedirler. Bu durumda görüntü düzleminde alglanan noktalar bozunum etkisiyle hatal deerler alacak, böylece tüm iç ve d parametre hesaplarnda hatalar meydana gelecektir. Bu durumu önlemek için eitlik (2.4)’deki bozunum parametreleri en küçük kareler ve türevi yöntemler ile yaklak olarak hesaplanmasnn ardndan dier iç ve d parametrelerin hesaplanmasna geçilmelidir.
2.3.2 Kamera Kalibrasyonu Deneysel Çalma
Bu bölümde önceki bölümde anlatlan kalibrasyon teknii kullanlarak uygulamada kullanlan kamerann kalibrasyon ilemleri gösterilecektir. Kalibrasyon için 10 x 9 damal kalibrasyon tahtas kullanlmtr. ekil 2.4 ‘de kamera kayt durumunda iken ekrann önüne tutulan kalibrasyon tahtas görülmektedir. ekil 2.5 ‘de kalibrasyon tahtasnda kalibrasyon için kullanlan noktalar iaretlenmitir. Kamera 640 x 480 piksel çözünürlüklü görüntü alm olup CCD boyutu 5.75 x 4.31 mm dir. Elde edilen kamera iç ve d parametreleri Çizelge 2.1 ‘de gösterilmitir.
1
19
ekil 2.4 : Kamera kalibrasyonunda kullanlan damal kalibrasyon tahtas
ekil 2.5 : Kalibrasyon tahtasnda bulunan köe noktalar. Bu noktalar kalibrasyon parametrelerinin hesaplanmasnda kullanlacaktr
20
Çizelge 2.1 : Kamera iç parametreleri Kamera x f fy c x cy k 1 k2 (5.71x4.31mm)@640x 480 8.6855m m 7.8676m m 3.2925m m 1.9795m m -0.506mm 0.602mm
Kalibrasyon sonras bozunum parametreleri ile görüntü düzlemindeki kayma etkisi ekil 2.6‘da gösterilmektedir.
21
3. GÖRÜNTÜ LEME KATMANI
Görüntü ileme mimarisi, sistemin alglama seviyesinde ulalabilir uzaydaki nesne konumlarnn elde edilebilmesi için uygun bir biçimde yaplandrlmaldr.
3.1 Görüntüde Hareket Alglamas
Görüntü sistemlerinde teknik olarak sürekli bir hareketin elde edilebilmesi için örnekleme frekans süreklilii bozmayacak biçimde2 ardl bir görüntü srasnn yakalanabilmesi ve gözlenebilmesi gerekmektedir. Görüyle hareketin kavranabilmesi iki açdan önem tamaktadr. Bunlardan birincisi, görüntü düzlemi üzerindeki izdüümlerinden cisimlerin ekillerinin, konumlarnn ve üç boyutlu hareketlerinin kestirilebilmesidir. Dier önemli nokta ise, alglaycnn içinde bulunduu ortam ile ilgili bir ön bilgi sunabilmesidir [23].
Cisimlerin hareketinin görüntü düzleminde oluturaca etki temel olarak bir boyutlu noktasal bir cismin hareketi ile kavranabilir. ekil 3.1‘de iki boyutlu bir düzlemdeki bir noktann bir boyutlu düzlemdeki çizgisel hareketinin 0. bölümde incelenen ine delii kamera modelindeki görüntü düzlemi üzerinde kamera odak noktas f, cismin uzakl ve hzna bal deiimi gösterilmektedir.
ekil 3.1’deki sistem göz önünde bulundurularak eitlik (2.1)‘de türetilen ine delii kamera modeli;
a
X
x f
Z (3.1)
Noktann ekran üzerindeki izdüümü zamana bal bir fonksiyon olarak ele alndnda eitlik (3.1) yeni durumda;
( ) ( ) X x t f Z t (3.2) 2
22 x,y Z f QG X a x b x a X b X ZQG 't
ekil 3.1: ki boyutlu bir düzlemdeki bir noktann bir boyutlu düzlemdeki çizgisel hareketi
Eitlik (3.2)’nin zamana göre ksmi türevi alndnda, noktann ekran üzerindeki izdüümünün hareket hz bulunacaktr;
1 ' 2 ( ) ( ) ( ) x t Z t x t fX t t fX Z Q w w w w (3.3)
Eitlik (3.2)ve eitlik (3.3) birbiriyle oranlandnda;
2 ( ) '( ) X f x t Z x t fX Z W Q (3.4)
Burada W ekrana doru çizgisel hareket eden noktasal cismin ekrana çarpma süresini göstermektedir. Eitlik (3.4) ile herhangi bir üç boyutlu koordinat bilgisi verilmeyen bir noktann ekrana varma süresi hesaplanabilmektedir. Bu bize hareket ve hz alglamas ile ilgili önemli bir ipucu vermektedir. Doada böcekler gibi basit görme duyu organlarna sahip canllar da benzer prensipleri kullanarak navigasyonlarn salayabilmektedirler [24]
23 3.1.1 Hareket analizindeki problemler
Hareket alglamasnda temel olarak iki problemden söz edilebilir:
1. Örtüme : Sral iki görüntü çerçevesi arasnda hangi piksel bölgelerinin hangi piksel bölgelerine karlk geldiinin belirlenmesi ilemidir.
2. Geriçatma : Birbirine karlk gelen(örtüen) noktalar üç boyutlu uzaydaki bir cisim veya yüzey ile ilikilendirebilmek ve böylelikle cismin üç boyutlu hareketiyle ilgili bir bilgi oluturabilmektir.
Tasarmla ilgili ortaya çkan bir dier problem de tekil veya ikili( stereo) kamera sistemlerinden hangisinin kullanlmas gerektiidir. Stereo kamera sistemlerinin kullanld durumda örtüme problemi derinlik hesaplamasnn önüne geçmektedir. Tekil kamera kullanmnda ise, benzer geometrik yaplarna karn stereo görüntülemedeki nesne/hareket çiftlerinden yap kestirimi yerine kamerann takip eden piksel kümeleri arasndaki göreli hareketten derinlik analizi yaplmaktadr. Bu kullanm ayn zamanda kalman filtresi gibi özyinelemeli sistemlerin takip mekanizmasna eklenebilmesini mümkün klmaktadr. Stereo görüntüleme ileminde bir nesne bir bütün olarak ele alnmakta ve cismin bal hareketi cismin geometrik bütünlüüyle ilikilendirilmektedir. Tekil kamera ile hareket analizinde etkin takip yöntemleri ile herhangi bir bölgenin cismin bütününden bamsz hareketinin hesaplanmasna olanak tanmaktadr. Bununla birlikte stereo görüntüleme sistemi ile kamera hareketinin olmad durumda da belirli mesafelerde statik derinlik hesab yaplabilmektedir. Tekil kamera kullanmnda uzamsal ve zamana bal hareket kestirimi ancak bal optik ak durumunda(kamera ve/veya cismin hareketi) mümkün olabilmektedir.
Optik ak yöntemlerinin görüntü çerçeveleri arasndaki örtüme bilgisinin elde edilmesinde getirdii kolayla karlk geriçatma ilemleri tam aksine stereo görüntülemeye oranla zorlamaktadr. Bunun öncelikli nedeni, üç boyutlu uzaydaki bir nokta ile kamera arasndaki göreli hareket ilikisinin gürültüye açk olmasndan kaynaklanmaktadr. Iklandrma koullarndaki deiimler, kamera iç parametrelerindeki belirsizlikler gibi nedenler ve kamerann konum deiiminin araç sistemlerinde odometri ve IMU gibi gürültü oran yüksek sensörlerden elde edilmesi ve bu bilgilerin geri çatma ileminde kullanlmasdr.
24
Bu aamada tekil kamera ile derinlik alglama sistemindeki ön ilemlerden bahsedilecektir.
3.2 Görüntüde Takip Noktalarnn Belirlenmesi
Hareket takibi için ilk aamada çalma ortam içindeki takip edilebilir noktalarn belirlenmesi gerekmektedir. Takip edilmesi istenilen noktalar yerel bölgelerinde kendilerine has baz özelliklere sahip olmal ve bölgedeki dönme ve öteleme gibi hareketlerden etkilenmemelidir. Bu özelliklere sahip noktalar genel olarak keskin kontrast geçilerine sahip olan kenar noktalar ve özellikleri bilinen belirli iaretçi noktalar olacaktr. aretçi noktalar nesne üzerindeki belirli bir iaret veya konum belirleme amaçl aramay kolaylatran daha önceden belirlenmi olan ekil, renk ve dokuya sahip yaplardr. Dier durumda ise iaretçiler kenar köe gibi yüksek kontrast geçilerinden veya rastgele datlm nokta kümelerinden olumaktadr. Uygulamann genelletirilebilmesi açsndan bilinmeyen ortamlarda da algoritmalarn çalmas dier bir deyile belirli iaretçilerin olmad koullarda da ilemlerin doru ve güvenilir bir ekilde gerçekletirilebilmesi gereklidir. Bu nedenle yaplan çalmada takip noktalar köe tanma algoritmalar üzerinden belirlenecektir. Kontrasta bal iaretçi seçiminde köe noktalar kenarlara oranla daha güvenilir takip noktalar salayacaktr. Bunun nedeni klandrmann eit dalml olduu kabul edilerek bir kenar çizgisi boyunca kontrast deiiminin sabit olmasdr. Bu nedenle kenar üzerinden örneklenen bir bölge kenar üzerindeki dier bölgelerle rahatlkla kartrlabilir. Bu nedenle cisimlerin uç noktalarndaki daha özgün özellikler içeren köe noktalarnn seçilmesi uygun olacaktr [25]
Bu türdeki iaretçilerin bulunmas için Harris ve Stephens köe bulma yöntemi yaygn olarak kullanlmaktadr [26]. Harris ve Stephens köe bulma yöntemi, iki boyutlu görüntü düzleminde, görüntü parçacklar ufak miktarda kaydrlarak oluturulan k younluu deiimlerinin( I ) ikinci türevlerinin bulunmas hesabna dayanmaktadr. Köe noktalar, x ve y eksenindeki ve bu eksenler arasndaki etkileimli k deiimlerinin ikinci türevlerinin oluturduu öziliki(otokorelasyon) matrisinin özdeerlerinin( ,D E ) belirli bir eik seviyesi ile karlatrlmas ile elde edilmektedir. Bahsi geçen M öziliki matrisi eitlik (3.5)‘de gösterilmitir.
25 2 , , , , 2 , , , , ( , ) ( ) ( ) ( , ) ( ) ( ) ( , ) i j x i j x y i j i j i j x y i j y i j i j w I x i y j w I x i I y j x y w I x i I y j w I x i y j ª º « » « » « » ¬ ¼
¦
¦
¦
¦
M (3.5)Bununla birlikte Harris ve Stephens ‘n ad geçen orijinal makalesinde öziliki matrisinin özdeerlerinin hesaplanmasndan ilem yükünden dolay kaçnlm ve köe noktalarnn bulunmas için edeer yeni bir yöntem önermilerdir.
Öziliki matrisi deerleri üzerinde A, B ve C parametreleri tanmlansn;
2 , , 2 , , , , ( , ) ( , ) ( ) ( ) i j x i j i j y i j i j x y i j A w I x i y j B w I x i y j C w I x i I y j
¦
¦
¦
(3.6)Bu durumda eitlik (3.5)‘deki öziliki matrisi;
( , )x y A C C B ª º « » ¬ ¼ M (3.7)
Probleme dorusal yaklam yaplarak özdeer hesaplamas yerine köe kontur yant fonksiyonu3 tanmlanmtr. Bu fonksiyonun elde edilmesi için öncelikle öziliki matrisinin köegen deerlerinin toplam(eitlik (3.8)) ve öziliki matrisinin determinant(eitlik (3.9) ) bulunur. ( ( , )) TraceM x y D E A B (3.8) 2 ( ( , )) Det M x y DE ABC (3.9)
Eitlik (3.8) ve eitlik (3.9) kullanlarak köe kontur yant fonksiyonu eitlik (3.10)‘daki biçimde tanmlanr.
2
( ( , )) ( ( , )) ; : Bölge köe bölgesidir Bölge kenar bölgesidir
R Det x y k Trace x y k sabit
R eik Eer R eik t ® ¯ M M (3.10) 3
26
Bununla birlikte Shi ve Tomasi [25] köe noktalarnn elde edilmesi için öziliki matrisinin özdeerlerinden küçük olannn belirli bir eik seviyesinden büyük olmasyla elde edilen köe noktas çkarmnn köe kontur yant fonksiyonundan daha iyi sonuç verdiini göstermilerdir;
min[Eig[M( , )]]x y !eik (3.11)
Takip noktalarnn bulunmasnn ardndan bir sonraki nokta kamera ve hedef nesne arasndaki hareket ilikini ele alan optik ak algoritmalarnn gelitirilmesi sürecinden bahsedilecektir.
3.3 Görüntüde Optik Akn Belirlenmesi
Optik ak zamanla deien imgelerden bal hareket yönünün saptanmas olarak tanmlanmaktadr. Optik ak algoritmalar gelitirilirken bir takm varsaymlardan faydalanlmaktadr. Bunlardan ilki takip edilen noktann edalml(izotropik) ma yapmas, dier bir deyile yansma yüzeyinin Lambert yüzeyi olmasdr [23]. Böylece iki farkl konum arasnda piksel bölgesi klandrma farkllklarndan etkilenmeyecektir. Dier bir önkabul ise ortamdaki klandrma kaynann tek bir bölgeden düzgün bir biçimde ortama dalmasdr. Gün nn etkin olduu d ortamlarda bu varsaym mümkün olmakla birlikte, farkl k kaynaklarnn bilekesi ile aydnlatlan iç ortamlarda bu varsaym geçerliliini yitirecektir. Bu nedenle genel olarak görüntü ileme algoritmalar bir ilevi yerine getirirken paralel birden fazla algoritmann birleimi olarak ortaya çkmaktadrlar.
Optik akn belirlenebilmesi için temel olarak iki yöntem bulunmaktadr. Bunlardan birincisi belirli bir bölgedeki toplam ak bilgisi üzerinden bu bilgiyi salayan youn(dense) optik ak ve dieri noktalarn belirli özellikleri üzerinden takibi ilkesine dayanan ayrk(sparse) optik ak yöntemidir. Youn optik ak yöntemleri farkl hareket hz ve yönüne sahip ayrk nesnelerin blok halinde belirlenebilmesi için uygun bir yöntemdir. Ancak üç boyutlu derinlik hesaplamasnn yapld bu durumda, nesneler üzerindeki yerel hareket hzlarnn belirlenebilmesi önemlidir. Bu nedenle ayrk optik ak yöntemleri haritalama algoritmalar için daha uygun bir seçenek olacaktr.
27
3.3.1 Lucas-Kanade yöntemiyle optik akn hesaplanmas
Bu çalmada görüntüdeki optik ak hesaplamalar, Lucas-Kanade yöntemi [27] ve bunun üzerine sonradan yaplan çalmalar [28] temel alnarak yaplacaktr.
Lucas-Kanade yöntemi yerel bir piksel bölgesinde k younluunun zamanla deiimini dikkate alarak, deiim farklarnn kareleri toplamndan bölgeler arasnda eletirme yaplmasna dayanmaktadr. Bu yöntemde k younluundaki farklara dayanan bir bedel(cost) fonksiyonunun minimizasyonuna dayanmaktadr. Lucas-Kanade yöntemi orjinalinde bir youn optik ak yöntemi olarak önerilmise de yapsnn ayrk noktalarn takibine de uygulanabilmesinden dolay genel kullanm alann ayrk optik ak yöntemleri içerisinde bulmutur. Bu yöntem gürültülü ortamlarada bata youn optik ak yöntemleri olmak üzere dier yöntemlere oranla daha doru ve güvenilir sonuçlar sunmaktadr. Bununla birlikte Lucas-Kanade yöntemi baz önkoullar ile birlikte sunulmaktadr. Bunlar sabit parlaklk oranlar, görece yava hareketler ve ayn yüzey üzerinde edeer hareket varsaymlardr. Optik ak hznn x ekseni bileeni uG, y ekseni bileeni vG olarak tanmlanrsa optik ak hz denklemi eitlik (3.12)‘de gösterildii gibi elde edilecektir.
T 1 T ( ) u b v ª º « » ¬ ¼ A A A G G (3.12)
Burada A matrisi n adet noktann x,y eksenlerindeki uzamsal parlaklk deimlerini simgelemektedir; 1 1 2 2 ( ) ( ) ( ) ( ) ( ) ( ) x y x y x n y n I p I p I p I p I p I p ª º « » « » « » « » « » ¬ ¼ A # # (3.13)
ve b nokta parlaklklarnn zamanla deiimini simgeleyen vektördür;
1 2 ( ) ( ) ( ) t t t n I p I p b I p ª º « » « » « » « » ¬ ¼ # (3.14)
28
Eitlik (3.12) piksel bölgesindeki k younluunun uzamsal ve zamansal deiimini birbirine balamaktadr. Belirli bir piksel alan için eitlik (3.12) tek eksenli k deiimi uzamsal ve zamansal bileenleri cinsinden tekrar düzenlendiinde;
( ( ), ) ( ( ), ) ( ) ( ) ( ) I x t t I x t t x t I t t x t t t w w w w w w w w (3.15)
Köe noktalar kontrast deiim hznn deiiminin dier bir deyile k deiiminin ikinci türevinin minimum olduu bölge civarnda bulunacandan eitlik (3.15) kenar ve köe noktalar için tekrar düzenlendiinde;
N N ( ( ), ) 0 ( ( ), ) ( ) ( ) 0 ( )
; tek boyutlu optik ak hz
t x I x t t t I I x t t x t I t x t t t Q I Q w w w w w w w w t x I I (3.16)
Bu durum ekil 3.2’de Gauss gürültüsü uygulanm bir nokta için gösterilmitir.
I(x,t) QG I(x,t+1) t IG x IG Z a m a n E k s e n i Uzam Ekseni t anndakiEkran üzerinde Gauss gürültüsü eklenmi nokta Noktalarn k iddetlerinin uzamsal deiimi t+1 anndaki Ekran üzerinde ayn nokta
29
Optik hzn elde edilebilmesi için iteratif yöntemlere ihtiyaç duyulmaktadr. Bu balamda eitlik (3.16)‘dan elde edilen eitlik (3.17)‘deki ayrk zamanl optik hz denklemi Newton-Raphson yöntemi ile çözülerek yaklak hz bileeni elde edilmektedir(ekil 3.3). 1 t k k x I I Q Q (3.17) t IG QG x IG
ekil 3.3 : Optik ak hznn iteratif olarak elde edilmesi ki boyutlu hareket için eitlik (3.16) yeniden düzenlendiinde;
N N N ( ( ), ( ), ) 0 ( ( ), ) ( ) ( ( ), ) ( ) ( ) 0 0 ( ) ( ) y x y t I x t y t t t I x t t x t I y t t y t I t I I u I x t t y t t t Q w w w w w w w w w w w w t x u I I I (3.18)
Eitlik (3.18)’de tek bir eitlik bulunmasna ramen x, y eksenlerindeki hzlara karlk gelen iki deiken bulunmaktadr(u,v). Bu nedenle (u,v) hz çifti tek bir vektörde toplanp; u v ª º « » ¬ ¼ uG (3.19)
30
x ve y eksenlerindeki k younluu deiim hzlar I ve x I de bileke k y
younluu deiim vektöründe toplandnda;
, x x y y I I ª º « » ¬ ¼ I G (3.20)
Bu durumda eitlik (3.18)’deki iki eksenli optik hz denklemi eitlik (3.21)‘deki gösterime indirgenmi olacaktr.
T , 0
x y
I u (3.21)
Eitlik (3.21)’deki yap ekil 3.4‘de gösterilmektedir.
u
G
Q
G
, t x y I Ix
I
G
y
I
G
ekil 3.4 : ki boyutlu eksende optik hz bileenleri
Eitlik (3.13)’de görülen A matrisinde seçilen n adet nokta ile eitlik (3.12)’deki denklemin çözümü ar kstl4 bir sistem çözümü olarak karmza çkmaktadr. Bu nedenle sistemin çözüm kümesi en küçük kareler minimizasyon yöntemi(MMSE) kullanlarak bulunacaktr;
2 ,
min IGx yuGIGt (3.22)
Buradan eitlik (3.22) ‘yi sfra eitleyip, iki eksenli optik hz çekildiinde;
4
31
T
1 T , 0 , , , x y t x y x y x y t I u I u I I I I (3.23)
Eitlik (3.23)’de çözümün bulunabilmesi için Ix y, TIx y, matrisinin tersinin alnabilmesi gereklidir. Ix y, TIx y, matrisinin tersinin alnabilmesi için matris ranknn 2 den küçük olmamas gerekir;
T
1 T , , ( , , ) 2 x y x y rank x y x y I I I I (3.24)
Eitlik (3.24) ancak Ix y, TIx y, matrisinin iki büyük özdeere sahip olmasyla salanacaktr. Bu durum ancak ve ancak yerel ilgi alanndaki piksel bölgesinin k younluu deiiminin iki farkl yönde de olmasyla gerçekleebilir. Bu özellie en yakn nitelikteki bölümler cisimlerin köe noktalardr [25]. Bu nedenle takip edilmesi gereken noktalarn köe noktalar olmas gerektii de kantlanm olmaktadr.
3.3.1.1 Açklk(aperture)problemi
Dar bir bak açs etrafnda optik ak için öncelikli varsaymlardan biri olan zamanla deimeyen k younluu deerinin(wI x t t( ( ), ) /w ) eitlik (3.18)‘deki t 0 optik ak denklemlerindeki k iddeti bantsndaki kstlar yerine getirilememektedir. Eitlik (3.18)’de piksel bölgesindeki k iddeti deiimi ve piksel hareketi birbiriyle ilikilendirilmitir. Bununla birlikte dar bir bölgenin izlenmesi ile hareketin zamanla deiiminin tam olarak kestirilememesi problemi ortaya çkmaktadr(ekil 3.5). Hareket yönü Gözl eml enen Har eket yönü
32
Kamera açklna bal olarak optik akn yanl kestirimini önlemek amacyla Lucas Kanade yönteminin hiyerarik bir yapda uygulanmas gereklidir [29]. ekil 3.6‘da Hiyerarik Lucas-Kanade yönteminin temsili gösterilmektedir.
ekil 3.6 : Hiyerarik Lucas Kanade optik ak kestirim yöntemi 3.3.2 Piksel alt izdüüm koordinatlarnn hesaplanmas
Açklk problemine benzer bir dier problem de takip edilen iki noktann görüntüleme yüzeyindeki hareketinin en iyi durumda bitiik iki piksel arasnda örneklenebilmesidir. Bununla birlikte görece uzak mesafelerdeki takip noktalarnn deiimi gerçekte iki piksel aras mesafeden daha az uzunluklarda olabilir. Literatürde kamera kalibrasyonu için piksel alt deerlerini kullanan çalmalar mevcuttur[ [30], [31]]. Bu durumda piksel alt nokta takibi Levenberg-Marquardt vb. eri uydurma yöntemleri ile robot belirli bir yörünge izlerken iteratif olarak gerçekletirilebilir. ekil 3.7‘de piksel alt nokta koordinatlarnn belirlenmesi görülmektedir.
3.4 Iraklk(Paralaks) Açs ile Nesnelerin Derinlik Analizi
Takip noktalarnn üç boyutlu koordinatlarnn hesaplanabilmesi için perspektifteki raklk etkisinden faydalanlacaktr. Iraklk etkisi üç boyutlu uzaydaki noktalarn kamera görüntüleme yüzeyine olan izdüümlerinin kamera hareketi ile deimesidir.
33
Piksel ölçeinde hareket
Piksel alt ölçekte hareket
ekil 3.7 : Eri uydurma ile piksel alt koordinatlarn elde edilmesi
Bu etki özellikle astronomide görece yakn gökcisimlerinin uzaklklarnn kabaca kestiriminde kullanlmaktadr. Iraklk etkisi, noktalarn optik ak yöntemiyle hareket boyunca görüntü düzlemindeki izdüümlerinin deiiminin hesaplanp, üç boyutlu uzaya geri çatlmas ileminde kullanlacaktr.
Üç boyutlu uzayda sabit bir X noktasnn kamera hareketi boyunca X noktasna hareket ettii varsaylsn. Bu noktalarn üç boyutlu uzaydaki koordinatlar;
[ ] [ ] X Y Z X Y Z & & (3.25)
eklinde tanmlanmaktadr. Bu noktalarn iki farkl kamera konumunda alglayc düzlemine olan izdüümlerinin hareket alan vektörleri ve vektör hzlar srasyla F,
F ve u , u olsun. Bu durumda vektör hzlarnn dönme R ve öteleme T bileenleri cinsinden yazm; x x x y y y x x x y y y u u u u u u u u u u u u R T R T R T R T (3.26)
34
ki düzlem arasndaki hz farklar alndnda dönme ile ilgili terimler birbirini götürecektir; x x x y y y u u u u u u ' ' T T T T (3.27)
Noktann ekran üzerindeki izdüümünün hareket hznn verildii eitlik (3.3) ve (3.27) birlikte düünüldüünde hz fark denklemleri;
x x x x z y y y y z Z Z u u u T f T x ZZ Z Z u u u T f T y ZZ ' ' T T T T (3.28) , x y u u ª' ' º
¬ ¼ vektörü göreli hareket alan olarak düünülebilir. Dier kamera deikenleri sabit durumdayken F,Fnoktalar arasndaki derinlik deiimi hareket alan vektörünü arttracak ekilde sisteme etkiyecektir. ekil 3.8‘de Kamerann zamanla deiimine bal olarak(basitletirme için tek eksende yatay hareket) raklk açs Tp’nin deiimi gösterilmitir.
Farkl görüntü düzlemlerindeki bu etkileri tanmlayabilmek için üç boyutlu hareket analizinde kullanlan geometrik tekniklerin ayrntlandrlmas gerekmektedir. Bir sonraki bölümde bu geometrilerden kullanllk bakmndan uygulama için en uygun geometri olan epipolar geometri sistemi anlatlacak ve raklk etkisinin epipolar geometri üzerindeki temsilinden bahsedilecektir.
35 p T
Z
Z
R, T R, T37 4. ÇFT BAKILI GEOMETR
Bu bölümde çift bakl görü sistemleri için gerekli geometrik hesaplar hakknda bilgi verilecektir. Bu kapsamda epipolar geometri tanm yaplacak, geometrinin dönüüm elemanlar olan öz(essential) ve temel(fundamental) matrisleri ve bu matrislerin bulunmas hakknda bilgi verilecektir.
4.1 Epipolar Geometri
Stereo görüntüleme ile ilgili en temel geometri epipolar geometri olarak adlandrlmaktadr. Epipolar geometri temel olarak iki bak açsndan üç boyutlu uzayda ortak noktalar kümesinin her iki görüntüleme yüzeyine olan izdüümünden meydana gelmektedir. Epipolar Düzlem
X
x X’ X e’ e l’ekil 4.1 : Epipolar geometri temsili
ekil 4.1’de bir görüntüleme sitemi için epipolar geometri yaps oluturulmutur. Burada C, C’ srasyla birinci ve ikinci kamera merkezlerini, X uzayda takip edilen bir noktay, x ve x’ X noktasnn birinci ve ikinci kamera düzlemlerine olan izdüümlerini göstermektedir. e ve e’ epipole noktalar olarak adlandrlmakta ve
38
kamera merkezlerini birletiren dorunun görüntüleme düzlemini kestii noktay ifade etmektedirler. l'kamera merkezleri C, C’ ile X noktasn birletiren epipolar düzlemin ikinci kamerann görüntüleme düzleminde oluturduu kesiti simgelemektedir. Epipolar geometri bu noktada bir X noktasnn, belirtilen deikenler araclyla birinci ve ikinci kameradaki izdüüm hesaplamalarnda kullanlmaktadr. Örnein bir stereo görüntüleme sisteminde X noktasnn birinci kamera üzerinde dütüü piksel koordinatlar x noktasn gösterirken ayn noktann ikinci kamerada nereye denk dütüünü hesaplamak için epipolar düzlemin ayn kameradaki kesiti üzerinde dier bir deyile epipolar doru üzerinde o noktann aranmas gerekmektedir [32].
Bu tezde yaplan çalmada optik ak yöntemiyle bir noktann her iki kamerada konumundaki izdüümü bilindiinden elde edilen ek bilgi X noktasnn derinlik bilgisinin hesaplanmasnda kullanlmaktadr. Bu aamada hesaplamalarn anlalabilmesi için epipolar geometri ayrntlandrlacaktr.
4.1.1 Öz Matris (E)
Öz matris epipolar geometri içinde iki kamera merkezi arasndaki geometrik dönüüm bilgilerini tutmaktadr. Öteleme bilgisi iki kamera merkezi arasndaki Öklid uzakln (TG), dönme bilgisi ise kamerann o noktadaki yönelim(RG) fark bilgisini içermektedir.
39
Uzaydaki herhangi bir X noktasnn sol kamera merkezi orjin kabul edilerek elde edilen koordinatlar X , sa kamera merkez kabul edilerek elde edilen koordinatlar l
r
X olsun. Bu durumda iki farkl merkezli sistem arasndaki geometrik bant;
( )
r l
X R X T (4.1)
ile gösterilir(ekil 4.2).
Bir düzlem üzerinde x ile gösterilen bir noktann üzerinde tanmlanan yüzey normali nG ise, bu nokta ile bir t noktas arasndaki bir vektör için;
(x t nG G)< 0 (4.2)
eitlii yazlabilir. Stereo kamera sisteminde örnek olarak sol kamera için C kamera merkezinden TGile ötelenmi bir X noktas için eitlik (4.2) temel alnarak eitlii l yazlabilir.
T
ˆ ˆ
(XlT) (TuXl) 0 (4.3)
Burada nokta koordinatlar üzerindeki apka iareti koordinatlarn normalize koordinatlar olduunu göstermektedir(w ). Eitlik (4.1) kullanlarak eitlik (4.3) 1 yeniden düzenlendiinde eitlik (4.4) elde edilir.
1 ˆ T
( Xr) ( Xl) 0
u
R T (4.4)
Rortogonal bir matris olduundan eitlik (4.4) hesaplama kolayln salamak amacyla yeniden düzenlendiinde;
T ˆ T
40
Eitlii elde edilmektedir. Kartezyen çarpm yerine R aykr simetrik matris5 olduundan aykr simetrik matris elenik çarpm gösterimi kullanlarak eitlik (4.5) tekrar düzenlenirse; T ˆ T (R Xr) (TuXl) 0 T ˆ T (R Xr) ([ ]T xXl) 0 T T ˆ (Xr) R T[ ] (x Xl) 0 (4.6)
Burada öz matris(E) tanm eitlik (4.6)’da Dönme ve öteleme matrislerinin çarpm biçiminde tanmlanmaktadr:
T[ ]
x
E R T (4.7)
Eitlik (4.6)’nn kamera ekranndaki piksel koordinatlar cinsinden ifade edilmesi uygulama açsndan daha kullanl olacaktr. Bu durumda sol ve sa kamera merkezlerine(C, C’) göre ifade edilen gerçek koordinatlarda tanml nokta(lar)n(X ,l
r
X ) ekran düzlemi üzerindeki izdüümleri srasyla;
ˆ / ˆ / l l l l r r r r x f X Z x f X Z (4.8)
Olacaktr. Burada fl r, sol ve sa kameralarn piksel/mm cinsinden odak uzakln
,
l r
Z ise takip edilen noktalarn kamera merkezlerine olan uzakln simgelemektedirler. Eitlik (4.7) ve (4.8) kullanlarak eitlik (4.6) yeniden düzenlendiinde eitlik (4.9) elde edilir.
T T ˆr ˆl 0
x Ex (4.9)
Öz matris eitlik (4.7)’de gösterilen biçimde tanmlandndan çarpm oluturan her iki matrisin de 3 serbestlik derecesine sahip olmasna karlk [ ]T matrisinin aykr x simetrik matris olmasndan dolay matrisin iki özdeeri birbirine eit olacandan dolay E matrisinin serbestlik derecesi 5’ e, matris rank ise 2’ye dümektedir. Öz
5
