Uzaklık tespiti

Kamera parametreleri ve referans değerleri bilindiği durumda, derinlik haritası verileri kullanılarak nesnelerin gerçek uzaklıklarının tespiti yapılabilmektedir. Bu verilerin ölçülebilmesi için piksel cinsinden odak uzaklığı, metre cinsinden kameralar arası uzaklık ve piksel cinsinden ölçülecek nesnenin sağ ve sol görüntüdeki piksel farklarının değerinin bilinmesi gerekmektedir [77, 76].

𝐷 = ^{𝑏. 𝑓}

𝑃′_𝑙− 𝑃′_𝑟 ^(3.37)

Tez kapsamında, sağ ve sol görüntüden elde edilen eşleşen noktaların farklıyla oluşturulan ve normalize edilen derinlik görüntü bilgisi üzerinden gerçek uzaklıklar Denklem 3.37 yardımıyla tespit edilmiştir. Uzaklık tespitinde sol ve sağ görüntüde eşleşen noktaların bulunmasındaki hata, gerçek uzaklık tespitinde de hataya sebep olacaktır. Yukarıdaki Denklem 3.37’de; ‘D’ değeri gerçek uzaklık tespit değerini belirtirken, ‘b’ değeri kameralar arasındaki uzaklığı, ‘f’ değeri ise kameranın odak uzaklığını ifade eder. Şekil 3.64.’deki ‘𝑃′_𝑙’ ve ‘𝑃′_𝑟’ noktaları ise, gerçek uzaydaki bir ‘𝑃_{(𝑥,𝑦,𝑧)}’ noktasının görüntüler üzerindeki karşılığı olan izdüşümlerini belirtmektedir. Burada kamera parametreleri kullanılarak elde edilen veriler ve derinlik haritası kullanılarak piksel cinsinden ölçülen noktalar arasındaki fark olan ‘d’ değeri kullanılarak tahmini gerçek uzaklık değeri ‘D’ Denklem 3.38’deki şekilde hesaplanmıştır.

𝐷 =^{𝑏. 𝑓}

Denklem 3.38’de derinlik haritasından elde edilen ‘d’ değeri, kaynak araştırması bölümünde de belirtildiği üzere, kameradan uzaklaşarak ufuk noktasına doğru gittikçe hata değeri artan bir eğilim göstermektedir. Bu sebeple gerçek uzaklık değeri olan ‘D’ değerinin de hata oranı uzaklıkla lineer olmayan biçimde doğru orantılı artacaktır.

Şekil 3.64. Stereo kamera sisteminde epipolar doğru ve P noktasının izdüşümleri.

Sistem başarım testi için kullanılan KITTI veri setinde kullanılan kamera parametreleri ve sistemlerinin kurulumu, Geiger ve arkadaşları tarafından yayınlanan makalelerinde bahsedilmiştir [55]. Burada belirtilen kamera parametreleri ‘data_calib.zip’ klasöründe tutulmaktadır. ‘f’’ odak uzaklığı değerini barındıran kamera esas (intrinsic) değerler matrisi de bu klasörün içinde ‘calib__cam_to_cam.txt’ dosyasına yazılmıştır. Bu dosya içindeki parametrelerin Matlab ortamında tanımlanabilmesi için Lisin’in yorumları ile Geiger ve arkadaşlarının makalesinden yararlanılmıştır [116, 55]. Veri setinde renkli görüntüler kullanıldığından, sol ve sağ renkli kameraları temsil eden üçüncü ve dördüncü kameraların matrisleri işlem için alınmıştır.

𝐶𝑀_𝑖 = [

𝑓𝑥 0 0

𝑠 𝑓_𝑦 0 𝑐_𝑥 𝑐_𝑦 1

] (3.39)

Şekil 3.65. Kamera üzerinde tanımlı odak uzaklığı ve diğer belirtilmiş bazı terimlerin görsel ifadesi.

Şekil 3.65. üzerinde görüldüğü gibi sensör plaka üzerine düşen görüntülerden elde edilen kalibrasyon verileri kullanılarak içsel kamera matrisi, Denklem 3.39’daki formatta kaydedilmiştir. Denklem 3.39’da tanımlanan kamera esas (intrinsic) matrisi ‘𝐶𝑀_𝑖’ içerisinde odak uzaklığı, piksel değerleri cinsinden [𝑓𝑥, 𝑓_𝑦] şeklinde bulunmaktadır [117]. Matristeki ‘s’ parametresi çarpıklık katsayısını (skew coefficient), [𝑐_𝑥, 𝑐_𝑦] ise piksel cinsinden optik merkez koordinatlarını belirtmektedir. KITTI veri tabanından ‘2011_09_26_drive_0070’ görüntü serisi çekimlerindeki 355’nolu görüntü verisi (Şekil 3.66.), test için seçilmiştir. Veri üzerindeki yaya görüntüsüne uzaklık tespiti işlemlerini uyguladığımızda Şekil 3.67.’deki sonuçlar elde edilmiştir.

Şekil 3.66. KITTI-2011_09_26_drive_0070 serisi 355'nolu test görüntüsü.

Şekil 3.67. Bulunan yaya üzerinden hesaplanan uzaklık tespiti.

İncelenen uzaklık tespit yöntemi dışında Matlab fonksiyonu olan ‘triangulate’ komutu da kullanılabilmektedir [118]. Fakat bu yöntemle tespit yapıldığında KITTI veri tabanı kamera parametrelerinden kaynaklı olarak uzaklık tespit sonuçlarının yüksek hata verdiği gözlemlenmiştir.

Veri tabanı görüntüleri kullanılarak yapılan uzaklık tespitinin doğrulaması için farklı kameralarla belirli aralıklarda uzaklık ölçümleri yapılmıştır. 6 ve 10 metre arasındaki uzaklıkların ölçüldüğü doğrulama görüntüleri yüksekliğe bağlı (geniş-açı, dar-açı gibi kamera çözünürlüğü durumundan etkilenmemesi için) oransal çözünürlük eşitleme uygulanarak hesaplanan uzaklıklar ile gerçek uzaklık ölçümleri karşılaştırılmıştır. Şekil 3.68.’deki karşılaştırmada referans yüksekliği ‘1,74’ metre olarak alınmış, antropometrik erkek boy ortalaması ‘1,75’ metre ve standart sapma ‘6,68’ santimetre olduğundan bu değerler doğrultusunda yaklaşık hata değeri belirlenmiştir. Yükseklik değeri sapma aralığı ‘[5,68 – 7,68]’ santimetre olarak farklı uzaklıklarda yükseklik piksel değişimleri oranları karşılaştırılmıştır. Standart boy

sapma değerleri göz önüne alındığında Şekil 3.68.’de ölçülen uzaklık tespitindeki hatanın, gerçek uzaklığa oranla 9 metrede en yüksek ‘[1 – 1,5]’ metre civarında olduğu hesaplanmıştır.

Şekil 3.68. Uzaklık hesaplaması doğrulama testleri (375 piksel yüksekliğe orantılı eşitleme).

KITTI veri seti ‘2011_09_28_drive_0038’ görüntü serisi üzerinden ‘0000000007’ numaralı görüntüde bazı bölgelerin uzaklık testi yapıldığında Şekil 3.69.’deki gibi bir sonuç elde edilmektedir. Görüntü daha iyi görülebilmesi için kesim ve büyütme işlemi uygulanmıştır.

BÖLÜM 4. ARAŞTIRMA BULGULARI

Bu bölümde, materyal ve yöntem bölümünde bahsedilen aşamalar uygulanarak, tez çalışması kapsamında yazılan kodların koşumu sonrasında elde edilen çıktılar incelenmiştir. Oluşturulan sistemin test görüntüler üzerinden elde edilen sonuçları, karşılaşılan hatalar ve başarımlar incelenerek aktarılmıştır.

Gerçekleştirilen testler çoklu alt-sistem elemanlarını barındırdığından; kullanılan veri tabanlarının girdileriyle birlikte sonuçları ve tartışılması alt başlıklar içerisinde belirtilmiştir. Araç sürüş destek sistemi olarak veya otonom araçlarda kullanılabilecek bu tez çalışmasındaki her temel sistem ayrı ayrı veya bütünleşik bir sistem içerisinde entegre edilerek uygulanabilir.

Yapılan işlemler sırasıyla alt başlıklarda da belirtildiği üzere, veri tabanlarından elde edilen stereo görüntülerinden derinlik haritası çıkarımıyla başlamakta ve sonrasında V-disparity dönüşümü ve engel tespiti yöntemleriyle yer düzlemi ve engeller tespit edilmektedir. Bu veriler kullanılarak engel barındıran bölgelerden, yaya olabilecek bölgeler tespit edilerek HOG yaya tanıma filtresi uygulanmıştır. Araştırma bulgularının incelendiği bu bölümde, gerçekleştirilen işlemlerle birlikte öne sürülen engel tanıma yöntemi, literatürdeki en çok kullanılan engel tanıma yöntemiyle karşılaştırılmıştır. Tespit edilen olası yaya bölgelerindeki nesnelerin incelenmesi, HOG yaya tanıma filtresinde görülen değişim ve sonuç çıktıları, en son olarak da tüm sistemin başarısı yine bu bölümde incelenmiştir. Bütün bu alanların geliştirilebilmesi için gelecekte yapılması planlanan çalışmalar da bölüm sonunda ifade edilmiştir.