ANKARA ÜNİVERSİTESİ FEN BİLİMLERİ ENSTİTÜSÜ
DOKTORA TEZİ
UYDU GÖRÜNTÜLERİ / HAVA FOTOĞRAFLARI KULLANARAK ARAZİ SINIFLANDIRMA ÇALIŞMASI
Özlem ŞEN
BİLGİSAYAR MÜHENDİSLİĞİ ANABİLİM DALI
ANKARA 2021
Her hakkı saklıdır
ii
ÖZET
Doktora Tezi
UYDU GÖRÜNTÜLERİ / HAVA FOTOĞRAFLARI KULLANARAK ARAZİ SINIFLANDIRMA ÇALIŞMASI
Özlem ŞEN Ankara Üniversitesi Fen Bilimleri Enstitüsü Bilgisayar Mühendisliği Anabilim Dalı Danışman: Doç. Dr. Hacer YALIM KELEŞ
Derin ağlar ve görüntü işleme teknikleri kullanarak, arazi örtüsü ve arazinin kullanım şeklinin sınıflandırılmasına ilişkin yürütülen bu çalışma kapsamında, iki hipotez sunulmuş ve deneyler yapılmıştır.
İlk hipotez, evrişimsel ağların sınıflandırma başarımı ile model karmaşıklığı arasındaki bağlantıya ilişkindir. Tez kapsamında derin ağlar ile model eğitimi yapılmıştır. Model başarımları literatürdeki örneklerle karşılaştırılmıştır. Model başarımına ilişkin genelleştirme kapasitelerinin farklı veri kümeleri kullanarak ölçülmesi gerekliliğine dair bir öneri sunulmuştur İkinci hipotez ise, hiyerarşik bir sınıflandırma yapısının modellerin sınıflandırma başarısına etkisine ilişkindir. Hiyerarşik bir sınıflandırma sistemi kurulmuş ve deneylerle test edilmiştir.
İlk grup deneylerde; derin evrişimsel ağlarda, modelin evrişimsel katman sayısını çoğaltmak ya da birden fazla model kullanmak yoluyla hesaplama karmaşıklığını artırmak gibi işlemlerin sınıflandırma başarımına etkisi araştırılmıştır. Bu hipotez kapsamında eğitilen model ile literatürdeki diğer çalışmalara yakın bir sonuç elde edilmiştir. Buna ilave olarak geliştirilen modelin genelleştirme yetenekleri farklı veri kümelerinden örnekler test verisi olarak kullanılarak değerlendirilmiştir. Bu yöntemle değerlendirmenin gerekliliği kapsamlı deneysel değerlendirmelerle gösterilmiştir.
İkinci grup deneylerde ise hiyerarşik yapının sınıflandırma performansına yapacağı katkı incelenmiştir. Bu bağlamda, hiyerarşik yapıdaki katmanlardan kaynaklanan koşullu olasılık ve biriken hata oranları irdelenmiş, sonuçlar deneysel çalışmalarla desteklenmiştir. Her bir hiyerarşik aşamanın sınıflandırılması esnasında oluşan hataların birikmesi sebebiyle, bu yapının performansta kayda değer bir iyileştirme getirmediği tespit edilmiştir. Bununla birlikte, farklı hiyerarşik katmanlardaki modeller ayrı/bağımsız olarak değerlendirildiğinde model performanslarında kayda değer artışlar gözlemlenmektedir.
Eylül 2021, 118 sayfa
Anahtar Kelimeler: Derin öğrenme, görüntü sınıflandırma, evrişimli sinir ağları, uzaktan algılama sahne sınıflaması, arazi sınıflandırma
iii
ABSTRACT
Ph.D. Thesis
STUDY ABOUT LAND COVER/USE CLASSIFICATION BY USING SATELLITE AND AERIAL IMAGES
Özlem ŞEN Ankara University
Graduate School of Natural and Applied Sciences Department of Computer Engineering
Supervisor: Assoc. Prof. Dr. Hacer YALIM KELEŞ
In the scope of this study, which is about land cover and land use classification by using deep neural networks and image processing techniques, two hypotheses are conducted and tested experimentally. The first hypothesis concerns the correlation between the classification performance of convolutional neural networks and model complexity. In this context, relatively simpler deep models are trained, and accuracy results of these models are compared with the similar studies in the literature. In this scope, we suggested using different datasets in regard to evaluate the generalization capabilities of the trained models. The second hypothesis is based on the effect of the hierarchical classification structure on the model performances. A hierarchical classification system is established and tested with extensive experiments.
In the first group of experiments, the effect of operations such as increasing the number of convolutional layers or increasing the computational complexity by using more than one model on the classification performance is tested. The results of the model trained in the scope of the first hypothesis is close to the state-of-the-art models. In addition, the generalization capabilities of the trained model are evaluated using images of other datasets as test set. We showed the essence of such evaluation with extensive empirical evaluations.
In the second group of experiments, the contribution of using a hierarchical structure to classification accuracy is examined. In this context, the conditional probability, and accumulated errors between the two cascaded layers are examined and obtained results are supported with empirical results. We observed that this structure does not bring a significant improvement in performance due to the accumulation of errors between cascaded hierarchical stages. However, the performances of the models in different semantic layers are higher when they are used separately.
September 2021, 118 pages
Key Words: Deep learning, image classification, convolutional neural networks, remote sensing scene classification, land classification
iv TEŞEKKÜR
Tez çalışmamamın her aşamasında, yardımını, önerilerini, bilgisini esirgemeyen; en zor anlarda destek veren ve bana benden çok inanan ve daima örnek aldığım, değerli hocam ve tez danışmanım Doç. Dr. Hacer YALIM KELEŞ’ e,
Tez izleme toplantılarında önerileriyle çalışmamın gelişmesine yardımcı olan, tez izleme komitesi üyesi hocalarım Prof. Dr. Hasan Şakir BİLGE ve Dr. Öğretim Üyesi Özgür TANRIÖVER’ e
Birlikte çalışmaktan her zaman keyif duyduğum arkadaşlarım Arş. Gör. Özge MERCANOĞLU SİNCAN, Arş. Gör. Zeynep YILDIRIM ve Arş. Gör. Dr. Yahya DOĞAN’ a,
Bu günlere gelmemde büyük emek veren, desteğini her zaman yanımda hissettiğim aileme
Sonsuz teşekkür ediyorum.
Özlem ŞEN
Ankara, Eylül 2021
v
İÇİNDEKİLER TEZ ONAY SAYFASI
ETİK ... i
ÖZET ... ii
ABSTRACT ... iii
TEŞEKKÜR ... iv
SİMGELER DİZİNİ ... viii
ŞEKİLLER DİZİNİ ... ix
ÇİZELGELER DİZİNİ ... x
1. GİRİŞ ... 1
1.1 Genel Bilgi ... 1
1.2 Motivasyon ve Tez Kapsamı ... 4
1.2.1 Sınıflandırma yaklaşımı ... 5
1.2.2 İmge özellikleri ... 6
1.2.3 Derin ağlar ... 7
1.2.4 Sınıflandırma şeması ... 7
1.2.5 Tez çalışmasının amacı ... 8
1.3 Tezin Özgün Değeri... 9
1.4 Tezin Yapısı ... 10
2. UZAKTAN ALGILAMA KAVRAMI ... 12
2.1 Önemli Tanımlar ... 12
2.2 Veri Kümeleri ... 14
2.2.1 UC Merced veri kümesi (UCM) ... 16
2.2.2 WHU-RS19 veri kümesi (WHU) ... 17
2.2.3 RSSCN7 veri kümesi ... 18
2.2.4 AID veri kümesi ... 18
2.2.5 RSI-CB128 ve RSI-CB256 veri kümesi ... 20
2.2.6 PatternNet veri kümesi ... 23
2.2.7 NWPU-RESISC45 veri kümesi (NW45) ... 24
2.3 Değerlendirme ... 26
3. EVRİŞİMSEL SİNİR AĞLARI (CNN) ... 28
3.1 CNN Mimarilerinin Yapısı ... 28
vi
3.2 Transfer Öğrenimi ... 32
3.3 Değerlendirme ... 34
4. KAYNAK ÖZETLERİ ... 35
4.1 Uzaktan Algılama İmgelerinde Sınıflandırma Yaklaşımları ... 35
4.2 Sahne Sınıflandırma / İmge sınıflandırma Problemi ... 38
4.2.1 Alt seviye öznitelik vektörleri ... 39
4.2.2 Orta seviye öznitelik vektörleri ... 43
4.2.3 Derin öğrenme ve öznitelik vektörleri ... 46
4.3 Hiyerarşik Sınıflandırma Modelleri ... 49
4.4 Değerlendirme ... 51
5. CNN KATMAN SAYISI ve SINIFLANDIRMA BAŞARIMI ... 53
5.1 Metodoloji ... 53
5.2 Model Seçimi... 55
5.3 Model Küçültülmesi ve İnce Ayar ... 56
5.3.1 YResNet50 modeli ... 57
5.3.2 YDensNet121 ve YDensNet201 modelleri ... 59
5.4 Seçilen Modellerin Eğitimi ... 60
5.5 Değerlendirme- Kullanılan Metrikler ... 62
5.6 Model Başarımı ve Karşılaştırma ... 64
5.6.1 Modellerin R1, R3 ve R5 başarımı ... 64
5.6.2 Veri zenginleştirme etkisi ... 65
5.6.3 Literatür kapsamındaki diğer çalışmalar ... 65
5.6.4 Hata matrisi ... 68
5.7 Değerlendirme ... 71
6. GENELLEŞTİRME TESTLERİ ... 73
6.1 Metodoloji ... 75
6.2 Diğer Veri Kümeleri ve Ortak Sınıflar ... 76
6.3 Test Sonuçları ... 76
6.3.1 Farklı veri kümelerinde oluşan düşük model başarımı ... 77
6.3.2 Aktivasyon haritaları ... 80
6.4 Değerlendirme ... 84
7. HİYERARŞİK MODELLERİN SINIFLANDIRMA BAŞARIMI ... 85
vii
7.1 Hipotez-2 ... 86
7.2 Metodoloji ... 87
7.2.1 Veri kümesinin hiyerarşik yapıya uygun gruplandırılması ... 88
7.2.2 Transfer öğrenme ile tüm sınıflar için model eğitimi ... 90
7.2.3 Hiyerarşik yapının kurulması ... 93
7.2.4 Deneyler ... 94
7.2.5 Deney sonuçlarının yorumlanması ... 96
7.3 Değerlendirme ... 97
8. SONUÇLARIN DEĞERLENDİRİLMESİ ... 100
8.1 Bulgular ve Değerlendirme ... 101
8.2 Gelecekte Yapılması Planlanan Çalışmalar ... 104
KAYNAKLAR ... 106
ÖZGEÇMİŞ ... 118
viii
SİMGELER DİZİNİ Simgeler
∈ Eleman
Σ Toplama sembolü I İmge
X Öznitelik vektörü W Ağırlık (katsayılar) L Kayıp fonksiyonu
CNN Convolutional neural network ESA Evrişimsel sinir ağı
DESA Derin evrişimsel sinir ağı
DenseNet Yoğun evrişimsel ağ (dense convolutional network) DSA Devirli sinir ağları
ILSVRC ImageNet Büyük Ölçekli Görsel Tanıma Yarışması (ImageNet Large Scale Visual Recognition Challenge)
NW45 NWPU-RESISC45 veri kümesi
ReLU Doğrultulmuş Doğrusal Birim (Rectified Linear Unit) RGB Red, Green, Blue (Kırmızı, Yeşil, Mavi) renk uzayı.
ResNet Artık sinir ağı (Residual Neural Network) RNN Recurrent Neural Networks
RSSC Remote sensing scene classification UASS Uzaktan algılama sahne sınıflandırma UCM UC Merced veri kümesi
ix
ŞEKİLLER DİZİNİ
Şekil 1.1 Örnek parseller (Ankara) ... 1
Şekil 1.2 Arazi örtüsü ve kullanım şekline ilişkin örnekler (Cheng vd. 2017) ... 6
Şekil 2.1 UC Merced veri kümesi sınıflarına ait örnek imgeler ... 16
Şekil 2.2 WHU-RS19 veri kümesi sınıflarına ait örnek imgeler ... 17
Şekil 2.3 RSSCN7 veri kümesi sınıflarına ait örnek imgeler... 18
Şekil 2.4 AID veri kümesi sınıflarına ait örnek imgeler ... 19
Şekil 2.5 RS-CB128 veri kümesi sınıflarına ait örnek imgeler ... 21
Şekil 2.6 RS-CB256 veri kümesi sınıflarına ait örnek imgeler ... 22
Şekil 2.7 PatternNet veri kümesi sınıflarına ait örnek imgeler ... 24
Şekil 2.8 NWPU-RESISC45 veri kümesi sınıflarına ait örnek imgeler ... 26
Şekil 3.1 Evrişimsel ağ ile sınıflandırma ... 29
Şekil 4.1 Uzaktan algılama yöntemleriyle elde edilen imgelerde sınıflandırma yaklaşımları (Zonguldak, Türkiye, Google Earth 2021) ... 36
Şekil 4.2 Aynı sahnenin farklı açı ve ışık altında görünümü (Yedikule, İstanbul, Google Earth 2021)) ... 41
Şekil 4.3 Renk tonlaması kullanıldığında belirsizlik yaratan örnekler (NW45 veri kümesi) ... 41
Şekil 4.4 Farklı geometrik çözünürlüklerde Mogan Gölü, Ankara, Türkiye (Google Maps) ... 42
Şekil 4.5 Hiyerarşik olmayan, tek seviyeli CNN modeli ... 49
Şekil 5.1 Model seçimi ve eğitimi için izlenen yol ... 54
Şekil 5.2 ResNet-50 –Model küçültme algoritması ... 57
Şekil 5.3 Sınıflar arası benzeşme ... 68
Şekil 5.4 Birden fazla kullanım şekli içeren imgeler ... 69
Şekil 5.5 Yüksek yoğunluklu yerleşim- sınıf içi ayrışıma ... 69
Şekil 5.6 Hata matrisi: 5 katlı kontrollü deney kapsamında, birbirleriyle örtüşmeyecek şekilde test kümeleri hazırlanmıştır. Hata matrisi, HResnet50 ağında eğitilen 5 modelin ortalamaları ile oluşturulmuştur. ... 70
Şekil 6.1 Farklı veri kümelerinden benzeyen sınıflar ... 78
Şekil 6.2 Aynı kategorinin farklı sahneleri ... 78
Şekil 6.3 Sahnede birden fazla sınıf bulunması ... 79
Şekil 6.4 Farklı yüksekliklerden elde edilen imgeler. ... 79
Şekil 6.5 Aktivasyon haritaları-1 ... 80
Şekil 6.6 Aktivasyon haritaları-2 ... 83
Şekil 7.1 Hiyerarşik şema örneği ... 85
Şekil 7.2 Hiyerarşik yapı deneyleri işlem basamakları ... 87
Şekil 7.3 Hiyerarşik sınıflandırıcı (Sen ve Keles 2021) ... 93
Şekil 7.4 Hiyerarşik yapı- akış şeması ... 95
Şekil 7.5 Hiyerarşik sınıflandırma deney sonuçları ... 98
Şekil 8.1 Yüksek yoğunluklu yerleşim alanları- farklı yaklaşımlar ... 103
x
ÇİZELGELER DİZİNİ
Çizelge 1.1 İncelenen konular ve alt başlıklar ... 5
Çizelge 1.2 Örnek arazi kullanım şekli / yeryüzü şekli sınıfları ... 7
Çizelge 2.1 Tez kapsamında çalışılan veri kümeleri ... 15
Çizelge 5.1 Model seçimi deneylerinin sonuçları ... 55
Çizelge 5.2 Yeni modellerin parametre sayısı ... 57
Çizelge 5.3 Önerilen YResNet50- model mimarisi ... 58
Çizelge 5.4 Önerilen YDenseNet121 ve YDenseNet201 mimarileri ... 60
Çizelge 5.5 Model başarımı- (veri zenginleştirme uygulanarak model eğitimi) ... 64
Çizelge 5.6 Model başarımı- (veri zenginleştirme uygulanmadan model eğitimi) ... 65
Çizelge 5.7 Diğer çalışmalar (%80 eğitim- %20 test oranı) ... 66
Çizelge 5.8 Model başarımı (%10 ve %20 eğitim oranları) ... 66
Çizelge 5.9 Diğer çalışmalar (%20 ve %10 eğitim oranı) ... 67
Çizelge 6.1 NW45 ile ortak sınıf ve imge adedi ... 76
Çizelge 6.2 Diğer veri kümeleriyle test... 77
Çizelge 7.1 RS-CB128, RS-CB256, NW45 veri kümeleri ... 89
Çizelge 7.2 Hiyerarşik sınıflar ... 90
Çizelge 7.3 Hiyerarşik modeller ... 91
Çizelge 7.4 Eğitilen modellerin bağımsız başarımı ... 92
Çizelge 7.5 Hiyerarşik yapı- deney sonuçları ... 96
Çizelge 7.6 Birincil seviye sınıfların başarımı ... 97
1 1. GİRİŞ
1.1 Genel Bilgi
Yeryüzü şekillerinin, mevcut arazi örtüsünün ve arazi kullanım durumunun belirlenerek kayıt altına alınması, tarih boyunca toplumların önem verdiği bir konu olmuş ve bu detayları gösteren haritalar hazırlanmıştır. Zaman içerisinde, insan eliyle oluşturulan yapılar kadar yine insan eliyle oluşturulan ekili/dikili alanlar da artmıştır. Aynı zamanda;
çölleşme, orman alanları, denizler ve buzulların son durumu gibi doğal yeryüzü örtüsünün ve yeryüzü şekillerinin analizine ilişkin çalışmalar da yoğunlaşmıştır. Şehir planlamasının daha sağlıklı yapılması, toprak ve su kaynaklarının sürdürülebilir kalkınma ilkesi doğrultusunda kullanıma açılması gibi konulara ilişkin planlar hem yeryüzünün doğal yapısının hem de insan eliyle yapılan kullanımın en kısa zamanda tespit edilmesine ve doğru bir şekilde sınıflandırılmasına ihtiyaç duymaktadır. Bu sebeple, ekonomik anlamda kıt kaynak olarak nitelendirilen arazilerin mevcut kullanım durumlarının tespit edilmesi, pek çok kurumun gündemindedir (Anderson 1976, Rogan ve Chen 2004).
Şekil 1.1 Örnek parseller (Ankara)
2
Uzaktan algılama (UA); çeşitli sensör ve ölçme cihazları vasıtasıyla, fiziksel bir temas olmaksızın nesneler hakkında veri toplanması ve bu verilerin analiz edilmesi süreci olarak tanımlanabilir (Anonymous 2021). Geniş bir kapsama alanı olan bu tanım, coğrafi veri ile özdeş duruma gelmiştir. Günümüzde, uzaktan algılama yöntemleriyle, yeryüzü şekilleri ve arazi kullanım şekillerinin tespit edilmesi, tarım alanları, ormanlar ve şehirleşmenin takip edilmesi, afet yönetimi gibi pek çok disiplin için uzaktan algılama verisi toplanmaktadır (Schott 2007). Uzaktan algılama yöntemleriyle elde edilen veriler, coğrafi bilgi sistemlerinin temeli haline gelmiştir
Uydularda, hava kameralarında veya insansız hava araçlarında bulunan sensörler;
üzerinde çalışılan bölgeyle ilgili, spektrumun görünür bandı ve farklı dalga boylarında yayılan sinyalleri algılarlar. Çeşitli frekans bantları üzerinden elde edilen bu tip verilerin işlenmesiyle yüzeylere ilişkin spektral davranışlar modellenebilmektedir. Elde edilen veriler, tarım alanlarında ürün veriminin tahmin edilmesi, şehirlerin gelişme yönünün belirlenmesi, afet alanlarının incelenmesi gibi pek çok problemin ham verisi olarak kullanılmaktadır. Çok çeşitli kaynaklardan toplanan ve büyük miktarlara ulaşan uzaktan algılama verilerinin hızlı ve doğru bir şekilde işlenmesi, her geçen gün daha fazla önem kazanan bir konu haline gelmiştir.
Günümüzde gerek uydu, fotoğraf ve sensör teknolojilerindeki gelişmeler gerekse depolama alanlarının kapasitelerinin yükselmesi sayesinde, yeryüzünün çeşitli noktalarına ait sayıca çok büyük miktarlarda optik imgeler toplanmıştır. Elde edilen imgelerin geometrik çözünürlükleri ve görüntü kalitesi artmıştır. Başta Google uygulamaları olmak üzere, pek çok uygulama yazılımı sayesinde bu imgelere olan erişim de kolaylaşmıştır. Bununla birlikte, uzaktan algılama verilerini kullanarak arazi sınıflandırma çalışmaları, halen, büyük ölçüde insan emeğine dayalı olarak yürütülmektedir. Uydu görüntüsünü ya da hava fotoğrafını inceleyen operatörler, arazinin kullanım şekline ya da arazi örtüsüne ilişkin olarak hangi sınıfa ait olduğuna karar vermektedir. Söz konusu imgelerin, bilgisayar algoritmaları aracılığı ile otomatik olarak sınıflandırılması, arazi yönetimine ilişkin kararların daha hızlı ve etkin olmasını sağlayabilecektir.
3
Uzaktan algılama yöntemleri ile elde edilmiş sinyaller ile oluşturulan imgelerin sınıflandırılmasına ilişkin üç farklı yaklaşım bulunmaktadır: (1) Piksel düzeyinde sınıflandırma, (2) Nesne düzeyinde sınıflandırma, (3) Sahne düzeyinde sınıflandırma (Cheng vd. 2020). Tez kapsamında, sahne düzeyinde sınıflandırma yaklaşımı tercih edilmiş olup Bölüm 4’te diğer yaklaşımlara ait bilgi verilmiştir.
Sahne düzeyinde sınıflandırma yaklaşımı, uzaktan algılama sahne sınıflandırma (remote sensing scene classification (RSSC)) olarak adlandırılmaktadır. Uzaktan algılama sahne sınıflandırma (UASS) problemi, sahne adı verilen imge parçalarının bilgisayar algoritmaları kullanılarak, insan gözüyle yapılan bir denetim olmaksızın sınıflandırılması problemidir. Bu tanım itibariyle UASS, imge sınıflandırma probleminin bir alt konusu durumundadır.
İmge sınıflandırma problemi; verilen bir imgeyi “bilgisayar algoritmaları aracılığı ile analiz etmek ve yine bilgisayar algoritmaları kullanarak önceden belirlenmiş olan sınıflardan hangisine ait olduğunu bulmak” şeklinde tanımlanmaktadır. Bu problemin çözümü iki basamaklıdır: İlk basamakta, verilen imgenin ayırt edici öznitelik vektörleri bulunur, ikinci basamakta ise hesaplanan öznitelik vektörleri, kayıp fonksiyonu ve en iyileme algoritmaları aracılığı ile sınıflandırma fonksiyonu oluşturulur. UASS probleminin çözümüne ilişkin tüm çalışmalarda da imge sınıflandırma problemlerinde izlenen bu yol takip edilmiştir.
UASS probleminin ilk dönem çalışmalarında, öznitelik vektörlerinin oluşturulması;
ölçekten bağımsız öznitelik dönüşümü (scale-invariant feature transform (Lowe 2004)), doku tanımlayıcıları (texture descriptors (Haralick 1973)), renk histogramları (Swain ve Ballard 1991) gibi yöntemlerle yapılmıştır. Hesaplanan vektörler, alt seviye öznitelik vektörü olarak da tanımlanmıştır. Devam eden dönemlerde, alt seviye öznitelik bu vektörlerinin çeşitli istatistiksel yöntemlerle gruplanması ve kodlanmasına dayanan görsel kelime çantası (bag of visual words) (Yang ve Newsam 2010, Zhang vd. 2013, Zhao ve Huo 2014, Zhu vd. 2016) gibi yöntemler denenmiştir. Orta seviye öznitelik vektörleri başlığı altında toplanan bu teknikleri içeren çalışmalar, derin öğrenmenin yaygınlaşmasına kadar sıklıkla kullanılmıştır.
4
Derin ağların temeli, makine öğrenmesinin bir alt dalı olan yapay sinir ağlarına dayanmaktadır. Bu algoritmalarda, “modelin eğitilmesi” olarak adlandırılan süreç, çok yüksek kapasiteli donanıma sahip bilgisayarlar gerektirmektedir. Bu sebeple, başlangıçta uzak durulan derin öğrenme algoritmaları, bilgisayar donanımına ilişkin gelişmeler ve özellikle grafik işlemci birimlerinin (GPU) geniş kullanımı ile yeniden gündeme gelmiştir. Derin sinir ağı mimarilerinden biri olan evrişimsel sinir ağları (convolutional neural networks, kısaca CNN) imge sınıflandırma problemlerinde en çok kullanılan yöntemlerden birisidir. Özellikle, AlexNet (Krizhevsky vd. 2012) ile elde edilen sonuçlar dönüm noktası niteliğinde olmuş ve bu dönemden sonra CNN mimarileri daha fazla çalışmada kullanılır olmuştur. İmge sınıflandırma problemine ilişkin bu tercih, UASS çalışmalarında da etkisini göstermiş ve farklı derin ağların kullanımına ilişkin deneyler çoğalmaya başlamıştır (Cheng vd. 2020).
1.2 Motivasyon ve Tez Kapsamı
Tez kapsamında incelenen problem, uzaktan algılama görüntüleriyle sahne sınıflandırması (UASS) olarak adlandırılmaktadır. Yapılan çalışmayı,
• Hava fotoğrafı, uydu görüntüsü, dron görüntüsü gibi, uzaktan algılama yöntemleriyle elde edilmiş olan RGB imgeleri kullanarak,
• Verilen bir alan üzerindeki arazi örtüsü ya da kullanma biçiminin tespit edilmesine ilişkin problemin
• Sahne düzeyi yaklaşımıyla çözümü için
• CNN modellerinin incelenmesi, model eğitilmesi ve model başarımı için öneriler getirilmesi
Şeklinde özetlemek mümkündür.
5
UASS problemi, aktif bir araştırma konusudur. Uygulama alanında çözülmesi beklenen pek çok tarım ve şehircilik sorununun değerlendirilebilmesi için, uzaktan algılama imgelerinin hızlı bir şekilde sınıflandırılması gerekmektedir. Harita mühendisliği, jeoloji mühendisliği gibi disiplinlerde yoğunlukla araştırma alanı bulan bu problemin, bilgisayar mühendisliği disiplini ile incelenmesi ve çözümüne ilişkin algoritmaların değerlendirilmesinin, bu alana yeni katkılar sunacağı değerlendirilmiştir.
Hem uzaktan algılama teknikleriyle elde edilen imgelerin incelenmesi için, hem de imge sınıflandırma problemi için çok geniş kapsamda farklı alt başlıklar bulunmaktadır.
Çizelge 1.1’de belirtilen alt başlıklar aynı zamanda tezin kapsamını belirlemektedir. Bu bölümde, tez kapsamında seçilen alt başlıklara ilişkin açıklamalara yer verilmiştir
Çizelge 1.1 İncelenen konular ve alt başlıklar
KONU TEZ KAPSAMINDA İNCELENEN ALT BAŞLIK
Sınıflandırma yaklaşımı: Piksel düzeyinde, nesne düzeyinde ve sahne düzeyinde yapılan sınıflandırma yaklaşımları arasından, tez kapsamında sahne düzeyinde sınıflandırma yaklaşımı seçilmiş ve incelenmiştir.
İmge Özellikleri: RGB imgeler ve bu imgelerden oluşturulan veri kümeleri incelenmiştir.
Derin ağlar: CNN mimarileri ile imge sınıflandırma deneyleri üzerinde çalışılmıştır. Model eğitimi için transfer öğrenimi teknikleri kullanılmıştır.
Sınıf tespiti Arazi kullanım şekli ve yeryüzü şekline ilişkin sınıf bilgisi olarak, sadece seçilen veri kümesinin içerdiği sınıflar kullanılmıştır.
1.2.1 Sınıflandırma yaklaşımı
Tez kapsamında sadece “sahne düzeyinde sınıflandırma” yaklaşımı incelenmiştir.
Buradaki “sahne” terimi, daha büyük bir imgenin, tek bir arazi sınıfını içeren parçası olarak tanımlanmaktadır. Piksel seviyesinde ve nesne seviyesinde yapılan sınıflandırmalara ilişkin çalışmalar halen literatürün önemli bir parçası olmakla birlikte, yüksek çözünürlüklü imgelerin günümüzde kolay elde edilebilmesi sebebiyle, çalışma kapsamında sahne sınıflandırması problemine odaklanılmıştır.
6
Nehir Orman Otopark Stadyum
Şekil 1.2 Arazi örtüsü ve kullanım şekline ilişkin örnekler (Cheng vd. 2017)
Şekil 1.2’de, daha sonraki bölümde ayrıntılı olarak tanıtılacak olan NWPU-RESISC45 (Cheng vd. 2017) veri kümesinden alınan örneklerle çeşitli arazi sınıflama ve yeryüzü örtüsüne ilişkin sahne örnekleri verilmiştir.
1.2.2 İmge özellikleri
Elektromanyetik spektrum, tüm ışımaları dalga boyları bazında gösterir (Anonymous 2013). Burada; görünür bölge olarak tanımlanan ve insan gözüyle ayırt edilebilen aralık, dalga boyu 400-700nm olan aralıktır. Görünür bölge dışında, radyo dalgaları, mikrodalga, kızıl ötesi, mor ötesi, vb. farklı dalga boyları bulunmaktadır. Uzaktan algılama teknikleriyle elde edilen imgeler, sadece görünür bölgeden değil, mor ötesi, kızıl ötesi gibi, görünür bölge dışındaki farklı frekans bantlarından elde edilen sinyallerle de oluşturulabilir. Uydu sistemleri, radarlar, kızılötesi algılayıcılar, vb. kaynaklardan alınan sinyallerle oluşturulan bu imgeler çok spektrumlu görüntü veya “yanlış renkli görüntü”
olarak adlandırılır. Renkli imgeler, algılayıcı sistemlerin kırmızı, yeşil ve mavi bölgelerinden alınmış olan sinyaller ile elde edilir. Grafik ekranlarda rengi tanımlamak için kullanılan çeşitli modeller arasında en çok kullanılanların başında RGB (Kırmızı, yeşil, mavi) gelmektedir.
Tez çalışması kapsamında, daha kolay elde edilebildikleri ve günlük uygulamalarda daha çok kullanıldıkları için RGB renk uzayı imgeleri tercih edilmiştir. Veri kümesi olarak, sahne tabanlı sınıflandırma için etiketlenmiş, RGB imgelerden oluşan açık veri kümeleri
7
araştırılmıştır. Model eğitimlerinde NWPU-RESISC45 (Cheng vd. 2017) veri kümesinin kullanımı tercih edilmiştir.
1.2.3 Derin ağlar
Tez kapsamında, UASS probleminin CNN mimarileri ile çözümleri incelenmiştir. Farklı mimariler incelenmiş olmakla birlikte, ResNet (He vd. 2016) ve DenseNet (Huang vd.
2017) mimarileri ile eğitilen modellere ağırlık verilmiştir. Çalışma kapsamında, modellerin sıfırdan eğitilmesi yerine transfer öğrenimi teknikleri kullanılmıştır. Tüm deneylerde, ImageNet veri kümesi ile önceden eğitilmiş modeller kullanılmış ve deneylerde seçilen modellerin ince ayarının yapılması sağlanmıştır.
1.2.4 Sınıflandırma şeması
Arazi kullanım şekli sınıfları ve yeryüzü şekli sınıflarının belirlenmesi konusunda çok farklı sınıflandırma şemaları bulunmaktadır. Tez kapsamında yapılan araştırmalarda veri kümelerinin kesiştiği ortak bir şema tespit edilememiştir. Bununla birlikte bazı sınıfların pek çok veri kümesinde ortak olarak kullanıldığı görülmüştür. Çizelge 1.2’de veri kümelerinin pek çoğunda ortak olarak en çok kullanılan sınıflara örnekler verilmektedir.
Çizelge 1.2 Örnek arazi kullanım şekli / yeryüzü şekli sınıfları
Sıra Açıklama
1 Ormanlık Alanlar 2 Tarla
3 Kıyılar
4 Yerleşim alanları 5 Yollar
6 Köprüler
Tez kapsamında, kullanılan NWPU-RESISC45 (Cheng vd. 2017) veri kümesinin içerdiği sınıflar şema olarak kabul edilmiş ve sınıflandırma çalışmaları bu şemaya göre yapılmıştır. Farklı veri kümeleri kullanılarak karşılaştırma yapılmasının gerektiği durumlarda ise veri kümelerinin ortak sınıfları dikkate alınmıştır.
8 1.2.5 Tez çalışmasının amacı
Tez çalışmasının amacı; hava fotoğrafı, uydu görüntüsü, dron görüntüsü gibi, uzaktan algılama yöntemleriyle elde edilmiş olan RGB imgelerini kullanarak, verilen bir alan üzerindeki arazi örtüsü ya da kullanma biçiminin tespit edilmesi için, sahne seviyesi yaklaşımıyla CNN mimarileri kullanarak çözüm geliştirmektir. CNN modellerin başarısına etki eden unsurları incelemek ve bu kapsamda yeni öneriler sunmak da tezin amaçları arasındadır.
Bu kapsamda; literatürde yoğun kullanılan beş farklı veri seti üzerinden çeşitli deneyler yapılmıştır. Tüm deneylerde CNN mimarileri kullanılmıştır.
• Çalışma kapsamında, farklı CNN mimarileri ile deneyler yapılmış ve UASS problemine ilişkin model başarımları incelenmiştir. Bu bağlamda, mevcut mimarilerden faydalanarak, daha az parametreye sahip modeller tasarlanmış ve eğitilmiştir.
• Önerilen derin mimarideki modellerin genelleştirme performanslarına ilişkin kapsamlı çalışmalar yürütülmüş, sonuçları incelenmiştir.
• Geliştirilen modelin sınıflandırma yaparken odaklandığı noktaları incelemek için model çıktıları etkinlik haritaları aracılığıyla görsel olarak yorumlanmıştır.
• Arazi kullanımına ilişkin alan uzmanları, tarafından oluşturulan etiketlerin, hiyerarşik yapısı incelenmiştir. Sınıflandırma işleminin hiyerarşik yapı üzerinden yapılmasının genel model başarımına etkisi araştırılmıştır.
• Hiyerarşik modellerin ampirik performansları, yapılan istatistiksel analiz ile karşılaştırılmıştır.
9 1.3 Tezin Özgün Değeri
Tez kapsamında, UASS probleminin çözümüne ilişkin olarak model derinliğini azaltmak, genelleştirme testleri yapmak ve hiyerarşik yapının başarımını değerlendirmek konularıyla ilişkili üç yeni öneri getirilmiştir.
Model derinliğini azaltmak: Literatür kapsamında yapılan çalışmalar incelendiğinde, UASS başarımını arttırmak için daha karmaşık tasarımlara yönelme şeklinde bir eğilim gözlenmiştir. Modelin katman sayısını (derinliğini) arttırmak bu yöntemlerden birisidir.
Bir diğer yöntem ise birden fazla model eğittikten sonra, bu modellerden elde edilen sonuçları çeşitli istatistiksel yöntemlerle birleştirmek şeklindedir. Tez kapsamında,
“Daha az katmandan oluşan, dolayısıyla hesaplama karmaşıklığı daha az olan, yöntemler sorunun çözümü için ne derece yeterli olabilir?” sorusuna cevap aranmıştır.
Bu sorunun çözümü için, hesaplama yükünün daha az olduğu küçük modellerle yüksek başarımın elde edilebileceğine ilişkin bir hipotez geliştirilmiş ve hipotezin testine ilişkin deneyler yapılmıştır. Bu deneylerde, yüksek katman sayısına sahip mimarilerden faydalanılmış ancak model küçültme yöntemiyle karmaşıklığı daha az olan çeşitli modeller tasarlanmıştır. Tasarlanan modelle literatürde yer alan doğruluk oranlarına yakın sonuçlar elde edilmiştir (Sen ve Keles 2020).
Genelleştirme testleri: UASS probleminin doğası gereği; farklı sensörler, farklı hava koşulları, farklı ışıkta elde edilen imgeler çok büyük değişimler göstermektedir. Bu sebeple eğitilen modellerin genelleştirme kapasitelerinin mevcut test kümeleriyle ölçülmesinin yeterli olmadığı belirtilmiş ve tamamen farklı veri kümeleriyle test edilmesi önerilmiştir. Bu öneri kapsamında, geliştirilen bir CNN model farklı veri kümeleriyle karşılaştırılmış ve sonuçlar incelenmiştir (Sen ve Keles 2020).
Hiyerarşik sınıflandırma yapısı: Tez kapsamında eğitilmiş olan CNN modellerin başarımlarının test edilmesi sırasında, bazı sınıfların birbirine çok benzediği ve bu sebeple belirsizlik oluştuğu ve bu belirsizlik sebebiyle sınıflandırma başarımının düştüğü gözlenmiştir. “Hiyerarşik bir sınıflandırma yapısı kurularak, sınıfa özel model eğitmek sınıflandırma başarımını arttırabilir mi?” sorusuna cevap aranmıştır.
10
Bu sorunun çözümü için, hiyerarşik modellerin başarımına ilişkin bir hipotez geliştirilmiş ve test edilmiştir. Arazi kullanımına ilişkin olarak, alan uzmanları, tarafından oluşturulan şemaların hiyerarşik yapıda olması çıkış noktası olmuştur. Hiyerarşik bir yapı kurulmuş ve hiyerarşik sınıflara özel modeller eğitilmiştir. Hiyerarşik sınıflandırma yaklaşımı kapsamlı bir şekilde test edilmiştir (Sen ve Keles 2019, 2021)
1.4 Tezin Yapısı
Tez çalışmasında, UASS probleminin CNN modeller ile çözümü incelenmiştir. Bu kapsamda iki hipotez ve bir öneri geliştirilmiştir. Tez kapsamında geliştirilen CNN modelin sınıflandırma yapısını ve imgenin hangi bölgelerine odaklandığını tespit edebilmek için incelemek için model çıktıları etkinlik haritaları aracılığıyla görsel olarak yorumlanmıştır. Hiyerarşik tasarımda ise, deneylerden elde edilen sonuçlar, yapılan istatiksel çıkarımlar ile karşılaştırılmıştır.
Yapılan tüm çalışmalar ve deneyler 8 bölümde düzenlemiştir. Bölümler ve ilgili açıklamalar aşağıda listelenmiştir:
➢ 2. Bölümde uzaktan algılama kavramına kısaca değinilmiş, temel terimler ve UASS problemi kapsamında kullanılan veri kümeleri incelenmiştir.
➢ 3. Bölümde CNN mimarileri ve transfer öğrenimi incelenmiştir.
➢ 4. Bölüm, UASS probleminin çözümüne ilişkin mevcut literatür çalışmalarına ayrılmıştır.
➢ 5. Bölüm, hesaplama yükü daha az olan modellerin başarımının da yüksek olacağına ilişkin hipotez çerçevesinde yapılan deneylere ayrılmıştır
➢ 6. Bölümde, eğitilen modellerin genelleştirme yeteneklerine ilişkin testlerin başka veri kümeleri temel alınarak yapılması gerektiğine dair öneri ve yorumlar aktarılmıştır.
11
➢ 7. Bölümde, tezin ikinci hipotezi olan hiyerarşik yapının sınıflandırma başarımına etkisi çerçevesinde tasarlanan yapıdan, yapılan deneyler ve alınan sonuçlar aktarılmıştır.
➢ Son bölüm olan 8. Bölüm ise, elde edilen sonuçların özetlenmesi, yorumlar ve gelecekteki yapılması planlanan çalışmalara ayrılmıştır.
12 2. UZAKTAN ALGILAMA KAVRAMI
Uzaktan algılama teknikleriyle elde edilen imgeler; kullanılan sensör, imgenin elde edildiği hava koşulları, ışık veya yükseklik gibi çok büyük değişkenlik gösteren parametrelerden etkilenmektedir. Bununla birlikte, RGB uzayında elde edilmiş olan diğer imgelerden farklı olarak, uzaktan algılama imgelerinde farklı çözünürlük tipleri de söz konusudur. Sınıflandırılacak imgelerin tümün aynı boyutlarda, örneğin 256x256 çözünürlüğünden olmasından bağımsız olarak, mekânsal, spektral, radyometrik çözünürlük değerleri farklı olan imgeler için genel bir çözüm olmak üzere tek bir model geliştirilmesi, bu açıdan oldukça zor bir problemdir. Uzaktan algılama imgelerinin elde edilme sürecindeki farklılıklar ve imgelerin çeşitli çözünürlük değerleri, UASS probleminin kendisine özgü belirsizlik noktalarını oluşturmaktadır
Bu bölüm, iki alt bölümden oluşmaktadır. İlk olarak, uzaktan algılama kavramı kapsamında önemli bazı tanımlar ve çözünürlük tiplerine ilişkin kısa açıklamalar verilmektedir. İkinci alt bölümde ise, en bilinen ve sahne sınıflandırma problemi konusundaki araştırmalarda en çok kullanılan açık veri kümelerine ilişkin bilgiler aktarılmaktadır.
2.1 Önemli Tanımlar
UASS çalışmaları için kullanılmakta olan veri kümelerinin büyük bir bölümünde, Google uygulamalarından elde edilen imgeler kullanılmıştır. Bu veri kümelerinde yer alan imgelerin bir kısmı ortofoto özelliklerini taşıyor olsa da hava kameralarıyla elde edilmiş ancak harita koordinatlarıyla ilişkilendirmesi yapılmamış imgeler de bulunmaktadır.
Bir dijital imge, matematiksel olarak, her bir hücresi piksel adı verilen iki boyutlu bir matris olarak ifade edilebilir. Bu matrisin her bir hücresi; bir diğer ifadeyle her bir piksel bir parlaklık değerini ifade eder. Bir imgenin çözünürlüğü, içerdiği piksel sayısı ile ifade edilir. Harita uygulamalarına konu olan uzaktan algılama görüntüleri ise 4 farklı çözünürlük tipi ile ifade edilir.
13
Ortofoto: Harita çiziminde, çeşitli koordinat sistemleri ile yeryüzündeki tüm noktalar tanımlanır. Uzaktan algılama yöntemiyle elde edilen imgelerde, merceğin odağına ve açıya bağlı olarak çeşitli optik hatalar oluşmaktadır. Optik hataları giderilmiş olan ve çeşitli hesaplama yöntemleri kullanılmak suretiyle haritalara benzer şekilde koordinatlı hale getirilmiş olan imgeler ortofoto adını alır.
Pankromatik görüntü: Gri tonlamalı bir görüntüdür. Bununla birlikte, RGB olarak kaydedilmiş bir görüntünün, yazılımla gri tonlamalı hale getirilmiş bir formu, ya da DSLR fotoğraf makinelerinin siyah beyaz konumlarından elde edilmiş görüntülerden çok farklıdır. Pankromatik görüntü, sensörün bir özelliğidir. Bu özelliğe sahip sensörler, elektromanyetik spektrumun görünür bandından yansıyan görünür enerji aralığının tümü tek bir imgeye kaydeder. Farklı bantlardaki parlaklık değerlerinin kaydedilmesiyle, daha yüksek mekânsal çözünürlük elde edilir.
Mekânsal Çözünürlük (spatial resolution): Geometrik çözünürlük olarak da ifade edilir. Bir piksel kaç metrekare sorusunun cevabı, görüntünün geometrik çözünürlüğü ile ifade edilir. Örneğin geometrik çözünürlüğü 0,5m olan bir görüntüde bir piksel 0,5x0,5=0,25m² büyüklüğünde bir alanı ifade etmektedir. Geometrik çözünürlüğün 5m olması durumunda bir pikselin gösterdiği alan 5mx5m=25m² olmaktadır. Bu hesaplamalardan da görülebileceği gibi, geometrik çözünürlüğün yüksek olması, bir uzaktan algılama görüntüsünün daha fazla detay içermesi anlamına gelmektedir.
Radyometrik Çözünürlük (radiometric resolution): Sahnede yer alan nesnelerden yansıyan parlaklık değerleri pikseller ile algılanır ve bu parlaklık tonu bir tam sayı ile ifade edilir. “Bu parlaklık değeri kaç bit ile kaydedilmiştir?”, sorusunun cevabı radyometrik çözünürlüğün konusudur. Kullanılan kameranın ya da uyduda bulunan sensörün bir özelliğidir. Örneğin 8 bitlik bir radyometrik çözünürlükten bahsediliyorsa, sensör 28=256 farklı parlaklık değerini kaydeden bir sensörden bahsederiz. Parlaklık değeri ne kadar büyük bir skala içinde olursa, sahne üzerinde bulanan objelerin kenar ve köşeleri o kadar kolay ayırt edilebilir.
Spektral Çözünürlük (spectral resolution): Bir imgede yer alan enerjinin kaç farklı bantta algılandığı ve kaydedildiği ile ilişkili bir çözünürlük değeridir. İki temel kriteri vardır. İmgeyi oluşturan bant sayısı ve her bir bant üzerinden sensörün duyarlı olduğu
14
enerji aralığı. Örneğin renkli görüntülerdeki imgelerin neredeyse tamamı elektromanyetik spektrumun görünür bölgesinde yer alan 3 farklı banttan, yani kırmızı, yeşil ve mavi bant aralıklarından oluşur. İmgenin, elektromanyetik spektrumdaki diğer bantlara ilişkin kanalları da varsa çok bantlı bir imgeden bahsederiz. Bu tip imgelerde, spektrumdaki farklı enerji aralıkları ayrı ayrı kayıt altına alınır.
Zamansal Çözünürlük (temporal resolution): Uydu görüntüleri için kullanılan bir çözünürlük türüdür. Uydular, dünya çevresindeki yörüngelerinde dönerken aynı noktanın görüntüsünü belirli bir zaman periyodu geçtikten sonra alabilir. Aynı koordinat noktasının görüntüsünü alabilmek için geçmesi gereken zaman, zamansal çözünürlük olarak ifade edilmektedir.
Bu tanımlar ışığında, tez kapsamında incelenen imgelerin çözünürlük bilgileri şu şekildedir: (1) Mekânsal çözünürlüğü 0,3m-8m arasında (2) 8 bitlik radyometrik çözünürlüğe sahip, (3) RGB renk uzayında (4) Zamansal çözünürlük dikkate alınmamıştır.
2.2 Veri Kümeleri
Verilen bir imge üzerinden, bir yeryüzü şeklinin belirlenmesi ya da bir arazinin kullanım şeklinin tespit edilmesi probleminin, makine öğrenmesi algoritmaları ile araştırılması için en çok kullanılan yöntemlerden birisi evrişimsel sinir ağı (convolutional neural network, CNN) mimarileridir. CNN mimarileri kullanarak model eğitme işlemi ise sınıflandırma problemlerinde ağırlıklı olarak denetimli öğrenme yöntemi ile yapılmaktadır. Denetimli öğrenme yönteminde büyük ölçekte etiketli veri kümelerine ihtiyaç duyulmaktadır.
UASS problemi araştırmalarında kullanılmak üzere, farklı çalışma grupları tarafından, farklı özelliklerde araştırmacıların kullanımı için açık bir şekilde paylaşılmakta olan etiketli veri kümeleri hazırlanmıştır.
Hava fotoğraflarından derlenen veri kümelerinin önemli bir kısmı Google Earth uygulamasından elde edilen imgeler ile oluşturulmuştur. Google Earth imgeleri, orijinal optik hava fotoğraflarıyla karşılaştırıldığı zaman önemli bir fark bulunmadığı belirtilmektedir. (Potere 2008, Xia vd. 2017). Bu nedenle, Google Earth üzerinden elde
15
edilen imgeler, sahne sınıflandırma problemi için sıklıkla kullanılmaktadır. Google Earth görüntülerinin bir diğer özelliği de farklı kaynaklardan alınıp eklenen imgelerdir. Bu yönüyle, oluşturulan veri kümelerine sensör, hava şartları, ışık gibi etkenlerin farklı olmasının getirdiği sorunların yansıtılması sağlanmaktadır. Böylece veri kümelerinin UASS problemine özgü, çözümü zorlaştıran durumları içeren imgelerden oluşturulması sağlanabilmektedir.
Veri kümelerinin hazırlanması sırasında; uzaktan algılama ile sahne sınıflandırması probleminin en temel iki alt problemi olan sınıflar arası benzeşme ve sınıf içi ayrışma problemlerinin seçilen imgelerle desteklenmesine dikkat edilmesi gerekmektedir. Google Earth uygulamalarıyla elde edilen imgeler, bu çeşitliliği de sağlayabilmektedir.
Çizelge 2.1’de veri kümelerinin önemli özellikleri ve açıklandığı yıllara ait bilgiler verilmektedir.
Çizelge 2.1 Tez kapsamında çalışılan veri kümeleri
Veri kümesi
Toplam Sınıf Sayısı
Her Sınıfta
İmge Sayısı
Toplam İmge Sayısı
Piksel Çözünürlüğü
Mekansal Çözünürlük Uc Merced
(Yang ve Newsam 2010)
21 100 2.100 256x256 0,30m
WHU-RS19 (Dai ve Yang 2010)
19 50-60 1.005 600x600 En fazla 0,5m
RSSCN7 (Zou vd. 2015)
7 400 2.800 400x400 Belirtilmemiş
RS-CB128 (Li vd. 2017)
45 173-1550 36.707 128x128 0,3 – 3m
RS-CB256 (Li vd. 2017)
35 198-1.339 36.000 256x256 0,3 - 3m
AID
(Xia vd. 2017)
30 220-420 10.000 600x600 0,3 – 8m
PatternNet (Zhou vd. 2018)
38 800 30.400 256x256 0,06 – 4,6m
NWPU-RESIS45 (Cheng vd. 2017)
45 700 31.500 256x256 0,2-30m
Bu bölümde, üzerinde çalışılan veri kümelerine ilişkin açıklamalara yer verilmiştir. Bu bölümde kısaca açıklanan veri kümeleri, tez kapsamında farklı deneylerde kullanılmıştır
16 2.2.1 UC Merced veri kümesi (UCM)
Bu veri kümesi, uzaktan algılama görüntüleriyle sahne sınıflandırma problemine ilişkin en eski ve aynı zamanda en çok kullanılan veri kümesidir. Hem derin öğrenme yöntemleriyle yapılan çalışmalarda hem de daha önceleri, öznitelik vektörlerinin alan uzmanları tarafından oluşturulduğu ilk çalışmalarda kullanılmıştır. İlk defa 2010 yılında paylaşıma açıklanmıştır (Yang ve Newsam 2010). Veri kümesinde yer alan 21 sınıf, örnek imgeleriyle birlikte şekil 2-1’de verilmiştir
Tarım Uçak Beysbol Sahası Kıyı Binalar Maki
Yüksek yoğunluklu
yerleşim
Orman Karayolu Golf sahası Liman Kavşak
Orta Yoğunluklu Yerleşim.
Prefabrik Konutlar
Köprülü Kavşak Otopark Irmak Pist
Düşük Yoğunluklu
Yerleşim
Depo Tenis Kortu
Şekil 2.1 UC Merced veri kümesi sınıflarına ait örnek imgeler
UC Merced veri kümesi, 21 sınıftan oluşmaktadır. Her bir sınıfta 100 adet RGB imge olmak üzere toplam 2.100 imgeden oluşan bir veri kümesidir. Bu veri kümesinin imgeleri,
17
Amerika Birleşik Devletleri Jeolojik Araştırması (The United States Geological Survey) tarafından oluşturulmuş olan kentsel alan görüntüleri koleksiyonu kullanılarak hazırlanmıştır. Veri kümesinde yer alan imgelerin çözünürlüğü 256x256 piksel, mekânsal çözünürlük ise 0,3m’dir.
2.2.2 WHU-RS19 veri kümesi (WHU)
WHU-RS19 veri kümesi (Dai ve Yang 2010, Sheng vd. 2012) Google Earth görüntüleri kullanılarak oluşturulmuş bir veri kümesidir. Örnekleri şekil 2-2’de verilmiştir.
Havaalanı Kıyı Köprü Ticari Alan Çöl Tarım Arazisi
Futbol Sahası Orman Sanayi Alanı Otlak Dağ Park
Otopark Havuz Liman Tren İstasyonu Yerleşim Alanı Irmak
Viyadük
Şekil 2.2 WHU-RS19 veri kümesi sınıflarına ait örnek imgeler
18
19 sınıf ve toplam 1005 imgeye sahip bir veri kümesidir. Her bir sınıfta 50 ila 60 arasında imge bulunmaktadır. 600x600 piksel çözünürlüğündeki imgelerin mekânsal çözünürlüğü ise, en yüksek 0,5m olmak üzere imgeler özelinde değişkendir. UCM veri kümesiyle karşılaştırıldığında, imgeler daha farklı ışık ve mevsim koşullarını içerecek şekilde toplanmış olmasına karşın imge sayısı daha azdır.
2.2.3 RSSCN7 veri kümesi
RSSCN7 veri kümesi, (Zou vd 2015) 7 sınıftan oluşur. Her sınıfta 400x400 çözünürlüğünde 400 imge bulunmaktadır. Mekânsal çözünürlük ile ilgili bir bilgi verilmemekle birlikte, imgeler incelendiğinde farklı çözünürlük seviyelerinin kullanıldığı görülebilmektedir. Google Earth imgeleri kullanılarak hazırlanmıştır. Veri kümesinde yer alan sınıflara ilişkin örnek imgeler şekil 2-3’te verilmiştir.
Otlak Arazi Sanayii Alanı Göl Orman Yerleşim Alanı
Otopark
Şekil 2.3 RSSCN7 veri kümesi sınıflarına ait örnek imgeler
2.2.4 AID veri kümesi
Derin öğrenme tekniklerinin yüksek miktarda veri ile eğitilmesine ilişkin gereksinim, yeni veri kümesi oluşturma arayışını da getirmiştir. Bu sebeple, aynı yıl içerisinde çeşitli veri kümeleri ortaya çıkmıştır. AID veri kümesi, bu çerçevede duyurulmuş veri
19
kümelerinden biridir. (Xia vd. 2017). AID veri kümesinde bulunan sınıflara ilişkin örnek imgeler şekil 2-4’te verilmiştir
Havaalanı Arazi Beyzbol Sahası Kıyı Köprü Şehir Merkezi
Kilise Ticari Alan Yüksek Yoğunluklu
Yerleşim
Çöl Tarım Alanı Orman
Sanayi Alanı Otlak Orta Yoğunluklu
Yerleşim Dağ Park Otopark
Spor Alanı Havuz Liman Tren İstasyonu Dinlenme Tesisi Irmak
Okul Düşük
Yoğunluklu Yerleşim
Meydan Stadyum Depolar Viyadük
Şekil 2.4 AID veri kümesi sınıflarına ait örnek imgeler
AID veri kümesi toplamda 30 sınıf ve 10.000 imgeden oluşmakta olup, her sınıfın içeriğinde bulunan imge sayısı 220 ila 420 arasında değişmektedir. İmgeler 600x600
20
piksel çözünürlüğündedir. Mekânsal çözünürlük ise 30cm’den 8 metreye kadar değişmektedir. Değişken mekânsal çözünürlük yeni bir zorluk seviyesi anlamına gelmektedir.
Veri kümesi Google Earth imgeleriyle oluşturulmuştur. Başta Çin, Amerika Birleşik Devletleri, İngiltere, Fransa, İtalya, Japonya, Almanya vb. Olmak üzere dünyanın farklı ülkelerinden ve bölgelerinden seçilmiştir. Sınıf içi çeşitliliği artırmak amacıyla farklı zaman (gündüz, gece, vb.), farklı mevsimler gibi değişik görüntüleme koşulları seçilmiştir.
2.2.5 RSI-CB128 ve RSI-CB256 veri kümesi
128x128 ve 256x256 olmak üzere iki farklı piksel çözünürlüğünde hazırlanmış ve buna göre isimlendirilmişlerdir (Li vd. 2017). Hiyerarşik olarak yapılandırılmış veri kümeleridir.
Binalar Konteynır Mezarlık Yerleşim Alanı Depolar Kule
Arazi Kuru Tarım Tarım Alanı Çöl Dağ Kumsal
Buz Dağı Boru Hattı Kasaba Pist Ağaçlı Yol Köprü
21
Şehir Yolu Kavşak Çatal Yol Karayolu Marina Patika
Üst Geçit Otopark Demiryolu Döner Kavşak Kıyı Baraj
Baraj Gölü Göl Kıyısı Irmak Deniz Yüzeyi Akarsu Çim Saha
Bulvar Ağaçlık Alan Orman Mangrov Doğal Yeşil
Alan
Nehir Koruma Ormanı
Fidanlık Çalılık Seyrek Orman
Şekil 2.5 RS-CB128 veri kümesi sınıflarına ait örnek imgeler
Birinci seviye; inşa edilmiş alanlar, ekili alanlar, diğer araziler, diğer objeler, ulaşım, su alanları ve orman alanları olmak üzere 7 ana sınıftan oluşmaktadır. Ana sınıfların her birine ait alt sınıflar bulunmaktadır. Veri kümesindeki imgelerin mekânsal çözünürlükleri 0,3 ile 3 metre arasında değişmektedir.
22
RSI-CB128 veri kümesi, ana sınıfların altında yer alan toplam 45 alt sınıftan oluşmakta olup 36.707 imge içermektedir.
Binalar Konteynır Yerleşim Alanı Depolar Arazi Kuru Tarım
Tarım Alanı Çöl Dağ Kumsal Kar Dağı Uçak
Boru Hattı Kasaba Pist Ağaçlı Yol Köprü Kavşak
Otoyol Marina Otopark Kıyı Baraj Baraj Gölü
Göl Kıyısı Irmak Deniz Yüzeyi Akarsu Çim Saha Orman
Mangrov Nehir koruma
Ormanı Fidanlık Çalılık Seyrek Orman
Şekil 2.6 RS-CB256 veri kümesi sınıflarına ait örnek imgeler
23
Her bir sınıfta bulunan imge sayısı 173 ile 1550 arasında değişmektedir. RSI-CB256 veri kümesi ise, aynı ana sınıfların altında bulunan toplam 35 adet sınıftan oluşur. Her sınıfta 198 ile 1331 arasında değişen imgeler bulunmakta olup, toplam 24.747 imge içermektedir. RSI-CB128 veri kümesine ait örnek imgeler şekil 2-5’te, RSI-CB256 veri kümesine ilişkin örnek imgeler şekil 2-6’da verilmiştir.
2.2.6 PatternNet veri kümesi
Uzaktan algılama görüntüleri üzerinden yapılan çalışmalara ilişkin bir başka problem de içerik temelli imge arama problemidir. Bu problem, belirli objeleri içeren imgelerin, bir veri kümesi içinden aranması ve bulunmasına ilişkin çalışmaları içerir. PatternNet (Zhou vd. 2018) veri kümesi, temelde bu problem konusunda çalışan araştırmacılar için düzenlenmiş bir açık veri kümesidir. Bununla birlikte, yapısı itibariyle uzaktan algılama sahne sınıflandırma probleminin de çözümünde kullanılmaktadır.
PatternNet veri kümesi, Google Earth ve Google Map uygulamaları kullanılarak oluşturulmuştur. Örnek imgeler Amerika Birleşik Devletleri kentlerinden seçilmiştir. Her sınıfta, 256 256 piksel boyutunda 800 imge içeren toplam 38 sınıflı 30.400 imgeden oluşan bir veri kümesidir. Seçilen imgelerin mekânsal çözünürlüğü 0,06-4,6m arasında olup, en yüksek çözünürlüğe sahip veri kümesidir. PatternNet veri kümesinde bulunan sınıflar, örnek imgelerle birlikte şekil 2-7’de gösterilmektedir.
Uçak Beysbol Sahası Basketbol Sahası Kıyı Köprü Mezarlı
Maki Yılbaşı Ağacı
Çiftliği Çıkmaz Yol Sahil Evleri Yaya Geçidi Yüksek Yoğunluklu
Yerleşim
24
Feribot İskelesi Futbol Sahası Orman Karayolu Golf Sahası Liman
Kavşak Prefabrik Konut Bakımevi Petrol Sahası Petrol Kuyusu Üst Geçit
Otopark Otopark Alanı Demiryolu Irmak Pist Pist İşaretleri
Nakliye Alanı Güneş Enerjisi Panelleri
Düşük Yoğunluklu
Yerleşim
Depo Yüzme Havuzu Tenis Kortu
Trafo Atıksu Arıtma Tesisi
Şekil 2.7 PatternNet veri kümesi sınıflarına ait örnek imgeler
2.2.7 NWPU-RESISC45 veri kümesi (NW45)
NWPU-RESISC45 (Cheng vd. 2017), uzaktan algılama görüntüleriyle sahne sınıflandırma probleminin büyük veri kümlerinden biridir. 45 sınıftan oluşmaktadır. Her sınıfta 256x256 çözünürlükte 700 imge bulunmaktadır. Mekânsal çözünürlük 0,2 – 30m arasında değişmektedir. Veri kümesinde sınıf içi ayrışma ve sınıflar arası benzerlik ile ilgili örnekler bulunmaktadır. Değişken mekânsal çözünürlük ve hava koşulları veri
25
kümesinin zorluğunu artırmıştır. NWPU-RESISC45 veri kümesi, derin öğrenme yöntemlerinin kullanıldığı pek çok araştırmada tercih edilen bir veri kümesi olmuştur.
Hava fotoğrafı veya uydu görüntüsünün bulutlu çekim yapması olasılığı dikkate alınarak
“bulut” sınıfı da eklenmiş bir veri kümesidir. Veri kümesinde bulunan sınıflar, örnek imgelerle birlikte şekil 2-8’de gösterilmektedir.
Uçak Havaalanı Beysbol Sahası Basketbol Sahası Kıyı Köprü
Maki Kilise Dairesel Tarım
Parselleri
Bulut Ticari Alan Yüksek Yoğunluklu
Yerleşim
Çöl Orman Karayolu Golf Sahası Spor Sahası Liman
Endüstriyel Alan Kavşak Ada Göl Otlak Orta Yoğunluklu
Yerleşim
Prefabrik Konutlar
Dağ Üstgeçit Saray Otopark Tren Yolu
26
Tren İstasyonu Dörtgen Tarım Parselleri
Irmak Döner Kavşak Pist Buz Denizi
Gemi Kar Dağı Düşük
Yoğunluklu Yerleşim
Stadyum Depolar Tenis Kortu
Seki Termik Santral Sulak Alan
Şekil 2.8 NWPU-RESISC45 veri kümesi sınıflarına ait örnek imgeler
2.3 Değerlendirme
Tez kapsamında UASS probleminin çözümü için CNN modellerle çalışılması planlanmaktadır. Bu sebeple, model eğitimi için kullanılacak modelin seçilmesi önemli bir aşamadır. Veri kümesi kullanımı söz konusu olduğunda iki ana tercih söz konusu olmaktadır. (1) Sıfırdan veri kümesi oluşturmak, (2) Mevcut veri kümelerini araştırarak arasından bir seçim yapmak.
Sıfırdan veri kümesi oluşturmak hem deneylerde kullanılacak sınıf şemasını hem de her bir sınıfta kullanılacak imgeleri araştırmacıya bıraktığı için daha avantajlı bir yöntem gibi düşünülse de oldukça uzun zaman alabilen bir süreçtir. Oluşturulacak veri kümesinin sınıflarının belirlenmesi alan uzmanlığı gerektirmektedir. Sıfırdan oluşturulacak bir veri kümesi, CNN mimarileri ile çalışmaya uygun olacak şekilde yüksek miktarda örnek imge içermelidir. Veri kümesinde kullanılacak imgeler aynı zamanda UASS probleminin kendine özgü bazı zorluk unsurlarını da içermelidir. Farklı ışık ve farklı hava koşullarının
27
dışında, farklı mekânsal çözünürlüklerde imgeler veri kümesine dahil edilmelidir. UASS probleminin zorluğunu arttıran iki temel unsur olan sınıf içi ayrışma ve sınıflar arası benzeşme sorunlarına örnek olacak şekilde tasnif yapılmalıdır.
Literatürde halen kullanılmakta olan mevcut veri kümeleri arasından bir seçim yapma yöntemi ise, süreci oldukça kısaltmaktadır. Böylece sınıflandırma modeli geliştirme sürecine odaklanılmıştır. Bir diğer avantaj ise, tez kapsamında yapılan deneylerden alınan sonuçlar ile literatürde yer alan diğer çalışmaların sonuçlarının karşılaştırılması olanağıdır.
Mevcut açık veri kümelerinin incelenmesi sonucunda, tez kapsamında yapılan model eğitimi deneylerinde kullanılmak üzere NW45 veri kümesi tercih edilmiştir. NW45 veri kümesi (Cheng vd. 2017), yukarıda belirtilen, UASS problemine ilişkin belirsizlik getiren pek çok soruna ilişkin imgeleri içeren, zorluk derecesi yüksek bir veri kümesidir.
Yayınlandığı tarihten bu yana, 2021 yılı dâhil olmak üzere, yapılan pek çok çalışmada tercih edilen veri kümelerinden birisi olup, kullanıldığı bazı çalışmalara örnekler Bölüm 5’te verilmiştir.
28 3. EVRİŞİMSEL SİNİR AĞLARI (CNN)
Evrişimsel sinir ağları (Convolutional Neural Networks, kısaca CNN), görüntü sınıflandırma konusunda, en çok kullanılan makine öğrenmesi algoritmalarından birisidir. CNN mimarilerinin en önemli özelliği öznitelik vektörlerini çıkarma basamağı ile sınıflandırma basamaklarının birleşmiş olmasıdır. Uçtan uca sınıflandırma olarak adlandırılan bu özellik sayesinde, derin öğrenme ağlarına, girdi olarak imgenin kendisi verilirken, çıktı olarak direk sınıflandırma bilgisi alınır. Öznitelik vektörleri, model eğitim sürecinde evrişimsel katmanlarda oluşur.
Bu bölümde ilk olarak CNN mimarilerine ilişkin genel bilgi ve tez kapsamında kullanılan mimariler hakkında kısa açıklamalara yer verilmiştir. İkinci olarak, önceden eğitilmiş olan CNN modellerin başka problemlerin çözümünde kullanılabilmesine olanak sağlayan transfer öğrenimi kavramı ve CNN modellerin transfer öğrenimi ile eğitilmesine ilişkin yöntemler kısaca aktarılmıştır
3.1 CNN Mimarilerinin Yapısı
Yapay sinir ağları, giriş katmanı, gizli katman (hidden layer) ve çıkış katmanı şeklinde üç katman ile modellenir. Yapay sinir ağlarının özel bir formu olan CNN mimarilerinde, giriş ve çıkış arasında kalan bölüm çeşitli blokların birbirine eklenmesiyle oluşmaktadır.
Bu bloklar ise, evrişimsel katman, havuzlama katmanı, aktivasyon katmanı ve tam bağlı katman olmak üzere farklı amaçları gerçekleştiren katmanlardan meydana gelmektedir.
Çıkışta ise sınıflandırma katmanı bulunmaktadır.
CNN mimarilerinde sınıflandırma ve öznitelik vektörü oluşturma aşamaları aynı anda tek yapı içinde tamamlanır. Ağın çalışma prensibi, sınıflandırma problemine konu olan imgeyi girişi olarak alması ve çıkışında bulunan olasılık dağılımı yapısı sayesinde imgeyi uygun sınıf bilgisine etiketlemesi üzerine kuruludur. Ağın girişi; imgenin farklı bantlarının parlaklık değerlerinden oluşan bir matris veya tensor yapısındadır. Çıkışı ise;
(sınıf_sayısı x 1) boyutlarına sahip bir vektördür. CNN mimarilerinde model eğitimi,
29
çıkıştaki tahminin doğru olup olmamasına göre hesaplanan hatanın, geriye yayılması (backpropagation) algoritması ile yapılmaktadır.
Şekil 3.1 Evrişimsel ağ ile sınıflandırma
Giriş Katmanı (input): CNN mimarilerinde giriş katmanı, giriş imgesinin her kanalındaki, pikselin parlaklık değeri ile oluşturulan, (en, boy, kanal sayısı) boyutlarına sahip bir matris yapısıdır. Kanal sayısı olarak adlandırılan parametre ile, imgeyi oluşturan farklı frekans bantları belirtilmektedir. Örneğin, RGB imgeler için giriş kanal sayısı;
kırmızı, yeşil ve mavi olmak üzere üç olarak tanımlanır.
Evrişimsel Katman (convolutional layer): Evrişimsel katmanda yer alan filtreleri (kernel) oluşturan nöronların her birinin bir alıcı alanı vardır. Ağın veriden öğrenmesi ve öznitelik vektörü oluşturması sürecinde yer alan temel katman bu katmandır. Ağın eğitimi sırasında, filtrelerde yer alan ağırlık değerleri öğrenilir.
Havuzlama katmanı (pooling layer): Uzamsal biriktirme katmanı olarak da adlandırılır ve genellikle evrişimsel katmanların ya da evrişimsel katmanlardan oluşan blokların çıkışında yer alır. Evrişimsel katmanın oluşturduğu öznitelik vektörünü küçülterek hem baskın özelliklerin ortaya çıkmasını hem de küçültülen boyutlarla daha etkin bir ağ eğitiminin olmasını sağlar. Ortalama havuzlama (average pooling) ya da maksimum havuzlama (maximum pooling) olarak iki şekilde yapılır. Bu kullanım aynı zamanda, girişe uygulanan öznitelik vektöründe oluşan gürültüyü azaltır.
30
Aktivasyon katmanı (activation layer): Bu katman, evrişimsel katmanların çıkışında yer alır ve lineer olmayan fonksiyonların kullanıldığı katmandır. Bu katman ağın doğrusal olmayan fonksiyonları öğrenmesine yardımcı olduğu için önemlidir. Derin modellerde yaygın olarak, ReLU (max(0,x)) aktivasyon fonksiyonu kullanılmaktadır.
Tam Bağlı Katman (fully connected layer): Tüm evrişimsel bloklar tamamlandıktan sonra, sınıflama fonksiyonlarına geçmeden önceki aşamada yer alır. Bu katmanla birlikte giriş katmanından kabul edilen imge; tek bir vektöre dönüştürülür. Bu katman, sınıflandırma katmanını besler. Bu katmandan sonra uygulanan kayıp fonksiyonunu kullanarak, geri yayılım (backpropagation) yöntemiyle ağ eğitilir. Bu yapı, çok katmanlı perceptrona (multilayer perceptron) benzer şekilde çalışır. Tüm düğümlerin birbiriyle bağlantısını gerektirdiği için öğrenilecek parametre sayısı bakımından ağa büyük bir yük getirir. Bu sebeple yeni nesil ağlarda bunun yerine 1x1 boyutlarında evrişimsel kernelden oluşan katmanlar tercih edilmektedir.
Sınıflandırma Katmanı: Evrişimsel sinir ağının son katmanıdır; derin modellerde ağırlıklı olarak softmax (Goodfellow vd.2016) fonksiyonun çalıştığı katmandır. Buradaki düğüm sayısı, modelin sınıf sayısına eşittir. Denklem 3.2’de verilen Softmax fonksiyonu, normalleştirilmiş üstel fonksiyon olarak da adlandırılır.
𝑆(𝐾)𝑖 = 𝑒−𝐾𝑖
∑ 𝑒𝑁𝑗 −𝐾𝑗 (3.2)
Denklem 3.1 ile; X giriş vektörü ve W ağırlıklar vektörü olmak üzere, Softmax fonksiyonundan önceki katmanlar tarafından oluşturulan fonksiyon K=f(X, W) olarak tanımlanmıştır. Softmax fonksiyonunun girişine K vektörü uygulanır ve fonksiyon çıkışından, S olasılık vektörü elde edilir. S vektörünün boyutu sınıf sayısına eşittir.
Bu katmanların farklı şekillerde kullanılmasıyla oluşan bloklar ve blokların zincir şekilde arka arkaya getirilmesiyle farklı CNN mimarileri oluşturulur. Bunların en bilinenleri ve sık kullanılanları VGGNet, GoogLeNet, ResNet, DenseNet mimarileri olup ResNet ve DenseNet tez kapsamında yapılan deneylerde kullanılmıştır.
