5. DENEYSEL SONUÇLAR
5.5. Yapay Veri Kümesi ile Eğitilen Modelin Veri Kümeleri ile Test Edilmesi ve
gerçekleştirilmiştir. Bu aşamadan sonra, Bölüm 4.1’de bahsi geçen yapay olarak üretilmiş çatı resimleri ile eğitim gerçekleştirilerek veri kümeleri üzerinde çeşitli testler yapılmıştır.
Yapay veri kümeleri ile eğitilmiş model ile yapılmış testler sonucunda; Veri Kümesi 1 ile yapılan testlerde en başarılı sonuç Tablo 5.4’te görüleceği üzere %66,1 doğruluk (accuracy) oranı
ile 10. testteki görüntü kümesi ile elde edilmiştir. Veri Kümesi 2 ile yapılan testler sonucunda ise elde edilen en yüksek sonuç %85,2 doğruluk oranı ile 1. testteki görüntü kümesi ile elde edilmiştir.
Tablo 5.4. Yapay Resim Veri Kümesi Karşılaştırması
Veri Türleri Veri Kümesi 1
Doğruluk Değerleri
Veri Kümesi 2 Doğruluk Değerleri
Test-1
0.560 0.852
Test-2
0.518 0.808
Test-3
0.591 0.782
Test-4
0.478 0.586
Test-5
0.502 0.741
Test-6
0.606 0.730
Test-7
0.540 0.589
Test-8
0.501 0.814
Test-9
0.489 0.843
Test-10
0.661 0.761
Test-11
0.523 0.670
OSL metodolojisine uygun ve SNN metodu kullanılarak gerçekleştirilen çatı tipi sınıflandırma sonuçları için Tablo 5.4’e bakıldığında Veri Kümesi 1 ile yapılan testlerde en başarılı test; 10. testteki görüntü kümesi ile %66 olarak elde edilmiştir. Alınan bu sonuca ilişkin Hata Matrisi (Confusion Matrix) Tablo 5.5’te gösterilmektedir. Tablo 5.5’teki matrise göre 4000 kez rastgele seçilen çatı tiplerinden 1274’ü teras, 1409’u beşik ve 1317 tanesi de kırma çatı tipi gelmiştir. Cohen'in Kappa Puanı ise 0.494 olarak hesaplanmış olup sınıflandırma sonuçlarının orta düzeyde uyumlu olduğu görülmektedir.
Tablo 5.5. Veri Kümesi 1 – Test 10 için Hata Matrisi Gerçek
Teras Beşik Kırma Toplam
Tahmin Teras 1259 7 8 1274
Beşik 390 657 362 1409
Kırma 301 288 728 1317
1950 952 1098 4000
Teras çatı tipi için yapılan 1274 testten 1259’u doğru sınıflandırılırken, teras çatı tipi olması gereken 7 adet veri beşik çatı tipi, 8 adet veri ise kırma çatı tipi olmak üzere toplam 15 adet veri yanlış sınıflandırılmıştır. Bu verilere göre teras çatı tipinin sınıflandırma doğruluğu yaklaşık %99 olarak hesaplanmıştır.
Beşik çatı tipi için yapılan 1409 testten 657’si doğru sınıflandırılırken, beşik çatı tipi olması gereken 390 adet veri teras çatı tipi, 362 adet veri ise kırma çatı tipi olmak üzere toplam 752 adet veri yanlış sınıflandırılmıştır. Bu verilere göre beşik çatı tipinin sınıflandırma doğruluğu yaklaşık
%47 olarak hesaplanmıştır.
Kırma çatı tipi için yapılan testlerde ise 1317 testten 728’i doğru sınıflandırılırken, kırma çatı tipi olması gereken 301 adet veri teras çatı tipi, 288 adet veri ise beşik çatı tipi olmak üzere toplam 589 adet veri yanlış sınıflandırılmıştır. Bu verilere göre kırma çatı tipinin sınıflandırma doğruluğu yaklaşık %55 olarak hesaplanmıştır.
Tablo 5.5’teki verilere göre hesaplanan doğruluk (Accuracy), kesinlik (Precision) ve duyarlılık (Recall) metrikleri ise Tablo 5.6’da sunulmuştur. Bu sonuçlara göre, teras çatı tipinin doğruluk ve duyarlılık değerleri 0.99 iken kesinlik değeri 0.65, beşik çatı tipinin doğruluk ve duyarlılık değerleri 0.47 iken kesinlik değeri 0.70, kırma çatı tipinin doğruluk ve duyarlılık değerleri 0.55 iken kesinlik değeri 0.66 olarak hesaplanmıştır.
Tablo 5.6. Veri Kümesi 1 – Test 10 için Performans Değerleri Doğruluk Kesinlik Duyarlılık
Teras 0.99 0.65 0.99
Beşik 0.47 0.70 0.47
Kırma 0.55 0.66 0.55
Veri Kümesi 2 ile yapılan testlerde en başarılı test; 1. testteki görüntü kümesi ile %85,2 olarak elde edilmiştir. Alınan bu sonuca ilişkin Hata Matrisi Tablo 5.7’de gösterilmektedir. Tablo 5.7’deki matrise göre 10000 kez rastgele seçilen çatı tiplerinden 3372’si teras, 3283’u beşik ve
3345 tanesi de kırma çatı tipi gelmiştir. Ayrıca, Cohen'in Kappa Puanı 0.777 olarak hesaplanmış olup sınıflandırma sonuçlarının iyi düzeyde uyumlu olduğu anlaşılmaktadır.
Tablo 5.7. Veri Kümesi 2 – Test 1 için Hata Matrisi Gerçek
Teras Beşik Kırma Toplam
Tahmin
Teras 3372 0 0 3372
Beşik 490 2661 132 3283
Kırma 742 116 2487 3345
10000
Teras çatı tipi için yapılan 3372 testin tamamı doğru sınıflandırılmıştır. Bu verilere göre teras çatı tipinin sınıflandırma doğruluğu %100 olarak hesaplanmıştır. Beşik çatı tipi için yapılan 3283 testten 2661’i doğru sınıflandırılırken, beşik çatı tipi olması gereken 490 adet veri teras çatı tipi, 132 adet veri ise kırma çatı tipi olmak üzere toplam 622 adet veri yanlış sınıflandırılmıştır.
Bu verilere göre beşik çatı tipinin sınıflandırma doğruluğu yaklaşık %81 olarak hesaplanmıştır.
Kırma çatı tipi için yapılan testlerde ise 3345 testten 2487’si doğru sınıflandırılırken, kırma çatı tipi olması gereken 742 adet veri teras çatı tipi, 116 adet veri ise beşik çatı tipi olmak üzere toplam 858 adet veri yanlış sınıflandırılmıştır. Bu verilere göre kırma çatı tipinin sınıflandırma doğruluğu yaklaşık %74 olarak hesaplanmıştır.
Tablo 5.7’deki verilere göre hesaplanan doğruluk (Accuracy), kesinlik (Precision) ve duyarlılık (Recall) metrikleri ise Tablo 5.8’de sunulmuştur. Bu sonuçlara göre, teras çatı tipinin doğruluk ve duyarlılık değerleri 1 iken kesinlik değeri 0.73, beşik çatı tipinin doğruluk ve duyarlılık değerleri 0.81 iken kesinlik değeri 0.96, kırma çatı tipinin doğruluk ve duyarlılık değerleri 0.74 iken kesinlik değeri 0.96 olmuştur.
Tablo 5.8. Veri Kümesi 2 – Test 1 için Performans Değerleri Doğruluk Kesinlik Duyarlılık
Teras 1 0.73 1
Beşik 0.81 0.96 0.81
Kırma 0.74 0.96 0.74
Her iki veri kümesi içinde bakıldığında Teras çatı tipinde doğruluk oranının çok yüksek olmasının sebebi teras çatı tiplerinin düz bir yüzeye sahip olması ve test resimlerinin çok fazla detay içermemesidir. Benzer şekilde, beşik ve kırma çatı resimlerinde çok fazla detay bulunması ve uydu görüntülerinin çözünürlüğünün çok yüksek olmaması gibi nedenlerden dolayı başarım oranları teras çatı tipine göre daha düşük kalmıştır.
Bu çalışma, çok fazla veriye ihtiyaç duyulmadan tek bir veri ile eğitilen modelin sınıflandırmada tatmin edici düzeyde başarı sağlayabileceğini göstermiştir.
6. SONUÇ
Bu çalışmanın temel amacı CNN tabanlı metotların çatı tipi sınıflandırması yapmak için çok fazla eğitim verisine ihtiyaç duymasının getirdiği zorluklara çözüm bulmaktır. Çatı veri kümesi üretiminin zorlu bir süreç olması nedeniyle yapay bir veri kümesi üretimi gerçekleştirilmiştir. Model eğitimi aşamasında kullanılacak yapay verinin üretilmesi ve az sayıda veri ile eğitim gerçekleştirebilme yönleriyle bu çalışmanın literatüre özgün bir katkı sunacağı düşünülmektedir.
Çalışma kapsamında Bir Örnekle Öğrenme metodolojisi SNN yöntemi kullanılarak önce yüksek miktardaki veri kümeleri ile denenmiş, sonrasında Bir Örnekle Öğrenme yaklaşımına uygun bir şekilde veri miktarı azaltılarak çalışmalar yapılmıştır. Aynı veri kümeleri CNN yöntemi ile de çalıştırılarak elde edilen sonuçlar karşılaştırılmıştır. CNN yaklaşımının belli bir veri miktarının altında sonuç üretemediği gözlenmiştir. OSL yaklaşımının tek bir veride bile tatmin edici sonuçlar üretebildiği kanıtlanmıştır.
Eğitilen modelin test edilmesi sırasında rastgele alınan bir resmin kendi bulunduğu sınıf dahil teras, beşik ve kırma sınıflarından alınan 3 adet rastgele resim ile karşılaştırılması sonucunda SNN yöntemi kullanılarak benzerlik oranı en yüksek olan sınıf değerlendirmeye alınmaktadır. Eğer ilk alınan resmin kendi sınıfı ile olan benzerliği diğerlerinden daha büyük bir değere sahip ise sınıflandırma doğru, daha küçük bir değere sahip ise de sınıflandırma yanlış olarak değerlendirilir. Bu aşamada benzerlik değerleri negatif çok düşük değerler olabilmektedir.
Yanlış olarak kabul edilen sınıflandırmalar için benzerlik değerlerine bir eşik değer sınırı eklenmesi halinde (çok küçük negatif değerler hesaba katılmaz ise) test doğruluk oranının daha yüksek olması öngörülmektedir. Daha sonraki çalışmalarda test doğruluğu için bir eşik değeri belirlenerek daha iyi sonuçlar alınabileceği düşünülmektedir.
Yapay eğitim verileri eşliğinde kullanılan yöntemin umut verici olduğu, metodun farklı test verileri ile daha genel bir yaklaşım haline dönüştürülebileceği öngörülmektedir. Kullanılan modelin sonuçları tatmin edici olmasına rağmen, daha yüksek çözünürlüklü test verileri ile daha iyi sonuçlar alınabileceği düşünülmektedir. Daha sonraki çalışmalarda yapay veri üretiminin farklı çatı dokuları ile çeşitlendirilmesinin faydalı olabileceği değerlendirilmektedir. Ayrıca, bu tez çalışmasında önerilen metot, çatı veri kümesinin oluşturulma ve bulunma zorluğundan
kaynaklı yalnızca iki çalışma alanı üzerinde denenebilmiştir. Daha farklı veri kümeleri ile yöntemin test edilmesi takip eden çalışma konularından biri olacaktır.
47
KAYNAKLAR
[1] Alidoost, F., Arefi, H., & Tombari, F. (2019). 2D image-to-3D model: Knowledge-based 3D building reconstruction (3DBR) using single aerial images and convolutional neural networks (CNNs). Remote Sensing, 11(19), 2219. https://doi.org/10.3390/rs11192219 [2] https://www.centuryroofing.ca/b/roofing-materials-around-the-world, Son erişim tarihi:
20.01.2023
[3] Buyukdemircioglu, M., Can, R., & Kocaman, S. (2021). Deep learning based roof type classification using very high resolution aerial imagery. The International Archives of Photogrammetry, Remote Sensing and Spatial Information Sciences, 43, 55-60.
[4] Partovi, T., Fraundorfer, F., Azimi, S., Marmanis, D., & Reinartz, P. (2017). Roof Type Selection based on patch-based classsification using deep learning for high Resolution Satellite Imagery. International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences-ISPRS Archives, 42(W1), 653-657, https://doi.org/10.5194/isprs-archives-XLII-1-W1-653-2017
[5] Mohajeri, N., Assouline, D., Guiboud, B., Bill, A., Gudmundsson, A., & Scartezzini, J.
L. (2018). A city-scale roof shape classification using machine learning for solar energy applications. Renewable Energy, 121, 81-93.
[6] Tommasini, M., Bacciottini, A., & Gherardelli, M. (2019). A QGIS tool for automatically identifying asbestos roofing. ISPRS International Journal of Geo-Information, 8(3), 131.
[7] Berardi, U. (2016). The outdoor microclimate benefits and energy saving resulting from green roofs retrofits. Energy and buildings, 121, 217-229.
doi:10.1016/j.enbuild.2016.03.021.
[8] Santamouris, M. (2014). Cooling the cities–a review of reflective and green roof mitigation technologies to fight heat island and improve comfort in urban environments.
Solar energy, 103, 682-703. doi:10.1016/j.solener.2012.07.003.
48
[9] Ng, E., Chen, L., Wang, Y., & Yuan, C. (2012). A study on the cooling effects of greening in a high-density city: An experience from Hong Kong. Building and environment, 47, 256-271. doi:10.1016/j.buildenv.2011.07.014.
[10] Rowe, D. B. (2011). Green roofs as a means of pollution abatement. Environmental pollution, 159(8-9), 2100-2110.
[11] Francis, R. A., & Lorimer, J. (2011). Urban reconciliation ecology: the potential of living roofs and walls. Journal of environmental management, 92(6), 1429-1437.
doi:10.1016/j.jenvman.2011.01.012.
[12] https://engineeringdiscoveries.com/different-types-of-roofs/, Son erişim tarihi:
20.01.2023
[13] https://en.wikipedia.org/wiki/Flat_roof, Son erişim tarihi: 20.01.2023 [14] https://en.wikipedia.org/wiki/Gable, Son erişim tarihi: 20.01.2023 [15] https://en.wikipedia.org/wiki/Hip_roof, Son erişim tarihi: 20.01.2023
[16] Castagno, J., & Atkins, E. (2018). Roof shape classification from LiDAR and satellite image data fusion using supervised learning. Sensors, 18(11), 3960.
[17] Assouline, D., Mohajeri, N., & Scartezzini, J. L. (2017, October). Building rooftop classification using random forests for large-scale PV deployment. In Earth resources and environmental remote Sensing/GIS Applications VIII (Vol. 10428, pp. 47-58).
SPIE.; https://doi.org/10.1117/12.2277692
[18] Axelsson, M., Soderman, U., Berg, A., & Lithen, T. (2018, April). Roof type classification using deep convolutional neural networks on low resolution photogrammetric point clouds from aerial imagery. In 2018 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP) (pp. 1293-1297).
IEEE.; doi: 10.1109/ICASSP.2018.8461740.
49
[19] Zang, A., Zhang, X., Chen, X., & Agam, G. (2015, May). Learning-based roof style classification in 2D satellite images. In Geospatial Informatics, Fusion, and Motion Video Analytics V (Vol. 9473, pp. 166-176). SPIE.; https://doi.org/10.1117/12.2180393 [20] Kim, J., Bae, H., Kang, H., & Lee, S. G. (2021). CNN algorithm for roof detection and
material classification in satellite images. Electronics, 10(13), 1592.
[21] Bromley, J., Guyon, I., LeCun, Y., Säckinger, Eduard, & Shah, R., 1993. Signature Verification Using a "Siamese" Time Delay Neural Network, in: Proceedings of the 6th International Conference on Neural Information Processing Systems, Morgan Kaufmann Publishers Inc., San Francisco, CA, USA.pp.737–744.
[22] Koch, G., Zemel, R., & Salakhutdinov, R. (2015, July). Siamese neural networks for one-shot image recognition. In ICML deep learning workshop (Vol. 2, p. 0).
[23] Hsiao, S. C., Kao, D. Y., Liu, Z. Y., & Tso, R. (2019). Malware image classification using one-shot learning with siamese networks. Procedia Computer Science, 159, 1863-1871.
[24] Zhang, P., Bai, Y., Wang, D., Bai, B., & Li, Y. (2021). Few-shot classification of aerial scene images via meta-learning. Remote Sensing, 13(1), 108.
[25] Chakrapani Gv, A., Chanda, S., Pal, U., & Doermann, D. (2019, November). One-shot learning-based handwritten word recognition. In Asian Conference on Pattern Recognition (pp. 210-223). Springer, Cham.
[26] Varghese, D., Bauer, R., Baxter-Beard, D., Muggleton, S., & Tamaddoni-Nezhad, A.
(2021, October). Human-like rule learning from images using one-shot hypothesis derivation. In International Conference on Inductive Logic Programming (pp. 234-250).
Springer, Cham.
[27] He, H., Zhou, J., Chen, M., Chen, T., Li, D., & Cheng, P. (2019). Building extraction from UAV images jointly using 6D-SLIC and multiscale Siamese convolutional networks. Remote Sensing, 11(9), 1040.
50
[28] Wang, C., Huang, C., Zhu, X., & Zhao, L. (2022). One-Shot Retail Product Identification Based on Improved Siamese Neural Networks. Circuits, Systems, and Signal Processing, 1-15.
[29] Yang, L., Chen, Y., Song, S., Li, F., & Huang, G. (2021). Deep Siamese networks-based change detection with remote sensing images. Remote Sensing, 13(17), 3394.
[30] Paladini, E., Vantaggiato, E., Bougourzi, F., Distante, C., Hadid, A., & Taleb-Ahmed, A. (2021). Two ensemble-CNN approaches for colorectal cancer tissue type classification. Journal of Imaging, 7(3), 51.
[31] Vapnik, V., & Vapnik, V. (1998). Statistical learning theory Wiley. New York, 1(624), 2.
[32] Vapnik, V. N. (1999). An overview of statistical learning theory. IEEE transactions on neural networks, 10(5), 988-999.
[33] Mantero, P., Moser, G., & Serpico, S. B. (2005). Partially supervised classification of remote sensing images through SVM-based probability density estimation. IEEE Transactions on Geoscience and Remote Sensing, 43(3), 559-570.
[34] Burges, C. J. (1998). A tutorial on support vector machines for pattern recognition. Data mining and knowledge discovery, 2(2), 121-167.
[35] Montgomery, D. C., Peck, E. A., & Vining, G. G. (2021). Introduction to linear regression analysis. John Wiley & Sons.
[36] Geman, S., Bienenstock, E., & Doursat, R. (1992). Neural networks and the bias/variance dilemma. Neural computation, 4(1), 1-58.
[37] Guyon, I., Vapnik, V., Boser, B., Bottou, L., & Solla, S. A. (1992, January). Capacity control in linear classifiers for pattern recognition. In 11th IAPR International Conference on Pattern Recognition. Vol. II. Conference B: Pattern Recognition Methodology and Systems (Vol. 1, pp. 385-386). IEEE Computer Society.
51
[38] Zhu, G., & Blumberg, D. G. (2002). Classification using ASTER data and SVM algorithms: The case study of Beer Sheva, Israel. Remote sensing of Environment, 80(2), 233-240.
[39] Kavzoglu, T., & Colkesen, I. (2009). A kernel functions analysis for support vector machines for land cover classification. International Journal of Applied Earth Observation and Geoinformation, 11(5), 352-359.
[40] Foody, G. M., & Mathur, A. (2004). A relative evaluation of multiclass image classification by support vector machines. IEEE Transactions on geoscience and remote sensing, 42(6), 1335-1343.
[41] Bazi, Y., & Melgani, F. (2006). Toward an optimal SVM classification system for hyperspectral remote sensing images. IEEE Transactions on geoscience and remote sensing, 44(11), 3374-3385.
[42] Ghosh, A., Sufian, A., Sultana, F., Chakrabarti, A., & De, D. (2020). Fundamental concepts of convolutional neural network. In Recent trends and advances in artificial intelligence and Internet of Things (pp. 519-567). Springer, Cham.
[43] Hubel, D. H., & Wiesel, T. N. (1968). Receptive fields and functional architecture of monkey striate cortex. The Journal of physiology, 195(1), 215-243.
[44] LeCun, Y., Bottou, L., Bengio, Y., & Haffner, P. (1998). Gradient-based learning applied to document recognition. Proceedings of the IEEE, 86(11), 2278-2324.
[45] Krizhevsky, A., Sutskever, I., & Hinton, G. E. (2012). Imagenet classification with deep convolutional neural networks. Advances in neural information processing systems, 25.
[46] Zeiler, M. D., & Fergus, R. (2014, September). Visualizing and understanding convolutional networks. In European conference on computer vision (pp. 818-833).
Springer, Cham.
[47] Simonyan, K., & Zisserman, A. (2014). Very deep convolutional networks for large-scale image recognition. arXiv preprint arXiv:1409.1556.
52
[48] Szegedy, C., Liu, W., Jia, Y., Sermanet, P., Reed, S., Anguelov, D., & Rabinovich, A.
(2015). Going deeper with convolutions. In Proceedings of the IEEE conference on computer vision and pattern recognition (pp. 1-9).
[49] He, K., Zhang, X., Ren, S., & Sun, J. (2016). Deep residual learning for image recognition. In Proceedings of the IEEE conference on computer vision and pattern recognition (pp. 770-778).
[50] Phung, V. H., & Rhee, E. J. (2018). A deep learning approach for classification of cloud image patches on small datasets. Journal of information and communication convergence engineering, 16(3), 173-178.
[51] Huang, G., Liu, Z., Van Der Maaten, L., & Weinberger, K. Q. (2017). Densely connected convolutional networks. In Proceedings of the IEEE conference on computer vision and pattern recognition (pp. 4700-4708).
[52] https://github.com/loosgagnet/Building-detection-and-roof-type-recognition, Son erişim tarihi: 20.01.2023
[53] https://towardsdatascience.com/one-shot-learning-with-siamese-networks-using-keras-17f34e75bb3d , Son erişim tarihi: 20.01.2023
[54] https://www.autodesk.com/products/maya/overview, Son erişim tarihi: 20.01.2023 [55] https://www.openstreetmap.org/export#map=16/32.7176/-117.1554, Son erişim tarihi:
20.01.2023
[56] https://www.qgis.org/, Son erişim tarihi: 20.01.2023
[57] https://www.google.com/maps, Son erişim tarihi: 20.01.2023
[58] Landis, J. R., & Koch, G. G. (1977). The measurement of observer agreement for categorical data. biometrics, 159-174.
EKLER
EK 1: TEZ ÇALIŞMASI KAPSAMINDA YAYIMLANAN MAKALENİN KÜNYE BİLGİLERİ
MAKALE
N. Ölçer, D. Ölçer ve E. Sümer, “Roof Type Classification with Innovative Machine Learning Approaches,” PeerJ Computer Science, 9: e1217, 2023 (SCI-E) https://doi.org/10.7717/peerj-cs.1217