Da˘gıtık Mimaride Uydu Görüntülerinin ˙I¸slenmesi Çalı¸smaları

HPC, büyük verilerin i¸slenmesi ve analizinin yüksek hızda yapılması gereklili˘ginden ortaya çıkmı¸stır. Mamta ve arkada¸sları [52] çalı¸smalarında paralel, da˘gıtık ve küme (cluster) hesaplama gibi de˘gi¸sik HPC teknolojileri ile uydu görüntülerinin i¸slenmesi konularını ara¸stırmı¸slardır. Ara¸stırmalarının sonunda farklı amaçlar için farklı HPC

yakla¸sımlarının kullanılması gerekti˘ginden bahsetmi¸slerdir. Paralel hesaplamanın daha çok karma¸sık hesaplamalar gerektiren uygulamalar için, da˘gıtık hesaplamanın ise büyük ölçekli verilerin a˘g üzerinde birbirine ba˘glı, sıradan hesaplama birimleri kullanarak hızlı bir ¸sekilde i¸slenmesi ve analiz edilmesi için uygun oldu˘gundan bahsetmi¸slerdir. Küme hesaplamanın ise i¸slem üniteleri a˘g üzerinde birbirine ba˘glanarak tek bir bilgisayar gibi çalı¸stırıldı˘gından ve daha çok askeri ve devlet odaklı i¸slerde kullanıldı˘gından söz etmi¸slerdir. Paralel hesaplama birimlerinin daha çok donanım ve güce ihtiyaç duymaları, verinin veya yapılacak i¸slerin paralelle¸stirilmesi kısıtlamalarından ve küme hesaplamada, tüm birimlerin tek bir varlık (entity) gibi ele alınması ve bu tek varlıkta hata olu¸sması durumunda hatanın yönetilmesi zordur. Bu zorluklardan dolayı uydu görüntülerinden nesne çıkarımı mimarisini da˘gıtık hesaplama mantı˘gında, açık kaynak Apache Hadoop yazılım alt yapısında yer alan E¸sle/˙Indirge programlama modelini [53] kullanarak gerçekle¸stirdik.

Uydu teknolojilerindeki geli¸sim ile elde edilen uydu görüntü miktarı ve kalitesi çok fazla artmı¸s olup geleneksel yöntemlerle bu verilerin i¸slenmesi imkânsız hale gelmi¸stir. Bu tür büyük verilerin i¸slenmesi E¸sle/˙Indirge benzeri sistemler ve bulut altyapısı (Hadoop, Hive, HBase, Impala, Spark vb.) ile desteklense de bu tür sistemler; mekânsal (spatial) ve zaman-mekânsal (spatio-temporal) veriler için yetersiz kalmaktadır. Büyük mekânsal veri ile ba¸sa çıkmanın temel yolu, bu veriler ya mekânsal olmayan veriler gibi de˘gerlendirilecek ya da var olan mekânsal olmayan sistemlere (klasik Hadoop gibi) ekstra fonksiyonlar eklenerek sa˘glanacaktır. Bu tür eksikliklerden dolayı ara¸stırmacılar büyük mekânsal verileri da˘gıtık sistem mimarisinde analiz etmek ve i¸slemek için sistemler geli¸stirmi¸slerdir.

Ahmed ve Mohamed [54] büyük mekânsal veriler için geli¸stirilecek olan bir sistemin ne gibi bile¸senlere sahip olması gerekti˘ginden bahsetmi¸slerdir. Aynı ara¸stırmacılar, Hadoop eklentisi olarak büyük mekânsal verilerin i¸slenmesi ve analiz edilmesi için SpatialHadoop’u geli¸stirmi¸slerdir [55]. Pig Latin’den türetilen Pigeon [56] isimli yüksek seviye bir dil ile SpatialHadoop’a eri¸silmektedir. SpatialHadoop ile Grid File, R-tree ve R+-tree indeksleri Hadoop’a adapte edilmi¸stir. Bu indeksler sayesinde aralık sorgulama, KNN ve birle¸stirme [57] gibi birçok mekânsal operasyonlar, hesaplamalı geometri algoritmaları [58] ve mekânsal veri madencili˘gi yakla¸sımları gerçeklenmi¸stir. Ara¸stırmacılar geli¸stirdikleri SpatialHadoop’u farklı sistemlerde/uygulamalarda kullanmı¸slardır. Ayrıca SpatialHadoop’a zamansal destek vererek zaman-mekânsal Hadoop’u önermi¸slerdir. Geli¸stirilen uygulamalardan biri SHAHED’dir [59, 60]. Bu sistem aracılı˘gı ile kullanıcılar web arayüzünde belirledikleri bölgenin belli zaman dilimi içindeki sıcaklık gibi de˘gerlerini görüntüleyebilmektedir. Bu i¸slem

SpatialHadoop’un görselle¸stirme bile¸seni ile gerçekle¸stirilmektedir. Bir di˘ger sistem TAREEG’dir [61]. TAREEG ile kullanıcı harita yardımıyla seçmi¸s oldu˘gu herhangi bir bölge içindeki yol, göl, nehir gibi harita özelliklerini elde edebilir. TAREEG otomatik olarak gerekli özellikleri alarak CSV, KML ve ShapeFile gibi formatlarda kullanıcının mail adresine gönderir.

Yukarıda bahsedilen sistemlerde direk vektör formattaki büyük mekânsal verilerin/bilgilerin analizi söz konusudur. Biz ise uydu görüntülerinden nesne çıkarma i¸sini Hadoop tabanlı olarak raster formattaki mozaikleri kullanarak gerçekle¸stirdik. Gerçekle¸stirdi˘gimiz bu çalı¸smanın çıktıları, büyük mekânsal veriler üzerine çalı¸san yukarıdaki ara¸stırmacılar tarafından girdi olarak kullanılabilir ve bu veriler üzerinde analizler yapılması sa˘glanabilir.

Aji ve di˘g. [62] Hadoop üzerinde büyük ölçekli mekânsal sorgular i¸sletmek için ölçeklenebilir yüksek performanslı veri depolama sistemi Hadoop-GIS’i önermi¸slerdir. Daha sonra Hadoop-GIS’i mekânsal sorguları desteklemek için Hive’e entegre etmi¸slerdir. Kullanıcılar Hadoop-GIS ile komut satırı veya web ara yüzünden etkile¸sime geçerek SQL benzeri sorgular yapabilmektedir. Sistem bu sorguları parçalayıp anlamdırarak uygun E¸sle/˙Indirge kodu arka planda i¸sletilir. Benzeri ¸sekilde Hadoop-GIS de vektör formattaki büyük mekânsal verileri analiz etmektedir. Bu analizleri; nokta kapsama, agregasyon sorgular, büyük ölçek mekânsal birle¸stirme ve en yakın kom¸su sorguları içermektedir. Bu çalı¸smaların temelinde E¸sle/˙Indirge yapısının mekansal sorgularda kullanılma mimarisi geli¸stirilmesi yatmaktadır. Ancak bizim çalı¸smamızda e¸sle-indirge yapısı görüntü verileri üzerinde yapılmakta, yaygın olarak kullanılan metin tabanlı veriler üzerinde yapılmamaktadır. Eken [63] yüksek lisans tezinde, ada nesnelerinin klasik sıralı yakla¸sımla renk uzay dönü¸sümü ile segmentasyonu ve bölge gruplama ve etiketlemeye dayalı yöntemlerle vektörel olarak modellenmesini sa˘glamı¸stır. Zaman-mekânsal ve topolojik sorguları vektör model zerinde test etmi¸stir. Do˘gal olayların (dolgu, a¸sınma ve deprem vb.) sistem üzerindeki simülasyonu gerçeklenerek sistemin etkinli˘gi ve do˘grulu˘gu gösterilmi¸stir.

Uydu görüntüleri, CBS ve mekânsal veriler üzerinde E¸sle/˙Indirge programlama modelini kullanan di˘ger çalı¸smalar ise ¸su ¸sekilde özetlenebilir: Cary ve di˘g. [64], E¸sle/˙Indirge programlama modeli kullanarak mekânsal veri setlerinin paralel i¸slenmesi için bir çalı¸sma yapmı¸slardır. Çalı¸smada, E¸sle/˙Indirge çatısının vektör (yı˘gın R-tree’lerin olu¸sturulması) ve raster (havadan çekilmi¸s görüntülerin iyile¸stirilmesi) veri gösterimlerinin paralel olarak i¸slenmesi için nasıl kullanılaca˘gı açıklanmı¸stır. Golpayegani ve Halem [65] ile Lv ve di˘g. [66], Hadoop’un E¸sle/˙Indirge modelini

kullanarak bazı uydu görüntü i¸sleme algoritmalarını gerçekledirler; fakat Hadoop’ta görüntüleri ham olarak kullanmadan önce metin formatına sonra da ikili formata çevirdiler. Görüntüleri ham olarak kullanmadıkları için bu ön i¸slem çok hesaplama zamanı almı¸stır. Tesfamariam da [67] çalı¸smasında E¸sle/˙Indirge temelli büyük boyutlu uydu görüntülerinin i¸slenmesini sunmu¸s; Sobel, Laplacian ve Canny gibi kenar bulma algoritmaları üzerinde durum çalı¸sması yapmı¸stır.

Kang ve di˘g. [68] ise Hadoop’ta uzaktan algılama görüntülerinin nasıl yönetilece˘ginden bahsettikten sonra statik ve dinamik bir web harita servisinin nasıl tasarlanaca˘gını anlatmı¸slardır. Liu ve di˘g. [69] internet üzerinde CBS görüntülerini kaydeden ve kullanıcılara bu görüntüler üzerinde arama yapma imkânı veren Hadoop sunucularında küçük görüntü dosyalarından kaynaklı yava¸slı˘gı gidermeye yönelik olarak dosyaların birle¸stirilerek HDFS’e kaydını anlatan bir tekni˘gi açıklamı¸slardır. Yaptı˘gımız ara¸stırmalara göre da˘gıtık uzaktan algılama görüntü i¸sleme çalı¸smalarında dü¸sük seviye görüntü i¸sleme operasyonları (kenar bulma, gürültü azaltma-kaldırma), çok azında da orta seviye operasyonlar gerçekle¸stirilmi¸stir. Gerçekle¸stirdi˘gimiz uzaktan algılama görüntülerinin birle¸stirilmesi ve nesne çıkarma çalı¸smasında yüksek seviyeli görüntü i¸sleme operasyonlarının da˘gıtılması söz konusudur. Bu yönden de çalı¸sma farklılık göstermektedir.