3. CBS OPTİMİZASYONU GEÇMİŞ ÇALIŞMALAR
4.1.2. Yazılım
Bu bölümde deney süreçlerinde kullanılan yazılım ve donanım bilgisi verilmiştir. Bu bilgiler bir sonraki bölümlerde deneyin yapılandırması hakkında bilgi verecektir.
4.1.1. Donanım
Eşzamanlı kullanıcının olmadığı deneylerde kullanılan sistemler için istemci özellikleri , Intel Core İ7 7500u 4 Ghz işlemci , 8 GB (2x4 gb GB DDR3 2400 Mhz ram, 1 TB 7200RPM Sata 2 HDD depolama birim ve Nvıdıa Gtx660ti yonga setine sahip ekran kartıdır. Test işlemleri Windows 10 işletim sistem üzerinde gerçekleştirilmiştir.
Sunucu özellikleri ise ,Intel Core İ7 6700k 4 Ghz işlemci , 32 GB (8x4 GB) DDR4 2400 Mhz ram, 480GB 550MB-500MB/s Sata 3 SSD depolama birim ve Nvıdıa Gtx1080 yonga setine sahip ekran kartıdır. Test işlemleri Windows 10 işletim sistem üzerinde gerçekleştirilmiştir.
4.1.2. Yazılım
Çalışmada harita sunum işlemlerini gerçekleştirmek için açık kaynak olarak sunulan ve
coğrafi çalışmada yer verilen Geoserver harita sunucusu kullanılmıştır. Deneyde kullanılan sistem için geoserver ürününün 2.10.3 kararlı versiyonu ile testler yapılmıştır. Önbellek sunucusu için yine Geoserver katılımcıları tarafından geliştirilen ve CBS mimarilerinde oldukça sık kullanılan 1.11.0 versiyon numarasına sahip Geowebcache sunucusu kullanılmıştır. Raster ve vektör verilerin oluşturulması, dönüştürülmesi ve analiz görevlerini görmesi için açık kaynaklı ve birçok CBS yazılımının entegre olduğu GDAL’ın 2.1.3 versiyon numaralı kütüphanesi kullanılmıştır. Dosya formatları ECW ve MrSID kullanımı için 3. nesil formatlar tercih edilmiştir. Kıyaslama işlemlerinin gerçekleştirilebilmesi için Apache ürünü olan Jmeter v3.2 kullanılmıştır. Yazılımların Java gereksinimlerini karşılayabilmek için Java Development Kit (JDK) 8u131 versiyonu test sistemlerine yüklenmiştir. Otonom test yazılımının oluşturulması için Selenium WebDriver Kütüphanesi kullanılmıştır.
Çalışma Alanı 4.2.
Çalışma alanı Amerika Birleşik Devletleri'nin Büyük Okyanus kıyısındaki eyaletlerinin en kuzeyinde yer alan 45° 32' ve 48° 59' kuzey enlemleri ile 116° 57' ve 124° 48' batı boylamları arasında kalan Washington eyaletidir. Çalışma alanını seçiminde, uydu ve vektör verilerinin bu bölgede açık kaynaklı olarak internet üzerinden temin edilebilmesi etkili olmuştur. Ayrıca uydu verilerinin Washington eyaleti bölgesinde 16 bit kodlama ile temin edilebilir olması da seçim için oldukça önemli bir etken olmuştur. Çalışma verisi açık kaynaklı GDAL kütüphanesinin gdalinfo5 yeteneği ile incelendiğinde şekil 4.1’deki bilgilere erişilmektedir.“gdalinfo washington-3x86400x43200.tif” parametresi ile ilgili bilgilere erişilebilmektedir.
5 Gdalinfo, açık kaynaklı GDAL kütüphanesinin sunmuş olduğu veri hakkında bilgi veren servistir.
Çizelge 4.1.Washington eyaleti geotiff dosyası gdalinfo bilgileri
Şekil 4.1. Araştırmada kullanılan çalışma alanı, Washington Eyaleti
Veri Yapısı 4.3.
184.824 km² yüzey ölçümüne sahip Washington eyaleti için 1:50.000 ve 1:25.000 ölçekli raster haritaları Amerika Birleşik Devletleri için harita veri portalı olan www.nationalmap.gov ve yine Amerika Birleşik Devletleri’nin açık veri portalı olan www.data.gov adresinden temin edilmiştir. Raster harita veri kaynağı olarak 1:50.000 ölçekli topografik6 harita ile 1:25.000 ölçekli ortofoto kullanılmıştır.
Geotiff olarak temin edilen harita verisinin sunucuda nasıl tutulacağı ve sunucudan istemciye gönderilme formatı CBS sistemlerinin kararlı ve hızlı çalışması için önemli bir
6 Topografik harita, eşyükselti eğrileri (izohips) vasıtasıyla yeryüzünün şekilsel yapısının gösteren harita türüdür. Eşyükselti eğrilerinin amacı, iki boyutlu haritada yükseklik bilgisini temsil edebilmektir.
unsudur. Bu unsurun dikkate alınarak sunulan ve depolanan verinin formatı hız ile boyut ölçütleri kapsamında kıyaslamaya tabi tutulmuşlardır. Kıyaslamada, sunucuda depolanan veriler için GeoTIFF, MrSID, ve ECW formatı, istemciye sunulan format için resimler için PNG ve JPEG formatları kullanılmıştır. DDS formatı ise bütün istemciler tarafından desteklenmediğinden dolayı “Birlikte Çalışabilirlik” yeteneğinin sağlanabilmesi için test edilmemiştir.
Vektör veri raster verisinde olduğu gibi Washington bölgesi sınırları için oluşturulmuş olup, Open Street Map (OSM)7 tarafından temin edilmiştir. OSM verileri açık kaynak kullanıma açık olduğundan dolayı birçok sağlayıcı tarafından temin edilebilmektedir.
Çalışmada, OSM verilerinin önemli sağlayıcılardan biri olan Geofabrik8 kullanılmıştır.
Veri Esri SHP (Shape) formatında temin edilmiş olup 280 mb boyutundadır. Veri ile birlikte coğrafi ve yapay oluşumlar ile ulaşım, bina ve cadde, sokak, il, ilçe vb. şekillerin mekânsal ve meta veri bilgilerini içermektedir. Veri toplamda 646570 adet polygon,26006 adet polyline ve 556734 nokta bilgisi içermektedir ve 1:25.000 ölçeklidir. Vektör verinin gösterim için gerekli olan stil dosyası (SLD) EK-1’de bulunmaktadır.
Vektör verilerin sunulmasında görsel ve özniteliksel bilgi olarak farklılaşmaktadır. Görsel veri raster verisinde olduğu gibi WMS ve WMTS servisleri ile görsel dosya formatında sunulabiliyorken, öznitelik verisi WFS servisi vasıtası ile GML ve JSON gibi veri değişim formatları ile sunulabilmektedir.
4.3.1. Raster veri depolama formatlarının kıyaslanması
Geotiff MrSID ve ECW formatının aksine kayıp olmadan (Loss-less support) sıkıştırma sağlama desteğine sahip. ECW ise belirli bir sıkıştırma oranına kadar kayıp olmadan sıkıştırma sağlarken 50:1 oranının üzerinde kayıp oluşmaktadır [38].
Oluşturulan testte, 47,405326 derece kuzey ve -122,246168 derece batı koordinatları ve 1:15000 ölçekle elde edilen 1 212 256 KB boyutundaki geotiff verisi 20:1 oranında ECW
7 Open Street Map, açık kaynak olanağı ile sunulan dünya genelinde harita veritabanı oluşturma projesidir.
Harita verileri GPS, gönüllü katılımcı ve kamu vasıtasıyla oluşturulmaktadır.
8 OSM verileri Kuzey Amerika Washington bölgesi vektör dosyası http://download.geofabrik.de/north-america.html adresinden indirilebilmektedir.
ve MrSID dosyalarına dönüştürülmüştür. Dönüşüm işlemi için lokal sunucu yapılandırması kullanılmıştır. Dönüşüm için gerekli kütüphane açık kaynaklı GDAL/OGR olarak seçilmiştir. GDAL kütüphanesinin GeoTIFF verisini ECW ve MrSID formatlarına dönüştürmesi için ECW ve MrSID dll (dynamic link library) dosyalarının GDAL web sitesinden temin edilmesi gerekmektedir.
Gdal_translate ile ECW verisi dönüşümü, “gdal_translate -of ECW -co TARGET=0 -a_srs EPSG:4326 input.tif output.ecw” komutu ile gerçekleştirilebilmektedir.
Gdal_translate ile geotiff JPEG sıkıştırma işlemi ise, “gdal_translate co "TILED=YES" -co "BLOCKXSIZE=512" –-co "BLOCKYSIZE=512" --co "COMPRESS=JPEG" --co
"PHOTOMETRIC=YCBCR" -co "QUALITY=85" input.tif output.tif” parametreleri ile gerçekleştirilebilmektedir.
GDAL ile oluşturulan 20:1 sıkıştırma oranı içeren ECW ve MrSID dosyaları ve JPEG 75%
kalite ile sıkıştırma işlemi gerçekleştirilen verilerin istatistikleri Çizelge 4.1’de gösterilmektedir.
Çizelge 4.2. ECW ,MrSID ve GeoTIFF veri bilgileri (Renkli Ortofoto verisi) Format Oluşturulma
süresi
Dosya Boyutu Sıkıştırma Oranı
Renk sayısı
MrSID 57sn 160,650 KB 20.1 :1 1,512,382
ECW 18sn 109,613 KB 20.9 :1 1,820,514
GeoTIFF 45sn 362,953 KB %75 1,608,918
Çizelge 4.3. ECW ,MrSID ve GeoTIFF veri bilgileri (Siyah Beyaz Ortofoto verisi)
Format Oluşturulma süresi
Dosya Boyutu Sıkıştırma Oranı
Renk sayısı
MrSID 46sn 130,376 KB 20.1 :1 Siyah-beyaz
ECW 9sn 96,955 KB 20.9 :1 Siyah-beyaz
GeoTIFF 32sn 296,145 KB %75 Siyah-beyaz
Dosya oluşumları sonrası ECW oluşturulma süresinin MrSid dosyasının oluşturulma süresinin %31 oranında olduğu, GeoTIFF ile kıyaslandığından ise bu sürecin 2,5 kat daha hızlı gerçekleştiği tespit edilmiştir. Ayrıca yapılan testlerde 20:1 sıkıştırma oranının üzerinde ECW ve MrSID görüntülerinde kayıp başladığından dolayı 20:1 sıkıştırma oranı azami oran olarak belirlenmiştir. Dosya boyutları kıyaslandığından ise MrSID ve ECW arasında çok fazla bir fark gözlemlenmemesine rağmen, DWT tabanlı sıkıştırma yapan formatların GeoTIFF formatından önde olduğu Çizelge 4.1. ve 4.2’de gösterilmiştir.
Şekil 4.2. ECW, MrSID 20:1 ve GeoTIFF sıkıştırma ile görsel kalitesi
Görüntü kalitesi ölçüldüğünde ise ECW verisinin çok daha fazla renk içerdiği fakat görüntülerin histogramları orijinal veri ile karşılaştırıldığından ise GeoTIFF verisinin ham veriye daha yakın olduğu tespit edilmiştir. Fakat bu fark gözle tespit edilemeyecek kadar az olduğu gözlemlenmiştir.
Kıyaslama için sıkıştırılmış verinin işlenerek görüntülenmesi deneyin ikinci adımını oluşturmaktadır. Bir önceki adımda oluşturulan ECW, MrSID ve GeoTIFF verilerinin harita sunucusu bilgisayarından istemci bilgisayarında gösterim performansının ölçülmesi amaçlanmıştır. Senaryo 116° 57' ve 124° 48' batı boylamları arasında gerçekleştirilmiştir.
44° 32' kuzey enlem merkezli noktadan başlayarak belirtilen batı boylamları arasında 1000 sorgu gerçekleştirilmiştir. Sorgular, batı boylamları arasında kalan bu aralığın 1000 eşit parçaya bölünmesi ile oluşturulmuştur ve belirlenen merkez korunarak batı hattı boyunca sorgu yapılmıştır.
Sorgular tek bir istemci bilgisayarından (istemci bilgisayarı 1) diğer sunucu bilgisayarına (sunucu bilgisayarı 1) olacak şekilde gerçekleştirilmiştir. İstemcinin harita istekleri için WMS 1.3.0 protokolü kullanılmış olup geoserver harita sunucusu görüntü hazırlama hizmeti vermiştir. Görüntülerin istemci tarafından otonom sorgulanması için Selenium Web Driver kullanılmıştır. Bu kütüphane ile oluşturulan java uygulaması 1000 adet WMS sorgusunu gerçekleştirerek sunucu tarafından oluşturulan JPEG harita görüntüsünü kayıt etmiştir. Böylelikle sorgu sonucunda oluşabilecek hataların tespitinin yapılması amaçlanmıştır.
Geoserver sunucusunda şu ayarlar yapılmıştır:
Harita pafta boyutu 512x512 olarak belirlenmiştir.
Geoserver Jetty sunucusu ile çalıştırılmıştır.
Çıktı formatı JPEG kullanılmıştır.
JAI (JPEG Native Acceleration) aktif edilmiştir.
Geçerli interpolasyon En Yakın Komşu (Nearest Neighbour) olarak belirlenmiştir.
Şekil 4.3. Harita gösterim performans ölçüm ortamı
Ölçümlerin güvenirliğini artırmak amacıyla her ölçüm sonrası istemci ve sunucu bilgisayarı yeniden başlatılmıştır. Sıkıştırmanın etkisini gözlemlemek için DWT formatlarında 20:1 ve 3:1, GeoTIFF formatında %75 ve %90 sıkıştırma oranları test edilmiştir. Ayrıca projeksiyon dönüşümlerinin işlem gücüne etkisi bilindiğinden dolayı 4326 projeksiyonu ile hazırlanan veriler 3857 projeksiyonunda da denenmiştir.
Çizelge 4.4. ECW, MrSID ve GeoTIFF verileri görüntüleme kıyaslaması
Yapılan deney sonuçlarına göre;
ECW 20:1, 3:1 ‘e göre ortalamada 2 ms gerisinde kalmaktadır. Fakat diğer değerler göz önünde bulundurulduğunda aralarında göz ardı edilebilecek kadar küçük bir fark bulunmaktadır.
ECW 20:1 ile 3:1 dosyaları karşılaştırıldığında ise ECW 20:1 102,350 KB değerindeyken, ECW 3:1 dosyası 258,136 KB olduğu ortaya çıkmıştır.
ECW 20:1 verisinin MrSID 20:1 verisinden ve JPEG sıkıştırma ile oluşturulan veriden çok daha küçük boyutlarda ve kaliteli görüntü elde edilmiştir.
MrSID formatında görüntü oluşturmada 1 adet hata ortaya çıkmıştır ve istenen görüntü elde edilememiştir.
Bulgular sonucunda, DWT algoritması ile sıkıştırma yapan ECW formatının test mimarisinde kullanılması performansı artışını olumlu yönde etkilemesi doğrulanmıştır.H1 hipotezi bu bulgular sonucundan doğrulanmış olmaktadır.Ayrıca oluşturulacak mimari için ECW formatının diğer DWT tabanlı sıkıştırma yapan formatlara göre sunum ve dosya oluşturulma performansında önde olduğu tespiti ortaya çıkarılmıştır.