Dörtlü ağaç mekânsal indeksleme

Piramit yapısının yüksek ölçeklerdeki başarısına rağmen, ölçek değerinin düşmesi durumunda piramitlenmemiş veri ile aynı performansı göstermektedir. Bu sorunun başlıca sebebi, düşük ölçeklerde orijinal veriye yakın bir boyuttaki görselin hafızaya yüklenerek işlenmesidir. Gauss piramidinin alt seviyelerindeki örneklerinin performans kaygısı olmadan kullanılabilir olması için iki boyutlu harita görselini küçük boyutlara parçalayarak yönetimin daha kolay bir yapıya dönüştürülmesi gerekmektedir.

Mekânsal verinin küçük boyutlarda indekslenmesi için, oluşturulan gauss piramidinin her bir katmanında ızgara (grid) oluşturularak görüntü eşit aralıklı paftalara bölünmelidir. Pafta boyutları, piramidin bütün seviyelerindeki paftalar ile eşit boyutlara ayrılarak, homojen gauss piramidi ızgara yapısı (Tile Matrix Gauss Pyramid) oluşturulmuş olur.

Şekil 4.10. Tile Matrix gauss piramidi

Dünya -90 ve 90 derece enlem ve -180 ve 180 derece boylamları arasındaki alanı temsil ettiğinden dolayı eşit boyutlarda oluşturlan ızgarada pafta sayısı;

Matrix Pafta Sayısı =enlemsel pafta sayısı * boylamsal pafta sayısı (4.4)

Enlemsel Pafta Sayısı = floor(2piramit seviyesi / (yükseklik/genişlik)) (4.5)

Boylamsal Pafta Sayısı = floor(2piramit seviyesi / (genişlik/yükseklik)) (4.6)

Katman Pafta Sayısı =2seviye*2

(4.7)

Çizelge 4.7. Quad tree gauss piramidi bilgileri

Washington Eyaleti Ortofoto 1:25000

Görüntü Alanı: 184 827 km

²

Pafta Boyutu: 256 x 256 Piksel Pafta Resim Formatı: JPEG

Koordinat Referans Ssitemi: WGS84 / Spherical Web Mercator Diskte kapladığı alan: 48 172,677 mb

Gauss Pramidi Diskte kapladığı alan: 93 480,132 mb Quad Dönüşüm Sonrası Kapladığı alan: 108 550,76 mb Oluşan Toplam Pafta Sayısı: 19 577 895

Detay

Çizelge 4.7. (devam) Quad tree gauss piramidi bilgileri

7 1,2 km 21,58 516

8 611 m 67,943 1871

9 306 m 339,1 7236

10 153 m 1467,74 28 388

11 76 m 3021,8 112 485

12 39 m 9230,46 447 836

13 19 m 16 109,01 1 786 429

14 10 m 30 109,01 4 272 387

15 5 m 48 172,677 12 920 530

16 2,4 m Veri yok Veri yok

17 1,2 m Veri yok Veri yok

18 60 cm Veri yok Veri yok

19 30 cm Veri yok Veri yok

20 15 cm Veri yok Veri yok

21 7,5 cm Veri yok Veri yok

Çizelge 4.6. -90 ve 90 derece enlem ve -180 ve 180 derece boylamları arasında kalan görüntünün 1:133 ölçeğine kadar oluşturulan ızgara piramit seviyelerini göstermektedir.

Üst seviyede pafta sayısı 2 adet ile sınırlıyken alt seviyelerde daha detaylı veriler olduğundan dolayı pafta sayısı milyar seviyesinde olmaktadır.

Her ne kadar ızgara piramidinin katmanları küçük paftalara bölünerek büyük verinin işlenme maliyetini azaltsada, artan veri sayısı sebebiyle pafta ve mekânsal konum arasında ilişkinin oluşturulması zorlaşmaktadır. Çünkü istemci tarafından belirli ölçekte sorgulanan alan ile bu alana denk gelen paftalar çakıştırma analizi ile berlirlenmektedir ve bu analizin efektif çalışabilmesi için hiyerarşik mekânsal veri yapısının kurgulanması gerekmektedir.

Geohash, R-Tree, ve dörtlü ağaç (Quad Tree) veri yapıları çoklu çözünürlüklü ızgara yapısındaki mekansal verinin, hiyerarşik olarak temsil edilmesi sağlamaktadır. Çalışmada verinin homojen ve WMTS yapısına uygun olması sebebiyle oluşturulan ızgara piramidi dörtlü ağaç veri yapısı ile indekslenmiştir. Quadtree veri yapsıındaki ağaç ve dallarının oluşturulması için enlem ve boylam bilgilerinde oluşan alanın dörtlü ağaç anahtara (DAA) dönüşümü sağlanarak indekslenmesi gerekmektedir. DAA bilgisinin oluşturulması için pafta çözünürlüğü bilgisinden katmandaki pafta sayısına, pafta sayısından ise paftaların satır ve sütün numaralarını elde etmek gerekmektedir.

DAA bilgisinin oluşturulması için gerekli ilk adım, istenilen enlem ve boylamdaki noktanın piksel koordinat bilgisine ulaşmaktır. Ağaç yapısı 256x256 piksel görüntüye sahip paftalar ile oluşturulacağı için seçilen projeksiyon ve ölçekte piramitte bulunan katmanlar mekansal koordinat bilgisini piksel koordinat bilgisine Eş. 4.9 ve Eş.4.10 bağlantısıyla ulaşılmıştır.

sinEnlem =sin(enlem bilgisi * pi/180) (4.8)

pikselX = ((boylam + 180) / 360) * 256 * 2Seviye

(4.9)

pikselY = (0.5 – log((1 + sinEnlem) / (1 – sinEnlem)) / (4 * pi)) * 256 * 2Seviye

(4.10)

Elde edilen piksel koordinatlarının yatayda ve dikeyde piramit seviyesindeki kaçıncı paftaya denk geldiğini bulmak için Eş.4.11 ve Eş.4.12 bağlantıları kullanılır.

PaftaIndeksX =floor(pikselX / 256) (4.11)

PaftaIndeksY =floor(pikselY / 256) (4.12)

Izgara sistemi üzerindeki X ve Y pafta indekslerinin dörtlü yapıya geçirilmesi ve bu veri yapısında indekslenmesi için satır ve sütün bilgisinden oluşan bilginin (PaftaIndeksX, PaftaIndeksY ) tek bir bilgi (DAA) temsil edilmesi gerekmektedir. Bu ihtiyaç doğrultusunda satır ve sütün bilgisi ikili sisteme çevrilerek serpiştirme (interleaving) işlemi uygulanır. Uygulama sonucunda ikilik tabanda ortaya çıkan bilgi dörtlük tabana çevrilerek Dörtlü Ağaç Veri yapısında temsil edilebilir bir anahtara dönüşümü sağlanır.

Ortaya çıkartılan bağlantılar ışığında piramidin 3. Seviyesinde bulunan 2048x2048 çözünürlüğe sahip katmandaki 2 050,770 piksel koordinatlarına denk gelen DAA bilgisine erişmek için;

PaftaIndeksX = floor(pikselX / 256) = floor(2000/256) = 7 (4.13) PaftaIndeksY = floor(pikselY / 256) = floor(700/256) = 2

PaftaX = 1112 = 7 (4.14) PaftaY = 010₂ = 2

Interleaving (111_{2 ,} 010₂₎ = 1 1 1

0 1 0 (4.15) = 011101₂

DAA= 011101₂ = 131₄ =”131” (4.16)

DAA ile düğüm ve çocukları vasıtası seviyeler arası pafta ilişkisini kurulması hedeflenmiştir. Elde edilen DAA bilgisi ile Ağaç yapısındaki verinin erişimi hiyerarşik olarak sağlanmıştır. Ayrıca DAA bazı avantajlara sahiptir. İlk avantajı olarak, elde edilen Dörtlü Ağaç Anahtarının basamak sayısı seviye bilgisini vermesi gösterilebilir. Eş.4.16’te elde edilen “131” anahtarı 3 basamak ile temsil edildiğinden dolayı piramid seviyesinde 3.

Katmanda işlem yaptığımızı gösterir. İkinci avantajı, DAA bir üst katmandaki anahtar bilgisini verebilmektedir. Eş. 4.16 sonucu incelendiğinde, soldan ilk basamak 1.seviye DAA bilgisini ve soldan iki basamak 2.seviye DAA bilgisini vermektedir. Bu avantajı sayesinde mip mapping işlemlerinde kaynak tüketimini azaltmaktadır.

Şekil 4.11. Quadtree Tile Matrix gauss piramit haritası

Mekânsal verinin OGC sorguları sonucu etkin olarak kullanılabilmesi için gauss piramidi (GP) , pafta grid (Tile Matrix – TM) ve quadtree (QT) veri yapıları önerilmiştir ve modelin kullanılabilirliğine yönelik test yapılmıştır. Oluşturulan veri yapısı WMTS hizmetinin ızgara yapısına uygun olduğundan dolayı ölçümlerde WMTS servisi kullanılmıştır.

Quadtree Tile Matrix Gauss Piramit (QTMGP) yapısının diğer modeller ile kıyaslanması için performans testleri 45 derece 35 dakika ve 30 saniye kuzey ile 117 derece 55 dakika ve 10 saniye batı merkezli koordinat üzerinde gerçekleştirilmiştir. Belirlenen koordinat merkezinde 10 ölçek seviyesi üzerinde 100/seviye km aralıkları ile 100 WMTS sorgusu yapılmıştır. Cevap sürelerinin her ölçekteki ortalaması alınarak sonuçlar elde edilmiştir.

Test ortamı için şekil 4.8 ‘daki mimari oluşturulmuştur ve sunucu ile istemci için lokalyapılandırma kullanılmıştır. Ölçümler sonucunda Şekil 4.14’teki grafik elde edilmiştir.

Şekil 4.12. WMTS sorgu sonucu veri yapıları kıyaslaması

Gauss piramidinin (GP) dezavantajı olarak görünen düşük ölçekteki görüntüler, tile matrix (TM) yapısı ile verinin küçük paftalara ayrılması ağ trafiğinin etkin kullanımını sağlasa da ortaya çıkan çok sayıda paftanın yönetimini zorlaştırmıştır. QTMGP, paftalar sunucuda işlenerek sorgu öncesinde hiyerarşik olarak hazırlandığından dolayı sunucu, paftanın hazırlama işleminin kısa sürede gerçekleştirmektedir. 1000 WMTS sorgu sonucunda yapılan ölçümlerde QTMGP yapısının 20 kata varan bir avantaj sağladığı ortaya çıkarılmıştır. Mekânsal verinin ölçek seviyesi ölçütü ile piramidal olarak yapılandırılması, katmanların ızgara sistemi ile küçük parçalara ayrılması ve oluşturulan bu sistemin hiyerarşik veri yapısını desteklemesi performansı olumlu yönde etkileşmitir. Yapılan ölçümler ve bulgular ışığında , H2 ve H3 hipotezlerinin doğrulandığı tespit edilmiştir.

OGC Servis Optimizasyonu ve Seçimi 4.4.

OGC servislerinin kullanımının yaygınlaşması ile beraber kullanıcı ihtiyaçlarına yönelik hizmetler ortaya çıkmıştır. OGC servislerindeki yenilikler ile CBS çözümlerine uygun hizmetin seçimi birden fazla parametreyi sonucu ortaya çıkmaktadır. Bu bölümde görüntüleme için kullanılan WMS ve WMTS servisleri performans açısındna kıyaslanmıştır.

4.4.1. WMS WMTS kıyaslaması

OGC servislerinden ilki olan Web Harita Servis kullanımının kolaylığı ve harita sunucularında yaygın bir hizmet olması nedenleriyle istemciler tarafından bir standart haline gelmiştir. En güçlü olduğu özelliği ise tek bir görüntü ile işlem yapıldığından dolayı kullanıcının CBS uygulamasında görüntüyü konumlandırması ve işlemesi kolaylaşmaktadır. Fakat WMS sorgusunun sınırlarının olmamasından dolayı istemci tarafında yanlış kullanımı sunucu ve ağ kaynaklarının tüketimine sebep olabilmektedir. Bu sorunun başlıca sebebi, istemcinin büyük bir alanı görüntülemek istemesiyle ortaya çıkan yüksek çözünürlüklü harita görüntüsünün ortaya çıkardığı performans sorunudur.

CBS mimarilerinin ihtiyaca göre farklılaşmasıyla yeni görüntüleme standartlarına ihtiyaç duyulmuş ve OGC tarafından geliştirilmesine önayak olmuştur. WMTS bu ihtiyaçlar doğrultusunda ortaya çıkan görüntüleme standartıdır. Her ölçek aralığı için karolanan mekânsal verinin satır ve sutun bilgisi ile küçük paftalara halinde görüntü oluşturulmaktadır. Paftalama özelliği ile boyutun azalması ağda ve sunucu hafızasında oluşan yük önemli ölçüde azalmaktadır. Fakat düşük ölçekte oluşan pafta sayısının çok fazla olması sebebiyle istemci ve sunucu işlem kaynakları tüketiminin artacağı düşünülmektedir. Ayrıca WMTS standardının ortaya çıkardığı karmaşanın ortadan kaldırılması ve CBS mimarilerinde kullanılması zorlaşmaktadır. Çünkü WMTS, WMS hizmetinden farklı olarak mekânsal bir alan yerine ızgara indeksi üzerinde işlem yapmaktadır.

Ortaya çıkan bu dezavantaj ve avantajların değerlendirilerek görüntüleme servisinin seçimi için; çalışmadaki kısıtlar göz önünde bulundurularak çoklu kullanıcı ve çoklu görüntü sorguları ile testler yapılmıştır. Amaç, çok sayıda eşzamanlı erişimi sürekli olarak taklit ederek harita sunucusuna baskı yapmaktır. Böylelikle istatistik toplayarak görüntüleme servisini bulgular sonucunda seçmektir. Testler için kullanılan metedoloji şu şekilde yapılmıştır:

 Test Süresi – Test süresi 10 dakika olarak belirlenmiştir. Bu süre içinde sanal makinenin ve harita sunucusunun davranışı raporlanmıştır.

 Eşzamanlı kullanıcıların sayısı – Test boyunca kullanıcı sayısı OGC servisinin limitlerini anlayabilmek için artırılarak ölçüm yapılmıştır. Ölçümler sırasıyla

10,25,50,100,250,500,750,1000,1250,1500,1750,2000,2500,3000,3500,4000,5000,600 0,8000,10 000 eşzamanlı kullanıcı ile gerçekleştirilmiştir.

 Kabul edilebilir cevap süresi – Sunucuda görüntünün hazırlanma süresi 2 sn. olarak belirlenmiştir. Bu sürenin üstünden kullanıcı deneyimi azalmaktadır.

 Test sonrası yeni ölçümler için sunucular ve istemciler yeniden başlatılmıştır.

 Harita sunucusu için geoserver harita sunucusu kullanılmıştır.

 İstatistik için şu bilgiler kayıt altına alınmıştır:

o Toplam eşzamanlı kullanıcı sayısı

o Toplamda sunucuya gönderilen sorgu sayısı

o Kabul edilebilir sorgu cevabının ( >2 sn.) yüzde kaç olduğu o Ortalama cevap süresi

o Sunucudan gönderilen ortalama görüntü boyutu o Sunucu bant genişliği (bandwidth) kullanımı (MB/sn.) o Tekrar eden sorgu alanları

 Harita sorgu üretimi – Yapılan tüm testlerde test haritasının (Washington verisi vektör ve raster) %83 ‘lük bölgesini kapsayan alanda rastgele sorgulama yapan yük test aracı kullanılmıştır. Bu araç selenium kütüphanesi ile geliştirilmiştir ve sorguyu aşağıdaki adımlar ile oluşturmaktadır.

Eşzamanlı kullanıcının harita sorgu benzetiminin gerçekleştirilebilmesi için testler mahallî sunucu ve istemci yerine, Amazon firması tarafından sağlanan AWS (Amazon Web Services) sunucuları kullanılmıştır. Ölçümlerde oluşturulan sorgularda çakışma ve resim işleme algoritmaları yoğun olarak kullanılmıştır. İşlemlerin harita sunucusunda yük oluşturmaması ve başarılı ölçümler alabilmek için Amazon sunucu servislerinin işlemsel gücü olan EC2 (Amazon Elastic Compute Cloud) çözümü seçilmiştir.

EC2 yapılandırması istemci ve sunucu için farklı özelliklerde seçilmiştir:

 Sunucu yapılandırması için; Intel Xeon E5-2680 v2 (Ivy Bridge) işlemci, 60 GB hafıza ve 640 GB SSD özelliklerine sahip C3.8xlarge modeli,

 İstemci için; C3 ailesinde 3,75 GB hafıza ve 32 GB SSD depolamaya sahip C3.large modeli seçilmiştir.

Oluşturulan test sistemi ile yapılan ilk WMS ve WMTS karşılaştırmasında QTMGP yapısı kullanılmamıştır. Şekil 4.13‘de görülen sonuçlara göre WMS servisi; 750 eşzamanlı kullanıcı sonrasında 2 sn. olan kabul edilebilir cevap süresini aşmaya ve 1250 eşzamanlı kullanıcıda ise sunucunun kapanmasına sebep olmuştur. WMTS servisi ise eşzamanlı kullanıcı sayısına hizmeti WMS servisine göre 2 kata kadar desteklemiştir. Fakat 2500 kullanıcı sonrasında ise sunucu kapanmıştır.

Şekil 4.13. WMS ve WMTS cevap süreleri

Şekil 4.14 ‘de sonuçları görülen bir sonraki ölçüm bir önceki bölümde oluşturulan QTMGP veri yapısı ile gerçekleştirilmiştir. WMS servisinde eşzamanlı kullanıcı sayısına hizmette %35 oranında bir atış olmuş ve cevap sürelerinde ortalama %23 azalma tespit

10 25 50 100 250 500 750 1000 1250 1500 1750 2000 2500 3000

Ha rit a Ce vap Sür el er i ( sn .)

Eşzamanlı Kullanıcı Sayısı

,

Ortalama Cevap Süresi - WMTS Ortalama Cevap Süresi - WMS

Şekil 4.14. WMS QTMGP ve WMS QTMGP cevap süreleri

Eşzamanlı kullanıcılar ile yapılan kıyaslama testlerinde WMTS sorgusunun ortalama 2,2 katına kadar daha fazla eşzamanlı sorguyu destekleyebildiği ve bu sorgulara 10 katına kadar daha hızlı yanıtlar verebildiği ölçümler sonucunda tespit edilmiştir.

Şekil 4.15. WMS - WMTS saniyede cevaplanan harita sayısı

0,1 0,1 0,2 0,3 0,3 0,5 0,2 0,9 1,8 2,7 3,6 4,8

10 25 50 100 250 500 750 1000 1250 1500 1750 2000 2500 3000 3500 4000

Ha rit a Ce vap Sür el er i ( sn .)

Eşzamanlı Kullanıcı Sayısı

,

Ortalama Cevap Süresi - WMTS + QTMGP Ortalama Cevap Süresi - WMS + QTMGP

5 10 21 35 52

10 25 50 100 250 500 750 1000 1250 1500 1750 2000 2500 3000 3500 4000

Saniyede Cevaplanan Harita Sayısı

Eşzamanlı Kullanıcı Sayısı

,

Sorgu Sonucu Sağlanan Harita Sayısı - WMTS + QTMGP Sorgu Sonucu Sağlanan Harita Sayısı - WMS + QTMGP

10 dakika süren test periyodunda, saniyede sağlanan harita sonuçları incelendiğinde WMTS servisi ile sorgu yapan eşzamanlı 1750 istemcinin saniyede 230 harita cevabı alabildiği ve %98’lik bölümünün 2 sn. altında cevaplandığı ölçülmüştür. WMS hizmetinde ise bu sayı 1250 eşzamanlı kullanıcıda 61 olduğu Şekil 4.15 sonuçlarında görülmektedir.

Şekil 4.16. WMTS ağ ve sunucu cevap süreleri

Belirli bir kullanıcı sayısından sonra WMTS ve WMS hizmetlerindeki gecikme incelendiğinde ortalama %75 oranında sunucu kaynaklı olduğu tespit edilmiştir.

Sunucudaki gecikmenin en önemli sebebi olarak görüntü işleme ve 2 boyutlu alandaki çakışma işlemlerinin hesaplanmasıdır.

Çizelge 4.8. WMS ölçüm istatistikleri

Test Süresi 10 dakika

Harita Sorguları içinC3.large istemci sayısı 72 10 dakika içinde oluşturulan harita sayısı 321 125 2 sn altında cevaplana harita sayısı 246 869

Ortalama harita sorgu süresi 1,6 Saniye

Ortalama Harita Boyutu 512,901 byte

Cevaplanmayan sorgu sayısı 1050

10 25 50 100 250 500 750 1000 1250 1500 1750 2000 2500 3000 3500 Ağ 0,02 0,03 0,14 0,21 0,1 0,3 0,1 0,02 0,3 0,6 0,7 1,2 1,4 3,1 7,3

Çizelge 4.9. WMTS ölçüm istatistikleri

Test Süresi 10 dakika

Harita Sorguları içinC3.large istemci sayısı 72

10 dakika içinde oluşturulan harita sayısı ~ 16 milyon 2 sn altında cevaplana harita sayısı ~ 12 milyon

Ortalama harita sorgu süresi 0,21 Saniye

Ortalama Harita Boyutu 21,851 byte

Cevaplanmayan sorgu sayısı 12,658

WMS ve WMTS servislerinin her ikiside görüntüleme ihtiyacını gidermektedir. Testler ve bulgular incelendğinde WMS hizmetinin sınırlı sayıdaki eşzamanlı kullanıcı ile performansı WMTS servisine göre daha başarılı olduğu ölçümlenmiştir. WMS hizmeti basit bir yapı ortaya koyduğundan dolayı karmaşık sistemlerden uzak tutarak performans/fiyat oranı yüksek sistemlerin kurulmasına teşvik etmektedir. Bu durumda WMTS servisinin kullanılması performansa katkı sağlamayacağı gibi CBS sistemlerine maliyet külftetide getirecektir. Eşzamanlı kullanıcı artışı durumunda ise WMS ve WMTS sorgu cevapları arasında 10 kata kadar performans artışı tespit edilmiştir. Ayrıca WMS sonucu oluşan ortalama harita boyutu WMTS sorgusu sonucundan oluşan ortalama harita boyutuna göre 25 kat büyük olduğundan dolayı ağda darboğaza sebep olmaktadır. Ortaya çıkan bulgular, WMTS hizmetinin ölçeklendirilebilir bir sistem oluşturulmasına olanak sağladığı görülmüştür. Fakat eşzamanlı kullanıcı sayısının artışı sunucu kaynakları üzerinde büyük bir yük oluşturduğu ortaya çıkmıştır. Bu sorun CBS mimarisinde kararsızlıklara sebep olacaktır.