Çıkart-dönü¸stür-yükle (extract-transform-load etl) yöntemi ile

Veriler ˙IBB Trafik Müdürlü˘gü’nden MS Sql Server formatında alınmı¸stır. Gelenek- sel yöntemler kullanarak veri önce MS Sql Server makinesinde açılmı¸stır. ˙Ilk bakı¸sta ve denemelerde verileri çekmek hızlı ve masrafsız gibi gözükse de, üzerinde analiz yapıldı˘gı zaman geleneksel sorgulama dilinin verimsiz oldu˘gu ve uzun zaman aldı˘gı gözlemlenmi¸stir. Örne˘gin; birkaç sorgulama dilinde kullanılan basit birle¸stirme sor- gusu (Join) oldukça fazla zaman almakta ve ço˘gu zaman cevap dönememektedir. Bu sebeplerden dolayı da˘gıtık yapıda kullanılan ve da˘gıtık sorgulama yapılabilen yöntem- ler seçilmi¸stir. Bu çerçevede, büyük verinin en temel altyapılarını olu¸sturan Hadoop Da˘gıtık Dosya Sistemi (HDFS) ve Spark veri i¸sleme araçlarından faydalanılmı¸stır. Hadoop Da˘gıtık Dosya Sistemi, Java ile geli¸stirilmi¸s, Hadoop MapReduce özellilerini birle¸stiren açık kaynaklı bir kütüphanedir. HDDS sayesinde, pahalı olamayan basit diskler kullanılarak, büyük verinin temelini olu¸sturan büyük bir depolama alanı elde edilebilir. Örne˘gin; 500 GB 5 adet makine ile disklerin birle¸simden tek bir depolama alanı olarak gözüken 1,5 - 2 TB’lık bir ana alan elde edilir. Birebir 5 X 500GB = 2500GB alan elde edilemez, çünkü yapısı gere˘gi HDDS’nin depolama alanı dı¸sında bu verilerin kararlı ve güvenli olması için bir kısım alanı sürdürebilirlik için kendine ayırmasındandır. Kısaca, HDDS’e bir adet ana makine ve istenildi˘gi kadar veri maki- nesinden olu¸sabilir. Ana makinenin görevi sistemi ayakta tutup kararlılık i¸slemlerini yerine getirmektir. Di˘ger makinelerin yani veri makinelerinin görevi veriyi saklayıp onların yedekleri ve verinin parçalarını saklamaktır. Özet ile HDDS’nin yapısı ¸Sekil 3.12’de gösterilmi¸stir [51].

Hadoop MapReduce yöntemi, Hadoop teknolojisinin en temel ve önemli kısmını olu¸s- turmaktadır. MapReduce teknolojisi büyük verilerin rahat ve esnek biçimde sorgulan- masına imkân veren, büyük veriler üzerinde analiz ve sorgulayıcı çalı¸smalarda yüksek performans sa˘glayan, da˘gıtık yapılarda kullanılan en temel teknolojidir. Yapısal olarak ise, her bir veri dü˘güm makinesinin üzerinde sadece kendi verisi ile istenen sorguyu çalı¸stırarak birden fazla makinede aynı anda sorgunun çalı¸stırılmasına, ve böylelikle da˘gıtık yapıyı ve her bir makinenin i¸slem gücünü en verimli ¸sekilde kullanmasına ya- rayan bir teknolojidir [52]. ¸Sekil 3.13’de MapReduce ile ilgili çalı¸sma prensibine yer verilmi¸stir [53].

¸Sekil 3.12: HDDS altapısı.

Bunların yanında, Hadoop HDDS’ye veri atmak için geli¸stirilmi¸s olan Sqoop isimli veri transfer aracı, geleneksel veri tabanında bulunan veriler için çok güçlü bir tekno- lojidir. Sqoop aracının en büyük özellikleri SQL Server, Oracle, MySql vb. geleneksel veri tabanlarında bulunan verileri Hadoop HDDS’ye aktarmak gibi önemli bir görevi üstlenmektedir. Bu teknolojinin avantajı, geleneksel veri tabanlarında saklanan verileri da˘gıtık ekosisteme aktararak büyük veri çalı¸smalarının gerçekle¸stirilece˘gi altyapının hazırlanmasını kolayla¸stırmaktır.

Trafik verilerinin ham halleri ˙IBB Trafik Müdürlü˘gü’nden SQL Server yede˘gi ¸seklinde alındı˘gından, ilk olarak açılan veriler SQL Server’da bulunmaktadır. Ancak, yapılan çalı¸smalar da˘gıtık veri ortamında yapılaca˘gından ve i¸slenen veriler ve sorgular da˘gı- tık yapıya uygun oldu˘gundan, SQL Server’da bulunan verilerin Hadoop ekosistemine aktarılmasına ihtiyaç duyulmu¸stur. Bu ihtiyacı kar¸sılamak için Sqoop kullanılmı¸stır. Sqoop - SQL Server ba˘glantısı yapıldıktan sonra istenilen alanları hız, araç sayısı, i¸sgaliyet vb. alanları HDDS’ye aktarmı¸stır. Kullanılan örnek Sqoop komutu Komut 3.1’deki gibidir.

Komut 3.1: Sqoop aktarma komutu.

$ s u d o −E −u h d f s s q o o p i m p o r t −−c o n n e c t j d b c : s q l s e r v e r : / / 1 0 . 1 0 . 1 2 . 1 2 9 : 1 4 3 3 −−u s e r n a m e h a d o o p −−p a s s w o r d

12345 −− t a b l e MESSAGES −−c o l u m n s " MsgTime , RtmsNo , S1 , S2 , S3 , S4 , S5 , S6 , S7 , S8 , S G e l i s G r a f , S G i d i s G r a f , V1 , V2 , V3 , V4 ,

¸Sekil 3.13: Hadoop MapReduce çalı¸sma prensibi.

V5 , V6 , V7 , V8 , O1 , O2 , O3 , O4 , O5 , O6 , O7 , O8 , O G e l i s G r a f , O G i d i s G r a f " −− t a r g e t −d i r / u s e r / i s b a k / r t m s / M e s s a g e s Yapılan aktarım özetle ¸Sekil 3.14’deki gibidir.

¸Sekil 3.14: Verinin MS Sql veri tabanından HDDS’ye aktarılması.

Aktarım sonucunda veriler büyük veri altyapısında 10 makinenden olu¸san bir küme sunucularda Hadoop HDDS üzerine aktarılmı¸stır. Bu aktarma i¸sleminden sonra, veri büyük veri ekosisteminde i¸slenebilir hale gelmi¸stir. ˙Istenilen sorgular ve filtrelemeler, HDDS üzerindeki veriyle da˘gıtık olarak gerçekle¸stirilmi¸stir.

Verilerin i¸slenmesi ve istenilen sorgularla çalı¸stırılması Hadoop ekosistemi üzerinde çalı¸san Apache Spark ile gerçekle¸stirilmi¸stir. Apache Spark, Scala dili ile yazılmı¸s ve bellek üzerinde çalı¸san yapısıyla, da˘gıtık algoritmalar ve yapılarda performansı ol- dukça yüksek bir teknolojidir. Spark teknolojisinin en büyük artısı, petabayte’larca ve- riyi oldukça performanslı ve stabil olarak i¸sleyebilmesidir. En büyük avantajlarından bir di˘geri ise, makine ö˘grenmesi algoritmalarının Spark üzerinde paralel çalı¸sabilme-

sidir. Bu sebepten, 4. Bölümde bahsi geçen verilerin hazırlanması, yol ile ilgili hesap- lamaların yapılması, temizleme i¸slemlerinde kullanılan yöntemler Apache Spark ve HDDS üzerindeki veri ile gerçekle¸stirilmi¸stir. Örnek olarak, yolun Ortalama Hız, Ha- cim ve ˙I¸sgaliyet de˘gerleri HDDS’e atılmı¸s "Messages" ve "RTMSDetails" tablo verileri ile Rtms numaraları üzerinden birle¸stime yöntemi (Join) yapılarak gerçekle¸stirilmi¸stir. Örnek birle¸stirme komutu Komut 3.2’deki gibidir.

Komut 3.2: Join i¸slemi.

j o i n e d R d d = p a r s e d M e s s a g e s . j o i n ( p a r s e d R t m s D e t a i l s )

¸Serit sayıları kullanılarak ortalama hız, hacim ve i¸sgaliyet de˘gerlerinin hesaplanma- sında kullanılan örnek komut Komut 3.3’deki gibidir.

Komut 3.3: Ortalama de˘ger hesap i¸slemi. c a l c R d d = j o i n e d R d d . map ( c a l c u l a t e A v e r a g e V a l u e s ) Örnek hatalı veri çıkarım sonucu Çizelge 3.3’deki gibidir.

Çizelge 3.3: Hatalı verinin çıkarımı.

MsgTime RtmsNo S1 S2 S3 S4 S5 S6 S7 S8

2015-02-12 23:59:25.0 430 90 97 3 null null null null null Çizelge 3.3’deki örnek çıktıda, S3 ¸seridinde hatalı veri saptandı˘gı görülmektedir. Hatalı verilerin nasıl saptandı˘gı ile ilgili çalı¸smalar ilgili bölümde detaylı olarak anlatılmı¸stır. Özet olarak, Apache Spark bunun gibi çalı¸smaları ve hesaplamaları büyük veri tek- nolojileriyle da˘gıtık olarak hesaplamakta ve çok kısa sürelerde sonuçlar döndürülebil- mektedir.