Yapay sinir a˘gları

Yapay sinir a˘gları, beyindeki nöronların çalı¸sma prensibini taklit eden matematik- sel modellerdir. ¸Sekil 2.9’da gösterildi˘gi gibi bir nörona gelen girdiler belirli a˘gırlık- larla çarpılarak toplanır, daha sonra belirli bir aktivasyon fonksiyonundan geçirildikten sonra çıktı olarak sistemden çıkmaktadır. Denklem 2.5’te gösterildi˘gi gibi tüm nöron- ların girdi de˘gerleri (x) a˘gırlık de˘gerleriyle çarpılarak (w), e¸sik (bias) de˘geri (b) ek-

lenmektedir. Çıkan de˘ger Denklem 2.6’da gösterildi˘gi gibi aktivasyon denkleminden geçirilmektedir. Aktivasyon fonksiyonu olarak genellikle sigmoid fonksiyonu kullanıl- maktadır. ¸Sekil 2.10’da ve Denklem 2.7’de sigmoid fonksiyonları gösterilmi¸stir.

v_k= m

∑

y(vi) = tanh(vi) veya y(vi) = (1 + e−vi)−1 (2.7)

¸Sekil 2.9: Nöron yapısı [63]

¸Sekil 2.10: Sigmoid fonksiyonu [63]

sinir hücreleri ile ba˘glantılar kurmaktadır. ¸Sekil 2.11’deki gibi sinir a˘gları genellikle üç katmandan olu¸smaktadır: Girdi katmanı, gizli katman ve çıktı katmanı. Literatürde farklı yapay sinir a˘g çe¸sitleri bulunmaktadır. Genel olarak yapay sinir a˘gları ikiye ayrıl- maktadır: ˙Ileri beslemeli yapay sinir a˘gları (feedforward neural network), tekrarlayan sinir a˘gları (recurrent neural network).

¸Sekil 2.11: Basit çok katmanlı algılayıcı [63]

˙Ileri beslemeli sinir a˘glarında sinirler arasındaki ba˘glantılarda çevrim (cycle) veya döngü (loop) bulunmamaktadır. ˙Ileri beslemeli sinir a˘glarında bilgi ileri katmanda bu- lunan sinir a˘glarına aktarılmaktadır. Çok katmanlı algılayıcı (multilayer perceptron - MLP) bir çe¸sit ileri beslemeli bir sinir a˘gıdır. Çok katmanlı sinir a˘gında sinirler bir- biriyle tamamen ba˘glıdır (fully connected), yani bir katmandaki sinir hücresinden di- ˘ger katmandaki bütün sinir hücrelerine ba˘glantılar bulunmaktadır. Çok katmanlı sinir a˘gında en popüler ö˘grenme yöntemi geriye yayılımdır (back propagation). Çıktı kat- manındaki hata de˘gerlerini minimize etmek için geride bulunan katmanlar arasındaki nöronların a˘gırlıklıkları, her bir geri yayılım iterasyonu ile güncellenmektedir. Yani, ö˘grenme sırasında ba˘glantılardaki a˘gırlıklar zamanla de˘gi¸smektedir. Belirli bir tekrar- lamadan sonra a˘gırlıkların de˘gi¸smesi azalır, artık o andan itibaren sistem ö˘grenmi¸s olmaktadır.

Denklem 2.8’de gösterildi˘gi gibi çıktı dü˘gümü j’deki hatanın hesaplanması (ej(n)) için,

e_j(n) = d_j(n) − y_j(n) (2.8)

Daha sonra, tüm çıktıdaki hatayı en aza indirgemek için dü˘gümlerin a˘gırlıklarında dü- zeltmeler yapılmaktadır. Denklem 2.9’da tüm dü˘gümlerdeki hatalar bulunur.

ε (n) = 1 2

∑

2

j(n) (2.9)

Denklem 2.10’da "gradient descent" (gradient descent; yerel minimumu bulmak için kullanılan birinci derece tekrarlamalı optimizasyon algoritmasıdır) algoritması kulla- nılarak, her a˘gırlıklandırmadaki de˘gi¸siklikler güncellenmektedir. Denklem 2.10’daki yibir önceki nöronun çıktısını olu¸stururken, η ise ö˘grenme oranıdır.

4wji(n) = −η

∂ ε (n) ∂ vj(n)

y_i(n) (2.10)

Tekrarlayan sinir a˘gları (recurrent neural network) bir çe¸sit yapay sinir a˘gı olup, sinir ba˘glantıları arasında yönlü çevrimler (directed cycle) içermektedir. Böylelikle tekrar- layan sinir a˘gları dinamik bir hafızaya kavu¸smu¸s olur. Farklı tekrarlayan sinir a˘gları bulunmaktadır. Tekrarlayan sinir a˘gları, Bölüm 2.4’de detaylı olarak incelenecektir. Yapay sinir a˘gları zaman serisi verilerinin tahmini için bir çok alanda kullanılmaktadır. Literatürde 1990’dan beri önemli çalı¸smalar yer almaktadır. Arizmendi [64], zaman serisi verilerinde yapay sinir a˘glarını kullanarak havadaki polen konsantrasyonlarında belirli tahmin çalı¸smaları yapmı¸stır. Yapay sinir a˘gları ile yaptı˘gı tahminler, gelenek- sel yakla¸sımlardan daha iyi sonuç vermi¸stir. Srinivasan [65], güç sistemindeki saatlik elektrik yükünü tahmin edebilmek için dört katmanlı ileri beslemeli yapay sinir a˘gı kullanmı¸stır. Yapay sinir a˘gı ile tahminlerinde %1.80 hata oranıyla ba¸sarı olmu¸stur. Kaastra ve Boyd [66], finansal ve ekonomik zaman serisi verilerinin tahmininde ya- pay sinir a˘gı modeli içeren sekiz basamaklı bir prosedür geli¸stirmi¸slerdir. Ansuj [67], ARIMA modeli ile yapay sinir a˘gı modelini Brazilya’daki satı¸sların tahmini için kı- yaslamı¸stır. Yapay sinir a˘gı modelinin daha iyi sonuçlar verdi˘gi görülmü¸stür. Zhang ve Hu [68], Pound/Dolar kurunun tahmininde yapay sinir a˘glarını uygulamı¸slardır. Yapay sinir a˘gındaki girdi ve gizli katmandaki nöronların sayısının ve veri büyüklü- ˘günün model performansına olan etkilerini de˘gerlendirmi¸slerdir. Girdi katmanındaki nöron sayısının, model perfomansına olan etkisinin di˘ger parametrelerden daha etkili oldu˘gu görülmü¸stür. Bezerianos [69], radyal tabanlı fonksiyon sinir a˘gı (RBF) ile nabız de˘gi¸sikli˘ginin tahmini ve de˘gerlendirmesini yapmı¸stır. Li [70], cihazlarla ölçülmekte

zorlanılan, yüksek binalarda olu¸san titre¸simlerin en yüksek de˘gerlerinin tahmini için geri yayılımlı yapay sinir a˘gı (BPANN) ve otoregresif (AR) modellerini olu¸sturmu¸s- tur. Nguyen ve Chan [71], benzin istasyonundaki saatlik mü¸steri tahminini yapabilmek için çoklu yapay sinir a˘gı yakla¸sımı kullanmı¸stır. Aynı veri üzerine çoklu sinir a˘gı uy- gulaması, tekli sinir a˘gının uygulamasından daha iyi sonuç vermi¸stir. Hansen ve Nel- son [72], gelir verilerini kullanarak ekonomik bir tahmin yapabilmek için yapay sinir a˘gı ile geleneksel zaman serisi tahmin metotlarını daha iyi sonuç almak için birlikte kullanmı¸slardır. Yapay sinir a˘gları ve geleneksel metotların birlikte kullanımı, tek tek kullanımdan daha iyi sonuçlar vermi¸stir. Kalaitzakis [73], kısa vadeli elektrik yük tah- mini için, radyal tabanlı fonksiyon sinir a˘gı (RBF), Gaussian kodlama geri yayılımlı sinir a˘gı ve tekrarlayan sinir a˘gı (RNN) yakla¸sımlarını içeren birden fazla yöntemi ara¸stırmı¸s ve uygulamı¸stır. Sundukları yöntem, otoregresif ve geri yayılımlı yapay si- nir a˘glarına göre daha iyi sonuçlar vermi¸stir. Ayrıca, 24 saatlik elektrik yükünü tahmin edebilmek için paralel i¸slem yakla¸sımını sunmu¸slardır. Zhang [74], ARIMA ve yapay sinir a˘gı modellerinin avantajlarını kullanarak gerçek veri kümelerinin analizi için hib- rit bir model sunmu¸stur. Sundu˘gu hibrit model, iki modelin ayrı ayrı kullanılmasından daha verimli bir tahmin geli¸stirme sonucu elde etmi¸stir. Gao ve Er [75], do˘grusal ol- mayan dı¸ssal girdili otoregresif hareketli ortalama modeli (non-linear autoregressive moving average with exogenous inputs - NARMAX) ile ileri beslemeli ve tekrarlayan metotları kullanan bulanık yapay sinir (fuzzy neural networks -FNNs) a˘gı modelini olu¸sturmu¸slardır.

Ayrıca, yapay sinir a˘gları zaman serisi verilerinin analizi için nesnelerin interneti (In- ternet of Things - IoT), insanların aktiviteleri tanımı (human activitiy recognition) alan- larında da kullanılmaktadır. Guan [76], 40 adet hareket sensörünü insanın bacaklarına yerle¸stirerek, gelen verileri geri yayılımlı yapay sinir a˘gında analiz etmi¸stir. ˙Insanın aktivitelerinin (ko¸sma, yürüme, yatma, zıplama, vs.) tahmini için kullanılan bu meka- nizmada %97’lere ula¸san oranla yapılan aktivite do˘gru olarak tahmin edilmi¸stir. Sae- edi [77], akıllı telefondaki sensörleri (dönüölçer, ivmeölçer, manyetometre, sıcaklık ve GPS (küresel konumlama sistemi)) kullanarak, ki¸sinin hareketlerini ve gün içerisinde aktivitelerini geri yayılımlı yapay sinir a˘gı ile analiz etmi¸stir. Choi [78], ise yapay sinir a˘glarını akıllı ev sisteminin ö˘grenme kısmında kullanmı¸stır. Mishra [79], IoT büyük verilerinin i¸slenmesi için çok katmanlı algılayıcı ve bulanık nöro genetik algoritma uy- gulamı¸stır. Görüldü˘gü gibi birçok alanda yapay sinir a˘gları, zaman serisi verilerinin analizi için kullanılmı¸stır.