Veri Ba˘glanımı için Yüksek Verimli Yinelemeli Sinir
A˘gı Yapısı
A Highly Efficient Recurrent Neural Network
Architecture for Data Regression
Tolga Ergen ve Emir Ceyani
Elektrik ve Elektronik Mühendisligi Bölümü˙Ihsan Do˘gramacı Bilkent Üniversitesi Ankara, Türkiye
{ergen,ceyani}@ee.bilkent.edu.tr
Özetçe —Bu bildiride, çevrimiçi do˘grusal olmayan veri ba˘g-lanım problemi çalı¸sılmakta ve uzun kısa soluklu bellek (UKSB) a˘gları merkezli yüksek verimli bir yapısı sunulmaktadır. Ayrıca, önerilen yapının parametrelerini ö˘grenmek için çevrimiçi ö˘grenme algoritmaları sunulmaktadır. Önce, veri ba˘glanımı için UKSB merkezli bir yapı kullanılmaktadır. UKSB a˘glarının karma¸sıklı˘gını dü¸sürmek için, matris çarpımları yüksek verimli bir i¸slem (ef i¸s-lemi) ile de˘gi¸stirilmektedir. Sonra, ö˘grenilmesi gereken parametre sayısını dü¸sürmek için UKSB a˘gının a˘gırlık matrislerine ayrı¸s-tırma yapılmaktadır. Sunulan yapıların parametrelerini ö˘grenmek için Üstel Gradyan (ÜD) ve Olasılıksal Bayır ˙Inme (OB˙I) merkezli çevrimiçi ö˘grenme algoritmaları sunulmaktadır. Deney sonuçları sunulan yapı tarafından sa˘glanan önemli ölçüdeki performans ve verimlilik kazanımlarını göstermektedir.
Anahtar Kelimeler—uzun kısa soluklu bellek a˘gı, gradyan ini¸si, üstel gradyan, ef i¸slemi, matris ayrı¸stırması.
Abstract—In this paper, we study online nonlinear data reg-ression and propose a highly efficient long short term memory (LSTM) network based architecture. Here, we also introduce on-line training algorithms to learn the parameters of the introduced architecture. We first propose an LSTM based architecture for data regression. To diminish the complexity of this architecture, we use an energy efficient operator (ef-operator) instead of the multiplication operation. We then factorize the matrices of the LSTM network to reduce the total number of parameters to be learned. In order to train the parameters of this structure, we introduce online learning methods based on the exponentiated gradient (EG) and stochastic gradient descent (SGD) algorithms. Experimental results demonstrate considerable performance and efficiency improvements provided by the introduced architecture.
Keywords—long short term memory network, gradient descent, exponentiated gradient, ef-operator, matrix factorization.
I. G˙IR˙I ¸S
Yinelemeli sinir a˘gları (YSA) güçlü modelleme kapasite-lerinden ötürü literatürde ba¸slıca üzerinde durulan konulardan biridir [1], [2]. Fakat, geleneksel YSA yapıları bilgi akı¸sını
kontrol edemediklerinden dolayı, ö˘grenme esnasında paramet-relerin gradyanlarının normundaki de˘gi¸simlere kar¸sı oldukça hassastır [3]. Bu yüzden bu yapılar, verideki uzun soluklu ba˘g-lantıları yakalamakta güçlük çekmektedir [3]. Bu problemleri çözmek amacıyla, bilgi akı¸sını çe¸sitli bilgi kapıları ile kontrol edebilen geli¸smi¸s bir YSA yapısı, uzun kısa soluklu bellek (UKSB) sunulmaktadır. [4]. Ancak bu kapıların bilgi kontrolü üzerindeki avantajı UKSB yapılarının e˘gitimini zorla¸stırmı¸s ve karma¸sıklı˘gını artırmı¸stır [4].
Literatürde, UKSB a˘gları için çe¸sitli çevrimiçi ö˘grenme yöntemleri bulunmaktadır [2], [5]. Bu metodlar arasında top-lama i¸slemleri ile parametreleri güncelleyen olasılıksal bayır inme (OB˙I) algoritması en yaygın olanıdır [2]. Ancak bu algo-ritmalar yava¸s yakınsama oranı ve dü¸sük performansa sahiptir. Bu sorunları çözmek için, Üstel Gradyan (ÜG) algoritması sunulmaktadır. [6]. Ancak, ÜG algoritması çarpımsal güncel-lemeler yaptı˘gından dolayı daha fazla i¸slem yapmaktadır [6], [7].
Yukarıda anlatılan problemler, özgün ve yüksek verimli bir UKSB a˘gı ile ÜG [6] ve OB˙I [2] merkezli çevrimiçi ö˘grenme algoritmalarıyla çözülmektedir. Öncelikle, de˘gi¸sken uzunluktaki girdileri i¸slemek için UKSB merkezli ba˘glanım yapısı sunulmaktadır. Daha sonra, UKSB a˘glarında hesaplama karma¸sıklı˘gını azaltmak için matris çarpımına kıyasla daha az enerji kullanan bir i¸slem kullanılmaktadır. Karma¸sıklı˘gı ve ö˘grenilecek parametre sayısını daha da dü¸sürmek amacıyla, UKSB parametrelerine matris ayrı¸stırması yöntemi [8] uygulan-maktadır. Böylece, literatürdeki di˘ger metodların [2], [6] aksine, UKSB a˘glarının yüksek performansı dü¸sük karma¸sıklıkta bir ö˘grenme algoritması ile elde edilebilmektedir. Simülasyonlar sonucu geleneksel yöntemlere kıyasla önemli derecede perfor-mans kazanımı ve karma¸sıklık dü¸sü¸sü gözlemlenmektedir.
II. MODEL VEPROBLEMTANIMI
Bu bildirideki problemde, ardı¸sık olarak {dt}t≥1,
dt ∈ R istenen sinyali ve matrisler {Xt}t≥1,
Xt = [xt,1, xt,2. . . , xt,nt], xt,j ∈ R
p, ∀j ∈ {1, 2, . . . , n t},
alınmaktadır ve nt ∈ Z+ zaman indisi t ile de˘gi¸sebilen Xt
matrisinin sütun sayısıdır. Bu problemde, amaç {dt}t≥1 ve
Yüksek Verimli UKSB Yüksek Verimli UKSB Yüksek Verimli UKSB Toplama Katmanı
¸Sekil 1: Yüksek Verimli UKSB yapısının detaylı ¸seması
vektör dizisi Xt arasında bir ili¸ski bulmaktır. Bu ili¸skiyi
bulmak için, her bir zaman indisi t’de Xt elde edildikten
sonra ¸suanki ve geçmi¸steki gözlemlere dayanılarak bir tahmin, ˆ
dt, elde edilir. Buna ek olarak, her bir zaman indisi t’de hata
fonksiyonu L( ˆdt, dt) hesaplanır. Bu bildiride, ˆdt’yi elde etmek
için UKSB a˘gları kullanılmaktadır. Girdi de˘gi¸sken uzunlukta oldu˘gundan ötürü UKSB Xt matrisinin her bir sütununa
uygulanmaktadır. Bu a˘gın yapısı a¸sa˘gıdaki denklemler ile açıklanmaktadır [1], [4]: ˜ ct,j = g W(˜c)xt,j+ R(˜c)ht,j−1+ b(˜c) (1) it,j= σ
W(i)xt,j+ R(i)ht,j−1+ b(i)
(2) ft,j= σW(f )xt,j+ R(f )ht,j−1+ b(f ) (3) ct,j = D (i) t,jc˜t,j+ D (f ) t,jct,j−1 (4) ot,j = σ
W(o)xt,j+ R(o)ht,j−1+ b(o)
(5) ht,j= D
(o)
t,jg(ct,j), (6)
burada ct,j∈ Rmdurum vektörünü, xt,j∈ Rp giri¸s vektörünü
ve ht,j ∈ Rm çıkı¸s vektörünü temsil etmektedir. Ayrıca, it,j,
ft,j ve ot,j sırasıyla giri¸s, unutma, ve çıkı¸s kapılarıdır. g(·)
uygulandıkları vektörlerin her bir elemanını ayrı ayrı i¸slemekte ve genellikle tanh(·) fonksiyonu olarak seçilmektedir. Ben-zer bir fonksiyon olan σ(·) ise sigmoid fonksiyonu olarak seçilmektedir ve uygulandıkları vektörlerin her bir elemanını ayrı ayrı i¸slemektedir. D(i)t,j = diag(it,j), D
(f )
t,j = diag(ft,j)
ve D(o)t,j = diag(ot,j) ¸seklinde tanımlarıken, diag(·) girdi
vektörünü matrisin ana kö¸segenine yerle¸stirecek ¸sekilde matris olu¸sturur. Geriye kalan matris ve vektörlerin boyutları girdi ve çıktı vektörlerinin boyutlarına göre belirlenmektedir. ¸Sekil 1’de UKSB a˘gının tüm sütunlara uygulanmasından sonra sabit uzunlukta çıkı¸s vektörü elde etmek için tüm çıktıların orta-laması alınır [9]. Bu vektör ht ∈ Rm ile ifade edilmekte
ve tahmin vektörlerinin, ˆdt = wTtht., olu¸sturulmasında
kul-lanılmaktadır. Burada wt∈ Rm zaman indisi t için ba˘glanım
katsayılarını temsil etmektedir. Bu sistemde amaç parametreleri Pt
i=1L( ˆdi, di) olarak tanımlanan toplam hata fonksyionunu en
küçük de˘gere indirecek ¸sekilde çevrimiçi olarak ö˘grenmektir. III. YÜKSEKVERIMLIYINELEMELISINIRAGLARI ILE˘
ÇEVRIMIÇIÖGRENME˘
Bu bölümde, önce ef i¸slemi UKSB yapısına uygulanmakta-dır. Daha sonra, ef i¸slemine ilaveten matris ayrı¸stırması yöntemi ile yüksek verimli UKSB yapısı sunulmaktadır. Son olarak OB˙I ve ÜG merkezli çevrimiçi ö˘grenme algoritmaları sunulmaktadır.
A. Ef ˙I¸slemi ile Yinelemeli Sinir A˘gları
Bu bölümde, UKSB yapısının denklemleri ef i¸slemi uygu-lanarak yeniden tanımlanmaktadır. Herhangi bir a, b ∈ Rp, vektörleri olsun ve bu iki vektör için ef i¸slemi [7] ¸su ¸sekilde tanımlıdır: a b := p X i=1 sign(ai)bi+ sign(bi)ai. (7)
Burada sign(·) fonksyionu girdinin i¸saretini çıktı olarak ver-mektedir. Ef i¸slemi sadece toplama ve i¸saret i¸slemlerini kullan-dı˘gından ötürü matris çarpımına göre daha verimlidir.
Geleneksel UKSB a˘gındaki matris çarpmaları ef i¸slemi ile de˘gi¸stirildi˘ginde, denklem (1)-(6) a¸sa˘gıda ¸su ¸sekilde tanımlanır:
˜ ct,j= g ac˜ (W(˜c) xt,j) + bc˜ (R(˜c) ht,j−1) + b(˜c) (8) it,j= σ
ai (W(i) xt,j) + bi (R(i) ht,j−1) + b(i) (9) ft,j= σ af (W(f ) xt,j) + bf (R(f ) ht,j−1) + b(f ) (10) ct,j= it,j˜ct,j+ ft,jct,j−1 (11) ot,j= σ
ao (W(o) xt,j) + bo (R(o) ht,j−1) + b(o)
(12)
ht,j= ot,jg(ct.j). (13)
Burada a(·), b(·)∈ Rmölçekleme katsayılarıdır ve i¸slemi
a¸sa˘gıdaki gibi tanımlanmaktadır:
ab := [a1 b1 a2 b2. . . ap bp]T
:= sign(a) b + sign(b) a.
Denklem (8)’de, W(˜c) xt,j ¸su ¸sekilde yazılır:
W(˜c) xt,j = [w (˜c)
1 xt,j w (˜c)
2 xt,j. . . w(˜mc) xt,j]T, (14)
burada w(˜ic) xt,j ¸su ¸sekilde verilmektedir:
w(˜ic) xt,j= p X k=1 sign(xt,jk)w (˜c) ik + sign(w (˜c) ik)xt,jk ve R(˜c) ht,j−1= [r (˜c) 1 ht,j−1 r (˜c) 2 ht,j−1. . . r(˜mc) ht,j−1]T, (15) burada r(˜ic) ht,j ¸su ¸sekilde verilmi¸stir:
r(˜ic) ht,j = m X k=1 sign(ht,jk)r (˜c) ik + sign(r (˜c) ik)ht,jk,
burada w(˜ic) ve r(˜ic)sırasıyla W(˜c)ve R(˜c)’ın i. satırını temsil etmektedir. Di˘ger çarpım i¸slemleri için, denklem (14) ve (15)’de gerekli katsayı matrislerine göre parametrelerinin de˘gi¸smesi yeterlidir.
Açıklama 1. Geleneksel UKSB a˘gı ile kar¸sıla¸stırıldı˘gında, Denklem (1) - (6)’daki 4m(m + p) + 3m adet çarpma i¸slemi i¸saret çarpma ve toplama i¸slemleriyle de˘gi¸stirilmektedir. Ancak, denklem (8) - (13)’da ölçekleme katsayıları 8m daha fazla çarpma i¸slemi olu¸sturmaktadır. Genelde, oldukça büyük m ve p de˘gerler alındı˘gında 8m 4m(m + p) + 3m oldu˘gu görülmektedir. Böylece, UKSB a˘glarındaki çarpım sayısı ve hesaplama karma¸sıklı˘gı büyük bir ölçüde dü¸sürülmektedir.
B. A˘gırlık Matrisi Ayrı¸stırması ile Yüksek Verimli Yinelemeli Sinir A˘gları
UKSB a˘gı matrisleri iki tane dü¸sük dereceli matrisin çar-pımı, W(·) ≈ M(·)N(·) ve R(·) ≈ P(·)Q(·), ¸seklinde ayrı¸stırılmaktadır. Burada matrisler W(·) ∈ Rm×p, M(·)
∈ Rm×d, N(·) ∈ Rd×p, R(·) ∈ Rm×m, P(·) ∈ Rm×f ve Q(·) ∈ Rf ×m olarak tanımlanmakta ve d, f min(p, m)
ko-¸sulunu sa˘glamaktadır. Bu ayrı¸stırmayı UKSB a˘gırlık katsayıla-rına uygulayarak (8)-(13)’daki matrisler ayrı¸stırılmı¸s halleri ile de˘gi¸stirilmektedir. ¸Sekil 1’deki j’inci UKSB yapısına yapılan
de˘gi¸siklikler a¸sa˘gıdaki gibidir: M(˜c) N(˜c) xt,j= [µ (˜c) 1 xt,j µ (˜c) 2 xt,j. . . µ(˜mc) xt,j]T, (16) burada µi(˜c)∈ Rp, M(˜c) N(˜c)çıktısının i. satırıdır ve µ (˜c) i
xt,j ¸söyle ifade edilmektedir:
µ(˜ic) xt,j = p X k=1 sign(xt,jk)µ (˜c) ik + sign(µ (˜c) ik)xt,jk. ve P(˜c) Q(˜c) h t,j−1= [ν (˜c) 1 ht,j−1 ν (˜c) 2 ht,j−1. . . ν(˜mc) ht,j−1]T, (17) burada ν(˜ic)∈ RmP(˜c)Q(˜c) çıktısının i. satırıdır ve ν(˜ic)ht,j
a¸sa˘gıdaki gibi ifade edilmektedir:
ν(˜ic) ht,j = m X k=1 sign(ht,jk)ν (˜c) ik + sign(ν (˜c) ik )ht,jk.
Di˘ger a˘gırlık matrisleri için, seçilen matrisin ayrı¸stırılmı¸s hali (16) ve (17)’de kullanılmaktadır. Daha sonra, (16) ve (17)’daki i¸slemler tekrar edilmektedir.
Açıklama 2. Matris ayrı¸stırması ile UKSB a˘gının toplam parametre sayısı dü¸sürülmü¸stür. Denklem (1)-(6)’daki a˘gırlık matrislerinde, W(·) ve R(·), 4m(m + p) skaler parametre bulunmaktadır. Ancak, yüksek verimli UKSB a˘gında 4d(m + p) + 8mf skaler parametre bulunmaktadır. Ko¸sul, d, f min(m, p), sa˘glandı˘gı sürece yüksek verimli UKSB a˘gı çok daha az parametreye sahiptir.
C. Çevrimiçi Ö˘grenme Algoritmaları
Bu bölümde, yüksek verimli a˘gların parametreleri ö˘grenmek için OB˙I ve ÜG merkezli çevrimiçi güncellemeler türetilmi¸s-tir. Öncelikle, her parametre için çevrimiçi güncelleme OB˙I algoritması ile elde edilmektedir [2]. Anlık hata, L( ˆdt, dt),
notasyon kolaylı˘gı açısından L ile ifade edilmektedir. wt için
OB˙I güncellemesi a¸sa˘gıdaki gibi hesaplanmaktadır:
wt+1= wt− ηt∇wtL, (18)
burada ∇wt, hata fonksiyonunun wtye göre gradyanını
belirt-mektedir. Ö˘grenme hızı ηtile ifade edilmi¸stir. OB˙I
güncelleme-leri eklemeli güncellemelerdir çünkü gradyan bilgisi her adımda eklenmektedir (18). Di˘ger bir yandan wtiçin ÜG güncellemesi
[6] a¸sa˘gıdaki gibi hesaplanmaktadır: wt+1,i=
wt,irt,i
Pm
j=1wt,jrt,j
, (19)
burada rt,i = exp(−ηt L
0
wt,i) iken, wt,i ve L 0
wt,i sırasıyla
wt’nin i. elemanı ve anlık hata fonksiyonunun wt,i’ye göre
kısmı türevi olarak tanımlanmaktadır. Denklem (19)’da gö-rüldü˘gü üzere, ÜG güncellemeleri çarpımlı güncellemelerdir çünkü gradyan bilgisi her adımda çarpılmaktadır. Denklem (19)’da çarpma ve üs almak yerine ef i¸sleminin birinci dere-ceden Taylor serisi açılımı kullanılarak a¸sa˘gıdaki güncelleme elde edilmektedir: wt+1,i = wt,i ˆrt,i Pm j=1(wt,j ˆrt,j) , (20) burada ˆrt,i= 1 − ηtL 0
wt,i. olarak ifade edilmektedir. Denklem
(20)’deki bölen tüm i de˘gerleri için aynı oldu˘gundan bu i¸slem normal çarpma i¸sleminden daha az i¸slem yapmaktadır. Hata fonksiyonunun UKSB parametrelerine göre OB˙I ve EG algorit-maları için birinci dereceden gradyanları türetilmi¸stir. Türevler sunum ve notasyon kolaylı˘gı açısından nt = 1 durumu için
türetilmi¸stir. Önce hata fonksiyonunun wij(˜c)’ye göre türevi ¸su ¸sekilde hesaplanmaktadır: ∂L ∂w(˜ijc) = ∂L ∂ ˆdt ∂ ˆdt ∂ht,1 ∂ht,1 ∂wij(˜c) = −2(dt− ˆdt)wTt ∂ ot,1g(ct,1) ∂wij(˜c) . (21)
Denklem (21)’deki kısmi türev a¸sa˘gıdaki gibi hesaplanmaktadır:
∂ ot,1g(ct,1) ∂w(˜ijc) = ∂ot,1 ∂w(˜ijc) sign(g(ct,1)) + ot,1 2δ(g(ct,1)) g0(ct,1) ∂ct,1 ∂wij(˜c) + 2δ(ot,1) ∂ot,1 ∂w(˜ijc) g(ct,1) + sign(ot,1) g0(ct,1) ∂ct,1 ∂wij(˜c) . (22)
Denklem (22) için, ot,1 ve ct,1’nin w (˜c)
ij ’ye göre türevleri
hesaplanır. λ(Rt−1(o)h) = ∂(R(o) ht−1,1)/∂w (˜c)
ij varsayımıyla
(12)’nin türevi a¸sa˘gıdaki gibidir:
∂ot,1 ∂w(˜ijc) =D σ 0(ζ(o)) t,1 bo λ (R(o)h) t−1 . (23) Burada
ζ(o)t,1 = ao (W(o) xt,1) + bo (R(o) ht−1,1) + b(o)
(24)
varsayılmaktadır. (22)’yi, hesaplayabilmek için, ct,1’nin
a¸sa˘gıdaki gibi bir özyinelemeli ili¸ski elde edilmektedir: ∂ct,1 ∂wij(˜c) = sign(˜ ct,1) ∂it,1 ∂wij(˜c) + 2δ(˜ct,1) ∂˜ct,1 ∂wij(˜c) it,1 + sign(it,1) ∂˜ct,1 ∂w(˜ijc) + 2δ(it,1) ∂it,1 ∂w(˜ijc) ˜ct,1 + sign(ct−1,1) ∂ft,1 ∂w(˜ijc) + 2δ(ct−1,1) ∂ct−1,1 ∂w(˜ijc) ft,1 + sign(ft,1) ∂ct−1,1 ∂w(˜ijc) + 2δ(ft,1) ∂ft,1 ∂w(˜ijc) ct−1,1. (25) Denklem (25) için, (8), (9) ve (10)’un w(˜ijc)’e göre türevi ¸su ¸sekilde hesaplanmaktadır: ∂it,1 ∂w(˜ijc) = D σ 0(ζ(i)) t,1 bi λ (R(i)h) t−1 (26) ∂ft,1 ∂w(˜ijc) = D σ 0(ζ(f )) t,1 bf λ (R(f )h) t−1 (27) ∂˜ct,1 ∂w(˜ijc) = D g 0(ζ(˜c)) t,1 (sign(xt,1j) + 2δ(w (˜c) ij )xt,1j)ei + b˜c λ (R(˜c)h) t−1 . (28)
Denklem (26)-(28) kullanılarak (25) hesaplanmaktadır. Sonra, (21)’i hesaplamak için (25) ve (23) kullanılır. (21) elde edil-dikten sonra, parametreler OB˙I ve ÜG merkezli algoritmalarla güncellenir.
Denklem (25)’deki özyineleme, nt 6= 1 durumunda ¸Sekil
1’de görüldü˘gü gibi çe¸sitli UKSB bloklarının çıktılarından he-saplanmaktadır. Ayrı¸stırılmı¸s UKSB a˘gı için ise hata fonksiyo-nun tüm ayrı¸stırılmı¸s matrislere göre türevlerinin hesaplanması gerekmektedir.
IV. SAYISALÖRNEKLER
Bu bölümde, önerilen algoritmaların performansı kıyaslan-maktadır. Bu bölüm boyunca, “Yapı 1" geleneksel UKSB a˘gını temsil etmektedir. Benzer bir ¸sekilde, “Yapı 2" ef i¸slemi ile tanımlanmı¸s UKSB a˘gını (ef-UKSB) ve “Yapı 3" ise “Yapı 2" ile tanımlanmı¸s a˘gın a˘gırlık matrislerinin ayrı¸stırılmasını (ef-WMF-UKSB) temsil etmektedir. Önerilen algoritmaların kar¸sıla¸stırılmasında F16 sava¸s uçaklarının hareket anlarına ait bir veri kümesi kullanılmaktadır [10]. Buradaki amaç, veri kümesindeki Xt ∈ R18 ba˘glanım vektörü kullanılarak F16
uçaklarının konumunu tahmin etmektir. Deneylerde ö˘grenme hızı η = 0.1. olarak kullanılmı¸stır. Yapı 3 için matris derecesi 2 seçilmi¸stir. ¸Sekil 2’de görüldü˘gü üzere, ÜG merkezli algorit-malar OB˙I merkezli algoritalgorit-malardan daha üstün bir performans göstermektedir. OB˙I merkezli algoritmalarda Yapı 3 en az hataya sahip iken ÜG merkezli algoritmalar yakın performans göstermi¸slerdir. Önerilen algoritmalar arasından az parametreye sahip olması sebebiyle Yapı 3 en uygun olanı olarak seçilmi¸stir.
V. SONUÇLAR
Bu bildiride, çevrimiçi do˘grusal olmayan veri ba˘glanım problemi incelenmi¸s ve bu problem için UKSB merkezli yüksek verimli bir yapı sunulmaktadır. Bunun için öncelikle matris
0 500 1000 1500 2000 2500 3000 3500 4000 4500 0 0.5 1 1.5 2 2.5 3 3.5 4 4.5 5 Birikmsel Hata OBI-UKSB ÜG-UKSB ef-ÜG-UKSB ef-WMF-ÜG-UKSB 3800 4000 4200 1 1.5
¸Sekil 2: Sunulan algoritmaların hareket tahmini performansları.
çarpımı i¸slemi yerine daha verimli bir i¸slem olan ef i¸slemi kul-lanılmı¸s daha sonra UKSB a˘gındaki tüm matrisler, geleneksel UKSB a˘gının parametre sayısının dü¸sürülmesi için ayrı¸stırıl-mı¸stır. Bu model için OB˙I [2] ve ÜG [6] merkezli çevrimiçi ö˘grenme algoritmaları sunulmaktadır. Böylece, UKSB merkezli yüksek verimli yapılar ve etkili çevrimiçi ö˘grenme algoritmaları elde edilmi¸stir. Sayısal örneklerde, önerilen yapıların geleneksel UKSB yapısına göre üstün bir performans ortaya koydu˘gu gözlenlenmi¸stir.
KAYNAKLAR
[1] K. Greff, R. K. Srivastava, J. Koutník, B. R. Steunebrink, and J. Schmid-huber, “LSTM: A search space odyssey,” IEEE Transactions on Neural Networks and Learning Systems, vol. PP, no. 99, pp. 1–11, 2016. [2] A. C. Tsoi, “Gradient based learning methods,” in Adaptive processing
of sequences and data structures. Springer, 1998, pp. 27–62. [3] Y. Bengio, P. Simard, and P. Frasconi, “Learning long-term
dependen-cies with gradient descent is difficult,” IEEE Transactions on Neural Networks, vol. 5, no. 2, pp. 157–166, Mar 1994.
[4] S. Hochreiter and J. Schmidhuber, “Long short-term memory,” Neural Comput., vol. 9, no. 8, pp. 1735–1780, Nov. 1997.
[5] T. Ergen and S. S. Kozat, “Efficient online learning algorithms based on lstm neural networks,” IEEE Transactions on Neural Networks and Learning Systems, vol. PP, no. 99, pp. 1–12, 2018.
[6] J. Kivinen and M. K. Warmuth, “Exponentiated gradient versus gradient descent for linear predictors,” Information and Computation, vol. 132, no. 1, pp. 1–63, 1997.
[7] H. Tuna, I. Onaran, and A. E. Cetin, “Image description using a multiplier-less operator,” IEEE Signal Processing Letters, vol. 16, no. 9, pp. 751–753, Sept 2009.
[8] O. Kuchaiev and B. Ginsburg, “Factorization tricks for LSTM networks,” CoRR, vol. abs/1703.10722, 2017. [Online]. Available: http://arxiv.org/ abs/1703.10722
[9] T. Ergen and S. S. Kozat, “Online training of lstm networks in distributed systems for variable length data sequences,” IEEE Transactions on Neural Networks and Learning Systems, vol. PP, no. 99, pp. 1–7, 2017. [10] J. Alcala-Fdez, A. Fernandez, J. Luengo, J. Derrac, S. García, L. Sánchez, and F. Herrera, “KEEL data-mining software tool: Data set repository, integration of algorithms and experimental analysis framework,” Journal of Multiple-Valued Logic and Soft Computing, vol. 17, no. 2-3, pp. 255– 287, 2011.
