Big data signal processing using boosted RLS algorithm

· .

Arttlrmall Ozyinelemeli En Kti�tik Karesel Hata

Algoritmasl Kullanarak Btiytik Veri Sinyal i§lemesi

Big Data Signal Processing Using

Boosted RLS Algorithm

Burak C. Civek1, Dariush Karil, ibrahim Delibalta2, Siileyman S. Kozat1

1

Elektrik ve Elektronik MUhendisligi BolUmU, Bilkent Universitesi, Ankara, TUrkiye {civek,kari,kozat} @ee.bilkent.edu.tr

2TUrk Telekom Labs, istanbul, TUrkiye {ibrahim.delibalta} @turktelekom.com.tr

Ozetfe -Bu bildiride, �ok boyutlu veri baglamml tizer­ ine etkili bir metot sunulmaktadlr. Bu baglamda, en kti�tik ortalama kareler (LMS) stizgecini takip eden ozyinelemeli en kti�tik kareler (RLS) stizgeci kullamlIllJ§ ve makine ogrenmesi Iiterattirtinde olduk�a yaygm olan arttlrma yakla§lml ile bu iki stizge� birle§tirilmi§tir. Bunun yanmda, hesaplama karma§lkhglm dti§tirmek amaclyla, performans a�lsmdan odtin verilmeden, RLS stizgecinin gtincellemesinin rastgele yapddlgl ozgtin bir yak­ la§lm geli§tirilmi§tir. Sunmu§ oldugumuz algoritma kapsammda, LMS stizgecinin kestirimini yapmasmm ardmdan, hesaplanan hataya bagb olarak RLS stizgecinin gtincellenmesi hakkmda karar verilmektedir. RLS stizgecinin btittin veri i�in gtincellen­ mesinden ka�mddlgl i�in, hesaplama karma§lkhgl onemli OI�tide dti§tirtiImti§ttir. AlgoritrnaIllJzm hata ve hesaplama stiresi tizerine performans sonu�larI olduk�a ger�ek�i hazlrlanml§ bir senaryo tizerinde gosterilmi§tir.

Anahtar Kelimeler-dogrusal siizgef, arttlrma, biiyiik veri, en kiifiik kareler, ozyinelemeli.

Abstract-We propose an efficient method for the high di­ mensional data regression . To this end, we use a least mean squares (LMS) filter followed by a recursive least squares (RLS) filter and combine them via boosting notion extensively used in machine learning literature . Moreover, we provide a novel approach where the RLS filter is updated randomly in order to reduce the computational complexity while not giving up more on the performance . In the proposed algorithm, after the LMS filter produces an estimate, depending on the error made on this step, the algorithm decides whether or not updating the RLS filter. Since we avoid updating the RLS filter for all data sequence, the computational complexity is significantly reduced. Error performance and the computation time of our algorithm is demonstrated for a highly realistic scenario .

Keywords-linear filter, boosting, big data, LMS, RLS. I. GiRiS

Arttmna, makine ogrenmesi IiterattirUnde en onemli toplu ogrenme metotlanndan birisi olarak nitelendirilmekte ve slmftandlrma, baglamm gibi bir�ok ger�ek hayat uygula­ masmda kullamlmaktadlr [1]-[3]. Toplu ogrenme metodu olarak arttJrma [4], paralel olarak �ah�an ancak "zaYlf' 978-1-5090-1679-2/16/$31.00 ©2016 IEEE

performans gosteren bir�ok algoritmaYl birle�tirerek "gU�IU" perform ansa sahip nihai bir algoritma olu�turmaktadlr [1]. Bu yakla�lm, zaYlf ogrenme algoritmalanmn dogrusal bir katl�lmlm bulup, baYlr ini�i algoritmasl kullanarak, egitim veri­ leri Uzerindeki mali yeti minimuma indirmektedir [2]. ArttIrma, makine ogrenmesi IiterattirUndeki slmftandmna [2], baglamm [3], kestirim [5], [6] ve finansal ongorU [7] gibi bir�ok probleme ba�anyla uygulanabilmektedir. Ancak, uyarlamr sinyal i�leme IiteratUrUnde arttmna yakla�lmma yeterince onem verilmemi�tir. Amaclllllz, arttJrma kavramlm uyarlamr sUzge�leme �er�evesinde kullanmak ve bUy Uk veri problemler­ ine uygulanabilir bir algoritma geli�tirmektir [8]. Bu baglamda, ozyinelemeli en kti�Uk kareler (RLS) algoritmasl ile aym per­ form anSI gosteren ancak onemli i:iI�Ude daha dU�Uk hesaplama karma�lkhgma sahip bir metot sunuyoruz. DolaYlslyla, elde ettigimiz saYlsal sonu�larda da gosterildigi Uzere, sundugumuz algoritma ile bUyUk veri problemleri i�in UstUn bir aIternatif olu�turmaktaYlz.

ArttIrma kavraml ilk olarak YIgm veriler Uzerinde ortaya �lkml� olsa da [2], sonrasmda verinin slrah olarak gozlem­ lendigi �evrimi�i kurgularda da uygulanmaya ba�lanml�tlr [9]. <;evrimi�i ortamda, en son gozlemlenen veri anhk olarak i�lenir ve sonrasmda depolamaya ihtiya� duyulmadan goz ardl edilir. BUyUk veri i�eren ger�ek hayat uygulamalan, yeterli depolama alam bulunmamasl veya anhk veri i�lemesi gerek­ tirmeleri sebebiyle, dogal olarak �evrimi�i kurguyu kullan­ maktadlrlar [8]. Bunun yanmda, �evrimi�i ortam, uyarlamr sUzge�leme sistemi ile yakmhgl sebebiyle de bizim a�lmlZ­ dan onem arz etmektedir [10]. Sonu� olarak, bu bildiride temel olarak uyarlamr sUzge�lemeye rahat�a uygulanabilecek �evrimi�i arttlrma modeline yogunla�t1ml�tlr.

Bildiri boyunca belirli olarak, paralel �ah�an ve girdi vek­ torlerini ardl�lk olarak gozlemleyen m farkh uyarlamr sUzge�

Uzerinde �ah�t1maktadlr. Her bir uyarlamr algoritma, uygula­ manm hedefine veya klsltlamalara bagh olarak, ozyinelemeli en kti�Uk kareler (RLS) veya en kU�Uk ortalama kareler (LMS) gibi farkh gUncelleme kurallan kullanabilir [10]. Girdi vektCirUnUn gozlemlenmesi ile birlikte, her bir algoritma kendi �lktJslm olu�turur ve ger�ek deger de elde edildikten sonra anhk hatalar hesaplamr. En genel durumda, hesaplanan bu kestirim hatasl ve kar�lhk gelen girdi vektorU,

once-den belirlenen mali yet fonksiyonu lizerinonce-den maliyeti mini­ muma indirmek amaclyla algoritmamn i<;sel parametrelerini ayarlamak i<;in ku 11 am hr. Her bir m bile§en slizge<; i<;in bu

glincellemeler yapllmaktadlr. Fakat, <;evrimi<;i arttmna yak­ la§lmlannda, "arttlrma" etkisine ula§mak amaclyla, bu glin­ cellemeler ilk slizge<;ten ba§laYlp son slizgece kadar slrah olarak uygulanmaktadlr [11]. Aynca, standart birle§im yak­ la§lmlanndan farkh olarak [12], her bir uyarlamr slizgecin glincellemesi, daha onceki bile§en slizge<;lere bagh olarak ger<;ekle§tirilir. Her t amnda,

k.

slizge<;, gozlemlenen

(Xt, dt)

lizerinden kendi hatasml hesapladlktan sonra, l.'den

k.

slizgece kadar yapIian kestirimin ne kadar hatah oldugunu belirten belirli bir aglrhk degerini slrada bulunan

(k

+

1).

slizgece iletir.

ilk Slfada bulunan

k

slizgecin gozlemlenen

(Xt, dt)

lizerindeki performansma bagh olarak, bu a§amaya kadar yapIian hataYI dlizeltmek amaclyla,

(k

+

1).

slizge<;

(xt,dt)

<;iftine ne dere­ cede aglrhk verilecegine karar verir.

Bu bildiride, paralel <;ah§an iki farkh dogrusal uyarlamr slizge<; kullamlmaktadlr. Bu slizge<;lerden birisi LMS algorit­ maSlm kullamrken, digeri RLS algoritmasl ile glincelleme yap­ maktadlr. Fakat, hesaplama karma§lkhgml dli§lirmek amaclyla, RLS kullanan slizge<;, LMS slizgecinin perfonnansma bagh olarak rastgele adnnlarda glincellenmektedir. Ba§ka bir ifadeyle, LMS slizgecinin iyi de recede performans gosterdigi adlmlarda, RLS slizgeci daha dli§lik bir olaslhkla glincellenir. Tam tersi durumda ise, RLS slizgecinin glincelleme olaslhgl

arttmhr.

II. PRO BLEM TANIM I VE ONBiLGi

Bu bildiride, blitlin vektbrler slitun vektbrleridir ve kli<;lik koyu harflerle temsil edilir. Matrisler ise bliylik kahn harflerle gosterilir. Vektbr devrigi,

Xt

vektbrli i<;in,

xi

ile gosterilmek­ tedir.

Bildiri <;er<;evesinde, t _2:

1

zaman indisini gostermek lizere,

r boyutlu baglanlln vektbrleri,

Xt

E JRr, ve kestirimi yapllan

veri,

dt

E _{JR, ardl§lk olarak gozlenmekte, kestirim,}

elt,

ise §u §ekilde hesaplanmaktadlr:

(1) Burada,

it

(

-

)

uyarlamr bir slizgeci temsil etmektedir. Her

t amnda, kestirim hatasl

et

=

dt - elt

olarak verilmekte

ve uyarlamr slizge<; parametrelerini ayarlamak i<;in kullaml­ maktadlr. Sundugumuz algoritma herhangi slmrh bir veri dizgisi i<;in ge<;erli olsa da, daha a<;lklaYlcl olmak adma bildiri boyunca

dt

E

[-1,1]

oldugu kabul edilecektir. Bildiri

<;er<;evesinde girdi vektorleri veya kestirimi yapIian veri liz­ erinde herhangi bir istatistiksel varsaYlm yaptlmamaktadlr, dolaylSlyla sunmu§ oldugumuz sonu<;lar rastgele olmayan veri dizileri i<;in saglanmaktadlr [l3].

Dogrusal slizge<;ler en basit uyarlamr slizge<;ler olarak nitelendirilmektedir. istenilen verinin,

dt,

kestirimi dogrusal slizge<;ler kullamlarak,

elt

=

wi Xt

§eklinde ger<;ekle§tirilir.

Burada

Wt,

t anmdaki uyarlamr dogrusal slizge<; katsayIiarml

ifade eder. Bu model ile

Xt

vektbrline sabit bir terim eklenip, slizge<; uzunlugunun bir arttmldlgl dli§linlildliglinde,

elt

=

wi Xt

+

bt

§eklindeki ilgin modeller de ifade edilebilmekte­ dir. istenilen

dt

degeri gozlemlendiginde, algoritma dogrusal slizge<; katsaYllanm,

Wt,

yapllan hataya,

et,

gore glincellemek­ tedir. Ornek olarak, RLS algoritmasmm temel uygulamasmda,

dogrusal slizge<; katsaytlan, t

- 1

amna kadar birikmi§ karesel baglamm hataslm minimuma indirecek §ekilde se<;ilir:

t-l

Wt

=

argmin 2

)

d

i

- xi W)2

W

i=1

(2)

Burada,

W

sabit katsaYI vektorline kar§lhk gelmektedir. RLS algoritmasl, farkh istatistiksel kurgularda bir<;ok eniyilik ko§u­ lunu saglamaktadlr [10]. Ancak bunlann yam slra, bu bildiri ile alakah olarak, RLS algoritmasmm ardl§lk yakla§lmlarda da optimal oldugu [14],de gosterilmi§tir. Yine [14],de gosterildigi lizere, herhangi

{xdt>1

_-

ve

{ddt>1

_-

dizgisi lizerinde, bu dizgilere gore eniyilemesi ger<;ekle§tirilmi§ en kli<;lik kareler (LS) algoritmasmm birikmi§ karesel hata oramna RLS algo­ ritmasl da ula§maktadlr. Ba§ka bir deyi§le, blitlin

n

degerleri i<;in RLS slizgeci veri len e§itsizligi saglamaktadlr:

n n

2

)

d

i

- xi

Wi)2 - �n 2

)

d

i

- xi W)2

�

O(ln(n))

(3)

i=1 i=1

RLS algoritmasl,

dt

kestirimi i<;in t

-1

anma kadar en iyi per­

formansl gosteren modelin kullamldlgl Oncliyli-izle (Follow­ The-Leader) tipi algoritmalar arasmda yer ahr [15]. Bu ne­ denle, (3)'de verilen slmrlama, [16]'da belirtilen <;evrimi<;i dl§blikey eniyileme sonu<;lanmn dogrudan bir uygulamasl ile bulunur. RLS algoritmasmm yakmsama hlzmm optimal oldugu ve

O(ln( n))

list smmmn daha fazla geli§tirilemeyecegi [17]'de belirtilmi§tir. Optimal list Slmra, a§aglda verilen (2)'in kIsmen degi§tirilmi§ versiyonu kullamlarak ula§Iiabilmektedir [17]:

(4) Burada (2)'nin uzantIsl olarak verilen (4), ileri bir algoritmadlr [18] ve tek boyutlu, sayIi, durumda (4)'lin kestirimlerinin her zaman belirli bir Slmr i<;erisinde kaldlgl gosterilebilir ((2) i<;in bu durum ge<;erli degildir) [17].

III. GU<;LENDiRiLMiS RLS ALGORiTMASI Sekil 1 'de gori.ildligli lizere, birisi LMS, digeri RLS olmak lizere paralel <;ah§an iki farkh uyarlamr slizge<; kullanmaktaYlz. Bu slizge<;ler slraslyla

elF)

ve

el�2)

olmak lizere,

dt

i<;in her

t amnda iki farkll kestirim liretmektedirler. Elde edilen bu

iki kestirim, dogrusal aglrhk vektbrli,

Zt

E _JR

2,

kullamlarak

elt

=

zi

'ljJt

§eklinde nihai kestirimi olu§turur [12]. Burada

'" A(I)

'(2)

T .

'ljJt

=

[dt , dt ]

olarak tammlanml§tlr. Istenilen veri

dt

gozlemlendikten sonra, para lei <;ah§an iki slizge<; de Slfadaki adlm i<;in glincellenmektedir. Bunun yanmda, dogrusal bir­ le§im katsaYllanm i<;eren

Zt

vektbrli de LMS metodu ile glincellenmektedir.

Kestirimi yaptlan

dt'

nin ger<;ek degeri gozlemlendiginde,

k

=

1,2

i<;in

ftCk)

§eklinde gosterilen bile§en slizge<;ler slrah

olarak glincellenir. Sekil l' de verildigi lizere, ilk olarak listte bulunan ve

ft(l)

ile ifade edilen slizge<;, LMS metodu ile glincellenir, sonrasmda ise yalmzca

Ut

=

1

durumunda,

ft(2)

Xl

V:�;��U

- - ,- - ---, L.. _____ _ LMS suzgeci RLS suzgeci istenen � d Sinyal : t

d,'"

[

I

�+ :t:

Sekil 1: Sistem Blok Semasl

gUncellenir. LMS sUzgecinden RLS sUzgecine "toplam kaYlp" bilgisini i<;eren ve a�aglda a<;IlllllI veri len

It

parametresi iletilir: (5) Toplam kaYlp parametresi

It,

ula�Ilmak istenilen ortalama karesel hata (MSE),

(J2,

ve t amnda ilk sUzgecin yaptIgl karesel

hata arasmdaki farkl verir. DolaYlslyla,

It

parametresi ile ilk slradaki bile�en sUzgecin nihai ortalama karesel hata hedefine ne kadar uzakta oldugu anla�Illr. Ornek olarak, dogrusal 01-mayan bir

fe)

fonksiyonu ve gozlemlenen

Vt

gUrUltUsU i<;in, istenen veri

dt

=

f (Xt)

+

Vt

�eklinde Uretiliyorsa, bu durumda

(J2

gUrUltti sUreci varyasyonunun Ust slmr olarak se<;ilebilir. Elde edilen

It

degeri Uzerinden,

At

parametresi ile Bernoulli daglhmma sahip bir

Ut

rastgele degi�keni Uretilir,

P(

Ut

=

1)

=

At.

Amaclmlz, ilk bile�en sUzge<;

dt

Uzerinde bUy Uk bir hata yaptJgmda,

At

degerinin de bUyUk olmasml saglamaktIr. Boyle­ likle ikinci sUzge<;

(dt, Xt)

<;iftine daha <;ok onem verecek ve sistemin genel performansl arttmlacaktlr. A�aglda, 0 <

At

_:s;

1

olmak ko�ulu ile, [11] ve [19],de anlatIlan aglrhklandlrma metotlanna benzer �ekilde

At

parametresinin nasIl se<;ildigi verilmi�tir:

(6) Burada,

Ot-l

ile RLS sUzgecinin

{xdt>1

_-

ve

{ddt>1

_-

Uz-erindeki aglrhkh ortalama karesel hatasmm (WMSE) bir ke-stirimi, c � 0 ile de her bir sUzgecin gUncellemesinin

LMS sUzgecinin performansma ne derecede bagh oldugunu belirten bir tasanm parametresi belirtilmi�tir. Ornegin c = 0,

[12]'de verilen haliyle baglmslz gUncelleme durumuna kar�lhk gelmekteyken, daha bUyUk c degerleri LMS sUzgecinin per­

formansml

At

Uzerinde daha etkili bir konuma getirmek­ tedir. <;evrimi<;i arttJrmamn [11] ve [19],da verilen temel uygulamasmda

(1 - Ot-l)

zaYlf ogrenme algoritmalanmn smIflandlrma avantajl olarak se<;ilmi�tir [19]. Bu bildiride, herhangi bir oncUl bilgi kullammmdan ka<;mmak ve tamamen uyarlamr olmak amaclyla,

Ot-l

degeri i<;in RLS sUzgecinin

t

- 1

anma kadarki aglrhkh ve e�ikli ortalama karesel hatasl

kullamhllI�tlr:

T=1

(7)

At-10t-1

+

i (

dt - [Jt(Xt)]+

)

2

At-1

+

At

Burada,

At

�

L�=l AT

olarak tanllnlanml�tlr ve

[JT(XT)]+

ile

fT(XT)

degerini

[-1,1]

araiIgma slmrlayan e�ik temsil edilmektedir. Bu e�ik degeri 0 <

At

_:s;

1

ifadesini garantileyen

o <

Ot

_:s;

1

ko�ulunu saglamak i<;in kullamlrru�tIr. (7)'de

gosterildigi Uzere

Ot

yinelemeli olarak hesaplanabilmektedir.

Ot

ve

At'

nin tammlamalanna bakddlgmda, LMS sUzgeci "iyi" bir sonu<; verdiginde, RLS sUzgecine daha kU<;Uk bir aglrhk iletildigi ve

(dt, Xt)

<;iftine daha az onem verildigi gorUlmektedir. Boylelikle, sistemde bulunan iki farkh sUzge<; veri dizgisinin farkh bOlgelerine ozel �ekilde uyarlanabilecektir [12].

Bu yakla�lInda,

At

aglrhgl RLS sUzgecinin t amnda gUn­ celleme yapma olaslhgl olarak kullamlmaktadlr. Bu nedenle, Bernoulli dagIilmma sahip,

At

olaslhkla 1 ve

(1- At)

olaslhkla

o degerini alan bir rastgele degi�ken Uretilmektedir. Her t

anmda, yalmzca Bernoulli rastgele degi�keninin 1 oldugu durumda her iki sUzge<; de gUncellenmektedir. Bu metot sayesinde algoritmamn hesaplama karma�lkhgml onemli dere­ cede dU�UrmU� bulunmaktaYlz. Aynca bu metot, kullamlan Bernoulli rastgele degi�keninin LMS sUzgecinin ortalama kare­ sel hata performansl ile olan ili�kisi nedeniyle, daha dU�Uk hesaplama karma�lkhgl saglarken, top lam ortalama karesel hata perform anSI Uzerinde onemli bir dU�U�e neden olmaz. Ba�ka bir deyi�le, ortalama karesel hatamn dU�Uk oldugu adlmlarda gUncelleme olasliIgl da dU�UktUr ve performans Uzerinde dikkate ahnacak bir etki olu�turmaz.

istenen sinyal

dt

gozlemlendiginde, nihai birle�im aglrhk­ larml i<;eren

Zt

vektorU de temel LMS algoritmasl kullamlarak gUncellenir.

IV. SAY ISAL SONU<;LAR

Bu bolUmde, sunmu� oldugumuz arttIrma algoritmasmm ne kadar etkili oldugu olduk<;a ger<;ek<;i senaryolar Uzerinde gosterilmektedir. Bu ama<;la, par<;ah dogrusal bir model kul­ lamlarak Uretilen bir sinyalin baglamml Uzerinde <;ah�Iiml�tlr. Elde edilen sonu<;lar arasmda baghhk parametresi olarak be­ lirtilen c degerinin de hesaplama sUresi Uzerindeki etkisi go­

zlemlenmi�tir. Bunun yanmda sunmu� oldugumuz, "rastgele gUncelleme" Uzerine kurulan arttIrma algoritmasl ile slradan RLS ve LMS algoritmalanmn performans kar�Ila�tmnasl da ger<;ekle�tirilmi�tir.

Algoritmada kullamlan sUzge<;lerin ogrenme oranlan LMS sUzgeci i<;in 0.01, RLS sUzgeci i<;in ise 0.999 olarak se<;ilmi�tir. Slradan LMS ve RLS sUzge<;lerinin performans deger­ lendirilmesinde yine aym degerler kullamlml�tIr. Aynca, iste­ nilen ortalama karesel hata degeri olarak kabul edilen gUrUltU sUrecinin varyansl,

(J2,

0.01 olarak atanml�tlr. Sekil 2'de

ro ....

:r.

10

·2

Qj V'I � ro :..::

]

10.3

� .;:: iii Performans Kar�lla�tlrmasl

104

L---L---�--�--�---L---L---L--�--�--� o

0

.

2 0.4 0

.

6 0

.

8

1

1.2

1.4

1

.

6

1

.

8

2

Veri Uzunlugu x 104

Sekil 2: Sun ulan algoritma ile geleneksel LMS ve RLS algo­ ritmalanmn birikimli hata oranlan kar§lla§tmlml§tlr.

KARMA c= 100 KARMA ro c= 10 E .... . ;:: 0 IlO KARMA <i: c= 1 RLS o

0.5

Hesaplama Suresi Kar�lIa�tlrmasl

1

1.5

2

2.5

Hesaplama Suresi (sn)

3 3.5

Sekil 3: Sunulan algoritma ile geleneksel RLS algo­ ritmasl arasmda duragan veri uzerinde hesaplama sUresi kar§lla§tmlml§tlr.

gorUlen birikimli karesel hata kar§lla§tJrmasmda, c parametresi

10 olarak sec;:ilmi§tir.

Bu senaryoda, istenen sinyal, 3 farkh bolgeden olu§an bir parc;:ah dogrusal model ile Uretilmi§tir. Girdi vektorleri,

Xt, Gaussian rastgele sUreci Uzerinden 100 boyutlu olarak

Uretilmi§tir. ilgin sUzgec;:leri de ifade edebilmek amaci ile girdi vektOrlerinin son elemam olarak 1 eklenmi§tir.

Sekil 2'de gosterildigi Uzere, sunmu§ oldugumuz algoritma ile slradan RLS sUzgeci neredeyse aym hata oramna sahiptir. DolaYlslyla, Sekil 3'de gosterilen hesaplama sUreleri de goz onUne ahndlgmda, algoritmanuz geleneksel RLS sUzgeci ile aym performansl gosterirken, rastgele gUncelleme yakla§lml sayesinde fark edilir derecede daha hlzh c;:ah§maktadlr.

V. SONUC;LAR

Bu bildiride, makine ogrenmesi literatUrUnde oldukc;:a yaygm olarak i§lenmi§ olan arttIrma yakla§lml, uyarlamr sUzgec;:ler Uzerinde c;:ah§llml§tlr. Birc;:ok farkh uyarlamr sUzgec;: algoritmasma uygulanabilir "rastgele gUncelleme" yakla§lml ile belirtilen arttIrma yakla§lml gerc;:ekle§tirilmi§tir. Sunulan metot ile geleneksel ozyinelemeli kareler (RLS) algoritmasmm hesaplama karma§lkhgl onemli OIc;:Ude dU§UrUlmU§ ve bUy Uk veri uygulamalarl ic;:in uygun bir algoritma geli§tirilmi§tir. Aynca, ortalama karesel hata (MSE) performansl aC;:lsmdan odUn verilmeden, hesaplama sUresinin geleneksel RLS algorit­ masma klyasla fark edilir derecede klsaltIldlgl saYlsal olarak gosterilmi§tir.

KAYNAK<;A

[I] R. E. Schapire and Y. Freund, Boosting: Foundations and Algorithms. MIT Press, _2012.

[2] Y. Freund and R. E.Schapire, "A decision-theoretic generalization of on-line learning and an application to boosting," Journal of Computer and System Sciences, vol. _55, pp. _{119-139, 1997.}

[3] D. L. Shrestha and D. P. Solomatine, "Experiments with adaboost.rt, an improved boosting scheme for regression," in Experiments with AdaBoost.RT, an improved boosting scheme for regression, _2006.

[4] R. O. Duda, P. E. Hart, and D. G. Stork, Pattern Classification. John Willey and Sons, _2001.

[5] B. Taieb and R. J. Hyndman, "Boosting multi·step autoregressive forecasts," in ICML, _2014.

[6] --, "A gradient boosting approach to the kaggle load forecasting competition," International Journal of Forecasting, pp. _{1-19, 2013.}

[7] N. Shafik and G. Tutz, "Boosting nonlinear additive autoregressive time series," in Computational Statistics and Data Analysis, _2009.

[8] L. Bottou and O. Bousquet, "The tradeoffs of large scale learning," in NIPS, _2008.

[9] N. C. Oza and S. Russell, "Online bagging and boosting," in Proceed­ ings of AISTATS, _2001.

[10] A. H. Sayed, F undamentals of Adaptive Filtering. John Wiley and Sons, _2003.

[11] S.-T. Chen, H.-T. Lin, and c.-J. Lu, "An online boosting algorithm with theoretical justifications," in ICML, _2012.

[12] S. S. Kozat, A. T. Erdogan, A. C. Singer, and A. H. Sayed, "Steady state MSE performance analysis of mixture approaches to adaptive filtering," IEEE Transactions on Signal Processing, _2010.

[13] S. S. Kozat and A. C. Singer, "Universal switching linear least squares prediction," IEEE Transactions on Signal Processing, vol. _56, pp.

189-204, Jan. _2008.

[14] N. Merhav and M. Feder, "Universal schemes for sequential decision from individual data sequences," IEEE Trans. Inform. Theory, vol. _39, pp. _{1280-1291, 1993.}

[I 5] N. Cesa-Bianchi and G. Lugosi, Prediction, Learning, and Games. Cambridge University Press, _2006.

[I 6] S. Shalev·Shwartz, "Online learning and online convex optimization," Foundations and Trends in Machine Learning, vol. _4, pp. _107-194,

2012.

[17] A. C. Singer, S. S. Kozat, and M. Feder, "Universal linear least squares prediction:upper and lower bounds," IEEE Transactions on Information Theory, vol. _48, no. _8, pp. _{2354-2362, 2002.}

[I 8] K. S. Azoury and M. K. Warmuth, "Relative loss bounds for on­ line density estimation with the exponential family of distributions," Machine Learning, vol. _43, pp. _{211-246, 2001.}

[19] R. A. Servedio, "Smooth boosting and learning with malicious noise," Journal of Machine Learning Research, vol. _4, pp. _{633-648, 2003.}