Nonlinear regression using second order methods

·

Ikinci Dereceden Metotlar Kullanarak

Dogrusal Olmayan Baglanlm

Nonlinear Regression Using Second Order Methods

Burak C. Civekl, ibrahim Delibalta2, Siileyman S. Kozat1

1 Elektrik ve Elektronik MUhendisligi BoLUmU, Bilkent Universitesi, Ankara, TUrkiye {civek,kozat} @ee.bilkent.edu.tr

2TUrk Telekom Labs, istanbul, TUrkiye {ibrahim.delibalta}@turktelekom.com.tr Ozetfe -Bu bildiride dogrusal olmayan .;evrimil;i baglamm

problemine yonelik olduk.;a etkili bir algoritma geli§tirilmi§tir. Gozlemlenen veri anhk olarak i§lenip tekrar kullamlmamaktadlr, dolaYlslyla depolama ihtiyacl da ortadan kaldlnlml§tIr. Dogrusal olmayan modelleme i.;in baglamm uzaYlmn par.;alandlgl ve olu§an her bir bOigeye dogrusal bir modelin atandlgl par.;ah dogrusal modeller kullamIIllJ§tIr. Literatiirde ilk defa, baglamm uzaymm par.;alanmasl ve olu§an her bOigeye atanan dogrusal modeller ikinci derece metotlar, Newton-Raphson Metotlan, ile uyarlamr olarak tasarlanml§tlr. Bu sayede slk.;a kar§Ila§Ilan a§ln/yetersiz uyma sorunlarma da bir .;oziim geli§tirilmi§tir. Literatiirde bulunan diger algoritmalar ile kar§Ila§tIrlldlgmda onemli de recede performans artI§1 saglanml§tlr.

Anahtar Kelimeler--dogrusal olmayan baglamm, Newton, parfait dogrusal model.

Abstract-We present a highly efficient algorithm for the on­ line nonlinear regression problem. We process only the currently available data and do not reuse it, hence, there is no need for storage. For the nonlinear regression, we use piecewise linear modeling, where the regression space is partitioned into several regions and a linear model is fit to each region. As the first time in the literature, we use second order methods, e.g. Newton-Raphson Methods, and adaptively train both the region boundaries and the corresponding linear models. Therefore, we overcome the well known overfitting and underfitting problems. The proposed algorithm provides a substantial improvement in the performance compared to the state of the art.

Keywords-nonlinear regression, Newton, piecewise linear model.

I. GiRiS

Dogrusal olmayan baglamm problerni, otomatik ogrenme ve sinyal i�leme literatUrUnde en onemli c;:ah�ma alanlanndan birisidir ve sinyal modelleme, finansal market, yonelim analizi, tavsiye gibi birc;:ok farkh gerc;:ek hayat uygulamasmm temelini olu�turur [1], [2]. Fakat geleneksel baglamm teknikleri, bUyUk veri ic;:eren gerc;:ek hayat uygulamalarmda, elde edilen verinin konvansiyonel sinyal i�leme metotlan ile etkili bir �ekilde i�lenememesi, depolama konusundaki sorunlar ve geleneksel metotlann veri istatistigine oldukc;:a bagh olmasl dolaylSlyla, yeterli performansl gosterememektedir [3]. Bu baglamda, be­ lirtilen bu sorunlann Ustesinden gelmek amaclyla, elde edilen 978-1-5090-1679-2/16/$31.00 ©2016 IEEE

verinin depolama ihtiyacl duyulmadan, anhk olarak i�lendigi bir c;:evrimic;:i baglamm algoritmasl sunuyoruz. Sunmu� oldugu­ muz algoritmamlz c;:evrimic;:i ortarnlarda oldukc;:a degi�ken olan veri istatistigini kolayca takip edebilmesi sayesinde, varyasy­ onlar ve belirsizlikler konusunda UstUn bir performans sergi le­ mektedir.

Bu bildiride, dogrusal olmayan baglamm ic;:in karar agac;: yapIslm temel alan hiyerar�ik parc;:ah dogrusal modeller kul­ lamlmaktadlr. Bu durumda, baglamm vektorleri uzaYl uyarla­ mah olarak parc;:alara aynlmakta ve performansl arttmnak ic;:in sUrekli eniyilemesi gerc;:ekle�tirilmektedir. Parc;:ah dogrusal modeller, dogrusal olmayan modellerin kullamlmasmdan kay­ naklanan a�m egitim sorunlanm azaltmak ic;:in sinyal i�leme literatUrUnde bUyUk oranda kullamlmaktadlr. Bununla birlikte, parc;:ah dogrusal modellerin ba�arlsl bUyUk OIc;:Ude veriyi mod­ elleyen uzaym dogru bir �ekilde parc;:alanmasma bagh oldugu ic;:in, bu modeller de gerc;:ek hayat uygulamalannda bekle­ nen perform ansI gosterememektedir. <;evrimic;:i ortamlarda veri mah olarak elde edildiginden, en iyi boLUntUleme ba�langtc;:ta yapllamamaktadlr. Aym �ekilde, gerc;:ek hayat uygulamalannda veri istatistigi ve daglhml oldukc;:a degi�kenlik gostermekte ve en iyi boLUntUleme sUrekli olarak degi�mektedir. Bu nedenle, literatUrde ilk defa, baglanlln uzaymm parc;:ah dogrusal boLUn­ tUlenmesi ve olu�turulan her bOlgedeki dogrusal modeller yUk­ sek derecede etkili ikinci dereceden metotlar, Newton-Raphson metotlan [4], kullamlarak ogrenilmektedir. DolaYlslyla, slk kar�t1a�t1an a�lfl/yetersiz uyma sorunlarmdan kac;:mllml� olup, bolge slmrlarmm ve kar�lhk gelen dogrusal modellerin ikinci dereceden metotlar ile egitilmesi sayesinde, en yeni geli�mi� algoritmalara klyasla aZlmsanmayacak olc;:Ude daha etkili per­ formans elde edilmi�tir.

II. PROBLEM TANIMI

Bu bildiride, bUtUn vektorler sUtun vektCirleridir ve kUc;:Uk koyu harfterle gosterilmektedir. Matrisler ise bUy Uk koyu harfterle gosterilmi�tir. VektCir devrigi,

x

vektorU ic;:in,

xT

ile gosterilmektedir. 1m ise m x m boyutlu birim matrisi temsil

etmektedir.

Bildiri c;:erc;:evesinde c;:evrimic;:i ortamda c;:ah�t1maktadlr, ba�ka bir ifadeyle,

t

;:::

1

ic;:in kestirimini yapttglllllz veri,

Yt E JR, ve oznitelik vektCirU, Xt E JRm, mah olarak go­

iizere kestirimini yapmaktlr:

Yt =

f(xt)

Burada, Yt ile

t

amndaki kestirim ve

fO

ile de gec;:mi� zaman gozlemlerinin bir fonksiyonu belirtilmi�tir. Bu c;:ah�­ mada, birc;:ok dogrusal olmayan modeli yakla�lklama yetenegi nedeniyle, parc;:ah dogrusal modeller kullamlmaktadlr. Parc;:ah dogrusal modelleri olu�turmak ic;:in, oznitelik vektOrlerinin uzaYI, U�=1

Sf:'

= lRm ve

Sf

n

SY'

= 0,

i =I- j

ko�ullaflm

saglamak �artlyla, ornegin K, farkh bolgeye aynhr. Burada,

Sf:'

her bir bolgeyi simgelemektedir. Elde edilen her bolge ic;:in, Yt,i = Wf,iXt + Ct,i, �eklinde belirtilen dogrusal bir

model tammlanmaktadlr. Burada, Wt,i, Yt,i ve Ct,i slraslyla

i

ile gosterilen bolgedeki baglamm vektOriinii, kestirimi ve goreli konumu temsil etmektedir. Bu model Xt = [

x

i

: l]T

ve Wt,i = [wi,; : Ct,i]T degi�imleri yapddlgmda daha sade

olarak, Yt,i = Wf,iXt �eklinde ifade edilebilmektedir.

Parc;:ah dogrusal modellerin kullammmda iki farkh temel sorun bulunmaktadlr:

i)

boliintiilenme sonrasmda a�m/yetersiz uyma sorunlanndan kac;:mIlmasl [5] ve

ii)

olu�turulan her bir bOige ic;:in c;:evrimic;:i olarak en iyi dogrusal modelin belir­ lenmesi [6]. Bu baglamda sundugumuz tamaml ile uyariamr yaplya sahip baglannll modeli ile her iki problem de c;:oziilmek­ tedir. Sun ulan algoritmamn mali yet fonksiyonu olarak an­ hk karesel hata, e; = (Yt - Yt)2, kullamlmaktadlr. Algo­

ritma geli�tirilirken ise toplam baglamm hatasml olabildigince kiic;:iiltmek amac;:lanml�tlr.

III. KARAR AGA<; YAPISINI TEMEL ALAN ARDI�IK PAR<;ALI DOGRUSAL KESTiRici Bu boliimde parc;:ah dogrusal modeller temel ahnarak geli�tirilen oldukc;:a etkili c;:evrimic;:i algoritmamlz sunulmak­ tadlr. Baglamm uzaymm boliintiilenmesi agac;: yaplsl iizerinden sistematik bir �ekilde gerc;:ekle�tirilmektedir. iki boyutlu baglamm diizlerninin bu metot kullamlarak parc;:alanmasl �ekil 1 iizerinde gosterilmi�tir. Genel durum ic;:in ise, m boyutlu

uzaYIn parc;:alanmasl ic;:in, Pt,k ile temsil edilen, (m-1) boyutlu aylrma fonksiyonlan tanlllllanmaktadlr:

1

Pt,k =

₁

_xTn

+ e- , t,k (1)

Burada, nt,k normal vektOriinii,

k

ise bOige tammlamasInI ifade etmektedir. Goreli konum Ct,b normal vektOriiniin son elemam olarak tutulmaktadlr. �ekil l' de belirtilen durum ozelinde, gozlemlenen oznitelik vektorierinin, Xt = [Xt,1 :

Xt,2]T, herhangi bir A >

0

degeri ic;:in -A � Xt,l, Xt,2 � A

ko�ulunu sagladlgml, ba�ka bir ifadeyle

{O}

ile belirtilen slmrh bir setten geldigini kabul edelim. Tek bir aylfllla fonksiyonu kullandlglmlzda biitiin diizlemi

{O}

ve

{I}

olarak simgelenen ve

{O}

U

{1}

=

{O}

ifadesini saglayan iki

farkh bOigeye aymflz. Daha sonra uygulanan her bir aylfllla fonksiyonu yalmzca tek bir bOigeye etki etmektedir. �ekil l'de gosterilen Pt,O ve Pt,1 slraslyla

{O}

ve

{I}

numarah bOigeleri aYlflllaktadlr. Son durumda

{OO}, {01}, {1O}

ve

{ll}

ile simgelenen, birle�imleri ba�langtc;: diizlernini veren, dort farkh ve baglmslz bolge elde edilir. Burada, derinlik adl verilen ve uzaym boliintiilemesinin ne kadar derin oldugunu belirten bir tammlaYlcl kullanmaktaYlz. Ornek olarak, �ekil 1 'de gosterilen modelin derinligi 2'dir. Genel durumda, d derinlige sahip olan bir model, toplamda

2d

farkh bOige

I I \ \ I I I \ \ \ I \ I I I \ \ \

$ekil 1: iki Boyutlu Baglantm Uzaytntn 2 Derinlikli Hiyerar�ik Model ile Par,alanmasl

olu�turur. DolaYlslyla, derinlik arttlkc;:a hesaplama karma�lkhgl da

O(2d)

ile artar. Geli�tirdigimiz algoritmada, "en iyi" olarak tammlanan ve en derin seviyede olu�turulan bOigeleri ifade eden modeli kullanmaktaylZ. �ekil 1 ozelinde "en iyi" model, diizlemin

{OO}, {01}, {10}

ve

{ll}

olarak 4 farkh bOigeye aynldlgl yapldlr.

�ekil l' de gosterilen model goz oniine ahndlgmda, Slfaslyla nt,O, nt,O, nt,1 E lR2 ile tammlanan, toplamda iic;: farkh aylfllla fonksiyonu Pt,O,Pt,O,Pt,l E lR bulunmaktadlr.

{OO}

bOigesine kar�lhk gelen kestirim Yt,OO = wf,ooXt �ek­

linde hesaplanmaktadlr. Biitiin bolgelere ait kestirimlere sahip oldugumuzda, nihai kestirim

Yt = Pt,OPt,OYt,OO + Pt,o(l - Pt,O)Yt,Ol

+

(1

- Pt,O)Pt,lYt,lO +

(1

- Pt,o)(l - Pt,t)Yt,ll (2)

�eklinde verilir. Bu sonuc;: kolayhkla derinligin 2'den fazla oldugu modellere uyarianabilir.

Her bOigeye ait baglamm vektOriinii ve bOige slmriarlm hataYl en aza indirmek amaclyla ikinci dereceden bir metot olan <;evrimic;:i Newton Adlml (ONS) [7] kullanarak uyarlan­ abilir �ekilde giincellemekteyiz. DolaYlslyla,

{OO}

bOigesine kar�lhk gelen baglamm vektOrii �u �ekilde giincellenmektedir:

1

-1 2

Wt+l,OO = Wt,OO - j3At 'let

2

_-1

= Wt,OO + j3etPt,OPt,oAt Xt

(3) Burada, f3 adlm biiyiikliigiinii, 'l ise bu durum ozelinde wt,OO'a gore baYlr i�lecini ifade etmektedir. m x m boyutlu At matrisi

�u �ekilde tammlanml�tlr: t

At =

L

'li'l; + Elm (4)

i=l

Burada, E >

0,

At matrisinin kesin artl, At >

0,

ve tersinir

olmasml saglamaktadlr. Verilen tanlllldan anla�dacagl iizere, At matrisi hata fonksiyonunun Hessian'l ile ili�kilidir ve ikinci dereceden bilgi ic;:erir [7].

Bolge slmrlan da aym yol izlenerek giincellenir. A�aglda Sekil 1 'de goriilen Pt,[l i<;in giincelleme kurah verilmi�tir:

1 -1 2 ntH [l , = nt [l - -At Vet , _'f/ = nt,[l + �edpt,oYt,OO + (1 - Pt,O)Yt,Ol (5) 'f/ A (1

)

A ]A-18Pt,[l - Pt,lYt,lO - - Pt,l Yt,l1 t -8--_nt,[l

Burada, 'f/ adlm biiyiikliigiinii, Vise yine bu durum ozelinde

nt,[l'a gore baYlr i�lecini ifade etmektedir. At ise yine (4)'te

verildigi �ekilde tammlanml�tlr. AYlrma fonksiyonu Pt,[l' nm

nt,[l 'ya gore kIsmi tiirevi:

8pt,[l Xte-xin"n

8nt,[l (1 + e-xTn"n)2 . (6)

�eklinde verilir. Her bir aymna fonksiyonu aym yol takip edil­ erek giincellenir. AlgoritmamlZln nihai kestirimi genelleyici bir formda �u �ekilde hesaplamr:

2d

Yt =

L

�t,Rd(j)

j=l (7)

Burada Rd, d uzunlugundaki biittin bolge etiketlerini i<;eren kiimeyi, Rd(j) ise bu kiimenin j. elemamm ifade eder. Her bir bolgeye kar�lhk gelen aglrhkh kestirimler ise:

d

�t,r = Yt,r

II

Pt,ri (8)

i=l

�eklinde hesaplamr. Burada 'i, I etiketinin ilk

(i

- 1) karak­

terini dizgi olarak tutmaktadlr. _Pt,r" ise �u �ekilde verilmi�tir:

A =

{

Pt,ri

Pt,ri _{1 _ Pt,ri}

,,(i)

_,,

₍

_i

₎= ₌

0

_l

'

(9) Burada I

( i),

I etiketinin

i.

karakterini belirtmektedir. Verilen

formulasyonlar kullamlarak, baglamm vektCirii giincellemesi genel formda �u �ekilde hesaplamr:

d

2 A-I

II'

₍₁₀₎

Wt+1,r = Wt,r + fjet t Xt Pt,ri

i=l

Bolge slmrlan ise aym �ekilde:

nt+1,k = nt,k 2d-f(k) d + �e A-I _{t t}

[

'" _� y' _t,r '(_l)f(f(k)H)

II

P' _{t,r, 8}

"J

8Pt,k 'f/ _{j=l i=l} nt,k f;#k (11) olarak verilir. Burada f, aymna fonksiyonu tammlaYlclsl,

k,

ve

R(d-f(k)) kiimesinin j. elemam art arda eklenerek olu�turulan

karakter dizgisidir, f =

[k;

R(d-f(k))(j)]. ilk defa burada

tammlanan

£(k)

ise,

k

dizgisinin uzunlugunu belirtmektedir. Bolge slmrlanm lojistik baglanlln fonksiyonu kullanarak ifade ettigimizden dolaYl, pt,k'nm nt,k'ya gore kIsmi tiirevi �u �ekilde hesaplanabilir:

8Pt,k

-8 - = Pt k(l - Pt k)Xt. (12)

nt,k ' ,

Algoritma 1: Hiyerar�ik Uyarlamr Boliinttileme

-1 1 1 Ao = -1m; E 2 _for

t

₌ 1 _to

n

_do 3 Yt ₌

0;

4 _for j ₌ 1 _to 2d _do 5 1 = Rd(j); 6 Y' t,r - t,r t, - wT X . 7 �t,r ₌ Yt,r; 8 rt,r ₌ 1; 9 for

i

= 1 to d do 10 if I(

i

) =

0

then 11

I

Pt,r, ₌ Pt,r,,; 12 else 13

L

Pt,ri ₌ 1 - Pt,ri; 14 15 16 ,(;Jt,r == ,(j;t,rPt,ri; rt,r = rt,rPt,r,; Yt = Yt + �t,r; for

i

= 1 to 2d - 1 do for j = 1 to 2d-f(k) do 17 18 19 20 21

l

k

=

P(i)

;

l

1 =

concat[k

: Rd-f(k) (j)]; at,k = (-lr(f(k)+l)(�t,r/Pt,k); 22 23 24 25 26 27 28 29 30 31 32 et = Yt - Yt; for j = 1 to 2d do 1 = Rd(j); Vt r , = -2etit rXt; , A-I V VT A-I A-I _t,r = A-I _ t-1 t,r t,r t-1,r . _{t-1,r 1 +} VT _{t,r t-l,r t,r} A-I V ' 1 -1 Wt+1,r = Wt,r - fjAt,r Vt,r; for

i

= 1 to 2d - 1 do

k

=

P(i);

Vt,k = -2etat,kPt,k(1 - Pt,k)Xt; A -1 V VT A-I

A-I t,k- t-1,k _ A-I _ t-1,k t,k t,k t-1,k . 1+ VT A-1 V '

t,k t-1,k t,k 1 -1

ntH k , = nt k - -At kVt k;

' 'f] "

Hesaplama karma�lkllglm dii�iirmek adma, her adllnda

m x m boyutlu At matrisinin tersini hesaplamak yerine, matris

evinne onsaVI kullamlarak At 1 �u �ekilde hesaplamr:

A -1 V VT A -1

A-I _ A-I _ t-1 t t t-1 (13)

t - t-1 1+'r7TA-1'r7 v t t-1 v t

Burada, V t £ _{Ve; tammlamasl yaptlml�tlr. Geli�tirilen algo­} ritma ba�langl<; degerleri ve giincelleme kurallan ile birlikte Algoritma 1 iizerinden takip edilebilir.

Baglamm uzaYI, d derinlikli bir model kullamldlgmda 2d

bOlgeye aynhr. DolaylSlyla her adlmda O(2d) giincelleme gerektirmektedir. Baglamm uzaymm m boyutlu oldugu kabul edilirse, her giincelleme i<;in matris vektCir <;arplllllndan kay­ naklanan O(m2) hesaplama gerekmektedir. Sonu<; olarak

algo-ritmamlZln hesaplama karma�lkhgl _O(m22d) olarak verilmek­ tedir.

Teorem 1. {yt}t> 1 ve {Xt}t> 1 rasgele sC(;ilmi� ger(:el veri

dizgilerini temsil-etsin. G, A,a >

0

olmak iizere 11\7(Yt

-Yt,r)211 :s; G, _{Ilwt,r - wrl12} :s; A2 ve

exp(

-a(Yt - Yt,r)2)

i(:biikey ise, kestirim _Yt i(:in Algoritma 1 takip edildiginde,

verilen logaritmik Slmr saglanmaktadlr:

Teorem 1 'de, her bir bolgede yaptlan kestirim i<;in n. adlm­

daki "pi�manhk" degerinin logaritmik bir Ust smlfl oldugu gos­ terilmi�tir ve ispatl [7]'de verilen yakla�lm Uzerinden yaplhr.

IV. SA YISAL SONU<;LAR

Bu boiUmde, sunulan algoritmamn performans deger­ lendirilmesi literatUrde halihazlrda bulunmakta olan diger al­ goritmalar ile kar�lla�tIrmah olarak ger<;ekle�tirilmi�tir. Deger­ lendirme i<;in a�aglda verilen par<;ah dogrusal model kul­ lamlarak Uretilen iki boyutlu veri dizisi kullamlml�tIr:

{

WiXt +Vt A W§Xt + Vt Yt = _{W2 Xt + Vt T} wixt + Vt , x

i

no

2: 0.5

ve x

i

nl

2: -0.5

, x

i

no

2: 0.5

ve x

i

nl <

-0.5

, x

i

no <

0.5

ve x

i

n2

2: -0.5

, x

i

no <

0.5

ve x

i

n2 <

-0.5

(14)

Burada, baglamm vektOrieri; _WI = [l,l]T, W2 = [1, _l]T,

aylrma fonksiyonlarmm normal vektOrieri ise; no = [2,

-IV,

nl = [-1,1

V

ve n2 = [2, VT olarak tanllnlanml�tIr. Oznite­

lik vektOrU, _Xt = [Xt,l, Xt,2] , [

0

, O]T ortalama ve 12 varyans

degederi ile Gaussian dagtlllna sahip iki rastgele degi�kenden olu�mu�tur. _Vt ise slfir ortalama ve 0.1 varyansa sahip Gaussian daglhmmm bir orneklemesidir. Dretilen verinin iki boyutlu dUzlem Uzerindeki veri len bu dagIllllll ile degerlendirmede yer alan algoritmalann ba�langl<; bolgeleri e�le�memektedir, dolaylSlyla bOige slmriarmm veriye gore nasIi uyarlandlgl gozlenebilecektir.

Bu boiUm boyunca, "HUB" sunmu� oldugumuz Hiyerar�ik Uyariamr Baglamm algoritmaslm, "KUA" Karar Uyarlamr Aga<; (DAT) [8] algoritmasml, "BAA" Baglam Aga<; Aglrhk­ landlrma (CTW) [6] algoritmasml, "GKB" Gaussian-Kernel Baglanlllllm (GKR) [9], "VS" Voltera SUzgecini (VF) [10], "FDOS" ve "<;YFDOS" ise Fourier ve <;ift Yansl Fourier Dogrusal Olmayan SUzge<;lerini (FNF), (EMFNF) [11] temsil etmektedir. Algoritmalann ogrenme oranlan "HUB" i<;in 0.04, "KUA" i<;in 0.01, "BAA" ve "FDOS" i<;in 0.005, "GKB" i<;in 0.5, "VS" ve "<;YFDOS" i<;in ise 0.025 olarak belirlenmi�tir.

Sekil 2 Uzerinde algoritmalarm birikimli dUzgelenmi� hata oranlarl gosterilmektedir. Burada gorUldUgU Uzere, bOige slmr­ lanm uyariayabilme kabiliyeti sayesinde, sunmu� oldugumuz "HUB" algoritmasl, olu�turulan senaryo <;er<;evesinde rakip algoritmalara gore UstUn bir performans sergilemektedir.

v. SONU<;LAR

Bu bildiride, <;evrimi<;i ogrenme problemleri i<;in olduk<;a etkili ve verimli dogrusal olmayan bir baglamm algorit­ masl sunulmu�tur. Bu algoritma ile elde edilen veri anhk

Sekil 2: Baglantm UzaYI ve Algoritmalartn Ba#angl(: Bolgelerinin E�lqmemi� Oldugu Durumda Birikimli Hata Oranlart

olarak i�lenip ogrenme ger<;ekle�tikten sonra tekrar kullamlma­ maktadlr, dolaylSlyla depolama ihtiyaci ortadan kaldlfllml�tlr. Dogrusal olmayan modelleme i<;in baglamm uzaymm bOl­ gelere aYlran ve her bolgeye dogrusal bir model uyarlayan par<;ah dogrusal modeller kullamlml�tlr. LiteratUrde ilk defa, hem bOige slmriarl hem de bOigelere atanan dogrusal modeller ikinci derece gUncelleme metotlan, Newton-Raphson metot­ larl, ile egitilmi�tir. Geli�tirdigimiz algoritmanm, halihaZlfda literatUrde yer alan algoritmalara gore UstUn bir performans gosterdigi sergilenmi�tir.

KAYNAKC;:A

[1] A. C. Singer, G. W. Wornell, and A. V. Oppenheim, "Nonlinear autoregressive modeling and estimation in the presence of noise,"

Digital Signal Processing, vol. 4, no. 4, pp. 207-221, 1994. [2] O. J. J. Michel, A. O. Hero, and A.-E. Badel, "Tree-structured non­

linear signal modeling and prediction," IEEE Transactions on Signal Processing, vol. 47, no. II, pp. 3027-3041, 1999.

[3] L. Bottou and O. Bousquet, "The tradeoffs of large scale learning," in

Advances in Neural Information Processing (NISP), 2007, pp. 1-8.

[4] D. Bertsimas and J. N. Tsitsiklis, Introduction to linear optimization,

ser. Athena scientific series in optimization and neural computation. Belmont (Mass.): Athena Scientific, 1997. [Online]. Available: http://opac.inriaJr/record=bl094316

[5] S. Dasgupta and Y. Freund, "Random projection trees for vector quantization," IEEE Transactions on Information Theory, vol. 55, no. 7, pp. 3229-3242, 2009.

[6] S. S. Kozat, A. C. Singer, and G. C. Zeitler, "Universal piecewise linear prediction via context trees," IEEE Transactions on Signal Processing,

vol. 55, no. 7, pp. 3730-3745,2007.

[7] E. Hazan, A. Agarwal, and S. Kale, "Logarithmic regret algorithms for online convex optimization," Machine Learning, vol. 69, no. 2-3, pp. 169-192, 2007.

[8] N. Vanli and S. Kozat, "A comprehensive approach to universal piece­ wise nonlinear regression based on trees," IEEE Transactions on Signal Processing, vol. 62, no. 20, pp. 5471-5486, Oct 2014.

[9] R. Rosipal and L. J. Trejo, "Kernel partial least squares regression in reproducing kernel hilbert space," 1. Mach. Learn.

Res., vol. 2, pp. 97-123, Mar. 2002. [Online]. Available:

http://dl.acm.org/citation.cfm?id=944790.944806

[10] M. Schetzen, The Volterra and Wiener Theories of Nonlinear Systems.

NJ: John Wiley & Sons, 1980.

[II] A. Carini and G. L. Sicuranza, "Fourier nonlinear filters," Signal Processing, vol. 94, no. 0, pp. 183 - 194,2014.