ZAMAN SERİLERİNDE ASİMPTOTİK ÖZELLİKLER

ZAMAN SERİLERİNDE ASİMPTOTİK ÖZELLİKLER

Bundan önceki iki bölümde zaman serileri hakkında genel kavramlar ile teorik zaman serisi modelleri üzerinde duruldu. Herhangi bir zaman serisi modeli için beklenen değer, varyans, otokovaryans ve kısmi otokovaryans fonksiyonu gibi durağan zaman serisi modellerinin bazı özellikleri incelendi.

~ (0, 2)

et WN  olmak üzere, AR(2) zaman serisi modeli

1 1 2 2

(X_t ) (X_t  ) (X_t )e_t

şeklinde verilmiş olsun. Bu modele uygun herhangi bir zaman serisinin analizi için önce ,₁,₂ ve _² gibi model parametrelerinin tahmin edilmesi gerekir. Otokorelasyon ve kısmi otokorelasyonların tahmini için de bu parametrelerin tahmin değerlerine ihtiyaç duyulur. Diğer taraftan, verilen herhangi bir zaman serisi için bu parametreler hakkında herhangi bir sonuç çıkarım veya öngörü yapmak istendiğinde veya öngörüler hakkında güven sınırları yazmak istendiğinde, parametrelerin tahmin edicilerinin asimptotik dağılımlarına ihtiyaç vardır. Örneğin, {X t T_t:  } zaman serisinin bir yörüngesi verildiğinde (gerçekleşen bir zaman serisi verisi), istatistiki paket programlar ile serinin otokorelasyon ve kısmi otokorelasyon fonksiyonları hesaplanıp güven sınırları ile beraber grafikleri çizilebilir. AR serilerinde otokorelasyonlar üstel olarak azalmasına rağmen, kısmi otokorelasyonlar belli bir yerden sonra sıfırdır. Birinci kısmi otokorelasyon değerinin güven sınırlarının dışında, ikinci kısmi otokorelasyonun güven sınırına çok yakın olduğunu düşünelim. O zaman, serinin AR(2) mi yoksa AR(1) olarak mı modelleneceği sorusu sorulabilir. Yani, H₀:₂ 0 yokluk hipotezinin

0 :₂ 

Ha alternatif hipotezine karşı test edilmesi gerekir. Zaman serileri genellikle bağımlı değişkenler olup, bilinen hipotez testi yöntemleri burada

BÖLÜM 3

uygulanamayabilir. Bu bölümde, böyle bir istatistiki çıkarım probleminin çözüm yöntemleri tartışılacak, parametrelerin tahmin edicilerinin nasıl hesaplanacağı ve bu tahmin edicilerin özellikleri üzerinde durulacaktır.

İstatistikte, en küçük kareler tahmin edicileri (EKK, ordinary least square, OLS), en çok olabilirlik tahmin edicileri (maximum likelihood estimators, MLE), momentler tahmin edicileri (method of moments estimators) ve Bayes tahmin edicileri (Bayesian) en çok kullanılan tahmin edicilerdir. Bunlara ek olarak zaman serilerinde Yule-Walker tahmin edicileri de kullanılmaktadır. Örneklem hacmi yeterince büyük ise bu tahmin ediciler, serinin durağanlığı varsayımı altında yakın sonuçlar verir. Yani asimptotik olarak benzer özelliklere sahiptir. Bu nedenle, bu bölümde ağırlıklı olarak en küçük kareler tahmin edicileri üzerinde durulacaktır.

3.1. En Küçük Kareler Yöntemi

En küçük kareler (EKK) yönteminin kullanıldığı regresyon analizine birinci bölümde kısaca değinilmişti. Zaman serisi modelleri, özellikle AR ve ARMA modelleri bazı temel varsayımlarda birbirinden ayrılsa da görünüşte regresyon modeline benzer. Basit doğrusal regresyon denkleminin

0 1 , 1, 2,3,...,

t t t

Y   x e t n

şeklinde olduğunu biliyoruz. Burada Yt bağımlı değişken, x_t bağımsız (açıklayıcı, bilinen) değişken, et ler de rasgele hata terimleridir. Regresyonda, et hata terimleri, beklenen değeri 0, varyansı _² olan bağımsız aynı dağılıma sahip rasgele değişkenlerdir. x_t ler de bilinen sabit (yani rasgele olmayan) değişkenlerdir. Bu durumda,  ve 0 ₁ in EKK tahmin edicileri,

xn ve Y_n örneklem ortalamalarını göstermek üzere,

1

1 2 0 1

1 1

ˆ ⁿ ( _{t n}) ⁿ ( _{t n})( _{t n}) , ˆ _n ˆ _n

t t

x x x x Y Y Y x

  



 

   

         

dir. Bu regresyon modelinde,  serinin beklenen değerini göstermek üzere, )

1

0 ( 

   , ₁ ve X_t Y_t1 alındığında model (1 ) 1 , 1, 2,3,...,

t t t

Y   Y_ e t n

şekline dönüşür ve basit aritmetik işlemlerden sonra model

t t

t Y e

Y  ) ( _  )

(   ₁ 

olarak yazılabilir. Bu da AR(1) zaman serisi modelidir. Kullanılan notasyonlarda uyumluluğu sağlamak için model

t t

t X e

X  ) ( _  )

(   ₁  veya Xt ₀ ₁Xt_1et

şeklinde yazılacaktır. Buradan,  parametresinin EKK tahmin edicisi0

0 1 ( 1)

ˆ ˆ

 X_n X _ olur.  parametresi serinin beklenen değeri ile ₀ ₁ parametresine bağlıdır.  nın dağılımı üzerinde fazla durulmaz. Ancak,0

ileride görüleceği gibi durağanlık testlerinde karşılaşılan test istatistiklerinin dağılımlarını etkiler.

AR(1) modelindeki  parametresinin en küçük kareler tahmin edicisi,

( 1) 1

1 2

1 1

ve 1

n n

n t t

t t

X X X X

n  ^ n  ^

 

  

olmak üzere,

1

1 ( 1) 2 1 ( 1)

2 1

ˆ ⁿ ( _t ) ⁿ ( _{t n})( _t )

t t

X X X X X X





   

 

 

    

  

dir. AR(1) modelinde durağanlık, otokorelasyonlar, kısmi otokorelasyonlar ve öngörüler gibi bir çok özellik  parametresine bağlıdır. Dolayısı ile, bu tahmin edicinin özelliklerinin incelenmesi gerekir. 0 ⁰ için, AR(1) zaman serisi modeli,

1 , 1, 2,3,...,

t t t

X X _ e t n

şeklinde verilmiş olsun.  nın en küçük kareler tahmin edicisi

1

21 1

2 1

ˆ_n ⁿ _t ⁿ _{t t}

t t

X X X





 

 

 

   

olup X_t yerine  X_t1e_t yazılırsa  nin EKK tahmin edicisi













 





 



 

 



  





 n

t t

t n

t t

n

t t

t n

t t t

n

t t

t n

t t

n

X X e

X X e X

X X X

2 21

1 1

2 21

1

1 1

2 21

1 1

) (

ˆ 





olarak yazılabilir. Buradan da, basit işlemlerden sonra













 

 

 

 

 

   



 _n

t t

t n

t t n

t t

t n

t t n

t t

t n

t t n

n X

X n e

X n n

X n e

X X e

2 21

1 1

2 21

1 1

2 21

1 1

1 1 1 1

1 ˆ )

( 

eşitliğine ulaşılır. Bu ifadenin sonundaki

























 



 





1 1

2

21 1

1

t n

t t n

t

t e X

X n n

teriminin olasılıkta sınırlı olduğu gösterilirse, EKK tahmin edicisi  için tutarlı olur. Bu bölümde, tahmin edicilerin tutarlılık özellikleri de ele alınacaktır. Bu özellikleri incelenmeden önce bazı olasılık kavramlarına kısaca göz atalım. İncelenecek olan asimptotik özelliklerden bazıları n  iken

) 1 , 0 1 (

1 1

N X

n e

t D n

t

t _ 





 n P t

t

n X

X n

1

1

) ( ) 0 1 (

) 0 ˆ (

1

21 P t

n

t t

n X Var X

n  





  

 ,

) ( )

)(

1 ( ) ˆ(

1

h X

X X n X

h ^{n P}

t

h t

t 

 



 

dir. Aşağıda, rasgele değişken dizileri için yakınsaklık özellikleri biraz ayrıntılı ele alınmıştır.

3.2. Rasgele Değişken Dizilerinde Yakınsamalar

Bu kısımda, olasılıkta yakınsama, hemen hemen her yerde yakınsama, momentlerde ve dağılımda yakınsama kavramları üzerinde durulacaktır.

Tahmin edicilerin tutarlılığının incelenmesi için olasılıkta yakınsama ile dağılımda yakınsama kavramlarını detaylı ele almaya çalışacağız. Bununla birlikte, olasılıkta sınırlılık üzerinde de durulacaktır. Önce reel sayı dizilerindeki yakınsama kavramını hatırlayalım. Elemanları reel sayılar olan bir an dizisini ( her n  ^için an  ) ele alalım.

Tanım 3.2.1 Elemanları reel sayılar olan bir dizi an ve a  ^olsun.

Her 0 için, nn0 olduğunda |a_n  |a  olacak şekilde  sayısına bağlı bir n0 doğal sayısı varsa, an dizisi a sayısına yakınsıyor denir

Bu yakınsama matematiksel olarak

0





a 

a_n için   n₀ öyleki, nn0 için |a_n  |a  şeklinde de ifade edilebilir. Bu yakınsama için lim _n

n a a

  şeklinde limit gösterimi de kullanılır. Başka bir ifade ile, her 0 için an dizisinin sonlu sayıdaki terimleri hariç, bütün elemanları a nın bir  komşuluğunda bulunuyorsa an dizisi a sayısına yakınsar denir.

Limiti sıfır (a_n 0) olan bir dizi için a_n o(1) gösterimi kullanılır.

Ayrıca, bütün n  ^{ler için |an |M} olacak şekilde bir M reel sayısı varsa, an dizisi sınırlıdır denir. Sınırlı diziler için de a_n O(1) gösterimi kullanılır. a_n o(1) ise a_n O(1) olduğu açıktır.

Bir an dizisi başka bir fn dizisine bölündüğünde limiti sıfır oluyorsa, yani a_n/ f_n o(1) ise, a_n o(f_n) yazılır. Benzer şekilde, an dizisinin kendisi sınırlı olmamasına rağmen a /n fn sınırlı (a_n/ f_n O(1)) ise

) ( _n

n O f

a  dir. Buradaki f_n dizisine a_n dizisinin yakınsama hızı denir.

Örnek 3.2.1 a_n (3n2)/n ve b_n (3n2)/n² dizilerini gözönüne alalım. a_n (3n2)/n32/n olup, bütün n ler için

6

|

|a_n  dır. O halde, a_n O(1) dir.

Diğer taraftan, n için bn^0 olup b_n o(1) dir. Ayrıca, n

n

b_n /(1/ )32/ olduğundan, b_n /(1/n)O(1) olup b_n O(1/n) dir 

Şimdi, rasgele değişken dizilerini göz önüne alalım. Elemanları rasgele değişken olan bir dizi X_n olsun. Reel sayı dizileri yerine rasgele değişken dizilerinin yakınsama tanımlarını hatırlayalım.

Tanım 3.2.2 a) Olasılıkta Yakınsama: Verilen herhangi bir  0 sayısı için öyle ^0 ve N, sayıları varsa ve nN, için

({ : | _n( ) ( ) | })

P w X w X w   oluyorsa (kısaca P X(| _nX |) şeklinde ifade edilir) Xn dizisi olasılıkta X rasgele değişkenine yakınsıyor denir ve X_n^P X ile gösterilir.

b) r.nci Momentte Yakınsama: n iken E X( _nX)^r 0 ise Xn dizisi r.nci momentte X ’e yakınsıyor denir ve ^Xn^{r X} ile gösterilir.

c) Dağılımda Yakınsama: Xn rasgele değişkenlerinin dağılım fonksiyonu Fn, herhangi bir X rasgele değişkeninin dağılım fonksiyonu da F ^olsun. F nin sürekli olduğu bütün x ler için lim _n( ) ( )

n F x F x

 

ise ^X_n rasgele değişkenlerinin dizisi dağılımda X ’e yakınsar denir ve

X

X_n^D ile gösterilir.

d) Hemen Hemen Her Yerde Yakınsama: Eğer





P w X w X w



  

 

  ^veya P w







  

 

 

sağlanıyorsa, Xn dizisi hemen hemen her yerde X ’e yakınsıyor denir ve

X

X_n^hhhy  ile gösterilir

Hemen hemen her yerde yakınsama için “almost surely” yakınsama anlamına gelen X_n^a^.s X gösterimi de kullanılır. Ayrıca bu yakınsama bazen

. : {| ( ) ( ) | 0

n a s k

k n

X X P w ^ X w X w 



 

     





olarak da ifade edilir. Buradan,

 ^{ }  ^ ^_ ^{ }

n k

n

n w X w w X w X w

X

w:| ( ) ( )|  { :| ( ) ( )| }

olduğundan, X_n^a^.s X ise X_n^P X olur. Yani, X_n dizisi hemen hemen her yerde X ’e yakınsıyor ise olasılıkta ve dağılımda da aynı X ^rasgele değişkenine yakınsar.

Tanım 3.2.3 Xn rasgele değişkenlerinin herhangi bir dizisi olsun.

Seçilen herhangi bir 0 sayısı için öyle N ve M sayıları var ve her N

n için P(|X_n |M_) oluyorsa, ^X_n dizisi olasılıkta sınırlıdır denir ve X_n O_P(1) şeklinde gösterilir

0

^P

Xn ise X_n o_P(1) gösterimi kullanılır. Rasgele değişken dizilerindeki yakınsama hızı kavramı reel sayı dizileri için verilen tanımlara benzer. Yani, öyle bir fn reel sayı dizisi için X_n / f_n O_P(1) oluyorsa,

) ( _n

P

n O f

X  dir. Ayrıca, gn reel sayı dizisi için X_n /g_n o_P(1) ise )

( _n

P

n o g

X  dir. X_n o_P(1) ise X_n O_P(1) olduğu açıktır. Olasılıkta yakınsama tanımından, X_n o_P(1) ise  0 sayısı için öyle ^{ 0} ve



,

N sayıları vardır ki, nN , için P(|X_n| )  dır. Buna göre, M vardır öyleki 1 P(|X₁|M₁)

M vardır öyleki 2 P(|X₂ |M₂) .

.

MN vardır öyleki P(|X_N |M_N)

dir. Buradan, M max{M M₁, ₂,...,M_N} denirse, her nN için





 )

|

(|X M

P _n olur. Yani, X_n o_P(1) ise X_n O_P(1) dir.

Örnek 3.2.2 a) ^X_n beklenen değeri sıfır olan bağımsız normal dağılıma sahip rasgele değişkenlerin bir dizisi olsun. Bu durumda







 ) (| | )

|

(|X M P X₁ M

P _n

olacak şekilde bir M sayısı her zaman bulunabilir. Aynı normal dağılıma sahip rasgele değişkenlerin dizisi Xn olasılıkta sınırlıdır (X_n O_P(1)).

) 1

P(

n o

X  ise X_n O_P(1) olduğunu biliyoruz. Yani, herhangi bir

0

 sayısı için öyle ^{ 0} ve N, sayıları vardır ki nN, için



 ) 

| (|X_n

P dir. M  alınırsa, X_n O_P(1) elde edilir.

) ( _n

P

n O f

X  ve Y_n o_P(g_n) ise, X_nY_n o_P(f_ng_n) olduğu kolayca gösterilebilir.

b) Beklenen değeri 0 varyansı 1 olan bağımsız normal dağılıma sahip rasgele değişkenler e_t, t1, 2,3,... olsun. Rasgele değişkenlerin bir dizisi

n e e

e

X_n( ₁ ₂ ... _n)/ şeklinde verilmiş ise dağılımı X_n ~N(0,n^1) olup n X_n~ N(0 ,1) olduğundan n X_nO_P(1) dir. Buradan da

( 1/ 2)

n P

X O n^ elde edilir. Diğer taraftan, f_n 1/ n olmak üzere,

[| _n| / _n ] [| _n| /^s _n^{s s}] P X f M P X f M

eşitliğinden X_n O_P(f_n) ise X_n^s O_P(f_n^s) sonucu elde edilir.

c) X_n O_P(f_n) ve Y_n O_P(g_n) olsun. O zaman, )

( _{n n}

P n

nY O f g

X  olduğunu gösterelim. Basit aritmetik işlemlerden sonra

 

 



 













2 M 2

|

|

|

|

M

|

| veya

|

|

|

|

n n n

n

n n n

n n

n n

n

g Y P M f X P

g Y M

f X P g f M Y X P

eşitsizliği elde edilir. Ayrıca, X_n O_P(f_n) ve Y_n O_P(g_n) olduğundan herhangi bir 0 sayısı için öyle M ve ₁ M sayıları bulunabilir ki, ₂

2 / )

|

(|X_n M₁f_n 

P ve P(|Y_n|M₂g_n)/2

dir. M max{M M₁, ₂} seçilirse aranan sonuç elde edilir. Buna göre,

n P( )n

X O f ise her   için 0 X_n o_P(n^ f_n) dir. Yani, X_n O_P( )f_n ise X_n/ f_n O_P(1) olup n iken, X_n/(n f^ _n)^P0 olasılıkta yakınsama elde edilir. Yani, X_n O_P( )f_n ise X_n o_P(n f^ _n) dir. Buradan

n P( )n

X O f ise, X_n² O_P(f_n²) olduğu açıktır.

d) X_n O_P(f_n), Y_n O_P(g_n) ise X_n Y_n O_P(max{f_n,g_n}) olduğunu göstermek için

n n n

n n

n n n

n n n

n n n

g Y f

X g

f Y g

f X g

f Y

X | | | |

) , max(

|

| ) , max(

|

| ) , max(

|

|     

eşitsizliğini yazalım. Buradan,

| | | | | | | |

max( , ) 2

| |

2 2 2

n n n n n

n n n n n

n n

X Y X Y X M

P M P M P

f g f g f

Y M

P g   

      

     

     

     

 

     

 

olup X_n Y_n O_P(max{f_n,g_n}) elde edilmiş olur  ,...

,..., , ₂

1 X Xn

X beklenen değeri  , varyansı _² olan bağımsız rasgele değişkenler olsun. Büyük sayılar yasasına göre, örneklem ortalaması,

kitle ortalamasına olasılıkta yakınsar (n  _iken X_n^P  ya da )

1

P(

n o

X  dir). Diğer taraftan X_t ler bağımsız aynı dağılımlı rasgele değişkenler olduğundan merkezi limit teoremine göre, Z standart normal dağılımlı rasgele değişkeni göstermek üzere, n  iken





n X   N Z

dir. Yani, n X





Şimdi, ayrıntılarına girmeden yakınsama hızlarının nasıl bulunacağını görelim. Yakınsama hızları üç farklı durumda ayrı ayrı değerlendirilmelidir.

i) Xn ^0 olsun. Bu durumda, E(X_n) bir reel sayı dizisi olduğundan, ( _n) ( )_n

E X O f ise X_n O f_P( )_n olduğu Markov eşitsizliğinden elde edilir. E(X_n)O(f_n) ise Markov eşitsizliğine göre,















 



 

M M f M

X M E

f X P f M

P X

n n n

n n

n ( ) *

)

|

| (|

|

olup X_n O_P(f_n) dir.

ii) Xn ler beklenen değeri sıfır olan herhangi bir rasgele değişken dizisi olsun. Buna göre X_n² 0 olup, E(X_n²)O(f_n) ise, X_n² O_P(f_n) dir. Yani, Xn OP⁽ fn⁾ yakınsama hızı elde edilir. Ayrıca,

) ( _n

P

n O f

X  ise herhangi bir a ^{ için Xna OP(fna) olduğu,}











 





 



  _a ^a

n n a

n

n M

f P X f M

P |X | | |

eşitliğinden açıktır.

iii) Xn rasgele değişkenlerin herhangi bir dizisi olsun. Xn nin ikinci momentinin E X( _n²)Var X( _n) [ ( E X_n)]² şeklinde olduğunu biliyoruz.

Buradan, E(X_n)O(f_n) ve Var(X_n)O(g_n) ise

2 2

( _n) (max{ ,_{n n}})

E X O g f olur. Buradan da X_n² O_P(max{ ,g f_{n n}²}) ve dolayısı ile ^{Xn OP}_^{ max(gn, fn2)}_^ elde edilir.

Aşağıda, yakınsamalar ve yakınsama hızları ile ilgili bazı özellikler teoremler halinde verilmiştir (bazıları Serfling (1980) den alınmıştır).