Tahmin Edicileri Bulma Yöntemleri Buraya kadar, tahmin edicilerin bazı özellikleri incelendi

7.9. Tahmin Edicileri Bulma Yöntemleri

Buraya kadar, tahmin edicilerin bazı özellikleri incelendi. Tahmin edicilerin bu özellikleri yanında başka özellikler de aranabilir. Yani, tahmin edicilerin özellikleri bunlarla sınırlı değildir.

Eğer varsa, en iyi tahmin edicinin bulunması istenebilir. “En iyi tahmin edici” göreceli bir kavram olup bunun iyi tanımlanması gerekir. Bundan önceki kısımlarda, tahmin edicicilerin nasıl bulunacağı hakkında hiçbir şey söylenmedi. Yeterli tahmin edicilerin faktörizasyon teoremi yardımı ile bulunabileceğini biliyoruz. Ayrıca, yeterli tahmin ediciler tek olmayıp başka yeterli tahmin ediciler de vardır. Bu kısımda, tahmin edicilerin bulunma yöntemlerinden birkaç tanesi incelenecektir. Bunlar literatürde çok kullanılan yöntemlerdir. Momentler yöntemi, en çok olabilirlik yöntemi, Bayes yöntemi ve en küçük kareler yöntemi bu kısımda incelenecek yöntemlerdir. En küçük kareler yöntemi, iki değişken arasındaki ikişki ile ilgili olup çok geniş uygulama alanına sahiptir. Bu kısımda, en küçük kareler yöntemi üzerinde fazla durulmayacak, ileride ayrı bir bölüm olarak ele alınacaktır.

7.9.1. Momentler Yöntemi

Parametrelerin momentler tahmin edicilerinin bulunabilmesi için kitle momentlerinin var olması gerekir. Örneğin, Cauchy dağılımının parametresi için momentler tahmin edicisi bulunamaz. Momentler tahmin edicileri, kitle momentleri hesaplanarak örneklem momentlerine eşitlenmesi ile bulunur.

1, 2, , _n

X X  X olasılık veya olasılık yoğunluk fonksiyonu ( ; )f x

 olan kitleden bir örneklem olsun.  ( , ,..., ) ^{1 2} _k ^

 olmak üzere, kitle momentleri bu parametrelere bağlıdır.

Yani, s1, 2,3,...,k için E X_( ^s)g_s( )

  kitle momentleri ve

1 1

1 ⁿ

i i

m X

n _

 

,

2 2

1

1 ⁿ

i i

m X

n _

 

,

3 3

1

1 ⁿ

i i

m X

n _

 

, …, ¹

1 ⁿ _k

k i

i

m X

n _

 

örneklem momentleri hesaplanır. ˆ_M (ˆ^1,_M,ˆ^2,_M,...,ˆ_{k M}^, )

 olmak üzere,

1, 2, ,

ˆ ˆ ˆ

( , ,..., ) , 1, 2,3,...,

s M M k M s

g    m s k

eşitliklerinden elde edilecek ˆ_{s M}^,

çözümü ^s parametresinin momentler tahmin edicisidir.

Burada, parametre sayısı kadar kitle momenti ile örneklem momenti hesaplanır. Kitlenin bir tane parametresi varsa, kitlenin beklenen değeri örneklem ortalamasına eşitlenir.

Örnek 7.9.1.1 a) N( , ²) dağılımından bir örneklem X X¹, ², , X_n olsun. Kitlenin iki tane parametresi olup dağılımın ilk iki momenti,

2 2

, ( ) 1( , ) E_{ } X g   

ve ²

2 2 2 2

, ( ) 1( , )

E_{ } X g     dir. Buradan,

1 1

1 ⁿ

i n

i

m X X

n _

  

ve

2 2

1

1 ⁿ

i i

m X

n _

 

şeklindeki m¹ ve m² örneklem momentleri kullanılarak,

ˆ_M X_n

  ve

2 2 2

1

ˆ_M ˆ_M 1 ⁿ _i

i

n X

 



  

eşitliklerinden  _ve ² nin momentler tahmin edicileri sırası ile

ˆ_M X_n

  ,

2 2

1

ˆ_M 1 ⁿ ( _{i n})

i

X X

 n



  

olarak bulunur. Momentler tahmin edicileri yanlı olabilir. Örneğin,

 ^{ˆM2 n 1 n2 n 1 2 2}

E E S

n n

  ^ ^{  }  ^{ } 

   

olup yanlılığı ²

2 2 2 2

ˆ ˆ

( _M) ( _M) /

Bias_  E     n dir.

b) X X¹, ², , X_n olasılık yoğunluk fonksiyonu,

 ^;  ^{1 , 0 1}

0 , . .

x x

f x d y

 

 _{ }^{   }



olan dağılımdan bir örneklem olsun. Bu kitlenin bir tane parametresi vardır. Dağılımın beklenen değeri,

 

1 1 1

1

0 0 0

( ) ;

E X_ x f x dx x x ^ dx  x dx^  1



    

   

olup ˆ_M / (  ˆ_M 1) X_n eşitliğinden  nın momentler tahmin edicisi  ˆ_M X_n/ (1X_n) olarak bulunur. Bu tahmin edicinin beklenen değerini ve varyansını hesaplamak kolay değildir (bu tahmin edici aslında karşıt orana (odds ratio) karşılık gelmektedir). Bu değerlere ihtiyaç duyulduğunda asimptotik sonuçlar kullanılabilir.

( ) / ( 1)

E X_     _ve E X_( ²) / ( 2)

olup kitle varyansı

2 2

2

2

( 1)

( ) 2 1 ( 1) ( 2)

Var X_      

   

   

        

dır. Buradan, ( )g x x/(1x) fonksiyonu için

( _n) ( ) ( ) ( _n )

g X g  g  X 

şeklinde birinci dereceden Taylor serisi açılımından asimptotik dağılım ( _n) ~ ( ( ) , [ ( )]2 2/ )

g X AN g  g   n

şeklinde yazılır. Burada,    /(  için, ( ( ))1) g   _{ ve}  g( ( )) (    1)² dir. Dolayısı ile,

 ^{2 2 2 2 2}

2 2

2

( 1) ( 1)( 1)

( ) ( 1)

( 2) ( 1) ( 2)

g       

  

  

      

        

olduğundan asimptotik dağılım n  _iken

 n ₁ ^{n ~ , ( 2} ₍ ¹⁾⁽₂₎ ¹⁾² n

g X X AN

X n

   

 

    

    

olarak bulunur. Burada, E g X_( ( _n)) olup E g X_( ( _n)) dir.

c) X X¹, ², , X_n parametreleri n ve p olan Binom dağılımından bir örneklem olsun.

~ ( , )

Xi Binom n p dağılımının ilk iki momenti,

, ( ) En p X n p

ve ^{En p,}  ^{X2 Varn p, ( )X }^{En p, ( )X }^{2 n p(1p)n p2 2} olup n^M _ve p_M parametrelerin momentler tahmin edicilerini göstermek üzere,

M M n

n p  X ve

2 2 2

1

(1 ) 1 ⁿ _i

i

n p p n p X

n _

   

    

denklemlerinin çözümünden n ve p parametrelerinin momentler tahmin edicileri sırası ile,

 

2

2 1

1 ,

n n

M n M

n i n M

i

X X

n p

X X X n

n _

 

  

 



olarak bulunur

7.9.2. En Çok Olabilirlik Yöntemi

Olabilirlik yönteminin temel prensibi “Örneklem değerlerine bakarak, örneklem değerlerini elde etme olasılıklarının (veya olasılık yoğunluklarının) en yüksek olduğu değerlere karşılık gelen örneklem değerinin bilinmeyen parametre için bir tahmin olarak seçimidir.”

En çok olabilirlik yöntemi, tahmin edicileri bulmak için kullanılan bir yöntemdir. En çok olabilirlik tahmin edicileri aşağıda tanımı verilen olabilirlik fonksiyonunu maksimum yapan değerlerdir.

Tanım 7.9.2.1 (Olabilirlik fonksiyonu) X X¹, ², , X_n olasılık veya olasılık yoğunluk fonksiyonu ( ; )f x olan kitleden bir örneklem olsun.  nın olabilirlik fonksiyonu (likelihood

function) X (X X¹, ², , X _n)

 olmak üzere,

1

( | ) ( ; ) ⁿ ( ; )_i

i

L  X x f x  f x 



  

  

dir

Olabilirlik fonksiyonunu maksimum yapan değer (örneklemin bir fonksiyonu)  nın en çok olabilirlik tahmin edicisidir. Yani,  nın en çok olabilirlik tahmin edicisi

ˆ ( )_n X max L( | )X

   

 

 

dir. Olabilirlik fonksiyonunun maksimizasyonu yerine genellikle fonksiyonun logaritması (log- likelihood, ( ) log( ( |  L X x))

  ) maksimize edilir.  nın en çok olabilirlik tahmin edicisi olabilirlik fonksiyonunu veya log-olabilirlik fonksiyonunu maksimum yapan değerdir. Yani,

     

ˆ_n X max max L |X

   

  

 

  

 

dir. Ancak, bazı durumlarda log-olabilirlik fonksiyonu tanımlı olmayabilir. Olabilirlik fonksiyonu parametrenin bir fonksiyonu olup, fonksiyonun maksimumu bulunmayabilir. Aşağıdaki örnekte, bazı dağılımların parametrelerine ilişkin en çok olabilirlik tahmin edicileri elde edilmiştir.

Örnek 7.9.2.1 a) N( , ²) dağılımından bir örneklem X X¹, ², , X_n olsun. Bu durumda olabilirlik fonksiyonu,

2 2 2 2

2 2

1 1

/2

/2 2

2 2

1

( )

( , | ) ( | , ) ( | , ) 1 exp

2 2

1 1 1

exp ( )

2 2

n n

i i

i i

n

n n

i i

L X x f x f x x

x

      

 

   

 



  

     

 

 

 

      

 



  

şeklindedir. Olabilirlik fonksiyonunun logaritması (log-olabilirlik fonksiyonunu) da

2 2 2 2 1

( , ) ln(2 ) ln( ) 1 ( )

2 2 2

n i i

n n

    x 

 

     



dir. Fonksiyonun birinci türevlerini sıfır yapan nokta veya noktalarda fonksiyon maksimum ya da minimuma sahiptir. Bu nokta veya noktaların maksimum olduğunu görmek için de ikinci türevlere bakılır. Buna göre birinci türevler;

2 2

2 2

2 2 2 4

1 1

( , ) 1 ( , ) 1

( ) , ( )

n n

i i

i i

x n x

     

      

       

   

 

olup türevlerin sıfıra eşitlenmesi ile çözümler

2 2

2 2 4

1 1

1 1

( ) 0 , ( ) 0

n n

i i

i i

x  n x 

        

eşitliklerinden ˆ_n X_n ve

2 2

1

ˆ_n 1 ⁿ ( _i )

i

X X

 n



  

şeklinde bulunmuştur. Yani, olabilirlik fonksiyonu bu noktalarda maksimum ya da minimum değerini alır. Bu noktalardaki ikinci türevler,

2 2

2 2

2 2

2 2

ˆ , ˆ ˆ , ˆ

( , )

0

n n

n n

n

   

   

 

 _{ }  _{ }

   





ve

2 2

2 2

2 2

2

2 2 4 6

1 ˆ , ˆ

ˆ , ˆ

( , ) 1

( ) 0

( ) 2

n n

n n

n i i

n x

   

   

  

 _{ }   _{  }

    

^ 

şeklinde olduğundan  _ve ² parametrelerinin en çok olabilirlik tahmin edicileri,

2 2

1

ˆ_{n n} , ˆ_n 1 ⁿ ( _i )

i

X X X

  n



   

dir.

b) Şimdi, X X¹, ², , X_n Örnek (7.9.1.1b) de verilen kitleden bir örneklem olsun. X lerin olasılık yoğunluk fonksiyonu 0 x 1 _için f x( ; )  x^1 _olup  nın olabilirlik fonksiyonu,

    ¹

1 1 1 1

| ⁿ _i; ⁿ _i ^{n n} _i ⁿ 1

i

i i i i

L X x f x x x

x

 

   ^ 

   

 

     

 

   

 

ve log-olabilirlik fonksiyonu da,

        

1 1

ln | ln ⁿ ln _i ⁿ ln( )_i

i i

L X x n x x

   

 

     

  

şeklindedir. Birinci türevin sıfıra eşitlenmesi ile

   

1

ln 0

n i i

n x



  _

   

^ 



eşitliğinden çözüm

 

1

ˆ

n ln

i i

n X





 



olarak bulunur. Bu çözümün ikinci türevde yerine konulması ile

 

2

2 ˆ 2 ˆ

n 0

   



 _  _

   





olduğu görülür. Buradan  nın en çok olabilirlik tahmin edicisi,

1  

ˆ

n ln

i i

n X





 



dir. Bu tahmin ediciyi, Y_i  ln(X_i)

olmak üzere  ˆ_n 1/Y_n şeklinde yazabiliriz. Şimdi ˆ

n _nın

bazı özelliklerini inceleyelim. Önce, Y  ln( )X denirse Y nin değer kümesi D^Y   ^ _olup olasılık yoğunluk fonksiyonunun,

 ^;  ^{, 0}

0 , . .

e x x

f y d y

 

 _{ }^{  }



olduğu gösterilebilir. Buna göre Y Üstel~ (1/ ) _olup,

   

1 1

ln ~ ,1/

n n

i i

i i

W X Y Gamma n 

 

  

dır. Ayrıca W nun olasılık yoğunluk fonksiyonu,

 

1

, 0

; ( )

0 , . .

n n w

W

w e

f w n w

d y

 



  

 

 



olup ˆ

n nın beklenen değeri,

1 2

0 0

ˆ 1

( ) ( / )

( ) ( )

n n w n

n w

n w e n

E E n W n dw w e dw

w n n

 

     ^  ^{ }   ^{  }

 

 

1

( 1)

( ) 1

n n

n n n

n n

 

 ^

   

 

olarak bulunmuştur. Bu tahmin edici yansız değildir. Ancak,

lim ( )ˆ_n

n E_  

 

olduğundan en çok olabilirlik tahmin edicisi asimptotik yansızdır. Benzer şekilde, ˆ

n nin ikinci momenti,

1 2 2 2

2 2 2 2 2

0 2 0

ˆ 1

( ) ( / )

( ) ( ) ( 1) ( 2)

n n w n

n w

n w e n n

E E n W n dw w e dw

n n n n

w

 

     ^  ^{ }   ^{  }  

   

 

olarak hesaplanmıştır. Buradan, en çok olabilirlik tahmin edicisinin varyansı da,

  ^{2 2 2 2 2 2}

2

ˆ ˆ ˆ 2

( ) ( )

( 1) ( 2) 1 ( 1) ( 2)

n n n n n n

Var E E

n n n n n

                   

olur. Buna göre, n  _iken E_( )ˆ_n  _ve Var_( ) ˆ_n 0 olduğundan ˆ

n en çok olabilirlik tahmin edicisi tutarlıdır.

c) X X¹, ², , X_n beklenen değeri  olan Üstel dağılımdan bir örneklem olsun.  _nın olabilirlik fonksiyonu,

/

1

1 1

1 1 1

( | ) ⁿ ( ; )_i ^{n xi} _n exp ⁿ _i

i

i i

L  X x f x  e ^ x

  





 

 

     

  

 

 

ve log-olabilirlik fonksiyonu da,

1

( ) ln( ( | )) ln( ) 1 ⁿ _i

i

L X x n x

  

 _

     

  

şeklindedir. log-olabilirlik fonksiyonunun birinci türevinin sıfıra eşitlenmesi ile,

2 1

( ) 1

n 0

i i

n x



   

    

 



elde edilir. Buradan da çözüm ˆ

n Xn

  olur. Ayrıca,

2 2

2 2 3 2

ˆ

2

( ) ⁿ 0

n n n

n X

n n

X X X

 



 _

     





olduğundan  nın en çok olabilirlik tahmin edicisi ˆ

n Xn

  _dir.

d) Bernoulli dağılımının parametresinin en çok olabilirlik tahmin edicisini bulalım. Olabilirlik fonksiyonu,

    ^{1 1 1}

1 1

| ; (1 ) (1 )

n n

i i

i i i i

x n x

n n x x

i i i

L p X x f x p p p p ^ p ^

 

 

 

     

 

den log-olabilirlik fonksiyonu,

 

 

1 1

( ) ln | ln( ) ⁿ _i ln(1 ) ⁿ _i

i i

p L p X x p x p n x

 

 

       

 

 

  

olarak yazılır. Buradan, birinci türevin sıfıra eşitlenmesi ile

1 1

( ) 0

1

n n

i i

i i

x n x

p

p p p

 

    

 

 



eşitliğinden çözüm pˆ_n  X_n olarak elde edilir. p Xⁿ noktasında ikinci türev negatif olup p nin en çok olabilirlik tahmin edicisi pˆ_n X_n dir

Bazen parametrelerin yerine, parametrelerin fonksiyonunun en çok olabilirlik tahmin

edicisinin değerine ihtiyaç duyulur. Örneğin, Poisson dağılımında  _yerine P X_( 0)e^ şeklinde P X_( 0) olasılığının en çok olabilirlik tahmini bulunmak istenebilir. Dağılımın esas parametresinin en çok olabilirlik tahmin edicisi bulunduktan sonra parametrenin fonksiyonunun en çok olabilirlik tahmin edicisi bulunabilir (Hogg, McKean ve Craig (2005), sayfa 316).

Aşağıdaki teorem bunu ifade etmektedir. Fonksiyon üzerinde herhangi bir kısıtlama söz konusu olmayıp, fonksiyonun bire bir olması halinde teoremin ispatı açıktır.

Teorem 7.9.2.1  nın en çok olabilirlik tahmin edicisi ˆ

n _ise  ( )ˆ_{n de ( )}  nın en çok olabilirlik tahmin edicisidir 

Parametrelerin en çok olabilirlik tahmin edicilerinin, olabilirlik fonksiyonunun türevlenebilir olması halinde nasıl bulunacağını yukarıda gördük. Olabilirlik fonksiyonu bazen türevlenemeyebilir.

Örnek 7.9.2.2 a) X X¹, ², , X_n beklenen değeri , varyansı ² olan normal dağılımdan bir örneklem ise,  nün en çok olabilirlik tahmin edicisi X olup ⁿ ² nin en çok olabilirlik tahmin edicisi Xⁿ² dir (Teorem (7.9.2.1)).

b) X X¹, ², , X_n olasılık yoğunluk fonksiyonu

| |

( ; ) 1 ,

2

f x  e^{ }x ^ x 

olan kitleden bir örneklem olsun. Bu dağılım Laplace dağılımı veya çift üstel (double exponential) dağılım olarak da bilinir. Buna göre log-olabilirlik fonksiyonu,

1

( ) ln(2) ⁿ _i

i

n X

 



   



olup fonksiyonun birinci türevi

1

( ) ⁿ sgn( _i )

i

 x 

 _

  

 



dir.

Burada, sgn( )x işaret fonksiyonu olup değeri x in durumuna göre, 1 , 0 veya 1 olabilir.

Ayrıca, x0 için (| |) / x  x sgn( )x dir. Birinci türevin sıfıra eşitlenmesi ile,  nın en çok

olabilirlik tahmin edicisi ˆ_n Medyan X X{ ,^{1 2}, , X_n}Q² olur (medyan verileri tam ortadan ikiye ayırır).

c) X X¹, ², , X_n parametresi  olan düzgün dağılımdan bir örneklem olsun. Yani, X lerin olasılık yoğunluk fonksiyonu,

 ^;  ^{1/ , 0}

0 , . . f x x

d y

 

   

 

olup  nın olabilirlik fonksiyonu, L( | X x)^nI^{0_x^{( )}_{n }^}( )x

   şeklinde yazılabilir.

Burada, olabilirlik fonksiyonu  ya göre türevlenemez. Fonksiyon,  x^{( )n} için  _nın azalan bir fonksiyonudur (diğer yerlerde sıfırdır). Böylece,  nın en küçük değerinde olabilirlik fonksiyonu maksimum değere ulaşır. Dolayısı ile,  nın en çok olabilirlik tahmin edicisi,

ˆ ( )

n X n

 

dır

Tahmin edici, örneklem içindeki bilgiyi özetleyen bir rasgele değişkendir. Bu özet bilgi ile, kitle parametreleri hakkında bazı istatistiki sonuç çıkarımlar yapılır. En çok olabilirlik yöntemine göre, bu veri indirgemedeki temel prensip, gözlenen herhangi iki değer için (bunlar x ve y

 olsun) olabilirlik fonksiyonları ( | )L x

 ve

( | ) L y

 olmak üzere, ( | ) / ( | ) ( , )

L  x L y c x y

   

özelliğine sahip ise x veya y

 üzerinden yapılacak sonuç çıkarımlar aynıdır.