7.9.3. Bayes Tahmin Edicileri

(1)

7.9.3. Bayes Tahmin Edicileri

Kitle parametreleri genellikle rasgele olmayan sabitlerdir. Bayes yönteminde, kitle parametreleri de rasgele değişken olarak göz önüne alınır. Bu parametreler, alabileceği değerlere ilişkin inancın gücünü yansıtan önsel dağılımlara uyan rasgele değişkenlerdir. Bayes yönteminde,

 nın bir dağılımına (önsel dağılım ya da prior distribution) ihtiyaç duyulur. Önsel sezgilerin örneklemden çıkarılan bilgi ile karşılaştırılması yapılır.  nın önsel dağılımın yanında, örneklem bilgisini de yansıtan bir sonsal dağılım kullanılır.

1

,

2

, ,

_n

X X  X örneklemi verildiğinde önce önsel dağılım belirlenir. Daha sonra verilen örneklemden sonsal dağılım bulunur. Sonsal dağılımın beklenen değeri  parametresinin Bayes tahmin edicisidir. Bayes tahmin edicilerini bulmak için aşağıdaki yol izlenir.

Önce önsel dağılım belirlenir (bu ( )   olsun).  verildiğinde, örneklemin olasılık veya olasılık yoğunluk fonksiyonu yazılır. Bu olasılık fonksiyonu ( | ) f x  olsun. X ler ile  _nın ortak olasılık yoğunluk fonksiyonu da ( ; ) f x   f x ( | ) ( )   

  eşitliğinden elde edilir. X ler verildiğinde  nın koşullu dağılımı (posterior veya sonsal dağılım, ( |   X  x )

  ) bulunarak,  nın Bayes tahmin edicisi bu sonsal dağılımın beklenen değeridir. Yani,  nın Bayes tahmin edicisi



1 2



ˆ

_B

E | X X , , , X

_n

   

dir.

Örnek 7.9.3.1 a) p verildiğinde X X

¹

,

²

, ,  X

_n

Bernoulli dağılımından bir örneklem olsun.

p de parametreleri  _ve  olan Beta dağılımına sahip bir rasgele değişken olsun.

~ ( , )

p Beta   , p verildiğinde X ~ Bern p ve ( )

ⁿ¹ _i

~ ( , )

i

Y X Binom n p



 

dir. Burada, Y yeterli olduğundan, parametre hakkında örneklem içindeki tüm bilgi Y tarafından özetlenir. Önsel dağılımın olasılık yoğunluk fonksiyonu 0   için p 1

1 1

( )

( ) (1 )

( ) ( )

p   p

^

p

^

  

^ ^

   

 

olup Y ile p nın ortak olasılık fonksiyonu,

(2)

   

 

   

1 1

( ; ) | ( ) (1 ) (1 )

(1 ) , 0,1, 2,..., ve 0 1

y n y

f y p f y p p n p p p p

y

n p p y n p

y

 

  

 

  

    

 

     

                 

 

            

dir. Y nin marjinal olasılık fonksiyonu y  0,1, 2,3,..., n için

 

   

 

       

 

1 1

0 0

( ) ( ; )

^y

(1 )

^{n y}

Y

p

f y f y p dp n p p dp

y

n y n y

y n

 

   

    



 

          

      

          

 

şeklinde olup sonsal (posterior) dağılım (sadeleştirmelerden sonra) 0   için p 1

 

   

¹ ¹

( ; )

( | ) (1 )

( )

y n y

Y

f y p n

p y p p

f y y n y

 

  

 

    

  

  

    

olarak bulunmuştur (Casella ve Berger, 2002, sayfa 324). Yani, sonsal dağılım da parametreleri y n  _{ve n y}   olan Betadır. Buradan p nin Bayes tahmin edicisi (sonsal dağılımın beklenen  değeri)

 

¹

1 2

1

ˆ |

1

n i i B

n

i n n

i

y x p E p X

n n n

n n

X X c c X

n n n n n n

 

     

       

         



    

     

  

     

         





şeklinde elde edilmiştir. Burada,  önsel dağılımın beklenen değeridir. Önsel dağılım parametreleri  _ve ^ olan Beta dağılımı seçildiğinde sonsal dağılım da farklı parametreler ile yine Beta dağılımı olarak bulundu. Önsel dağılım ile sonsal dağılım farklı olabilir. Ancak, örnekte de görüldüğü gibi, Bayes tahmin edicisi önsel dağılımın beklenen değeri ile örneklem ortalamasının lineer birleşimidir. Bu genellikle doğrudur.

Bayes yönteminde önsel dağılımın seçimi önemlidir. Bu seçim için bazı olasılık kuralları dikkate alınmalıdır. Örneğin bu örnekte, önsel dağılım olarak başka bir dağılım da ele alınabilirdi.

Ancak, aranan Bayes tahmin edicisi Binom dağılımının başarı olasılığıdır. Dolayısı ile, öncel

dağılım olarak tanım kümesi (0,1) aralığı olan bir dağılım seçilmelidir.

(3)

b)  beklenen değeri  olan üstel dağılıma sahip bir rasgele değişken (önsel dağılım üstel) ve  verildiğinde X X

¹

,

²

, ,  X

_n

de beklenen değeri  olan Poisson dağılımından bir örneklem olsun.  nın Bayes tahmin edicisini bulalım. Koşullu dağılım Poisson olduğundan ortak olasılık fonksiyonu,

1

1 1

( | ) ( | ) 1/ !

n i i

n x n

i i n i

i i

P X x  P X x  e

^ ^



^

x

 

      

 

şeklinde olup faktörizasyon teoreminden

¹

n i i

T X



 

,  için yeterlidir. Ayrıca,  verildiğinde, T nin koşullu dağılımı beklenen değeri n  olan Poissondur. Buradan T ve  nın ortak olasılık fonksiyonu,

/ ( 1/ )

, 1 1

1 1

( , ) ( | ) ( )

ⁿ ^t ⁿ

1/ !

ⁿ ^t ⁿ

1/ !

T T i i

i i

f

_

t  f t    e

^{ }

e

^

 x e

^{ }

 x



^ ^ _



^{ } _

    

olup T nin marjinal olasılık fonksiyonu da t  0,1, 2,3,... için

   

( 1/ ) 1

1 0 1 1

1 1 ( 1)

1/ ! 1/ !

1

n n t

n t

T i i t

i i

f t x e d x t

n

 



   

  

 

 

   

 

      

     

 

    

   

  

şeklindedir. Sonsal dağılım da koşullu olasılık yoğunluk fonksiyonunun tanımından   0 _için

1 ( 1/ ) 1

( , ) ( 1) ( | )

( ) ( 1)

t t n

T t

f t n

T t e

f t t

 

 

  



  



   

 

olarak bulunmuştur. Dolayısı ile, T t  verildiğinde  nın beklenen değeri

1 1 2

( 1/ )

1 1 2

0

( 1) ( 1) ( 2) ( 1)

( | )

( 1) ( 1) ( 1) 1

t t t

t n

t t t

n n t t

E T t e d

t t n n

 



   

  

   

   

    



    

   

      

dir. Koşullu beklenen değerde, t yerine T yazıldığında,  nın Bayes tahmin edicisi

1 2

( 1) 1

ˆ ( | )

1 1 1

B n n

T n

E T X c c X

n n n

    

  

      

  

şeklinde düzenlenebilir. Yine, Bayes tahmin edicisi önsel dağılımın beklenen değeri ile örneklem ortalamasının lineer birleşimidir.

c)  verildiğinde X X

¹

,

²

, ,  X

_n

beklenen değeri  , varyansı 

²

olan normal dağılımdan

bir örneklem olsun.  da beklenen değeri  , varyansı 

²

olan normal dağılıma sahip bir rasgele

değişken olsun (önsel dağılım da normal). Buna göre,  nın Bayes tahmin edicisini bulalım (  _,

(4)



2

_ve 

²

biliniyor). Faktörizasyon teoreminden, X örneklem ortalaması

ⁿ

 için yeterlidir. 

verildiğinde X nin koşullu dağılımı da normaldir (

ⁿ

X

_n

~ ( , N  

²

/ ) n ). Buradan, X ve

ⁿ

 _nın ortak olasılık yoğunluk fonksiyon, x   ve    için,

     

₂

 

² ₂ ²

2 2

1 1

; | exp exp ( )

2 2

n n

f x  f x    x   

 

 

   

         

   

 

² ²

2 2

1 1

exp ( )

2 2

n n

x   

 

 

 

        

 

² ²

2 2 2

2 2

1 1 1

exp ( ) ( )

2 /

2 2

n x x

  n 

  

 

 

         

şeklinde yazılabilir. Burada,

 

2 2

( ) /

/

x n

  

  

 

 _ve

2 2 2

2 2

/ / n

n

  

 

 

dir. X nin marjinal olasılık yoğunluk fonksiyonu da,

ⁿ

 

2 2

1 / 2

2 2

c n n 

 

 

olmak üzere,

   ^;  ^exp

₂

¹

₂

⁽ ⁾

²

^exp ¹

₂

 ^{( )} 

²

/ 2

Xn

f x f x d c x x d

  n    

  

 

 

   

                

2 2 2 2

2 2 2 2 2 2

1 1 2

exp ( ) 2 exp ( )

/ / 2 2

c x x n

n n

   

     

   

               

olarak elde edilmiştir. Bu ifade biraz daha düzenlendiğinde, X nin marjinal olasılık yoğunluk

ⁿ

fonksiyonu x   için

 

₂ ₂ ² ² ₂ ₂ ²

2 2 2

1 2 1

exp ( ) exp ( )

/ 2 2 / 2

Xn

n n

f x x x

n n

 

 

       

   

         

2 2

2 2 2 2 2 2 2

/

1 / 1 1

exp ( ) exp ( )

/ 2 / /

n

n n

x x

n n n

 

 

       

    

                

(5)

şeklinde yazılabilir. Yani, X nin marjinal dağılımı,

ⁿ

X

_n

~ ( , ( N  

²

 

²

/ )) n dir. Ayrıca X

n

 x olarak verildiğinde  nın koşullu olasılık yoğunluk fonksiyonu (sonsal dağılım)  

için,

 

₂ ₂ ₂

 

² ₂ ₂ ²

2

2 2

1 1 1

exp ( ) ( )

2 /

( ; ) 2 2

| ( ) 1 exp 1 ( )

/ /

     

  

 

 

   

  

 



Xn

n x x

f x n

x f x x

n n

  

  

  

 

  

 

  _ _

  _ _ _ _

2 2

2

2 2 2

2 2

2 2 2

2 / 1

exp ( )

2 2 2

1 1 1

exp ( ) exp ( )

2 2

  

    

 

    

             

n n

x

n x x

  

  

 

 

   

 

  

olarak bulunmuştur. Yani, sonsal dağılım da normaldir (  | X

_n

 x ~ ( ( ), N  x 

²

) ). Dolayısı ile

 nın Bayes tahmin edicisi (sonsal dağılımın beklenen değeri),

 

² 2 2² 2 ² 2 2 ²2 1 2

( / ) /

ˆ

/ / /

B n

X

n

n n

X X c c X

n n n

    

   

     

      

  

şeklinde bulunmuştur 

Bayes tahmin edicileri genel olarak yanlıdır. Önsel dağılımın seçimine göre değişir. Yansızlık tahmin edicilerde aranan önemli özelliklerden biri olmasına rağmen, bazen yanlı tahmin ediciler tercih edilebilir. Örneğin, en çok olabilirlik tahmin edicileri bazen yanlı (asimptotik yansız) olup daha küçük varyanslı olduğundan tercih edilebilir.

7.9.4. En Küçük Kareler Yöntemi

Uygulamada çok kullanılan yöntemlerden biridir. Bu yöntem, iki değişken arasındaki ilişkiyi tahmin etmek için kullanılmakta olup regresyon yöntemi olarak da bilinir. Bu konu, ileride ayrı bir bölüm olarak tekrar incelenecektir. Bu kısımda, basit doğrusal regresyon denklemi üzerinde kısaca durulduktan sonra, regresyon denklemindeki parametrelerin nasıl tahmin edileceği çok kısa özetlenecektir.

Herhangi iki değişken X ve Y olsun. Bu değişkenler arasında Y  f X ( ) şeklinde bir ilişki

varsa, X  x için Y nin değeri bellidir. Herhangi bir deney aynı koşullarda tekrarlandığında,

X  x sabit tutulduğunda Y için farklı sonuçlar gözlenebilir. Dolayısı ile, Y  f x ( )  şeklinde e

bir ilişki daha anlamlıdır. Burada, ( ) f x   a b x şeklinde bir fonksiyon olarak ele alınacaktır.

(6)

, 1,2,3,...,

x i

i

 n ler bilinen (rasgele olmayan) değişkenler, Y

ⁱ

ler bağımsız rasgele değişkenler, e

ⁱ

(hata terimleri) ler beklenen değeri sıfır varyansı 

²

olan bağımsız rasgele değişkenler, 

⁰

_ve 

₁

de parametreler olmak üzere basit doğrusal regresyon denklemi,

0 1

, 1,2,3,...,

i i i

Y     x  e i  n

şeklinde verilir. Burada amaçlardan biri 

⁰

_ve 

₁

model parametrelerini hata kareler toplamı en küçük olacak şekilde tahmin etmektir. Yani,

2 2

0 1 0 1

1 1

( , )

ⁿ _i ⁿ

(

_i _i

)

i i

Q   e Y   x

 

     

minimum olacak şekilde 

⁰

_ve 

₁

değerlerini x

ⁱ

_ve Y

_i

lere bağlı olarak bulmaktır. Bunun için,

0 1

( , )

Q   _in 

₀

_ve 

₁

e göre birinci türevlerinin sıfıra eşitlenmesi ile Q (  

⁰

, )

¹

fonksiyonunu minimum ya da maksimum yapan değerler bulunur. Bu türevlerin sıfıra eşitlenmesi ile

0 1

1 1

( , )

2 ( ) 0

( , )

2 ( ) 0

n

i i

i n

i i i

i

Q Y x

Q x Y x

   



   





     



     





denklemleri elde edilir. Buradan,  ˆ

⁰

_ve  ˆ

₁

parametrelerin tahmin edicilerini göstermek üzere,

0 1

1 1

ˆ ˆ

ⁿ _i ⁿ _i

i i

n   x Y

 

   

ve

0 1 2

1 1 1

ˆ

ⁿ _i

ˆ

ⁿ _i ⁿ _{i i}

i i i

x x x Y

 

  

 

  

denklemleri elde edilir. Bu eşitlikler literatürde normal denklemler olarak bilinir. Normal denklemlerin çözümleri ise,

   

1 1 0 1

2 1

ˆ , ˆ ˆ

( )

n

i n i n

i n n n

i n

i

x x Y Y

Y x

x x



^

 



 

  





şeklindedir. Bu çözümler, 

⁰

_ve 

₁

parametrelerinin en küçük kareler tahmin edicileridir.

Bunların minimum olduğunu göstermek için ikinci türevlerine de bakılması gerekir.

7.9.3. Bayes Tahmin Edicileri