8.4. En İyi Yansız Tahmin Ediciler

8.4. En İyi Yansız Tahmin Ediciler

Bir önceki kısımda, bütün lineer yansız tahmin ediciler arasında en küçük varyanslı lineer yansız tahmin ediciler (BLUE) incelendi. Orada, bir lineer modelin parametrelerinin lineer birleşimi için en iyi lineer yansız tahmin ediciler ele alınmıştı. Bu kısımda, daha genel yansız tahmin ediciler ele alınacaktır. Bütün yansız tahmin ediciler arasında varsa en küçük varyanslı yansız tahmin edicilerin bulunma yöntemleri üzerinde durulacaktır.

1 , 2 , , _n

X X  X parametresi  olan kitleden bir örneklem olsun.  _{nın ( )}   _{gibi bir} fonksiyonu için bütün yansız tahmin edicilerin (var olması halinde) sınıfını

{ : W E W _ ( )    ( ) , }

  

C U

ile gösterelim. Burada  parametre kümesini göstermektedir.  parametre kümesi genellikle reel sayıların bir alt kümesidir.

Tanım 8.4.1 Her W  C _{U için} Var W (

^*

)  Var W ( ) olacak şekilde bir W ^*  C _{U varsa,} W * _{ya ( )}   için düzgün en iyi yansız tahmin edici (Uniformly Minimum Variance Unbiased Estimator, UMVUE) denir 

Böyle tahmin ediciler bulunamayabilir. Bazen bu tür tahmin edicileri bulmak zor olabilir. Bu kısımda, var olması halinde böyle tahmin edicilerin bulma yöntemleri üzerinde durulacaktır. Bilindiği gibi, bir parametre için bir çok yansız tahmin edici bulunabilir.

Örneğin, X X ¹ , ² , ,  X _n parametresi  olan Poisson dağılımından bir örneklem ise, X ve ⁿ

n 2

S nin her ikisi de  için yansız olup her a  için T _a  aX _n   (1 a S ) _n ² _de  _için yansızdır. Yani,  için sayılamayan çoklukta yansız tahmin edici vardır. Örnek (7.6.1b) den

( _n 2 ) ( _n )

Var S  Var X olduğunu biliyoruz. Bu tür yansız tahmin ediciler arasında varsa en

küçük varyanslı yansız tahmin ediciyi elde edebilmek için min ( ) _a

a Var T

 minimizasyon

probleminin çözülmesi gerekir. Aşağıdaki eşitsizlik yardımı ile bir tahmin edicinin varyansı

için alt sınır bulunabilir. Dolayısı ile, eşitsizliğin geçerli olduğu durumlarda varyansı bu alt

sınıra eşit olan yansız tahmin edici, en küçük varyanslı yansız tahmin edicidir (UMVUE).

Teorem 8.4.1 (Cramer-Rao Eşitsizliği) X X ¹ , ² , ,  X _n olasılık veya olasılık yoğunluk fonksiyonu ( ; ) f x  olan kitleden bir örneklem (örneklemin bağımsız olma zorunluluğu yoktur) ve W _da E W _ ( ) _,  ya göre türevlenebilir olacak şekilde  nın herhangi bir tahmin edicisi W olsun. Ayrıca, E _ (| ( ) |) h X  

 olacak şekilde bir ( ) h x

 fonksiyonu,

 

... ( ) ( ; ) ... ( ) ( ; )

d h x f x d x h x f x dx

d  

 

  

     

     

     

özelliğini sağlıyorsa,

 

2

2

( )

[ln( ( ; ))]

d E W Var W d

E f X









 

 

 

 

                 

dir.

İspat: Önce,

  ^{( ; )}  

¹

ln ( ; ) f X ( ; )

E

_

f x  E

_

 f x 

 

  





      

         

      

 

 

¹

( ; )

... f x ( ; ) ( ; ) f x f x dx

  



   





        ^   _   _{ } ( ; )

... f x d ... ( ; ) d (1) 0

dx f x dx E

d d

^

 

  

  

      ^   _    _{ }  

olduğu türev ile integralin yer değiştirebilmesi varsayımından açıktır. Buradan,

  ¹

( ; )

, ln( ( ; )) ln( ( ; )) ( ; )

( ; )

... ( ) ( ; ) ... ( ) ( ; )

( ; )

Cov W f X E W f X E W f X f X

f x

W x f x dx W x f x dx

f x

      

  

   

 

     

       

          

       

 

  

    

   

      



... ( ) ( ; ) ( )

d d

W x f x dx E W

d  d

^

 

   _{  } 

elde edilir. Diğer taraftan,

 ^{ln( ( ; ))}  ⁰

E

_

f X 



   

  

  

olduğundan

 ^{ln( ( ; ))}   ^{ln( ( ; ))}  ²

Var _ f X  E _ f X 

 

 

 

      

       

       

dir. Cauchy-Schwartz eşitsizliği ( X ve Y rasgele değişkenleri için Cauchy-Schwartz

eşitsizliği  ^{Cov X Y ( , )}  ²  Var X Var Y ^{( ) ( )} ₎ W _{ve } ^{ } _{ } ^ln  ^{f X}  ^{; }   ^ _

 rasgele değişkenleri için

  ^{2 2}  

, ln( ( ; )) d ( ) ( ) ln( ( ; ))

Cov W f X E W Var W Var f X

  d    

  

               

           

   

şeklinde yazılabilir. Bunun düzenlenmesi ile de aranan sonuç elde edilmiş olur 

Cramer-Rao eşitsizliğinde örneklem bağımsız olmak zorunda değildir. X X ¹ , ² , ,  X _n bağımsız aynı dağılımlı rasgele değişkenler ise,

   

1 1

ln( ( ; )) ln ⁿ _i ; ⁿ ln( ( ; )) _i

i i

f X  f X  f X 

  _  _

 

  

   

      



olduğundan Cramer-Rao eşitsizliği,

 

2

2

( ) ( )

ln( ( ; )) d E W Var W d

n E f X









 

 

 

 

                

şeklinde yazılabilir. Ayrıca,

 

   _{ }  _ ^ _ ^

     

 

 

 

 

 

 

 

 

 

2

2

2

2 2 2

2 2

2 2

2 2

2 2

ln ; ;

ln ;

;

; ;

; ; ;

; ; ;

;

;

; ;

f X f X

f X f X

f X f X

f X f X f X

f X f X f X

f X f

f X

f X f X

   

   



 

   

  

  

 

 

 

  

                      

 

              

              

    

     

  

   

   

   

  

 

  

 

  

    

 

 

 

 ²    ²

;

ln ;

; X f X f X



 

 

 

 

     

           

olduğundan

 

  ^{ }

   

2 2

2 2

2

;

ln ;

ln ;

; f X

E f X E E f X

  f X 





 

 



    

   

              

             

           

 

 

 

 

dir. Diğer taraftan,

         

   

2 2

2 2

2 2

2 2

; ;

/ ; / ; ;

; ; 0

f X f x

E f X f x f x dx

f x d

dx f x dx

d

  

  

 

 

 

         

        

             

   

   





 

olup

 

  _{ }

2 2

2

ln ;

ln ;

E _ f X  E _ f X

 



       

           

         

 

elde edilir. Buna göre, X X ¹ , ² , ,  X _n bağımsız aynı dağılıma sahip rasgele değişkenler ise Cramer-Rao eşitsizliği,

 

 

2

2 2

( ) ( )

ln ;

d E W Var W d

n E f X









 

 

 

 

               

eklinde yazılabilir.

Bu eşitsizliğe göre, herhangi bir tahmin edicinin varyansı Cramer-Rao alt sınırından küçük olamaz. Buradan, herhangi bir yansız bir tahmin edicinin varyansı Cramer-Rao alt sınırına eşit oluyorsa, bu en küçük varyanslı yansız tahmin edicidir. Kısaca, Cramer-Rao eşitsizliğindeki " "  yerine " "  sağlanması halinde, bu eşitliği sağlayan W tahmin edicisi

( )

E W _ için UMVUE dir.

Örnek 8.4.1 a) X X ¹ , ² , ,  X _n parametresi  olan Poisson dağılımından bir örneklem olsun. X ve ⁿ S ^{n 2} nin her ikisinin de  için yansız olduğunu biliyoruz. Ayrıca, her a   için T _a  aX _n   (1 a S ) _n ² _de  için yansızdır.  nın başka yansız tahmin edicileri de bulunabilir. Bu yansız tahmin edicilerin içinde varsa en küçük varyanslı tahmin ediciyi bulmak isteyelim. Önce, E X

_

(

_n

)   ve Var X _ ( _n )   / n olduğunu biliyoruz. E X _ ( _n ) nin  ya göre türevi 1 olup, Cramer-Rao alt sınırının paydasındaki değeri hesaplayalım.

Dağılımın olasılık fonksiyonu ln( ( ; )) f X      X ln( )) ln( !)   X yazılabilir. Kısmi türevler,

 

 

ln ; 1 X

f X 

 

       

 ve

²2

ln   ;   X

2

f X 

 

      

 olup ikinci kısmi türevin beklenen değeri,

 

 

2

2 ln ; X 2 n 2 ( ) n 2 n

n E _ f X  n E _ E X _ 

    

      

                   

dir. Buradan, W  X ⁿ için Cramer-Rao eşitsizliği

   

 

 

2

2 2

1

ln ;

n n

d E X Var X d

n n n

n E f X







  

 



 

 

 

   

        

           

şeklindedir. Yani, X yansız tahmin edicisinin varyansı Cramer-Rao alt sınırına ⁿ ulaşmaktadır. Buna göre herhangi bir yansız tahmin edicinin varyansı X nin varyansından ⁿ daha küçük olamaz. O halde, X örneklem ortalaması ⁿ  için UMVUE dir.

b) X X ¹ , ² , ,  X _n parametresi p olan Bernoulli dağılımından bir örneklem olsun.

( )

p n

E X  p

olup p ye göre türevi 1 dir. Ayrıca, Var X _p ( _n )  p (1  p n ) /

olduğunu biliyoruz. Dağılımının olasılık fonksiyonu, x  0,1 için

( ; ) _p ( ) ^x (1 ) 1 ^x

f x p  P X  x  p  p ^ olup

ln( ( ; )) ln[ f X p  p ^X (1  p ) 1 ^{ X} ]  X ln( ) (1 p   X )ln(1  p ) den ikinci kısmi türev ile beklenen değeri

 

 

 

 

2

2 2 2

2

2 2 2

ln ; 1

(1 ) ln ; 1

(1 ) (1 )

p

X X

f X p

p p p

p p n

n E f X p n

p p

p p p

        

 

       

                       

olarak hesaplanmıştır. W  X ⁿ için Cramer-Rao eşitsizliği

   

 

 

2

2 2

(1 ) 1 (1 )

ln ; (1 )

p n

p n

p

d E X dp

p p p p

Var X

n n n

n E p f X p p p

 

 

       

      

              

şeklinde olup eşistsizlikdeki " "  yerine X için " " ⁿ  sağlanır. O halde, X örneklem ⁿ ortalaması p için UMVUE dir.

c) X X ¹ , ² , ,  X _n parametresi  olan üstel dağılımdan bir örneklem olsun. Yine X , ⁿ

 nın UMVUE tahmin edicisidir. E X _ ( _n )   ve Var X _ ( _n )   / n olup beklenen değerin

 ya göre türevi 1 dir. X lerin olasılık yoğunluk fonksiyonu x  0 _için ( ; ) (1/ ) ^x /

f x    e ^{ } olup eşitsizlikteki türevler

 

  ^{ }

ln ; ln X

f X  

 

       

 ve ² ₂ ^ln  ^{f X}  ^{; }   ¹ ₂ ^{2 X} ₃

  

      



şeklindedir. Buradan, Cramer-Rao eşitsizliğinin paydasındaki beklenen değer

 

2

2 2 3 2 3 2 3 2

2 ( )

1 2 2

ln( ( ; )) X n n E X n n n

n E _ f X  n E _ ^ 

       

    

                     

şeklinde hesaplanmıştır. Buna göre, Cramer-Rao eşitsizliği X örneklem ortalaması için ⁿ

   

 

 

2

2 2

2 2 2

1

ln ;

n n

d E X Var X d

n n n

n E f X







  

 



 

 

 

   

      

             

şeklinde elde edilir. Yani, X nin varyansı Cramer-Rao alt sınırına ulaşır. Başka bir ifade ⁿ ile, Cramer-Rao eşistsizliğinde " "  yerine X için " " ⁿ  sağlanır. Buna göre, X örneklem ⁿ ortalaması  nın UMVUE tahmin edicisidir 

Cramer- Rao eşitsizliği bütün dağılımlar için geçerli değildir. Örneğin, X X ¹ , ² , ,  X _n parametresi  olan düzgün dağılımdan bir örneklem ise  için UMVUE tahmin edicisini bulmak için Cramer-Rao eşitsizliği uygulanamaz. Bir an için uygulanabilir olduğunu düşünelim. O zaman, X lerin olasılık yoğunluk fonksiyonu,

1/ , 0 ( ; )

0 , . . f x x

d y

 

   

  

şeklinde olup olasılık yoğunluk fonksiyonunun ^{f x}  ^{; }  ^{ 1/ } gibi yazıldığını düşünürsek (ki f x ( ; ) (1/ )    I ⁽⁰ _{  x } ( ) x

şeklindedir)

 

  ¹

ln ,

E

_

f X 

 

    

  

  ve

 

 

2

2 2

ln , 1 E _ f X 

 

   

 

  

 

değerleri elde edilir. Ayrıca, W herhangi bir yansız tahmin edici olmak üzere, E W _ ( )   olup birinci türevi 1 dir. Buna göre, bu yansız tahmin edici için, Var W _ ( ) 1/   ² _olması gerekir. Oysa, W   ( n 1) X ^{( )} _n / n

tahmin edicisi  için yansız olup varyansı için

2 2

( ) Cramer-Rao alt sınırı

( 2) Var W

n n n

 _  _  _



eşitsizliği geçerlidir (Bkz. Örnek (8.4.2a)). Cramer-Rao eşitsizliğinin koşulları sağlanmış olsaydı,

2 2

( ) Cramer-Rao alt sınırı ( 2)

Var W

n n n

     



olması beklenirdi. Oysa, ileride göreceğimiz gibi,  nın en küçük varyanslı yansız tahmin edicisi W dur. Burada, eşitsizliğin varsayımındaki türev ile integralin yer değiştirebilmesi koşulu sağlanmaz. Yani,

 

   

0 0

0 0

( ) ; ( ) 1

( ) 1 ( ) ;

d d

h x f x dx h x dx

d d

h d d

h x dx h x f x dx

d d

 

 

   

 

   



        

 

 

dir. Cramer-Rao eşitsizliğinin geçerli olmadığı durumlarda, UMVUE tahmin edicilerinin bulunabilmesi için aşağıdaki yöntem izlenebilir. Önce, X ve Y gibi herhangi iki rasgele değişken için

( ) ( | ))

E X  E X Y ve Var X ( )  E Var X Y ( ( | ))  Var E X Y ( ( | )) olduğunu hatırlayalım (Örnek (2.5.6)).

Teorem 8.4.2 (Rao-Blackwell Teoremi) X X ¹ , ² , ,  X _n parametresi  olan kitleden bir örneklem olsun. Ayrıca, ( )   nın yansız bir tahmin edicisi W _{ve T de}  için yeterli olsun. Bu durumda, ( )  T  E W T ( | ) tahmin edicisi ( )   için yansız olup, varyansı W tahmin edicisinin varyansından daha küçüktür. Yani,

( ( )) ( )

E _  T    _ve Var _ ( ( ))  T  Var W _ ( )

dir.

İspat: T yeterli olduğundan, T verildiğinde X lerin dağılımı  ya bağlı değildir.

Dolayısı ile, ( )  T  E W T ( | ) koşullu beklenen değeri de parametreye bağlı değildir.

Bununla birlikte, koşullu beklenen değerin özelliklerinden

 

( ( )) ( | ) ( ) ( )

E _  T  E E W T _  E W _   

yazılır. Yani, ( )  T  E W T ( | ) tahmin edicisi ( )   için yansızdır. E Var W T

_

( ( | )) 0  olup

( ) ( ( )) ( ( | )) ( ( ))

Var W _  Var _  T  E Var W T _  Var _  T olduğundan ^Var      ^T   ^{Var W}  ^{ } elde edilir 

Bu teoreme göre  nın T gibi yeterli bir tahmin edici bulunduğunda (faktörizasyon teoremi), W yansız tahmin edicisinin varyansından daha küçük varyanslı (daha iyi) bir yansız tahmin edici bulunabilir. Ancak, ( )   nın bütün yansız tahmin edicileri arasında varsa en küçük varyanslı yansız tahmin ediciyi (UMVUE) bulmak istiyoruz. UMVUE tahmin edicileri varsa tektir. UMVUE tahmin edicilerinin tekliğine ilişkin teorem aşağıda verilmiştir.

Teorem 8.4.3 (Lehmann-Scheffe Teklik Teoremi) Herhangi bir W tahmin edicisi ^{ }  

için UMVUE ise tektir.

İspat: Tek olmadığını, W ^ gibi başka bir UMVUE tahmin edicinin daha bulunduğunu kabul edelim. Bu durumda, E W _ ( )    ( ) _ve E W _ ( ^ )    ( ) _olup, W ^*  ( W W  ^ ) / 2 de ( )   için yansızdır. Ayrıca, Cauchy-Schwartz eşitsizliğinden,

 

* 1 1 1

( ) [( ) / 2] ( ) ( ) ( , )

4 4 2

1 1 1

( ) ( ) ( ) ( )

4 4 2

Var W Var W W Var W Var W Cov W W

Var W Var W Var W Var W Var W

    

    

  

 

    

   

elde edilir. W _ve W ^ nin her ikisi de UMVUE (en küçük varyanslı yansız tahmin ediciler)

olduğundan Var W _ ( )  Var W _ ( ^ ) _olup Cov W W _ ( , ^ )  Var W _ ( ) dir. UMVUE tahmin

edicileri, bütün yansız tahmin ediciler arasında en küçük varyanslı yansız tahmin edici

olduğundan bu bir çelişkidir. Yani, UMVUE tahmin edicisinin varyansından daha küçük varyanslı yansız bir tahmin edici bulunamaz. Bu çelişkinin nedeni, başka bir UMVUE tahmin edicisinin var olduğu varsayımıdır. O halde, UMVUE tahmin edicisi varsa tektir 

Rao-Blackwell teoremine göre, ( )   nın yansız bir tahmin edici bulunduğunda, bu yansız tahmin edicinin varyansından daha küçük varyanslı başka bir yansız tahmin edici, bir yeterli tahmin edici yardımı ile bulunabilir.

Teorem 8.4.4 Rao-Blackwell teoreminin koşulları altında, T yeterli tahmin edicisi

aynı zamanda tam ise, ( )  T  E W T ( | ) tahmin edicisi E W _ ( ) için UMVUE dir.

İspat: Casella ve Berger, 2002, sayfa 347 

Örnek 8.4.2 a) X X ¹ , ² , ,  X _n parametresi  olan düzgün dağılımdan bir örneklem olsun. X lerin olasılık yoğunluk fonksiyonu

 ^;  ^{1/ , 0}

0 , . . f x x

d y

  

  

 



şeklinde verildiğinde Cramer-Rao eşitsizliğinin koşulları sağlanmadığından  _{nın UMVUE} tahmin edicisini bulamamıştık. T  X ^{( ) n}

tahmin edicisi  için yeterli (Örnek 7.1.2c) ve tamdır (Örnek 7.4.2b). Diğer taraftan, W   ( n 1) X ^{( )} _n / n

de  için yansız olup Teorem (8.4.4) gereğince (bundan sonra bu teorem Rao-Blackwell teoremi olarak anılacaktır),

    1 ( ) ( ) 1 ( )

n n n

n n

T E W T E X X X

n n

 

 

      



 nın UMVUE tahmin edicisidir.

b) X X ¹ , ² , ,  X _n parametresi p olan Bernoulli dağılımından bir örneklem olsun.

Bernoulli dağılımının varyansının ( ( )  p  p (1  p ) ) UMVUE tahmin edicisini bulalım.

1 n i i

T X



 

tahmin edicisi p için yeterli (Örnek 7.1.2a) ve ~ T Binom n p olup üstel ( , )

aile özelliğini sağladığından T tamdır (Örnek 7.4.2a). Yani T , p için yeterli ve tamdır. Diğer

taraftan, E S ( ) _n ²  p (1  p ) _olup S _n ² _{, (1} p  p ) için yansızdır. Rao-Blackwell teoremine göre, ( _n 2 | )

E S T _{, (1 p  p )} için UMVUE dir. Şimdi bu koşullu beklenen değeri hesaplayalım. X

Bernoulli dağılımına sahip olduğundan sadece 0 ve 1 değerlerini aldığı için

2

1 1

n n

i i

i i

X X

 

  

yazılabilir. Buna göre koşullu beklenen değer,

  ^{2   2 2 2}

1 1 1 1 1

1 1 1

1 1

n n n n n

n i n i i i i

i i i i i

E S T E X X X E X X X

n _{ } n _ n _{ }

 

     

                   

    

2 2

1 1 1 1 1

1 1 1 1

1 1

n n n n n

i i i i i

i i i i i

E X X X X X

n _ n _{ } n _ n _

       

   

                     

    

 

2 2

2 2

1 1 1

1 1 1

1 1

n n n

i i i n n

i i i

X X X X S

n _ n _ n _

   

 

              

  

dir. Rao-Blackwell teoremine göre, S ^{n 2} örneklem varyansı ( )  p  p (1  p ) nin UMVUE tahmin edicisidir.

Aynı örneklem için  ( ) p  p ² nin UMVUE tahmin edicisini bulalım. Yine, T yeterli ve tamdır. Ayrıca,

2

1 1

1 ( 1)

n n

i i

i i

W X X

n n _{ }

   

 

          

 

tahmin edicisinin beklenen değeri,

  ^{2 2}

1 1 1 1

2

1 1 1

2 2

1 1

( 1) ( 1)

1 ( 1)

1 1

(1 )

( 1) (

n n n n

p p i i p p i p i

i i i i

n n n

p i p i p i

i i i

E W E X X E E X E X

n n n n

Var X E X E X

n n

np p n p np

n n n n

   

  

         

   

                         

         

 

                         

 

        

   

  

2 2 2

2 2 2

2 2 2 2

1)

1 ( ) ( 1)

( 1) ( 1) ( 1)

np np n p np

p n n p n n

np n p p

n n n n n n

    

 

 

 

          

olduğundan W tahmin edicisi p için yansızdır. Rao-Blackwell teoremine göre, ²

  ^{2 2}

1 1 1 1 1

1 1

( 1) ( 1)

n n n n n

i i i i i

i i i i i

E W T E X X X X X W

n n    n n  

         

 

                                   

tahmin edicisi p

²

nin UMVUE tahmin edicisidir 

Rao-Blackwell teoremi sadece parametrenin kendisi için değil parametrenin bir fonksiyonu için de UMVUE tahmin edicisini bulmaya olanak sağlar. Örneklemin alındığı dağılımın olasılık veya olasılık yoğunluk fonksiyonunun tanım kümesi parametreye bağlı (düzgün dağılımda olduğu gibi) veya parametrenin herhangi bir fonksiyonu için UMVUE tahmin edicileri bulunmak istendiğinde Rao-Blackwell teoremi kullanılabilir.

Örnek 8.4.3 a) Belli bir saat dilimi içinde bir mağazaya giren müşterilerin sayısı  ortalamalı Poisson dağılımına sahiptir. Aynı saat dilimi içinde n farklı günde mağazaya giren müşterilerin sayıları X X ¹ , ² , ,  X _n olsun. Yani, Poisson ( )  dağılımından n birimlik bir örneklem X X ¹ , ² , ,  X _n olsun. X lerin olasılık fonksiyonu, x  0,1, 2,... için

( ) ^x / !

P X _  x  e ^{ }  x olup Cramer-Rao eşitsizliğinden,  nın UMVUE tahmin edicisi

X dir (Örnek (8.4.1a)). Şimdi, aynı saat dilimi içinde mağazaya hiç müşteri gelmemesi

n

olasılığını tahmin etmek istayelim. Yani,   ( )  P X _ (  0)  e ^{ } olasılığının UMVUE

tahmin edicisini bulalım. ¹

n i i

T X



 

,  için yeterli ve tamdır (Örnek 7.4.1b). ( )   _nın yansız bir tahmin edicisi

1 , 1 0

0 , . . W X

d y

 

  

olarak seçilebilir. W _sadece 0 ve 1 değerlerini alan Bernoulli rasgele değişkeni olup ( ) 1 ( 1) 0 ( 0) ( 1) ( 1 0)

E W _  P W   P W   P W   P X   e ^{ }

dir. Yani W _,   ( ) e  ^{ } için yansızdır. Rao-Blackwell teoremine göre, ( )  T  E W T ( | ) tahmin edicisi   ( ) e  ^{ } için UMVUE dir. Bu koşullu beklenen değerin hesabı için

~ ( )

T Poisson n  olup olasılık fonksiyonu, t  0,1, 2,... için P T t _ (   ) e ^{ n } ( n  ) / ! ^x t şeklindedir. X ¹ _ile X X ₂ , ₃ , ,  X _n bağımsız olup, X ²  X ³    X _n ~ Poisson n ((  1) )  dir. Buradan, koşullu beklenen değer

       

  ^ _{ } ^{ } _{ } ^

   

 

 

 

1 1 2

1 1

1 2

( 1)

1 2

1 2

( ) 0 0 1 1 1

0, 0, 0

( 1) / ! 0

/ ! / ! ( 1)

/ !

n n n T

n

n t n

n T T

n T

t E W T t P W T t P W T t P W T t

P X X X X t

P X T t

P X T t

P T t P X X X t

e e n t

P X P X X t

P X X X t e n t

e t n

e t

  







          

    

 

    

    

 

  

         

 

     

 

 

 









 

 

 

 

 















( 1) 1

1

T T

T T

n

n n n

  

    

 

şeklinde hesaplanmıştır. Buradan,   ( ) e  ^{ } nın UMVUE tahmin edicisi

  ^{1 1}

¹

( ) 1 1

n i i

T X

T E W T

n n

                  

^

olarak hesaplanmıştır. Bu tahmin edici, n örneklem hacmi yeterince büyük ise biraz daha

düzenlenebilir. n yeterince büyük ise (1  a n / ) ⁿ  e ^{ a} _olup, e ^{ } nın UMVUE tahmin

edicisi için

 

^{1 1}

1 1 1 1 1

( ) 1 1 1 1

n n

i i n

i i n

T X n X n X

n X

T E W T e

n n n n

 

 

 

  

 

       

                 

       



yaklaşımı kullanılabilir.  nın UMVUE tahmin edicisi X olduğundan (Örnek (8.4.1a)) ⁿ n örneklem hacmi yeterince büyük ise e ^{ } nın UMVUE tahmin edicisi de yaklaşık olarak

X

n

e ^ dir.

Bir mağazanın sabah açılış saatini belirlemek için mağaza sahibi değişik günlerde sabah saat 8:00 ile 9:00 arası işyerine gelen müşterilerin sayısı

2 3 2 1 0 1 2 0 2 1

şeklinde gözlenmiştir. Mağaza sahibi sabah saat 8:00 ile 9:00 arası hiç müşteri gelmemesi olasılığını tahmin elmek istiyor. Mağazaya gelen müşterilerin sayısı ortalaması  _olan Poisson sağılımına sahip ise,  nın UMVUE (en küçük varyanslı yazsız tahmin edicisi ^X

ⁿ

olup, tahmin değeri x _n  1.4 dür. Hiç müşteri gelmemesi olasılığının en küçük varyanslı

yazsız tahmin edicisi ise (1 1/ )  n ^{nX n} olup tahmin değeri yaklaşık (1 1/ )  n ^{nx n}  0.229 dur. Ayrıca, e ^{ x n}  0.246 dır. Önemlem hacmi büyüdükçe aradaki fark azalır.

b) Aynı örneklem dikkate alınarak bu defa   ( )   e ^{ } nın UMVUE tahmin edicisini bulalım. T yine  için yeterli ve tamdır. Bu defa, ( )   nın yansız tahmin edicisi olarak

1 ,

1

1 0 , . . W X

d y

 

  

seçilebilir. W _sadece 0 ve 1 değerlerini alan Bernoulli rasgele değişkeni olup beklenen değeri

( ) 1 ( 1) 0 ( 0) ( 1) ( 1 1)

E W _  P W   P W   P W   P X    e ^{ }

dır. Yani, W tahmin edicisi ( )   için yansızdır. Koşullu beklenen değer,

       

  ^ _{ } ^{ } _{ } ^

   

 

 

 

1 1 2

1 1

1 2

( 1) 1

1 2

1 2

( ) 0 0 1 1 1

1, 1 1,

( 1) / ( 1)!

1 1

/ !

n n n t

n

n t n

t E W T t P W T t P W T t P W T t

P X X X X t

P X T t

P X T t

P T t P X X X t

e e n t

P X P X X t

P X X X t e n t





 

 

 

 



 



   



          

    

 

    

    

 

   

          

 

     

 

 









1 1

/ ( 1)! ( 1) ! ( 1) 1

( 1)! 1 1

/ !

n T t t t

n T T T

e t n t n t

t n n

e t n n









  



    

         

olarak hesaplanmıştır. Buradan ( )   nın UMVUE tahmin edicisi de,

  ^{1 1 1}

¹

( ) 1 1

1 1

n i i

n

T i X

i

T X T E W T

n n n n

 



   

              

 

olarak bulunur. Benzer şekilde n örneklem hacmi yeterince büyükse,

 

^{1 1}

1 1

1

1 1 1

( ) 1 1

1 1

n n

i i

i i n

n

i X n n X

n X

i i n

i

X n

T E W T X X e

n n n n n

 

 

 

   



   

     

                         

 



olup  nın UMVUE tahmin edicisi X ise ( ) ⁿ   nın UMVUE tahmin edicisi de yaklaşıkm olarak (  X _n ) dir. Aynı verilere göre mağazaya sabah 8:00 ile 9:00 arası bir müşteri gelmesi olasılığının tahmin değeri yaklaşık olarak x e _n ^{ x n}  (1.4) e ^{ 1.4}  0.345 _dir 

Yukarıdaki örnekte görüldüğü gibi, herhangi bir  parametresinin UMVUE tahmin edicisi ˆ

 n _ise g ( )  ˆ _n da yaklaşık olarak ( ) g  nın UMVUE tahmin edicisidir. Bu genellikle doğru olmayabilir. Bu özellik en çok olabilirlik tahmin edicilerinde her zaman geçerli olmasına rağmen özel durumlarda UMVUE tahmin edicilerinde yaklaşık olarak geçerlidir.

Örneğin, X X ¹ , ² , ,  X _n parametresi  olan Poisson dağılımından bir örneklem ise,  _nın

UMVUE tahmin edicisi X dir. Ayrıca, ⁿ  ² nin UMVUE tahmin edicisi için, ¹

n i i

T X



 

olmak üzere, E T _ [( ²  T ) / n ² ]   ² _olup W  ( T ²  T n ) / ² istatistiği  ² için yansızdır.

T yeterli ve tam olduğundan (bir önceki örnekte gösterildi) Rao-Blackwell teoremine göre

    ²  ²  ^{ 2  2}

( ) T  E W T  E T  T / n T  T  T / n  W





2

nin UMVUE tahmin edicisidir. Bu tahmin edici,

 ²  ² 2 ² 2 ^{2 2}

1 1

1 1 1 1

/ ^{n n}

n i i n n

i i

T T

W T T n X X X X

n n n n

n n _{ }

   

               

     

olarak yazılabilir. Yani,  nın UMVUE tahnin edicisi X olup ⁿ   ( )   ² nin UMVUE tahmin edicisi (  X _n ) değildir. Bununla birlikte, X _n  O _P (1/ n ) olduğundan n _örneklem hacmi yeterince büyükse W ⁿ  X ^{n 2} _dir.

8.5. Asimptotik Özellikler

Önceki bölümlerde, tahmin edicilerin asimptotik özelliklerinden biraz bahsedilmişti.

İstatistiki sonuç çıkarımlar için tahmin edicilerin dağılımları önemlidir. Tahmin edicilerin gerçek dağılımları genellikle bulunamadığı için asimptotik dağılımlardan yararlanılır.

Birçok UMVUE tahmin edicisi, yansız en küçük varyanslı tahmin ediciler olmasına rağmen, dağılımları bilinmediği için herhangi bir istatistiki sonuç çıkarım için kullanılamaz.

Tahmin edicilerin asimptotik normalliği Kısım (7.8) de incelenmişti. Bu kısımda ise, U  istatistiklerinin asimptotik özellikleri kısaca özetlenecektir. Birçok durumda, U  istatistiği örneklem ortalaması olarak karşımıza çıkar. Merkezi limit teoreminin koşulları sağlandığında U  istatistiği de asimptotik normaldir. U  istatistiği örneklem ortalamasının bir fonksiyonu ise, Taylor serisi yaklaşımları ile asimptotik dağılım elde edilir. Örneğin, X X ¹ , ² , ,  X _n parametresi  olan Poisson dağılımından bir örneklem ise

( 0)

P X _   e ^{ } nın UMVUE tahmin edicisinin (yansız bir tahmin edici olduğundan bu da

bir U  istatistiğidir), yaklaşık olarak e ^{ X n} olduğunu biliyoruz (Örnek (8.4.3a). Poisson

dağılımının beklenen değer ve varyansı birbirine eşit olduğundan

( )

E X _{  ve}   Var X ( )   ²  

olup asimptotik dağılım X için ⁿ X _n ~ AN ( , / )   n şeklinde yazılır. g x ( )  e ^{ x} fonksiyonunun birinci dereceden Taylor serisi açılımı ile, e ^{ X}

ⁿ

nin asimptotik dağılımı da,

( ) ~ ( ( ) , [ ( )] 2 2 / )

X

n

e ^  g X n AN g  g ^   n

şeklinde elde edilir. Buradan,    olmak üzere, g ( )   e ^{ } _ve [ ( )] g   ²  e ^{ 2 } _olup asimptotik dağılım, e ^{ X}

ⁿ

~ AN e ( ^{ } , e ^{ 2 }  / ) n _dir.

Şimdi, U  istatistiklerininin genel halini göz önüne alalım. X X ¹ , ² , ,  X _{n dağılım} fonksiyonu F (  parametreli) olan kitleden bir örneklem ise    ( ) F nın U  istatistiği

( , , , 1 2 _m )

h x x  x çekirdek fonksiyonu ile

 

1

1 , 2 , ,

n m

c

U n h X X X

m

  

  

   

şeklinde yazılmıştı. Ayrıca,

1 2

( ) F E h X X _F ( ( , , , X _m ))

     _ve h x x ( , , , ) 1 2  x _c  E h _F ( _{c } 1 1 2 ( , , , , x x  x X _{c c } 1 ))

olup, 1 c m   _için E h X X _F ( (  1 , 2 , ,  X _c )) 0  dır. Buradan,  ⁰  0 _ve 1 c m   _için,

1 2 2 1 2

( ( , , , )) ( ( , , , ))

c Var h X X F c X c E h X X F X c

     

olmak üzere, U  istatistiğinin varyansının da

  ¹

1 m

F n c

c

n m n m

Var U

m c m c





     

             ^

formülü ile hesaplandığını belirtmiştik. Buradan, U  istatistiğinin asimptotik dağlımı  ^c nin değerine göre değişir. Bu asimptotik dağılımlar Serfling (1980, Kısım 5.5, sayfa 192) de ayrıntılı olarak incelenmiştir.

Teorem 8.5.1 Eğer E h X X _F ( ( ^{2 1} , ² , ,  X _m ))   _ve  1  0 _ise n   _iken,

1/2 2

( _n ) ^D (0, 1 )

n U    N m 

dir 

Örnek 8.5.1 X X ¹ , ² , ,  X _n dağılım fonksiyonu F , beklenen değeri  , varyansı da

 2 olan kitleden bir örneklem olsun.   Var X ( ) için h x x ( , ) ( ^{1 2}  x ¹  x ² ) / 2 ² _çekirdek fonksiyonu ile U  istatistiği

2 2

1

1 ( )

1

n

n i n

i

S X X

n _

 

 

olarak elde edilmişti (Örnek 8.1.1c). Ayrıca  ¹ _ve  ₂ değerlerini  ¹  (  ⁴   ⁴ ) / 4 _ve

2 ( 4 4 ) / 2

     olarak hesaplamıştık (Örnek (8.1.2)).  ¹  0 _(yani,  ₄   ⁴ _{) olduğu} varsayımı altında n   _iken S n ² nin asimptotik dağılımı

1/2 2 2 2 4

1 4

( _n ) ^D (0, ) (0, )

n S    N m   N   

olarak yazılır. Buradan, S _n ² ~ A N (  ² , (  ⁴   ⁴ ) / ) n _dir. X X ₁ , ₂ , ,  X _n başarı olasılığı p olan Bernoulli dağılımından bir örneklem ise, p  1/ 2 için  ⁴   ⁴  0 dır. Buna göre,

4  4  0

  olması için gerek ve yeter koşul p  1/ 2 olmalıdır. Yani, p  1/ 2 için yukarıdaki asimptotik dağılım geçerli değildir 

1 0

  ise yukarıdaki asimptotik dağılım geçerli değildir. Örneğin, başarı olasılığı 1/ 2

olan Bernoulli dağılımından bir örneklem için   ¹ 0 _dır. X _i ~ Bern (1/ 2) _{ise her} k   için E X ( ^k ) 1/ 2  _ve   ² 1/ 4 olup dördüncü merkezi moment

4 1 2

4 1 4

4

0

1 1 1 1 1

( )

2 2 2 16 4

x x

x

E X x

  ^ 



       

              

       



dir. Buradan da,  ¹  (  ⁴   ⁴ ) / 4 0  olduğu görülür.  ¹  (  ⁴   ⁴ ) / 4 0  _ise  ₄   ⁴

olup  ²  (  ⁴   ⁴ ) / 2   ⁴ _olur.  ² _nin U  istatistiğinin S ^{n 2} olduğunu biliyoruz. Bu U 

istatistiğinin asimptotik dağılımı (Bkz. Serfling, 1980, sayfa 195) n   _iken

2 2

( _n 1/ 4) ^D ( 1/ 4) ( 1 1)

n S     

dir.

Aşağıdaki teorem tahmin edicilerin fonksiyonlarının asimptotik dağılımlarını bulmak için kullanılmaktadır (Serfling 1980, sayfa 119).

Teorem 8.5.2 X ⁿ rasgele değişkenlerin herhangi bir dizisi ve n   _iken   _n ² 0 olmak üzere X _n ~ AN ( ,   _n ² ) olsun. Reel değerli bir g fonksiyonunun x  noktasında 

1

m  _için m . dereceden türevleri mevcut, j m  _için g ^{( ) j} ( ) 0   _ve g ^{( ) m} ( ) 0   _ise n   _iken

 

( )

( ) ( )

(0,1)

1 ( )

!

m n D

m m

n

g X g

N m g



 

 

dir 

Örnek 8.5.2 X X ¹ , ² , ,  X _n beklenen değeri  , varyansı  ² olan kitleden bir örneklem olsun. Merkezi limit teoremine göre, X _n ~ AN ( ,   ² / ) n _olup X _n ^m istatistiğinin asimptotik dağılımı  nün durumuna göre değişir. Örneğin, m  2 _için g x ( )  x ² alındığında, ( ) 2 g     ve g  ( ) 2   olup

i)  _{ için} 0 X _n ² ~ AN (  ² , 4   ^{2 2} / ) n ii)  _{ için} 0 n   _iken

2 2

1 2

2 2

(0.5) 2 /

n n D

X n X

n 

   

dir 

8.6. Çözümlü Problemler

8.6.1 X X ¹ , ² , ,  X _n beklenen değeri  olan Üstel dağılımdan bir örneklem olsun.  ² nin UMVUE tahmin edicisini bulunuz. Bu tahmin edicinin asimptotik dağılımını elde ediniz.

Çözüm: T  X ⁿ ,  için yeterli ve tamdır (Örnek 7.4.2).  ² nın yansız bir tahmin edici