En Küçük Kareler Kestiricilerinin Özellikleri ve Uydurulan Regresyon Modeli

En Küçük Kareler Kestiricilerinin Özellikleri ve Uydurulan Regresyon Modeli

Denklem (1.6) ve (1.7)'den  ˆ

₀

ve  ˆ

₁

'nın y gözlemlerinin doğrusal birleşimleri olduğu

_i

görülmektedir.

1

1

ˆ

^{xy n}

i i

xx i

S c y

 S



   ^{, i  1, 2,..., n ,} c i  ^{( x x}

ⁱ

^{ )} S

_xx

olarak yazılabilir.

  ˆ

₀

ve  ˆ

₁

, en küçük kareler kestiricileri, 

₀

ve 

₁

model parametrelerinin yansız kestiricileridir.

( ) 0 E 

_i

 olarak varsayıldığından,

1

1 1

( ) ˆ (

ⁿ _{i i}

)

ⁿ _i

( )

_i

i i

E  E c y c E y

 

   

      

_{0 1 0 1}

1 1 1

( )

n n n

i i i i i

i i i

c   x  c  c x

  

         

        Burada,

1 1

( )

n n

0

i i

i i xx

x x

c S

 

  

  ^ve

1 1

( )

n n

1

i i

i i

i i xx

x x x

c x S

 

  

  olduğundan ;

1 1

( ) ˆ E   

olur. Diğer bir deyişle, eğer modelin doğru olduğu ( E y ( )

_i

 

₀

 

₁

x

_i

) kabul edilirse o zaman  ˆ

₁

, 

₁

'in yansız kestiricisidir.

₀

1 1

( ) ˆ (

ⁿ _{i i}

)

ⁿ _i

( )

_i

i i

E  E d y d E y

 

   

      

_{0 1 0 1}

1 1 1

( )

n n n

i i i i i

i i i

d   x  d  d x

  

        

Burada

1 1

( )

1 1

n n

i i

xx

i i

x x x

d n S

 

  

    

 

  ^ve

1 1

( )

1 0

n n

i i i i

xx

i i

x x x

d x x

n S

 

  

    

 

 

olduğundan;

E ( )  ˆ

₀

 

₀

olur.

Eğer modelin doğru olduğu ( E y ( )

_i

 

₀

 

₁

x

_i

) kabul edilirse bu durumda  ˆ

₀

, 

₀

'in yansız kestiricisidir.

  ˆ

₁

'nın varyansı,

1 2

1 1

( ) ˆ

ⁿ _{i i} ⁿ _i

( )

_i

İ i

Var  Var c y c Var y

 

 

   

    (1.13)

y gözlemleri ilişkisiz olduğundan toplamın varyansı, sadece varyansların toplamıdır.

i

( )

_i 2

Var y   olup,

2 2

2 2 1 2

1 2

1

( )

( ) ˆ

n n i

i i

xx

i xx

x x

Var c

S S

 

 

^





   

 (1.14) ˆ

0

 'nın varyansı,

0 1

ˆ ˆ

( ) ( )

Var   Var y   x

 Var y ( )  x Var

²

( ) 2  ˆ

₁

 x Cov y ( , )  ˆ

₁

2

( ) Var y

n

  ve Cov y ( , ) 0  ˆ

₁

 olup,

2 2 2

0 1

ˆ ˆ 1

( ) ( ) ( )

xx

Var Var y x Var x

      ^    n S  ^    (1.15)

olur.

 GAUSS-MARKOV TEOREMİ

( ) 0

E   , Var ( )   

²

varsayımına ve ilişkisiz hatalara sahip (1.1) denklemindeki

regresyon modeli için en küçük kareler kestiricilerinin, y 'nin doğrusal birleşimleri olan

_i

diğer bütün yansız kestiricilerle karşılaştırıldığında yansız olduklarını ve minimum varyansa sahip olduklarını belirten bir teoremdir.

Bu teorem, en küçük kareler kestiricilerinin "en iyi doğrusal yansız kestiriciler (Best Linear Unbiased Estimator, BLUE)" olduğunu kanıtlamaktadır.

 En küçük kareler uyumunun daha başka yararlı özellikleri de vardır :

1) 

₀

kesim noktasını içeren herhangi bir regresyon modelindeki artıkların toplamı her zaman sıfırdır. (Yuvarlama hataları toplamı etkileyebilir.)

1 1

( ˆ ) 0

n n

i i i

i i

y y e

 

  

 

2) y gözlenen değerlerinin toplamı, ˆ

_i

y değerlerinin toplamına eşittir :

_i

1 1

ˆ

n n

i i

i i

y y

 

  

3) En küçük kareler regresyon doğrusu her zaman verilerin merkezinden

 ^{( , )} y x noktası geçer. 

4) Bağımsız değişkenin karşılık gelen değeriyle ağırlıklandırılmış artıkların toplamı her zaman sıfırdır :

1

0

n i i i

x e



 

5) ˆ y kestirim değerleri ile ağırlıklandırılmış artıkların toplamı her zaman sıfırdır.

_i

1

ˆ 0

n i i i

y e



 