2. EKK KESTİRİCİSİ İÇİN TANILAMA ÖLÇÜLERİ
2.1. Bir Gözlemin Regresyon Doğrusu Üzerindeki Etkisi
2.1.1. X- Yönündeki Sapan Değerleri Belirleyen Ölçüler
2.1.1.3. Mahalanobis Uzaklığı
Sapan değerleri tespit etmede kullanılan klasik bir ölçüde Mahalanobis Uzaklığı’dır. Bu uzaklık, lerin oluşturduğu çok değişkenli bir veri kümesinde bir gözlemin veri kümesinin merkezine olan uzaklığını belirtir. ′, gözlem vektörü,
′ = (1 … ) =(1 )
biçiminde tanımlanırsa, sırasıyla nin ortalama vektörü ve kovaryans matrisi aşağıdaki gibidir.
̅= ∑ (2.1)
= ∑ ( − ̅) ( − ̅) (2.2)
(2.1) ve (2.2) den i-inci gözlemin Mahalanobis Uzaklığı,
= ( − ̅) ( − ̅) = 1,2, … , (2.3)
biçiminde hesaplanır. Bununla birlikte, veri kümesi normal dağılımdan geliyorsa i-inci gözlemin bir sapan değer olup olmadığını belirlemek için değerleri serbestlik dereceli ve 0.95 güvenirlikteki ki-kare değeriyle karşılaştırılabilir.
2.1.2 y-Yönünde Sapan Değerleri (Aykırı Değer) Belirleyen Ölçüler
Lineer regresyonda, regresyon doğrusunun uzağında olan bir başka ifade ile rezidüsü büyük olan gözlemleri y-yönünde sapan değerler olarak adlandırmıştık.
y-yönünde sapan değerlerin belirlenebilmesi için temel olarak kullanılan ölçü rezidülerdir.
2.1.2.1. Rezidüler
Regresyon sonuçlarının standart analizi temel varsayımlara dayalıdır. Doğru analizin yapılması için bu varsayımların geçerliliğinin kontrol edilmesi gerekir. Bu varsayımlardan birisi de = - = 1,2, … , olarak tanımlanan rezidülerdir.
Rezidüler, regresyonda sapan değerlerin belirlenmesinde önemli rol oynar. Rezidü vektörleri (e) ,hata vektörleri (ε) cinsinden;
= ( − )
ile ifade edilir. Bu eşitlikte e nin için uygun bir nicelik olabilmesi için nin köşegen üzerinde olmayan noktalarının küçük olması gerekir. Hata terimleri , birbirleri ile ilişkisiz ve aynı varyansa sahip olmalarına rağmen rezidü terimleri lerin bagımsızlık ( köşegen olmadıkça), aynı varyansa sahip olma ( nin köşegen elemanları eşit olmadığı sürece ) özellikleri yoktur. Sonuç olarak rezidülerin lerin yerini alabilmesi için in satırlarının homojen bu nedenle nin köşegen elemanları yaklaşık olarak eşit ve köşegen haricinde bulunanlar da yeteri kadar küçük olmalıdır.
Rezidüler dört grupta incelenir:
1) Standartlaştırılmış Rezidüler: Rezidünün varyansı yaklaşık olarak ile tahmin edildiğinden standartlaştırılmış rezidü;
=√ = 1,2, … , (2.4)
olarak elde edilir. Standartlaştırılmış rezidüler sıfır ortalamalı ve yaklaşık olarak birim varyansa sahiptir.
2) Studentized Rezidü: , şapka matrisinin -inci köşegen elemanı ve , şapka matrisinin ij-inci elemanı olmak üzere;
Var( )= (1-ℎ ) = 1,2, … , Cov( , )= - ℎ = 1,2, … ,
0≤ℎ ≤ 1 olduğundan rezidünün varyans tahmini için nin kullanımı aşırı tahmine (overestimate) neden olacaktır. Bu nedenle yerine studentized rezidüler,
= ( ) = 1,2, … ,
önerilir. Büyük ℎ ve büyük rezidüye sahip herhangi bir gözlem EKK kestirimi üzerinde etkili olacağından studentized rezidü önerilir. Problemsiz gözlemlerde değerleri [−3, +3] aralığında yer alır (Montgomery ve Peck, 1992).
3) PRESS Rezidü: Standartlaştırılmış ve studentized rezidüler dışında sapan değerleri belirlemede bir diğer etkili ölçüm PRESS rezidü yani ön tahmin hata kareler toplamıdır. i-inci press rezidüyü hesaplamak için i-inci gözlem hariç diğer tüm n-1 gözlemlerden ( ) hesaplanır. Buna karşılık gelen ön tahmin hatası
( ) = − ( ) = 1,2, … ,
biçiminde hesaplanır. Bu rezidü , i-inci PRESS rezidü olarak adlandırılır. Bu işlem her bir gözlem için = 1,2, … , tekrarlanarak ( ), ( ), … , ( ) elde edilir. Bununla birlikte PRESS rezidüler;
( ) =
= 1,2, … ,
yardımıylada hesaplanabilir. Bir rezidü ile PRESS rezidü arasındaki olası büyük fark, bu gözlem olmaksızın modelin zayıfladığını gösterir (Montgomery ve Peck, 1992).
4) R-Studentized Rezidü: Stundentized rezidü ler hesaplanırken nin bir tahmini olan kullanılmıştı. Bu ölçüme iç veya dahili (internal) rezidü denir.
nin tahmini için bir diğer yaklaşımda i-inci gözlemin veriden atılmasına dayanır. Bu şekilde elde edilen nin tahmini
( ) = ( )
= 1,2, … , = ( ) (2.5)
olmak üzere, R-Studentized Rezidü;
= ( )( ) = 1,2, … , (2.6)
ile verilir. Buna da dış (externally) rezidü denir. R-Studentized türü rezidülerin,
Studentized türü rezidülere tercih edilmesinin nedenleri şunlardır (Chatterjee ve Hadi, 1986):
- nin t dağılımından ( ( )) gelmesi, -Büyük sapmaları daha açık yansıtması,
- ( ) nin i-inci gözlemdeki büyük hataları düzeltmede sağlam bir kestirici olmasıdır.
2.1.2.2. Ortalama Değişim (Mean-Shift) Aykırı Değer Modellenmesi
j- inci gözlemin aykırı değer olup olmadığının araştırılmasında W ile gösterilen yeni bir bağımsız değişken tanımlanmıştır. W nın i-inci elemanı i≠j iken
=0 ve j-inci elemanı =1 olarak belirtilir. in j-inci satırı çıkarıldığında,
= ′ + ≠
denkleminin kestirimi tüm gözlemler için ve W üzerinden,
= ′ + + =
denkleminin kestirimi elde edilebilir. nin beklenen değeri ′ dan ’a kadar farklıdır. Burada , W nın katsayısı olup ortalama değişim olarak adlandırılmaktadır.
j-inci değerin aykırı değer olup olmadığına karar vermek için
: = 0 : ≠ 0
hipotezinin test edilmesi gerekir. Eğer hata terimleri normal dağılımdan geliyorsa, test istatistiği n-k-1 serbestlik derecesi ile t- dağılımıdır. Sıfır hipotezinin reddi, j-inci gözlemin aykırı değer olduğunun göstergesidir (Weisberg, 1985).
2.1.3 X ve y-Yönündeki Sapan Değerleri Belirleyen Ölçüler
Hem x-uzayındaki hem y-uzayındaki veri kümesinden uzakta bulunan noktaları hem bağımlı hem de bağımsız değişkenler yönünde sapan değer olarak adlandırmıştık. İyi bir veri analizi için rezidüler mutlaka incelenmelidir. Ancak sadece rezidülerin incelenmesi etkili gözlemlerin saptanmasında özelliklede yüksek leverage noktaları için yeterli değildir. Bazı ölçümler hem ℎ hem de rezidüler hakkında bilgi verebilir. Bu ölçülerden biri;
Z = (X: Y) eklemeli matris olmak üzere; =Z( ′ ) ′ şapka matrisinin köşegen elemanlarıdır. Şapka matrisinin (5) özelliğinden, =X ve =y alınırsa;
= +
olarak elde edilir. matrisinin i-inci köşegen elemanı;
ℎ = ℎ + = 1,2, … ,
şeklinde tanımlanır. ℎ , ℎ ya da büyük olduğunda büyük olacaktır. Dolayısıyla
ℎ değeri büyük olan bir gözlemin sapan değer olduğu söylenebilir; ancak
X-yönünde ya da y-yönünde sapan değer olup olmadığı konusunda kesin bir yargıya X-yönündeki sapan değerlerin; ikinci terimi ise standartlaştırılmış rezidünün fonksiyonu olup, y-yönündeki sapan değerlerin belirlenmesini sağlar. Dolayısıyla veya ℎ ya da her ikisi de büyükse büyük olacaktır. Büyük değerine sahip bir gözlem, genel olarak tüm regresyon sonuçları üzerinde daha etkilidir. nin bir rastgele değişken olduğu kabul edilirse;
mean( )+ ( ) (c; 2 ya da 3 gibi sabit olmak üzere)
ifadesinin büyük değerleri sapan değer olarak düşünülebilir (Hadi, 1992).
2.1.4 Etkili Gözlemleri Belirleyen Ölçüler
Veri kümesindeki diğer gözlemlerle karşılaştırıldığında tek tek ya da grup halinde kestirilmiş regresyon denklemine etki eden gözlemleri etkili gözlemler (influential observations) olarak adlandırmıştık. Tüm gözlemler regresyon sonuçları üzerinde eşit etkiye sahip olmayabilir. Bunun yanında bir gözlem veya gözlemler bazı regresyon sonuçları için etkili iken tüm regresyon sonuçları için etkili olmayabilir. Örneğin ya da nın varyansı üzerinde, uydurulmuş değerler üzerinde etkili olabilir. Dolayısıyla ˝ne üzerinde etkili? ˝sorusu önemlidir. O halde araştırmacının öncelikle bu soruyu yanıtlayarak çalışmaya başlaması gereklidir.
Bununla birlikte bir gözlem regresyon sonuçları üzerinde etkili ise y-yönünde sapan değer, X-yönünde sapan değer ya da ikisinin kombinasyonuda olabilir.
2.1.4.1. DFFITS Ölçüsü
Welsch ve Kuh (1977) de belirttiği bu ölçü, veri kümesinden elde edilen i-inci kestirilmiş değerden i-inci gözlem çıkartılılarak elde edilen i-inci kestirilmiş değerin arasındaki fark alınarak tanımlanmıştır.
şekilde de ifade edilir. yukarıdaki eşitlikten de görüldüğü gibi bu ölçü, hem şapka matrisinin köşegen elemanlarından hem de R-student türü rezidülerden etkilenmektedir. Bir başka ifade ile bu uzaklık, yüksek leverage ve aykırı
şeklinde ifade edilir. n> 15 olan regresyon modellerinde kullanılan bu ölçü, için eşik
değer 3 dir. Yani, > 3 olan gözlemler etkili gözlem olarak düşünülebilir (Chatterjee ve Hadi, 1986).
2.1.4.3. DFBETA ve DFBETAS Ölçüsü
DFBETA ve DFBETAS ölçüleri; i-inci gözlem, veriden çıkarıldığında hesaplanacak olan yeni regresyon denkleminin parametrelerinde meydana gelecek olan değişimi hesaplamak üzere kullanılırlar. DFBETA, açıklayıcı değişken matrisi, e rezidü vektörü, ℎ şapka matrisinin i-inci köşegen elemanı olmak üzere;
= - ( )=
= 1,2, … , (2.9)
şeklinde tanımlanır (Besley ve ark., 1980). (2.9) eşitliğinde elde edilen değer, çok büyük ise i-inci gözlemin, parametre kestirimi üzerinde etkisinin büyük olduğu söylenir. Benzer şekilde i-inci gözlemin j-inci parametre değerini ne kadar i-inci gözlemin j-inci katsayı üzerinde etkili olduğu düşünülür (Besley ve ark., 1980).
2.1.4.4. Cook Uzaklığı
Cook (1977) nun belirttiği bu uzaklık, bütün model üzerindeki etkiyi içerir.
Bir başka ifade ile Cook uzaklığı, etkiyi hem nin kestiricisinin ya olan uyumunu hem de nin geriye kalan gözlemlerden uzaklığı anlamında ele alır. Cook uzaklığı, p parametre sayısı, e rezidü vektörü, = olmak üzere;
= ( ) ( ( ) = 1,2, … ,
olarak tanımlanmıştır. Her bir değeri, . , , tablo değeri ile karşılaştırılarak değerlendirilir. nin kritik değerlerden büyük olduğu durumlar için i-inci gözlemin etkili gözlem olduğu kabul edilir. Bunun yanı sıra Cook ve Weisberg (1977) ile Montgomery ve Peck (1982) de > 1 olduğu değerler için i-inci gözlemin etkili olduğunu belirtmişlerdir. Cook Uzaklığı;
= ∙
= 1,2, … ,
olarak da ifade edilir. Cook uzaklığı, regresyon modelindeki parametre dışında yukarıdaki eşitlikten de görüldüğü gibi, hem H şapka matrisinin köşegen elemanlarından (ℎ ) hem de student türü ( ) rezidülerden etkilenmektedir (Montgomery ve Peck, 1982). Bir başka ifade ile bu uzaklık, yüksek leverage değerlilik ve aykırı değerlilikle yakından ilgilidir.
2.1.4.5. Düzeltilmiş Cook Uzaklığı
Cook uzaklığı’ nın bir başka uyarlaması olan Düzeltilmiş Cook uzaklığı, etkili gözlemlerin belirlenmesinde kullanılır. Düzeltilmiş Cook uzaklığı;
∗ = | |
= | İ | = 1,2, … ,
şeklinde ifade edilir (Atkinson, 1981). Yukarıdaki ifade de değeri (2.6) ile verilen
R-Student rezidüler dir. Her bir ∗ için eşik değeri 2 dir. Yani,
∗> 2 olan gözlemler etkili gözlemdir.
Düzeltilmiş Cook uzaklığının, Cook Uzaklığına göre avantajları;
-Düzeltilmiş Cook uzaklığının sapan değerleri belirlemede daha hassas davranması, - ∗ değerlerinin grafiksel gösterim için daha uygun olması (Chatterjee ve Hadi,
1986).
2.1.4.6. COVRATIO ve FVARATIO (Varyans Oranı) Ölçüsü
COVRATİO: Besley ve ark. (1980) nın belirttiği ve adını varyans –kovaryans matrisinin oranlanmasından (covariance ratio) alan bu uzaklık, i-inci gözlemin nın kestirilmiş varyansı üzerindeki etkisini belirleyen bir ölçüdür. COVRATIO uzaklığı;
= ( ) = 1,2, … , (2.11)
şeklinde ifade edilir. (2.11) ifadesi ( ) = ( ) ( ) ( )
ve = ( ′ ) ifadeleri yardımıyla;
= ( ) ( ) ( )
{ ( ) } = 1,2, … ,
olarak düzenlenir. Bu ölçü için eşik değer, 1±3 değeriyle karşılaştırılır. Yani;
> 1 + 3
olan gözlemler ya da
< 1 − 3
olan gözlemler nın kestirilmiş varyansı üzerindeki etkili gözlemdir. COVRATİO uzaklığı;
=
= 1,2, … ,
olarak da ifade edilir. Yukarıdaki ifade de görüldüğü gibi bu ölçü, yüksek leverage noktalar (ℎ ) ve Student rezidüler ( ) den etkilenmektedir. İ > 1 olması, i-inci gözlemin parametre kestiricilerinin doğruluğunu arttırdığı; İ < 1 olması durumu ise, i-inci gözlemin parametre kestiricilerinin doğruluğunu azalttığı şeklinde yorumlanır (Rawlings ve digerleri, 1998).
FVARATIO: COVRATIO ölçüsünün tanımlanmasındakine benzer bir mantıkla, Besley ve ark. (1980) tarafından tanımlanan bu ölçü, i gözlemin nın kestirilmiş varyansı üzerindeki etkisini belirleyen bir ölçüdür. FVARATIO ölçüsü;
= ( ( )) = 1,2, … , (2.12)
olarak tanımlanır. Burada ( ), i-inci gözlem çıkartıldıktan sonra elde edilen uydurulmuş değerler vektörünün i-inci gözlemini ifade eder. (2.12) ifadesinde;
( ) = ( )
= 1,2, … ,
( ) = ℎ = 1,2, … ,
değerleri yerine yazılırsa;
= ( ( )
) = 1,2, … ,
olarak düzenlenir. Bu ifade ( ) nin p-inci kuvveti dışında, COVRATIO ölçüsü ile aynıdır.
2.1.4.7. Andrews-Pregibon İstatistiği:
i.gözlemin model üzerindeki etkisi matrisinin determinantı ile değerlerinde meydana gelen değişimi ölçerek elde etmek istemiş ve bu nedenden dolayı;
= { ( ) }( ) = 1,2, … , (2.13) çıkartılmasıyla elde edilen matristir. Diğer gözlemlerle karşılaştırıldığında küçük değerine sahip gözlemlerin etkili olacağı düşünülür (Chatterjee ve Hadi, 1986).
Andrews-Pregibon İstatistiği;
= 1 − ℎ − = 1,2, … ,
şeklinde de hesaplanır. Buradan da görüleceği gibi değerleri, yüksek leverage değerlerle ve aykırı değerlerle yakından ilgilidir.
2.2. Birden Fazla Gözlemin Regresyon Doğrusu Üzerindeki Etkisi
Tek bir sapan gözlemin belirlenebilmesi için bir çok yöntem tanımlanmıştır.
Bu yöntemlerin çoğu gözlemin veri kümesinden çıkarılması temeline dayanmaktadır.
Fakat bazı durumlarda bir sapan gözlem bir diğerini çeşitli biçimlerde etkileyebilmektedir. Bu etkiler maskeleme ve swamping problemine neden olmaktaydı. Bu problem nedeniyle, gözlem gruplarının potansiyel etkilerini ve
dolayısıyla sapan gözlem olup olmadıklarını incelemek için Bölüm 2.1 de X- yönünde sapan değer, y-yönünde sapan değer ve etkili gözlem olarak verilen
ölçüleri, birden fazla gözlem için genelleştirebiliriz.
2.2.1. Cook Uzaklığı
Tek bir gözlemin etkisinin incelenmesi için, Cook (1977) tarafından tanımlanan Cook Uzaklığı ( ), birden fazla gözlem etkisi için I, etkisi incelenen m gözlemin için indis kümesini ifade etmek üzere;
= ( ) ( ( )
olarak tanımlanır (Cook ve Weisberg, 1982). Bu eşitlik bir takım düzenlemelerden sonra;
= ( )
olarak ifade edilir.
2.2.2. MDFFITS Ölçüsü
Bu ölçü tek bir gözlemin değil de şüphe edilen birden fazla gözlemin veri kümesinden çıkartılıp elde edilen kestirilmiş değerlerle, tüm veriler kullanıldığında bulunan kestirilmiş değerler arasındaki farklılığın incelenmesidir. Bu ölçü;
( ) = − ( ) ( − ( )
şeklinde ifade edilir. Bu ifadede de bir takım düzeltmeler yapıldıktan sonra;
( ) = (1 − )
ifadesi elde edilir. Burada I, m sayıda çıkartılacak gözlemlerden oluşan indis kümesi, ( )ise m sayıdaki gözlem çıkartıldıktan sonra elde edilen parametre kestiricilerinin oluşturduğu sütun vektörünü göstermektedir (Besley ve ark., 1980).
MDFFITS ölçüsü, diğer gözlem kümeleri ile karşılaştırıldığında büyük değerler veren gözlem kümelerinin etkili gözlemlere sahip olduğunu belirtir.
2.2.3. Ölçüsü
Besley ve ark.(1980) tek bir satır çıkartıldığında ( ), uydurulmuş değerine nasıl bir değişim olduğunu ölçmek için (2.8) ölçüsünü tanımlamışlardı.
Benzer şekilde birden fazla gözlem çıkartılması durumunda ölçü;
= ( ) ( ( )
( )
ile ifade edilir. Bir takım düzenlemeler yapılırsa;
= ( )
( )
şeklinde ifade edilir.
2.2.4. Ölçüsü
Welsch (1982) sonsuz büyüklükteki örnekleme gözlemlerin bir alt kümesinin eklenmesi ile ortaya çıkacak etkinin uygun şekilde normlu ölçüsüne sonlu bir örneklem yaklaşımı verdi. Bu ölçü;
= ( ) ( ) ( )
( ) (2.15)
olarak tanımlanır. Burada n; gözlem sayısı, I; m sayıda çıkartılacak gözlemlerden oluşan indis kümesidir ve ise;
= ∑ ( − ) ( ) ( )
− ( )
dır. (2.15) ifadesinde gerekli düzenlemeler yapılırsa;
=( ) ( )
( )
ifadesi elde edilir.
2.2.5. COVRATIO Ölçüsü
Bu ölçü (2.11) de ifade edilen COVRATIO ölçüsünün, birden fazla gözlemin çıkartılmasıyla elde edilmiştir. Bu ölçü;
( ) = ( ) ( ) ( )
{ ( ) } (2.16)
olarak tanımlanır. Burada ( ), m sayıdaki gözlem çıkartıldıktan sonra elde edilen varyans kestiricisidir Besley ve ark.,(1980). (2.16) ile verilen ölçü, diğer gözlem kümeleri ile karşılaştırıldığında çok büyük ya da çok küçük değerler veren gözlem kümelerinin varyans-kovaryans matrisi üzerinde büyük etkiye sahip olduğunu belirtir.
2.2.6. Andrews-Pregibon İstatistiği
Bu ölçü, Andrews ve Pregibon (1978) un ifade ettiği ve (2.13) de verilen ölçüsünün (2.14) de gösterilen Z matrisinden birden fazla satırın çıkarılmasıyla elde edilmiş şeklidir. Burada satır çıkarma ile kastedilen durum, birden fazla sapan gözlemlerin belirlenebilmesi için etkili olduğundan kuşku duyulan gözlemlerin aynı anda veri kümesinden çıkartılmasıdır. Bu ölçü;
( )= { ( ) }( ) (2.17)
şeklinde ifade edilir. Bu ölçü şu şekilde de yorumlanır:
1 − ( )
şeklinde tanımlanan ve nin oluşturduğu bir elipsin hacmindeki göreli değişimle ilişkilidir (Draper ve John, 1981). (2.17) deki determinant değerleri özünde hacim değerleri olarak düşünülür. Bu nedenle, diğer gözlem kümeleri ile karşılaştırıldığında küçük ( ) değerlerini veren gözlem kümeleri etkili gözlemlere sahiptir denilebilir.
3. YANLI KESTİRİCİLER
Açıklayıcı değişkenler arasında lineer ilişki olması çoklu iç ilişki problemine neden olmaktadır. Bu durumda neler yapılabileceği Bölüm 1.2.4 de verilmişti. Çoklu iç ilişki problemi olması durumunda EKK kestiricisi hala yansızdır fakat varyansı çok büyüktür. Bu nedenle gerçek değerinde uzaklaşır. Bu problemi ortadan kaldırmak için önerilen kestirim yöntemleri yanlı kestiricilerin ortaya çıkmasına ve incelenmesine neden olmuştur. Bu bölüm de bazı yanlı kestirim yöntemleri incelenecektir.
3.1. Yanlı Kestirim Yöntemleri
EKK kestiricisi, standart regresyon varsayımlarının sağlanması durumunda yansız kestiriciler arasında minumum varyansa sahip olan kestiricidir. Ancak bu varsayımlarının hepsi birden sağlanmadığında, EKK kestiricisinin varyansının minumum olduğu söylenemez. (Çoklu iç ilişki probleminin varlığında daha küçük varyanslı bir kestirici elde etmenin bir yolu, nın kestiricisinin yansız olması özelliğini değiştirmektir.) nın ∗ gibi öyle bir yanlı kestiricisi bulunabilir ki;
yansız dan daha küçük varyansa sahiptir. Hata karaler ortalaması ( ); ve ∗ arasındaki uzaklığın karesinin beklenen değeri olup ∗ kestiricisi için
∗ = ∗− ∗−
şeklinde ifade edilir. Hata kareler ortalaması ( ), ∗ kestiricisinin varyans ve yanlılık teriminin karesinin toplamı olarak;
∗ = ∗ + ∗ − ∗ −
şeklinde ifade edilir. Yanlı kestirim yöntemlerinde amaç küçük bir yanlılık terimi kullanarak varyansı küçük bir kestirici elde etmektir. Buna bağlı olarak yanlı kestirici
için daha dar güven aralıkları elde edilecek ve böyle özellikle çoklu iç ilişkinin varlığı durumunda parametresinin daha uygun bir kestiricisi elde edilmiş olacaktır.
EKK kestiricisine alternatif olarak önerilebilen çok sayıda yanlı kestirici vardır.
Bunlar ridge ve genelleştirilmiş ridge, temel bileşenler, ondalık rank, modified ridge, Stein, Liu ve genelleştirilmiş Liu ve modified Liu kestiricileridir.
3.1.1 Ridge Kestiricisi
Hoerl ve Kennard (1970) çoklu içi ilişki probleminin EKK kestiricisi üzerinde olumsuz etkileri nedeniyle;
= ( + ) , ≥ 0 (3.1)
şeklinde ifade edilen ridge tahmin edicisini tanımlamışlardır ( = 0 olması durumunda EKK elde edilir). Burada sabitine daraltma (shrinkage) veya yanlılık parametresi denir ve nın seçimi ridge kestiricisinin performansını etkiler.
Hoerl ve Kennard (1970) ridge tahmin edicisini şu şekilde ifade etmişlerdir.
herhangi bir tahmin edici olmak üzere nın hata kareler ortalaması, nın optimallik özelliğine göre;
( ) = − −
= − − + − − = +
olarak yazılabilir. Burada − − , yerine nın kullanılmasından dolayı kaynaklanan yanlılığın karesidir. kötü koşullu iken ile arasındaki uzaklık artmaktadır. Bu nedenle kestiricisinin uzaklığının karesini minimum yapmak isteriz. Fakat minimumlaştırma keyfi değildir. Rezidü kareler toplamının verilen belli bir seviyesi için uzaklığın karesini minimum yapmak isteriz (aynı rezidü kareler toplamına sahip pek çok tahmin edici olabilir, fakat bunlar içerisinde en
küçük uzaklıklı olanı seçmek istiyoruz). > 0 hata kareler toplamı için verilen bir sabit olsun. Bu durumda = + koşulunu sağlayan tahmin edicilerin bir kümesi vardır. Bu küme içerisinde en küçük uzunluklu tahminini bulmak isteriz. Yani 1/ Langrange çarpanı olmak üzere;
+ − − − (3.2)
ifadesini inceleriz. (3.2) nin ve 1/ ya göre türevleri
+ ( ) − = 0 (3.3)
ve
= − − (3.4)
normal denklemlerini verir. (3.2) nin çözülmesiyle, (3.1) ile verilen ridge kestiricisi elde edilir.
3.1.1.1. Ridge Kestiricisinin Bazı Özellikleri
1. ; dan kısa bir vektördür,
( = [ + ( ) ] ve ⋀( ), matrisinin öz değerlerini göstermek üzere;
= olup yarı tanımlı matris (psd) olduğundan ≤ ⋀ ( ) ve buradan ≤ ≤ olup, böylece istenilen sonuç elde edilir).
2. < ve → ∞ iken → 0 dır.
3. Ridge kestiricisi = 0 için EKK kestiricisini vermektedir. Ayrıca ridge
kestiricisi EKK kestiricisinin lineer dönüşümü olarak yazılabilmektedir (Eğer (3.1) ifadesinde = ( ) yazılırsa, = [ + ( ) ] olur).
4. Hoerl ve Kennard (1970) ridge kestiricisinin toplam varyansının k nın sürekli,
monoton azalan bir fonksiyonu ve yanlılığın karesinin k nın sürekli, monoton artan bir fonksiyon olduğunu göstermiştir. Bu nedenle varyanstaki azalma yanlılığın karesindeki artıştan fazla olduğu sürece ridge kestiricisinin iyi bir teknik olduğu söylenebilir. = + olsun. Bu durumda
= ( , )= − =
olduğundan ridge kestiricisinin matris kareler ortalaması;
, = ( + )
olur. , , … , , in özdeğerleri olmak üzere skaler hata kareler ortalaması;
, = , = ∑ ( ) + ( + ) (3.5)
veya
, = , = ∑ ( )
şeklinde ifade edilir. (3.5) teki ifadenin ilk terimi toplam varyans, ikinci terim yanlılığın karesi toplamıdır.
5. nın hata kareler ortalaması, nınkinden daha iyi olacak şekilde her zaman bir > 0
vardır (Hoerl ve Kennard, 1970).
3.1.1.2. k Yanlılık Parametresinin Seçimi
Ridge regresyonda nın seçimi için pek çok yöntem regresyon katsayılarının kestirilmesinde önemli bir gelişme olacak şekilde önerilir. Bunlardan bazıları şu şekildedir:
1. Ridge Trace: Hoerl ve Kennard (1970), nın seçimi için ridge trace yöntemini önermiştir. Ridge trace ya karşı nin elemanlarının grafiğidir. arttıkça tahminler küçülür ve belli bir değerinden sonra durağan olurlar. nin durağan olduğu en küçük değerine uygun bir değer olarak alınır. Hoerl ve Kennard (1970) 0 ≤ ≤ 1 aralığını önermiştir. Fakat her veri için bu aralık geçerli olmayabilir (Vinod ve Ullah, 1981).
2. Ridge trace subjektif bir yöntem olduğu için, nın seçimine ilişkin analitik çözümler önerilmiştir. Hoerl ve ark. (1976) tarafından önerilen iteratif yöntemde;
=
başlangıç değer olmak üzere ,
= ( ) ( )
ile verilir ve işlem ardışık olarak sürdürülür. Eğer < 20
.
ise iteresyon sonlandırılır.
3. Hoerl ve Kennard (1970) ridge kestiricisinin EKK den daha küçük ye sahip yanlılık parametresinin kestirimi =
olarak vermiştir. Burada , kanonik formda regresyon katsayısının kestiriminin maksimum değeridir.
4. Theobald (1974) her için − − , − − dan daha küçük olacak şekilde yanlılık parametresinin kestirimi = olarak ifade etmiştir.
5. Hoerl, Kennard ve Baldwin (1975) ridge kestiricisinin değerini minumum yapan = değerlerinin harmonik ortalaması = yı önermiştir.
Simülasyon çalışması yaparak için ridge kestiricisi EKK den daha iyi ye sahip olduğunu göstermişlerdir.
6. Lawless ve Wang (1976) bayesian yaklaşımla = tahminini vermişlerdir. Monte Carlo simülasyon çalışması yaparak için ridge kestiricisinin den ve EKK den daha iyi bir performans sergilediğini göstermiştir.
7. Mallows (1973) tarafından verilen yaklaşım;
= ( )− + 2 + 2 [ ( + ) ]
şeklindedir. Bu değeri minimum yapan optimal değeri olarak alınır.
8. McDonald ve Galarneau (1975), = − ( ) olacak şekildeki yı seçmeyi önermişlerdir.
3.1.2. Genelleştirilmiş Ridge Kestiricisi
Hoerl ve Kennard (1970) genelleştirilmiş ridge kestiricisini = ( ),
≥ 0, = 1,2, … , olmak üzere;
= ( + )
olarak tanımlamıştır. Tüm değerleri eşit iken (3.1) ile verilen ridge kestiricisi elde edilir. kanonik formda regresyon katsayılarının kestirimi olmak üzere, Genelleştirilmiş ridge kestiricisinin skaler hata kareler ortalaması;
= ∑ ( ) + ∑
ile verilir. Ridge kestiricisine benzer şekilde, birinci terimin toplamı varyans, ikinci terim ise yanlılığın karesine karşılık gelmektedir. Genelleştirilmiş ridge kestiricisi için de < olacak şekilde vardır ( = genelleştirilmiş ridge kestiricisinin değerini minimum yapar). Hoerl ve Kennard (1970), değerlerinin iteratif yöntemini vermiştir. nin ilk tahmini için EKK ile başlanır:
= , = 1,2, … , .
kullanılarak = , … , olmak üzere başlangıç genelleştirilmiş ridge kestiricisi ( ) hesaplanır ve bunun yardımıyla bir sonra ki değeri bulunur:
kullanılarak = , … , olmak üzere başlangıç genelleştirilmiş ridge kestiricisi ( ) hesaplanır ve bunun yardımıyla bir sonra ki değeri bulunur: