ρ Σ Σ  VarYllip () , 1,2,...,  CovYYllikp (,) ; ,1,2,...,

(1)

NOT: BU DERS NOTLARI “APPLIED MULTIVARIATE STATISTICAL ANALYSIS” (Johnson, R. A. ve Wichern, D. W.) KİTABI TEMEL ALINARAK HAZIRLANMIŞTIR. TELİF HAKKI KİTABIN YAZARI VE BASIM EVİNE AİTTİR.

1. HAFTA

TEMEL BİLEŞENLER ANALİZİ

Temel bileşenler analizi, orijinal değişkenlerin birkaç doğrusal birleşiminin varyans-kovaryans yapısının açıklanması ile ilgilenir. Temel bileşenler analizi ile boyut indirgeme yapılır.

Kitle Temel Bileşenleri

Cebirsel olarak temel bileşenler X X1, 2,...,Xp gibi p tane rasgele değişkenin doğrusal birleşimleridir. Geometriksel olarak, bu doğrusal birleşimler koordinat eksenleri X X₁, ₂,...,Xp olan orijinal sistemin döndürülmesiyle elde edilen yeni koordinat eksenlerin belirlenmesiyle açıklanabilir. Yeni eksenler değişkenler arasındaki kovaryans yapısıyla elde edilir.

Temel bileşenler X X1, 2,...,Xp rasgele değişkenlerinin veya X ( ,X X1 2,...,Xp)rasgele vektörünün varyans-kovaryans matrisi Σ veya korelasyon matrisi ρ dan elde edilir.

1 2

( , ,..., _p)

X  X X X rasgel vektörünün özdeğerleri  ₁ ₂  ... p 0 olan Σ

varyans-kovaryans matrisine sahip olsun.

1 1 11 1 21 2 1 2 2 12 1 22 2 2 1 1 2 2 ... ... . . . ... p p p p p p p p pp p Y l X l X l X l X Y l X l X l X l X Y l X l X l X l X                  

doğrusal birleşimlerini göz önüne alalım. Buradan, Var Y( )_i  l l_i _i , i1,2,...,p

(2)

1, ,...,2 p

Y Y Y temel bileşenleri birbirleriyle ilişkisiz ve varyans değerlerine göre sıralanmaktadır. Yani Var Y( )₁  l l₁ ₁ maksimumdur. Açıkça Var Y( )₁  l l₁ ₁ her hangi bir sabit ile çarpılarak artırılabilir. Bu belirsizliğin giderilmesi için katsayı vektörleri birim uzunlukta olacak biçimde belirlenmeye çalışılır.

Böylece birinci temel bileşen, l l1 1 =1 kısıtına göre Var Y( )1 Var l X( 1 ) değerini maksimum yapan l X₁ doğrusal birleşimidir. İkinci temel bileşen, l l₂ ₂=1 ve

1 2

( , ) ( , )=0

Cov Y Y Cov l X l X  kısıtlarına göre Var Y( )₂ Var l X( ₂ ) değerini ikinci sırada maksimum yapan l X₂ doğrusal birleşimidir. Buradan, i inci temel bileşen, l l_i _i=1 ve

( , )_i _k ( _i , _k )=0 ,

Cov Y Y Cov l X l X  k i kısıtlarına göre Var Y( )_i Var l X( _i ) değerini i inci sırada maksimum yapan l X_i doğrusal birleşimidir.

Sonuç 1. X ( ,X X₁ ₂,...,X_p) rasgele vektörünün varyans-kovaryans matrisi Σ ’nın özdeğer ve özvektör çiftleri ( , ),( , ),..., ( , )1 e1 2 e2 p ep olmak üzere i inci temel bileşen

Y_i e X_i e X₁_i ₁e X₂_i ₂ ... e X_pi _p ; i1, 2,...,p ile verilir. Burada  ₁ ₂  ... _p 0 ve

Cov Y Y( , )_i _k  e e e_i _k= _i_ke_k=_ke e_i _k= 0 ; ,i k1, 2,..., , p i k

dır. Eğer bazı _i ler eşit ise ilişkili katsayı vektörleri e ’ler ve _i Y ’lerin seçimi tek değildir. _i

Sonuç 2. X ( ,X X₁ ₂,...,X_p) rasgele vektörünün varyans-kovaryans matrisi Σ ’nın özdeğer ve özvektör çiftleri ( , ),( , ),..., ( , )₁ e₁ ₂ e₂ p ep olsun ve temel bileşenler

1 2

1 , 2 ,..., p p

Y e X Y e X Y e X olmak üzere

(3)

11 22 1 1 2 1 ... ( ) ... ( ) p pp i i p p i i Var X Var Y                 



dir.

İspat: ₁₁₂₂ ... pp tr( ) dır. Λ , Σ nın özdeğerlerinden oluşan diagonal bir matris ve

P , Σ nın özdeğerlerine karşılık gelen birim özvektörlerden oluşan ortogonal bir matris olsun Yani P( , ,..., )e e₁ ₂ ep ve PPP P I ’dir. Spektral ayrışımdan,     P P dır. Buradan, 

1 2 ( ) ( ) ( ) ( ) ... _p tr tr tr tr                 P P P P dir. Böylece 1 1 ( ) ( ) ( ) ( ) p p i i i i Var X tr tr Var Y       



dir. Bu sonuç toplam kitle varyansının ₁₁₂₂ ... pp  ₁ ₂ ... p oluğunu ve buradan k ıncı temel bileşenin varyansının toplam varyansa oranının

11 22 1 2 , 1,2,..., ... ... k k pp p k p            olduğunu gösterir.

Eğer p değeri büyük olduğunda, ilk birkaç temel bileşen için bu oran %80 veya %90 elde edilirse, fazla bilgi kaybı olmadan bu bileşenler orijinal p değişkenin yerini alır. Ayrıca orijinal değişkenlerin hangi temel bileşenler üzerinde daha etkin olduğuna da bakılabilir. Bunun için orijinal değişkenler ile temel bileşenler arasındaki korelasyonlara bakmak gerekir.

(4)

_, ; , 1, 2,..., k i ki i X Y kk e i k p      k

X rasgele değişkeni ile Y temel bileşeni arasındaki korelasyon katsayısıdır. Burada _i

1 2

( , ),( , ),..., ( , ) e  e p ep ’ ler Σ ’nın özdeğer ve birim özvektör çiftleridir.

İspat: ( , ) _, ( , ) ; , 1, 2,..., ( ) ( ) k i k i k i X Y k i Cov X Y Corr X Y i k p Var X Var Y     dir. l_k (0,...,0,1,0,...,0) olsun. Böylece l X X_k = _k dir ve ( , ) ( , ) = k i k i k i k i i k i i i ki Cov X Y Cov l X e X l e l e l e e            

(5)

, ( , ) ( ) ( ) = ; , 1, 2,..., = k i k i X Y k i i ki i kk i ki kk Cov X Y Var X Var Y e i k p e         dir.

Örnek 1: X ( , , )X X X₁ ₂ ₃ rasgele vektörüne ilişkin varyans- kovaryans matrisi

1 2 0 2 5 0 0 0 2  _        _ _      

olsun.  varyans-kovaryans matrisini göz önüne alarak

a) Temel bileşenleri elde ediniz.

b) Temel bileşenlerin varyanslarını bulunuz.

c) Temel bileşenler arasındaki kovaryansları bulunuz.

d) Temel bileşenlerin toplam değişimi açıklama oranlarını hesaplayınız. e) Temel bileşenler ile rasgele değişkenler arasındaki korelasyonları bulunuz.

Çözüm 1:

a) Temel bileşenlerin bulunabilmesi için öncelikle  varyans-kovaryans matrisinin özdeğer ve birim özvektörleri elde edilmelidir.

Özdeğerler için : _det(___I_{) 0}_ olacak şekildeki    değerlerini bulmalıyız.

(6)

Özdeğerlere karşılık gelen özvektörler :  x x eşitliğinden elde edilir. Örneğin , 1 5.8284

  özdeğerine karşılık gelen özvektörü bulalım:

1 1 2 2 3 3 1 2 0 2 5 0 5.8284 0 0 2 x x x x x x  _            _    _                          

denklem sistemi açık formda yazalım :

1 2 1 1 2 2 3 3 2 5.8284 2 5 5.8284 2 5.8284 x x x x x x x x      

Son eşitlikten x  olduğu açıktır. 1. ve 2. denklemler yeniden düzenlendiğinde ikisinin de₃ 0

1 2

4.8284x 2x  denklemine eşit oldukları görülecektir. Bu durumda denklemin sonsuz 0 çözümü vardır. Bunlardan biri x  alınırsa, ₁ 1 x  ₂ 2.4142 bulunur. Bu durumda

x 

  

12  2.4142

  

2  0 2 2.6131

e  '₁ [1 2.4142 0]/ 2.6131 [0.383 0.924 0]  Özdeğerler ve birim özvektörler aşağıdaki tabloda verilmiştir:

1 5.8284 5.83

     ₂ 2  ₃ 0.17

1

' [0.383 0.924 0]

e   e '2 [0 0 1] e '3 [0.924 0.383 0 ]

Buradan temel bileşenler:

(7)

1 3 2 1 2 3 3 0.924 0.383 0 0.924 0.383 0 X Y X X X X X         __  __{ }      _{ }  

elde edilir. Varyans - Kovaryans matrisine bakıldığında, X rasgele değişkeni diğer rasgele ₃ değişkenlerle ilişkisiz olduğundan, temel değişkenlerden birinin X olacağı zaten biliniyordu. ₃

b) Temel bileşenlerin varyanslarının bulunması. 1. Yol :

 







   



 





   



 

1 1 2 2 2 1 2 1 2 2 2 1 0.383 0.924 0.383 0.924 2 0.383 0.924 , 0.383 1 0.924 5 2 0.383 0.924 2 5.83 Var Y Var X X

Var X Var X Cov X X

Var            

 

2 3 2 2 Var Y Var X    

 







   



 





   



 

3 1 2 2 2 1 2 1 2 2 2 3 0.924 0.383 0.924 0.383 2 0.924 0.383 , 0.924 1 0.383 5 2 0.924 0.383 2 0.17 Var Y Var X X

Var X Var X Cov X X

           

2. Yol : (Matris işlemleriyle)

(8)

 

1 1 1 ' 1 2 0 0.383 0.383 0.924 0 2 5 0 0.924 0 0 2 0 0.383 2,231 5,386 0 0.924 0 5,83 Var Y e e  _               __  __{ }_ _{ } _                     __  __{ }_ _       elde edilir. Benzer şekilde

 

2 2 2 2 ' 2 Var Y e e      ve

 

3 3 3 3 ' 0,17 Var Y e e      olarak bulunur. Ayrıca

 

3 1 2 3 1 11 22 33 1 5 2 8 i

i Var X Var X Var X Var X

             



 

3 1 2 3 1 1 2 3 ( ) ( ) ( ) 5,83 2 0017 8 i

i Var Y Var Y Var Y Var Y

(9)

c) Temel bileşenler arasındaki kovaryansların bulunması. 1. Yol :

 

_

_

; , ' , ' ' ' ' 0 i k i k i k i k k i k k Cov Y Y Cov e X e X i k e e e e e e         

Burada birim özvektörler bir birine dik olduğundan yukarıdaki sonuç sıfır çıkar. 2. Yol :











 



1 2 1 2 3 1 3 2 3 0 0 , 0.383 0.924 , 0.383 , 0.924 , 0 Cov Y Y Cov X X X Cov X X Cov X X       













   













 



  

1 3 1 2 1 2 2 1 1 2 1 2 2 2 1 2 2 5 , 0.383 0.924 ,0.924 0.383 0.383 0.924 0.383 , 0.924 , 0.924 0.383 Cov Y Y Cov X X X X Var X Cov X X Cov X X Var X                0 



2, 3





3,0.924 1 0.383 2



0 Cov Y Y Cov X X  X 

d) Temel bileşenlerin toplam değişimi açıklama oranlarının hesaplanması.  1. Temel bileşenin toplam varyansa katkısı

 

1 ₁ 3 1 2 3 1 5.83 8 0.73 i i Var Y Var Y          



(10)

 

2 2 3 1 2 3 1 2 8 0.25 i i Var Y Var Y          



 3. Temel bileşenin toplam varyansa katkısı

 

3 ₃ 3 1 2 3 1 0.17 8 0.02 i i Var Y Var Y          



Burada ilk iki temel bileşenin varyanslarının toplamının, toplam varyansa katkısı 0.73 0.25 0.98  (oldukça yüksek %98) olduğundan, iki temel bileşen yeterlidir. BunlarY ₁ ve Y temel bileşenlerdir. Böylece ₂ X , ₁ X , ₂ X rasgele değişkenleri yerine, ₃ Y ve ₁ Y temel ₂ bileşenleri alınarak boyut indirgeme yapılmış olur. Yani 3 boyuta, 2 boyuta indirgenmiş olur.

e) Temel bileşenler ile rasgele değişkenler arasındaki korelasyonları bulunması. Temel bileşenler ile rasgele değişkenler arasındaki korelasyonlar

_, _{, ,} _1,2,..., i k ki i Y X kk e i k p      ile bulunur.

Örneğin, e'₁ [e e e_{11 21 31}] [0.383 0.924 0]  kullanılarak Y temel bileşeninin ₁ X , ₁ X , ₂ 3

(11)

1 1 1 2 1 3 11 1 , 11 21 1 , 22 31 1 , 33 0.383 5.83 0.925 1 0.924 5.83 _0.998 5 0 5.83 0 2 Y X Y X Y X e e e                    

Benzer şekilde diğer korelasyonlar hesaplandığında aşağıdaki tablo elde edilir:

, i k Y X  X ₁ X ₂ X ₃ 1 Y 0.925 -0.998 0 2 Y 0 0 1 3 Y 0.381 0.070 0