Ders 12: Regresyon ve Korelasyon

Ders 12: Regresyon ve Korelasyon

 Regresyon analizinin amacı ve yapısı

 En küçük kareler tahmini

 Varyans ve kareler toplamı

 Hipotez testi ve güven aralıkları

 Kalıntı (residual) analizi

 Çok değişkenli doğrusal regresyon

 Doğrusal olmayan regresyon

 İki veya daha fazla değişken arasındaki rastsal (deterministik olmayan) ilişkiyi

araştıran istatistiksel yönteme regresyon analizi denir

 Gözlemlerden yola çıkarak değişkenler arasındaki ilişkinin yapısı ve parametleri öngörülmeye çalışılır.

 Bağımsız değişkenlerdeki değişikliğin,

bağımlı değişkeni nasıl etkileyeceği tahmin edilir.

0 5 10 15 20 25

0 1 2 3 4 5 6 7 8 9 10

𝑅𝑎𝑠𝑡𝑠𝑎𝑙 𝐻𝑎𝑡𝑎 {

} 𝑅𝑎𝑠𝑡𝑠𝑎𝑙 𝐻𝑎𝑡𝑎

İlişki yok Pozitif doğrusal ilişki

Negatif doğrusal ilişki Doğrusal olmayan ilişki

 Bağımsız 𝑋 değişkeni ile bağımlı 𝑌 değişkeni arasında doğrusal bir ilişki vardır.

𝐸 𝑌 = 𝛼 + 𝛽𝑋

 Her bir 𝑌_𝑖 gözleminin beklenen değer ve rastsal terimden oluştuğu varsayılır

𝑌_𝑖 = 𝛼 + 𝛽𝑋_𝑖 + 𝜀_𝑖

 𝛼 ve 𝛽 parametreleri için yapılan tahminler olan 𝑎 ve 𝑏 kullanılarak tahmin edilmiş

regresyon doğrusu elde edilir:

𝑦 = 𝑎 + 𝑏𝑥

 Bağımlı değişken 𝑌 ile bağımsız değişken 𝑋 arasındaki ilişki doğrusaldır.

 Bağımsız değişken 𝑋 doğrusal modelin dışında belirlenir.

 Rastsal terimler:

◦ Birbirlerinden bağımsızdırlar

◦ Normal dağılımdan gelirler

◦ Varyansları sabittir

 Regresyon doğrusu ile gözlem arasındaki farklar hata terimi denir.

 Hata kareler toplamı:

𝑆𝑆𝐸 = 𝑒_𝑖² = 𝑦_𝑖 − 𝑎 − 𝑏𝑥_𝑖 ²

𝑛 𝑖=1 𝑛

 Amaç hata kareler toplamının en düşük olacağı 𝑎 ve 𝑏 𝑖=1

değerlerini bulmak olduğu için kısmı türevleri alıp sıfıra eşitleyerek en küçük kareler tahmin edicilerini elde edebiliriz:

𝑎 = 𝑦 − 𝑏𝑥

𝑏 = ^𝑛_𝑖=1 𝑥_𝑖 − 𝑥 𝑦_𝑖 − 𝑦 𝑥_𝑖 − 𝑥 ²

𝑛𝑖=1

 Gözlem ile ortalama arasındaki sapmaların karelerinin toplamı:

𝑆𝑆 = 𝑦_𝑖 − 𝑦 ²

𝑛

𝑖=1

 Tahmin ile ortalama arasındaki farkın kareler toplamı, regresyon kareler toplamı:

𝑆𝑆𝑅 = 𝑦 _𝑖 − 𝑦 ²

𝑛

𝑖=1

 Tahmin ile gözlem arasındaki farkın kareler toplamı, hata kareler toplamı:

𝑆𝑆𝐸 = 𝑦_𝑖 − 𝑦 _𝑖 ²

𝑛 𝑖=1

 Sapma kareler toplamı, regresyon kareler

toplamı ile hata kareler toplamının toplamına eşittir:

𝑆𝑆 = 𝑆𝑆𝑅 + 𝑆𝑆𝐸

 Belirleyicilik katsayısı, bağımlı değişkenin değişkenliğinin ne kadarının bağımsız

değişkenlerdeki değişim ile açılanabildiğini belirtir:

𝑟² = 𝑆𝑆𝑅 𝑆𝑆

𝑆𝑆 = 𝑦_𝑖 − 𝑦 ²

𝑛

𝑖=1 𝑆𝑆𝑅 = 𝑦 _𝑖 − 𝑦 ²

𝑛 𝑖=1

𝑆𝑆𝐸 = 𝑦_𝑖 − 𝑦 _𝑖 ²

𝑛 𝑖=1

 𝛼 Parametresi için güven aralığı:

𝑎 − 𝑡 × 𝜎 ^𝑛_𝑖=1 𝑥_𝑖²

𝑛 ∙ 𝑆_𝑋𝑋 < 𝛼 < 𝑎 + 𝑡 × 𝜎 ^𝑛_𝑖=1 𝑥_𝑖² 𝑛 ∙ 𝑆_𝑋𝑋

 𝛽 Parametresi için güven aralığı:

𝑏 − 𝑡 × 𝜎

𝑆_𝑋𝑋 < 𝛽 < 𝑏 + 𝑡 × 𝜎 𝑆_𝑋𝑋

 𝑡’nin serbestlik derecesi 𝑛 − 2 olacaktır

 Regresyon modelinin anlamlı olup olmadığını test etmek için:

 𝐻₀: 𝛽₀ = 0

 𝐻_𝑎: 𝛽₀ ≠ 0

 𝑡 = ^𝑏−𝛽_𝜎 ⁰

𝑆𝑋𝑋

 𝑡’nin serbestlik derecesi 𝑛 − 2 olacaktır

 Kalıntıların incelenmesi ile regresyon analizinin varsayımlarının ihlal edilip edilmediği kontrol edilebilir.

 Kalıntıların tüm değişkenlerden ve

birbirlerinden bağımsız olması gerekir.

 Varsayımları sınamak için hipotez testleri

kullanılabileceği gibi kalıntıların değişkenlere göre dağılımları çizilerek görsel olarak da

kontrol edilebilir.

𝑋 ve 𝑌 arasındaki 2. derece ilişki modele katılmadığı için 𝑒 ve 𝑋 bağımsız değiller

-50 0 50 100 150 200 250

0 5 10 15 20

-30 -20 -10 0 10 20 30 40

0 5 10 15 20

𝑋

𝑋

𝑌 𝑒

 Hata terimleri birbirlerinden bağımsız değiller.

 Özellikle zaman serilerinde karşılaşılır.

 Durbin-Watson testi ile sınanabilir.

0 20 40 60 80 100 120 140

0 20 40 60 80 -8

-6 -4 -2 0 2 4 6

-8 -6 -4 -2 0 2 4 6

𝑋

𝑌 𝑒 _𝑖

𝑒 _𝑖−1

Huni etkisi: Hata terimleri bağımlı ya da

bağımsız bir değişkenin değerine bağlı olarak daha fazla yayılırlar

0 20 40 60 80 100 120

0 5 10 15 -80

-60 -40 -20 0 20 40 60

0 5 10 15

𝑋

𝑌 𝑒

𝑋

Bir pazarcı karpuzları tartmak yerine mezura ile çevrelerini ölçerek satmaktadır. Rastgele seçilen 23 karpuzun çevre ve ağırlık ölçümleri verilmiştir.

a) Çevre ve ağırlığın serpilme diyagramını çizip uygun

regresyon modelini oluşturun.

b) Regresyon katsayılarını hesaplayıp yorumlayın.

c) Belirleyicilik katsayısını hesaplayıp yorumlayın.

Çevre (cm) Ağırlık (gr) 50 1200 55 2000 54 1500 52 1700

37 500

52 1000 53 1500 47 1400 51 1500 63 2500

33 500

43 1000 57 2000 66 2500 82 4600 83 4600 70 3100

34 600

51 1500 50 1500 49 1600 60 2300 59 2100

0 500 1000 1500 2000 2500 3000 3500 4000 4500 5000

0 10 20 30 40 50 60 70 80 90

Ağırlık (gr)

Çevre (cm)

a) Regresyon modeli:

𝐸 𝑎ğ𝚤𝑟𝑙𝚤𝑘 = 𝛼 + 𝛽 ∙ ç𝑒𝑣𝑟𝑒

b) 𝑏 = ^{𝑛𝑖=1 𝑥𝑖−𝑥 𝑦}_𝑥 ^𝑖−𝑦

𝑖−𝑥 ²

𝑛𝑖=1 = ^293391,3_3557,5 ≅ 82,47

Karpuzun çevresi 1cm arttığında ağırlığının 82,47 gram artması beklenmektedir

𝑎 = 𝑦 − 𝑏𝑥 = 1856 − 82,47 × 54,4 ≅ −2639,2 Çevresi 0cm olan karpuzun ağırlığının - 2639,2gr olması beklenmektedir.

c) 𝑟² = ^𝑆𝑆𝑅

𝑆𝑆 = ^{𝑛𝑖=1 𝑦 𝑖−𝑦 2}

𝑦_𝑖−𝑦 ²

𝑛𝑖=1 = 24196481,65

25816521,74 ≅ 0,9372

Ağırlıktaki değişimin %94’ü, çevredeki değişim ile açıklanabilmektedir.

Bağımsız değişken sayısı birden fazlaysa:

𝐸 𝑌 = 𝛽₀ + 𝛽₁𝑥₁ + 𝛽₂𝑥₂ + ⋯ + 𝛽_𝑟𝑥_𝑟 Matris notasyonu ile:

𝒚 = 𝑿𝜷 + 𝝐

𝒚 =

𝑦₁

⋮

𝑦_𝑛 , 𝑿 =

1 𝑥₁₁ 1 𝑥₁₂

… 𝑥_𝑘1

… 𝑥_𝑘2

1 ⋮

1 𝑥_1𝑛

⋱ ⋮

… 𝑥_𝑘𝑛

, 𝜷 =

𝛽₀ 𝛽₁

⋮ 𝛽_𝑘

, 𝝐 =

𝜖₀ 𝜖₁

⋮ 𝜖_𝑘 En küçük kareler tahmin edicisi:

𝛽 = 𝑿^′𝑿 ⁻¹ 𝑿^′𝒚

Bazen değişkenler arası ilişki doğrusal değil, üstel olabilir:

𝐸 𝑌 = 𝛾 ∙ 𝛿^𝑥

Eşitliğin iki tarafının da logaritması alınırsa:

log 𝐸 𝑌 = log 𝛾 + log 𝛿 ∙ 𝑥

Doğrusal modeli tahmin edilebilir.

 Regresyon ile polinom eğrisi de hesaplanabilir.

 𝐸 𝑌 = 𝛽₀ + 𝛽₁𝑥 + 𝛽₂𝑥² + ⋯ + 𝛽_𝑟𝑥^𝑟

 Şeklinde yazılan denklemde 𝜷 için tahmin edicileri hesaplamak için

 𝑥₁ = 𝑥, 𝑥₂ = 𝑥², … 𝑥_𝑟 = 𝑥^𝑟konularak çok

değişkenli regresyon modeli oluşturulur.