Yrd.Doç.Dr.A.TalhaYALTA NormallikVarsayımıveEnçokOlabilirlikYöntemi

(1)

Normallik Varsayımı ve Ençok Olabilirlik

Yöntemi

Yrd. Doç. Dr. A. Talha YALTA Ekonometri 1 Ders Notları

Sürüm 2,0 (Ekim 2011)

Yrd. Doç. Dr. A. Talha YALTA (2007 - 2011) Normallik Varsayımı ve Ençok Olabilirlik Yöntemi (Sürüm 2,0)

(2)

Açık Lisans Bilgisi

˙I¸sbu belge, “Creative Commons Attribution-Non-Commercial ShareAlike 3.0 Unported” (CC BY-NC-SA 3.0) lisansı altında bir açık ders malzemesi olarak genel kullanıma sunulmu¸stur.

Eserin ilk sahibinin belirtilmesi ve geçerli lisansın korunması ko¸sulu ile özgürce kullanılabilir, ço ˘galtılabilir ve de ˘gi¸stirilebilir.

Creative Commons örgütü ve “CC-BY-NC-SA” lisansı ile ilgili ayrıntılı bilgi “http://creativecommons.org” adresinde bulunmaktadır. Ekonometri ders notlarımın güncel sürümüne

“http://yalta.etu.edu.tr” adresinden ula¸sabilirsiniz.

A. Talha Yalta

TOBB Ekonomi ve Teknoloji Üniversitesi Ekim 2011

(3)

Ders Planı

1 Normallik Varsayımı ve ˙Ili¸skin Da ˘gılımlar Hata Teriminin Olasılık Da ˘gılımı Normal Da ˘gılıma ˙Ili¸skin Da ˘gılımlar

2 Ençok Olabilirlik Yöntemi Ençok Olabilirlik Yakla¸sımı

˙Ikiterimli Da˘gılım Örne˘gi

˙Ikiterimli Da˘gılım EO Tahmincisi

3 Açıklayıcı Örnekler

Poisson Da ˘gılımı EO Tahmincisi Üstel Da ˘gılım EO Tahmincisi Normal Da ˘gılım EO Tahmincisi

(4)

Ders Planı

(5)

Hata Teriminin Olasılık Da ˘gılımı

Ekonometrik çözümlemede amaç yalnızca ÖB˙I’yi hesaplamak de ˘gil, aynı zamanda AB˙I’ye ili¸skin çıkarsama ve çe¸sitli önsav sınamaları da yapabilmektir.

Bu do ˘grultuda u_i hatalarının olasılık da ˘gılımının bilinmesi ya da belirlenmesi iki nedenden dolayı önemlidir:

1 SEK bir katsayı hesaplama yöntemidir. ÖB˙I’den AB˙I’ye yönelik çıkarsama yapmada tek ba¸sına i¸se yaramaz.

2 βˆ1ve ˆβ2tahmincileri Y ’nin do ˘grusal i¸slevi ve Y ’nin kendisi de u_i’lerin bir do ˘grusal i¸slevidir. Öyleyse, ˆβ₁ve ˆβ₂’nın örneklem da ˘gılımları u_i’lerin olasılık da ˘gılımına ili¸skin varsayımlara dayanmaktadır.

(6)

Hata Teriminin Olasılık Da ˘gılımı

Daha önce ele alınan klasik do ˘grusal ba ˘glanım modeli (KDBM), u_i hata teriminin olasılık da ˘gılımı ile ilgili herhangi bir varsayımda bulunmaz.

Alma¸sık olarak,“Klasik Normal Do ˘grusal Ba ˘glanım Modeli”

(Classical Normal Linear Regression Model) ya da kısaca

“KNDBM”(CNLRM) ise u_i’lerin normal da ˘gıldı ˘gını varsayar.

(7)

Normallik Varsayımı

KNDBM, her bir u_i’nin a¸sa ˘gıdaki de ˘gerlerle normal da ˘gıldı ˘gı varsayımını getirir:

Ortalama: E (u_i) =0

Varyans: E [u_i− E(ui)]²=E (u_i²) = σ² Kovaryans: cov(u_i,u_j) =0, i 6= j

Bu varsayımlar kısaca u_i ∼ N(0, σ²) ¸seklinde de gösterilir.

Buradaki (∼),“da ˘gılımlı”(distributed) anlamına gelir. N ise normal da ˘gılımı göstermektedir.

(8)

Normallik Varsayımı

˙Iki rastsal de˘gi¸skenin kovaryansının sıfır olması bu iki de ˘gi¸skenin ba ˘gımsız oldu ˘gunu gösterir.

Bu nedenle u_i ∼ N(0, σ²)yerine u_i ∼ NBD(0, σ²)de yazılabilir.

Burada NBD“normal ve ba ˘gımsız da ˘gılımlı”(normally and independently distributed, kısaca NID) demektir.

(9)

Normallik Varsayımının Nedenleri

Normallik varsayımının nedenleri ¸sunlardır:

1 Merkezi limit kanıtsavına göre ba ˘gımsız ve özde¸s da ˘gılımlı (BÖD) rastsal de ˘gi¸skenlerin toplam da ˘gılımı, de ˘gi¸sken sayısı sonsuza yakla¸stıkça normale yakınsar.

2 Merkezi limit kanıtsavına göre de ˘gi¸sken sayısı çok fazla olmasa ya da de ˘gi¸skenler tam ba ˘gımsız da ˘gılmasalar bile toplamları normal da ˘gılabilir.

3 Normal da ˘gılan de ˘gi¸skenlerin do ˘grusal i¸slevleri de normal da ˘gılır. (Örnek:βˆ1, ˆβ2ve ˆσ²)

4 Normal da ˘gılım yalnızca iki katsayı (ortalama ve varyans) içeren basit, istatistiksel özellikleri iyi bilinen bir da ˘gılımdır.

(10)

Normallik Varsayımı Altında SEK Tahmincileri

βˆ1ve ˆβ2SEK tahmincileri ile ˆσ²varyans tahmini, normallik varsayımı altında ¸su istatistiksel özellikleri ta¸sırlar:

1 Yansızdırlar. Di ˘ger bir deyi¸sle beklenen de ˘gerleri gerçek de ˘gerlerine e¸sittir.Örnek:E ( ˆβ₁) = β₁.

2 βˆ₁ve ˆβ₂tahmincileri, do ˘grusal ve do ˘grusal-dı¸sı tüm yansız tahminciler içinde enaz varyanslıdır.

3 Tutarlıdırlar. Örneklem sonsuza do ˘gru büyürken gerçek de ˘gerlerine yakınsarlar.

4 βˆ₁ ¸söyle da ˘gılır: ˆβ₁∼ N(β₁, σ²_ˆ

β1).

5 βˆ₂ ¸söyle da ˘gılır: ˆβ₂∼ N(β₂, σ²_ˆ

β2).

6 βˆ₁ve ˆβ₂tahmincileri ˆσ²’dan ba ˘gımsız olarak da ˘gılırlar.

7 (n − 2)ˆσ²/σ²de ˘geri ise n − 2 sd ile χ²da ˘gılımlıdır. Bu bilgi, σ²’ye ili¸skin çıkarsamalarda ˆσ²’den yararlanabilmek içindir.

(11)

Normallik Varsayımı Altında SEK Tahmincileri

Normallik varsayımı yardımı ile ˆβ₁(normal), ˆβ₂(normal) ve ˆ

σ²(ki-kare ile ilgili) örneklem da ˘gılımı bilgilerine ula¸sıyoruz.

Bu durum güven aralıklarını belirlemek ve önsav sınaması yapabilmek için önemlidir.

Dikkat:Y_i’ler u_i’lerin bir i¸slevi oldu ˘guna göre, u_i ∼ N(0, σ²) varsayımı altında Y_i ∼ N(β1+ β2X_i, σ²)olur.

(12)

Normal Da ˘gılımla ˙Ili¸skili Da ˘gılımlar

F , t ve ki-kare (χ²) olasılık da ˘gılımları temelde normal da ˘gılımla ili¸skilidirler.

Bu da ˘gılımların normal da ˘gılımla ili¸skilerini özetleyen yedi kanıtsav bulunmaktadır.

Bu kanıtsavların uygulamadaki önemi büyüktür. Yararları ileride daha iyi anla¸sılacaktır.

(13)

Kanıtsav 1

Z₁,Z₂, . . . ,Z_nde ˘gi¸skenleri Z_i ∼ N(µi, σ_i²)olan normal ve ba ˘gımsız da ˘gılımlı rastsal de ˘gi¸skenler olsun. Bu durumda Z =P k_iZ_i toplamı da a¸sa ˘gıda verilen ortalama ve varyans ile normal da ˘gılır.

E (Z ) =P k_iµi

var(Z ) =P k_i²σ_i²

Kısaca normal rastsal de ˘gi¸skenlerin do ˘grusal bile¸simleri de normal da ˘gılır.

Örnek:Z₁∼ N(10, 2) ve Z2∼ N(8; 1,5) varsayalım ve Z rd’si de Z = 0,8Z₁+0,2Z₂olsun. Buna göre Z

0,8(10) + 0,2(8) = 9,6 ortalama ve 0,64(2) + 0,04(1,5) = 1,34 varyans ile Z ∼ N(9,6; 1,34) olur.

(14)

Kanıtsav 2

Z₁,Z₂, . . . ,Z_nrastsal de ˘gi¸skenleri normal da ˘gılımlı olsun ancak ba ˘gımsız olmasın. Bu durumda Z =P k_iZ_i toplamı da a¸sa ˘gıda verilen ortalama ve varyans ile normal da ˘gılır.

E (Z ) =P k_iµ_i

var(Z ) =P k_i²σ²_i +2P k_ik_jcov(Z_i,Z_j),i 6= j

Örnek:Z₁∼ N(6, 2), Z₂∼ N(7, 3), cov(Z₁,Z₂) =0,8 olsun.

Z rd’si de Z = 0,6Z₁+0,4Z₂olsun. Buna göre Z

0,6(6) + 0,4(7) = 6,4 ortalama ve 0,36(2) + 0,16(3) + 2(0,6)(0,4)(0,8) = 1,58 varyans ile Z ∼ N(6,4; 1,58) olur.

(15)

Kanıtsav 3

Z₁,Z₂, . . . ,Z_nde ˘gi¸skenleri Z_i ∼ N(0, 1) ölçünlü normal ve aynı zamanda ba ˘gımsız rastsal de ˘gi¸skenler olsun. Bu durumda P Z_i²=Z₁²+Z₂²+ · · · +Z_n²toplamı da n serbestlik derecesi ile ki-kare da ˘gılımına uyar.

Kısaca ölçünlü normal da ˘gılımlı ba ˘gımsız rd’lerin kareleri toplamı, toplam terim sayısına e¸sit serbestlik derecesi ile ki-kare da ˘gılımına uyar.

Bir yazım kolaylı ˘gı olarak sd’si k olan χ²da ˘gılımı χ²_k diye gösterilebilir.

Örnek:Z₁,Z₂,Z₃∼ NBD(0, 1) olsun. Öyleyse ¸su geçerlidir:

Z₁²+Z₂²+Z₃²∼ χ²₃

(16)

Kanıtsav 4

Z₁,Z₂, . . . ,Z_nde ˘gi¸skenleri her birinin sd’si k_i olmak üzere χ² da ˘gılımlı ve ba ˘gımsız rastsal de ˘gi¸skenler olsun. Bu durumda bunların toplamı olanP Z_i =Z₁+Z₂+ · · · +Znrastsal de ˘gi¸skeni de sd’si k =P k_i olan ki-kare da ˘gılımına uyar.

Örnek:Z₁ve Z₂, sd’leri sırasıyla 7 ve 9 olan iki ba ˘gımsız ki-kare de ˘gi¸skeni olsun. Buna göre Z₁+Z₂de serbestlik derecesi 7 + 9 = 16 olan bir χ²₁₆de ˘gi¸skenidir.

(17)

Kanıtsav 5

Z₁∼ N(0, 1) ölçünlü normal ve Z₂de Z₁’den ba ˘gımsız ve k sd ile χ²da ˘gılımına uyan bir rastsal de ˘gi¸sken olsun. Bu durumda t = Z₁/(pZ₂/k ) ¸seklinde tanımlanan de ˘gi¸sken de k sd ile Student t da ˘gılımına uyar.

Serbestlik derecesi k sonsuza do ˘gru yakla¸stıkça Student t da ˘gılımı ölçünlü normal da ˘gılıma yakınsar.

Bir yazım kolaylı ˘gı olarak k sd’li t da ˘gılımı t_k diye gösterilir.

(18)

Kanıtsav 6

Z₁ve Z₂, serbestlik dereceleri sırasıyla k₁ve k₂olan ve ba ˘gımsız da ˘gılımlı birer ki-kare de ˘gi¸skeni olsun. Bu durumda F = (Z₁/k₁)/(Z₂/k₂)olarak tanımlanan F de ˘gi¸skeni de k₁pay ve k₂payda serbestlik derecesi ile F da ˘gılımına uyar.

Di ˘ger bir deyi¸sle, F de ˘gi¸skeni kendi sd’lerine bölünmü¸s iki ba ˘gımsız χ²de ˘gi¸skeni arasındaki oranı gösterir.

Bir yazım kolaylı ˘gı olarak, sd’leri k₁ve k₂olan F da ˘gılımlı de ˘gi¸sken F_k₁_,k₂ diye gösterilir.

(19)

Kanıtsav 7

Serbestlik derecesi k olan t rastsal de ˘gi¸skeninin karesi, pay sd’si k₁=1 ve payda sd’si k₂=k ile F da ˘gılımlıdır.

Örnek:F_1,4= (t₄)²’dir.

Örnek:(t₂₅)²=F_1,25 olur.

(20)

Ders Planı

(21)

Ençok Olabilirlik Yakla¸sımı

˙Istatistikte tüm anakütleler kendilerine kar¸sılık gelen bir olasılık da ˘gılımı ile tanımlanırlar.

Sıradan en küçük kareler yöntemi ise özünde olasılık da ˘gılımları ile ilgili herhangi bir varsayım içermez.

Bu nedenle çıkarsama yapmada SEK tek ba¸sına bir i¸se yaramaz.

SEK’i genel bir tahmin süreci olarak de ˘gil de örneklem ba ˘glanım i¸slevlerinin katsayılarını bulmada kullanılan bir hesaplama yöntemi olarak görmeliyiz.

(22)

Ençok Olabilirlik Yakla¸sımı

SEK yönteminden daha güçlü kuramsal özellikler gösteren bir di ˘ger nokta tahmincisi ise“ençok olabilirlik”(maximum likelihood), kısaca“EO”(ML) yöntemidir.

Ençok olabilirlik yönteminin ardında yatan temel ilke ¸su beklentidir:

“Rastsal bir olayın gerçekle¸smesi, o olayın gerçekle¸sme olasılı ˘gı en yüksek olay

olmasındandır.”

Bu yöntem 1920’li yıllarda ˙Ingiliz istatistikçi Sir Ronald A.

Fisher (1890-1962) tarafından bulunmu¸stur.

Ki-kare sınaması, Bayesçi yöntemler ve çe¸sitli ölçüt modelleri gibi birçok istatistiksel çıkarım yöntemi temelde EO yakla¸sımına dayanır.

(23)

Ençok Olabilirlik Yakla¸sımı

EO yöntemini anlayabilmek için elimizde rastsal olarak belirlenmi¸s bir örneklem ve da ˘gılım katsayıları bilinen farklı anakütle adayları oldu ˘gunu varsayalım.

Bu örneklemin farklı anakütlelerden gelme olasılı ˘gı farklı ve bazı ana kütlelerden gelme olasılı ˘gı di ˘gerlerine göre daha yüksektir.

Elimizdeki örneklem e ˘ger bu anakütlelerden birinden alınmı¸ssa, alınma olasılı ˘gı ençok olan anakütleden alınmı¸s oldu ˘gunu tahmin etmek akılcı bir yakla¸sımdır.

(24)

Ençok Olabilirlik Yakla¸sımı

Ençok olabilirlik yöntemi kısaca ¸söyledir:

1 Anakütlenin olasılık da ˘gılımı belirlenir ya da bu yönde bir varsayım yapılır.

2 Eldeki örneklem verilerinin gelmi¸s olma olasılı ˘gının ençok oldu ˘gu anakütlenin hangi katsayılara sahip oldu ˘gu bulunur.

(25)

˙Ikiterimli Da˘gılım Örne˘gi

Ençok olabilirlik yöntemini daha iyi anlayabilmek için ¸su basit örne ˘gi ele alalım:

Elimizde, içinde siyah ya da beyaz toplam on top bulunan de ˘gi¸sik torbalar olsun.

Torbadaki siyah top sayısı i = {0, 1, 2, 3, 4, 5, 6, 7, 8, 9, 10}

olmak üzere 11 farklı torba olasıdır.

Bu torbalardan birinden“yerine koyarak”(with

replacement) dört top seçti ˘gimizi ve S-B-S-B sırasıyla 2 siyah top geldi ˘gini varsayalım.

Bu sonucun hangi torbadan gelmi¸s olabilece ˘gini ençok olabilirlik yakla¸sımı ile tahmin edelim.

(26)

˙Ikiterimli Da˘gılım Örne˘gi

Elimizdeki soru“ikiterimli”(binomial, Bi) da ˘gılım konusudur.

˙Ikiterimli da˘gılıma göre, örnek olarak, 8’i siyah olmak üzere içinde 10 top olan bir torbadan yerine koyarak çekilen 4 toptan 2’sinin (belli bir sıra ile) siyah gelme olasılı ˘gı ¸sudur:

Bi(2|4, 8

10) = 8 10

2 1 − 8

10

4−2

=0,0256

Torbadaki siyah top oranı p olsun. Örne ˘gimizde p için 11 farklı de ˘ger söz konusudur:

p = {₁₀⁰,₁₀¹, . . . ,¹⁰₁₀}

Bu 11 farklı torba için, 4 toptan 2’sinin siyah gelmesi durumunun gerçekle¸sme olasılı ˘gı ¸söyle gösterilebilir:

Bi(2|4, p) = p²(1 − p)⁴⁻²

(27)

˙Ikiterimli Da˘gılım Örne˘gi

Çizelge:Siyah Top Sayısına Göre Olasılı ˘gın Aldı ˘gı De ˘gerler

Siyah Top Sayısı Olasılık

0 Bi(2|4,₁₀⁰) = (0)²(1)⁴⁻² = 0 1 Bi(2|4,₁₀¹) = (0,1)²(0,9)⁴⁻² = 0,0081 2 Bi(2|4,₁₀²) = (0,2)²(0,8)⁴⁻² = 0,0256 3 Bi(2|4,₁₀³) = (0,3)²(0,7)⁴⁻² = 0,0441 4 Bi(2|4,₁₀⁴) = (0,4)²(0,6)⁴⁻² = 0,0576 5 Bi(2|4,₁₀⁵) = (0,5)²(0,5)⁴⁻² = 0,0625 6 Bi(2|4,₁₀⁶) = (0,6)²(0,4)⁴⁻² = 0,0576 7 Bi(2|4,₁₀⁷) = (0,7)²(0,3)⁴⁻² = 0,0441 8 Bi(2|4,₁₀⁸) = (0,8)²(0,2)⁴⁻² = 0,0256 9 Bi(2|4,₁₀⁹) = (0,9)²(0,1)⁴⁻² = 0,0081 10 Bi(2|4,¹⁰₁₀) = (1)²(0)⁴⁻² = 0

Çizelgeye bakarak eldeki örneklemin ençok olasılıkla siyah top sayısı 5 olan torbadan alınmı¸s oldu ˘gunu tahmin ederiz.

(28)

˙Ikiterimli Da˘gılım EO Tahmincisi

Tanımlamı¸s oldu ˘gumuz ikiterimli da ˘gılım sorusunu ¸simdi bir de

“çözümlemesel”(analytical) olarak ele alalım:

Elimizde içinde kaç siyah ve beyaz top oldu ˘gu bilinmeyen bir torba olsun.

Torbadaki siyah top oranına 0 ≤ p ≤ 1 diyelim.

˙Ilk örnekte 4 toptan olu¸san bir örneklem alınmı¸stı. ¸Simdi ise örneklem büyüklü ˘gü n, çıkan siyah top sayısı da k olsun.

Farklı n ve k sonuçları veren toplam N sayıda ba ˘gımsız çekili¸s yapalım.

Ençok olabilirlik yöntemini kullanarak anakütle katsayısı p’yi tahmin etmek istiyor olalım.

(29)

˙Ikiterimli Da˘gılım EO Tahmincisi

Eldeki sorunun ikiterimli da ˘gılımı ilgilendirdi ˘gini biliyoruz.

˙Istatistikte ikiterimli da˘gılım, “ba¸sarı” olasılı˘gı p olan n ba ˘gımsız deneyde ba¸sarılı olan k ’lerin da ˘gılımını gösteren bir kesikli olasılık da ˘gılımıdır.

Olasılık yo ˘gunluk i¸slevi ¸sudur:

Bi(k |n, p) =n k

p^k(1 − p)^n−k (1) Yukarıda verilen OY˙I sırasız çekili¸sler içindir. Matematiksel kolaylık açısından sonuçların belirli bir sırayı izlemesi gerekti ˘gini varsayalım.

Bu durumda kesikli OY˙I ¸su olur:

p^k(1 − p)^n−k (2)

(30)

˙Ikiterimli Da˘gılım EO Tahmincisi

Elimizdeki olasılık yo ˘gunluk i¸slevi ¸suydu:

Bi(k |n, p) = p^k(1 − p)^n−k (3) Toplam N sayıdaki çekili¸s için birle¸sik yo ˘gunluk i¸slevi:

Bi(k_i|n_i,p) = Bi(k₁|n₁,p) Bi(k₂|n₂,p) . . . Bi(k_N|n_N,p) (4) Her bir n_i ve k_i için, (3)’ü (4)’te yerine koyalım:

Bi(k_i|ni,p) = p^{P k}ⁱ(1 − p)^{P n}ⁱ^−kⁱ (5) n₁,n₂. . .n_N ve k₁,k₂. . .k_Nde ˘gerleri veriliyken anakütle katsayısı p e ˘ger bilinmiyorsa, yukarıda gösterilen i¸sleve

“olabilirlik i¸slevi”(likelihood function) adı verilir:

O˙I(p) = p^{P k}ⁱ(1 − p)^{P n}ⁱ^−kⁱ (6)

(31)

˙Ikiterimli Da˘gılım EO Tahmincisi

Adından da anla¸sılaca ˘gı gibi EO tahmini, verili n_ive k_i’leri gözleme olasılı ˘gını ençoklamaya dayanır.

Öyleyse, hedefimiz olabilirlik i¸slevinin“ençoksal”(maximal) de ˘gerini bulmak olmalıdır.

Bu da do ˘grudan bir türev hesabıdır.

(32)

˙Ikiterimli Da˘gılım EO Tahmincisi

Bir i¸slev kendi logaritması ile“tekdüze”(monotonous) ili¸skilidir. Bu nedenle olasılık i¸slevi yerine“log-olasılık”

(log-likelihood) i¸slevini ençoklamak hesap kolaylı ˘gı sa ˘glar:

ln O˙I(p) =

N

X

i=1

k_iln(p) +

N

X

i=1

(n_i− k_i)ln(1 − p) (7)

(7) e¸sitli ˘ginin p’ye göre kısmi türevini alıp sıfıra e¸sitleyelim:

∂ln O˙I

∂p =

N

X

i=1

k_i1 p +

N

X

i=1

(n_i− ki) 1

1 − p(−1) = 0 (8)

(33)

˙Ikiterimli Da˘gılım EO Tahmincisi

Sadele¸stirmelerden sonra, EO tahmincisi ˜p ¸söyle bulunur:

p =˜ PN

i=1k_i PN

i=1n_i (9)

p üzerindeki (∼)“dalga”(tilde) imi, bunun bir EO tahmincisi oldu ˘gunu göstermek için kullanılmı¸stır.

Görülüyor ki EO yöntemi anakütledeki siyah top oranı k de ˘gerini, N çekili¸s sonunda bulunan siyah top sayısının çekilen toplam top sayısına oranı olarak tahmin etmektedir.

(34)

Ders Planı

(35)

Poisson Da ˘gılımı EO Tahmincisi

EO yöntemine bir örnek olarak Poisson da ˘gılımını ele alalım.

Bu kesikli da ˘gılım, verili bir süre ya da uzaysal alan içerisinde bir olayın belirli bir sayıda tekrarlanma olasılı ˘gını anlatır.

Örnek olarak, 5 dakikalık süre içinde belli bir noktadan geçen araç sayısı Poisson da ˘gılımına uyan bir rastsal de ˘gi¸skendir.

Poisson da ˘gılımının genel gösterimi ¸söyledir:

f (x ) = e^−λλ^x

x ! (10)

Burada

x olayın gerçekle¸sme sayısını,

λ ise belirli bir süredeki beklenen gerçekle¸sme sayısını göstermektedir.

Artı de ˘gerli bir gerçel sayı olan λ’ya ait EO tahmincisini bulmak istiyoruz.

(36)

Poisson Da ˘gılımı EO Tahmincisi

Poisson da ˘gılımının matematiksel gösterimini alalım ve n sayıda gözlem için olabilirlik i¸slevini a¸sa ˘gıdaki gibi yazalım.

O˙I(λ) = f (x₁)f (x₂) . . .f (x_n)

= e^−λλ^x¹ x₁!

e^−λλ^x²

x₂! . . .e^−λλ^xⁿ xn!

= e^−nλλ^{P x}ⁱ

Q x_i! (11)

˙Iki yanlı logaritmasını alarak log-olabilirlik i¸slevini bulalım.

ln O˙I = −nλ +X

x_iln λ − lnY

x_i! (12)

(37)

Poisson Da ˘gılımı EO Tahmincisi

Log-olabilirlik i¸slevinin türevini alıp sıfıra e¸sitleyelim:

∂ln O˙I

∂λ = −n +X

x_i1

λ =0 (13)

Yukarıdaki e¸sitli ˘gi λ’ya göre çözersek ¸sunu buluruz:

˜λ = P x_i

n (14)

Demek ki EO yöntemi λ de ˘gi¸stirgesinin tahmincisini x ’in örneklem ortalaması olarak bulmaktadır.

(38)

Üstel Da ˘gılım EO Tahmincisi

˙Ikinci bir örnek olarak“üstel”(exponential) da ˘gılıma bakalım.

Bu sürekli da ˘gılım, olayların belli bir sabit hızda yinelendi ˘gi Poisson türü bir süreçteki gerçekle¸smeler arası süreyi anlatır.

Örnek olarak, belli bir noktadan rastsal olarak geçen araçlar arasında geçen süre üstel da ˘gılıma uyan bir rastsal de ˘gi¸skendir.

Üstel da ˘gılımın olasılık yo ˘gunluk i¸slevi ise ¸söyledir:

f (x ) = ¹_θ e^−x/θ X > 0 için,

=0 X ≤ 0 için. (15)

Burada x süreyi,

θ ise da ˘gılıma ait“hız”(rate) de ˘gi¸stirgesini göstermektedir.

¸

Simdi de θ’nın EO tahmincisini türetmek istiyoruz.

(39)

Üstel Da ˘gılım EO Tahmincisi

Ba¸staki örneklerde yaptı ˘gımız gibi, önce n gözlem için olabilirlik i¸slevini bulalım.

O˙I = 1 θⁿexp

X−xi

θ

(16) Log-olabilirlik i¸slevini yazalım, türevini alıp sıfıra e¸sitleyelim:

ln O˙I = −n ln θ −Xx_i

θ (17)

∂ln O˙I

∂θ = −n

θ +X x_i

θ² =0 (18)

θ =˜ P x_i

n (19)

Demek ki örneklem büyüklü ˘gü n iken θ de ˘gi¸stirgesinin EO tahmincisi ˜θ =P x_i/n olarak bulunmaktadır.

(40)

Normal Da ˘gılım EO Tahmincisi

Son olarak, ¸simdi de Y_i = β1+ β2X_i+u_i iki de ˘gi¸skenli ba ˘glanım modelini EO yöntemi ile tahmin edelim.

Bunun için önce hata teriminin sıfır ortalama ile normal ve ba ˘gımsızca da ˘gıldı ˘gını (u_i ∼ NBD(0, σ²)) varsayalım.

X ∼ N(µ, σ²)rastsal de ˘gi¸sken X ’in olasılık yo ˘gunluk i¸slevi a¸sa ˘gıdaki gibidir:

f (x ) = 1 σ√

2πexp (

−1 2

(x − µ)² σ²

)

(20)

Yukarıdaki exp i¸slemcisi e üzeri anlamına gelmektedir.

(41)

Normal Da ˘gılım EO Tahmincisi

Hataların u_i ∼ N(0, σ²)oldu ˘gunu varsaydı ˘gımıza göre Y_i ∼ N(β₁+ β₂X_i, σ²)’dir. Di ˘ger bir deyi¸sle, Y_i de ˘gerleri β₁+ β₂X_i ortalama ve σ²varyans ile normal da ˘gılırlar.

Buna göre tek bir Y ’nin olasılık yo ˘gunluk i¸slevi ¸sudur:

f (Y |β₁+ β2X , σ²) = 1 σ√

2π exp (

−1 2

(Y − β₁− β₂X )² σ²

) (21)

Birbirinden ba ˘gımsız i ∈ {1, 2, . . . , n} sayıda Y_i’nin ortak olasılık yo ˘gunluk i¸slevi ise n tekil OY˙I’nin çarpımıdır:

f (Y₁|β₁+ β₂X₁, σ²)f (Y₂|β₁+ β₂X₂, σ²) . . .f (Y_n|β₁+ β₂X_n, σ²) (22)

(42)

Normal Da ˘gılım EO Tahmincisi

Elimizdeki n gözlemdeki her bir Y_i ve X_i için (21)’i (22)’de yerine koyarsak, olabilirlik i¸slevini buluruz:

O˙I(β₁, β2, σ²) = 1 σⁿ√

2πⁿ exp

(

−1 2

n

X

i=1

(Y_i− β₁− β₂X_i)² σ²

)

(23) Bu denklemin do ˘gal logaritmasını alırsak da log-olabilirlik i¸slevini elde ederiz:

ln O˙I = −n ln(σ) − n

2ln(2π) −1 2

n

X

i=1

(Y_i− β₁− β₂X_i)²

σ² (24)

ln O˙I de ˘gerini ençoklamak en sondaki terimi enazlamak demektir. Bu da en küçük kareler yakla¸sımı ile aynı ¸seydir.

(43)

Normal Da ˘gılım EO Tahmincisi

Log olabilirlik i¸slevinin β₁, β₂ve σ²’ye göre kısmi türevleri alınırsa ¸su e¸sitlikler bulunur:

∂ln O˙I

∂β₁ = −1 σ²

n

X

i=1

(Y_i− β₁− β₂X_i)(−1) (25)

∂ln O˙I

∂β₂ = −1 σ²

n

X

i=1

(Y_i− β₁− β₂X_i)(−X_i) (26)

∂ln O˙I

∂σ² = − n

2σ² + 1 2σ⁴

n

X

i=1

(Y_i− β₁− β₂X_i)² (27)

(. . . devam)

(44)

Normal Da ˘gılım EO Tahmincisi

(25), (26) ve (27) sıfıra e¸sitlenip birlikte çözüldükten sonra ise a¸sa ˘gıdaki EO tahmincileri elde edilir:

β˜₁ = Y − ˜¯ β₂X¯ (28) β˜2 = P x_iy_i

P x_i² (29)

˜

σ² = P ˆu_i²

n (30)

(45)

Normal Da ˘gılım EO Tahmincisi

Görüldü ˘gü gibi u_i’lerin normal da ˘gıldı ˘gı varsayımı altında β ba ˘glanım katsayılarının EO ve SEK tahmincileri aynıdır.

Di ˘ger yandan σ²tahminleri farklıdır:

SEK tahmincisi ˆ

σ²= P ˆu_i²

n − 2 (31)

EO tahmincisi

˜

σ²= P ˆu_i²

n (32)

Buna göre σ²’nin SEK tahmincisi yansızken EO tahmincisi a¸sa ˘gı do ˘gru yanlıdır.

Ancak kavu¸smazsal olarak, di ˘ger bir deyi¸sle n sonsuza yakla¸stıkça, EO tahmincisi de yansızla¸sır.

Öyleyse, σ²’nin EO tahmincisi“kavu¸smazsal yansızlık”

(asymptotic unbiasedness) özelli ˘gini ta¸sımaktadır.

(46)

Önümüzdeki Dersin Konusu ve Ödev

Ödev

KitaptanBölüm 4“Classical Normal Linear Regression Model (CNLRM)” okunacak.

Önümüzdeki Ders

˙Iki De˘gi¸skenli Ba˘glanım: Aralık Tahmini ve Önsav Sınaması