ANKARA ÜNĠVERSĠTESĠ FEN BĠLĠMLERĠ ENSTĠTÜSÜ DOKTORA TEZĠ KARMA REGRESYON MODELLERĠNDE DAYANIKLI PARAMETRE TAHMĠNĠ Fatma Zehra DOĞRU ĠSTATĠSTĠK ANABĠLĠM DALI ANKARA 2015 Her hakkı saklıdır

203  Download (0)

Tam metin

(1)

ANKARA ÜNĠVERSĠTESĠ FEN BĠLĠMLERĠ ENSTĠTÜSÜ

DOKTORA TEZĠ

KARMA REGRESYON MODELLERĠNDE DAYANIKLI PARAMETRE TAHMĠNĠ

Fatma Zehra DOĞRU

ĠSTATĠSTĠK ANABĠLĠM DALI

ANKARA 2015

Her hakkı saklıdır

(2)

TEZ ONAYI

Fatma Zehra DOĞRU tarafından hazırlanan “Karma Regresyon Modellerinde Dayanıklı Parametre Tahmini” adlı tez çalıĢması 29/09/2015 tarihinde aĢağıdaki jüri tarafından oy birliği ile Ankara Üniversitesi Fen Bilimleri Enstitüsü Ġstatistik Anabilim Dalı’nda DOKTORA TEZĠ olarak kabul edilmiĢtir.

DanıĢman : Prof. Dr. Olcay ARSLAN

Ankara Üniversitesi Ġstatistik Anabilim Dalı

Jüri Üyeleri:

BaĢkan : Prof. Dr. Mehmet Akif BAKIR

Gazi Üniversitesi Ġstatistik Anabilim Dalı

Üye : Prof. Dr. Olcay ARSLAN

Ankara Üniversitesi Ġstatistik Anabilim Dalı

Üye : Prof. Dr. Birdal ġENOĞLU

Ankara Üniversitesi Ġstatistik Anabilim Dalı

Üye : Doç. Dr. Halil AYDOĞDU

Ankara Üniversitesi Ġstatistik Anabilim Dalı

Üye : Doç. Dr. Vilda PURUTÇUOĞLU GAZĠ

Orta Doğu Teknik Üniversitesi Ġstatistik Anabilim Dalı

Yukarıdaki sonucu onaylarım.

Prof. Dr. Ġbrahim DEMĠR Enstitü Müdürü

(3)

i ETĠK

Ankara Üniversitesi Fen Bilimleri Enstitüsü tez yazım kurallarına uygun olarak hazırladığım bu tez içindeki bütün bilgilerin doğru ve tam olduğunu, bilgilerin üretilmesi aĢamasında bilimsel etiğe uygun davrandığımı, yararlandığım bütün kaynakları atıf yaparak belirttiğimi beyan ederim.

29.09.2015

Fatma Zehra DOĞRU

(4)

ii ÖZET

Doktora Tezi

KARMA REGRESYON MODELLERĠNDE DAYANIKLI PARAMETRE TAHMĠNĠ

Fatma Zehra DOĞRU Ankara Üniversitesi Fen Bilimleri Enstitüsü Ġstatistik Anabilim Dalı DanıĢman: Prof. Dr. Olcay ARSLAN

Bu tez çalıĢmasında, kalın kuyruklu ve/veya çarpık dağılımlı hata terimli karma regresyon modellerini modelleyebilmek için çarpık t dağılımına dayalı dayanıklı karma regresyon modeli önerilmiĢtir. Çarpık t dağılımının stokastik gösteriminden yararlanılarak ilgili parametreler için EM (Expectation-Maximization) algoritması kullanılarak en çok olabilirlik (ML) tahmin edicileri elde edilmiĢtir. Önerilen tahmin edicilerin performansları simülasyon çalıĢması ve gerçek veri üzerinde uygulaması yapılarak literatürde yer alan normal, t ve çarpık normal dağılımlara dayalı karma regresyon modelinden elde edilen tahmin edicilerin performansları ile karĢılaĢtırılmıĢtır.

Simülasyon sonuçları ve gerçek veri uygulaması sonuçlarına göre kalın kuyrukluluk ve çarpıklık olduğunda önerilen tahmin edicilerin daha iyi sonuçlar verdiği gözlenmiĢtir.

Verideki grupların farklı kuyruk davranıĢlarına sahip olması durumunda farklı dağılımların karma regresyon modeli önerilmiĢtir. Özel olarak, normal-t ve çarpık t- çarpık normal dağılımlarının iki bileĢenli karma regresyon modeli ele alınmıĢtır. EM algoritması kullanılarak ilgili parametreler için ML tahmin edicileri elde edilerek, tahmin edicilerin performansları simülasyon çalıĢması ve gerçek veri üzerinde gösterilmiĢtir. Ayrıca, karma regresyon modeli için Bai (2010) ve Bai vd. (2012) tarafından önerilen M-tahmin yöntemine dayalı dayanıklı karma regresyon modeli yönündeki aykırı gözlemlere karĢı dayanıklı olmadığından, genelleĢtirilmiĢ M (GM)- tahmini yöntemine dayalı dayanıklı karma regresyon modeli önerilmiĢtir. Bu yeni yöntem ve yönündeki aykırı gözlemlere karĢı dayanıklı olacaktır. GM-tahmin yöntemine dayalı karma regresyon modeli tahmin edicileri EM benzeri algoritma kullanılarak verilmiĢtir. Önerilen bu tahmin edicilerin performansları sümülasyon çalıĢması ve gerçek veri kullanılarak gösterilmiĢtir. Sonuçlara göre, yönünde aykırı gözlem olduğunda GM-tahmin yöntemine dayalı tahmin ediciler M-tahmin yöntemine dayalı tahmin edicilere göre daha üstündür.

Eylül 2015, 159 sayfa

Anahtar Kelimeler: Karma regresyon modeli, dayanıklı regresyon, en çok olabilirlik, EM algoritması, çarpık t, GM-tahmin yöntemi

(5)

iii ABSTRACT

Ph.D. Thesis

ROBUST PARAMETER ESTIMATION IN MIXTURE REGRESSION MODELS

Fatma Zehra DOĞRU

Ankara University

Graduate School of Natural and Applied Sciences Department of Statistics

Supervisor: Prof. Dr. Olcay ARSLAN

In this thesis, robust mixture regression model based on the skew t distribution was proposed to model heavy-tailed and/or skewed errors in a mixture regression setting.

Using the scale mixture representation of skew t distribution, the maximum likelihood (ML) estimators were given using the Expectation Maximization (EM) algorithm. A simulation study and a real data example are provided to compare the performance of the proposed estimators with the estimators based on normal, t and skew normal distributions. The results confirm that when heavy-tailedness and skewness are present the proposed estimators behave better than the counterparts. The mixture regression model based on mixture of different type of distributions were examined when groups in the dataset have different tail behaivor. In particular, two-component mixture of normal-t distributions, and skew t-skew normal distributions were considered. Again, the ML estimators for the parameters of interest were obtained using the EM algorithm and the performance of proposed estimators were demonstrated with simulation study and real data example. Furthermore, since the estimation method proposed by Bai (2010) and Bai et al. (2012) is sensitive to the outliers in the direction, robust mixture regression model based on the Generalized M (GM)-estimation method was proposed.

The new estimation method will be resistant to the outliers in the and directions.

The estimators for mixture regression model based on the GM-estimation method were given using an EM type algorithm. The performance of proposed estimators was illustrated using simulation study and real data example. The results show that the estimators based on the GM estimation method outperform the estimators based on the M-estimation method when there are outliers in direction.

September 2015, 159 pages

Key Words: Mixture regression models, robust regression, maximum likelihood, EM algorithm, skew t, GM-estimation method

(6)

iv TEġEKKÜR

Bu tez çalıĢmasının her aĢamasında benimle büyük bir sabır ve titizlikle ilgilenen, öneri ve yardımlarını hiçbir zaman esirgemeyen, değerli bilgileriyle yol gösteren ve her zaman yanımda olan değerli danıĢman hocam Sayın Prof. Dr. Olcay ARSLAN’a (Ankara Üniversitesi Ġstatistik Anabilim Dalı) sonsuz teĢekkür ederim.

Her zaman esprili ve sevecen kiĢiliğiyle tanıdığım, yardımlarını ve manevi desteğini hiçbir zaman esirgemeyen ve TĠK toplantılarındaki değerli katkılarından dolayı Sayın hocam Prof. Dr. Birdal ġENOĞLU’na (Ankara Üniversitesi Ġstatistik Anabilim Dalı) çok teĢekkür ederim. Ayrıca, TĠK raporlarını titizlikle okuyarak yaptığı yorum ve katkılarından dolayı Sayın hocam Doç. Dr. Vilda PURUTÇUOĞLU’na (Orta Doğu Teknik Üniversitesi Ġstatistik Anabilim Dalı) çok teĢekkür ederim.

Üniversiteye baĢladığım andan itibaren aynı yolda yürüdüğüm bana iyi bir dost, iyi bir ev arkadaĢı ve her Ģeyden öte kardeĢ olan, manevi desteğini hiçbir zaman esirgemeyen değerli arkadaĢım ArĢ. Gör. Fatma Gül AKGÜL’e, tanıdığım ilk günden itibaren bana bir abla gibi davranıp yalnız olmadığımı hissettiren ve desteğini esirgemeyen değerli arkadaĢım Yrd. Doç. Dr. Demet AYDIN’a, göstermiĢ olduğu manevi destek ile moralimi her zaman yüksek tutan değerli arkadaĢım ArĢ. Gör. Özlem BATTAL’a ve tez çalıĢmam boyunca moral ve desteği ile her zaman yanımda olan değerli arkadaĢım ArĢ.

Gör. Dr. Yakup Murat BULUT’a göstermiĢ oldukları sevgi ve arkadaĢlıkları için çok teĢekkür ederim.

Eğitim hayatım boyunca varlıklarıyla, maddi ve manevi destekleriyle bugünlere gelmemde en büyük katkısı olan, her zaman yanımda olduklarını bildiğim en büyük destekçilerim annem Meryem DOĞRU, babam Nurhani DOĞRU, ablam Rukiye DOĞRU, abim Murat Osman DOĞRU ve eĢi Deniz DOĞRU ve en önemlisi biricik yeğenim Alperen DOĞRU’ya sonsuz teĢekkür ederim.

2211-Yurt Ġçi Doktora Burs Programı kapsamında sağladığı destekten ötürü TÜBĠTAK Bilim Ġnsanı Destekleme Daire BaĢkanlığı birimine teĢekkür ederim.

Fatma Zehra DOĞRU Ankara, Eylül 2015

(7)

v

ĠÇĠNDEKĠLER

TEZ ONAY SAYFASI

ETĠK ... i

ÖZET ... ii

ABSTRACT ... iii

TEġEKKÜR ... iv

KISALTMALAR DĠZĠNĠ ... vii

ġEKĠLLER DĠZĠNĠ ... viii

ÇĠZELGELER DĠZĠNĠ ... x

1. GĠRĠġ ... 1

1.1 Çoklu Lineer Regresyon Modeli ... 6

1.1.1 Çoklu lineer regresyon modeli için parametre tahmini... 6

1.2 EM Algoritması ... 9

1.3 t Dağılıma Dayalı Regresyon Modeli için Parametre Tahmini ... 10

1.4 Çarpık Dağılımlar ... 15

1.4.1 Çarpık normal dağılım ... 15

1.4.1.1 Çarpık normal dağılıma dayalı regresyon modeli için parametre tahmini ... 19

1.4.2 Çarpık t dağılımı ... 22

1.4.2.1 Çarpık t dağılımına dayalı regresyon modeli için parametre tahmini ... 28

2. DAYANIKLI ĠSTATĠSTĠK ... 34

2.1 Dayanıklılığı ölçme ... 35

2.1.1 Etki fonksiyonu ... 35

2.1.2 Kırılma noktası ... 36

2.2 Dayanıklı Regresyon Yöntemleri ... 37

2.2.1 Regresyon M-tahmin yöntemi ... 37

2.2.1.1 Regresyon M-tahmini için etki fonksiyonu ... 41

2.2.1.2 Regresyon M-tahmini için kırılma noktası ... 41

2.2.2 GM-tahmin yöntemi... 42

2.2.2.1 GM-tahmini için etki fonksiyonu ... 45

2.2.2.2 GM-tahmini için kırılma noktası ... 47

2.3 ve Fonksiyonu Seçimi ... 48

3. KARMA REGRESYON MODELĠ ... 52

3.1 Karma Model ... 52

3.1.1 Karma modelin parametre tahmini ... 54

3.1.2 Karma modelin parametre tahmini için EM algoritması ... 55

3.2 Dağılıma Dayalı Karma Regresyon Modeli ... 56

3.2.1 Normal dağılıma dayalı karma regresyon modeli ... 57

3.2.2 Çarpık normal dağılıma dayalı karma regresyon modeli ... 61

4. DAYANIKLI KARMA REGRESYON MODELĠ ... 67

4.1 Dağılıma Dayalı Dayanıklı Karma Regresyon Modeli ... 68

4.1.1 t dağılımına dayalı karma regresyon modeli ... 68

4.1.2 Çarpık t dağılımına dayalı dayanıklı karma regresyon modeli ... 73

4.2 Simülasyon ÇalıĢması ... 80

4.3 Farklı Dağılıma Dayalı Dayanıklı Karma Regresyon Modelleri ... 86

4.3.1 Normal ve t dağılımına dayalı dayanıklı karma regresyon modeli ... 86

(8)

vi

4.3.2 Çarpık t ve çarpık normal dağılıma dayalı karma regresyon modeli ... 93

4.4 Simülasyon ÇalıĢması ... 103

4.5 Dayanıklı Regresyon Yöntemlerine Dayalı Karma Regresyon Modelleri ... 111

4.5.1 M-tahmin yöntemine dayalı karma regresyon modeli ... 111

4.5.2 GM-tahmin yöntemine dayalı karma regresyon modeli ... 116

4.5.2.1 Mallows tipi GM-tahmin yöntemine dayalı karma regresyon modeli ... 117

4.5.2.2 Schweppe tipi GM-tahmin yöntemine dayalı karma regresyon modeli .... 122

4.6 Simülasyon ÇalıĢması ... 126

5. UYGULAMA ... 138

5.1 Bazı Model Seçme Kriterleri ... 138

5.2 Ses Tonu Algılama Verisi ... 140

5.3 Yaprak Biti Verisi ... 145

5.4 Ethanol Verisi ... 147

6. SONUÇ ... 151

KAYNAKLAR ... 153

EKLER ... 160

EK 1 Önerme 1.5’de Verilen KoĢullu Beklenen Değerlerin Ġspatı ... 161

EK 2 MixregN, Mixregt, MixregSN ve MixregST Modellerinin KarĢılaĢtırılması için MATLAB R2013a Programında YazılmıĢ Olan Program Kodları ... 167

EK 3 MixregHuber, MixregTukey, MixregGM-Mallows ve MixregGM- Schweppe Modellerinin KarĢılaĢtırılması için MATLAB R2013a Programında YazılmıĢ Olan Program Kodları ... 175

EK 4 Uygulamada Kullanılan Gerçek Veri Setleri ... 188

ÖZGEÇMĠġ ... 189

(9)

vii

KISALTMALAR DĠZĠNĠ

AIC Akaike bilgi kriteri BIC Bayesian bilgi kriteri CAIC Tutarlı Akaike bilgi kriteri

EM Expectation- Maximization

GM GenelleĢtirilmiĢ M

ICL BütünleĢik tam olabilirlik kriteri ( ) Tam veri olabilirlik fonksiyonu ( ) Tam veri log-olabilirlik fonksiyonu

MixregM-Huber M-Huber yöntemine dayalı karma regresyon modeli MixregM-Tukey M-Tukey yöntemine dayalı karma regresyon modeli MixregGM-Mallows GM-Mallows yöntemine dayalı karma regresyon modeli MixregGM-Schweppe GM-Schweppe yöntemine dayalı karma regresyon modeli MixregN Normal dağılıma dayalı karma regresyon modeli

MixregNt Normal-t dağılımına dayalı karma regresyon modeli MixregSN Çarpık normal dağılıma dayalı karma regresyon modeli MixregST Çarpık t dağılımına dayalı karma regresyon modeli

MixregSTSN Çarpık t-çarpık normal dağılıma dayalı karma regresyon modeli Mixregt t dağılımına dayalı karma regresyon modeli

ML En çok olabilirlik MSE Hata kareler ortalaması

(10)

viii

ġEKĠLLER DĠZĠNĠ

ġekil 1.1 ve farklı çarpıklık parametre değerleri için çarpık normal

dağılımın olasılık yoğunluk fonksiyonu grafikleri ... 16

ġekil 1.2 , ve farklı çarpıklık parametre değerleri için çarpık t dağılımın olasılık yoğunluk fonksiyonu grafikleri ... 24

ġekil 2.1 Huber M-tahmininin gözlemleri sınırlama Ģekli ... 46

ġekil 2.2 Mallows tipi GM-tahmininin gözlemleri sınırlama Ģekli... 47

ġekil 2.3 Schweppe tipi GM-tahmininin gözlemleri sınırlama Ģekli ... 47

ġekil 2.4 Huber’ın ve fonksiyonu grafikleri ... 48

ġekil 2.5 Huber ağırlık fonksiyonu grafiği ... 49

ġekil 2.6 Tukey’in ve fonksiyonu grafikleri ... 50

ġekil 2.7 Tukey’in ağırlık fonksiyonu grafiği ... 51

ġekil 4.1 örneklem hacmi için aykırı gözlem durumunda MixregGM- Schweppe ve MixregM-Huber modelleri ile uydurulmuĢ regresyon doğruları ve saçılım grafiği ... 127

ġekil 4.2 örneklem hacmi için aykırı gözlem durumunda MixregGM- Schweppe ve MixregM-Huber modelleri ile uydurulmuĢ regresyon doğruları ve saçılım grafiği ... 128

ġekil 4.3 örneklem hacmi için aykırı gözlem durumunda MixregGM- Mallows, MixregGM-Schweppe, MixregM-Huber ve MixregM-Tukey modelleri tahmin edicilerinin adım sayıları ... 131

ġekil 4.4 örneklem hacmi için aykırı gözlem durumunda MixregGM- Mallows, MixregGM-Schweppe, MixregM-Huber ve MixregM-Tukey modelleri tahmin edicilerinin adım sayıları ... 131

ġekil 4.5 örneklem hacmi için aykırı gözlem durumu ... 132

ġekil 4.6 örneklem hacmi için aykırı gözlem durumu ... 133

ġekil 4.7 örneklem hacmi için aykırı gözlem durumunda MixregGM- Mallows, MixregGM-Schweppe, MixregM-Huber ve MixregM-Tukey modelleri tahmin edicilerinin adım sayıları ... 136

(11)

ix

ġekil 4.8 örneklem hacmi için aykırı gözlem durumunda MixregGM- Mallows, MixregGM-Schweppe, MixregM-Huber ve MixregM-Tukey

modelleri tahmin edicilerinin adım sayıları ... 137 ġekil 5.1.a. Ses tonu algılama verisinin saçılım grafiği, b. Esnetme oranının

histogramı ... 140 ġekil 5.2 Ses tonu algılama verisi için MixregN, Mixregt, MixregSN ve MixregST

modelleri ile uydurulmuĢ regresyon doğruları ve saçılım grafiği ... 141 ġekil 5.3 ( ) noktasına eklenmiĢ on aykırı gözlem içeren ses tonu algılama verisi

için MixregN, Mixregt, MixregSN ve MixregST modelleri ile uydurulmuĢ regresyon doğruları ve saçılım grafiği ... 143 ġekil 5.4 ( ) noktasına eklenmiĢ on aykırı gözlem içeren ses tonu algılama verisi

için MixregSN, MixregST ve MixregSTSN modelleri ile uydurulmuĢ

regresyon doğruları ve saçılım grafiği ... 144 ġekil 5.5.a. Yaprak biti verisi saçılım grafiği, b. Hastalık bulaĢmıĢ bitkilerin

sayısının histogramı... 145 ġekil 5.6 Yaprak biti verisi için MixregN, Mixregt ve MixregNt modelleri ile

uydurulmuĢ regresyon doğruları ve saçılım grafiği ... 146 ġekil 5.7 ( ) noktasına eklenmiĢ beĢ aykırı gözlem içeren yaprak biti

verisi için MixregN, Mixregt ve MixregNt modelleri ile uydurulmuĢ

regresyon doğruları ve saçılım grafiği ... 147 ġekil 5.8.a. Ethanol verisi saçılım grafiği, b. EĢdeğerlik oranının histogramı ... 148 ġekil 5.9 Ethanol verisi için MixregHuber, MixregTukey, MixregGM-Mallows ve

MixregGM-Schweppe modelleri ile uydurulmuĢ regresyon doğruları ve

saçılım grafiği ... 149 ġekil 5.10 ( ) noktasına eklenmiĢ beĢ aykırı gözlem içeren ethanol verisi

için MixregHuber, MixregTukey, MixregGM-Mallows ve MixregGM- Schweppe modelleri ile uydurulmuĢ regresyon doğruları ve saçılım grafiği ... 150

(12)

x

ÇĠZELGELER DĠZĠNĠ

Çizelge 1.1 Çarpık normal dağılımın çarpıklık ve basıklık değerleri ... 16 Çizelge 1.2 Çarpık t dağılımın çarpıklık ve basıklık değerleri ... 23 Çizelge 4.1 örneklem hacmi için tahmin edicilerin MSE ve yan

değerleri ... 84 Çizelge 4.2 örneklem hacmi için tahmin edicilerin MSE ve yan

değerleri ... 85 Çizelge 4.3 Ġki bileĢenli karma regresyon modeli ve hata terimi dağılımları ... 105 Çizelge 4.4 örneklem hacmi için MixregN, Mixregt ve MixregNt

modelleri tahmin edicilerinin MSE ve yan değerleri ... 107 Çizelge 4.5 örneklem hacmi için MixregN, Mixregt ve MixregNt

modelleri tahmin edicilerinin MSE ve yan değerleri ... 108 Çizelge 4.6 örneklem hacmi için MixregSN, MixregST ve MixregSTSN

modelleri tahmin edicilerinin MSE ve yan değerleri ... 109 Çizelge 4.7 örneklem hacmi için MixregSN, MixregST ve MixregSTSN

modelleri tahmin edicilerinin MSE ve yan değerleri ... 110 Çizelge 4.8 örneklem hacmi için MixregM-Huber, MixregM-Tukey,

MixregGM-Mallows ve MixregGM-Schweppe modelleri tahmin

edicilerinin MSE ve yan değerleri ... 129 Çizelge 4.9 örneklem hacmi için MixregM-Huber, MixregM-Tukey,

MixregGM-Mallows ve MixregGM-Schweppe modelleri tahmin

edicilerinin MSE ve yan değerleri ... 130 Çizelge 4.10 örneklem hacmi için MixregM-Huber, MixregM-Tukey,

MixregGM-Mallows ve MixregGM-Schweppe modelleri tahmin

edicilerinin MSE ve yan değerleri ... 134 Çizelge 4.11 örneklem hacmi için MixregM-Huber, MixregM-Tukey,

MixregGM-Mallows ve MixregGM-Schweppe modelleri tahmin

edicilerinin MSE ve yan değerleri ... 135 Çizelge 5.1 Ses tonu algılama verisine uydurulmuĢ MixregN, Mixregt, MixregSN

ve MixregST modellerinin ML tahminleri ve AIC, CAIC, BIC bilgi kriteri değerleri ... 142

(13)

xi

Çizelge 5.2 ( ) noktasına eklenmiĢ on aykırı gözlem içeren ses tonu algılama verisine uydurulmuĢ MixregN, Mixregt, MixregSN ve MixregST modellerinin ML tahminleri ve AIC, CAIC, BIC bilgi kriteri

değerleri ... 143 Çizelge 5.3 ( ) noktasına eklenmiĢ on aykırı gözlem içeren ses tonu algılama

verisine uydurulmuĢ MixregSN, MixregST ve MixregSTSN modellerinin ML tahminleri ve AIC, CAIC, BIC bilgi kriteri

değerleri ... 144 Çizelge 5.4 Yaprak biti verisine uydurulmuĢ MixregN, Mixregt ve MixregNt

modellerinin ML tahminleri ve AIC, CAIC, BIC bilgi kriteri

değerleri ... 146 Çizelge 5.5 ( ) noktasına eklenmiĢ beĢ aykırı gözlem içeren yaprak biti

verisine uydurulmuĢ MixregN, Mixregt ve MixregNt modellerinin ML tahminleri ve AIC, CAIC, BIC bilgi kriteri değerleri ... 147 Çizelge 5.6 Ethanol verisine uydurulmuĢ MixregHuber, MixregTukey, MixregGM-

Mallows ve MixregGM-Schweppe modellerinin tahmin sonuçları ve ICL bilgi kriteri değeri ... 149 Çizelge 5.7 ( ) noktasına eklenmiĢ beĢ aykırı gözlem içeren ethanol verisine

uydurulmuĢ MixregHuber, MixregTukey, MixregGM-Mallows ve MixregGM-Schweppe modellerinin tahmin sonuçları ve ICL bilgi kriteri değeri ... 150

(14)

1 1. GĠRĠġ

Regresyon analizi, homojen yapıya sahip bir veri setinde değiĢkenler arasındaki iliĢkiyi modellemek ve analiz etmek için yaygın olarak kullanılan bir yöntemdir. Genelde regresyon analizi yapılırken verinin homojen yapıda olmaması analiz yapmayı zorlaĢtırmaktadır. Gerçek dünyada homojen olmayan veri yapıları ile karĢılaĢılabilir.

Bai vd. (2012) tarafından kullanılan ses tonu algılama verisi, Turner (2000) tarafından yapılan çalıĢmada yer alan yaprak biti verisi, Hurvich vd. (1998) tarafından verilen ethanol verisi gibi veriler homojen olmayan veri tipi için örnektir. Homojenlik olmadığında yani veri farklı gruplardan oluĢtuğunda, verinin tamamına tek bir regresyon modeli uydurmak veride bilgi kaybına yol açabilir. Bu yüzden veriden daha sağlıklı bilgi elde edebilmek için her bir gruba ayrı regresyon modeli uydurmak gerekli olabilir. Bu tür veri yapılarında her bir model için hataların dağılımı farklı olarak yani tek bir dağılım yerine dağılımların karması varsayılabilir. Dolayısıyla veri seti heterojen yapıda olduğunda daha güvenilir tahmin ediciler elde etmek için karma regresyon modeline ihtiyaç duyulur.

Karma regresyon modeli birden fazla bilinmeyen kayıp (ya da gözlenemeyen) (latent) gruplardan gelen değiĢkenler arasındaki iliĢkiyi araĢtırmak için kullanılır. Ġlk defa Quandt (1972) ve Quandt ve Ramsey (1978) tarafından “switching regresyon”

modelinin genel bir formu olarak tanıtılan bu model mühendislik, genetik, biyoloji, ekonometri ve pazarlama gibi daha birçok uygulama alanında yaygın olarak kullanılmaktadır. Daha sonra Späth (1979) tarafından her bir gruptaki hataların kareleri toplamını minimum yapmak için daha etkili bir en küçük kareler yöntemi önerilmiĢtir.

Aitkin ve Wilson (1980) tarafından aykırı gözlemlerin belirlenmesi esas alınarak karma regresyon modeli incelenmiĢtir ve iki bileĢenli bir karma modelde bileĢenlerden birinin sabit ortalamaya sahip olması durumunda, Dempster vd. (1977) tarafından seminer çalıĢmasında sunulan Expectation-Maximization (EM) algoritmasından yararlanılarak en çok olabilirlik (ML) yöntemi ile parametre tahmini yapılmıĢtır. Aitkin vd. (1981) karmaĢık bir verinin analizi için EM algoritması kullanarak karma regresyon modeli için model uydurmuĢtur. Jones ve McLachlan (1992) karma regresyon modelinin veri analizinde uygulamasını yaparak model uydurmak için EM algoritması kullanmıĢtır.

(15)

2

Haughton (1997) ve Haughton ve Haughton (1995, 1996) çok değiĢkenli regresyonda iki bileĢenli karma modeli içeren çalıĢma yapmıĢlardır. Aitkin (1996) rasgele etkileri modellemek için regresyon modelinin özel bir durumu olan genelleĢtirilmiĢ lineer modellerin karmasını incelemiĢtir ve EM algoritmasını kullanarak ML yöntemi ile model uydurmuĢtur. Turner (2000) bir veri seti için EM algoritması kullanarak, tek değiĢkenli lineer regresyon modelinin iki bileĢenli karması için model uydurmuĢtur.

Hawkins vd. (2001) olabilirlik eĢitliğinden elde edilen yöntemleri kullanarak lineer regresyon modellerinin karması için bileĢen sayısının belirlenmesi problemini ele almıĢtır. Zhu ve Zhang (2004) karma regresyon modellerinde ML tahmin edicileri için asimptotik teori oluĢturmuĢtur.

Regresyon modellerinde hata terimlerinin dağılımının normal dağılım olduğu varsayımı altında ML tahmin edicisi en etkin tahmin edicidir. Ancak normalliğe dayalı ML tahmin edicisi aykırı gözlemlere ve kalın kuyruklu dağılıma sahip hata terimlerine karĢı duyarlıdır. Bu durum söz konusu olduğunda dayanıklı parametre tahmini yöntemlerinin kullanılması önerilir. Dayanıklı parametre tahmini yöntemi iki Ģekilde yapılır. Hataların dağılımı kalın ve/veya kalın kuyruklu çarpık dağılımdan geldiği varsayımı altında veya bilinen dayanıklı yöntemler (M-tahmini, S-tahmini, LMS-tahmini, MM-tahmini, CM- tahmini, GM-tahmini,…) kullanılarak yapılır.

Karma regresyon modellerinin parametrelerinin dayanıklı olarak tahmin edildiği çalıĢmalar yapılmıĢtır. Markatou (2000) ve Shen vd. (2004) karma regresyon modellerinde her bir veri için ağırlık fonksiyonu kullanarak dayanıklı tahmin yöntemi önermiĢlerdir. Neykov vd. (2007) budanmıĢ olabilirlik tahmin edicisi (trimmed likelihood estimator (TLE)) kullanarak karma modellerin parametrelerini dayanıklı olarak elde etmiĢtir. Bashir ve Carter (2012) lineer regresyon modelinin karması için dayanıklı yöntem olan S-tahmin yöntemini kullanmıĢtır. Bai (2010) ve Bai vd. (2012) hataların dağılımını normal dağılımın karması alarak regresyon parametrelerini ML yöntemi ve M-tahmin yöntemine dayalı dayanıklı parametre tahmini yöntemi ile tahmin etmiĢlerdir. Bu çalıĢmalarda dayanıklı yöntem olarak M adımda en küçük kareler kriteri bir dayanıklı kriter ile değiĢtirilerek EM benzeri algoritma önerilmiĢtir.

(16)

3

Normal dağılımın karması aykırı gözlemlere karĢı duyarlı olduğundan Wei (2012) ve Yao vd. (2013) çalıĢmalarında Peel ve McLachlan (2000) tarafından önerilen t dağılımının karmasının geniĢletilmesi olarak t dağılımına dayalı dayanıklı karma regresyon modeli önermiĢlerdir. Bu çalıĢmalarda karma regresyon modeli için ML tahmin edicisi, TLE, Tukey’in fonksiyonuna dayalı uyarlanmıĢ EM algoritması kullanılarak elde edilen dayanıklı tahmin edici, t dağılımına dayalı dayanıklı tahmin edici ve t dağılımına dayalı budanmıĢ tahmin edici yöntemleri karĢılaĢtırılmıĢtır. Ayrıca Wei (2012)’nin çalıĢmasının geniĢletilmesi olarak, Zhang (2013)’in çalıĢmasında hata terimlerinin dağılımını t dağılımı yerine Pearson Type VII dağılımının karması olarak varsayıp karma regresyon modeli için dayanıklı parametre tahmini yapmıĢtır.

Song vd. (2014) hataların dağılımını Laplace dağılımının karması olarak varsayıp karma regresyon modeli için dayanıklı parametre tahmini önermiĢlerdir. Bu çalıĢmada ML tahmin edicisi, TLE, t dağılımına dayalı budanmıĢ karma regresyon, Laplace dağılımına dayalı budanmıĢ karma regresyon, Tukey’in fonksiyonuna dayalı EM benzeri algoritma kullanılarak elde edilen dayanıklı tahmin edici ve t dağılımına dayalı dayanıklı tahmin edici yöntemleri karĢılaĢtırılmıĢtır.

Bunun yanı sıra hataların dağılımının simetrik olmadığı durumlar için karma regresyon modeli ele alınmıĢtır. Liu ve Lin (2014) tarafından Azzalini tipi çarpık normal (Azzalini 1985, 1986) dağılıma dayalı karma regresyon modeli kullanılmıĢtır. Bu çalıĢmada normal olmayan hatalar ile karma regresyon modelleri için model seçmede kullanılan kriterlerin ne kadar hassas olduğu ve çarpık normal dağılıma dayalı karma regresyon modelinin normallik varsayımı olmadığında sağladığı uyum incelenmiĢtir. Ayrıca gerçek veri üzerinde uygulama yapılmıĢtır.

Bu tez çalıĢmasının amacı, homojen olmayan veri gruplarında normallikten sapma ve/veya aykırı gözlem olduğunda regresyon parametreleri için bu problemlerden mümkün olduğunca az etkilenen tahmin ediciler elde etmektir. Yani, veride çarpıklık ve kalın kuyrukluluk olduğunda ve yönünde aykırı gözlem olduğunda karma regresyon

(17)

4

modelleri için dayanıklı tahmin edicilerin elde edilmesi amaçlanmaktadır. Tez çalıĢmasında yer alan bölümler aĢağıdaki gibidir:

Bu tez çalıĢmasında öncelikle regresyon modeli hakkında temel bilgiler verilip, hata terimlerinin farklı dağılıma sahip olması durumunda (normal, t, çarpık normal ve çarpık t) regresyon modelleri verilmiĢtir. Ġkinci bölümde dayanıklı istatistik ele alınarak bazı dayanıklı regresyon yöntemleri ve dayanıklılık ölçüleri hakkında bilgiler ele alınmıĢtır.

Karma model ve karma regresyon modeli üçüncü bölümde detaylı olarak incelenmiĢtir.

Bu bölümde ayrıca, normal ve çarpık normal dağılıma dayalı karma regresyon modelleri ele alınmıĢtır. Literatürde yer alan bu modellerin normal dağılımdan dolayı verideki aykırı gözlemlere karĢı dayanıklı olmadıkları bilinmektedir.

Tez çalıĢmasının dördüncü bölümü dayanıklı karma regresyon modellerine ayrılmıĢtır.

Bu bölümde öncelikle dağılıma dayalı dayanıklı karma regresyon modeli ele alınmıĢtır.

Literatürde yer alan t dağılımına dayalı dayanıklı karma regresyon modeli verildikten sonra, bu tez çalıĢmasında önerilen karma regresyon modelleri ele alınmıĢtır. Ġlk olarak dağılıma dayalı karma regresyon modelinde kalın kuyrukluluk ve çarpıklığı aynı anda modellemek için çarpık t dağılımına dayalı dayanıklı karma regresyon modeli önerilmiĢtir. Önerilen modelde ML tahmin edicilerinin elde edilmesi için gerekli olan EM algoritması detaylı olarak verilmiĢtir. Önerilen tahmin edicilerin performansları literatürde yer alan karma regresyon modeli (normal, t ve çarpık normal) tahmin edicilerinin performansları ile simülasyon çalıĢması sonucunda yan ve hata kareler ortalaması (mean square error (MSE)) değerlerine göre karĢılaĢtırılmıĢtır. Veri setlerini modellemek için literatürde yapılan çalıĢmalardan aynı dağılımlara dayalı karma regresyon modellerinin kullanıldığı bilinmektedir. Ancak, gerçek hayatta verideki alt grupların dağılımı aynı olmayabilir. Veride grupların farklı dağılımdan gelebileceği söz konusu olduğunda bu tür verileri modellemek için farklı dağılımların karmasına dayalı dayanıklı karma regresyon modelleri önerilmiĢtir. Özel olarak, simetrik durum için normal ve t dağılımına dayalı karma regresyon modeli ve çarpıklık olduğunda ise çarpık t ve çarpık normal dağılıma dayalı karma regresyon modelleri ele alınarak ML tahmin edicileri için EM algoritması verilmiĢtir. Simetrik durum için önerilen normal ve t dağılımına dayalı dayanıklı karma regresyon modeli tahmin edicilerinin etkinlikleri

(18)

5

literatürde yer alan karma regresyon modeli (normal ve t) tahmin edicilerinin etkinlikleriyle simülasyon çalıĢması sonucunda yan ve MSE değerlerine göre karĢılaĢtırılmıĢtır. Çarpık durum için ise önerilen çarpık t ve çarpık normal dağılımına dayalı dayanıklı karma regresyon modeli tahmin edicilerinin etkinlikleri literatürde yer alan karma regresyon modeli (çarpık normal ve çarpık t) tahmin edicilerinin etkinlikleriyle simülasyon çalıĢması yapılarak yan ve MSE değerlerine göre karĢılaĢtırılmıĢtır.

Bu tez çalıĢmasında ele alınan karma regresyon modellerinden biri de dayanıklı yöntemlere dayalı karma regresyon modelleridir. Literatürde yapılan çalıĢmalar arasında dağılıma dayalı karma regresyon modelleri dıĢında dayanıklı regresyon yöntemlerinden M-tahmin yöntemine dayalı karma regresyon modeli Bai (2010) ve Bai vd. (2012) tarafından önerilmiĢtir. Önerilen bu yönteme dayalı karma regresyon modeli tahmin edicilerinin yönündeki aykırı gözlemlere karĢı dayanıklı, ancak yönündeki aykırı gözlemlere karĢı dayanıklı olmadığı bilinmektedir. Bu tez çalıĢmasının diğer bir amacı ve yönündeki aykırı gözlemlere karĢı dayanıklı olan karma regresyon modeli önermektir. Dayanıklı regresyon analizinde ve yönündeki aykırı gözlemlere karĢı aynı anda dayanıklı olan M-tahmin yöntemine alternatif olarak verilen genelleĢtirilmiĢ M (GM)-tahmin yöntemi kullanılarak tanımlanmıĢ olan dayanıklı karma regresyon modeli önerilmiĢtir. Önerilen modelde parametrelerin tahmini için EM benzeri algoritma verilmiĢtir. GM-tahmin yöntemine dayalı olarak önerilen karma regresyon modeli tahmin edicilerinin performansları, M-tahmin yöntemine dayalı karma regresyon modeli tahmin edicilerinin performansları ile simülasyon çalıĢması yapılarak yan ve MSE değerlerine göre karĢılaĢtırılmıĢtır.

Tezin beĢinci bölümünde ise önerilen karma regresyon modellerini literatürde yer alan diğer karma regresyon modelleri ile karĢılaĢtırmak için gerçek veri üzerinde uygulamaları yapılmıĢtır. Bu bölümde üç farklı veri seti kullanılmıĢtır. Tahmin ediciler elde edildikten sonra modelleri karĢılaĢtırmak için dağılım varsayımı yapıldığında Akaike bilgi kriteri (AIC), tutarlı AIC (CAIC) ve Bayesian bilgi kriteri (BIC) gibi bilgi kriterlerinden, dayanıklı regresyon yöntemi kullanıldığında ise bütünleĢik tam olabilirlik (ICL) bilgi kriterinden yararlanılmıĢtır.

(19)

6

Tezin son bölümünde ise tez çalıĢmasında elde edilen sonuçlara ve yorumlara yer verilerek, daha sonra yapılacak olan çalıĢmalardan bahsedilmiĢtir.

1.1 Çoklu Lineer Regresyon Modeli

Regresyon analizi değiĢkenler arasındaki iliĢkiyi modellemek ve incelemek için kullanılan istatistiksel bir tekniktir. Regresyonun birçok uygulama alanı vardır, mühendislik, fizik ve kimya bilimleri, yaĢam ve biyoloji bilimleri, iktisat, yönetim ve sosyal bilimler gibi hemen hemen bütün alanlarda kullanılmaktadır. Aslında, regresyon analizi en yaygın olarak kullanılan istatistiksel bir tekniktir (Montgomery vd. 2001).

Birden fazla bağımsız değiĢken içeren regresyon modeli çoklu regresyon modeli olarak adlandırılır. Genellikle açıklayıcı değiĢkeni sayıda bağımsız değiĢken ile lineer olarak iliĢkili ise

(1.1)

Ģeklinde ifade edilen modele çoklu lineer regresyon modeli denir. Burada regresyon katsayıları veya parametreleri olarak adlandırılır. olduğunda (1.1) ile gösterilen model basit doğrusal regresyon modelidir. Regresyon analizinin amaçlarından bir tanesi bilinmeyen regresyon parametrelerinin tahmin edilmesidir.

Bunun için birçok yöntem önerilmiĢtir, ancak bunlardan en yaygın olarak kullanılan yöntem en küçük kareler yöntemidir. Bundan sonraki bölümlerde en küçük kareler yöntemi ve diğer yöntemlerden kısaca bahsedilecektir.

1.1.1 Çoklu lineer regresyon modeli için parametre tahmini

*( ) ( )+ gözlemleri verilmiĢ olsun ve olduğu varsayılsın. ile açıklayıcı değiĢken ve ile de bağımsız değiĢkeninin gözlem değeri gösterilsin.

(20)

7

(1.1) modelinde hata terimi için ( ) , ( ) olduğu varsayılsın. (1.1) modeli örneklem için aĢağıdaki gibi yazılır:

(1.2)

Burada yukarıda verilen iki koĢulun yanı sıra hata terimlerinin iliĢkisiz olduğu varsayılsın. Çoklu regresyon modellerinde sonuçların daha kısa ve öz bir Ģekilde ifade edilmesi için matris biçiminde göstermek daha uygundur. Dolayısıyla (1.2) modeli olmak üzere aĢağıdaki gibi yazılabilir:

(1.3)

Burada bağımlı değiĢken, ( boyutlu) bağımsız değiĢken vektörü, ( boyutlu) bilinmeyen parametre vektörü ve hata terimidir. (1.3) modelinin matris gösterimi ise

(1.4)

Ģeklindedir. Burada ( boyutlu) bağımlı değiĢken vektörü, ( boyutlu) tam ranklı ( ( ) ) bağımsız değiĢkenler matrisi (tasarım matrisi), ( boyutlu) bilinmeyen parametre vektörü ve ( boyutlu) hata terimleri vektörüdür. Buradan bilinmeyen parametre vektörü için en küçük kareler tahmin edicisi ̂

( ) ∑

( )( )

fonksiyonunun parametresine göre minimum yapılmasıyla

(21)

8

̂ ( ) (1.5)

olarak elde edilir. Hata varyansı için yansız tahmin edici

̂ ( ̂)( ̂)

olarak verilir.

(1.4) eĢitliği ile verilen regresyon modelinde hata terimlerinin normal dağıldığı ( ( )) varsayılsın. Bu varsayım altında ve parametreleri ML yöntemi ile tahmin edilir. ML tahmin edicilerini bulmak için log-olabilirlik fonksiyonu

( ) ( ) ( )

( )( )

biçiminde bulunur. Bu fonksiyonun ve parametrelerine göre türevi alınıp sıfıra eĢitlendiğinde ML tahmin edicileri

̃ ( )

̃ ( ̂)( ̂)

olarak elde edilir. Burada ’nin tahmin edicisinin yanlı olduğu ve için ML tahmin edicisi ile en küçük kareler tahmin edicisinin aynı olduğu görülür (ayrıntılı bilgi için bkz. Montgomery vd. 2001).

Hataların normal dağıldığı durumda için en küçük kareler tahmin edicisi en iyi lineer yansız tahmin edicidir. Fakat hatalar normal dağılmadığında ve/veya veride aykırı gözlemler olduğunda ̂’nın etkinliğinin azaldığı bilinmektedir (bkz. Maronna vd. 2006).

(22)

9

Normallik varsayımının yapılamadığı durumlarda hatalar için alternatif dağılımlar önerilmiĢtir. Örneğin, hataların kalın kuyruklu simetrik bir dağılım olması durumunda normal dağılıma alternatif olarak t dağılımı kullanılmaktadır. Ancak, hataların t dağıldığı varsayımı yapıldığında ML tahmin edicileri analitik olarak bulunamamaktadır.

Nümerik yöntemler yardımıyla tahmin ediciler elde edilebilmektedir. Bu tez çalıĢmasında nümerik yöntemlerden biri olan EM algoritması kullanılacaktır. EM algoritması ile ilgili kısa bilgi takip eden alt bölümde verilmiĢtir.

1.2 EM Algoritması

Dempster vd. (1977) tarafından önerilen EM algoritması kayıp değiĢkenlere bağlı olan olasılık modellerinin parametrelerinin ML yöntemi ile tahmin edilmesinde kullanılır.

EM algoritması E (Expectation) ve M (Maximization) adımlarından oluĢan iteratif bir yöntemdir. E adımda, kayıp değiĢkenler için dağılımın o anki parametre değerlerine göre log-olabilirlik fonksiyonun beklenen değeri hesaplanır. M adımda ise E adımda bulunan log-olabilirlik fonksiyonunun beklenen değerini maksimum yapan parametre değerleri hesaplanır. Daha sonra M adımda bulunan bu parametre değerleri bir sonraki E adımda kayıp değiĢkenlerin dağılımının belirlenmesinde kullanılır.

( ) verisi ( ) yoğunluk fonksiyonuna sahip dağılımdan gözlenmiĢ olsun. parametresinin ML tahmin edicisi aĢağıdaki gibidir:

̂ ( ) ∑ ( )

(1.6)

( ) tam verisi için ( ) log-olabilirlik fonksiyonu ile ML tahmin edicisinin basit ya da kapalı bir formunun olduğu varsayılsın. Burada ( ) kayıp veridir. ̂ tahmin edicisini bulmak için kullanılan EM algoritması aĢağıdaki adımlardan oluĢur:

(23)

10

Adım 1. ( ) parametresi için baĢlangıç değeri ve durdurma koĢulu belirlenir.

Adım 2. E adımı: ( ) adımda ( ) parametrelerinin o anki tahmin değerleri kullanılarak, verilmiĢken kayıp değiĢkeninin koĢullu dağılımına göre log-olabilirlik fonksiyonunun beklenen değeri hesaplanır:

( ( )) ( ( )| ̂( )) (1.7)

Adım 3. M adımı: ( ( )) fonksiyonunun civarındaki maksimumu, ̂( ) olarak belirlenir:

̂( ) ( ̂( )) (1.8)

Adım 4. Belirlenen yakınsaklık kriteri ‖ ̂( ) ̂( )‖ sağlanana kadar 2. ve 3.

adımlar tekrarlanır.

1.3 t Dağılıma Dayalı Regresyon Modeli için Parametre Tahmini

Normalliğe dayalı regresyon modeli kalın kuyruklu hata terimlerine ve aykırı gözlemlere karĢı duyarlı olduğundan, dayanıklı tahmin ediciler elde etmek için normal dağılıma alternatif olarak t dağılımına dayalı regresyon modeli önerilmiĢtir. (1.3) eĢitliği ile verilen regresyon modeli ele alınsın. Burada hata terimleri ortalamalı, ölçek parametreli ve serbestlik dereceli t dağılımına sahip olsun ( ( )). Bu varsayım altında hataların dağılımının olasılık yoğunluk fonksiyonu ve log-olabilirlik fonksiyonu

( ) . / √ . /

( )

( )

(1.9)

(24)

11 ( ) ∑ . ( )/

( ) (1.10)

Ģeklinde olacaktır. *( ) ( )+ gözlemleri verilmiĢken bilinmeyen parametresinin ML tahmin edicisi log-olabilirlik fonksiyonunun parametreye göre maksimum yapılmasıyla elde edilir. (1.10) eĢitliği iteratif olarak çözülebilir. Ancak iteratif yönteme göre yakınsamayı garantileyen ve uygulama kolaylığından dolayı ML tahmin edicileri EM algoritması kullanılarak elde edilecektir.

EM algoritmasının adımlarının kolay yürütülmesi için t dağılımının normal dağılımın ölçek karması Ģeklinde yazılması özelliği kullanılacaktır. kayıp değiĢken olmak üzere koĢullu dağılım

| ( ⁄ ) . / (1.11)

Ģeklindedir. Burada ( ) kayıp veri ve ( ) tam veri olmak üzere tam veri için olabilirlik ve log-olabilirlik fonksiyonları

( ) ∏

√ ⁄

. /

( ⁄ ) . /

(1.12)

( ) ∑ ( ) ( ) ( ) ( ) ⁄

. / ( . /) . / ( ) (1.13)

olarak bulunur. Bu fonksiyon parametresine göre maksimum yapılarak için tahmin edici elde edilebilir. Ancak, kayıp gözlem olarak alındığından elde edilen bu tahmin ediciler kullanılamaz. ’ler yerine ve verildiğinde ’lerin koĢullu beklenen değerleri bulunarak elde edilen tahmin ediciler kullanılabilir. Bu koĢullu beklenen

(25)

12

değerleri bulmak için log-olabilirlik fonksiyonunun koĢullu beklenen değeri ve ’ler verildiğinde ’lerin koĢullu dağılımı bulunmalıdır. Buradan tam veri log-olabilirlik fonksiyonunun koĢullu beklenen değeri

( ( )| ) ( ) ( ) ( . /) . /

∑ ( ( | ) ( | )( )

. / ( | ) ( | )) (1.14)

Ģeklinde bulunur. Burada yukarıda verilen ( | ) koĢullu beklenen değerinin hesaplatılması için | koĢullu dağılımının bulunması gerekir. Bu koĢullu dağılım

| .

( ( )

+/ (1.15)

Ģeklindedir. Ayrıca ( | ) koĢullu beklenen değeri de

( ) ise ( ) ( ) ( ) (1.16)

özelliği yardımıyla hesaplanır. Burada ( ) ( )

( ) digamma fonksiyonudur. Böylece

( | )

(( ) ⁄ ) (1.17)

( | ) (

* . ( ( )

+/ (1.18)

(26)

13 olarak elde edilir.

EM algoritması: Yukarıda verilen bilgiler doğrultusunda için baĢlangıç değeri ( ) ve durdurma koĢulu belirlendikten sonra EM algoritmasının E ve M adımları aĢağıdaki gibidir:

i) E-adımı: ( ) iterasyon için ̂( ) verilmiĢken aĢağıdaki koĢullu beklenen değerler hesaplanır:

̂ ( ) ( | ̂( )) ̂( )

̂( ) (( ̂( )) ̂⁄ ( )) (1.19) ̂ ( ) ( | ̂( ))

( ̂( )

) . ( ̂( ) ( ̂( ))

̂ ( ) +/ (1.20)

Hesaplanan koĢullu beklenen değerler (1.14) eĢitliğinde yerine yazılarak ( ̂( )) ( ( )| ̂( )) amaç fonksiyonu aĢağıdaki gibi bulunur:

( ̂( )) ( ) ( ) ( . /) . /

∑ ̂ ( )

̂ ( )( )

. / ̂ ( ) ̂ ( ) (1.21)

ii) M-adımı: ( ̂( )) fonksiyonunun parametreye göre maksimum yapılmasıyla ( ) parametre tahminleri hesaplanır:

1. ( ̂( )) fonksiyonunun parametresine göre türevi alınıp sıfıra eĢitlenerek

(27)

14

̂( ) .∑ ̂ ( )

/

.∑ ̂ ( )

/ (1.22)

olarak bulunur.

2. ( ̂( )) fonksiyonunun parametresine göre türevi alınıp sıfıra eĢitlenmesiyle aĢağıdaki gibi elde edilir:

̂ ( ) ̂ ( )( ̂( ))

(1.23)

3. ( ̂( )) fonksiyonunun parametresine göre türevi alınıp sıfıra eĢitlenerek

( ̂( ))

∑ . . / . /

. /

̂ ( ) ̂ ( )/

denklemi elde edilir. ̂( ) aĢağıdaki denklemin çözülmesiyle bulunur:

∑ . . / . / ̂ ( ) ̂ ( )/

(1.24)

iii) E ve M adımları yakınsaklık kriteri ‖ ̂( ) ̂( )‖ sağlanana kadar yürütülür.

Regresyon modelinde hataların dağılımının kalın kuyruklu olması durumunda normal dağılıma alternatif olarak t dağılımı kullanılmaktadır. Hataların dağılımının asimetrik olduğu durumda normal dağılıma alternatif olarak çarpık normal dağılımın kullanılması önerilmiĢtir. Hataların dağılımının kalın kuyruklu ve çarpık olması durumunda ise

(28)

15

çarpık normal dağılıma alternatif olarak çarpık t dağılımının kullanılması önerilmiĢtir.

AĢağıda verilen alt bölümlerde hataların dağılımının çarpık dağılımdan geldiği varsayımı altında regresyon parametrelerinin elde edilmesi verilecektir.

1.4 Çarpık Dağılımlar

Bu bölümde, bu tez çalıĢmasında ilgilenilecek olan çarpık dağılımlardan çarpık normal ve çarpık t dağılımları yer almaktadır.

1.4.1 Çarpık normal dağılım

rasgele değiĢkeni konum parametresi, ( ) ölçek parametresi ve çarpıklık parametresi ile Azzalini (1985, 1986) tarafından geliĢtirilen çarpık normal dağılıma sahip olsun. Bu dağılım için olasılık yoğunluk fonksiyonu aĢağıdaki gibi tanımlanmaktadır:

( ) (

* ( (

*+ (1.25)

Burada ( ) ile ( ) standart normal dağılımın olasılık yoğunluk ve dağılım fonksiyonunu göstermektedir. Eğer rasgele değiĢkeni (1.25) ile gösterilen olasılık yoğunluk fonksiyonuna sahip ise ( ) Ģeklinde yazılır.

Önerme 1.1. Eğer ( ) ise bu dağılım için beklenen değer, varyans, çarpıklık ve basıklık katsayıları aĢağıdaki gibidir (Lin vd. 2007b):

( ) √ ( ) ( *

(29)

16

√ ( )

( ( ) ) ( ) ( ( ) )

Burada √ ⁄ olmak üzere ile çarpıklık ve basıklık katsayılarını göstermektedir. Çizelge 1.1’de çarpık normal dağılıma ait farklı çarpıklık parametresi değerleri için çarpıklık ve basıklık katsayıları değerleri gösterilmektedir. Çizelgeden çarpıklık parametresinin ( ) arttıkça çarpıklık ve basıklık değerlerinin arttığı görülmektedir.

Çizelge 1.1 Çarpık normal dağılımın çarpıklık ve basıklık değerleri

0 1 2 3 4

0 0.1369 0.4538 0.6670 0.7844

3 3.0617 3.3051 3.5098 3.6328

Çarpık normal dağılımın çarpıklığını çarpıklık parametresi belirlemektedir. ġekil 1.1’den görüldüğü gibi eğer ise dağılım sağa çarpık, ise dağılım sola çarpık ve ise dağılım normal dağılımdır.

ġekil 1.1 ve farklı çarpıklık parametre değerleri için çarpık normal dağılımın olasılık yoğunluk fonksiyonu grafikleri

(30)

17

( ) rasgele değiĢkeni için Azalini (1986, s. 201) ve Henze (1986, Teorem 1) tarafından gösterilen stokastik gösterim aĢağıdaki gibidir:

| | √ (1.26)

Burada ve standart normal dağılıma sahip bağımsız rasgele değiĢkenlerdir.

| | olmak üzere

| ( ( ) ) ( ( )) (1.27)

Ģeklindedir. Burada ( ) kesilmiĢ normal dağılımı göstermektedir. KoĢullu dağılımlardan yaralanılarak ve rasgele değiĢkenlerinin ortak olasılık yoğunluk fonksiyonu

( )

√ ( ( )

)

olarak elde edilir. Burada ve ( ) dır. Ayrıca | koĢullu dağılımı

( | ) ( )

( ) √ ( ) ( ( *)

(

( ( )

* ( )

)

Ģeklinde elde edilir. Böylece

| .( ) ( )/ (1.28)

(31)

18 dır. Burada ( ) ⁄ dır.

Önerme 1.2. (( ) ( )) dağılımına sahip bir rasgele değiĢken ise olasılık yoğunluk fonksiyonu

( ) * ( ) ( )+

√ (

( ) *

ile tanımlanır. Burada ( ) ⁄ dır. O halde ( ) ve ( ) aĢağıdaki gibidir:

( ) ( ) ( ) ( ) ( )

( ) ( ) ( )

( ) ( ) ( ) ( ) ( ) ( )

Önerme 1.2’den yararlanılarak verildiğinde rasgele değiĢkeninin koĢullu beklenen değeri

( | ) √ ( )

( ) (1.29)

ve verildiğinde rasgele değiĢkeninin koĢullu beklenen değeri

( | ) ( | ) (1.30)

olarak elde edilir.

(32)

19

1.4.1.1 Çarpık normal dağılıma dayalı regresyon modeli için parametre tahmini

(1.3) denklemi ile verilen regresyon modeli ele alınsın. Bu regresyon modeli için hata terimleri dağılımı ( ) olsun. Burada simetrik dağılımlardan farklı olarak ( ) dır. Çarpık normal dağılım için ( ) √ ⁄ olduğundan parametre tahmini yapılırken sadece kesim noktası etkilenir. Buna göre *( ) ( )+

gözlemleri verilmiĢken bilinmeyen ( ) parametresinin ML tahmin edicisi

( ) ∑ . ( )/

(1.31)

log-olabilirlik fonksiyonunun parametreye göre maksimum yapılmasıyla elde edilir.

Ancak bu fonksiyonu maksimum yapan nokta analitik olarak elde edilememektedir.

Dolayısıyla EM algoritması kullanılarak parametre tahmini yapılır.

EM algoritmasının adımlarının kolaylaĢtırılması için çarpık normal dağılımın (1.26) eĢitliği ile verilen stokastik gösteriminden yararlanılarak koĢullu dağılım

| ( ) ( ( )) (1.32)

olarak elde edilir. Burada ( ) kayıp veri ve ( ) tam veri olmak üzere tam veri için olabilirlik ve log-olabilirlik fonksiyonları

( ) ∏

√ ( ( )

+

(1.33)

( ) ∑ ( ( )

+

(1.34)

(33)

20

olarak bulunur. Tam veri log-olabilirlik fonksiyonunun koĢullu beklenen değeri ise

( ( )| ) ∑

( )

( )

( | )

( | ) (1.35)

Ģeklinde elde edilir. Bu denklemde yer alan ( | ) ve ( | ) koĢullu beklenen değerleri (1.29) ve (1.30) eĢitliklerinden yararlanılarak hesaplanır.

EM algoritması: için baĢlangıç değeri ( ) ve durdurma koĢulu belirlendikten sonra EM algoritmasının E ve M adımları aĢağıdaki gibidir:

i) E-adımı: ( ) iterasyon için ̂( ) verilmiĢken aĢağıdaki beklenen değerler hesaplanır:

̂ ( ) ( | ̂( )) ̂( ) ̂( ) √ ̂ ( ) . ̂( ) ̂( )/

. ̂( ) ̂( )/ (1.36) ̂ ( ) ( | ̂( )) ̂ ( ) ̂( ) ̂( ) ̂ ( ) (1.37)

Burada ̂( ) . ̂

( )/

̂( ) dır. Buradan hesaplanan beklenen değerler (1.35) eĢitliğinde yerine yazıldıktan sonra ( ̂( )) ( ( )| ̂( )) amaç fonksiyonu

( ̂( )) ∑ ( ( )

( ) ̂ ( )

̂ ( )

+ (1.38)

(34)

21 olarak bulunur.

ii) M-adımı: ( ̂( )) fonksiyonunun parametreye göre maksimum yapılmasıyla ( ) parametre tahminleri hesaplanır:

1. ( ̂( )) fonksiyonunun parametresine göre türevi alınıp sıfıra eĢitlenerek ̂( ) aĢağıdaki gibi bulunur:

̂( ) .∑

/

.∑. ̂( ) ̂ ( )/

/ (1.39)

2. ( ̂( )) fonksiyonunun parametresine göre türevi alınıp sıfıra eĢitlenerek

̂( ) ̂ ( )( ̂( ))

̂ ( ) (1.40)

olarak elde edilir.

3. ( ̂( )) fonksiyonunun parametresine göre türevinin alınıp sıfıra eĢitlenmesiyle ̂ ( ) tahmin edicisi

̂ ( ) ∑ .( ̂( )) ̂( ) ̂ ( )( ̂( ))

̂ ( ) ̂ ( )/ (1.41)

Ģeklinde bulunur. Buradan ̂( ) ve ̂ ( ) parametre tahmin edicileri kullanılarak ̂ ( ) ve ̂( ) tahmin edicileri

(35)

22

̂ ( ) ̂ ( ) ̂ ( ) (1.42)

̂( ) ̂( ). ̂ ( )/ (1.43)

olarak elde edilir ve ̂( ) ̂( )⁄ ̂( ) dır.

iii) E ve M adımları yakınsaklık kriteri ‖ ̂( ) ̂( )‖ sağlanana kadar yürütülür.

1.4.2 Çarpık t dağılımı

rasgele değiĢkeni konum parametresi, ( ) ölçek parametresi, çarpıklık parametresi ve ( ) serbestlik derecesi parametresi ile Gupta vd. (2002), Azzalini ve Capitanio (2003) ve Gupta (2003) tarafından geliĢtirilen çarpık t dağılımına sahip olsun. Çarpık t dağılımı için olasılık yoğunluk fonksiyonu aĢağıdaki gibi gösterilmektedir:

( ) ( ) . √

/ (

* (1.44)

Burada ( ) ve ( ) ifadeleri serbestlik dereceli t dağılımının olasılık yoğunluk ve dağılım fonksiyonunu göstermektedir. Eğer rasgele değiĢkeni (1.44) ile gösterilen olasılık yoğunluk fonksiyonuna sahip ise ( ) Ģeklinde yazılır.

Önerme 1.3. Eğer ( ) ise bu dağılım için beklenen değer, varyans, çarpıklık ve basıklık katsayıları aĢağıdaki gibidir (Azzalini ve Capitanio 2003):

( ) ( ) .

/

(36)

23 ( ( )

) .

/

(

( )( )

( )

) . /

Burada √ ⁄ ve . / ⁄ .

/

. / dır. Ayrıca ile çarpıklık ve basıklık katsayılarını göstermektedir.

Çizelge 1.2’de çarpık t dağılıma ait farklı çarpıklık parametresi değerleri için çarpıklık ve basıklık katsayıları değerleri gösterilmektedir.

Çizelge 1.2 Çarpık t dağılımın çarpıklık ve basıklık değerleri

0 1 2 3 4 5

4 0 - 1.9245 - 2.9938 - 3.4537 - 3.6665 - 3.7777 -

5 0 6 1.0758 8.9208 1.7902 13.5284 2.1268 16.2559 2.2885 17.6763 2.3746 18.4594 6 0 3 0.7797 4.1626 1.3705 6.2975 1.6663 7.6593 1.8120 8.3906 1.8904 8.7996 8 0 1.5 0.5335 1.9705 1.0211 3.0353 1.2843 3.7777 1.4179 4.1908 1.4908 4.4257 10 0 1 0.4243 1.2909 0.8658 2.0439 1.1149 2.5955 1.2436 2.9085 1.3143 3.0881

Çarpık dağılımının çarpıklığı parametresi tarafından belirlenmektedir. ġekil 1.2’den de görüldüğü gibi eğer ise dağılım sağa çarpık, ise dağılım sola çarpık ve ise dağılım t dağılımıdır.

(37)

24

ġekil 1.2 , ve farklı çarpıklık parametre değerleri için çarpık t dağılımın olasılık yoğunluk fonksiyonu grafikleri

( ) rasgele değiĢkeni için stokastik gösterim aĢağıdaki gibidir (Gupta vd. 2002, Azzalini ve Capitanio 2003 ve Gupta 2003)

√ ( ) ( ⁄ ⁄ ) (1.45)

burada ve rasgele değiĢkenleri bağımsızdır. Ayrıca standart çarpık normal dağılıma sahip rasgele değiĢkeni için stokastik gösterim

| | √

olduğuna göre ve | |

olmak üzere (1.45) ile verilen gösterimden koĢullu dağılımlar

| (

) (1.46)

(38)

25

| ( ( )) ( ⁄ ⁄ ) (1.47)

olarak elde edilir. (1.46) ve (1.47) ile verilen koĢullu dağılımlardan yararlanılarak ve rasgele değiĢkenlerinin ortak olasılık yoğunluk fonksiyonu

( )

( ⁄ )

( ⁄ ) ( ( )

)

(

( )

( )

( ) ) (1.48)

Ģeklinde bulunur. ( ) fonksiyonunun üzerinden integralinin alınmasıyla

( ) ∫

( ⁄ ) ( ⁄ )

( )

( )

( ) ( )

( ⁄ ) ( ⁄ )

( )

( ) ( )(

( )

*

ve

. ( )/ dönüĢümünün kullanılmasıyla

( ) √

( ⁄ )

( ⁄ ) ( ( )) ( √ )

olarak elde edilir. Buradan | koĢullu dağılımı

(39)

26 ( | ) √

√ ( )

( ( )*

( ) ( √ )

Ģeklinde bulunur. Böylece ve verilmiĢken rasgele değiĢkeninin koĢullu dağılımı

| . ( ) ( )

( )/ (1.49)

olur. Ayrıca, | koĢullu dağılımı . /

{ . / ( √ *}

normalleĢtirme sabiti olmak üzere aĢağıdaki gibidir:

( | ) ( ) ( √ ) (1.50)

Önerme 1.4. Eğer ( ) ise herhangi bir için

. ( √ )/ . √ / (1.51)

dır (Azzalini ve Capitanio 2003).

Önerme 1.5. verildiğinde , , ve ( ) rasgele değiĢkeninin koĢullu beklenen değeri aĢağıdaki gibidir (Lin vd. 2007a) (ispat için bkz. EK1):

(40)

27 ) ( | ) (

*

( √ )

( ) (1.52)

) ( | ) ( )

( | )

√ ( ) (

( ) )

. /

(1.53)

) ( | ) ( )

( | ) ( )

√ ( )

( ) (

( ) )

. /

(1.54)

) ( | ) (

* ( )

( *

(

( √ )

( √ )

) ( )

√( )( )

( √ )

( √ )

( √ )

∫ ( ) ( )

(1.55)

Burada

√ ( ) (

* (

* (

) ( ) ( )( )

dır.

(41)

28

1.4.2.1 Çarpık t dağılımına dayalı regresyon modeli için parametre tahmini

(1.3) eĢitliği ile verilen regresyon modeli ele alınsın. Bu regresyon modeli için hata terimleri dağılımı ( ) olsun. Burada ( ) dır. Yani ( ) √ .

/

. / olmak üzere ( ) ( ) olduğundan sadece kesim noktası etkilenir. Kesim noktası tahmin edilirken ( )̂ ifadesi de dikkate alınmalıdır.

Böylece, *( ) ( )+ gözlemleri verilmiĢken bilinmeyen ( ) parametresinin ML tahmin edicisi

( ) ∑ . ( )/

(1.56)

log-olabilirlik fonksiyonunun parametreye göre maksimum yapılmasıyla bulunur.

Ancak bu fonksiyonu maksimum yapan nokta analitik olarak bulunamaz. Bu nedenle parametre tahminleri EM algoritması kullanılarak yapılır.

EM algoritmasının adımlarının kolaylaĢtırılması için çarpık t dağılımının (1.45) ile verilen stokastik gösteriminden yararlanılarak koĢullu dağılımlar

| ( )

| ( ( )+ ( ⁄ ⁄ )

(1.57)

olarak elde edilir. Burada ve ( ) dır. ( ) ve ( ) kayıp veri olmak üzere ( ) tam verisi için olabilirlik ve log- olabilirlik fonksiyonları

Şekil

Updating...

Referanslar

Benzer konular :