ANKARA ÜNİVERSİTESİ FEN BİLİMLERİ ENSTİTÜSÜ
YÜKSEK LİSANS TEZİ
WEIBULL DAĞILIMININ PARAMETRELERİNİN BAYESCİ YÖNTEMLE TAHMİNİ
Yasemin KOÇ
İSTATİSTİK ANABİLİM DALI
ANKARA 2020
Her hakkı saklıdır
ii ÖZET
Yüksek Lisans Tezi
WEIBULL DAĞILIMININ PARAMETRELERİNİN BAYESCİ YÖNTEMLE TAHMİNİ
Yasemin KOÇ
Ankara Üniversitesi Fen Bilimleri Enstitüsü İstatistik Anabilim Dalı
Danışman: Doç. Dr. Esin KÖKSAL BABACAN
Weibull dağılımı, tıp, mühendislik, fizik, sigortacılık gibi birçok alanda yaygın kullanıma sahip bir dağılımdır. Özellikle maliyet kaybını azaltmada ya da makinelerin garanti ya da dayanma sürelerinin belirlenmesinde iş dünyası tarafından tercih edilerek popülaritesini artırmıştır. Bu sebeple, dağılım parametrelerinin etkin bir şekilde tahmin edilmesi kullanımı açısından önem taşımaktadır. Weibull dağılımının parametrelerinin tahmini için en küçük kareler yöntemi, en çok olabilirlik yöntemi, momentler yöntemi ve Bayesci yöntemler kullanılmaktadır.
Bu çalışmada amaç, Weibull dağılımının parametreleri tahmin edilirken başvurulan yöntemleri araştırmak ve Bayesci yöntemin diğer yöntemlere kıyasla etkinliğini saptamaktır. Bu sebeple bir simülasyon programı yazılmış ve Weibull dağılımının parametreleri hem klasik hem de Bayesci yöntemle tahmin edilmiştir. Daha sonra gerçek veriler kullanılarak tahmin sonuçları elde edilmiştir. Weibull dağılımının parametrelerini tahmin ederken kullanılan yöntemleri karşılaştırmak için hata kareler ortalaması ölçüt olarak kullanılmıştır.
Yapılan simülasyon çalışması farklı örneklem boyutları ve farklı parametre değerleri için tekrarlanarak sonuç çıkarımında bulunulmuştur. Ayrıca, Bayes yöntemi ile tahmin yapılırken hem Lindley yaklaşımı hem de Markov Zinciri Monte Carlo yöntemlerinden Metropolis- Hasting algoritması kullanılmıştır.
Ocak 2020, 64 sayfa
Anahtar Kelimeler: Bayes yaklaşımı, Weibull dağılımı, önsel dağılımlar, Monte Carlo simülasyonu, Lindley yaklaşımı
iii ABSTRACT
MS Thesis
PARAMETER ESTIMATION OF THE WEIBULL DISTRIBUTION BY BAYESIAN METHOD
Yasemin KOÇ
Ankara University
Graduate School of Natural And Applied Sciences Department Of Statistics
Supervisor: Assoc. Prof. Dr. Esin KÖKSAL BABACAN
Weibull distribution is widely used in many fields such as medicine, engineering, physics and insurance. It has increased its popularity by being preferred by the business world especially in reducing cost loss or determining the warranty or durability of the machines. Therefore, effectively estimating of distribution parameters have important for its usage. The least squares method, maximum likelihood method, moments method and Bayesian methods are used to estimate the parameters of the Weibull distribution.
The aim of this study is to investigate the methods used to estimate the parameters of the Weibull distribution and to determine the effectiveness of the Bayesian method compared to other methods. Therefore, a simulation program was written and the parameters of the Weibull distribution were estimated by both classical and Bayesian methods. Then, real data sets were used to estimate the results. In order to compare the methods used to estimate the parameters of the Weibull distribution, the mean squared error was used.
Inferences were obtained by repeating simulation for different sample sizes and different parameter values. Besides, while estimating with Bayes method, both Lindley approach and Metropolis-Hasting algorithm of Markov Chain Monte Carlo methods were used.
January 2020, 64 pages
Key Words: Bayesian approach, Weibull distribution, prior distributions, Monte Carlo simulation, Lindley approach
iv
ÖNSÖZ VE TEŞEKKÜR
Uzun ve meşakkatli tez hazırlama sürecim boyunca, bana bilgi ve tecrübesiyle sürekli destek olan, moral ve motivasyon desteğini benden hiç esirgemeyen değerli hocam ve danışmanım sayın Doç. Dr. Esin Köksal Babacan’a sonsuz teşekkürlerimi sunmayı bir borç bilirim.
Eğitime verdikleri önem ve bana olan desteklerini hep hissettiğim canım aileme, beni diğer konularda olduğu gibi okumak konusunda da her fırsatta motive eden ve hiç bir fedakarlıktan kaçınmayan hayat yoldaşım eşime, sonsuz teşekkürlerimi sunarım.
Son olarak dünyadaki en güzel mertebe olan annelik mertebesine beni eriştirdiği ve varlığıyla bana güç verdiği için kızım Begüm Ece’ye teşekkür ederim.
Yasemin KOÇ Ankara, Ocak 2020
v
İÇİNDEKİLER
TEZ ONAY SAYFASI
ETİK ... i
ÖZET ... ii
ABSTRACT ... iii
ÖNSÖZ VE TEŞEKKÜR ... iv
Kısaltmalar ... vii
ŞEKİLLER DİZİNİ ... viii
ÇİZELGELER DİZİNİ ... ix
1. GİRİŞ VE ÖNCEKİ ÇALIŞMALAR ... 1
2. WEIBULL DAĞILIMI ... 4
3. İKİ PARAMETRELİ WEIBULL DAĞILIMINDA PARAMETRE TAHMİN YÖNTEMLERİ ... 8
3.1 En Küçük Kareler Yöntemi ... 8
3.2 En Çok Olabilirlik Yöntemi ... 10
3.3 Momentler Yöntemi ... 12
4. WEİBULL DAĞILIMININ PARAMETRELERİNİN BAYESCİ YÖNTEMLE TAHMİNİ ... 15
4.1 Jeffreys’in Önsel Bilgisi Kullanılarak Şekil Parametresi Bilinmeyen Weibull Dağılımında Şekil Parametresi İçin Bayes Tahmini ... 16
4.2 Önselin Üstel Olarak Alınarak Ölçek Parametresi Bilinmeyen Weibull Dağılımında Ölçek Parametresi İçin Bayes Tahmini ... 17
4.3 İki Parametrenin Bilinmediği Durumda Jeffreys’in Önsel Bilgisi Kullanılarak Weibull Dağılımının Parametrelerinin Bayesci Yöntemle Tahmini ... 19
4.4 İki Parametrenin Bilinmediği Durumda Her İki Parametre İçin Üstel Önsel Bilgisi Kullanılarak Weibull Dağılımının Parametrelerinin Bayesci Yöntemle Tahmini ... 21
4.4.1 Lindley yaklaşımı ... 24
4.4.2 Markov Zinciri Monte Carlo yöntemleri ... 26
4.4.2.1 Metropolis algoritması ... 27
4.4.2.2 Metropolis-Hasting algoritması ... 28
4.4.2.2.1 Tek değişkenli dağılımlar için Metropolis-Hasting algoritması ... 28
vi
4.4.2.2.2 Çok değişkenli dağılımlar için Metropolis Hastings algoritması ... 29
4.4.2.3 Gibbs algoritması ... 32
5.1 Tek Parametrenin Bilindiği Durumda Simülasyon Çalışması ... 34
5.2 İki Parametrenin Bilinmediği Durumda Simülasyon Çalışması ... 41
5.3 Gerçek Veri Uygulama1arı 1 ... 45
5.4 Gerçek Veri Uygulamaları 2 ... 47
6. SONUÇ ... 50
KAYNAKLAR ... 52
EKLER ... 55
EK 1 Lindley Yaklaşımı Kullanılarak İntegrallerin Yaklaşık Çözümleri ... 56
EK 2 Asimptotik Normallik ... 60
EK 3 Fisher Bilgi Matrisi ... 61
EK 4 Asimptotik Güven Aralıkları ... 62
EK 5 Yarılama (Bisection) Yöntemi ... 63
ÖZGEÇMİŞ ... 64
vii
SİMGELER DİZİNİ
μ Beklenen değer Varyans
Benzer
≈ Yaklaşık
α Alfa
λ Lambda
β Beta
Γ Gamma
θ Teta
η Eta
Teta
δ Delta
σ Sigma
Orantılıdır
Sonsuz
ϵ Elemanıdır
∏ Çarpım
∑ Toplam
∫ İntegral
Kısaltmalar
MZMC Markov Zinciri Monte Carlo HKO Hata Kareler Ortalaması EÇOB En Çok Olabilirlik EKK En Küçük Kareler
viii
ŞEKİLLER DİZİNİ
Şekil 2.1 Ölçek parametresi olduğunda, β şekil parametresinin değişimine göre Weibull dağılımının olasılık yoğunluk fonksiyonu ... 6 Şekil 2.2 Şekil parametresi olduğunda, ölçek parametresinin değişimine göre Weibull dağılımının olasılık yoğunluk fonksiyonu ... 6 Şekil 2.3 Hazard fonksiyonu grafiği ... 7 Şekil 5.1 Histogram ve Tahminlerle Elde Edilen Olasılık Yoğunluk Fonksiyonları ... 46 Şekil 5.2 Ampirik Dağılım Fonksiyonu ve Elde Edilen Birikimli Dağılım
Foksiyonları ... 47 Şekil 5.3 Histogram ve Tahminlerle Elde Edilen Olasılık Yoğunluk Fonksiyonları ... 48 Şekil 5.4 Ampirik Dağılım Fonksiyonu ve Elde Edilen Birikimli Dağılım
Foksiyonları ... 49
ix
ÇİZELGELER DİZİNİ
Çizelge 5.1Weibull dağılım parametrelerinden β şekil parametresi β=1 bilindiğinde γ= 1 için sonuçlar ... 36 Çizelge 5.2 Weibull dağılım parametrelerinden β şekil parametresi β=1
bilindiğinde γ= 2 için sonuçlar ... 37 Çizelge 5.3 Weibull dağılım parametrelerinden β şekil parametresi β=1
bilindiğinde γ= 3 için sonuçlar ... 38 Çizelge 5.4 Weibull dağılım parametrelerinden β şekil parametresi β=3
bilindiğinde γ= 2 için sonuçlar ... 39 Çizelge 5.5 Weibull dağılım parametrelerinden β şekil parametresi β=3
bilindiğinde γ= 2 için sonuçlar ... 40 Çizelge 5.6 Weibull dağılım parametreleri bilinmediğinde β=3 ve γ= 2 için sonuçlar ... 42 Çizelge 5.7 Weibull dağılım parametreleri bilinmediğinde β=3 ve γ= 3 için
sonuçlar ... 43 Çizelge 5.8 Weibull dağılım parametreleri bilinmediğinde β=4 ve γ= 3 için
sonuçlar ... 44 Çizelge 5.9 Parametre Tahmin Sonuçları... 46 Çizelge 5.10 Parametre Tahmin Sonuçları... 48
1 1. GİRİŞ VE ÖNCEKİ ÇALIŞMALAR
Weibull dağılımı, 1939 yılında adını İsveçli matematikçi Waloddi Weibull'dan alan sürekli bir olasılık dağılımıdır. Dağılımı ilk olarak malzeme kırılma dayanımı için bir model olarak önermiştir. Günümüzde, ürün güvenilirliğini değerlendirmek, yaşam verilerini analiz etmek, kalite kontrol, meteorolojide hava tahmininin ve rüzgar hızının modellemelerinde, radar sistemlerinin modelleme alanlarında biyoloji, ekonomi, mühendislik bilimleri ve hidroloji dahil olmak üzere diğer birçok alandan geniş bir yelpazedeki verilerle diğer dağılımlara göre daha iyi uyum sağladığı için yaygın şekilde kullanılmaktadır.
Walodi Weibull, 1951 yılında İngiltere’de yaptığı çalışmalarında Weibull dağılımını, kalite kontrolünde, binaların dayanma sürelerinin hesaplanmasında ve fabrikalarda üretilen malzemelerin özelliklerini modellemede kullanmıştır. Modeli, farklı bilim dallarına ait veri kümelerine uygulamış ve böylelikle farklı uygulama alanları üzerinde modelin çok yönlülüğünü göstermiştir (Mansız, 2014) .
Weibull dağılımının bir özelliği de küçük örneklemler üzerinde yapılan analizlerde başarılı olmasıdır. Küçük örneklemlerde başarılı olması, bu dağılımı havacılık güvenliği için de tercih edilebilir hale getirmektedir. Örneğin; bir hava yolu şirketinde, emisyon sistemindeki herhangi bir parça garanti süresi içinde %4'lük bir hata oranını aştığında filonun toplatılması gerekmektedir. “Garanti verilerine göre, hangi kısımlar, hangi tarihte %4 oranını geçecek?” sorusunun cevabı Weibull dağılımı ile verilebilmektedir.
Weibull dağılımının diğer bir avantajı ise hata verileri için basit ve kullanışlı bir grafik sunmasıdır. Yatay ölçek, bir yaşam veya yaşlanma ölçüsüdür. Başlatma/ durdurma döngüleri, kilometre, çalışma süresi, iniş veya görev döngüleri yaşlanma parametrelerinin örnekleridir. Dikey ölçek, birikimli yüzde hata oranıdır. Çizginin eğimi, β, özellikle önemlidir ve hatanın durumuna dair bir ipucu sağlayabilmektedir (Abernethy, 2010).
2
Yaygın kullanıma sahip Weibull dağılımının parametrelerinin tahmini önem kazanmaktadır. En çok olabilirlik yöntemi, Weibull dağılımının parametrelerini tahmin etmede sıklıkla tercih edilmektedir. Ancak son zamanlarda bayes yöntemiyle Weibull dağılım parametrelerinin tahmini de yaygın biçimde kullanılmaktadır. Bayes tahmini yaklaşımı, son zamanlarda geleneksel yöntemlerin çoğuna alternatif olarak önerilen hata verilerini analiz etmek konusunda büyük ilgi görmüştür. Bayesci yaklaşım, parametreler ve mevcut veriler hakkında önsel bilgiden yararlanmaktadır.
Weibull dağılımı ile ilgili olarak fizik ve mühendislik alanlarında; Weibull (1951) kitabında çeliğin esneme dayanımı ve çeliğin dayanıklılık ömrü ile, Keshevan vd.
(1980) , camın kırılma dayanıklılığı ile, Sheikh vd. (1990) borulardaki çukur korozyonu ile, Quereshi ve Sheikh (1997) metallerde yapışkan aşınması ile, Durham ve Padget (1997) karbon fiber kompozitlerin kullanım ömrü ile, Almeida (1999) kaplamaların kullanım ömrü ile, Fok vd. (2001) kırılgan malzemelerin kullanım ömrü ile, Newell vd.
(2002) kompozit malzemelerin ömürleri ile, Li vd. (2003) beton bileşenler ile çalışmalar yapmışlardır.
Jeofizik alanında ise Al-Hasan ve Nigmatullin (2003) rüzgar hızı veri analizi, Huillet ve Raynaud (1999) deprem büyüklüğü, Bebbington ve Lai (1996) volkanik oluşum veri analizi, Durrans (1996) düşük akış analizi, Heo vd. (2001) bölgesel sel baskını sıklığı ile ilgili çalışmalar yapmışlardır. Yemek bilimi alanında Mafart vd. (2002) termal koruma yönteminde sterilite, sosyal bilim alanında Roed ve Zhang (2002) işsizlik süresi, çevre alanında Dahm vd. (2002) çevresel radyoaktivite, doğa bilimi alanında Fleming (2001) ekolojik çeşitlilik ve tıp bilimi alanında Carroll (2003) yaşam süreleri analizi çalışmalarında bulunmuşlardır.
Bu çalışmanın ikinci bölümünde Weibull dağılımı hakkında istatistiksel bilgiye (olasılık yoğunluk fonksiyonu, dağılım fonksiyonu, beklenen değeri, varyansı, …) yer verilmiştir.
3
Üçüncü bölümde iki parametreli Weibull dağılımında parametre tahmin yöntemlerinden en küçük kareler yöntemi, en çok olabilirlik yöntemi ve momentler yönteminden bahsedilmiştir.
Dördüncü bölümde dağılım parametrelerinin Bayes yöntemi ile tahmininden bahsedilmiştir. İlk olarak, parametrelerden birinin bilindiği durumda Jeffreys’in Önsel Bilgisi kullanılarak sonuç çıkarımı göz önüne alınmıştır. İkinci olarak, diğer parametre bilinmediğinde önselin üstel olarak alındığı durum için tahmin ele alınmıştır. Üçüncü olarak, iki parametrenin de bilinmediği durum göz önüne alınmış ve ilk olarak Jeffreys’in Önsel Bilgisi kullanılarak parametrelerin tahmini araştırılmıştır. Daha sonra ise iki parametrenin bilinmediği durumda her iki parametre için üstel önsel bilgisi kullanılarak parametrelerin tahmini irdelenmiştir. Sonrasında, parametrelerden ikisinin de bilinmediği durumlarda Lindley yaklaşımı ve Markov Zinciri Monte Carlo (MZMC) yaklaşımları kullanılarak parametre tahminlerinin nasıl yapılacağı konusunda bilgi verilmiştir. MZMC yöntemlerinden Gibbs yöntemi ve Metropolis-Hastings yöntemi anlatılmıştır.
Beşinci bölüm uygulama çalışmalarına ayrılmıştır. Tez boyunca anlatılan yöntemlerle parametre tahmini ilk olarak bir simülasyon çalışması ile yapılmış ve tahmin sonuçları karşılaştırılmıştır. Daha sonra gerçek iki veri seti alınmış ve bunlar üzerinde parametre tahminleri elde edilmiştir.
Son bölümde ise uygulama çalışmasının sonuçlarına dayanarak genel bir değerlendirme yapılmıştır.
4 2. WEIBULL DAĞILIMI
Weibull dağılımı, literatürde şekil ve ölçek parametresi olmak üzere iki parametreli olarak karşımıza çıksa da kulanım alanlarına göre üç parametreli olarak da uygulanabilen çok yönlü bir dağılımdır.
İki parametreli Weibull dağılımı özellikle malzeme biliminde kullanılmaktadır. Ayrıca rüzgâr hızı dağılımı ve değişimi ile ilgili kesin ve net bilgilere ihtiyaç duyulduğunda yaygın olarak Weibull dağılımının bu hali kullanılır. Bu dağılımın olasılık yoğunluk eğrisi normal dağılım gibi simetrik değil çarpıktır ve dağılım şekil ve ölçek parametreleriyle belirtilir. rasgele değişkeni şekil parametresi , ölçek parametresi olan Weibull dağılımına ship bir rasgele değişken ise olasılık yoğunluk fonksiyonu,
( ) {
biçiminde verilir. İki parametreli Weibull dağılımında alındığında parametreli Üstel dağılım elde edilir. Dağılım fonksiyonu,
( ) ( ) {
biçimindedir.
Güvenilirlik fonksiyonu,
( ) ( ) ( )
biçiminde ifade edilmektedir.
Beklenen değeri,
5
( ) ( ) olarak hesaplanır. İkinci dereceden momenti,
( ) ( )
olmak üzere varyans,
( ) ( ) ( ( ))
ve
( ) [ ( ) ( )]
biçiminde hesaplanır. Dağılımın dereceden momenti,
( ) ( )
olarak bulunur.
Aşağıda iki parametreli Weibull dağılımının olasılık yoğunluk fonksiyonunun ölçek ve şekil parametrelerinin değişik değerlerine göre grafikleri yer almaktadır.
6
Şekil 2.1 Ölçek parametresi olduğunda, β şekil parametresinin değişimine göre Weibull dağılımının olasılık yoğunluk fonksiyonu
Şekil 2.2 Şekil parametresi olduğunda, ölçek parametresinin değişimine göre Weibull dağılımının olasılık yoğunluk fonksiyonu
T, Weibull dağılımından alınan bir yaşam süresi değişkeni olsun. Buna göre, daha önce ifade edildiği gibi T rasgele değişkeni sürekli bir dağılıma sahiptir ve olasılık yoğunluk fonksiyonu
0 0.2 0.4 0.6 0.8 1 1.2 1.4 1.6 1.8 2
0 0.5 1 1.5 2 2.5 3
x
f(x)
Weibull Dağılımının Olasılık Yoğunluk Fonksiyonu
=1, =2
=1.5, =2
=2, =2
=3, =2
=6, =2
0 0.2 0.4 0.6 0.8 1 1.2 1.4 1.6 1.8 2
0 0.5 1 1.5 2 2.5
x
f(x)
Weibull Dağılımının Olasılık Yoğunluk Fonksiyonu
=2, =1
=2, =1.5
=2, =2
=2, =3
=2, =6
7
( )
biçimindedir. Weibull dağılımının olasılık yoğunluk fonksiyonu kullanılarak hazard fonksiyonu
( ) ( )
( )
olarak elde edilir. Hazard fonksiyonunda,
alındığında,
( )
olup sabit bir fonksiyondur.
olduğunda hazard fonksiyonu artan ve
olduğunda hazard fonsiyonu azalandır.
’ nın değişik değerlerine göre hazard fonksiyonunun grafiği aşağıda verilmiştir.
Şekil 2.3 Hazard fonksiyonu grafiği
0 10 20 30 40 50 60 70 80 90 100
0 5 10 15
t
h(t)
Hazard Fonksiyonu
=1,=1.5
=1,=1
=1,=0.85
8
3. İKİ PARAMETRELİ WEIBULL DAĞILIMINDA PARAMETRE
TAHMİN YÖNTEMLERİ
3.1 En Küçük Kareler Yöntemi
Weibull dağılımına sahip n büyüklüğünde bir örneklem ve ( ) ( ) ( ) bu örneklemin sıra istatistiklerine ait gözlem değerleri olsun. Buna göre,
( )
iki parametreli Weibull dağılım fonksiyonu olmak üzere üstel ifade sağ tarafta yalnız bırakılıp her iki tarafın logaritması alınırsa;
[( ( ))] (1)
olur. Ardından bir kez daha logaritma alınırsa;
{ [( ( ))]} (2)
elde edilir. Elde edilen bu denklem bir regresyon denklemidir. F(x) dağılım fonksiyonu için en yaygın tahmin ediciler;
̂( ( )) ( )
̂( ( )) ( ) ( ) (3) ̂( ( )) ( )
dir.
( [ (
( ))]) (4)
9 alınırsa,
{ [( ( ))]} (5)
denkleminin
biçiminde bir regresyon denklemi olduğu görülür. Bu denklemde ( ( )) tahmin edicilerinden biri, yani yukarıdaki eşitliklerden biri kullanıldığında Weibull dağılımının ve parametrelerinin tahmini en küçük kareler yöntemi kullanılarak şöyle hesaplanır,
( ) ( ) ( ) ( [ ̂(
( ))]) (6) olmak üzere;
̂ (∑ ( ) ( )) (∑ ( ))(∑ ( ))
(∑ ( )) (∑ ( )) (7)
ve burada
(∑ ( ) ̂ ∑ ( )) (8)
alınırsa
̂ ( ) (9)
olur. Buna göre kestirilen regresyon denklemi:
{ [ ̂(
( ))]} ̂ ̂ (10) ̂ ̂ ̂
10 biçiminde elde edilir (Elitok, 2006).
3.2 En Çok Olabilirlik Yöntemi
, iki parametreli Weibull dağılımlı bir rasgele değişken olsun. Bu durumda olasılık yoğunluk fonksiyonunun
( )
biçiminde olduğu daha önce ifade edilmişti. Buna göre, parametreleri ve olan iki parametreli Weibull dağılımından alınan birimlik rasgele bir örneklem ( ( ) ) olmak üzere, olabilirlik fonksiyonu,
( | ) ∏ ( )
∏
∏ { ∑ } (11)
biçiminde olur. Olabilirlik fonksiyonunun logaritması alındığında,
( ) ( ) ( ) ( ) ∑ ∑ (12)
elde edilir. Bu eşitlikte β ve ’ya göre kısmi türevler alınıp sıfıra eşitlendiğinde;
( ) ∑ (13)
( ) ∑ ( ) ∑ (14)
olarak bulunur. parametresinin tahmin edicisi ̂ ve parametresinin tahmin edicisi ̂ yı hesaplamak için sayısal yöntemler uygulanabilir (Loganathan & Uma, 2017).
11
Bu tez kapsamında parametre tahminlerini elde etmek için çok değişkenli durumda kullanılan Newton-Raphson yöntemi kullanılmıştır. Denklemlerin çok değişkenli Newton-Raphson yöntemi ile çözümü aşağıda verildiği gibi elde edilmiştir.
∑ ( )
∑ ( )
∑ ( ( )) olmak üzere birinci türevler için vektörü,
( ( ) ∑
( ) ∑ ( ) ∑ ) (15)
ve ikinci türevlerin yer aldığı Hessian matrisi,
( ∑ ( )
∑ ( ) ∑ ( ( )) ) (16)
biçiminde elde edilir. Buna göre, ve başlangıç değerleri ve seçilen durdurma kuralı kullanılarak aşağıdaki
( ) (
) ( ( )
( )). (17) iteratif denklem ile sonuca ulaşılır. Böylece, parametresinin eçob tahmin edicisi ̂ ve parametresinin eçob tahmin edicisi ̂ bu iteratif denklemin çözülmesi ile elde edilir.
12
Büyük örneklem durumunda, , iken eçob tahmin edicilerinin özelliklerinden faydalanılabilir. , iken eçob tahmin edicilerinin dağılımlarının asimptotik normal dağılım olduğu bilinmektedir. Bu bilgi kullanılarak parametrelere ilişkin asimptotik güven aralıkları elde edilebilir. Buna göre,
( ̂
̂) (( ) (
̂ ̂ ̂ ̂ ))
biçiminde ifade edilebilir. Burada,
(
)
asimptotik varyans-kovaryans matrisidir. Bilindiği üzere asimptotik varyans-kovaryans matrisi Fisher Bilgi matrisinin tersidir (Ek-2). Buna göre ve parametrelerine ilişkin ( ) güven aralığı
̂ ⁄ √ ̂ , ̂ ⁄ √ ̂
biçiminde elde edilir. Burada, ⁄ standart normal dağılımında ⁄ . ci yüzdeliğe karşılık gelen üst sınır noktasıdır.
3.3 Momentler Yöntemi
Momentler yöntemi belki de tahmin yöntemlerinden en eskisidir. Eğer tahmin edilecek tane parametre varsa, bu parametrelere bağlı kitle momenti, karşılık gelen örneklem momentine eşitlendiğinde bu parametreleri bulunduran sayıda eşitlik elde edilir. Elde edilen bu sayıdaki denklem, bilinmeyen parametreler için çözülerek tahmin değerleri bulunur.
13
Weibull dağılımının parametrelerinin momentler yöntemi ile tahmininde dağılımın sıfır etrafındaki birinci ve ikinci momentleri kullanılır. Birinci bölümdeki açıklamalardan iki parametreli Weibull dağılımının sıfır etrafındaki momenti,
( ) ( )
şeklinde yazılabilir.
Weibull dağılımına sahip rasgele değişkeninin birinci ve ikinci kitle momenti ( ( ) ( )) birinci ve ikinci örneklem momentlerine ( ) eşitlenirse,
∑ ( ) ve
∑
( )
olur. Birinci denklemin karesi alınıp ikinci denkleme oranlanırsa,
( ) [ ( )]
( ∑ )
∑
elde edilir. Elde edilen bu denklem β’ ya göre çözülerek β parametresine ilişkin tahmin elde edilebilir. Bu ifade β’ ya bağlı bir fonksiyon olarak düşünülürse,
( ) ( ) [ ( )]
14
olarak yazılabilir. Örneklem gözlendikten sonra oranı bir sabit değer olacaktır. Buna göre, denklemin β’ya göre çözülmesi ile ̂ tahmini elde edilir. Denklemin çözümü için ikiye bölme (yarılama) yöntemi uygulanabilir. Yarılama yöntemine göre ilk olarak ve gibi iki başlangıç noktasına ihtiyaç vardır, öyle ki bu noktalardan birinde fonksiyon pozitif diğerinde fonksiyon negatif değer alır. Daha sonra ( ) aralığı ikiye bölünerek yine fonksiyonda pozitif ve negatif değer alan iki nokta ile devam edilir ve iki nokta arasındaki uzaklık olana kadar aynı işlem tekrarlanır, burada dır (Ek-5).
Bu yöntem ile ̂ elde edildikten sonra,
∑ ̂ ( ̂)
eşitliğinde yerine yazılarak, ̂
̂ ( ( ̂)
̅ )
̂
olarak elde edilir.
15
4. WEİBULL DAĞILIMININ PARAMETRELERİNİN BAYESCİ YÖNTEMLE TAHMİNİ
Bayesci yaklaşım, 1763’de Thomas Bayes tarafından ortaya konulan ve matematiksel istatistiğin önemli bir teoremi olan Bayes teoremine dayanır. Bayesci yaklaşımda klasikçi yaklaşımdan farklı olarak parametrenin de kendisine ait bir dağılımı olduğu varsayılır. Bu dağılım önsel (prior) dağılım adını alır. Bayesci sonuç çıkarımında parametreye ilişkin bu önsel bilgi ve dağılıma ilişkin veri bilgisi kullanılarak parametreye ilişkin dağılım güncellenir. Güncelleme sonunda elde edilen dağılıma sonsal (posterior) dağılım denir. Bayesci çıkarıma göre parametre ile ilgili tüm bilgi artık hesaplanan bu sonsal dağılım kullanılarak elde edilir.
Olasılık (yoğunluk) fonksiyonu ( | ) olan dağılımdan gözlemi ve parametresine ilişkin ( ) önsel dağılımı göz önüne alınsın. Bayes teoremi kullanılarak sonsal dağılımın olasılık (yoğunluk) fonksiyonu,
( | ) ( ) ( )
( | ) ( ) ( )
( | ) ( )
∫ ( | ) ( )
biçiminde elde edilir. Burada, ∫ ( | ) ( ) sonsal dağılımın normalleştirme sabiti olarak bilinir. ’nın olabilirlik fonksiyonu ( | )’nın herhangi bir orantılı fonksiyonu olmak üzere,
( ) ( | )
biçiminde ifade edilebilir. Buna göre sonsal dağılımın olasılık (yoğunluk) fonksiyonu,
( | ) ( ) ( )
∫ ( ) ( )
olarak yazılabilir. ( ) marjinal dağılımı bir integraldir. Bu integral sonlu olduğu sürece, integralin değeri sonsal dağılım hakkında herhangi bir ilave bilgi içermez. Bu nedenle, ( | ) aşağıda verilen orantılı biçimde yazılabilir,
16
( | ) ( ) ( ).
Bayesci yaklaşım var olan bilginin yeni bilgi ile nasıl güncelleneceğini ifade eder.
Bir parametrenin önsel dağılımı, veriyi analiz etmeden önce parametre hakkında kesin olmayan bilgileri içeren olasılık dağılımıdır. Önsel dağılım ve olabilirlik fonksiyonunun çarpımı parametrenin sonsal dağılımını verir. Sonsal dağılımı kullanarak tüm çıkarımlar yapılabilir (Cengiz vd., 2012) .
Bu kısımda tek parametresi bilinmeyen ve iki parametresi bilinmeyen Weibull dağılımlarının parametre tahminleri değişik önsel dağılımlar kullanılarak Bayesci yöntemle elde edilmiştir.
4.1 Jeffreys’in Önsel Bilgisi Kullanılarak Şekil Parametresi Bilinmeyen Weibull Dağılımında Şekil Parametresi İçin Bayes Tahmini
Parametreler hakkında önsel bir bilgiye sahip olunmadığı durumlarda, Fisher bilgisinin determinantının karekökü olan Jeffreys'in önseli kullanarak parametrelere ilişkin sonuç çıkarımı Bayesci yöntemle yapılabilir (Guure vd., 2012).
Jeffreys’in önsel dağılımı u(θ) [( ( )] verildiğinde;
(θ) ( )
biçimindedir. γ bilinen bir sabit olmak üzere β parametresi için;
(γ β) ( )
17
olarak alınabilir. Buna göre; bir parametresi sabit olan iki parametreli Weibull dağılımının olasılık yoğunluk fonksiyonu kullanılarak verildiğinde olabilirlik fonksiyonu;
( | ) ∏
∏
{ ∑
}
biçiminde yazılır.
Bayes teoremi ile γ ve β parametrelerinin ortak sonsal dağılımı;
( | ) ( | ) (γ β) ( )
∏
olarak elde edilir. Burada , 'ı uygun bir olasılık yoğunluk fonksiyonu yapan normalleştirme sabitidir (Guure vd., 2012).
4.2 Önselin Üstel Olarak Alınarak Ölçek Parametresi Bilinmeyen Weibull Dağılımında Ölçek Parametresi İçin Bayes Tahmini
şekil parametresinin bilinip, ölçek parametresi için önsel dağılımın γ ~ ( ) olduğu durum göz önüne alınsın. Buna göre, için önsel olasılık yoğunluk fonksiyonu,
( ) (18)
olur. Weibull dağılımının olasılık yoğunluk fonksiyonu,
( ) biçiminde olmak üzere olabilirlik fonksiyonu,
18
( ) (∏ ) ∑ (19)
şeklinde elde edilir. Bayes tahmin edicisini elde edebilmek için ilk olarak olabilirlik fonksiyonu ile önsel dağılım çarpılır.
P( )= ( ) ( )= (∏ ) ∑ .
= (∏ ) (∑ ) (20)
Daha sonra parametreye göre integral alınarak ’in marjinali elde edilir.
P( )= ∫ ( ) = (∏ ) ∫ (∑ )
= (∏ ) ( ∑ ) Γ (n+1) (21)
Son adımda da bunlar birbirine oranlanarak sonsal dağılım,
( ) ( ) ( )
(∏ ) (∑ ) (∏ ) ( ∑ ) ( )
( ) (∑ ) (∑ ) (22)
biçiminde elde edilir. Sonuç olarak, β şekil parametresi bilinip, ölçek parametresi için önsel dağılım olarak Üstel dağılım alınırsa sonsal dağılım parametreleri n+1 ve
∑ olan Gamma dağılımına sahip olur. Buna göre karesel kayıp fonksiyonu altında ölçek parametresinin Bayes tahmin edicisi bulunan bu dağılımın beklenen değeri olacaktır. O da
̂ E( ) = ∑
biçiminde ifade edilir (Sultan vd., 2014).
19
parametresi bilindiğinde, ölçek parametresi için en çok olabilirlik tahmin edicisini bulmak için olabilirlik fonksiyonunu parametresine göre maksimum yapan değeri bulmak yeterli olacaktır. Olabilirlik fonksiyonu,
( | ) ∏
{ ∑
}
ve logaritması alınmış olabilirlik fonksiyonu
( ) ( ) ( ) ( ) ∑
∑
biçiminde daha önce verilmişti. Buna göre sadece ’ya göre türevler alınıp sıfıra eşitlenerek;
( ) ∑
tahmin edici,
̂ ∑ olarak elde edilir.
4.3 İki Parametrenin Bilinmediği Durumda Jeffreys’in Önsel Bilgisi Kullanılarak Weibull Dağılımının Parametrelerinin Bayesci Yöntemle Tahmini
Her iki parametrenin de bilinmediği durum göz önüne alındığında, γ ve β bilinmeyen parametrelerinin her ikisinin de bir olasılık dağılımına sahip olduğu varsayılarak Bayesci çıkarım yapılabilir. ve parametrelerinin birbirinden bağımsız ve ( ) ve ( ) önsel dağılımlarına sahip olduğu varsayılsın. Buna göre önseller,
20
( ) ( ) ( ) ( )
biçiminde alınarak parametrelerin tahminleri elde edilsin.
Bu önsel dağılımlarla, ( ) 'nın ortak sonsal dağılımı aşağıdaki gibi elde edilebilir:
( | ) ( ∑
) ∏
ve
∫ ∫ ∏ ( | )
∫ ∫ ∏( | )
Γ( ) ∫
∑ olarak elde edilir.
Ortak sonsal dağılımın γ’ya göre integrali alındığında β’nın marjinal sonsal dağılımı
( | )
(∑ )
∫
(∑ ) biçimindedir.
Aynı şekilde γ’nın sonsal dağılımı gibi
21 ( | )
∫ ( ∑ ) Γ( ) ∫
(∑ ) biçiminde elde edilir.
Elde edilen sonsal marjinal dağılımların beklenen değerleri parametreler için Bayes tahmin edicisini verir. Bu tahmin ediciler;
̂
∫
(∑ )
∫
(∑ )
ve
̂
∫
(∑ )
∫
(∑ )
olarak elde edilir (Abdulabaas vd., 2013).
4.4 İki Parametrenin Bilinmediği Durumda Her İki Parametre İçin Üstel Önsel Bilgisi Kullanılarak Weibull Dağılımının Parametrelerinin Bayesci Yöntemle Tahmini
Şekil parametresi için önsel dağılım ( ), ölçek parametresi için önsel dağılım ( ) olarak alınsın ve iki parametrenin birbirinden bağımsız olduğu varsayılsın.
Buna göre, ve parametreleri için önsel olasılık yoğunluk fonksiyonları,
( ) (23)
( ) (24)
22
olur. Weibull dağılımının olasılık yoğunluk fonksiyonu,
( )
biçiminde olmak üzere olabilirlik fonksiyonu,
( ) (∏ ) ∑ (25)
şeklinde daha önce verilmişti. Bayes tahmin edicisini elde edebilmek için ilk olarak olabilirlik fonksiyonu ile önsel dağılımlar çarpılarak,
P( )= ( ) ( ) ( )
= (∏ ) (∑ ) (26)
ortak olasılık yoğunluk fonksiyonları bulunur. Daha sonra her iki parametreye göre integral alınarak ’in marjinal dağılımı
P( )=∬ ( ) =∬ (∏ ) (∑ )
=∫ (∏ ) ( ∫ (∑ ) )
=ab ( ) ∫ (∏ ) (
(∑ )
⁄ )
(27)
biçiminde bulunur. Buradan olabilirlik fonksiyonu marjinal fonksiyona oranlanarak iki parametre için ortak sonsal dağılım
( ) ( ) ( ) ((∏
)) (∑ )
( ) ∫ ((∏ )) ( (∑ )) (28) olarak elde edilir.
Parametrelere ilişkin sonsal marjinal dağılımları elde etmek için sırayla parametrelere göre integral alınır ve marjinal sonsal dağılımlar
23
( ) ∫ ( ) = (∏ ) ( ∫
(∑ ) ) ( ) ∫ (∏ ) ( (∑ ))
= (∏
) ( (∑ ))
∫ (∏ ) ( (∑ )) (29)
( ) ∫ ( ) = ∫ (∏ ) (∑ )
( ) ∫ (∏ ) ( (∑ )) (30) biçiminde bulunur.
Dikkat edilirse her iki parametre için de elde edilen sonsal dağılımlar bilinen dağılımlara benzememektedir. Karesel kayıp fonksiyonu altında aranan tahmin ediciler bu dağılımların beklenen değerleri olmak üzere beklenen değerler,
β ̂= E(β)= ∫ β (∏ ) β (( (∑ )) ) β
∫ β (∏ ) β( (∑ )) β (31)
ve
γ ̂= E(γ)= ∫ ∫ β (∏
) β γ γ(∑ ) γ β Γ ( ) ∫ β (∏ ) β( (∑ )) β
=( ) ∫ β (∏
) β ( (∑ )) β
∫ β (∏ ) β( (∑ )) β (32)
biçiminde hesaplanır. Görüldüğü gibi parametrelere ait Bayes tahmin edicilerinin kapalı formu elde edilememiştir.
Bu integrallerin çözümü için kullanılabilecek sayısal integrasyon yöntemleri veya simülasyon yöntemleri mevcuttur. Bu çalışmada sayısal integrasyon yöntemlerinden Lindley yaklaşımı kullanılmıştır (Sultan vd., 2014). Bunun yanı sıra Markov Zinciri Monte Carlo (MZMC) yöntemleri olarak bilinen simülasyon yöntemleri de mevcuttur.
24
MZMC örnekleme yöntemleri kullanılarak sonsal dağılımdan veri üretilerek elde edilen bu verilerin ortalaması ile istenen tahminler elde edilebilir.
Elde edilen sonsal dağılım γ ve β gibi iki parametreden oluşmaktadır. Bu nedenle, burada kullanılabilecek uygun MZMC yaklaşımı Gibbs örnekleyicisi ve ya iki değişkenli Metropolis-Hastings örnekleyicisidir (Steyvers, 2015).
4.4.1 Lindley yaklaşımı
İki integralin oranı şeklinde ifade edilen Bayes tahmin edicisinin elde edilmesinde genellikle güçlükler ortaya çıkmaktadır. Lindley (1980) tarafından, n’in yeterince büyük olması durumunda çok parametreli dağılımlarda zorlanılan integrallerin yaklaşık çözümüne ilişkin olarak Lindley yaklaşımı yöntemi önerilmiştir.
Lindley (1980), aşağıdaki integrallerin oranını göz önüne almış ve bu oranın çözümü için
∫ ( ) { ( )}
∫ ( ) { ( )}
yaklaşık sonucu önermiştir.
Burada ( ) parametre vektörü, ( ) olabilirlik fonksiyonunun logaritması, ( )’ da için ortak önsel dağılımı ifade etmektedir. ( ), ’ nın bir fonksiyonu ve ( ) ( ) ( ) olmak üzere sonsal dağılımın beklenen değeri
( ( )| ) ∫ ( ) { ( ) ( )}
∫ { ( ) ( )}
biçimindedir.
Burada, ( ) ( )’ dır. Buna göre Lindley yaklaşımı,
25 ( ( )| )
{ ∑ ∑( ) ∑ ∑ ∑ ∑
}
biçiminde verilir. Burada,
( )
( )
[ ]
olmak üzere parametre için Lindley yaklaşımı aşağıdaki gibi yazılabilir,
( ̂) ( ( )| )
( ̂ ̂ ) ∑ ∑ ( ) ∑ ∑ ∑ ∑
burada ̂ ve ̂ , ve ’ nin en çok olabilirlik tahmin edicilerini ifade etmektedir.
26
(31) ve (32) ile verilen integrallerin Lindley yaklaşımı kullanılarak elde edilen yaklaşık çözümleri Ek 1 kısmında verilmiştir ( (Lindley, 1980), (Sultan vd., 2014), (Demir, 2015)).
4.4.2 Markov Zinciri Monte Carlo yöntemleri
Markov Zinciri Monte Carlo (MZMC) yöntemleri, özellikle uygulamalı bilimlerde 90'lı yıllardan itibaren, bilhassa istatistik, bilgisayar bilimi, yöneylem araştırması ve sinyal işleme gibi bilgi işlem gücü gereken konularda popüler hale gelmiştir. Sinyal işleme veya yöneylem araştırmasında, MZMC deneyleri, girdilerin rassal bir örneğini oluşturarak bir sistemin veya hesaplama yönteminin performansını değerlendirmek için yaygın olarak kullanılmaktadır.
Markov Zinciri Monte Carlo (MZMC), insanların ağırlıkları, bebeklerin isimleri, okula giden çocuklarının okuma seviyelerinin ölçülmesi, madeni para atma oyunun sonuçları veya devletlerin gelecekleri gibi tahmin edilmesi zor ya da büyük örneklemli dağılımları olasılık dağılımına yaklaştırmak için kullanılan matematiksel bir yöntemdir. Tahmin yürütmenin ve kontrol etmenin zor olduğu büyük ölçekli dağılımlar için kullanılan bir istatistiksel yöntemdir (Skymind, 2019). Monte-Carlo yaklaşımının faydası; büyük örneklemlerin ortalamasını hesaplamak, ortalamayı doğrudan dağılıma ait denklemleri kullanarak hesaplamaktan çok daha kolay olabilir. Özellikle Bayesci yaklaşımda sonsal dağılımlara ulaşılması sebebiyle faydalı bir yöntemdir. Bu durumlarda, MZMC, kullanıcının doğrudan hesaplanamayan sonsal dağılımların bazı yönlerinin (sonsal dağılımın ortalaması vb. gibi) tahmin edilmesine olanak sağlar.
Markov Zincirleri aslında bir değişkenin bir grafiğin etrafında “nasıl yürüdüğünü” veya rasgele bir değişkenin bir durumdan diğerine zaman içinde nasıl değiştiğini gösterir.
MZMC yöntemi uygulanırken rassal yürüyüş mantığına göre çalışan algoritmalar tercih edilmektedir. Bunlardan bazıları; Metropolis, Metropolis-Hastings ve Gibbs örneklemesidir.
27 4.4.2.1 Metropolis algoritması
Metropolis algoritması 1953 yılında, Yunan-Amerikan fizikçi Nicholas Metropolis tarafından Arianna W. Rosenbluth, Augusta H. Teller ve Edward Teller tarafından sadece simetrik öneri dağılımları kullanılarak oluşturulmuştur.
Metropolis algoritması, hedef dağılıma yaklaşmak için kabul/ red kuralını kullanan rasgele bir yürüyüştür. Basit ve pratik bir algoritma olmasının yanı sıra, rasgele örneklem alanı etrafında hareket etmeye çalışarak, bazen hamleleri kabul ederek ve bazen yerinde kalarak ilerler. Ayrıca Metropolis Hasting algoritmasından farkı tek değişkenli bir dağılımdan alınmış olmasıdır.
Algoritmanın işleyişi kısaca ele alınırsa:
Olasılık yoğunluk fonksiyonu ( | ) olan tek değişkenli bir dağılımdan rasgele örneklem alınmak istensin. dağılımından elde edilen , .nci örnek olarak gösterilsin.
Algoritmanın başlangıç değeri olarak değeri alınır ve “öneri” dağılımı olarak adlandırılan simetrik bir ( | ) yoğunluk fonksiyonu kullanılır. ( ).nci adıma gelindiğinde parametre değeri için ( | ) öneri dağılımından rasgele bir örnek üretilir. Bu yeni örnek “red” veya “kabul” edilir. Eğer örnek kabul edilirse, algoritmaya yeni örnek ile başlanarak tekrarlanır. Kabul edilmeme durumunda ise algoritma kaldığı en son noktadan başlar. Bu durum algoritmayı durduruluncaya kadar tekrar eder.
Metropolis algoritması kullanıcılar için iterasyonların istenilen kadar tekrar edilebilmesi ve yeterli tekrar sayısına ulaşıldığında örneklemenin durdurulabilmesi ve toplam örnek sayısına karar verilebilmesi açısından avantaj sağlamaktadır.
Metropolis algoritması için önerilen fonksiyonun simetrik olması çok önemlidir ( ( | )). Önerilen dağılım, örneklem elde etmesi kolay bir dağılım olmalıdır.
bilindiğinde elde etme olasılığı ile bilindiğinde elde etme olasılıkları birbirine eşit olmalıdır. Yani ( | ) ( | ) olmalıdır. Metropolis algoritmasının adımları aşağıda verilmiştir:
1. t=0 için başlangıç noktası ( | )) şeklinde seçilir.
28
2. ( | ) öneri dağılımı kullanılarak üretilir.
3. { ( ( | )| ) } ile kabul olasılığı hesaplanır.
4. ( )’den bir u üretilir.
5. ise kabul edilir, değilse = olur.
6. istenilen örneklem sayısı olmak üzere, alınır ve ise 2.nci adıma dönülür, değilse işlem tamamlanır.
4.4.2.2 Metropolis-Hasting algoritması
Metropolis algoritması Hastings (1970) ve öğrencisi Peskun (1973, 1981) tarafından, Metropolis ve arkadaşlarının (1953) daha önce vurguladığı gibi, düzenli Monte Carlo yöntemleriyle bir araya getirilen boyutsallık lanetini (çok boyutluluk sorunu) yenebilecek istatistiksel bir simülasyon aracı olarak genelleştirilmiştir. Bu algoritmayı Metropolis algoritmasından ayıran en önemli özellik hem simetrik hem de asimetrik dağılımlara uygulanabilir olmasıdır. Ayrıca asimetrik öneri dağılımlarına sahip olmak, yakınsama hızını artırmak için yararlı olabilmektedir. Metropolis-Hasting algoritması;
( ( ( )) ( ( | | ))
kabul olasılığını kullanır.
4.4.2.2.1 Tek değişkenli dağılımlar için Metropolis-Hasting algoritması
Tek değişkenli dağılımlar için, Metropolis-Hasting algoritmasının adımları şu şekildedir:
29 1. t=1
2. u başlangıç değeri olarak alınır ve ( ) olur.
3. Aşağıdaki algoritma tekrar edilir
( | ( ))'den bir teklifi belirlenir
Kabul olasılığı ( ( ( ( )) ) ( ( ( )| ( )| ))) hesaplanır
( ) dağılımından bir oluşturulur
α ise teklif kabul edilir ve ( ) alınır, değilse ( ) ( )
4. Adımlar t=T olana kadar tekrar edilir.
4.4.2.2.2 Çok değişkenli dağılımlar için Metropolis Hastings algoritması
MZMC yöntemlerine ilişkin yukarıda, tek değişkenli hedef dağılımlarından nasıl örnek alınacağına yer verilmişti. MZMC çok değişkenli dağılımlardan örnek seçmek için kolayca genişletilebilir.
Çok değişkenli dağılımlarda değişkenleri örneklemek için iki farklı yol kullanılmaktadır. Bunlar, gruplu ve tekli güncelleme prosedürleridir.
30 I. Gruplu güncelleme( Blockwise Updating)
Çok boyutlu örnekleme yapmak için ilk yaklaşım gruplu güncellemelerdir. Bu yaklaşımda, öneri dağılımı, hedef dağılımı ile aynı boyuta sahip olacak şekilde seçilir (n değişken içeren bir küme olsun.). Spesifik olarak, eğer hedef dağılımı ( ) ,değişkenleri üzerinde bir dağılım ise, o zaman n değişken içeren bir dağılım olan öneri dağılımı tasarlanması gerekir. Daha sonra, tek değişkenli Metropolis- Hastings algoritması ile aynı şekilde öneri dağılımından örneklenen bir ( ) kabul edilir ya da reddedilir. Gruplu güncelleme adımları aşağıda verilmiştir:
1. t=1
2. Bir başlangıç değeri oluşturulur ( ) ve ( ) olarak alınır
3. Aşağıdaki algoritma tekrar edilir
( | ( ))'den bir teklifi belirlenir
Kabul olasılığı ( ( ( ( )) ) ( ( ( )| ( )| ))) hesaplanır
( ) dağılımından bir oluşturulur
α ise teklif kabul edilir ve ( ) alınır, değilse ( ) ( )
4. t=T olana kadar adımlar tekrar edilir.
II. Tekli güncelleme (Componentwise Updating)
Blok şeklinde güncellemelerle ilgili olası bir sorun, özellikle boyutların sayısı (n) arttığında, uygun bir öneri dağılımı bulmanın zor olduğudur. Bu, örneklemlerin büyük
31
oranda reddedilmesine yol açar. Bunu düzeltmenin bir yolu, sırayla θ'in n boyutlarının üzerinde dolaşarak, her boyutu diğerlerinden bağımsız olarak örneklemektir. Yani tüm bileşenlerini aynı anda içeren θ için bir teklifi kabul etmek veya reddetmek yerine, teker teker θ’nın bireysel bileşenleri için teklifler yapmak hesaplama açısından daha basit olabilir.
Örneğin, ( ) şeklinde iki değişkenli bir dağılım olduğu varsayılsın.
( ) ( )’nin uygun değerleri ile örneklem başlatılır. Her bir t adımında, ( ) son durumuna bağlı olarak ( ) teklifi yapılır. Daha sonra, ( ( ) ( ))’e karşı ( ( ) ( )) olasılığı karşılaştırılarak kabul oranı değerlendirilir. Bu teklifte, sadece ilk bileşen değiştirilir, ikinci bileşen sabit tutulur. Bir sonraki iterasyonda, son ( ) durumuna bağlı olarak bir teklifi sunulur. Daha sonra, ( ( ) ( )) 'e karşı ( ( ) ) olasılığı karşılaştırılarak kabul oranı değerlendirilir. Bu adımda dikkat edilecek husus; ilk bileşen sabit tutulur, ancak bu ilk adımdaki değer güncellenmiş değerdir. Bu sebeple, ikinci adımda olan durum, ilk adımda olanlara bağlıdır. İki değişken durumu için tekli güncelleme Metropolis-Hastings algoritması aşağıda belirtilmiştir:
1. t=1
2. Bir başlangıç değeri oluşturulur ( ) ve ( ) olarak alınır.
3. Aşağıda belirtilen algoritma tekrar edilir.
( | ( ))
Kabul olasılığı, ( (
( )) ( ( ) ( ))
( ( )| )
( | ( ))) hesaplanır.
Düzgün ( ) dağılımından bir sayısı üretilir.
32
ise teklif kabul edilir ve ( ) ( ) olur, değilse ( ) ( ) olur.
( | ( )) den bir teklifi belirlenir
Kabul olasılığı ( (
( ) ) ( ( ) ( ))
( ( )| )
( | ( ))) hesaplanır.
( ) dağılımından bir sayısı üretilir.
ise teklif kabul edilir ve ( ) ( ) olur, değilse ( ) ( ) alınır.
4. olancaya kadar algoritma tekrar ettirilir.
4.4.2.3 Gibbs algoritması
Gibbs algoritması adını, örnekleme algoritması ile istatistiksel fizik arasındaki mantığı referans alarak fizikçi Josiah Willard Gibbs'den almıştır. Algoritma, Gibbs'in ölümünden sekiz yıl sonra, 1984'te Stuart ve Donald Geman kardeşler tarafından detaylı bir şekilde açıklanmıştır. Bu algoritma, Metropolis-Hastings algoritmasının özel bir halidir.
Birikimli dağılım açıkça bilinmediğinde veya doğrudan örnek seçmenin zor olduğu durumlarda her bir değişkenin koşullu dağılımı bilinmesi şartına bağlı olarak bir dizi gözlem elde etmek için bir MZMC algoritmasıdır. Bu dizi, birikimli dağılımı yaklaşık olarak belirlemek için (örneğin dağılımın bir histogramını oluşturmak için);
değişkenlerden birinin marjinal dağılımını veya değişkenlerin bazı alt kümelerini (örneğin, bilinmeyen parametreler veya gizli değişkenler) yaklaşık olarak belirlemek veya bir integrali hesaplamak için (değişkenlerden birinin beklenen değeri gibi) kullanılabilir. Gibbs algoritması, diğer değişkenlerin mevcut değerlerine bağlı olarak sırayla her değişkenin dağılımından bir örnek oluşturur. Örneklem dizisinin bir Markov
33
zinciri oluşturduğu ve bu Markov zincirinin sabit dağılımının sadece aranan birikimli dağılımı olduğu gösterilebilir.
Gibbs algoritması, MZMC algoritmalarının en basitidir ve koşullu sonsal dağılımdan örneklem seçmek mümkün ise kullanılması daha uygundur.
Metropolis-Hastings ve reddetme algoritmalarının dezavantajı, öneri dağılımını ayarlamanın zor olmasıdır. Gibbs algoritmasının avantajı ise, araştırmacının öneri dağılımı belirtmek zorunda kalmaması ve bazı tahmin çalışmalarını MZMC prosedürünün dışında bırakmasıdır.
( ) parametre vektörü, ( | ) olabilirlik ve ( ) önsel bir dağılım olsun.
( | ) aşağıdaki gibi yazılabilir.
( | ) ( | ) ( )
Gibbs algoritması aşağıdaki gibi verilebilir:
1. için keyfi bir ( ) { ( ) ( )} başlangıç değeri seçilir.
2. ’ nın her bir bileşeni
( | ( ) ( ) )’ den ( ),
( | ( ) ( ) ( ) )’ den ( ),
………
( | ( ) ( ) )’ den ( )
şeklinde bulunur.
3. alınır ve istenilen örneklem büyüklüğü olmak üzere ise 2.nci adıma gidilir değilse işlem bitirilir.
