˙IST 304 ˙Istatistik Karar Kuramı ve Y¨ ontemleri Hafta IX
Ders 1 : Kabul Edilebilirlik ve Karar Verme ˙Ilkeleri II
Dersi anlatan: ˙Ihsan Karabulut Notları yazan: ˙Ihsan Karabulut
Not: LaTeX ders kalıbı UC Berkeley EECS B¨ ol¨ um¨ u’n¨ und¨ ur.
Uyarı: Bu ders notları formal yayınların tabi oldu˘ gu kanun, y¨ onetmelik, kural ve esaslar dı¸sındadır.
Ders dı¸sında herhangi bir ¸sekilde kopya edilmesi, ¸ co˘ galtılması, yayımlanması yalnızca bu notları hazırlayan ve yazanın iznini gerektirir.
Kullanılan minimaks ve Bayes y¨ ontemlerinin kabul edilebilirlik bakımından y¨ uzeysel bir de˘ gerlendir- mesini yapmak karar verme problemlerinde ve ileride incelenecek istatistiksel karar verme s¨ urecinde g¨ or¨ u¸sleri de zenginle¸stirecektir. Bunun i¸ cin Chernoff ve Moses’dan ¨ ozet olarak ¸sunlar aktarılabilir:
Kabul edilebilir her eylem belirli bir ¨ onsel da˘ gılım i¸ cin bir Bayes eylemidir. Bu, iki do˘ ga durumun oldu˘ gu bir karar verme problemine ili¸skin, S ¸ekil’de verilen tipik bir ¸ cizim dikkate alınarak g¨ or¨ ulebilir. Bu ¸ cizimde C b¨ ut¨ un sade ve karma eylemlerin yer aldı˘ gı sınırlı ve kapalı bir konveks k¨ umeyi , T yine bir ba¸ska konveks k¨ umeyi g¨ ostersin.
Kabul edilebilir u eylemine ait beklenen kayıplar (L 1 , L 2 ) olsun. u ∈ C , u / ∈ T olup u, T nin bir sınır noktasıdır. Bu noktadan ge¸ cen iki k¨ umeyi ayırt edici bir do˘ gru vardırve bu do˘ gru kesinlikle u noktasından ge¸ cmelidir (y¨ uksek boyutlarda da ayırt edici d¨ uzlem teoreminin bir sonucudur). O halde bu do˘ gru hem C hem de T k¨ umesinin destek do˘ grusudur. S¨ oz konusu do˘ gru yatay, dikey veya negatif e˘ gimli olabilir. (S ¸ekilde yapılan ¸ cizim ve genel olarak i¸slenilen konular boyunca verilmi¸s olan konveks k¨ umelerin konumlarıyla da uyumlu bir ifadedir!). Her ¨ u¸ c durumda da aL 1 + bL 2 = c do˘ grusunda a, b sabitleri ancak aynı i¸saretli olabilirler dolayısıyla a + b 6= 0 ve bu toplam a, b’nin i¸saretine sahiptir. Ayrıca aL 1 + bL 2 = c do˘ grusunun katsayı ve sabitlerini aynı sayı ile ¨ ol¸ ceklemek do˘ gruya ait noktaların k¨ umesini de de˘ gi¸stirmeyecektir. Bu nedenle do˘ grunun sabit ve katsayıları a + b ile b¨ ol¨ un¨ urse
1-1
1-2 Ders 1 : Kabul Edilebilirlik ve Karar Verme ˙Ilkeleri II
u C
T
w
1L
1
+ w
2
L
2
=
c L
1L
2S ¸ek˙ıl 1.1: ˙Iki do˘ ga durumunun oldu˘ gu bir karar verme probleminde u noktasıyla temsil edilen kabul edilebilir bir eylemin bir (w 1 , w 2 ) ¨ onsel da˘ gılımı i¸ cin Bayes eylemi oldu˘ gunun g¨ osterimi.
{(L 1 , L 2 ) : aL 1 + bL 2 = c} = {(L 1 , L 2 ) : a
a + b L 1 + b
a + b L 2 = c a + b } oldu˘ gu g¨ or¨ ul¨ ur.
Aynı i¸saretlilikten dolayı a/(a+b) ≥ 0 b/(a+b) ≥ 0 ve a/(a+b)+b/(a+b) = 1 olacaktır. a/(a+b) = w 1 , b/(a + b) = w 2 ve c/(a + b) = c 0 olarak adlandırılırsa do˘ grunun ifadesi w 1 L 1 + w 2 L 2 = c 0 olarak yazılacaktır. Bu do˘ gru ¨ onsel da˘ gılımı (w 1 , w 2 ) olan karar problemine ili¸skindir ve c 0 u noktası ile temsil edilen Bayes eyleminin kaybı olacaktır. Bayes kaybı (w 1 , w 2 ) ¨ onseli i¸ cin bir minimumdur, bu noktanın solunda ve altında C ye ait bir ba¸ska nokta yoktur. Yukarıdaki sonucu veren soru di˘ ger y¨ onde ”Her Bayes eylemi kabul edilebilir midir?” olarak sorulabilir.
Bazı durumlar g¨ oz ardı edilirse soruya olumlu cevap verilecektir. Daha a¸ cık olarak: ¨ Onsel olasılık- ların w 1 > 0 ve w 2 > 0 oldu˘ gu her Bayes eylemi kabul edilebilirdir. ¨ Onsel olasılıkların hepsinin de sıfırdan farklı olmaları gerekti˘ gine dikkat edilmelidir. Yine iki durumlu bir karar verme problemi ele alınarak cevap do˘ grulanacaktır.
Bunu g¨ ostermek i¸ cin ¨ oncelikle herhangi bir eylemin do˘ ganın b¨ ut¨ un durumları i¸ cin ”en iyi” olamay-
aca˘ gı ve benzer olarak herhangi bir eylemin do˘ ganın b¨ ut¨ un durumları i¸ cin ”en k¨ ot¨ u” olamayaca˘ gı
Ders 1 : Kabul Edilebilirlik ve Karar Verme ˙Ilkeleri II 1-3
kabul edilmelidir. u 0 , R 2 de bir a 0 eylemine ili¸skin beklenen kayıp vekt¨ or¨ un¨ u g¨ ostersin. E˘ ger bir (w 1 , w 2 ) ¨ onsel da˘ gılımı i¸ cin a 0 bir Bayes eylemi ise bu eylem i¸ cin C konveks k¨ umesinin noktaları arasından birine (ya da bazılarına) kar¸sılık gelen bu eylem i¸ cin
w 1 L 1 + w 2 L 2 = c
en k¨ u¸ c¨ uk olmalıdır. w 1 6= 0 ve w 2 6= 0 oldu˘ gunda negatif e˘ gimli olan bu do˘ gru ilk kez C k¨ umesine de˘ ginceye dek ¨ otelenmi¸s, yani do˘ gru kendine parelel olarak yukarıya do˘ gru kaydırılmı¸stır. C nin b¨ ut¨ un noktaları, bir destek do˘ grusu olan bu do˘ grunun de˘ gdi˘ gi bu nokta ya da noktalar k¨ umesinin (L 1 , L 2 ) elemanlarına baskın olamaz; destek do˘ grusu (d¨ uzlemi) ¨ uzerindeki hi¸ c bir noktaya baskın de˘ gildir. O halde bu t¨ ur bir eylem ya da eylemler kabul edilebilirdirler. w 1 , w 2 den biri ¨ orne˘ gin w 2 = 0 olsaydı bu sonu¸ c ¸ cıkarılamazdı, bu durumda bulunacak Bayes eylemi i¸ cin
w 1 L(θ 1 , a) + w 2 L 2 (θ 2 , a) = L(θ 1 , a)
olmalıdır. Di˘ ger taraftan w 1 = 0 olması durumunda da bulunacak Bayes eylemi kabul edilebilir olacaktır. Bu saptamalara ili¸skin ¸ cizim S ¸ekil’de verilmi¸stir.
L 1 (θ 1 , a) do˘ grusunun C k¨ umesine ilk kez de˘ gdi˘ gi noktalar arasında sadece en a¸sa˘ gıda a ∗ast noktası ile temsil edilen eylem kabul edilebilirdir. Di˘ ger Bayes eylemleri kabul edilebilir de˘ gildirler.
Di˘ ger bir sonu¸ c ise bir minimaks eylemin belirli bir (w 1 , w 2 ) ¨ onsel da˘ gılım i¸ cin bir Bayes eylemi olmasıdır.
Bazen bir minimaks ¸ c¨ oz¨ um do˘ ganın durumları i¸ cin kayıpların e¸sit oldu˘ gu Bayes ¸ c¨ oz¨ umleri arasından belirlenerek elde edilebilir:
g (θ) ¨ onsel da˘ gılımına ili¸skin karma Bayes eylemi p ∗ = (p ∗ 1 , p ∗ 2 , . . . , p ∗ m ) olasılık da˘ gılımı ile tanımlan-
mı¸s olsun. Bu karma eylemin beklenen herhangi bir bir do˘ ga durumu θ i¸ cin kayıp fonksiyonu
1-4 Ders 1 : Kabul Edilebilirlik ve Karar Verme ˙Ilkeleri II
1 2 3 4 5 6 7 8 9 10
1 2 3 4 5 6 7 8 9 10
L 1 L 2
S ¸ek˙ıl 1.2: ˙Iki do˘ ga durumunda sade eylemlerle olu¸sturulan tipik bir konveks kabukta yer alan kabul edilebilir eylemler koyu ¸ cizgiler ¨ uzerinde (L 1 , L 2 ) noktalarıyla temsil edilen eylemlerdir.
L(θ, p ∗ ) = E(l (θ, p ∗ )) =
m
X
i=1
l(θ, a i )p ∗ i
de˘ geri her θ i¸ cin de˘ gi¸smiyorsa (sabitse) p ∗ bir minimaks eylemidir:
p ∗ bir Bayes eylemi ise Bayes kaybı B(p) = P m
i=1 g(θ i )E(l(θ i , a)) di˘ ger ifadeyle
B(p) =
m
X
i=1
g(θ i )L(θ i , p)
i¸ cin
B(p ∗ ) = min
p B(p) ≤ B(p)
Ders 1 : Kabul Edilebilirlik ve Karar Verme ˙Ilkeleri II 1-5
C a ∗
a ◦
L 1
L 2
S ¸ek˙ıl 1.3: ¨ Onsel da˘ gılımda w 1 , w 2 olasılıklarından w 2 = 0 oldu˘ gunda belirlenecek her Bayes eylem yada eylemlerinin kabul edilebilir olmayaca˘ gı; w 1 = 0 oldu˘ gunda da Bayes eyleminin kabul edilebilir olaca˘ gına ¨ ornek.
yazılabilecektir. Buradaki yazılı¸sta minimaks b¨ ut¨ un karma ve sade eylemler i¸ cinden bulunmaktadır.
L(θ, p ∗ ) bir sabit oldu˘ gundan
B(p ∗ ) = L(θ, p ∗ )
olacaktır. Di˘ ger taraftan herhangi bir p eylemi i¸ cin B(p), L(θ, p) nin beklenen de˘ geridir ve beklenen de˘ ger, L(θ, p)nin alaca˘ gı de˘ gerlerin, L(θ 1 , p), L(θ 2 , p), . . . en b¨ uy¨ u˘ g¨ unden b¨ uy¨ uk olamayaca˘ gından
B(p) ≤ max
θ L(θ, p)
olacaktır. Herhangi bir p i¸ cin do˘ gru olan zaten bir en k¨ u¸ c¨ uk olan Bayes eylemi p ∗ i¸ cin de do˘ gru olacaktır ve B(p ∗ ) = L(θ, p ∗ ) oldu˘ gundan
L(θ, p ∗ ) ≤ max
θ L(θ, p)
dir. Her iki tarafın en k¨ u¸ c¨ u˘ g¨ u b¨ ut¨ un sade ve karma eylemler ¨ uzerinden bulunursa son e¸sitsizli˘ gin p
1-6 Ders 1 : Kabul Edilebilirlik ve Karar Verme ˙Ilkeleri II
C
a ∗
max(L
1, L
2) = c w
1
L
1
+ w
2
L
2