BÖLÜM 6
TAHMİN PROBLEMİNE GİRİŞ
Buraya kadar, rasgele değişkenlerin dağılım fonksiyonları ile olasılık fonksiyonlarının yanında bazı moment özellikleri ele alındı. Rasgele değişkenlerin dönüşümleri, bu dönüşümlerin momentlerine ilişkin bazı eşitsizlikler ve uygulamada çok karşılaşılan bazı özel dağılımlar incelendi.
Hemen hemen bütün bilim dallarında olduğu gibi, istatistiğin de esas amaçlardan biri üzerinde çalışılan kitle hakkında bilgi sahibi olmaktır. Başka bir ifade ile kitlenin bilinmeyenleri (parametreler) hakkında bilgi sahibi olmaktır. Yani, kitlenin parametreleri hakkında tahminlerde bulunmaktır. Kitle parametresi ile gösterilecektir. Kitlenin
1 , 2 , k
gibi k tane parametresi varsa, bu da
ile gösterilecektir. Bundan sonraki bölümlerde, parametrelere ilişkin tahmin yöntemleri üzerinde durulacaktır. Bu tahminler, gerçekleşmesi tamamen raslantıya bağlı olan deneylerin sonucuna bağlıdır. Tek bir deney ile istatistiki sonuç çıkarım yapmak anlamlı değildir. Dolayısı ile deneyler tekrar edilir. Bir deney aynı koşullarda tekrarlandığında, aynı sonuç gözlenmeyebilir.
6.1. Örneklem ve Özellikleri
Kitle parametrelerini tahmin etmek için deneyler tekrarlanır. Her tekrarda rasgele değişkenin değeri gözlenir. Ancak, deneylerin belli kurallara göre yapılması gerekir.
Deneyler birbirinden bağımsız olarak yapılabildiği gibi, bağımlı da olabilir. Her deney için rasgele değişkenin dağılımı da farklı olabilir. Burada, aksi söylenmedikçe, denemelerin birbirinden bağımsız olduğu varsayılacaktır. Yani, rasgele değişkenler birbirinden bağımsız aynı dağılıma sahiptir.
Tanım 6.1.1 Birbirinden bağımsız aynı dağılıma sahip X X 1 , 2 , X n rasgele değişkenlerine bir örneklem denir
1 , 2 , , n
X X X olasılık veya olasılık yoğunluk fonksiyonu ( ; ) f x olan kitleden bir
örneklem olsun. Bu durumda örneklemin ortak olasılık yoğunluk fonksiyonu,
1
, , 1
11
22
1
( , , ) ( ) ( )... ( ) ( )
n n i
n
X X n X X X n X i
i
f x x f x f x f x f x
şeklinde yazılabilir. X X 1 , 2 , X n beklenen değeri olan üstel dağılımdan bir örneklem ise P X ( 1 2, X 2 2 , X n 2) olasılığı,
2/ 2 /
1 2
1
( 2, 2 , n 2) n ( i 2) [ ( i 2)] n [ ] n n
i
P X X X P X P X e e
şeklinde hesaplanır.
Örneklem, genellikle sonsuz elemanlı bir kitleden alınır. Ancak, örnek uzayın sonlu elemanlı olduğu durumlarda örnekleme kurallarına dikkat edilmelidir. Sonsuz elemanlı bir kitleden örneklem alındığında, X rasgele değişkeninin değeri 2 X rasgele değişkeninin 1 alacağı değerden etkilenmez. Örnek uzay sonlu elemanlı ise denemeler birbirine bağımlı olabilir. Örneğin, içinde belli sayıda sarı ve mavi topların bulunduğu bir kavanozdaki sarı topların oranı hakkında bilgi sahibi olmak istiyorsak kavanozdan çekilen topun tekrar yerine konması (iadeli çekiliş) ile belli sayıda top çekilir. Buna göre, kavanozun içindeki sarı topların oranı aynıdır. Çekilen top yerine konulmazsa ikinci çekilen topun sarı gelmesi olasılığı birinci çekilen topun sarı veya mavi olmasına bağlıdır.
Tanım 6.1.2 Örneklemin herhangi bir fonksiyonuna tahmin edici (veya istatistik) denir
1 , 2 , n
X X X bir örneklem olsun. Örneklemin T T X ( 1 , , X n ) gibi herhangi bir fonksiyonu da (yani tahmin edici) bir rasgele değişkendir. Bu rasgele değişken sadece örneklemin bir fonksiyonu olup parametreye bağlı değildir. Tahmin edicinin aldığı değere bir tahmin denir.
Örnek 6.1.1 X X 1 , 2 , X n , n birimlik bir örneklem olsun. Buna göre,
1 1 1
1
( ) ( , , n ) 1 n i n , örneklem ortalaması
i
T X T X X X X
n
2 2
2 2 1
1
( ) ( , , ) 1 ( ) , örneklem varyansı 1
n
n i n n
i
T X T X X X X S
n
3 3 1 ( )
( ) ( , , n ) 1 max { } i n
T X T X X i n X X
, 4 ( ) 4 ( 1 , , n ) 1 min { } i (1)
T X T X X i n X X
birer tahmin edicidir. Ayrıca, örneklem değerleri n için, 5
1 ( ) 1 5
X w x , X w 2 ( ) x 2 , 3 X w 3 ( ) x 3 , 2 X w 4 ( ) x 4 , 1 X w 5 ( ) x 5 4 olarak gözlenmiş ise yukarıdaki tahmin ediciler için,
5 3 2 1 4
( ) 3
n n 5
X w x
5 2
2 2 2 2 2 2 2
1
1 1
( ) (5 3) ((3 3) (2 3) (1 3) (4 3) 2.5
4 4
n n i n
i
S w s x x
(1) (1)
1 5
( ) min i 1
X w x i x
, (5) (5)
1 5
( ) max i 5
X w x i x
birer tahmindir
Teorem 6.1.1 x x 1 , 2 , x n olmak üzere,
1
1 n
n i
i
x x
n
, 2 2
1
1 ( )
1
n
n i n
i
s x x
n
olsun. Buna göre,
a) 2 2 2
1
( 1) n n i n
i
n s x n x
b) 2 2
1 1
min n ( i ) n ( i n )
a i i
x a x x
dir.
İspat a) s açık olarak yazıldığında n 2
2
2 2 2 2 2
1 1 1 1
2 2 2 2 2 2 2
1 1 1 1
( 1) 2 2
2 1 2
n n n n
n i n i n i n i n i n
i i i i
n n n n
i n i n i n n i n
i i i i
n s x x x x x x x x x n x
x n x x n x x n x n x x n x
n
şeklinde aranan sonuç elde edilir.
b) 2
1
( ) n ( i )
i
f a x a
fonksiyonunu tanımlayalım ve fonksiyonu minimum yapan a
değerini bulalım. ( ) f a fonksiyonu a ya göre türevlenebilir olup, fonksiyonun
minimumunu bulmak için birinci türev sıfıra eşitlenir. Birinci türevin sıfır olduğu yerde,
fonksiyon minimum ya da maksimum değerini alır. Bu noktadaki fonksiyon değerinin
minimum olması için fonksiyonun o noktadaki ikinci türevinin pozitif olmalıdır. Buna göre,
1 1
( ) 2 n i 2 n i 2 0
i i
d f a
x a x n a
dx
eşitliğinden a x n bulunur. Yani, ( ) f a fonksiyonu a x n noktasında minimum ya da maksimuma sahiptir. Fonksiyonun bu noktadaki ikinci türevi,
2 2
( ) 2 0
a x
nd f a
d x n
olduğundan fonksiyon, a x n noktasında minimuma sahiptir. Yani,
2 2
1 1
min n i n i n
a i i
x a x x
dir
Teorem 6.1.2 X X 1 , 2 , X n beklenen değeri varyansı 2 olan kitleden bir örneklem olsun. Buna göre,
a) ( E X n ) b) Var X ( n ) 2 / n c) E S ( n 2 ) 2 dir.
İspat a) Beklenen değer operatörünün lineer olmasından dolayı aranan sonuç
1 1 1
1 n 1 n 1 n
n i i
i i i
E X E X E X
n n n
şeklinde elde edilir.
b) Benzer şekilde,
2 2 2 2
1 1 1
1 n 1 n 1 n
n i i
i i i
Var X Var X Var X
n n n n
dir.
c) S Teorem (6.1.1a) daki gibi yazıldığında, n 2 E S ( n 2 ) değeri
2 2 2 2
1 1
1 1
( ) ( )
1 1
n n
n i n i n
i i
E S E X X E X n X
n n
2 2 2 2 2 2
1 1
1 1
( ) ( ) ( ) ( / )
1 1
n n
i n
i i
E X nE X n n
n n
2 2 2 2 2 2
1 ( 1)
( ) ( )
1 ( 1)
n n n
n n
şeklinde bulunur
6.2. Rasgele Değişken Dizilerinde Yakınsamalar
Rasgele değişken dizilerinde yakınsamalara geçmeden önce, reel sayı dizilerindeki yakınsama kavramını hatırlayalım. Elemanları reel sayılar olan bir dizi a olsun. Yani, her n
n için a n dir.
Tanım 6.2.1 a) a elemanları reel sayılar olan bir dizi ve a n olsun. Her için 0 bir n 0 ( ) sayısı var ve n n 0 ( ) için | a n oluyorsa, a | a dizisi a noktasına n yakınsıyor denir ve a n (veya lim a n a n a
) ile gösterilir.
b) a n ise, 0 a n o (1) ve ( a n / f n ) ise 0 a n o f ( ) n dir.
c) Sonlu bir M sayısı için M ye bağlı bir n sayısı varsa ve her M n n M için
| a n | M oluyorsa a dizisi sınırlıdır denir ve n a n O (1) ile gösterilir. Benzer şekilde, ( a n / g n ) O (1) ise a n O g ( n ) dir
Örnek 6.2.1 a n (3 n 2) / n 2 dizisi için, n iken a n olup 0 a n o (1) dir.
Ayrıca,
3 2 2
(1/ ) 3
n n
a n
n n a n n
olup her n için 2
3 6
(1/ ) a n
n n yazılabilir. Yani, a n / (1/ ) n n a n O (1) veya (1/ )
a n O n dir
Reel sayı dizilerindeki yakınsama ve sınırlılık kavramlarının ayrıntılarına fazla
girmeden, yukarıdaki kavramları rasgele değişken dizileri için yazalım. Burada, rasgele
değişken dizilerinde birkaç yakınsama türü kısaca incelenecektir. Bunlardan, olasılıkta
yakınsama, tahmin edicilerin tutarlılık özelliğinin gösterilmesi açısından önemlidir. Tahmin
edicilerin asimptotik dağılımlarını bulmak için de dağılımda yakınsama kavramı önemlidir.
Tanım 6.2.2 (Olasılıkta Yakınsama): n için X rasgele değişkenlerin herhangi bir n
dizisi olsun. Her için 0 ve 0 n 0 ( ) öyle ki n n 0 ( ) için X dizisi n ({ :| P w X w n ( ) X w ( ) | })
özelliğini sağlanıyorsa, X rasgele değişkenlerinin dizisi X rasgele değişkenine olasılıkta n yakınsıyor denir ve X n şeklinde gösterilir P X
X rasgele değişken dizisinin X rasgele değişkenine olasılıkta yakınsaması genellikle, n
lim ({ :| n ( ) ( ) | }) 0
n P w X w X w
(veya kısaca lim (| n | ) 0
n P X X
)
şeklinde ifade edilir. Ayrıca, reel sayı dizilerinde olduğu gibi, X n ise P 0 X n o P (1) ve f bir reel sayı dizisi olmak üzere n X n / f n o P (1) ise X n o P ( ) f n yazılır.
Tanım 6.2.3 (Olasılıkta Sınırlılık) Her n için X rasgele değişkenlerin herhangi n
bir dizisi olsun. Her sayısı için öyle M 0 ve N sayıları varsa ve n N için, ({ :| n ( ) | })
P w X w M
özelliğini sağlıyorsa, X rasgele değişkenlerinin dizisi olasılıkta sınırlıdır denir ve n
n P (1)
X O ile gösterilir
Reel sayı dizilerinde olduğu gibi, f bir reel sayı dizisi olmak üzere n X n / f n O P (1) ise X n O P ( ) f n dir. Olasılıkta sınırlılık için genellikle ({ :| P w X w n ( ) | M ) yerine
(| n | )
P X M veya lim (| n | ) 0
n P X M
gösterimleri kullanılır.
Örnek 6.2.2 X n , n 1, 2,3,... beklenen değeri , varyansı 2 olan bağımsız aynı
dağılımlı rasgele değişkenler olsun. Örneklem ortalaması kitle ortalamasına olasılıkta
yakınsar. Yani, n iken X n dir. Burada, P X X 1 , 2 , , X n rasgele değişkenleri
bağımsız olmasına rağmen X X 1 , 2 , , X n rasgele değişkenleri bağımsız değildir ( n 1
için X n X 1 , n ve 2 X n ( X 1 X 2 ) / 2 olup X ile 1 X bağımsız değildir) dir. 2 Olasılıkta yakınsama Chebyshev eşitsizliğinden
2 2
2 2 2
( ) ( )
0 (| n | ) E X n Var X n 0 ,
P X n
n
şeklinde elde edilir. Yani, n iken X n dir. Buradan n iken P
P 0
X n olup, X n o P (1) de yazılabilir. Diğer taraftan,
( )
( ) (1)
1/
n n P
X n X O
n
olduğundan, X n O P (1/ n ) şeklinde de yazılabilir. Bu sonuç, olasılık ve istatistikte çok kullanılan zayıf büyük sayılar kanunudur (WLLN). Zayıf büyük sayılar kanunu açık olarak “ X X 1 , 2 , , X n beklenen değeri , varyansı 2 olan bağımsız rasgele değişkenler olmak üzere, örneklem ortalaması kitle ortalamasına olasılıkta yakınsar”
şeklinde ifade edilir. Benzer şekilde, örneklem varyansı da kitle varyansına olasılıkta yakınsar ( n iken S n 2 P 2 ). Bunu göstermek için Chebyshev eşitsizliği
2 2 2 2
2 2
( ) ( )
(| n | ) E S n Var S n
P X
şeklinde yazılır. Olasılıkta yakınsamanın sağlanabilmesi (yani, S n 2 P 2 ) için n iken Var S ( n 2 ) olmalıdır. Yani, 0 Var S değerinin hesaplanması gerekir. ( n 2 ) S in n 2 varyansı bazı dağılımlar için kolay hesaplanabilmesine rağmen, genellikle zor ve karmaşıktır
Tanım 6.2.4 (Hemen hemen her yerde yakınsama) X rasgele değişkenlerin bir dizisi n olsun. X rasgele değişkenlerinin dizisi her n için, 0
lim : n ( ) ( ) 0
P n w X w X w
özelliğini sağlıyorsa, X hemen hemen her yerde X rasgele değişkenine yakınsar denir ve n
n hhhy
X ile gösterilir X
Örnek 6.2.3 X n , n 1, 2,3,... beklenen değeri , varyansı 2 olan bağımsız aynı dağılımlı rasgele değişkenler olsun. Örneklem ortalaması hemen hemen her yerde kitle ortalamasına yakınsar. Yani, n iken X n dir. Bu yakınsama, literatürde hhhy güçlü büyük sayılar kanunu olarak bilinir
Tanım 6.2.5 (Momentlerde yakınsama) X rasgele değişkenlerin bir dizisi, X de n herhangi bir rasgele değişken olsun. n iken ( E X n X ) r ise 0 X rasgele n değişkenlerinin dizisi X rasgele değişkenine . r momentte yakınsar denir ve X n r X ile gösterilir
X rasgele değişkenlerinin dizisi X rasgele değişkenine momentlerde yakınsıyor ise, n
olasılıkta da yakınsar. Ancak, bunun tersi her zaman doğru değildir.
Örnek 6.2.4 Chebyshev eşitsizliğinden X n r ise X X n olduğu görülür. P X Her için Chebyshev eşitsizliği 0
( )
0 (| n | ) E X n r X r
P X X
şeklinde olup X n r ise ( X E X n X ) r dir. Yani n iken 0
(| n | ) 0
P X X dir. X dizisi momentlerde X rasgele değişkenine yakınsıyorsa n olasılıkta da yakınsar. Ancak bunun tersi doğru değildir. Bunun için X rasgele n değişkenlerini,
3 2
( n ) 1/
P X n n ve P X ( n 0) 1 (1/ n 2 )
olacak şekilde Bernoulli resgele değişkenlerinin bir dizisi olarak seçelim. Yani,
3 2
2
, olasılıkla 0 , 1 olasılıkla
n
n n
X n
olarak verilmiş olsun. Buradan, her için n iken 0 P X (| n | ) n 2 0 olduğundan X n dır. Yani, olasılıkta yakınsama gerçekleşir. Olasılıkta yakınsama P 0 gerçekleşmiş olmasına rağmen, n iken r için 1
3 3 3 2 3 2
( n 0) r ( n ) r 0 r ( 0) r ( ) r r
E X E X P X n P X n n n n dir. Yani, momentlerde yakınsama gerçekleşmez
Tanım 6.2.6 (Dağılımda yakınsama) X dağılım fonksiyonları n F olan rasgele n değişkenlerin bir dizisi olsun. Dağılım fonksiyonu F olan X rasgele değişkeni için, F nin sürekli olduğu yerlerde n iken F x n ( ) F x ( ) ise X rasgele değişkenlerinin n dizisi dağılımda X rasgele değişkenine yakınsıyor denir ve X n D X ile gösterilir
Dağılımda yakınsamaya en iyi örnek merkezi limit teoremi (MLT) ve uygulamalarıdır.
Bu uygulamalara geçmeden önce, bilerek veya bilmeyerek bilimin her alanında uygulamalarına rastlanan merkezi limit teoremini ifade ve ispat edelim. Literatürde, teoremin değişik türlerine rastlanabilir. Teoremdeki koşulların sağlanmadığı hallerde yeni koşullar ekleyerek merkezi limit teoremi sağlatılmaya çalışılır. Aşağıda bu teoremin Casella ve Berger (2002) de verilen hali dikkate alınmıştır.
Teorem 6.2.1 (Merkezi Limit Teoremi) X X 1 , 2 , X n ,... beklenen değeri varyansı
2 olan bağımsız aynı dağılıma sahip rasgele değişkenler olsun. Rasgele değişkenlerin moment çıkaran fonksiyonu sıfır noktası komşuluğunda varsa n iken,
( )
( 0,1) n X n
N
D
dir.
İspat: Standart normal dağılımın moment çıkaran fonksiyonu, M t Z ( ) e t
2/ 2 olup,
teoremin ispatı için Z n n X ( n ) / olmak üzere Z nin moment çıkaran n
fonksiyonunun n iken M t ye yakınsadığını göstermek yeterlidir. Z ( ) i 1, 2,3,... için
X lerin beklenen değeri i varyansı 2 ise Y i ( X i ) / rasgele değişkenleri de
beklenen değeri sıfır varyansı 1 olan bağımsız aynı dağılımlı rasgele değişkenlerdir.
Buradan,
1
1 n
n n i
i
Z n X Y
n
olup Z nin moment çıkaran fonksiyonu n
1 1
( )/ 1
( ) ( )
n( )
n( / ) ( / )
n n
i i
i i
n
Z X Y
Y Y
n
M t M t M t M t n M t n