35
36 açık uçlu maddeler çoktan seçmeli maddelere göre bireylere daha zor gelmiştir, bu durum da açık uçlu maddelerde şans başarısının olmamasından kaynaklanmış olabilir. ABİDE projesi kapsamında, alan uzmanlarının hazırladığı bu maddeler ölçme-değerlendirme uzmanları ve dil uzmanları tarafından gözden geçirildikten sonra akademik redaksiyona tabi tutulmuş ve maddelere son hali verilmiştir (Abide Raporu, 2017). Maddelerin ayırt edicilik düzeylerine bakıldığında, yalnızca madde 17’nin iyi ayırt edici olmadığı, diğer maddelerin yeterli düzeyde ayırt edici olduğu söylenebilir. İyi hazırlanmış bir madde olan madde 17’nin açık uçlu olması, kısmi puanlı olmaması, testte sondan ikinci madde olması ve testteki en zor madde olması göz önüne alındığında; açık uçlu oluşundan dolayı öğrencilerin bilgilerini yazılı ifade edememesi, testte sondan ikinci olmasından dolayı bazı öğrencilerin soruya erişememesi bu maddenin mevcut örneklemde iyi işlememesinin sebepleri olabilir.
KTK’ya göre hesaplanan fen bilimleri testinin madde istatistikleri Tablo 11’de gösterilmektedir.
Tablo 11
KTK’ya göre Hesaplanan Fen Bilimleri Testi Madde İstatistikleri
Madde No Madde Türü p rjbis
Madde 1 Çoktan Seçmeli (0-1) 0,52 0,40
Madde 2 Çoktan Seçmeli (0-1) 0,61 0,54
Madde 3 Çoktan Seçmeli (0-1) 0,56 0,46
Madde 4 Çoktan Seçmeli (0-1) 0,47 0,50
Madde 5 Çoktan Seçmeli (0-1) 0,61 0,54
Madde 6 Çoktan Seçmeli (0-1) 0,52 0,26
Madde 7 Çoktan Seçmeli (0-1) 0,58 0,60
Madde 8 Çoktan Seçmeli (0-1) 0,58 0,62
Madde 9 Çoktan Seçmeli (0-1) 0,50 0,54
Madde 10 Açık uçlu (0-1-2) 0,65 0,61
Madde 11 Açık Uçlu (0-1) 0,58 0,62
Madde 12 Açık uçlu (0-1-2) 0,30 0,62
Madde 13 Açık Uçlu (0-1) 0,45 0,58
Madde 14 Açık Uçlu (0-1) 0,06 0,22
Madde 15 Açık uçlu (0-1) 0,20 0,49
Madde 16 Açık uçlu (0-1-2) 0,40 0,63
Madde 17 Açık uçlu (0-1-2) 0,27 0,59
Madde 18 Açık uçlu (0-1) 0,23 0,41
Fen bilimleri alt testinde de açık uçlu maddelerin çoktan seçmeli maddelere göre bireylere daha zor geldiği söylenebilir. Fen bilimleri testi madde güçlüklerine göre
37 en zor maddenin 14, en kolay maddenin ise madde 10 olduğu söylenebilir. Testin tümü madde güçlüklerine göre gruplanmak istenirse; çok zor maddelerin 14 ve 15;
zor maddelerin 18, 17, 12, 16; orta güçlükte maddelerin 13, 4, 9, 6, 1, 3, 7, 8, 11;
kolay maddelerin ise 2, 5 ve 10 oldukları görülmektedir. Maddelerin en zordan en kolaya doğru madde numarasına göre sıralanması 14, 15, 18, 17, 12, 16, 13, 4, 9, 6, 1, 3, 8, 11, 7, 5, 2 ve 10 şeklindedir. Ayırt edicilik düzeyleri incelendiğinde, düzeyi en az olan madde olan 14’ün ile madde 6’nın bu örneklemde iyi işlemediği söylenebilir.
Maddelerin iyi hazırlandığı göz önüne alınarak bu testte iki maddenin iyi işlememesinin muhtemel sebepleri tartışılabilir. Örneğin, madde 14’ün açık uçlu olması ve bireylerin bu soru tipine alışık olmamasından kaynaklı olarak hazır bulunuşluklarının düşük olması bilgilerini iyi ifade edememelerine, dolayısıyla maddenin iyi işlememesine neden olmuş olabilir. Bu durum fen bilimleri testinde mevcut çalışma grubuna neden açık uçlu maddelerin daha zor geldiğinin bir sebebi olarak da düşünülebilir. 8.sınıf fen bilimleri konularının bazıları sözel olarak cevaplanırken bazıları matematiksel işlemler gerektirebilmektedir. ABİDE projesi kapsamında sorular yayınlanmadığı için 14 ve 6. maddelerin kazanımları hakkında bilgiye ulaşılmamıştır ancak maddeleri doğru cevaplamak için soruların kazanımının matematiksel beceri de gerektirebileceği unutulmamalıdır. Bu durumda bireyler, madde ile ilgili bilgiye sahip olmakla birlikte gerekli hesaplamayı doğru olarak yapamadıkları için maddeden puan alamamış olabilirler. Bu durumda maddeler mevcut örneklemde iyi işlememiş olabilir. Çalışmada açık uçlu maddelerin çoktan seçmeli maddelere göre bireylere daha zor gelmesinin sebepleri açık uçlu soruların doğası gereği şans başarısına neden olmaması olabileceği gibi bireylerin bilgilerini yazılı olarak iyi ifade edememeleri de olabilir. Madde 6’nın orta güçlükte olması bireylerin yaklaşık yarısı tarafından doğru cevaplandığını işaret etmektedir ancak maddenin bu örneklemde bilen ve bilmeyen bireyleri ayrıştırmada yeterli olmadığı görülmektedir. Bireylerin bu maddeye verdikleri cevaplar ile toplam test puanları
38 arasındaki ilişkinin düşük olmasından kaynaklanan bu durum şans başarısına işaret ediyor olabilir.
KTK’ya göre hesaplanan matematik ve fen bilimleri testlerinin test istatistikleri Tablo 12’de gösterilmektedir.
Tablo 12
Matematik ve Fen Bilimleri Alt Testlerine İlişkin Test İstatistikleri
Test Adı Test Ortalaması
Standart
Sapma Ortalama Güçlük Cronbach α Tabakalı α
Matematik 6,22 5,15 0,35 0,82 0,83
Fen Bilimleri 8,08 5,20 0,45 0,83 0,84
Tablo 12 incelendiğinde, fen bilimleri test ortalamasının matematik testinden daha yüksek olduğu görülmektedir. Her iki testin de güvenirliğinin yüksek olduğu görülmektedir. Ayrıca matematik ve fen bilimleri testlerinde çoktan seçmeli maddeleri ve açık uçlu maddeleri 2 tabaka olarak alıp hesaplanan tabakalı α güvenirlik katsayıları ile Cronbach α katsayılarının çok yakın olduğu görülmektedir.
Bu örneklemdeki bireylere matematik testinin zor, fen bilimleri testinin ise orta güçlükte geldiği ve her iki alt testin de güvenirlik düzeylerinin yüksek olduğu söylenebilir.
4.2a. ABİDE sınavı matematik ve fen alt testinin model veri uyumu nasıldır?
Model veri uyumunu incelemek amacıyla, çoktan seçmeli maddelere ilişkin parametreler Tablo 13’te ve açık uçlu maddelere ilişkin parametreler Tablo 14’te gösterilmektedir. Bu tablolardaki değerler Winsteps programı “item polarity”
seçeneği ile elde edilmiştir. Tablo 13 incelendiğinde tüm çoktan seçmeli maddelerin PTMA (point-measure-correlation) değerlerinin 0,38 ile 0,54 aralığında, pozitif ve yüksek olduğu; PTMA-E değerlerinin ise sıfırdan uzak ve PTMA değerlerine yakın olduğu görülmektedir. Bu değerler dikkate alınarak matematik alt testinde yer alan tüm çoktan seçmeli maddelerin bu test ile ölçülmek istenen örtük özelliğe katkılarının yüksek olduğu söylenebilir. Tablo 14’te açık uçlu maddelerin PTMA ve PTMA-E değerleri incelendiğinde 0,13 ile 0,64 aralığında hepsinin pozitif, 17. madde dışında hepsinin yüksek olduğu söylenebilir. Linacre (2012), PTMA değeri yüksek olmayan maddelerin gözlenen ve beklenen değerlerinin incelenmesini önermektedir. Bu öneriye göre 17. Madde incelenirse beklenen PTMA değeri ile (0,19) gözlenen PTMA-E değerinin (0,13) yakın olduğu bu sebeple PTMA değeri açısından bir problem yaratmadığı söylenebilir.
39 Linacre’ye göre (2018) verilerin modele mükemmel uyum sağlaması imkânsız bir durumdur. Bu nedenle, mükemmel uyumu aramaktan daha çok, ortaya çıkan uyumsuzlukların ölçmeye zarar verecek boyutta olup olmadığı test edilir.
Uyum istatistiklerinin beklenen aralıkta olması uyumsuzlukların ölçmeye zarar vermeyecek kadar küçük olduğu şeklinde yorumlanabilir. ZSTD değerleri ise model ile verinin mükemmel uyumlu olup olmadığına işaret etmekle birlikte örneklem büyüklüğünden etkilenmektedir. Linacre (2018)’nin bu gibi yüksek ZSTD değerlerinin örneklem büyüklüğünden kaynaklandığına kanıt sunmak için önerdiği, örneklemden rastgele seçilen iki farklı 300 bireylik grubun analizi EK-A’de verilmiştir.
Rasch analizlerinde, mükemmel uyumun olup olmaması değil meydana gelen uyumsuzluğun ölçmeyi bozmayacak miktarda olması beklenmektedir (Linacre, 2012). Bu sebeple bu çalışmada yüksek ZSTD değerleri dikkate alınmamıştır.
Tablo 13’te çoktan seçmeli maddelerin iç uyum ve dış uyum ortalama kareler değerleri incelendiğinde; iç uyum değerleri 0,87 < iç uyum < 1,15; dış uyum değerlerinin 0,82< dış uyum <1,23 aralığında değerler aldığı, model ile uyumlu olduğu ve ölçme açısından verimli olduğu görülmektedir (Wright ve Masters, 1994;
Bond ve Fox, 2015) Tablo 14’te açık uçlu maddelerin iç uyum ve dış uyum ortalama kareler değerleri incelendiğinde; iç uyum değerleri 0,86 ile 1,09 aralığında değerler alırken, 17. ve 18. maddeler hariç dış uyum değerlerinin 0,51 ile 1,10 aralığında değerler alarak model ile uyum gösterdiği görülmektedir (Wright ve Masters,1994;
Bond ve Fox, 2015). Madde 17’nin 1,83 ile en yüksek; madde 18’in ise 0,48 ile en düşük dış uyum değerini aldığı görülmektedir. Bu maddeler ölçme açısından Tablo 6 dikkate alındığında verimli aralığın dışında değerler aldığı için (Linacre ve Wright, 1994) maddeler daha detaylı incelenerek, bu yüksek değerlerin muhtemel sebepleri tartışılabilir. Bu çalışmanın daha sonraki kısımlarında da belirtileceği gibi, madde 17 KTK’da olduğu gibi Rasch modeline göre de testte yer alan en zor maddedir dolayısıyla yetenek düzeyi düşük olan bireylerin beklenmedik şekilde bu maddeyi doğru cevaplaması uç değerlere hassas olan dış uyum değerinin yüksek kestirilmesine sebep olmuş olabilir. Öte yandan, maddenin test kitapçığında sondan ikinci olarak yer alması yetenek düzeyi yüksek olan ancak süreyi iyi kullanamayan bireylerin bu soruya erişememesine yahut kısa sürede dikkatsizce yanlış cevap vermelerine sebep olmuş olabilir. Yine de madde 17’nin dış uyum değeri 1,50 < dış uyum <2,00 aralığında bir değer aldığı için verimli olmasa da ölçme açısından
40 bozucu da değildir (Linacre ve Wright, 1994). Madde 18’in ise dış uyum değeri Tablo 6’da verilen aralıklara göre maddenin az verimli olduğunu ve bozucu olmadığını göstermektedir. Dış uyum değerinin düşük olması Tablo 5 dikkate alındığında bu maddede modelle beklenenden daha az farklılaşma olduğunu ve model ile verinin aşırı uyumunu işaret etmektedir. Maddeye verilen cevapların çok belirgin olması ve cevap örüntülerinin gerçek olmayacak kadar iyi olması şeklinde de yorumlanabilir.
Yine de bu maddenin iç uyum değerinin verimli aralıkta olması ile dış uyum değeri birlikte ele alındığında, maddenin yapılan ölçme işlemine az da olsa katkı sağladığı söylenebilir.
41 Tablo 13
Matematik Alt Testi Çoktan Seçmeli Madde Parametreleri
Madde
no b X Standart
hata
İç
uyum İç Z Dış
uyum Dış Z Gözlenen PTMA
Beklenen PTMA
Gözlenen Uyum %
Beklenen
Uyum % Madde adı
1 -2,33 8043 0,02 0,87 -9,90 0,82 -7,27 0,54 0,46 79,85 77,03 M_2016_0003
2 -0,41 4192 0,02 1,03 2,92 1,07 3,94 0,46 0,48 72,37 72,78 M_2016_0005
3 -0,41 4181 0,02 1,06 5,57 1,11 6,29 0,44 0,48 71,56 72,81 M_2016_0006
4 -1,53 6523 0,02 1,01 0,70 1,01 0,59 0,48 0,48 70,22 71,02 M_2016_0009
5 -0,63 4638 0,02 1,09 9,90 1,16 9,85 0,42 0,48 68,68 71,50 M_2016_0011
6 -1,70 6863 0,02 0,99 -1,23 1,00 0,17 0,48 0,48 71,69 71,97 M_2016_0014
7 -0,77 4917 0,02 1,02 2,19 1,04 2,44 0,47 0,48 70,45 70,93 M_2016_0016
8 -0,29 3954 0,02 1,15 9,90 1,23 9,90 0,38 0,47 69,29 73,59 M_2016_0017
9 -0,03 3461 0,02 1,09 8,12 1,20 9,69 0,40 0,47 74,31 75,67 M_2016_0019
b: güçlük parametresi X: madde puanı
İç Z: Standartlaştırılmış iç uyum Dış Z: Standartlaştırılmış dış uyum
PTMA: Point measure correlation / Rasch kestirimleri ile ölçülen yapı arasındaki ilişki
42 Tablo 14
Matematik Testi Açık Uçlu Madde Parametreleri
Madde
no b X Standart
hata
İç uyum
İç uyum z
Dış uyum
Dış uyum z
Gözlenen PTMA
Beklenen PTMA
Gözlenen Uyum %
Beklenen
Uyum % Grup Madde adı
10 -1,30 12355 0,01 0,98 -1,35 1,10 2,58 0,63 0,63 56,59 56,45 0 M20160004
11 0,14 3169 0,02 0,86 -9,90 0,74 -9,90 0,56 0,46 80,08 77,07 D M20160007
12 -0,57 8324 0,01 1,06 4,41 1,09 2,51 0,61 0,63 57,57 58,96 0 M20160008
13 0,11 4978 0,02 0,96 -2,16 0,79 -3,19 0,61 0,60 74,01 73,16 0 M20160010
14 0,62 3592 0,02 0,97 -1,75 0,82 -3,75 0,57 0,55 78,47 77,72 0 M20160012
15 -0,28 7707 0,02 0,92 -6,08 0,91 -5,04 0,64 0,61 62,29 59,20 0 M20160013
16 2,57 595 0,05 0,88 -3,46 0,51 -8,04 0,39 0,30 95,26 94,84 D M20160015
17 4,15 156 0,09 1,09 1,16 1,83 5,93 0,13 0,19 98,52 98,63 D M20160018
18 2,66 840 0,04 0,86 -3,87 0,48 -8,68 0,44 0,37 94,30 93,53 0 M20160020
b: güçlük parametresi X: madde puanı
İç Uyum Z: Standartlaştırılmış iç uyum Dış Uyum Z: Standartlaştırılmış dış uyum
PTMA: Point measure correlation / Rasch kestirimleri ile ölçülen yapı arasındaki ilişki
43 Şekil 4’te her bir maddeden alınabilen kısmi puanların, bireylerin ortalama yetenek düzeylerine göre dağılımını gösteren madde kategori ölçüleri verilmiştir.
Şekil 4. Matematik testi madde-kategori ölçüleri
Şekil 4 incelendiğinde, sağ tarafta maddeler yukarıdan aşağı, en zor maddeden en kolay maddeye doğru sıralanmaktadır. Şeklin üst ve alt kısımlarında birey yetenek düzeyleri (logit measures, -4 ile +5 arasında) soldan sağa gösterilmektedir. Bu şekil her madde için alınması muhtemel puanlara karşılık gelen ortalama birey yetenek düzeyini göstermekte ve kısmi puanların birey yetenek düzeylerine göre mantıklı olup olmadığı konusunda bilgi vermektedir. Örneğin madde 17’den 0 alan bireylerin ortalama yetenek düzeyi -2 logit ile -1 logit arasında iken 1 puan alan bireylerin ortalama yetenek düzeyi 0 logit ile 1 logit arasındadır.
Rasch modelinin temel varsayımı olan daha yetenekli bireylerin doğru yanıt verme olasılığının daha yüksek olması düşünüldüğünde, bir maddeden 0 puanını alan bireylerin ortalama yetenek düzeyinin 1 puan alan bireylerin ortalama yetenek düzeyinden daha düşük olması beklenir. Eğer bu durumun tam tersi gözlenirse, veriler girilirken ters kodlama gibi bir hata olup olmadığının kontrol edilmesi gerekir.
Bu şekilde her madde için alınabilecek puanların soldan sağa en küçük muhtemel puandan en büyük muhtemel puana doğru artarak sıralanması, mevcut örneklemde
44 bireylerin yetenek düzeyi arttıkça maddeden alınan puanın da arttığını göstererek temel varsayımı destekleyecektir. Şekil 3 incelendiğinde, her madde için gözlenen kısmi puanların sıralamasının soldan sağa artarak Rasch varsayımına uygun olduğu görülmektedir. Şeklin alt kısmına bakıldığında, yetenek düzeylerine göre öğrenci dağılımları gösterilmektedir. Bu şekildeki başlangıç noktası maddelerin ortalama güçlüğü olan 0 noktasına sabitlenmiştir (local origin). Birey yetenek kestirimlerinin ortalaması M, ortalamanın bir standart sapma uzaklığı S, iki standart sapma uzaklığı ise T harfleri ile gösterilmektedir. Ayrıca dağılımın en sağında yetenek düzeyi ortalamanın 5 lojit üstünde olan birey sayısı, en soluna bakıldığında da yetenek düzeyi ortalamanın 4 lojit altında olan birey sayısı gösterilmekte olup, üst üste gelen sayılar yukarıdan aşağı iki ya da üç basamaklı olarak okunur. Örneğin yetenek düzeyi en fazla olan (+ logit) 5 birey varken, yetenek düzeyi en az olan (-4 logit) 232 birey vardır. Bu dağılıma bakıldığında ortalama bir öğrencinin yetenek düzeyinin ortalamanın 1 lojit altında olduğu söylenebilir (-1 logit).
Tablo 15’te maddelerden alınan her bir puanın frekansı, yüzdesi, maddelerden alınan her puan için gözlenen ortalama birey yetenek düzeyi (örnekleme bağımlıdır), yetenek değerlerinin örneklemdeki standart sapması (p.s.d.), bu puanı alan bireylerin ortalama yetenek düzeylerinin standart hatası (s.e mean), iç uyum, dış uyum ve PTMA değerleri verilmiştir. Rasch varsayımına göre yetenek düzeyi daha yüksek olan bireylerin maddeyi doğru cevaplama olasılıkları daha yüksek olmalıdır. Bu varsayımdan yola çıkarak, kısmi puanlı maddelerde de yetenek düzeyi daha yüksek olan bireylerin daha fazla puan alması beklenebilir.
Bununla birlikte, maddeden alınan 0 puanı için olan PTMA değerinin negatif olması beklenir, bu sayede yetenek düzeyi ile soruyu yanlış cevaplama arasında ters yönlü bir ilişki olacak ve Rasch varsayımına uyumlu bir sonuç elde edilecektir (Linacre, 2012). Eğer maddeden alınan 0 puanın PTMA değeri pozitif olursa, bu durum yetenek düzeyi yüksek bireylerin o maddeyi yanlış cevapladıkları anlamına gelecektir (Linacre, 2012).
45 Tablo 15
Matematik Alt Testi Madde Puanları/Kısmi Puanları Tablosu
madde no
madde
puanı frekans frekans
yüzdesi Ortalama
yetenek p s.d. s.e.
mean
iç uyum
dış
uyum PTMA
1 0 3150 28,14 -2,25 1,10 ,02 ,82 ,79 -,54
1 8043 71,86 -,62 1,16 ,01 ,89 ,89 ,54
2 0 7001 62,55 -1,56 1,17 ,01 1,01 1,03 -,46
1 4192 37,45 -,28 1,27 ,02 1,05 1,09 ,46
3 0 7012 62,65 -1,54 1,18 ,01 1,03 1,03 -,44
1 4181 37,35 -,31 1,29 ,02 1,09 1,16 ,44
4 0 4670 41,72 -1,84 1,17 ,02 1,00 1,01 -,48
1 6523 58,28 -,53 1,21 ,02 1,01 1,01 ,48
5 0 6555 58,56 -1,55 1,19 ,01 1,07 1,10 -,42
1 4638 41,44 -,41 1,29 ,02 1,13 1,21 ,42
6 0 4330 38,68 -1,90 1,18 ,02 ,99 1,02 -,48
1 6863 61,32 -,56 1,20 ,01 ,99 ,98 ,48
7 0 6276 56,07 -1,64 1,15 ,01 ,99 ,99 -,47
1 4917 43,93 -,36 1,26 ,02 1,05 1,08 ,47
8 0 7239 64,67 -1,46 1,22 ,01 1,12 1,15 -,38
1 3954 35,33 -,39 1,32 ,02 1,20 1,28 ,38
9 0 7732 69,08 -1,44 1,19 ,01 1,04 1,03 -,40
1 3461 30,92 -,27 1,37 ,02 1,17 1,28 ,40
10 0 4676 41,78 -2,07 1,05 ,02 1,04 1,27 -,62
1 679 6,07 -1,08 ,94 ,04 1,09 1,39 ,00
2 5838 52,16 -,29 1,07 ,01 ,92 ,82 ,61
11 0 8024 71,69 -1,55 1,13 ,01 ,89 ,87 -,56
1 3169 28,31 ,12 1,12 ,02 ,81 ,69 ,56
12 0 6596 58,93 -1,74 1,09 ,01 1,14 1,34 -,58
1 870 7,77 -1,00 ,89 ,03 1,13 1,07 ,02
2 3727 33,30 ,07 1,08 ,02 ,98 ,92 ,60
13 0 8608 76,91 -1,53 1,09 ,01 ,99 1,09 -,61
1 192 1,72 ,09 ,91 ,07 ,65 ,50 ,11
2 2393 21,38 ,46 1,04 ,02 ,93 ,72 ,59
14 0 8957 80,02 -1,45 1,13 ,01 ,98 ,99 -,55
1 880 7,86 -,20 ,92 ,03 ,84 ,69 ,19
2 1356 12,11 ,81 1,13 ,03 ,97 ,86 ,52
15 0 5663 50,59 -1,87 1,07 ,01 ,91 ,94 -,59
1 3353 29,96 -,65 ,96 ,02 ,89 ,89 ,21
2 2177 19,45 ,32 1,11 ,02 ,94 ,91 ,51
16 0 10598 94,68 -1,20 1,25 ,01 ,84 ,89 -,39
1 595 5,32 1,13 1,29 ,05 ,73 ,49 ,39
17 0 11037 98,61 -1,10 1,34 ,01 1,18 1,07 -,13
1 156 1,39 ,40 1,79 ,14 1,70 1,83 ,13
18 0 10476 93,59 -1,23 1,23 ,01 ,75 ,87 -,43
1 594 5,31 ,94 1,06 ,04 ,61 ,39 ,35
2 123 1,10 2,23 1,45 ,13 1,08 ,94 ,26
p.s.d:yetenek değerlerinin örneklemdeki standart sapması
s.e.mean:bu puanı alan bireylerin ortalama yetenek düzeylerinin standart hatası
46 Tablo 15 incelendiğinde beklendiği gibi tüm maddelerden alınan 0 puanının PTMA değerinin negatif olması bu testte yetenek düzeyi yüksek bireylerin soruları doğru cevapladığını işaret etmektedir. Ayrıca maddelerden alınan puan sıralaması 0-1 ya da 0-1-2 şeklinde tek tek incelendiğinde, alınan puan arttıkça buna karşılık gelen ortalama birey yetenek düzeyi de artmaktadır. Bu da Rasch modelinin yüksek yetenek yüksek puan varsayımını destekleyen bir durumdur ve yetenek düzeyi daha fazla olan öğrenciler maddelerden daha yüksek puan almıştır denilebilir.
Matematik alt testinin boyut haritası Şekil 5’te gösterilmektedir. Tek boyutluluk Rasch modelinin temel varsayımlarından biridir ve Rasch kestirimleri yapılırken ölçülmek istenen örtük özellik ile ilgili olmayan artıkların kendi aralarında ayrı bir yapı oluşturup oluşturulmadığının, sistematik mi rastlantısal mı olduklarının belirlenmesi gerekmektedir (Bond ve Fox, 2015). Mümkün olan durumlarda, Winsteps artıklardan 5 kontrast (zıt yapı) oluşturmaktadır (Linacre, 2012). Her bir kontrast Rasch modeli ile açıklanamayan varyans bileşenlerinden meydana gelmektedir. Bunların ölçülmesi istenen yapı dışında bir yapı meydana getirip getirmedikleri 1. kontrasta bakarak belirlenmektedir (Linacre, 2012; Azrilah ve diğerleri, 2013). Şekil 5’e göre, Rasch modeli ile açıklanmakta olan %46,4‘lük varyansın %17,4’ü birey %29’u ise madde parametrelerinden kaynaklanmaktadır.
Rasch modeli ile açıklanamayan ve rastlantısallıktan kaynaklandığı varsayılan varyans %53,6 iken ilk kontrastın tüm veri seti üzerinden varyansı %4,3’tür. Bu durumda ilk kontrasttan kaynaklanan varyansın ölçümlere zarar verecek kadar büyük olmadığı söylenebilir (Bond ve Fox, 2015). Linacre (2012) de buna paralel olarak ilk kontrasttaki özdeğerin 2’den düşük olması durumunda tek boyutluluğun söylenebileceğini belirtmiştir. Şekil 5’te model ile açıklanamayan birinci yapıdaki özdeğer 1,46 < 2’dir. Bu değerlere göre verinin tek boyutlu olduğu söylenebilir.
47 Şekil 5. Matematik testi boyut haritası
Birey ve madde dağılımlarının özeti Tablo 16 ve Tablo 17’de verilmiştir.
Tablolardaki “model” başlıklı parametreler hesaplanırken, tüm uyumsuzlukların (misfitlerin) rasch modelinin ön gördüğü rastlantısallıktan kaynaklandığı varsayılırken (en iyi senaryo); bunun aksine “gerçek” başlıklı parametreler hesaplanırken, tüm uyumsuzlukların model varsayımları ile çatıştığı varsayılmıştır (en kötü senaryo) (Linacre, 2018, p.336) Özet tablolar yardımı ile testin bu uygulamasına ilişkin güvenirlik kestirimleri incelenebilir.
Tablo 16
Matematik Testi Madde Analizleri Özeti
Toplam Puan
Birey
sayısı b S.E (model)
İç uyum
İç uyum Z
Dış uyum
Dış uyum Z Ortalama 4916,0 11193 0,00 0,03 0,99 0,29 1,00 0,45
S.E 718,2 0,00 0,39 0,00 0,02 1,40 0,07 1,55
S.D 2961,1 0,00 1,59 0,02 0,09 5,76 0,29 6,39
Maksimum 12355 11193 4,15 0,09 1,25 9,90 1,83 9,90
Minimum 156 11193 -2,33 0,01 0,86 -9,90 0,48 -9,90
Gerçek RMSE
0,03 Gerçek S.D 1,59 Ayrışma 50,20 Madde güvenirliği (gerçek)
1,00
Model RMSE
0,03 Gerçek S.D 1,59 Ayrışma 51,47 Madde Güvenirliği (model)
1,00
Madde ortalamasının standart hatası 0,39 Madde ham puanlar ile güçlük kestirimleri arasındaki korelasyon
-0,79 b: güçlük parametresi S.E: Standart hata Z: Standartlaştırılmış S.D:Standart sapma
48 Tablo 16’da madde analizlerinin özeti incelendiğinde, madde güçlüklerinin ortalamasının beklendiği gibi 0,00’dır. Madde ortalama güçlüklerinin iç uyum ve dış uyum değerleri yaklaşık olarak 1’dir. Madde ham puanları ile güçlük kestirimleri arasındaki korelasyonun -1’e yakın olması beklenir çünkü madde güçlüğü arttıkça başarı olasılığı azalacaktır (Linacre, 2018). Değerler beklendiği gibi zıt yönlü yüksek düzeyde korelasyon göstermektedir. Madde güvenirlikleri incelendiğinde hem gerçek hem de model madde güvenirlik değerlerinin 1,00 olduğu, ayrışma değerlerinin ise 2’den büyük olduğu görülmektedir. Bu durumda örneklem büyüklüğünün yeterli olduğunu söylenebilir. Matematik testinin birey analizleri özeti Tablo 17’de gösterilmektedir. Birey analizleri yapılırken Winsteps yazılımı testten tam puan alan 5 birey ve sıfır puan alan 232 bireyi istatistiksel bilgi sağlamadıkları için güvenirlik analizine dahil etmemiştir.
Tablo 17
Matematik Testi Birey Analizleri Özeti
Toplam Puan
Birey Cevap sayısı θ
Standart Hata (model)
İç
uyum İç uyum Z Dış uyum
Dış uyum Z
Ortalama 8,1 18,0 -1,00 0,55 1,00 0,04 0,95 0,18
S.E 0,0 0,0 0,01 0,00 0,00 0,01 0,01 0,01
S.D 5,1 0,0 1,26 0,15 0,38 0,89 0,87 0,65
Maksimum 23,0 18,0 4,26 1,16 4,32 3,62 9,90 8,50
Minimum 1,0 18,0 -3,43 0,43 0,20 -2,54 0,08 -1,33
Gerçek RMSE
0,60 Gerçek S.D 1,10 Ayrışma 1,83 Birey güvenirliği
0,77 Model
RMSE
0,57 Gerçek S.D 1,12 Ayrışma 1,98 Birey
güvenirliği 0,80
Birey ortalamasının standart hatası 0,01
Ham puanlar ile yetenek kestirimleri arasındaki korelasyon 0,97 Cronbach α (KR-20)
(Ham puanlar)
0,82 Standart hata 2,18 S.D:Standart sapma
S.E: Standart hata Z: Standartlaştırılmış Θ: yetenek düzeyi
Tablo 17 incelendiğinde, bireylerin yetenek düzeyi ortalaması -1,00 logit olarak gösterilmekte, bu da testin uygulandığı gruba zor geldiği anlamına gelmektedir. İç uyum ve dış uyum değerleri Tablo 6 dikkate alındığında verimli aralıkta olup 1’e yakındır. Ham puanlar ile yetenek kestirimleri arasındaki korelasyonun 1’e yakın olması beklenir çünkü Rasch modeli yetenek düzeyi yüksek olan bireylerin testte daha yüksek puan almalarını öngörür (Linacre, 2012). Bu
49 çalışmada kestirilen değer 0,97’dir ve temel varsayımı desteklemektedir. Ayrıca Winsteps örneklem için Cronbach α değerlerini de hesaplamaktadır. Bu örneklemin Cronbach α güvenirlik katsayısı 0,82’dir. Birey güvenirlik değeri ve ayrışma değeri incelendiğinde, testteki madde sayısının yeterli olmadığı ve testin farklı yetenek düzeyindeki bireyleri ayrıştırmada yeterince hassas olmadığı söylenebilir (Linacre, 2018). Veri analizlerinin incelenmesi sonucu, matematik testinin Rasch modeline yeterli miktarda uyumlu olduğu görülmektedir.
Fen bilimleri alt testinin model veri uyumunun sağlanması, testin Rasch modeli varsayımlarını karşıladığını gösterecektir. Bu amaçla, Winsteps (versiyon 4.3.2.) analizi sonucu “item polarity” seçeneği ile elde edilen madde istatistikleri Tablo 18 ve Tablo 19’da verilmektedir. Tablo 18’de çoktan seçmeli maddelerin PTMA değerleri incelendiğinde, her birinin pozitif olduğunu ve çoktan seçmeli maddelere verilen yanıtların fen bilimleri testiyle ölçülmek istenen yapı ile uyumlu olduğunu söylenebilir. Linacre (2012)’ye göre gözlenen (PTMA) ve beklenen (PTMA-E) korelasyon değerleri aynı olduğunda, bu veri ile modelin tam uyumlu olduğunu göstermektedir. Buna göre Tablo 18’de çoktan seçmeli maddelerin gözlenen ve beklenen korelasyon (PTMA VE PTMA-E) değerleri karşılaştırıldığında, 6. madde dışındakilerin birbirine yakın olduğu söylenebilir. 6. Maddeye ilişkin model ile beklenen korelasyon 0,50 düzeyinde iken 0,27 düzeyinde bir değer kestirilmiş olup, beklenenin neredeyse yarısı bir korelasyon gözlemlenmektedir. Ayrıca aynı maddenin uyum yüzdelerine bakıldığında, yaklaşık %72 uyum beklenirken %60 düzeyinde olduğu gösterilmektedir. Her ne kadar ölçülmek istenen yapı ile pozitif ilişkili göstererek yapı ile uyumlu olsa da ölçülmek istenen yetenek bakımından az ve çok yetenekli bireyleri ayrıştırmada model ile bekleneni yeterince karşılayamadığı söylenebilir. Açık uçlu maddelerin PTMA değerleri Tablo 19’da incelendiğinde ise 0,24 ile 0,62 aralığında değerler alarak tüm maddeler için pozitif ve sıfırdan uzak olduğu görülmektedir. Ayrıca maddelerin beklenen ve gözlenen korelasyon (PTMA ve PTMA-E) değerleri de birbirine yakındır. Bu durumda fen bilimleri alt testindeki açık uçlu maddeler, bu testin yapısı ile uyumludur denilebilir (Bond ve Fox, 2015; Linacre, 2012)
50 Tablo 18
Fen Bilimleri Alt Testi Çoktan Seçmeli Madde Parametreleri
b: güçlük parametresi X: madde puanı
İç Z: Standartlaştırılmış iç uyum Dış Z: Standartlaştırılmış dış uyum
PTMA: Point measure correlation / Rasch kestirimleri ile ölçülen yapı arasındaki ilişki Madde
no b X Standart
hata
İç uyum
İç uyum
z
Dış uyum
Dış uyum
z
Gözlenen PTMA
Beklenen PTMA
Gözlenen Uyum %
Beklenen
Uyum % Madde adı
1 -0,49 5847,00 0,02 1,14 9,90 1,21 9,90 0,40 0,50 66,29 71,69 F_2016_0002
2 -0,98 6828,00 0,02 0,95 -5,46 0,90 -5,65 0,53 0,49 74,58 73,02 F_2016_0003
3 -0,70 6276,00 0,02 1,07 7,01 1,06 3,81 0,46 0,50 69,01 72,05 F_2016_0006
4 -0,19 5225,00 0,02 1,00 0,33 1,01 0,60 0,50 0,50 71,78 71,84 F_2016_0008
5 -0,96 6786,00 0,02 0,94 -6,39 0,91 -5,32 0,53 0,49 74,65 72,92 F_2016_0010
6 -0,49 5834,00 0,02 1,34 9,90 1,51 9,90 0,27 0,50 59,85 71,68 F_2016_0012
7 -0,82 6516,00 0,02 0,87 -9,90 0,80 -9,90 0,58 0,49 76,69 72,44 F_2016_0014
8 -0,79 6449,00 0,02 0,85 -9,90 0,77 -9,90 0,60 0,50 77,56 72,34 F_2016_0016
9 -0,37 5584,00 0,02 0,96 -4,35 0,97 -2,30 0,52 0,50 73,49 71,70 F_2016_0018
51 Tablo 19
Fen Bilimleri Alt Testi Açık Uçlu Madde Parametreleri
b: güçlük parametresi X: madde puanı
İç Uyum Z: Standartlaştırılmış iç uyum Dış Uyum Z: Standartlaştırılmış dış uyum
PTMA: Point measure correlation / Rasch kestirimleri ile ölçülen yapı arasındaki ilişki Madde
no b X Standart
hata
İç uyum
İç uyum
z
Dış uyum
Dış uyum
z
Gözlenen PTMA
Beklenen PTMA
Gözlenen Uyum %
Beklenen
Uyum % Grup Madde adı
10 -1,00 14505,00 0,01 1,15 9,88 1,43 7,53 0,60 0,65 62,38 64,55 0 F20160001
11 -0,79 6451,00 0,02 0,83 -9,90 0,77 -9,90 0,60 0,50 78,91 72,35 D F20160004
12 0,57 6634,00 0,02 1,07 4,76 1,08 2,40 0,61 0,62 63,89 63,86 0 F20160005
13 -0,12 5076,00 0,02 0,91 -9,90 0,87 -9,22 0,56 0,50 75,32 71,94 D F20160007
14 3,14 650,00 0,04 1,03 0,94 1,45 5,53 0,24 0,28 94,35 94,33 D F20160009
15 1,44 2255,00 0,03 0,93 -5,09 0,77 -7,84 0,48 0,42 82,45 82,10 D F20160011
16 0,11 9047,00 0,02 1,06 4,73 1,06 3,12 0,62 0,63 57,90 58,32 0 F20160013
17 1,22 6027,00 0,02 0,96 -3,44 0,93 -4,48 0,59 0,56 68,88 66,49 0 F20160015
18 1,23 2579,00 0,03 1,05 3,82 1,07 2,32 0,41 0,44 79,32 80,15 D F20160017
52 Tablo18’de çoktan seçmeli maddelerin iç uyum ve dış uyum istatistiklerine bakıldığında, iç uyum değerlerinin 0,85 ile1,34; dış uyum değerlerinin ise 0,77 ile 1,51 arasında değerler aldığı görülmektedir. Madde 6 dışındaki maddeler 0,70 ile 1,30 arasında olup Tablo 6 dikkate alındığında verimli uyum düzeyinde oldukları söylenebilir (Bond ve Fox, 2015). Madde 6’nın ise iç uyum 1,34 ve dış uyum 1,51 değerleri verimli aralıktan daha yüksek değerler aldığından model ile beklenenden daha fazla farklılaşma gözlemlenmektedir. Bunun sebepleri tartışılabilir. İç uyum değerleri birbirine yakın yetenek düzeyindeki bireylerin cevap örüntülerinden etkilenmektedir (Linacre, 2012), dolayısıyla bu maddeye yetenek düzeyi yakın olan bireyler beklenmedik cevaplar vermiş olabilirler. Tablo 4’e göre, bu iç uyum değeri fazla gelişigüzel cevap örüntülerinden kaynaklanabileceği için tahmin yapmayı güçleştirdiği söylenebilir. Testin özelliklerine göre ölçüt alınan uyum değeri aralıklarının gösterildiği tablo 3 dikkate alınırsa, çoktan seçmeli maddelerden oluşan testlerde iç ve dış uyum değerlerinin 0,7 ile 1,3 aralığında değerler alması istenen bir durumdur (Bond ve Fox, 2015). Madde 6’nın iç uyum değeri 1,30 değerinden yüksek olsa da Tablo 6’ya göre 0,50 < iç uyum < 1,50 aralığında olduğundan verimli olduğu söylenebilir. Dış uyum değeri ise 1,50 < dış uyum < 2,00 aralığında değer aldığından verimli olmasa da bozucu da olmadığı söylenebilir (Linacre ve Wright, 1994).
Tablo 19’da açık uçlu maddelerin iç uyum değerleri 0,83 ile 1,15 aralığında değerler alarak Tablo 3 dikkate alındığında istenen düzeyde olduğu söylenebilir. Dış uyum değerleri ise 0,77 ile 1,45 aralığında değerler alarak hiçbiri bozucu bir etki göstermemektedir (Linacre ve Wright, 1994). Ancak madde 10 (dış uyum = 1,43) ve madde 14 (dış uyum = 1,45) istenen aralık olan 0,70 < uyum < 1,30 (Bond ve Fox, 2015) dışına çıktıkları için uç değerler açısından incelenebilir. Bond ve Fox (2015) tarafından önerilen 0,7 ile 1,3 aralığı alanyazında pek çok araştırmacı tarafından dikkate alınmaktadır ancak bu aralığın çoktan seçmeli testlerde kullanıldığını ve yine Bond ve Fox (2015)’un bu aralıklar konusunda çabuk ve kesin kararlar vermemek gerektiğini vurguladıklarını belirtmekte fayda vardır. Bu çalışmadaki maddelerin yarısı açık uçlu olduğundan, açık uçlu maddelerle ilgili kararlar Wright ve Linacre (1994) tarafından önerilen Tablo 6 dikkate alınarak verilmiştir. Madde 10 ve madde 15 Tablo 6’ya göre verimli aralıkta değerler almaktadır.
53 Şekil 6’da fen bilimleri alt testi için gözlenen madde kategori ölçüleri gösterilmektedir. Sağ tarafta maddeler yukarıdan aşağı, en zor maddeden en kolay maddeye doğru sıralanmaktadır. Buna göre en zor madde madde 14 ve en kolay madde madde 10’dur. Şeklin üst kısmında madde ölçüleri (logit measures) soldan sağa gösterilmektedir. Bu şekil her madde için girilen koda ilişkin bireylerin ortalama yetenek düzeylerini göstermekte ve madde kestirimlerinin mantıklı olup olmadığı konusunda bilgi vermektedir (Linacre, 2012). Rasch modelinin temel varsayımı olan daha yetenekli bireylerin doğru yanıt verme olasılığının daha büyük olması varsayımı düşünüldüğünde, bir maddeden 0 puanını alan bireylerin ortalama yetenek düzeyinin 1 puan alan bireylerin ortalama yetenek düzeyinden daha düşük olması beklenir. Örneğin, testin en zor maddesi oan madde 14’ten 0 puan alan bireylerin ortalama yetenek düzeyi 0 logit ile -1 logit arasında iken 1 puan alan bireylerin ortalama yetenek düzeyi 0 logit ile +1 logit arasındadır. Şekil 9 incelendiğinde, her madde için puanların sıralamasının soldan sağa artarak kısmi puanların dağılımının Rasch varsayımına uygun olduğu görülmektedir. Şeklin alt kısmında yetenek düzeylerine göre birey dağılımları gösterilmektedir. Bu dağılıma bakıldığında ortalama bir öğrencinin yetenek düzeyinin ortalamanın yaklaşık 0,50 lojit altında olduğu söylenebilir (-0,50 logit).
Şekil 6. Fen bilimleri testi gözlenen madde kategori ölçüleri
54 Tablo 20’de maddelerden alınan her bir puanın frekans, frekans yüzdesi, maddelerden alınan her puan için gözlenen ve örnekleme bağımlı olan ortalama birey yetenek düzeyi, yetenek değerlerinin örneklemdeki standart sapması (p.s.d.), bu puanı alan bireylerin ortalama yetenek düzeylerinin standart hatası (s.e mean), iç uyum, dış uyum ve PTMA değerleri gösterilmektedir.
Tablo 20
Fen Bilimleri Testi Madde Puanları / Kısmi Puanları Tablosu
madde no
madde
puanı frekans frekans
yüzdesi Gözlenen
ortalama p s.d. s.e.
mean iç uyum
dış uyum
ptma corr.
1 0 5346 47,76 -0,94 1,25 0,02 1,16 1,24 -0,40
1 5847 52,24 0,15 1,22 0,02 1,13 1,17 0,40
2 0 4365 39,00 -1,26 1,11 0,02 0,93 0,87 -0,53
1 6828 61,00 0,20 1,17 0,01 0,97 0,95 0,53
3 0 4917 43,93 -1,07 1,18 0,02 1,06 1,04 -0,46
1 6276 56,07 0,17 1,22 0,02 1,08 1,10 0,46
4 0 5968 53,32 -1,00 1,13 0,01 0,96 0,93 -0,50
1 5225 46,68 0,34 1,21 0,02 1,04 1,08 0,50
5 0 4407 39,37 -1,26 1,10 0,02 0,92 0,88 -0,53
1 6786 60,63 0,20 1,17 0,01 0,96 0,95 0,53
6 0 5359 47,88 -0,76 1,35 0,02 1,39 1,63 -0,27
1 5834 52,12 -0,02 1,25 0,02 1,28 1,38 0,27
7 0 4677 41,79 -1,29 1,03 0,02 0,83 0,73 -0,58
1 6516 58,22 0,29 1,15 0,01 0,92 0,90 0,58
8 0 4744 42,38 -1,31 1,01 0,01 0,80 0,70 -0,60
1 6449 57,62 0,32 1,13 0,01 0,89 0,87 0,60
9 0 5609 50,11 -1,08 1,09 0,01 0,91 0,87 -0,52
1 5584 49,89 0,33 1,20 0,02 1,01 1,06 0,52
10 0 3746 33,47 -1,50 1,06 0,02 1,23 1,65 -0,60
1 389 3,48 -0,50 1,03 0,05 1,32 1,48 -0,02
2 7058 63,06 0,23 1,09 0,01 1,07 1,02 0,59
11 0 4742 42,37 -1,32 1,07 0,02 0,83 0,77 -0,60
1 6451 57,63 0,32 1,08 0,01 0,83 0,79 0,60
12 0 7212 64,43 -0,97 1,11 0,01 1,04 1,02 -0,59
1 1328 11,86 0,25 0,87 0,02 0,79 0,64 0,17
2 2653 23,70 0,93 1,05 0,02 1,18 1,34 0,54
13 0 6117 54,65 -1,06 1,13 0,01 0,91 0,88 -0,56
1 5076 45,35 0,46 1,10 0,02 0,90 0,85 0,56
14 0 10543 94,19 -0,45 1,30 0,01 1,00 1,01 -0,24
1 650 5,81 0,92 1,44 0,06 1,13 1,48 0,24
15 0 8938 79,85 -0,70 1,21 0,01 0,96 0,94 -0,48
1 2255 20,15 0,93 1,04 0,02 0,87 0,72 0,48
16 0 5078 45,37 -1,21 1,10 0,02 1,06 1,06 -0,57
1 3183 28,44 -0,11 0,99 0,02 0,97 0,96 0,13
2 2932 26,19 0,79 1,06 0,02 1,10 1,12 0,51
17 0 5925 52,93 -1,08 1,13 0,01 0,96 0,95 -0,56
1 4509 40,28 0,27 1,02 0,02 0,89 0,84 0,39
2 759 6,78 1,32 1,17 0,04 1,04 1,07 0,34
18 0 8614 76,96 -0,67 1,24 0,01 1,04 1,04 -0,41
1 2579 23,04 0,63 1,19 0,02 1,08 1,07 0,41
p.s.d:yetenek değerlerinin örneklemdeki standart sapması
s.e.mean:bu puanı alan bireylerin ortalama yetenek düzeylerinin standart hatası
Tablo 20 incelendiğinde tüm maddeler için PTMA değerinin 0 kategorisi için negatiftir. Bu durum da maddelere verilen yanlış cevaplar ölçülen yetenek ile ters
55 ilişkilidir, ve Rasch varsayımını desteklemektedir. PTMA değerleri 0 kategorisi dışındaki puanlarda 10. madde dışında pozitif değer almaktadır. Madde 10 için 1 kısmi puanının PTMA değeri negatif değer almıştır, bu durumda bireylerin yetenek düzeyleri ile 1 puan almalarının zıt yönde ilişkili olduğu düşünülebilir. Yani bireylerin yetenek düzeyleri arttıkça bu maddeden 1 puan alma olasılıkları azalacaktır.
Yetenek düzeyleri arttıkça 1 puan alma olasılıklarının azalıp 2 puan alma olasılıkları artabileceğinden ve madde 10 için kısmi puan PTMA değerleri yanlış cevaplamadan tam puan almaya doğru artış gösterdiğinden bu durumun kabul edilebilir olduğu söylenebilir. Ayrıca bu örneklemde kısmi puan kategorisi arttıkça tüm maddelerde ortalama birey yetenek düzeyi de artmaktadır. Bu da Rasch varsayımını desteklemektedir.
Şekil 7. Fen bilimleri testi boyutluluk haritası
Fen bilimleri testini tek boyutluluk varsayımı açısından incelemek amacıyla Şekil 7 incelendiğinde toplam varyansın %39,9’u Rasch modeli ölçümleri ile açıklanabilmektedir. %60,1’lik açıklanamayan varyansın ölçülmesi istenen yapı dışında bir yapı meydana getirip getirmedikleri 1. kontrasta bakarak belirlenebilir.
Şekil 7’ye göre, Rasch modeli ile açıklanmakta olan %39,9‘luk varyansın %18’i birey
%21,9’u ise madde parametrelerinden kaynaklanmaktadır. Rasch modeli ile
56 açıklanamayan ve rastlantısallıktan kaynaklandığı varsayılan varyans %60,1 iken ilk kontrastın tüm veri seti üzerinden varyansı %4,7’dir. Bu durumda ilk kontrasttan kaynaklanan varyansın ölçümlere zarar verecek kadar büyük olmadığı ve ölçülmek istenen yapı dışında bir yapı oluşturmak için yeterli olmadığı söylenebilir (Bond ve Fox, 2015). Linacre (2011) de bu görüşe paralel olarak ilk kontrasttaki özdeğerin 2’den düşük olması durumunda tekboyutluluğun söylenebileceğini belirtmiştir. Şekil 7’de ilk kontrasttaki özdeğer 1,40 < 2’dir, tek boyutluluğun sağlandığı söylenebilir.
Birey ve madde dağılımlarının özeti Tablo 21 ve Tablo 22’te gösterilmektedir.
Tablo 21 incelendiğinde, Rasch modeli ile beklendiği gibi madde güçlük değerlerinin ortalaması 0,00 standart sapmasının 1,00’dir. Madde ayrışma katsayısının 45,98>
3,00 ve madde güvenirliğinin 1,00> 0,90 olduğu görülmektedir. Bu durumda, madde güçlüklerinin hiyerarşisi başka örneklemlerde de benzer sonuçlar verecektir ve örneklem büyüklüğü yeterlidir denilebilir. Madde ham puanları ile güçlük kestirimleri arasında zıt yönlü orta düzeyde korelasyon gözlemlenmektedir, bu durumda bu örneklemde maddelerin güçlük düzeyleri arttıkça bireylerin başarı olasılığının azaldığı ve bu bulgunun Rasch modeli ile uyumlu olduğu söylenebilir.
Tablo 21
Fen Bilimleri Testi Madde Parametreleri Özeti
Toplam Puan
Birey sayısı b
Standart Hata (model)
İç uyum
İç uyum Z
Dış uyum
Dış uyum Z Ortalama 6031,6 11193 0,00 0,02 1,01 -0,72 1,03 -1,08 Standart
Hata 676,6 0 0,26 0,00 0,03 1,73 0,06 1,64
P.SD 2789,7 0 1,00 0,01 0,12 7,12 0,23 6,77
Maksimum 14505,0 11193 3,14 0,04 1,34 9,90 1,51 9,90 Minimum 650,0 11193 -1,00 0,01 0,83 -9,90 0,77 -9,90 Gerçek
RMSE
0,02 Gerçek standart sapma
1,09 Ayrışma 45,98 Madde güvenirliği (gerçek)
1,00
Model RMSE
0,02 Gerçek standart sapma
1,09 Ayrışma 46,97 Madde Güvenirliği (model)
1,00
Madde ortalamasının standart hatası
0,26 Madde ham puanlar ile güçlük
kestirimleri arasındaki korelasyon -0,67 b: güçlük parametresi S.E: Standart hata S.D:Standart sapma Z: Standartlaştırılmış
Tablo 22 incelendiğinde, bireylerin yetenek düzeyi ortalamasının -0,34 logit olduğu ve test maddelerinin gruba zor geldiği söylenebilir. Birey ayrışma katsayısı 2,00 ve birey güvenirlik katsayısı 0,80 değerlerini alarak sınırdadır. Bu durumda bu
57 testte yer alan maddelerin farklı yetenek düzeyindeki bireyleri ayrıştırmada yeterince hassas olduğu söylenebilir. Ham puanlar ile yetenek kestirimleri arasındaki korelasyonun pozitif ve yüksek olduğu, yani bu maddeleri cevaplayan bireylerin yetenek düzeyleri arttıkça testte başarılı olma olasılıklarının da artacağı söylenebilir. Ayrıca fen bilimleri alt testi için kestirilen Cronbach α değeri de yüksektir. Yapılan incelemelerle fen bilimleri alt testinin model veri uyumunu sağladığı söylenebilir.
Tablo 22
Fen Bilimleri Testi Birey Parametreleri Özeti
Toplam Puan
Birey Cevap sayısı θ
Standart Hata (model)
İç uyum MnsQ
İç uyum ZSTD
Dış uyum MnSq
Dış uyum ZSTD
Ortalama 9,8 18,0 -0,34 0,54 1,02 0,11 1,03 0,13
Standart
Hata 0 0 0,01 0,00 0,00 0,01 0,01 0,01
P.SD 5,1 0 1,30 0,12 0,31 0,87 0,71 0,82
Maksimum 21,0 18,0 3,71 1,12 3,14 4,64 9,90 4,96
Minimum 1,0 18,0 -3,16 0,45 0,31 -2,50 0,14 -1,83
REAL RMSE
0,58 Gerçek standart sapma
1,16 Ayrışma 2,00 Birey güvenirliği
0,80 MODEL
RMSE
0,55 Gerçek standart sapma
1,17 Ayrışma 2,13 Birey
güvenirliği 0,82 Birey ortalamasının standart hatası 0,01
Ham puanlar ile yetenek kestirimleri
arasındaki korelasyon 0,98
Cronbach α (KR-20)(Ham puanlar) 0,83 Standart hata 2,12 S.D:Standart sapma
Z: Standartlaştırılmış S.E: Standart hata Θ: yetenek düzeyi
4.2b. ABİDE sınavı matematik ve fen alt testlerinin kestirilen yetenek düzeyleri nasıldır?
Tablo 23’te, matematik testine ilişkin kestirilen birey yetenek düzeylerinin frekans ve yüzdeleri, Şekil 8’de ise yetenek düzeyi dağılımı gösterilmektedir.