Kuvvet ve Hareket Ünitesi Akademik Başarı Testi (KHÜABT)

Tasarım temelli fen eğitiminin öğrencilerin akademik başarıları üzerine etkisini belirlemek amacıyla araştırmacı tarafından kuvvet ve hareket ünitesine yönelik olarak akademik başarı testi geliştirilmiştir. Bu süreçte Kan (2010) tarafından belirtilen aşağıdaki uygulama adımları takip edilmiştir.

a) Testin amacının belirlenmesi,

b) Ölçülecek özelliğin tanımlanması, kapsamın belirlenmesi ve belirtke tablosunun oluşturulması,

c) Test maddelerinin oluşturulması,

d) Denemelik maddelerin gözden geçirilmesi,

e) Denemelik test formunun uygulanması ve puanlanması, f) Madde analizi ve madde seçimi

g) Nihai test formunun oluşturulması

Amacı (a) öğrencilerin akademik başarılarını ölçmek olan bu test için ölçülecek özelliğin tanımlanması (b) aşamasında MEB (2006) fen ve teknoloji öğretim programı 7. sınıf kuvvet ve hareket ünitesi kapsamında yer alan 31 kazanım incelenmiştir. Bu inceleme sonucunda kazanımlar içerisinde yer alan 2.1 numaralı "Kuvvet, iş ve enerji arasındaki ilişkiyi araştırır." ve 2.2 numaralı "Fiziksel anlamda işi tanımlar ve birimini belirtir." kazanımlarında birden fazla yeterlilik tanımlandığı tespit edilmiştir. Baykul (2000) tarafından soru hazırlama ilkelerinde belirtilen her sorunun tek bir yeterliğe hitap etmesi düşüncesi ile bu kazanımlar ikiye bölünerek her bir yeterlik ayrı bir kazanım olarak düşünülmüş ve bu doğrultuda ünite için elde edilen toplam 33 kazanımın (Bkz. EK-2) her biri için 2 soru yazılmıştır. Araştırmacının fen ve teknoloji dersine yönelik olarak kendisi tarafından hazırlanan, yayınlanmış bir soru bankası (Ercan, 2008) bulunmaktadır. Bunun dışında çok yazarlı olarak yayınlanmış çok sayıda soru bankasının yazımında ve düzenlenmesinde görev almıştır. Soruların yazım aşamasında

araştırmacının yayınlanan bu kitaplarındaki sorular gözden geçirilerek (c) uygun sorular belirlenmiş, güncellenmiş ve hazırlanmıştır.

Bu aşamadan sonra oluşturulan 66 soruluk deneme formu, her bir maddenin ölçülmek istenen kazanımı ölçecek nitelikte olup olmadığı, maddelerde bilimsel bir yanlışın ve dilbilgisi hatasının bulunup bulunmadığı gibi kriterler açısından değerlendirilmiştir. Bu doğrultuda deneme formu, çeşitli yayınevlerinde editör olarak görev yapan bir fen ve teknoloji öğretmeni, soru bankalarının dil ve anlatım açısından değerlendirilmesinde görevli bir dilbilgisi uzmanı, doktorasını tamamlamış üç fen eğitimi uzmanı, doktora tez aşamasında bulunan iki fen eğitimcisi ile MEB'de görevli iki fen ve teknoloji öğretmeni tarafından (d) incelenmiştir. Uzmanlardan gelen dönütler neticesinde form üzerinde gerekli iyileştirmeler gerçekleştirilerek 66 soruluk deneme formu yeniden düzenlenmiştir. Test bu haliyle 12 kişilik öğrenci grubuna uygulanmış ve pilot uygulama öncesi öğrenciler tarafından anlaşılırlığı tartışılmıştır. Form üzerinde yer alan bazı ifadeler öğrencilerin eleştirilerine bağlı olarak değiştirilmiştir. Aynı zamanda bu uygulama neticesinde deneme formunun uygulama süresi 60 dakika olarak belirlenmiştir.

Bu aşamadan sonra teste yönelik analiz işlemlerini gerçekleştirmek üzere pilot uygulamaya (e) geçilmiştir. Denemelik test formu 2012 - 2013 eğitim öğretim yılının ikinci döneminde Sinop ilinde 7. sınıfa devam eden 258 öğrenciye uygulanmıştır. Nihai test formuna konulacak maddelerin seçimi için gerekli analizler öncesi pilot uygulama sonuçlarının puanlaması gerçekleştirilmiştir. Puanlama, klasik test teorisine uygun olacak şekilde doğru cevaplandırılan her bir maddenin 1, yanlış cevaplandırılan, boş bırakılan ve birden çok seçenekle cevaplandırılan maddelerin 0 ile puanlanması şeklinde gerçekleştirilmiştir.

Tekindal (2009) madde seçimi için, her bir maddenin, testin ölçtüğü kabul edilen özelliği ne derece temsil ettiğinin derecesini veren, "madde ayırıcılık gücü indeksi" ve uygun güçlük düzeyine sahip olup olmadığını gösteren, "madde güçlük indeksi" doğrultusunda değerlendirilmesi gerektiğini ifade etmektedir. Bu doğrultuda deneme formunun puanlamasını takiben her bir maddeye ait madde ayırıcılık gücü indeksi ve madde güçlük indeksi değerleri, Baykul (2000) tarafından ifade edilen uygulama adımları doğrultusunda aşağıda belirtildiği gibi hesaplanmıştır.

Puanlanan cevap kağıtları en yüksek puandan en düşük puana doğru sıralandıktan sonra analizlerin gerçekleştirileceği % 27’lik alt ve üst grubun belirlenmesi için pilot uygulamaya katılan 258 öğrencinin % 27’si hesaplanmıştır. Bu doğrultuda puan sıralamasındaki ilk 69 öğrenci çalışmanın üst grubu, sıralamanın sonunda yer alan 69 öğrenci ise çalışmanın alt grubu olarak belirlenmiştir.

ü : Üst grupta bulunan öğrencilerden maddeyi doğru cevaplandıranların sayısı

: Alt grupta bulunan öğrencilerden maddeyi doğru cevaplandıranların sayısı n: Alt grup veya üst grupta yer alan toplam öğrenci sayısı, olmak üzere;

Her bir maddeye ait madde ayırıcılık gücü indeksi ve madde güçlük indeksi aşağıda belirtilen formüller yardımıyla hesaplanmıştır.

_ü

ü

Her bir madde, madde ayırıcılık gücü indeksi ve madde güçlük indeksi değerleri açısından Şeker ve Gençdoğan (2006), Tekindal (2009) ve Baykul (2000) tarafından yapılan açıklamalar doğrultusunda oluşturulan aşağıdaki kriterler çerçevesinde değerlendirilmiştir.

Tablo 3.5 Madde Ayırıcılık Gücü İndeksi Değerlendirme Kriterleri

Madde ayırıcılık gücü indeksi değeri Değerlendirme

0.40 veya daha büyük Çok iyi madde

0.30 – 0.39 arası Oldukça iyi madde

0.20 – 0.29 arası Düzeltilerek kullanılabilir madde

Tablo 3.6 Madde Güçlük İndeksi Değerlendirme Kriterleri

Madde Güçlük İndeksi Değeri Değerlendirme

0.61 veya daha büyük Kolay madde

0.60 - 0.40 arası Orta güçlükte madde

0.39 veya daha küçük Zor madde

Daha önce ifade edildiği üzere deneme formu oluşturulurken ünite için belirlenmiş 33 kazanımın her biri için 2 maddeye yer verilmiştir. Nihai testin oluşturulması sürecinde her kazanım için birbirine alternatif olacak şekilde hazırlanmış bu maddeler Tablo 3.5 ve Tablo 3.6’da belirtilen kriterler doğrultusunda değerlendirilerek uygun olan maddeye (f) karar verilmiştir. Bu karar verme sürecinde aşağıda belirtilen Tablo 3.7’den yararlanılmıştır.

Tablo 3.7 oluşturulurken ilgili ünite kazanımı için birbirine alternatif oluşturan iki maddeye ait madde güçlük indeksi değeri, madde ayırıcılık indeksi değeri ve bu maddelere yönelik değerlendirme sonuçları bir arada verilmiştir.

Tablo 3.7 Deneme Formunda Yer Alan Maddelerin İlişkili Olduğu Kazanımlar, Analiz Değerleri ve Değerlendirme Sonuçları

Kazanım No Soru No Madde Güçlük İndeksi Değeri Madde Ayırıcılık İndeksi Değeri Değerlendirme 1.1 5* .65 .5 Kolay ve ayırt ediciliği çok iyi

8 .81 .23 Kolay, ayırt edicilik için düzenlenmeli 1.2 2* .48 .42 Orta güçlükte ve ayırt ediciliği çok iyi

6 .57 .31 Orta güçlükte ve ayırt ediciliği oldukça iyi 1.3 3 .5 .34 Orta güçlükte ve ayırt ediciliği oldukça iyi

9* .66 .6 Kolay ve ayırt ediciliği çok iyi

1.4 1* .5 .27 Orta güçlükte, ayırt edicilik için düzenlenmeli 7 .0 .01 Zor ve ayırt ediciliği çok zayıf

1.5 4 .26 .17 Zor ve ayırt ediciliği çok zayıf 11* .53 .52 Orta güçlükte ve ayırt ediciliği çok iyi 2.1a 13 .02 .01 Zor ve ayırt ediciliği çok zayıf

19* .57 .47 Orta güçlükte ve ayırt ediciliği çok iyi 2.1b 15* .52 .42 Orta güçlükte ve ayırt ediciliği çok iyi

20 .49 .28 Orta güçlükte, ayırt edicilik için düzenlenmeli 2.2a 10* .54 .65 Orta güçlükte ve ayırt ediciliği çok iyi

17 .03 .04 Zor ve ayırt ediciliği çok zayıf 2.2b 12* .55 .5 Orta güçlükte ve ayırt ediciliği çok iyi

18 .61 .47 Kolay ve ayırt ediciliği çok iyi 2.3 14* .33 .23 Zor, ayırt edicilik için düzenlenmeli

Kazanım No Soru No Madde Güçlük İndeksi Değeri Madde Ayırıcılık İndeksi Değeri Değerlendirme 2.4 22* .53 .52 Orta güçlükte ve ayırt ediciliği çok iyi

34 .48 .47 Orta güçlükte ve ayırt ediciliği çok iyi 2.5 28* .47 .63 Orta güçlükte ve ayırt ediciliği çok iyi

24 .0 .0 Zor ve ayırt ediciliği çok zayıf 2.6 23* .55 .43 Orta güçlükte ve ayırt ediciliği çok iyi

21 .44 .36 Orta güçlükte ve ayırt ediciliği oldukça iyi 2.7 26* .47 .37 Orta güçlükte ve ayırt ediciliği oldukça iyi

25 .02 .04 Zor ve ayırt ediciliği çok zayıf 2.8 27 .03 .07 Zor ve ayırt ediciliği çok zayıf

30* .52 .5 Orta güçlükte ve ayırt ediciliği çok iyi 2.9 29 .38 .42 Zor ve ayırt ediciliği çok iyi

32* .65 .55 Kolay ve ayırt ediciliği çok iyi

2.10 31 .41 .24 Orta güçlükte, ayırt edicilik için düzenlenmeli 33* .6 .5 Kolay ve ayırt ediciliği çok iyi

2.11 35 .34 .14 Zor ve ayırt ediciliği çok zayıf

36* .44 .26 Orta güçlükte, ayırt edicilik için düzenlenmeli 2.12 37* .54 .39 Orta güçlükte ve ayırt ediciliği çok iyi

38 .15 -.07 Zor ve ayırt ediciliği çok zayıf 2.13 40* .46 .55 Orta güçlükte ve ayırt ediciliği çok iyi

39 .39 .27 Orta güçlükte, ayırt edicilik için düzenlenmeli 2.14 41 .47 .34 Orta güçlükte ve ayırt ediciliği oldukça iyi

42* .54 .53 Orta güçlükte ve ayırt ediciliği çok iyi 3.1 43* .35 .4 Zor ve ayırt ediciliği çok iyi

44 .19 .04 Zor ve ayırt ediciliği çok zayıf 3.2 45* .53 .52 Orta güçlükte ve ayırt ediciliği çok iyi

46 .59 .55 Orta güçlükte ve ayırt ediciliği çok iyi 3.3 47 .20 .11 Zor ve ayırt ediciliği çok zayıf

49* .31 .24 Zor, ayırt edicilik için düzenlenmeli 3.4 48* .40 .55 Orta güçlükte ve ayırt ediciliği çok iyi

50 .30 .02 Zor ve ayırt ediciliği çok zayıf 3.5 51* .28 .31 Zor ve ayırt ediciliği oldukça iyi

52 .35 .13 Zor ve ayırt ediciliği çok zayıf 3.6 54 .44 .49 Orta güçlükte ve ayırt ediciliği çok iyi

56* .55 .75 Orta güçlükte ve ayırt ediciliği çok iyi 3.7 53* .45 .53 Orta güçlükte ve ayırt ediciliği çok iyi 55 .44 .49 Orta güçlükte ve ayırt ediciliği çok iyi 4.1 57* .56 .52 Orta güçlükte ve ayırt ediciliği çok iyi 58 .5 .5 Orta güçlükte ve ayırt ediciliği çok iyi 4.2 59 .42 .42 Orta güçlükte ve ayırt ediciliği çok iyi 61* .58 .76 Orta güçlükte ve ayırt ediciliği çok iyi 4.3 62* .46 .57 Orta güçlükte ve ayırt ediciliği çok iyi

65 .35 .47 Zor ve ayırt ediciliği çok iyi

4.4 60* .42 .36 Orta güçlükte ve ayırt ediciliği oldukça iyi 63 .33 .31 Zor ve ayırt ediciliği oldukça iyi

4.5 64* .55 .7 Orta güçlükte ve ayırt ediciliği çok iyi 66 .58 .5 Orta güçlükte ve ayırt ediciliği çok iyi * Nihai test için belirlenen maddeleri ifade etmektedir

Tablo 3.7'de belirtilen değerlendirme sonuçları doğrultusunda her kazanım için uygun olan maddeye karar verilmiştir. Bu süreçte 1.4 kazanımı için seçilen 1 numaralı soru, 2.3 kazanımı için seçilen 14 numaralı soru, 2.11 kazanımı için seçilen 18 numaralı soru ve 3.3 kazanımı için seçilen 49 numaralı soruya ait madde ayırıcılık indeksi değerleri bu kazanımlar için hazırlanan alternatif sorulara nazaran daha yüksek olsalar da tamamı 0.20 ile 0.29 arasında yer almaktadır. Tablo 3.5'te belirtilen değerlendirme kriterlerine göre bu maddelerin yeniden gözden geçirilerek kullanılması gerekmektedir. Araştırmacı ve bir fen eğitimi uzmanı tarafından gerçekleştirilen değerlendirme sonucunda 1, 14 ve 49 numaralı soruların problemli görülen çeldiricilerinde değişiklik gerçekleştirilmiştir. 18 numaralı soruda ise herhangi bir düzeltme gerekli görülmemiştir. Nihai test için seçilen 33 maddeye ait özellikler Tablo 3.8'de sunulmaktadır.

Tablo 3.8 Nihai Form için Belirlenen Maddelere Ait Özellikler Soru No Denemelik Formdaki Soru No İlgili Kazanım No Madde Güçlük İndeksi Değeri Madde Ayırıcılık İndeksi Değeri 1 1 1.4 .5 .27 2 2 1.2 .48 .42 3 5 1.1 .65 .5 4 10 2.2a .54 .65 5 9 1.3 .66 .6 6 11 1.5 .53 .52 7 12 2.2b .55 .5 8 19 2.1a .57 .47 9 15 2.1b .52 .42 10 14 2.3 .33 .23 11 22 2.4 .53 .52 12 26 2.7 .47 .37 13 28 2.5 .47 .63 14 30 2.8 .52 .5 15 32 2.9 .65 .55 16 33 2.10 .6 .5 17 45 3.2 .53 .52 18 36 2.11 .44 .26 19 40 2.13 .46 .55 20 37 2.12 .54 .39 21 42 2.14 .54 .53 22 43 3.1 .35 .4 23 48 3.4 .40 .55 24 49 3.3 .31 .24 25 53 3.7 .45 .53 26 51 3.5 .28 .31 27 56 3.6 .55 .75 28 57 4.1 .56 .52

Soru No Denemelik Formdaki Soru No İlgili Kazanım No Madde Güçlük İndeksi Değeri Madde Ayırıcılık İndeksi Değeri 29 60 4.4 .42 .36 30 61 4.2 .58 .76 31 62 4.3 .46 .57 32 23 2.6 .55 .43 33 64 4.5 .55 .7

Kan (2010) testteki her bir maddeye ait güçlük indeksi değerlerinin ortalaması ile elde edilen testin ortalama güçlüğünün başarı testlerinde 0.50 civarında olmasının arzulanan bir durum olduğunu ifade etmektedir. Zira ortalama güçlüğü 0.50 civarında olan testlerin güvenilirlikleri daha yüksek düzeyde bulunmaktadır (Bayrakçeken, 2011). Geliştirilen bu başarı testi için 33 maddeye ait güçlük indeksi değerlerinin ortalaması 0.50 olarak hesaplanmıştır. Bu doğrultuda nihai testin arzulanan şekilde orta güçlükte olduğu ifade edilebilir. Aynı zamanda bu değer testin güvenilirliğinin yüksek düzeyde olduğu konusunda da bir fikir vermektedir. Fakat geliştirilen bu başarı testinin güvenilirliği konusunda daha kesin bilgi elde etmek için teste ait güvenirlik katsayısının hesaplanması gerekmektedir.

Baykul (2000), maddeleri, 1 ve 0 ile puanlanan testlerde testin bütününe ait güvenirlik katsayısının hesaplanmasında Kuder-Richardson-20 (KR-20) yönteminin kullanılabileceğini ifade etmektedir. KR-20'nin kullanımı testteki her maddenin birbiriyle paralel, aynı ortalama ve varyansa sahip olduğu varsayımına dayanmaktadır. Bir ünite ya da konuya yönelik olarak hazırlanmış başarı testlerinde KR-20'nin kullanımı için gerekli görülen "testin ölçtüğü özelliğin homojen olması" varsayımı karşılanmaktadır (Demircioğlu, 2011). Bu doğrultuda KHÜABT'ye ait güvenirlik katsayısının KR-20 yöntemi kullanılarak elde edilmesine karar verilmiştir. Özbek (2010) tarafından belirtilen aşağıdaki KR-20 formülü yardımıyla testin güvenirlik katsayısı hesaplanmıştır.

K: Testteki madde sayısı p: Madde güçlük indeksi

Madde analizlerine bağlı olarak elde edilen 33 soruluk nihai testin KR-20 formülü yardımıyla hesaplanan güvenirlik katsayısı 0.91 bulunmuştur. Gerçekleştirilen araştırma kapsamında ise testin KR-20 güvenirlik katsayısı 0.84 olarak hesaplanmıştır. Şeker ve Gençdoğan (2006) başarı testleri için KR-20 güvenirlik katsayısının 0.70'in üzerinde olması gerektiğini ifade etmektedir. Bu doğrultuda oluşturulan KHÜABT'nin güvenilir bir test olduğu ifade edilebilir.

Güvenirliğin yanı sıra başarı testlerinde aranan bir diğer özellik de geçerliliktir (Özbek, 2010). Farklı geçerlilik türlerinden hangisinin aranacağı, testin kullanılış amacına göre belirlenmektedir. Öğrencileri ölçme konusu alanda tanımak, değer biçmek, öğrenme eksiklerini açığa çıkartmak veya kullanılan öğretim programını değerlendirmek gibi amaçlara hizmet edecek şekilde geliştirilen başarı testlerinde aranması gereken temel geçerlik türü kapsam geçerliğidir (Baykul, 2000). Özbek (2010)'e göre kapsam geçerliği madde örnekleminin ya da testteki soruların tanımlanan evren ya da davranış alanını ne kadar iyi temsil ettiğini göstermektedir. Bu doğrultuda daha önce ifade edildiği gibi deneme formu, belirtke tablosu ile birlikte çeşitli uzmanlara gönderilmiş ve görüşleri istenmiştir. Zira, Baykul (2000) kapsam geçerliliğinin sağlanması konusunda uzman görüşüne başvurulabileceğini belirtmektedir. Uzmanlardan gelen dönütler sonrasında testte yer alan maddelerin ilgili kazanımları karşılar nitelikte olduğu tespit edilmiştir. Bu doğrultuda, geliştirilen KHÜABT'nin kapsam geçerliliğine sahip olduğu ifade edilebilir. Geliştirilme süreci yukarıda anlatılan, geçerlilik ve güvenirlik analizleri gerçekleştirilmiş, 33 maddeden oluşan KHÜABT (Bkz. EK-3) için öğrencilere 40 dakika süre verilmektedir. Test kapsamında alınabilecek en yüksek puan 33 puandır.