Araştırmada öğrencilerin bilişsel yüklenme düzeylerini ortaya koymak amacıyla Paas (1992) tarafından geliştirilen Bilişsel Yük Ölçeği kullanılmıştır. Öğrenme düzeyini belirlemek üzere başarı testi ve dereceli puanlama anahtarı geliştirilerek kullanılmıştır. Başarıyı ölçmek amacıyla araştırmacı tarafından bir başarı testi
66
geliştirilmiş ön test ve son test puanları bu testten elde edilen puanlardan hesaplanmıştır. Öğrencilerin her bir uygulama görevine ilişkin performanslarını incelemek için uzman görüşü alınarak 4 farklı uygulama görevine yönelik 4 tane dereceli puanlama anahtarı geliştirilmiş ve öğrencilerin görevlere yönelik performans puanları bu araçlarla hesaplanmıştır.
3.3.1 Bilişsel Yük Ölçeği
Araştırmanın bağımlı değişkenlerinden biri olan bilişsel yük için ilk defa Paas (1992) tarafından geliştirilen bilişsel yük ölçeği kullanılmıştır. Bu ölçek Kılıç ve Karadeniz (2004) tarafından Türkçe’ye uyarlanmıştır. Bu ölçek tek maddeden oluşan bir ölçektir. Ölçek 7’li, 9’lu ve 11’li derecelendirme puanlarıyla kullanılabilmektedir. Bu araştırmada ölçeğin yaygın olarak kullanılan 9’lu derecelendirme puanı kullanılmıştır. Ölçeğin bu halinde ölçekten alınabilecek en düşük puan 1 iken en yüksek puan 9’dur. Ölçekte orta nokta olan 5’in altındaki puanlar bilişsel yüklenme düzeyinin görece az, 5’in üstündeki puanlar ise bilişsel yüklenme düzeyinin görece yüksek olduğunu göstermektedir (Kılıç, 2006). Bilişsel yük ölçeği için Paas (1992) tarafından hesaplanan Cronbach Alfa iç tutarlılık katsayısı ,90 iken Kılıç ve Karadeniz (2004) tarafından hesaplanan Cronbach Alfa iç tutarlılık katsayısı ,78’dir.
3.3.2 Başarı Testi
Öğrencilerin akademik başarılarını ölçmek amacıyla dört konuyu içeren bir başarı testi geliştirilmiştir. Başarı testi geliştirilirken öncelikle kazanımlar belirlenmiş ve her kazanımı kapsamak üzere 25 tane çoktan seçmeli ve 8 tane açık uçlu olmak üzere toplam 33 soru hazırlanmıştır. Hazırlanan başarı testi ile ilgili uzman görüşü almak için bir form (Ek 1) oluşturulmuştur. Başarı testi için daha önce araştırma yöntemleri dersi veren ve doktoralı Bilgisayar ve Öğretim Teknolojileri Eğitimi Bölümünden 2, İlköğretim Bölümünden 2 ve Eğitim Bilimleri Eğitimde Ölçme ve Değerlendirme ana bilim dalından 2 öğretim elemanından uzman görüşü alınmıştır. Uzman görüşleri doğrultusunda gerekli düzeltmeler yapılarak 25 çoktan seçmeli ve 8 açık uçlu sorudan oluşan başarı testinin kapsam ve görünüş geçerliği sağlanmıştır ve başarı testine son hali verilmiştir.
67
Uzman görüşünden sonra başarı testindeki soruların anlaşılıp anlaşılmadığını kontrol etmek amacıyla aynı bölümden daha önce bu dersi alan 10 öğrenciye sorular yöneltilmiş ve öğrenciler tarafından soruların anlaşılıp anlaşılmadığı kontrol edilmiştir. Daha sonra 30 öğrenciden açık uçlu soruları cevaplamaları istenmiş ve üç farklı uzman tarafından öğrencilerin cevapları değerlendirilmiştir. Farklı değerlendiricilerin 30 öğrenciye verdiği puanlar arasında hesaplanan Kendall uyuşum katsayısı (w=,990, p=,000) değerlendiriciler arasında yüksek düzeyde bir uyumu göstermektedir.
Çoktan seçmeli maddeler için bir test formu hazırlanıp önceden “Araştırma Yöntemleri” dersini alan eğitim fakültesinin çeşitli bölümlerinde öğrenim gören 119 son sınıf öğrencisine uygulanmıştır. Yapılan uygulama sonunda elde edilen verilerin ITEMAN programı kullanılarak madde analizi yapılmıştır. Yapılan analiz sonucunda 25 maddelik testin madde analizi sonuçları Ek 2’de verilmiştir. Madde analizinde dikkate alınan ölçütler aşağıda belirtilmiştir.
Madde analizi ya da madde puanları analizi genellikle maddenin kolaylığı ve buna bağlı olarak güvenirliği, ayırt etme gücü ve buna bağlı olarak geçerliği ve üçüncü olarak da doğru cevap dışındaki seçeneklerin (çeldiricilerin) işlerliği ile ilgili bulguları ortaya koymak için yapılır (Özçelik, 2010). Bu araştırma kapsamında yapılan madde analizinde bu üç özellik dikkate alınmıştır.
Test geliştirmede ön uygulamadan sonra bir test maddesinin seçimine kaynaklık eden madde ayırıcılık indeksi ve madde güçlük indeksi olmak üzere iki önemli standardın karşılanıp karşılanmadığı kontrol edilmelidir (Kan, 2010). Bayrakçeken (2011) madde analizinde güçlük ve ayırıcılık indekslerinin değerleri için tüm uzmanların üzerinde anlaştığı bir aralık bulunmadığını belirtmekle birlikte madde güçlük indekslerinin 0,2 ile 0,8 arasında olması ve testin ortalama güçlüğünün ise 0,50 civarında, ayırıcılık indeksinin ise 0,30’dan yüksek olmasının istenen bir durum olduğunu belirtmiştir. Buna ek olarak Özgüven (2003) madde ayırt edicilik değeri 0,20-0,29 arasında olan maddelerin, güçlük değeri ise 0,15-0,39 ve 0,61-0,85 arasında olan maddelerin testte kullanılabilir maddeler olduğunu belirtmiştir. Bu bilgiler dikkate alındığında bu araştırma kapsamında madde seçimi yaparken madde ayırıcılık gücü değerinin 0,30’dan büyük olmasına ve madde güçlük değerinin ise 0,15 ile 0,85 arasında olmasına dikkat edilmiştir. Madde analizi sonucunda 4 tane çoktan seçmeli test maddesi (1, 3, 7 ve 11. maddeler) istenen kriterleri sağlamadığı
68
için testten çıkartılmıştır. 21 çoktan seçmeli test maddesi için güvenirlik katsayısı 0,86 iken ortalama madde güçlük değeri 0,62 ve madde ayırıcılık gücü değeri 0,54 olarak hesaplanmıştır.
Yapılan analizler ve düzeltmeler sonucunda 21 çoktan seçmeli sorudan ve 8 açık uçlu sorudan oluşan başarı testine son hali verilmiştir (Ek 3). Başarı testindeki çoktan seçmeli soruların her biri “1” puan, açık uçlu sorular toplamda “40” puan değerinde olup başarı testinden alınabilecek puan 0-61 puan aralığındadır. Hazırlanan başarı testi hem eşdeğer testler hazırlama güçlüğü hem de ön test ve son test sonuçları arasındaki farkın testlerin kendisinden değil de uygulamadan kaynaklandığını göstermek için (Can, 2013) aynı test uygulamalardan önce ön test ve uygulamalardan sonra son test puanı belirlemek amacıyla kullanılmıştır.
3.3.3 Dereceli Puanlama Anahtarları
Araştırmada öğrencilere dört farklı öğrenme görevi verilmiştir. Öğrencilerin öğrenme performansını analiz etmek ve çalışmaların daha güvenilir ve yansız puanlanabilmesi için dereceli puanlama anahtarları kullanıldığından (Kutlu, Doğan ve Karakaya, 2009) bu araştırmada öğrencilerin uygulamalara yönelik performanslarını değerlendirebilmek için dereceli puanlama anahtarı kullanılmıştır. Ayrıca araştırma kapsamında kullanılan görevler birbirlerinden farklı özelliklere sahip olduğu için genel değil göreve özel dereceli puanlama anahtarları hazırlanmış ve kullanılmıştır. Bu nedenle uygulamalar sonrasında öğrencilerden toplanan ürünlerin değerlendirilmesi için dört farklı dereceli puanlama anahtarı hazırlanmıştır. Kutlu, Doğan ve Karakaya (2009) göreve özel puanlama anahtarları hazırlamanın daha karmaşık ve zaman alıcı olduğunu aynı zamanda onlara eşlik edecek görevle bir kez geliştirildikten sonra o görevle tekrar tekrar kullanılabileceğini dile getirmişlerdir. Goodrich (2001) dereceli puanlama anahtarını aşağıdaki dört adımda hazırlandığını belirtmiştir (akt: Özmen Hızarcıoğlu, 2013).
a) Ölçüt listelerinin belirlenmesi
b) Dereceli puanlama anahtarının türünün belirlenmesi c) Performans düzeylerinin belirlenmesi
69
Bu araştırmada belirtilen adımlara göre dört farklı dereceli puanlama anahtarı hazırlanmıştır. Yapılan geçerlik ve güvenirlik çalışmaları sonucunda hazırlanan dereceli puanlama anahtarlarının araştırmada kullanılmak üzere geçerli ve güvenilir araçlar olduğu sonucuna ulaşılmıştır. Hazırlanan dereceli puanlama anahtarları ile ilgili yapılan geçerlik ve güvenirlik çalışmaları ile ilgili detaylı bilgiler Ek 4’te verilmiştir.