1
SINAV ANALİZİ ve ÖĞRENCİ PERFORMANSININ İZLENMESİ
Sınav analizi sınav yapıldıktan sonra öğrencilerin verdikleri doğru ve yanlış yanıtlar üzerinden yapılmaktadır. Sınav analizleri, geçerli, güvenilir, adil, nesnel sınavlar oluşturmak için gerekli bileşenlerdir. Amaç, istenilen nitelikleri taşıyan bir testin geliştirilmesinde uygun soruların seçilmesi, belirli nitelikleri taşımayan maddelerin düzeltilmesi ve ayıklama işleminin yapılmasıdır.
Sınav analizinin öğeleri testi oluşturan her bir maddenin (sorunun) tek tek incelenmesi ve testin bir bütün olarak değerlendirilmesidir.
1. MADDE (SORU) ANALİZİ
Madde analizi; kusurlu maddelerin belirlenmesinde, öğrencilerin öğrenim hedeflerine ulaşıp ulaşmadıklarının anlaşılmasında, edindikleri yanlış kavramların farkına varılmasında, testin iyileştirme gerektiren kısımları hakkında bilgi edinilmesine yardımcı olur.
İdeal bir sınav için testi oluşturan her bir maddenin karşılaması beklenen gereklilikler şunlardır:
• Güçlük indeksleri 0.3-0.7 arasında ve sınavda yer alan tüm maddelerin güçlük indeksi ortalaması 0.5 olmalı,
• Ayırt edicilik indeksi 0.3’ten büyük olmalı,
• Her bir çeldirici işlemiş olmalıdır.
Madde analizinde 5 konu incelenmektedir:
1.1. Maddenin doğru bilinme oranı:
Maddeyi yanıtlamaya çalışan tüm öğrencilerde doğru yanıta ulaşma oranını verir.
Hesaplama:
𝑀𝑎𝑑𝑑𝑒𝑛𝑖𝑛 𝑑𝑜ğ𝑟𝑢 𝑏𝑖𝑙𝑖𝑛𝑚𝑒 𝑜𝑟𝑎𝑛𝚤 (%) = Doğru yanıt sayısı
Toplam yanıt sayısı 𝑥100
2 1.2. Maddenin zorluk (Güçlük) indeksi (FI):
Maddenin (sorunun) öğrencilere ne oranda zor geldiğini belirler
Hesaplama: Sınava giren öğrencileri en düşük puan alandan en yüksek puan alana sıralanır, sınıfın en az puan alan %27’lik grup (Alt grup) ile en çok puan alan %27’lik (üst grup) grupta yer alan öğrencilerin söz konusu soruya verdikleri doğru yanıt üzerinden değerlendirilir.
𝑭𝑰 = Ü𝑠𝑡 𝑔𝑟𝑢𝑝𝑡𝑎𝑘𝑖 öğ𝑟𝑒𝑛𝑐𝑖𝑙𝑒𝑟𝑑𝑒 𝑑𝑜ğ𝑟𝑢 𝑦𝑎𝑛𝚤𝑡 𝑠𝑎𝑦𝚤𝑠𝚤 + 𝐴𝑙𝑡 𝑔𝑟𝑢𝑝𝑡𝑎𝑘𝑖 öğ𝑟𝑒𝑛𝑐𝑖𝑙𝑒𝑟𝑑𝑒 𝑑𝑜ğ𝑟𝑢 𝑦𝑎𝑛𝚤𝑡 𝑠𝑎𝑦𝚤𝑠𝚤 𝐻𝑒𝑟 𝑖𝑘𝑖 𝑔𝑟𝑢𝑝𝑡𝑎𝑘𝑖 𝑡𝑜𝑝𝑙𝑎𝑚 öğ𝑟𝑒𝑛𝑐𝑖 𝑠𝑎𝑦𝚤𝑠𝚤
Yorum: FI hesaplamasında bulunan değerlerin maddenin zorluk durumuna karşılığı Tablo 1 ve Şeki1’de gösterilmektedir. Çok kolay veya zor sorulardan oluşan bir sınav öğrencinin neyi bildiğinin ölçülmesinde yetersiz kalacağı için iyi bir ölçme sağlamamaktadır. Bir sorunun çok zor olarak değerlendirilmiş olması, öğrencilerin konuyu öğrenemediklerini, soruda bir hata olabileceğini veya yanlış cevap anahtarı kullanıldığını düşündürmelidir.
Tablo 1: Zorluk indeksinin yorumu
Zorluk indeksi (FI) Sorunun (maddenin) zorluk durumu
0.70 Çok kolay
(Çok kişi cevaplayabilmiş/kötü) 0.60-0.69 Oldukça kolay
(Çok kişi cevaplayabilmiş) 0.50-0.59 Önerilen zorlukta
0.30-0.49 Zor
(Az kişi cevaplayabilmiş)
0.29 Çok zor
(Çok az kişi cevaplayabilmiş/kötü)
0.30 0.50 0.60 0.70
Önerilen zorlukta
Kolay Çok kolay
Çok zor Zor
Şekil 1: Maddenin Zorluk/Güçlük indeksi (FI)’nin yorumu
3 İdeal bir sınav %10’u çok kolay, %20’si kolay, %40’ı önerilen zorlukta, %20’si zor, %10’u çok zor sorularda oluşmalıdır (Şekil 2A), sınavdaki soruların %50’si çok kolay sorulardan oluşmuş bir sınav öğrenim hedeflerini ve öğrenim düzeyini sorgulamakta başarısızdır (Şekil 2B).
Şekil 2: Sınavı oluşturan soruların zorluk derecelerine göre dağılımı. Sınavı oluşturan soruların zorluk derecesinin ideal dağılımı (A), ağırlıklı olarak kolay ve çok kolay sorulardan oluşmuş bir sınava soruların zorluk derecelerine göre dağılımı (B).
1.3. Maddenin ayırt edicilik indeksi (DI)
Maddenin (sorunun) çalışan (bilen) öğrenciler ile çalışmayan (bilmeyen) öğrencileri ne ölçüde ayırt ettiğini ortaya koyar.
Hesaplama: Sınava giren öğrencileri en düşük puan alandan en yüksek puan alana sıralanır, sınıfın en en az puan alan %27’lik grup (Alt grup) ile en çok puan alan %27’lik (üst grup) grupta yer alan öğrencilerin her bir soruya verdikleri doğru yanıt üzerinden karşılaştırılırlar.
𝑫𝑰 = Ü𝑠𝑡 𝑔𝑟𝑢𝑝𝑡𝑎𝑘𝑖 öğ𝑟𝑒𝑛𝑐𝑖𝑙𝑒𝑟𝑑𝑒 𝑑𝑜ğ𝑟𝑢 𝑦𝑎𝑛𝚤𝑡 𝑠𝑎𝑦𝚤𝑠𝚤 − 𝐴𝑙𝑡 𝑔𝑟𝑢𝑝𝑡𝑎𝑘𝑖 öğ𝑟𝑒𝑛𝑐𝑖𝑙𝑒𝑟𝑑𝑒 𝑑𝑜ğ𝑟𝑢 𝑦𝑎𝑛𝚤𝑡 𝑠𝑎𝑦𝚤𝑠𝚤
𝐻𝑒𝑟 𝑖𝑘𝑖 𝑔𝑟𝑢𝑝𝑡𝑎𝑘𝑖 𝑡𝑜𝑝𝑙𝑎𝑚 öğ𝑟𝑒𝑛𝑐𝑖 𝑠𝑎𝑦𝚤𝑠𝚤 𝑥 2
Yorum: DI hesaplamasında bulunan değerlerin maddenin zorluk durumuna karşılığı Tablo 2 ve Şekil 3’te gösterilmektedir. İyi bir test maddesinin kabul edilebilir seviyede bilenle bilmeyeni ayırt etmesi gerekir. Ayırt ediciliği olmayan veya negatif ayırt edici olan sorular iyi A
10%
20%
40%
20%
10%
Çok Kolay
Kolay Önerilen Zorlukta
Zor Çok
Zor
B
50%
5%
20% 20%
5%
Çok Kolay
Kolay Önerilen zorlukta
Zor Çok
Zor
4 bir test maddesi olarak kabul edilmemektedir. Ayırt edicilik indeksinin aralığı (–1.00 ile +1.00) arasındadır.
Tablo 2: Ayırt edicilik (DI) indeksinin yorumu Ayırt edicilik
indeksi (DI)
Sorunun ayırt etme durumu
0.36 Çok iyi, mükemmel
(Ayırt etme gücü yüksek) 0.26-0.35 İyi
0.16-0.25 Sınırda
(Üzerinde çalışılması, gözden geçirilmesi gereken soru)
0.15 Çok zayıf
(Ayırt etme gücü düşük)
Negatif değer Çalışmayan grup daha fazla cevaplamış/ayırt edicilik tersine dönmüş
1.4. Maddenin kalite durumu
Maddenin zorluk indeksi ve ayırt edicilik indekslerinin birlikte değerlendirilmesi ile saptanır.
Belirleme ve yorum: Maddenin zorluk indeksi ve ayırt edicilik indeksi birlikte değerlendirildiğinde hem zorluk derecesi hem de ayırt ediciliği iyi olan sorular “çok iyi bir madde” olarak tanımlanırken, her iki değerlendirmede yetersiz olan sorular “çok zayıf madde” olarak tanımlanmaktadır. Maddenin kalite durumunun saptanmasında kullanılan FI ve DI kriterleri, kalite simgeleri ve bu simgelerin yorumları Tablo 3’te gösterilmektedir.
0.00 0.15 0.25 0.35
Sınırda
İyi Çok İyi
Tersine dönmüş Çok Zayıf
Şekil 3: Maddenin ayırt edicilik indeksinin (DI)’nin yorumu
5 Tablo 3: Maddenin kalite durumu.
KALİTE DURUMU KRİTERLER
Kalite Simgesi
Yorum Sorunun ayırt
etme durumu
Sorunun Güçlük durumu
Çok iyi bir madde 0.40; Çok iyi 0.70; Çok kolay veya 0.60-0.69; Kolay veya
0.50-0.59; Önerilen zorlukta veya 0.30-0.49; Zor
Oldukça iyi bir madde 0.36-0.39; Çok iyi 0.70; Çok kolay veya 0.60-0.69; Kolay veya
0.50-0.59; Önerilen zorlukta veya 0.30-0.49; Zor
0.30-0.35; İyi 0.70; Çok kolay veya 0.60-0.69; Kolay veya
0.50-0.59; Önerilen zorlukta veya 0.30-0.49; Zor veya
0.29; Çok zor
Düzeltilmesi ve geliştirilmesi gereken bir madde
0.26-0.29; İyi 0.70; Çok kolay veya 0.60-0.69; Kolay veya
0.50-0.59; Önerilen zorlukta veya 0.30-0.49; Zor veya
0.29; Çok zor
0.20-0.25; Sınırda 0.70; Çok kolay veya 0.60-0.69; Kolay veya
0.50-0.59; Önerilen zorlukta veya 0.30-0.49; Zor veya
0.29; Çok zor
Çok zayıf, testten çıkarılması gereken bir madde
0.16-0.19; Sınırda 0.70; Çok kolay veya 0.60-0.69; Kolay veya
0.50-0.59; Önerilen zorlukta veya 0.30-0.49; Zor veya
0.29; Çok zor
0.15; Çok zayıf ve ayırt edicilik tersine dönmüş
0.70; Çok kolay veya 0.60-0.69; Kolay veya
0.50-0.59; Önerilen zorlukta veya 0.30-0.49; Zor veya
0.29; Çok zor
1.5. Seçeneklerin (çeldirici) işlerlik analizi
Doğru yanıt dışındaki seçeneklere çeldirici denir. Doğru seçeneğin öğrencilerin %50-60’ı tarafından seçilmesi, geri kalan cevapların çeldiricilere dağılması beklenir. Her bir çeldiricinin seçilme oranı %5-15 arasında olmalıdır. Ayrıca doğru seçeneği üst gruptaki öğrencilerin daha çok, çeldiricileri ise alt gruptaki öğrencilerin seçmiş olması gereklidir, bu nedenle seçeneğin ayırt ediciliği doğru seçenekte pozitif, çeldiricilerde ise negatif olmalıdır.
6 Maddede (soruda) yer alan her bir çeldiricinin soruya yanıt veren tüm öğrenciler içinde kaç öğrenci tarafından işaretlendiği (seçim sayısı), seçilme oranı, alt grup ve üst grupta yer alan öğrencilerden kaçı tarafından işaretlendiği belirlenir (Tablo 4). Her bir seçenek için üst grup ve alt gruptaki öğrenciler tarafından seçilme oranı hesaplanır, aradaki fark seçeneğin ayırt ediciliğini verir.
S𝑒ç𝑒𝑛𝑒ğ𝑖𝑛 𝑎𝑦𝚤𝑟𝑡 𝑒𝑑𝑖𝑐𝑖𝑙𝑖ğ𝑖 = 𝑠𝑒ç𝑒𝑛𝑒ğ𝑖𝑛 ü𝑠𝑡 𝑔𝑟𝑢𝑝𝑡𝑎 𝑠𝑒ç𝑖𝑙𝑚𝑒 𝑜𝑟𝑎𝑛𝚤 − 𝑎𝑙𝑡 𝑔𝑟𝑢𝑝𝑡𝑎 𝑠𝑒ç𝑖𝑙𝑚𝑒 𝑜𝑟𝑎𝑛𝚤 Örneğin; 1. Soruda üst grupta yer alan 69 öğrencinin 25’i (0,36’sı), alt gruptaki 69 öğrenciden 31’i (0,45’i) A seçeneğini seçmişler. Sorunun doğru yanıtı olan A seçeneği alt grup öğrenciyi kendine daha çok çekmiş, ayırt ediciliği negatif (0,36-0,45= -0,09).
Tablo 4: Sınavda sorulan iki soruya ait madde analizi ve seçenek analizi sonucu
SORU NO: 1
MADDE ANALİZİ SEÇENEK ANALİZİ
Yanıt sayısı 254 Seçe
nek
Seçim sayısı
Seçim oranı
Üst grup
Alt grup
Ayırt edicilik
Yorum Doğru bilen
Sayısı
99 A* 99 0,39 25 31 -0,09 Yanıt
anahtarı hatası Doğru bilen
Oranı
%39 B 92 0,36 24 21 0,04
Zorluk (güçlük) indeksi
0,41 Zor C 50 0,20 19 11 0,12
Ayırt edicilik indeksi
-0,05 Tersine dönmüş D 7 0,03 0 4 -0,06
Kalite durumu Çok zayıf, testten çıkarılması gereken bir madde
E 6 0,02 1 2 -0,01
SORU NO: 2
MADDE ANALİZİ SEÇENEK ANALİZİ
Yanıt sayısı 254 Seçe
nek
Seçim sayısı
Seçim oranı Üst
grup
Alt grup
Ayırt edicilik
Yorum Doğru bilen
Sayısı
62 A 44 0,17 6 16 -0,14
Doğru bilen Oranı
0,24 B 106 0,42 21 32 -0,16 Yaygın
yanlış bilgi Zorluk (güçlük)
indeksi
0,29 Çok zor C* 62 0,24 30 10 0,29
Ayırt edicilik indeksi
0,27 İyi D 37 0,15 11 9 0,03 Kusurlu
Kalite durumu Düzeltilmesi ve
geliştirilmesi gereken bir madde
E 4 0,02 0 2 -0,03
7 Yorum: İyi yazılmış çoktan seçmeli soruda seçeneklerin hepsi işlemeli, öğrencilerin verdikleri yanıtların seçeneklere dağılımı normal dağılıma uymalı, yanlış seçeneklerden herhangi biri aşırı çekici olmamalı ve yanlış seçenek üst gruptaki öğrencileri alt gruptaki öğrencilerden daha fazla çekmemelidir.
Bu durumların dışına çıkan seçeneklerin yanına Tablo 5’teki notlar düşülmelidir.
Tablo 5: Çeldiricilere dağılımın uygun olmadığı durumda yanına düşülebilecek notlar Seçeneklerin
yanındaki notlar
Hesaplama ve Yorum
Kusurlu Üst grup sayı>alt grup sayısı olan çeldirici kusurludur.
Üst gruptaki öğrencileri çok çeldiriyor demektir.
Çalışmayan Seçim oranı <%5 olan çeldirici çalışmamıştır.
Sınava giren öğrencilerin %5’iden azı tarafından seçilen çeldirici Fazla çekici Seçim oranı %16-20 arasında olan çeldirici fazla çekicidir.
Yaygın yanlış bilgi Seçim oranı≥%21 ve ayırt ediciliği negatif olan çeldirici Çok sayıda öğrenci bu seçenek hakkında yanlış bilgilenmiş
Yanıt anahtarı hatalı
Seçim oranı≥%21 ve ayırt ediciliği pozitif olan çeldirici ile birlikte Seçim oranı<%50 ve ayırt ediciliği negatif olan doğru yanıt Çeldiricilerden biri doğru yanıt gibi davranırken, doğru yanıt seçeneği çeldirici gibi çalıştığı durum
8 2. TESTİN ANALİZİ
Yapılan sınavın bir bütün olarak değerlendirmesini sağlar. İdeal bir sınav tutarlı (güvenilir), geçerli, bilen öğrenciyi bilmeyenden ayırt edici, ortalama bir zorluk derecesinde ve alınan puanlar normal Gauss dağılımına uymuş olmalıdır.
Testin analizinde kullanmak üzere sınava giren tüm öğrencilerin aldıkları puanların ortalaması, standart sapması, en düşük puan, en yüksek puan, mod ve medyan değerleri hesaplanmalıdır.
2.1. Güvenirlik (İç tutarlık)
Sınavda kullanılan ölçme aracının tekrar kullanılması durumunda benzer sonuçlar verme düzeyidir. Kuder Richardson 20 (KR20) katsayısı ile belirlenir. KR20; 0 ile 1 arasında bir sayıdır.
Hesaplama:
9 Yorum: Hesaplamada elde edilen KR20 katsayısının yorumu Tablo 6’de görülmektedir.
Tablo 6: Sınavın güvenirlik (iç tutarlık) durumu
KR20 Yorum
≥0,8 Tutarlı
<0,8 Tutarlık düşük
2.2. Geçerlik
Sınavda kullanılan ölçme aracının hatasız ölçüm yapma düzeyini gösterir.
Hesaplama:
𝑆𝚤𝑛𝑎𝑣𝚤𝑛 𝑔𝑒ç𝑒𝑟𝑙𝑖ğ𝑖 =𝑆𝚤𝑛𝑎𝑣𝑑𝑎 𝑎𝑙𝚤𝑛𝑎𝑛 𝑒𝑛 𝑦ü𝑘𝑠𝑒𝑘 𝑝𝑢𝑎𝑛 − 𝑒𝑛 𝑑üşü𝑘 𝑝𝑢𝑎𝑛 𝑆𝚤𝑛𝑎𝑣 𝑝𝑢𝑎𝑛𝑙𝑎𝑟𝚤𝑛𝚤𝑛 𝑠𝑡𝑎𝑛𝑑𝑎𝑟𝑡 𝑠𝑎𝑝𝑚𝑎𝑠𝚤
10 Yorum: Hesaplamada elde edilen geçerlik katsayısının yorumu Tablo 7’da görülmektedir.
Tablo 7: Sınavın geçerlik durumu
Geçerlik Yorum
≤4 Düşük
4,1-5,9 Yüksek
≥6 Düşük
2.3. Ortalama ayırt edicilik (OAE)
Sınavın çalışan öğrenci ile çalışmayanı ayırt etme gücünü göstermektedir. Sınavdan alınan puanlar geniş bir dağılım göstermeli, en yüksek puan ile en düşük puan arasındaki fark sınavdan alınabilecek maksimum puanın yarısından az olmamalıdır.
Hesaplama:
𝑂𝑟𝑡𝑎𝑙𝑎𝑚𝑎 𝑎𝑦𝚤𝑟𝑡 𝑒𝑑𝑖𝑐𝑖𝑙𝑖𝑘 =𝑆𝚤𝑛𝑎𝑣𝑑𝑎 𝑎𝑙𝚤𝑛𝑎𝑛 𝑒𝑛 𝑦ü𝑘𝑠𝑒𝑘 𝑝𝑢𝑎𝑛 − 𝑒𝑛 𝑑üşü𝑘 𝑝𝑢𝑎𝑛
𝑆𝚤𝑛𝑎𝑣𝑑𝑎𝑛 𝑎𝑙𝚤𝑛𝑎𝑏𝑖𝑙𝑒𝑐𝑒𝑘 𝑚𝑎𝑘𝑠𝑖𝑚𝑢𝑚 𝑝𝑢𝑎𝑛/2 𝑥100
Yorum: Hesaplamada elde edilen ortalama ayırt edicilik katsayısının yorumu Tablo 8’de görülmektedir.
Tablo 8: Sınavın ayırt edicilik durumu Ortalama
Ayırt Edicilik
Yorum
≥50 Yüksek
<50 Düşük
2.4. Ortalama zorluk derecesi (Güçlük)
Sınavda kullanılan ölçme aracının genel olarak zorluk derecesini
Hesaplama: sınıfın sınavdan aldığı puan ortalaması bu sınavdan alınabilecek maksimum puana bölünür
11 𝑂𝑟𝑡𝑎𝑙𝑎𝑚𝑎 𝑍𝑜𝑟𝑙𝑢𝑘 = 𝑆𝚤𝑛𝚤𝑓𝚤𝑛 𝑝𝑢𝑎𝑛 𝑜𝑟𝑡𝑎𝑙𝑎𝑚𝑎𝑠𝚤
𝑆𝚤𝑛𝑎𝑣𝑑𝑎𝑛 𝑎𝑙𝚤𝑛𝑎𝑏𝑖𝑙𝑒𝑐𝑒𝑘 𝑒𝑛 𝑦ü𝑘𝑠𝑒𝑘 𝑝𝑢𝑎𝑛
Yorum: Hesaplamada elde edilen ortalama zorluk katsayısının yorumu Tablo 9’de görülmektedir.
Tablo 9: Sınavın ayırt edicilik durumu Ortalama
Zorluk
Yorum
≥0,5 Kolay sorular / konular öğrenilmiş / eğitim etkinlikleri yeterli
<0,5 Zor sorular / sınıf başarısız öğrencilerden oluşmuş / eğitim etkinlikleri yetersiz
2.5. Alınan puanların dağılım grafiği (histogram) ve özelliği
2.5.1. Normal dağılıma uyma durumu: Sınavdan öğrencilerin aldıkları puanların dağılımı Şekil 4’teki grafikte görülen gibi normal dağılıma uymalıdır.
Şekil 4: Normal dağılım grafiği
Hesaplama:
Normal dağılıma uygunluk analizi için seçilecek test sınava giren öğrenci sayısına bağlıdır. Sınava giren öğrenci sayısı 30’dan az ise Shapiro-Wilk testi, öğrenci sayısı ≥30 ise Kolmogrov-Simirnov testi kullanılır.
Yorum: Test sonucunda elde edilen p değeri kullanılır, yorum Tablo 10’da verilmiştir.
Tablo 10: Puanların normal dağılıma uygunluk durumu P değeri Yorum
≥0,05 Normal dağılıma uyuyor
<0,05 Normalden farklı dağılım
12 2.5.2. Çarpıklık (Skewnes) katsayısı: Sınavdan öğrencilerin aldıkları puanların dağılımının çarpık olup olmadığını göstermektedir. Şekil 5’de sırasıyla sola ve sağa çarpık dağılımlar görülmektedir.
Şekil 5: çarpık dağılımlar.
Hesaplama: Çarpıklık katsayısını bulmak için; normal dağılıma uygunluk testinde elde edilen dağılımın skewness değeri skewness değerinin standart hatasına bölünür.
Ç𝑎𝑟𝑝𝚤𝑘𝑙𝚤𝑘 𝑘𝑎𝑡𝑠𝑎𝑦𝚤𝑠𝚤 = 𝑑𝑎ğ𝚤𝑙𝚤𝑚𝚤𝑛 𝑠𝑘𝑒𝑤𝑛𝑒𝑠𝑠 𝑑𝑒ğ𝑒𝑟𝑖 𝑠𝑘𝑒𝑤𝑛𝑒𝑠𝑠 𝑑𝑒ğ𝑒𝑟𝑖𝑛𝑖𝑛 𝑠𝑡𝑎𝑛𝑑𝑎𝑟𝑡 ℎ𝑎𝑡𝑎𝑠𝚤
Yorum: Hesaplamada elde edilen çarpıklık katsayısının yorumu Tablo 11’da görülmektedir. Bulunan değer “0”dan ne kadar uzaklaşırsa dağılım o kadar çarpıktır.
Sola çarpık sınavlarda öğrencilere aşırı puanların verilmesi söz konusu iken, sağa çarpık sınavlarda öğrencilere verilen puanların düşük seviyede kümelendiği görülmektedir.
Tablo 11: Sınavın çarpıklık durumu Çarpıklık katsayısı Yorum
< -1.91 Sola çarpık; aşırı puan verilmesi söz konusu -1.91 ile + 1.91 arası Çarpıklık yok
> + 1.91 Sağa çarpık; düşük puan verilmesi söz konusu
2.5.3. Diklik (Kurtosis) katsayısı: Sınavdan öğrencilerin aldıkları puanların dağılımının çarpık olup olmadığını göstermektedir.
Hesaplama: Diklik katsayısını bulmak için; normal dağılıma uygunluk testinde elde edilen dağılımın kurtosis değeri kurtosis değerinin standart hatasına bölünür.
13 𝐷𝑖𝑘𝑙𝑖𝑘 𝑘𝑎𝑡𝑠𝑎𝑦𝚤𝑠𝚤 = 𝑑𝑎ğ𝚤𝑙𝚤𝑚𝚤𝑛 𝑘𝑢𝑟𝑡𝑜𝑠𝑖𝑠 𝑑𝑒ğ𝑒𝑟𝑖
𝑘𝑢𝑟𝑡𝑜𝑠𝑖𝑠 𝑑𝑒ğ𝑒𝑟𝑖𝑛𝑖𝑛 𝑠𝑡𝑎𝑛𝑑𝑎𝑟𝑡 ℎ𝑎𝑡𝑎𝑠𝚤
Yorum: Hesaplamada elde edilen geçerlik katsayısının yorumu Tablo 12’de görülmektedir.
Tablo 12: Sınavın diklik durumu Diklik katsayısı Yorum
< -1.91 Dağılım dik -1.91 ile + 1.91 arası Diklik yok
> + 1.91 Dağılım dik
Şekil 6’de sınava giren öğrencilerin aldıkları puanlarının dağılımı görülmektedir. Solda (A) dağılımı sola çarpık ve dik olan sınav, sağda (B) ise dağılımında çarpıklık ve diklik olmayan sınav görülmektedir.
Şekil 6: Sınavlarda öğrencilerin aldıkları puanların çarpıklık durumu, (A) öğrencilerin puanları yüksek notlarda kümelenmekte, (B) puan dağılımında çarpıklık görülmemektedir.
2.6. Kapsam geçerlik analizi
Sınava dahil olan öğrenim hedeflerinin sınavda temsil edilme oranıdır. Yapılan sınama etkinliğinde ölçülen öğrenim hedeflerinin temsil edilme derecesidir. Her sınav potansiyel kapsam geçerlik oranını yakalamalıdır. Potansiyel kapsam geçerlik oranını yakalayamayan sınavlarda kök-neden analizi yapılmalı, sorunlar çözülmelidir.
A B
14 Hesaplama: Sınava dahil olan öğrenim hedefi sayısından yapılmalıdır, ancak daha basit olarak sınava dahil olan ders saati üzerinden hesaplama yapılabilir.
𝑠𝚤𝑛𝑎𝑣𝚤𝑛 𝑘𝑎𝑝𝑠𝑎𝑚 𝑔𝑒ç𝑒𝑟𝑙𝑖ğ𝑖 = 𝑠𝚤𝑛𝑎𝑣𝑑𝑎𝑘𝑖 𝑠𝑜𝑟𝑔𝑢𝑙𝑎𝑛𝑎𝑛 𝑑𝑒𝑟𝑠 𝑠𝑎𝑎𝑡𝑖
𝑠𝚤𝑛𝑎𝑣𝑎 𝑑𝑎ℎ𝑖𝑙 𝑜𝑙𝑎𝑛 𝑑𝑒𝑟𝑠 𝑠𝑎𝑎𝑡𝑖 𝑥100
Toplam ders sayısı üzerinden yapmakla yetinilmemeli, her bir anabilim dalının derslerinin temsil edilme durumları da incelenmelidir. Her bir anabilim dalının sınava dahil olan ders saati ve sınavda sorusu çıkan ders saatleri üzerinden anabilim dallarının kapsam geçerlikleri hesaplanır.
𝐴𝑛𝑎𝑏𝑖𝑙𝑖𝑚 𝑑𝑎𝑙𝚤𝑛𝚤𝑛 (𝐴𝑏𝐷) 𝑘𝑎𝑝𝑠𝑎𝑚 𝑔𝑒ç𝑒𝑟𝑙𝑖ğ𝑖 = 𝑠𝚤𝑛𝑎𝑣𝑑𝑎𝑘𝑖 𝑠𝑜𝑟𝑔𝑢𝑙𝑎𝑛𝑎𝑛 𝐴𝑏𝐷′𝑦𝑒 𝑎𝑖𝑡 𝑑𝑒𝑟𝑠 𝑠𝑎𝑎𝑡𝑖
𝑠𝚤𝑛𝑎𝑣𝑎 𝑑𝑎ℎ𝑖𝑙 𝑜𝑙𝑎𝑛 𝐴𝑏𝐷′𝑦𝑒 𝑎𝑖𝑡 𝑑𝑒𝑟𝑠 𝑠𝑎𝑎𝑡𝑖 𝑥100
Yorum: Tablo 13’te görülen sınavda; 116 ders saatinin dahil olduğu ancak 100 soruluk bir sınav hazırlandığı için derslerden 16 saatinden soru sorulamayacağı görülmekte ve potansiyel kapsam geçerlik %86 hesaplanmış. Ancak gerçekleşen sınavda derslerden 22 saatinin sınavda sorgulanmadığı görülmüş ve gerçekleşen kapsam geçerliğin %81 olduğu saptanmıştır.
Tablo 13: Sınavın kapsam geçerlik analizi Sınava dahil olan teorik ders saati: 116
Sınavın soru sayısı: 100
Sorgulanamayacak ders sayısı: 16 Sorgulanmayan ders sayısı: 22 Kapsam geçerlik oranı:
Potansiyel: %86
Gerçekleşen: %81
Aynı sınavın anabilim dallarının kapsam geçerlik durumlarının incelenmesi Tablo 14’te görülmektedir. Hazırlanan sınavda genel cerrahi, anestezi, acil tıp, radyoloji ve dikey koridor derslerinin kapsam geçerlik oranlarının düşük olduğu, bununla beraber genel cerrahide ve plastik cerrahide aynı ders saatlerinden birden çok sorunun kullanıldığı görülmektedir.
15 Tablo 14: Sınava dahil olan anabilim dallarının kapsam geçerlik durumu
Anabilim dalı (AbD)
Hazırlanan sınavda gerçekleşen Sınava dahil dersler Soru sayısı Sorgulanan
ders saati
Sorgulanmayan ders saati
Kapsam geçerlik (%)
Ders saati
Ders ağırlık oranı (%)
Genel cerrahi 37 36 13 73,5 49 44,55
Plastik cerrahi 15 13 0 100,0 13 11,82
Anestezi 13 12 2 85,7 14 12,73
Acil tıp 11 10 1 90,9 11 10,00
Panel ders 6 6 0 100,0 6 5,45
Radyoloji 3 3 1 75,0 4 3,64
Fizyoloji 3 3 0 100,0 3 2,73
Patoloji 3 3 0 100,0 3 2,73
Anatomi 2 2 0 100,0 2 1,82
Radyasyon onk 1 1 0 100,0 1 0,91
Nükleer tıp 1 1 0 100,0 1 0,91
İç hastalıkları 1 1 0 100,0 1 0,91
Biyokimya 1 1 0 100,0 1 0,91
Enfeksiyon hast 1 1 0 100,0 1 0,91
Dikey koridor 1 1 5 16,7 6 0,91
Toplam 100 94 22 81,0 116 100,00
3. ÖĞRENCİ PERFORMANSININ İZLENMESİ 3.1. Z puanı
Öğrencinin sınavda aldığı puanın sınıfa göre nerede bulunduğunu standardize edilmesidir.
Böylece öğrencinin birlikte sınava girdiği gruba göre ne kadar başarılı olduğu belirlenir.
Hesaplama:
𝒁 =öğ𝑟𝑒𝑛𝑐𝑖𝑛𝑖𝑛 𝑝𝑢𝑎𝑛𝚤 − 𝑠𝚤𝑛𝚤𝑓𝚤𝑛 𝑜𝑟𝑡𝑎𝑙𝑎𝑚𝑎𝑠𝚤 𝑠𝚤𝑛𝚤𝑓𝚤𝑛 𝑠𝑡𝑎𝑛𝑑𝑎𝑟𝑡 𝑠𝑎𝑝𝑚𝑎𝑠𝚤
Yorum: öğrencinin z puanı ve sınıfa göre başarı durumu tablo 15’te görülmektedir.
Tablo 15: z puanı ve sınıfa göre başarı durumu Z puanı Yorum
+3 Z Öğrenci sınıfına göre 3 standart sapma (sınıfın %97,72’sinden) daha başarılıdır
+2 Z Öğrenci sınıfına göre 2 standart sapma (sınıfın %97,72’sinden) daha başarılıdır
16 +1 Z Öğrenci sınıfına göre 1 standart sapma (sınıfın %84,13’ünden) daha
başarılıdır
0 Z Sınıf ortalaması ile eşit puan almıştır
-1 Z Öğrenci sınıfına göre 1 standart sapma (sınıfın %84,13’ünden) daha başarısızdır
-2 Z Öğrenci sınıfına göre 2 standart sapma (sınıfın %97,72’sinden) daha başarısızdır
-3 Z Öğrenci sınıfına göre 3 standart sapma (sınıfın %99,87’sinden) daha başarısızdır
3.2. Performansın grafikle gösterimi
Öğrencinin yıl boyunca girdiği sınavlarda elde ettiği puanlardan hesaplanan Z puanlarının grafiklenmesi öğrencinin hangi sınav/derste daha başarılı veya başarısız olduğunu tespit etmeye ve öğrencinin akademik performansında ortaya çıkan dalgalanmaların tespitini sağlar.
Sadece puanlara bakıldığında A öğrencisinin DK 102 sınavında başarısız olduğu, B öğrencisinin ise sadece DK 101 sınavında başarılı olduğu diğerlerinde vasat bir seyirle gittiği düşünülebilir (Tablo 16). Öğrencilerin z puanları hesaplanıp grafikle gösterildiğinde DK 102 sınavında sınıfın ortalamasının düşük olduğu A öğrencisinin aldığı 48 puanla sınıfındaki öğrencilerin yaklaşık %84’ünden daha başarılı olduğu, B öğrencisinin ise DK 103 sınavında ciddi bir performans düşüklüğü yaşadığı, bu düşüşün DK 104 sınavında da devam ettiği görülecektir (Şekil 7). B öğrencisinin yaşadığı ciddi performans düşüklüğü bu analiz ile fark edilip öğrencinin sosyal/barınma/maddi sorunu erkenden tespit edilip sorun çözümü bulunabilir.
Tablo 16: çeşitli sınavlara giren 2 öğrencinin aldıkları puanlar
Sınavlar
Sınav notları Sınıfın z puanları
A öğrencinin
B
öğrencinin Ortalaması
Standart sapması
A öğrencinin
B öğrencinin
DK 101 88 85 75 9,5 1,37 1,05
DK 102 48 47 43 3,5 1,43 1,14
DK 103 89 50 70 12 1,58 -1,67
DK 104 97 51 76 10 2,10 -2,50
17 Şekil 7: Z puanların grafikle izlenmesi
A
B
0 +1Z
+2Z +3Z
-1Z -2Z -3Z
Sınavlar
Z değeri
18 4- ÖĞRETİM ÜYESİNE SINAV ANALİZLERİ GERİ BİLDİRİMİ VERME
Sınavda kullanılan soru ile birlikte soruya ait madde analizi sonuçları soru yazarı öğretim üyesine gönderilir.
Kaynaklar:
1) Eskiocak S, Süer Gökmen S, Erbaş H, Çakır E, Gülen Ş. Trakya Üniversitesi Tıp Fakültesinde Son 5 Yılda Yapılan Biyokimya Sınav Sorularının Analizi. Türk Biyokimya Dergisi 2004; 29: 273-6.
2) Topal K, Aybek H, Kara CO, Büke A, Aybek Z. PAÜ tıp fakültesi dönem ı öğrencilerine 2006-2007 eğitim ve öğretim yılında uygulanan çoktan seçmeli sınavların madde ve test analizleri. Pamukkale Tıp Dergisi 2008;1(3):120-126.
https://www.journalagent.com/ptd/pdfs/PTD_1_3_120_126.pdf
3) Yılmaz H. (2004) Eğitimde ölçme ve değerlendirme, s. 190-200, Çizgi kitabevi, Konya.
4) Hingorjo MR, Jaleel F. Analysis of one-best MCQs: The difficulty index, dicrimination index and distractor efficiency. J Pak Med Assoc. 2012;62(2):142-7.
5) Y. E. Kocabaşoğlu YE. Çoktan Seçmeli Soru Analizi ve Çoktan Seçmeli Soru Sınavları
6) Hasançebi B, Yüksel Terzi Y, Küçük Z. Madde Güçlük İndeksi ve Madde Ayırt Edicilik İndeksine Dayalı Çeldirici Analizi. GÜFBED/GUSTIJ (2020) 10 (1): 224-240
7) Demirel Yılmaz E. Eğitici Cep Kitabı, TTB 2000
