•Test Geliştirme Aşamaları
•Madde Analizleri
•Madde Güçlüğü
•Madde Ayırıcılığı
•Madde varyansı ve standart sapması
•Madde güvenirlik katsayısı
•Test ortalaması, standart
sapması ve ortalama güçlüğü
• 6. SUNUM
Amacın belirlenmesi
Kapsamın belirlenmesi
Maddelerin yazılması ve düzeltilmesi
Ön uygulama
Madde analizi ve madde seçimi
Son testin oluşturulması, uygulanması ve puanlanması
Doç. Dr. Sedat ŞEN 1.06.2021 2
Ölçme araçlarının birimlerinden bahsederken soru
ifadesi yerine madde ifadesi kullandığımızı hatırlatalım.
Sınavlarda yer alan sorular her zaman puanlanmadığı için puanlanabilen soruları da içeren madde kavramı daha uygun bir ifadedir.
Ölçme araçlarının güvenilir ve geçerli olmasının
sağlanabilmesi için testin ön uygulama sonuçlarından
yararlanılarak testteki her bir maddenin analizi yapılır ve maddenin istenilen özelliklere sahip olup olmadığı
araştırılır.
Yapılacak analizler: madde güçlüğü, madde ayırıcılığı, madde varyansı ve standart sapması, madde
güvenirliğidir.
Çoktan seçmeli test maddelerinin analizi iki yöntemle yapılabilir.
1. Basit Yöntem (Alt-üst grup yöntemi): en yüksek puan alan öğrenciler ile en düşük puan alan bazı öğrencilerin oluşturduğu gruplar analize alınır.
Öğrenci sayısı 300-400 ya da daha çok olduğu
durumlarda tavsiye edilir. Bu yöntemin kullanılması için test puanları dağılımının simetrik olması istenir.
2. Yöntem: Bu yöntemde testin uygulandığı tüm
öğrenciler analize dahil edilir. Öğrenci sayısının çok daha az olduğu (60-70 gibi) durumlarda tercih
edilebilir.
Bu iki yöntemin uygulanabilmesi için madde puanları matrisi hazırlanmalıdır.
Doç. Dr. Sedat ŞEN 1.06.2021 4
TEST MADDELERİ
1 2 3 4 5 6 7 8 9 10 Doğru Yanıt E C E D B B A D B B Ersin E C E E C A A D B - Rıdvan E C C A D E D B B A Vida E A C C D B B D E C Welinton E C E E D C A D E C Rosier E E B C B E B D C B Josef E C E E D B A D B C Atiba E C E E C D - D B A Ghezzal E B D C D B D D E C N'Koudou E C E E D B A D B C Aboubakar E C E C D C A D B C
Doç. Dr. Sedat ŞEN
1 2 3 4 5 6 7 8 9 10 Doğru Yanıt E C E D B B A D B B Ersin 1 1 1 0 0 0 1 1 1 0 Rıdvan 1 1 0 0 0 0 0 0 1 0 Vida 1 0 0 0 0 1 0 1 0 0 Welinton 1 1 1 0 0 0 1 1 0 0 Rosier 1 0 0 0 1 0 0 1 0 1 Josef 1 1 1 0 0 1 1 1 1 0 Atiba 1 1 1 0 0 0 0 1 1 0 Ghezzal 1 0 0 0 0 1 0 1 0 0 N'Koudou 1 1 1 0 0 1 1 1 1 0 Aboubakar 1 1 1 0 0 0 1 1 1 0
1.06.2021 6
1 2 3 4 5 6 7 8 9 10
Doğru Yanıt E C E D B B A D B B Öğrenci puanı Ersin 1 1 1 0 0 0 1 1 1 0 6
Rıdvan 1 1 0 0 0 0 0 0 1 0 3 Vida 1 0 0 0 0 1 0 1 0 0 3 Welinton 1 1 1 0 0 0 1 1 0 0 5 Rosier 1 0 0 0 1 0 0 1 0 1 4 Josef 1 1 1 0 0 1 1 1 1 0 7 Atiba 1 1 1 0 0 0 0 1 1 0 5 Ghezzal 1 0 0 0 0 1 0 1 0 0 3 N'Koudou 1 1 1 0 0 1 1 1 1 0 7 Aboubakar 1 1 1 0 0 0 1 1 1 0 6
Doç. Dr. Sedat ŞEN
1 2 3 4 5 6 7 8 9 10 Doğru Yanıt E C E D B B A D B B Ersin 1 1 1 0 0 0 1 1 1 0 Rıdvan 1 1 0 0 0 0 0 0 1 0 Vida 1 0 0 0 0 1 0 1 0 0 Welinton 1 1 1 0 0 0 1 1 0 0 Rosier 1 0 0 0 1 0 0 1 0 1 Josef 1 1 1 0 0 1 1 1 1 0 Atiba 1 1 1 0 0 0 0 1 1 0 Ghezzal 1 0 0 0 0 1 0 1 0 0 N'Koudou 1 1 1 0 0 1 1 1 1 0 Aboubakar 1 1 1 0 0 0 1 1 1 0 Madde puanı 10 7 6 0 1 4 5 9 6 1
1.06.2021 8
Testin en zor maddeleri:
Testin en kolay
maddeleri:
Basit Yöntem (alt-üst yöntemi) ile madde analizi aşağıdaki basamakları takip ederek yapılabilir:
Cevapların kodlaması yapılır. Doğru cevaplar 1 puan;
yanlış, boş ve geçersiz cevaplar da 0 olarak kodlanır.
Daha sonra bu 0 ve 1’ler toplanarak her bir öğrencinin toplam test puanı hesaplanır.
Öğrencilerin puanları en yüksekten en düşüğe doğru sıralanır.
Test puanına göre en düşük %27 ile en yüksek puanlı
%27’lik gruplar seçilir (üst grup ve alt grup adı verilir).
Bu işlemden sonra
madde analiz tabloları
oluşturulur. Bu tablolar yardımıyla her bir maddenin analizi yapılır.
1.madde A B C *D E
Üst grup 11 12 8 15 4 50 Alt grup 21 13 8 5 3 50 TOPLAM 32 25 16 20 7 100
Maddenin doğru cevabı D seçeneğidir.
Doç. Dr. Sedat ŞEN 1.06.2021 10
Bu tabloyu kullanarak bu maddenin ne
kadar zor/kolay olduğunu ve ne kadar
ayırt edici olduğunu belirleyebiliriz.
Madde güçlüğü testteki bir maddeyi doğru
cevaplayan öğrenci sayısının testi alan tüm bireylerin sayısına bölümü şeklinde ifade edilir.
Bir önceki slayttaki tabloda verilen
verilere göre
maddenin güçlüğü 20/100=0,2’dir.
Burada payda
kısmına üst grup ve alt gruptaki
öğrencilerin toplam mevcudu
yazılacaktır!!!
Basit analiz yönteminde elimizde üst ve alt grubun cevapları bulunduğunda aşağıdaki formülü kullanarak madde güçlük değerini bulabiliriz
Madde güçlüğü 0 ile 1 arasında değerler alır!
Bir soruyu 50 kişilik bir sınıfta herkes doğru cevaplamışsa madde güçlüğü p=50/50=1 olarak bulunur. Eğer herkes doğru cevap veriyorsa bu soru çok kolay bir soru demektir.
Bir soruya hiç kimse doğru cevap veremiyorsa madde
güçlüğü p=0/50=0 olarak bulunur. Eğer hiç kimse doğru cevap veremiyorsa bu soru çok zor bir sorudur.
Eğer sınıfın yarısı doğru cevap vermişse o maddenin güçlüğü p=25/50=0,5 olarak bulunur ve madde orta derecede güçlüğe sahip denir.
Madde güçlük değeri 0’a yaklaştıkça madde zorlaşır eğer madde güçlüğü 1’e yaklaşıyorsa madde kolaydır denir.
Bu açıklamalara göre örneğimizde yer alan maddenin güçlük düzeyinin düşük yani zor bir madde olduğunu söyleyebiliriz (p=0,2)
Doç. Dr. Sedat ŞEN 1.06.2021 12
Madde ayırt ediciliği maddenin bilenler ile bilmeyenleri ayırt edebilmesi ile ilgilidir.
Maddeye ait en önemli istatistiklerdendir.
Madde ayırt ediciliği madde güvenirliği ile ilişkilidir.
Bu sebeple bir maddenin teste alınıp alınmamasına karar verirken ilk bakılacak istatistiklerdendir.
Eğer ayırt ediciliği yüksek ise madde iyidir.
Örneğimizdeki maddenin ayırt ediciliği: (15-5)/50=0,2
Madde ayırt edicilik indeksi, bir maddenin
puanları ile testin toplam puanları arasındaki korelasyondur. Madde – test toplam puan
korelasyonu, ölçme aracındaki her bir maddeden elde edilen puanlar ile testin bütününden alınan puanların
karşılaştırılmasıyla elde edilir.
Elde edilen korelasyon katsayısı o maddenin
“madde ayırt edicilik indeksi’dir. Madde – test toplam puan korelasyonu pozitif ve yüksek ise ayırt edicilik yüksektir.
1.06.2021
Doç. Dr. Sedat ŞEN 14
Madde toplam test korelasyonlarıyla madde ayırt edicilik indeksinin hesaplanması:
Bu yöntemde maddeye verilen cevaplardan elde ettiğimiz puanlarla, testte alınan toplam puanlar arasındaki ilişkiye bakılır.
Maddeyi doğru cevaplamış öğrencilerin toplam test
puanlarının yüksek, maddeyi yanlış cevaplamış ya da boş bırakmış öğrencilerin test puanlarının düşük olması
beklenmektedir.
Bir maddeden alınan puanlarla testin tamamından alınan puanlar arasında aynı yönde yüksek bir ilişki varsa o
maddenin ayırt ediciliği yüksektir.
Toplam test puanları yüksek olan bireylerin maddeyi doğru cevapladıkları durumda o maddenin ayırt ediciliği yükselir ve +1,00’e yaklaşır. Zaten bir öğrencinin test puanı
yüksekse o öğrenci bilen, ölçülen özelliğe sahip bir öğrencidir. Eğer bilen öğrenci yüksek puan alıyorsa soruları doğru cevaplıyordur.
Madde ayırt ediciliği -1 ile 1 arasında değerler alır.
Diyelim ki bir sınıf 100 kişi vardır. Eğer üst gruptaki ve alt gruptaki herkes bir maddeyi doğru bilirse madde
ayırtedicilik [(50-50)/50 = 0] değeri ‘0’ olur.
Eğer üst gruptaki tüm öğrenciler maddeyi doğru cevaplarken alt gruptaki hiçbir öğrenci doğru cevap
veremezse madde ayırt ediciliK [(50-0)/50 = 1] değeri ‘1’
olur.>İSTENİLEN DURUM.
Eğer üst gruptaki tüm öğrenciler maddeyi yanlış
cevaplarken alt gruptaki tüm öğrenciler doğru cevap
verirse madde ayırt edicilik [(0-50)/50 = -1] değeri ‘-1’
olur.> İSTENİLMEYEN DURUM.
EĞER BİR MADDENİN AYIRT EDİCİLİĞİ 0,3 VE ÜZERİNDE BİR DEĞER ALIYORSA O MADDE (AYIRTEDİCİLİK BAKIMINDAN) İYİ BİR MADDEDİR DİYEBİLİRİZ!!!
Doç. Dr. Sedat ŞEN 1.06.2021 16
Madde ayırt ediciliği maddenin geçerliği olarak da yorumlanır.
Maddenin kalitesi hakkında bilgi verir ve sınavda ölçülecek davranışa sahip olan ve
olmayanlarıbirbirinden ayırma derecelerini gösterir.
Madde ayırt ediciliği yüksek maddeler bir testin güvenirliğini ve geçerliğini artırır.
Alt ve üst grupta maddeyi doğru cevaplayanların sayıları arasındaki fart arttığı oranda (üst grup lehine), maddenin ayırıcılığıartar.
Farkın kapanması ise ayırt ediciliğini düşürür.
1.06.2021
Doç. Dr. Sedat ŞEN 18
Madde ayırt ediciliği 1’e yakın olmalıdır. “İLK BAKILACAK ÖZELLİK”
Madde güçlüğü ne çok düşük ne de çok
yüksek olmalıdır (0,5 civarı olması gerekir).
Çeldiricileri işaretleyen üst gruptaki öğrenci sayısının alt gruptaki öğrenci sayısından az olması gerekir.
Çeldiricileri işaretleyen öğrenci sayısının
olabildiğince dengeli bir dağılım göstermiş
olması istenir.
Eğer testten tek bir soru çıkarılacaksa madde
ayırt ediciliği en küçük ve negatif olan soru tercih edilir.
Başvuran öğrenci sayısının çok, alınacak öğrenci sayısının az olduğu bir sınavın sorularının güç ve ayırt edici olması beklenir. Okullardaki
değerlendirmelerde istenen durum orta güçlükte ve ayırt edici sorulardır.
Başarı testlerine madde seçerken madde
güçlüğünün orta güçlükte ve ayırt ediciliğin
0,40’tan büyük olması gerekir. Seçme testlerine soru seçerken de zor ve ayırt edici maddeler
kullanılmalıdır.
1.06.2021
Doç. Dr. Sedat ŞEN 20
Doğru cevap seçeneği dışındaki seçeneklere çeldirici denir.
Üst grupta doğru cevaba giden öğrenci sayısı alt grupta doğru cevaba giden öğrenci sayısından fazla olmalıdır.
Üst grupta çeldiricilere giden öğrenci sayısı alt grupta çeldiricilere giden öğrenci sayısından az olmalıdır.
Çeldiricilere giden öğrenci sayısı dengeli olmalıdır.
Hiçbir öğrenci tarafından işaretlenmeyen
çeldiriciler yeniden düzenlenmelidir.
Zıt Yönde Çalışan Çeldirici: Madde çeldiricilerinin alt grupta yer alan öğrenciler tarafından az, üst grupta yer alan öğrenciler tarafından daha fazla işaretlenmiş
olmasıdır.
İyi işleyen çeldirici: alt grupta yer alan öğrenciler
tarafından çok, üst grupta yer alan öğrenciler tarafından az işaretlenmiş olan seçenek.
Kötü işleyen çeldirici: alt grupta yer alan öğrenciler
tarafından az, üst grupta yer alan öğrenciler tarafından çok işaretlenmiş seçenek.
Kuvvetli çeldirici: üst ve alt grupta yer alan öğrenciler arasından çeldiricinin çok fazla işaretlenmiş olması durumudur.
Zayıf çeldirici: üst ve alt grupta yer alan toplam öğrenciler arasından çeldiricinin çok az işaretlenmiş olması
durumudur.
1.06.2021
Doç. Dr. Sedat ŞEN 22
Bir maddeye verilen cevaplar tabloda gösterilmiştir.
A, C, D ve E seçenekleri çeldirici olarak düşünüldüğünde çeldiricilerin daha çok alt grup öğrencilerini çeldirmesi gerekir.
A seçeneği en iyi çeldiricidir çünkü sadece alt grup öğrencilerini çeldirmiş ve A cevabı (yanlış olan cevabı) vermelerini sağlamıştır.
C seçeneği 2 grubu da eşit oranda çeldirmiş (8’er)
D seçeneği çok kötü bir çeldiricidir çünkü sadece üst grup üyelerini çeldirmiştir. Aslında sadece alt grup öğrencilerini yani bilmeyenleri çeldirmesi gerekliydi.
E seçeneği de iki grubu çeldirmiş fakat üst grubu daha çok çeldirmiştir. Bu nedenle E seçeneği de iyi bir çeldirici değildir.
1.madde A *B C D E
Üst grup 0 15 8 20 7 50 Alt grup 22 15 8 0 5 50 TOPLAM 22 30 16 20 12 100
Doğru cevap: B
Maddeye verilen cevapların değişimi madde varyansı ve madde standart sapması ile gösterilir.
6. slaytta verilen tablodaki 1. maddeyi öğrencilerin hepsi doğru cevaplamıştır güçlük düzeyi 10/10=1 ve buradan madde varyansı =1*(1-1)=0. yani hiç değişim yoktur.
Aynı slayttaki 7.maddeye bakarsak güçlük=5/10=0,5 ve madde varyansı = 0,5*(1-0,5)=0,25 olur ve madde standart
sapması = 0,5 olur.
Madde varyansı 0 ile 0,25 arasında değişir. 0’a yakınsa: Maddeyi herkes ya doğru ya yanlış cevaplamıştır. 0,25’e
yakınsa: Farklılaşma yüksektir.
Doç. Dr. Sedat ŞEN 1.06.2021 24
Madde varyansı
Madde st. sapması
Madde güvenirliği, maddenin ayırt ediciliği ve madde standart sapması kullanarak hesaplanabilir.
Madde ayırt ediciliği doğrudan güvenirliği artıran bir özellik olduğu için bir maddede ayırt edicilik değeri olabildiğince yüksek olmalıdır.
Aynı şekilde madde standart sapması da güvenirlikle
doğru orantılıdır. Madde standart sapması arttıkça madde güvenirliği de artar. Madde güçlük değeri 0,5 olduğunda madde standart sapması maksimum değeri (0,25) alır. Bu sebeple bir maddenin madde güçlük değerinin 0,5
civarında olması istenir.
Madde standart sapması
1.madde A *B C D E
Üst grup 10 15 5 15 5 50 Alt grup 22 15 8 5 0 50 TOPLAM 32 30 13 20 5 100
Maddenin doğru cevabı B seçeneğidir.
Doç. Dr. Sedat ŞEN 1.06.2021 26
Madde ayırıcılıkgücü ve madde standart sapması büyüdükçe, madde güvenirlik katsayısı da artar.
Test maddelerinin güvenirliği arttıkça testin bütünün de güvenirliği artar.
Bu nedenle güvenilir bir test oluşturmak içinayırıcılığıve standart sapması büyük maddelerin seçilmesi gerekir.
ÖRNEK: Standart sapması ve ayırıcılıkgücü
indeksi 0,50 olan bir maddenin güvenirlik
indeksi nedir?
Bu yöntem kullanarak yapılan madde
analizinde testi alan öğrencilerin hepsinin puanları kullanılır
Basit yöntem ile Henrysson yönteminden elde edilen sonuçlar her zaman aynı olmayabilir.
Henrysson yöntemini elle hesaplama yaparak uygulamak basit yönteme göre çok daha
zordur.
Eğer bilgisayar ya da hesap makinesi
kullanma imkanı varsa bu yöntem tercih edilebilir.
Doç. Dr. Sedat ŞEN 1.06.2021 28
TEST ARİTMETİK ORTALAMASI ve STANDART
SAPMASI
Madde ayırt ediciliği Madde güçlüğü
Doç. Dr. Sedat ŞEN 1.06.2021 30
Testin
aritmetik ortalaması
Testin ortalama güçlüğü testi alan öğrencilerin aritmetik ortalamasının testten
alınabilecek en yüksek puana (ya da madde sayısına)
bölünmesiyle elde edilir.
Bir testin ortalama güçlüğü o testin maddelerine ait güçlük
indeksi değerlerinin toplamının madde sayısına bölünmesiyle de elde edilir.
Testin ortalama güçlüğü, genel olarak testin bütününün ne kadar zor ve kolay olduğunu gösterir. Ayrıca öğrencilerin başarılarının ne düzeyde olduğunu, testin ayırt ediciliğinin ne düzeyde
olduğunu, öğrencilerin hedeflenen davranışları ne düzeyde kazandıklarını gösterir.
1.06.2021
Doç. Dr. Sedat ŞEN 32
Madde No Madde güçlüğü
1.Madde 0,2
2.Madde 0,3
3.Madde 0,4
4.Madde 0,1
5.Madde 0,5
Yandaki testin ortalama güçlüğü 0,3’tür.
Test ortalama güçlüğü=
(0,2+0,3+0,4+0,1+0,5)/5=0,3
Tabloya göre testin ortalama güçlüğü nedir?
Madde No Madde güçlüğü
1.Madde 0,2
2.Madde 0,3
3.Madde 0,4
4.Madde 0,1
5.Madde 0,5
Tabloya göre testin ortalama güçlüğü nedir?
1.06.2021
Doç. Dr. Sedat ŞEN 34
Madde No Madde güçlüğü
1.Madde 0,2
2.Madde 0,3
3.Madde 0,4
4.Madde 0,1
5.Madde 0,5
Yandaki testin ortalama güçlüğü 0,3’tür.
Test ortalama güçlüğü=
(0,2+0,3+0,4+0,1+0,5)/5=0,3
