Başarı Testi Geliştirme

Bölüm:3

Başarı Testi Geliştirme

Bu bölümün başlıkları:

3.0 Giriş

3.1 Başarı testi geliştirme

3.2 Ç

S

T

M

A

3.3 Madde ve Test istatistikleri

3.4 Uygulama

3.0 Giriş

TEST:

Eğitim dışı alanlarda farklı anlamlarda kullanılmaktadır: Sınama, deneme,

kontrol ve yoklama.

Dar anlamıyla test kelimesi, öğrencilerce

«çoktan seçmeli sınav» anlamında çoktan seçmeli sınav kullanılmaktadır.

TEST Anlamı:

Bireylerin belli özelliklerini ölçmek amacıyla düzenlenen ve onu alan herkes için aynı olan sorular veya işlerden oluşan bir ölçme aracıdırbir ölçme aracıdır.

Birey Hakkında Bilgi Toplama Yolları

Testler Test dışı teknikler

1-Gözlem (Vaka kaydı, Kontrol listesi, Rubrik)

2-Soruşturma (Mülakat, Anket) 3-Bireyin kendisi hk. bilgi vermesi

(Sosyogram, Otobiyografi)

Tipik davranış testleri

Maksimum yeterlik testleri

Yetenek testleri Başarı testleri 1-Kişilik ölçekleri

2-İlgi ölçekleri 3-Tutum ölçekleri

Standart testler Öğretmen yapımı testler

-Özel yetenek testleri -Genel yetenek testleri

-Öğretim testleri -Ehliyet testleri -Ölçme testleri -Bireysel testler -Grup testleri -Hız testleri -Güç testleri -Özdeş öğeler testi -İlgili davranış testi -Bilgi testi -Sözelleştirilmiş d.t.

-Objektif testler -Subjektif testler

Dile dayalı olm.

testler Dile dayalı testler

Sözlü Yazılı

Essay

(yazılı yoklama)

Kısa

cevap Eşleştirme D-Y Çoktan seçmeli

Kaynak: Halil Tekin

Eğitim sisteminin girdi, süreç ve çıktı

öğelerinde seviye belirleme testleri, izleme testleri, başarı testleri veya tutum

ölçekleri

ve anketler uygulanabilmektedir.

3.1 Başarı Testi Geliştirme

Bir derste öğrencilere kazandırmak

istediğimiz davranışları öğrencilerin ne

düzeyde kazandıklarını ölçmede başarı

testlerini kullanırız.

Bir başarı testinin hazırlanması öğretmen için önemlidir. Bu yüzden bunun aşamalarına yer vereceğiz.

1- Ölçülecek davranışlar evrenini belirle,

2- Ölçülecek davranışlar örneklemini belirle, 3- Ölçme aracını oluştur,

4- Pilot uygulama yap veya uzman görüşü al, 5- Uygula ve madde analizi yap,

6- Teste son şeklini ver.

Test geliştirme aşamaları:

1- Ölçülecek Davranışlar Evrenini Belirleme

İlk iş, neyin ölçüleceğini belirlemektir!

1) Bunun için öncelikle sınavın yapılış amacını 1) Bunun için öncelikle sınavın yapılış amacını

bilmek gerekir.

bilmek gerekir.

2) Daha sonra, ölçülecek niteliklerin belirlenmesi, yani ders ile ilgili yoklamak istediğiniz kazanımların (hedef davranışların) tanımlanması gerekir.

3) İlgili kazanımlardan kritik olanları ölçmede yeterli olacak kadar çok soru yazmak gerekir.

Özetle: Dersin kazanımlarının tümünü kapsayan bir soru bankası oluşturun.

2- Ölçülecek Davranışlar Örneklemini Belirleme

1) Ölçmeye konu olan kazanımları temsil edebilen bir örneklem belirlenir. Aksi halde kapsam geçerliği düşük olur.

2) Kazanımlardan kritik olanları yoklayacak davranışlar örnekleme alınır.

Özetle: Kazanımları hangi davranışlarla yoklamayı düşünüyorsunuz?

3- Ölçme Aracını Oluşturma

1) Yoklanacak davranışlar için uygun sınav uygun sınav türüne

türüne karar verilir. (Sınav Türleri konusu ileride)

2) Sınav türüne göre soru sayısı değişmektedir.

Sözlü, yazılı yoklama, çoktan seçmeli, D-Y, …

Her davranışı ölçecek birçok soru yazarak bunlar arasından uygun olanı bulma şansı arttırılır.

NOT: Geliştirmeyi düşündüğümüz test, klasik test teorisine uygun çoktan seçmeli testler veya 0-1 puanlama yönteminin uygulanabileceği testlerdir.

Özetle: Kararlaştırdığınız sınav türüne uygun sorular belirleyin.

4- Ön Uygulama veya Uzman Görüşü Alma

Oluşturduğunuz ölçme aracının pilot uygulaması (ön uyg.) yapılamıyorsa,

1)Ölçme aracınıza benzer bir ölçme aracını öğrencilerinize uygulayarak test maddelerini

eleştirmelerini isteyebilirsiniz.

2) Ölçme aracınızı öğrencilerinize benzer bir gruba uygulayarak test maddelerini

eleştirmelerini isteyebilirsiniz.

3) Testin hazırlandığı konuyla ilgili diğer uzman kişilerin eleştirilerini alabilirsiniz.

Böylece test maddelerinizin iyileştirilmesini ve testin geliştirilmesini sağlayabilirsiniz.

Özetle: Uygun soru havuzu oluşturulur.

5- Uygulama ve Madde Analizi Yapma

Klasik test teorisine uygun olarak ayırt edici bir başarı testi geliştirmek için:

Önce ölçülecek davranışları belirledik. Sonra, belirlenen her davranışı uygun olarak ölçen

en az 2-3’er soru belirledik. Tüm soruları içeren bir deneme testi hazırlayıp en az 200 kişilik bir gruba uyguladık.

Şimdi madde analizi yapılır: Madde analizi sonucu her maddenin istatistiksel özellikleri belirlenir ve gerekirse düzeltme yapılır.

Her davranışı ölçen birden çok sorudan en iyi çalışanı tespit edilir ve böylece bir soru bankası oluşturulur.

Özetle: Madde analizleri yapılır. (İnceleyeceğiz)

6- Teste Son Şeklini Verme

Madde analizi sonuçlarından yararlanarak

testte yoklanacak davranışların her biri için, o davranışı ölçmek amacıyla

hazırlanan maddelerden en iyisinin teste alınmasıyla nihai (son) test oluşturulur.

Madde analizi, kullanılan soruların güçlüğü, ayırdediciliği, geçerliği ve güvenirliği gibi bazı teknik özellikleri tespit edip, soru havuzu oluşturmak amacıyla da yapılabilir.

3.2 Ç ^oktan S ^eçmeli T ^estlerde M ^adde A ^nalizi

Bu bölümde yapacağımız madde analizi, maddeler 0-1 puanla puanlandığında başarı testlerinde

kullanılan teknikleri içermektedir.

Yani, bu bölümde çoktan seçmeli test maddeleri için madde analizi üzerinde duracağız.

Madde analizi, nitelikli bir test geliştirmek amacıyla kullanılabileceği gibi, bazı özellikleri bilinen kaliteli

bir soru havuzu oluşturmak için de kullanılabilir.

1. AŞAMA: Madde analizi yapmak için, N tane öğrencinin K tane soruya verdiği cevaplar aşağıdaki gibi bir matriste (listede) verilir.

MADDE CEVAP MATRİSİ

Öğrenci Test Maddeleri

1(A) 2(D) 3(E) … K(D)

1 A C E … D

2 B D E … D

3 A D A … C

… … … … … …

N C D E … B

TABLO:1 Madde cevap matrisi oluşturma.

NOT: 1 numaralı öğrencinin testin sorularına verdiği cevaplar aynı satırda (A-C-E-…-D).

Doğru cevabı parantez içinde (A) olan 1 numaralı test maddesinin öğrencilerce verilmiş cevapları aynı sütunda (A-B-A-…C).

MADDE CEVAP MATRİSİ

Öğrenci Test Maddeleri

1(A) 2(D) 3(E) … K(D)

1 1 C 1 … 1

2 B 1 1 … 1

3 1 1 A … C

… … … … … …

N C 1 1 … B

TABLO:2 Madde cevap matrisi doğru cevaplar (1).

2. AŞAMA: Doğru cevaplar 1 puan ile gösterilir

MADDE CEVAP MATRİSİ Öğrenci

X

Test Maddeleri

Öğrenci pu.

1(A) 2(D) 3(E) … K(D)

1 1 0 1 … 1 ^Satır

Toplamı=X(1)

2 0 1 1 … 1 ^Satır

Toplamı=X(2)

3 1 1 0 … 0 ^Satır

Toplamı=X(3)

… … … … … … ^Satır

Toplamları

N 0 1 1 … 0 ^Satır

Toplamı=X(N)

Madde pu.

Sütun toplamı

I(1)

Sütun toplamı

I(2)

Sütun toplamı

I(3)

Sütun toplamı

Sütun toplamı

I(K)

Ʃ I=Ʃ X olmalı!

TABLO:3 Madde puanları matrisi.

3. AŞAMA: Doğru puan haricindekiler 0 puanla gösterilir.

NOT: Madde puanları toplamı = Öğrenci puanları toplamı olmalı.

4. AŞAMA: Madde cevaplarının seçeneklere dağılımı.

0) N öğrencinin ham puanları büyükten küçüğe sıralanır.

1)Verilerin %27’si (veya 1/3’ü) ÜST GRUP 2)Verilerin %27’si (veya 1/3’ü) ALT GRUP

3)Geri kalan %46’sı (veya 1/3’ü) ORTA GRUP

4)Her bir madde için aşağıdaki gibi bir tablo yapılır.

ÖRNEK:1

Güçlük Ayırıcılık

Bu sorunun doğru cevaplanma oranı üst gruptan alt gruba doğru azalmaktadır.

Çeldiriciler için bu durum tam tersine işlemeli. (Örneğimizde işliyor!)

Tablo:1 Bir sınava giren 240 kişinin 1. soru cevapları.

Tabloya bakarak, Madde:1 ’in seçeneklerinin iyi işleyip işlemediğini kabaca söyleyebiliriz.

Üst grubun orta gruptan, orta grubun da

alt gruptan daha fazla doğru cevaba ulaşmaları beklenir.

Çeldiriciler için bu durum tam tersine işlemeli…

Tablo:1 Bir sınava giren 240 kişinin 1. soru cevapları.

Madde:1 ‘in güçlüğü (yani sorunun zorluğu):

Madde:1 ‘in madde ayırdediciliği (yani çalışkan öğrenciyi tembel olandan ayırdetme gücü)

Dü: Üst gruptan soruyu doğru cevaplayan sayısı.

Da: Alt gruptan soruyu doğru cevaplayan sayısı.

Nü: Üst gruptaki öğrenci sayısı.

Na: Alt gruptaki öğrenci sayısı.

NOT: Yukarıdaki formüller tahmin edicidirler. NOT:

Tam olarak nasıl hesaplandıklarını ileride söyleyeceğiz.

Madde:2’yi doğru cevaplayanların sayısı üst gruptan alt gruba gittikçe azalmaktadır.

Üst gruptan 80 kişi, alt gruptan 32 kişi doğru cevabı seçmiştir. Üst gruptaki doğru cevap sayısının alt gruptakilerden daha çok olması, maddenin pozitif ayırıcılık katsayısına sahip olması demektir.

Çeldiricilerin tümü alt gruptaki öğrenciler tarafından seçilmiştir. (Çeldiriciler etkili demek!)

ÖRNEK:2

Tablo:2 Bir sınava giren 240 kişinin 2. soru cevapları.

2. maddenin güçlüğü: 2. maddenin ayırdediciliği:

Madde:3’ü doğru cevaplayanların sayısı üst gruptan alt gruba gittikçe azalmaktadır.

Çeldiriciler zayıftır: B çeldiricisi bilenleri daha

çok yanıltmış, C ve E çeldiricileri hiç çalışmamıştır.

Sadece D iyi bir çeldiricidir, çünkü üst gruptan alt gruba doğru bu çeldiriciyi seçenler artmıştır.

(B, C ve E çeldiricileri yeniden yazılmalıdır.)

ÖRNEK:3

Tablo:3 Bir sınava giren 240 kişinin 3. soru cevapları.

3. maddenin güçlüğü: 3. maddenin ayırdediciliği:

Madde:4’ü herkes doğru cevaplamıştır. Herkes tarafından doğru cevaplanmış bu soru hiç zor değildir.

Çeldiriciler hiç çalışmamıştır.

Bu soru bilenle bilmeyeni hiç ayırdedememiştir.

ÖRNEK:4

Tablo:4 Bir sınava giren 240 kişinin 4. soru cevapları.

4. maddenin güçlüğü: 4. maddenin ayırdediciliği:

3.3 Madde ve Test İstatistikleri

Bir tek maddeye ait istatistiğe madde istatistiği denir.

(Madde güçlüğü, madde varyansı, madde güvenirliği, madde ayırdediciliği, …)

Bir testin tümüne ait istatistiğe de test istatistiği denir.

(Testin ortalaması, testin varyansı, testin güvenirliği,

…)

ÖRNEK: 50 kişilik bir gruba uygulanan bir

çoktan seçmeli testin 5. sorusunu 27 kişi doğru cevaplamıştır. Bu maddenin güçlüğü kaçtır?

İyi bir tahmin edici:

İyi bir test, maddelerin çoğunluğu, sınavı alanların %30 – %80 ‘i

tarafından doğru olarak cevaplanan testtir. Yani, soruların çoğu 0,30 ile 0,80 arasında güçlüğe sahip olmalı.

SORU:

(0 ile 1 arasında değer alabilir. 0’a yaklaştıkça zor, 1’e yaklaştıkça kolay madde demektir.)

Testin aritmetik ortalamasının madde güçlükleri ile bir ilgisi var:

Testin aritmetik ortalaması, madde güçlükleri toplamıdır!

K

SORU: 4. madde güçlüğü 1 ise varyansı nedir?

SORU: 2. madde güçlüğü 0,70 ise varyansı nedir?

SORU: Madde varyansı en çok kaç olabilir? (0,25)

Madde varyansının kare-köküdür!

Testteki bir maddenin bileni bilmeyenden ayırma gücüdür.

Başka bir deyişle, öğrencilerin test

puanları ile o maddeden aldıkları puanlar (0-1) arasındaki korelasyondur.

Nokta çift serili korelasyon veya çift serili korelasyon tekniği ile hesaplanır.

Aşağıdaki formülle tahmin edilir:

Bir test maddesinin güvenirliği ne kadar yüksek ise madde o kadar kaliteli demektir.

Bir maddenin güvenirlik katsayısı, maddenin ayırıcılık gücü ile maddenin standart sapması çarpımına eşittir:

Bir testin standart sapması,

madde güvenirlikleri toplamıdır:

(8) TESTİN GÜVENİRLİĞİ:

Puanlara karışan hata miktarını puan cinsinden belirlemek ve öğrencinin gerçek başarı durumunu yansıtan «gerçek puanın»

hangi aralıkta olabileceğini kestirmek için ölçümlere ait standart hata şöyle bulunabilir:

(Örnek için, bkz. Bölüm4)

3.4 Uygulama

Tablo:5 ‘i kullanarak aşağıdakileri hasaplayın.

(1) Her maddenin madde güçlüğü

(2) Testin aritmetik ortalaması

(3) Ortalama madde güçlüğü

(4) Madde varyansları

(5) Madde standart sapmaları

(6) Madde ayırıcılık güçleri

(7) Madde güvenirlikleri

(8) Testin standart sapması

(9) Testin güvenirliği

(10) Testin standart hatası

Tablo:5 M A D D E C E V A P M A T R İ S İ

Öğr Test Maddeleri

Öğr pu.

1 2 3 4 5 6 7 8 9 10

1 1 1 1 1 1 1 1 1 1 1 10

2 1 1 1 1 1 1 1 1 1 0 9

3 1 1 1 1 1 1 1 0 1 1 9

4 1 1 1 1 1 1 1 1 0 0 8

5 1 1 1 1 1 1 1 0 0 1 8

6 1 1 1 1 1 1 1 0 0 0 7

7 1 1 1 1 1 1 0 1 0 0 7

8 1 1 1 1 1 1 0 0 0 1 7

9 1 1 1 1 0 0 0 0 1 1 6

10 1 1 1 1 1 1 0 0 0 0 6

11 1 1 1 1 0 0 1 0 0 1 6

12 1 1 1 0 0 0 0 0 1 1 5

13 1 1 1 1 0 1 0 0 0 0 5

14 1 1 0 1 1 0 0 0 0 0 4

15 1 1 0 1 0 0 1 0 0 0 4

16 1 1 1 0 0 0 0 0 0 0 3

17 0 1 0 0 0 0 0 1 0 0 2

18 0 0 0 0 0 0 0 0 1 1 2

19 1 1 0 0 0 0 0 0 0 0 2

20 1 0 0 0 0 0 0 1 0 0 2

Md. pu.

Bölüm Değerlendirme Soruları

1.

‘Sınav planı’ adı verilen bu hazırlıkta ilk olarak aşağıdakilerden hangisi belirlenir?

A) Sınavda kapsanacak konular

B) Sınav sorularının güçlük düzeyleri

C) Sınavın yapılış amacı

D) Sınavdaki yanıtları puanlama yöntemi

E) Sınavda kullanılacak soru tipi

(C)

(Sıradaki 3 soruyu aşağıdaki tabloya göre cevaplayınız.)

2.

A) 1 B) 2 C) 3 D) 4 E) 5

(B)

3.

A) 1 B) 2 C) 3 D) 4 E) 5

(A)

4.

A) 1 B) 2 C) 3 D) 4 E) 5

(E)

Teşekkür ederim.

Teşekkür ederim.