EĞİTİMDE ÖLÇME VE DEĞERLENDİRME

EĞİTİMDE ÖLÇME VE DEĞERLENDİRME DERSİ NOTU

Doç.Dr. B. Barış Alkan Akdeniz Üniversitesi

Eğitimde Ölçme ve Değerlendirme ABD

12. HAFTA

1

Test Geliştirme

• Test, öğrencilerin ölçülecek özelliklerinin belirlenmesi amacıyla kullanılan ölçme araçlarından biridir.

• Test geliştirme süreci bazı adımlar izlenerek tamamlanabilir.

Test geliştirme aşamaları

3

❖ Test puanlarının kullanılacağı amacın belirlenmesi

❖ Kapsamı temsil edecek davranışların belirlenmesi

❖ Belirtke tablosunun hazırlanması

❖ Kullanılacak soru türünün belirlenmesi

❖ Denemelik soruların yazılması

❖ Soruların test düzenine konulması

❖ Deneme uygulamasının yapılması

❖ Madde analizi yapılarak maddelerin seçilmesi

❖ Seçilmiş maddelerle testin oluşturulması

❖ Test istatistiklerinin kestirilmesi

Testin Amacının belirlenmesi

• Tanımaya Yönelik Değerlendirme

• Biçimlendirmeye Yönelik Değerlendirme

• Düzey Belirlemeye Yönelik Değerlendirme

Kapsamı Temsil edecek davranışların belirlenmesi

• İzleme testi veya başarı testi

Belirtke tablosunun hazırlanması

Kullanılacak soru türünün belirlenmesi

• Bilgi, Kavrama, Uygulama, Analiz, Sentez, Değerlendirme

Denemelik soruların yazılması

• Her bir davranışı ölçecek denemelik üç soru yazılır.

Soruların (maddelerin) test düzenine konulması

• Test yönergesi hazırlanır.

• Sorular (Maddeler) test formatına göre dağıtılır ve yazılır.

Deneme uygulamasının yapılması

• Gerçek öğrenci grubu ile benzer özellikler gösteren bir öğrenci grubuna deneme uygulaması yapılır.

Madde analizi yapılarak maddelerin seçilmesi

• Seçilen maddeler kullanılarak test oluşturulur.

• Test istatistikleri hesaplanır.

5

Madde Analizi

• Güvenilir ve geçerli test elde etmek için kaliteli test maddeleri kullanmak gereklidir.

• Madde analizinin temel amacı, istenen güçlük düzeyinde maddelerin seçilerek geçerli ve güvenilir bir test oluşturmaktadır.

Madde Analizinin Aşamaları

• Öğrencilerin verdikleri cevaplar doğru cevaplanan her madde için «1»; yanlış cevaplanan, boş bırakılan birden fazla cevaplanan maddeler «0»

verilerek puanlanır.

• Öğrencilerin doğru cevapları sayılarak toplam test puanı elde edilir.

• Test puanları en yüksekten en düşük puana doğru sıraya konur.

7

• En yüksek puanlı öğrenci kağıtlarının %27’si ayrılarak ÜST GRUP, en düşük puanlı öğrenci kağıtlarının %27’si ayrılarak ALT GRUP oluşturulur.

• Üst ve Alt grupta ayrı ayrı ilgili maddeye verilen cevaplar, tüm seçeneklere konulan işaretler ve boş bırakılan maddeler sayılır ve sonuçlar aşağıda verilen örnek tabloda olduğu gibi gösterilebilir.

• Böylece hem üst hem de alt gruptaki öğrencilerin ilgili soruların seçeneklerinden hangilerine yanıt verdiği, maddenin iyi çalışan ve iyi çalışmayan seçenekleri belirlenir.

9

Seçenekler

A B* C D E BOŞ TOPLAM MADDE 1

ÜST GRUP 10 60 - 5 15 10 100 (n)

Alt Grup 5 30 - 25 30 10 100 (n)

Toplam 15 - - 30 45

Fark -5 - - 20 15

* Doğru cevabı gösterir.

n

n

En iyi çeldirici En güçlü çeldirici

Soruları Alt (100)ve Üst (100) Gruptan eşit sayıda öğrenci cevaplandırmıştır.

A B* C D E BOŞ TOPLAM MADDE 1

ÜST GRUP 10 60 - 5 15 10 100 (n)

Alt Grup 5 30 - 25 30 10 100 (n)

Toplam 15 - - 30 45

Fark -5 - - 20 15

11

Tablo incelendiğinde;

• Yalnızca doğru cevap için üst gruptan çok alt gruptan daha az öğrenci olmalıdır.

• Tablodaki A seçeneğine bakıldığında doğru cevap olmadığı halde üst gruptan daha çok alt gruptan daha az öğrenciyi çektiği görülmektedir. Bu bizim için istenmeyen bir durumdur. Bu yüzden A seçeneği için «Beklenen Yönde Çalışmayan bir çeldiricidir»

yorumu yapılır.

A B* C D E BOŞ TOPLAM MADDE 1

ÜST GRUP 10 60 - 5 15 10 100 (n)

Alt Grup 5 30 - 25 30 10 100 (n)

Toplam 15 - - 30 45

Fark -5 - - 20 15

Tablo incelendiğinde;

• C seçeneğini kimse işaretlememiştir. Yani soru ile ilgisiz bir seçenek olabilir. Bu seçenek şans başarısını yükselttiği için değiştirilmelidir.

• Alt ve Üst grup toplam ve farklarına bakarak en iyi ve en güçlü

A B* C D E BOŞ TOPLAM MADDE 1

ÜST GRUP 10 60 - 5 15 10 100 (n)

Alt Grup 5 30 - 25 30 10 100 (n)

Toplam 15 - - 30 45

Fark -5 - - 20 15

13

Tablo incelendiğinde;

• Toplamı en fazla olan çeldirici E seçeneğidir. Yani «En Güçlü»

çeldiricidir. Bu şık öğrencilerin kafasını en çok karıştıran çeldiricidir.

• Alt ve Üst grup farklarına (Alt Grup-Üst Grup) bakıldığında Beklenen yönde en iyi çalışan çeldirici D seçeneğidir.

Madde Puanları Tablosu

Bu tablo 10 öğrenciden her birinin sorulara verdikleri doğru ve yanlış cevapları gösteren 1-0 matrisini ifade eder.

15

3+2+7+6+12= 30 doğru cevapların toplamıdır. Bu değeri tüm öğ. sayısına bölersek alt test ortalaması 30/24 =1,25 olarak bulunur.

17

KPSS/ Soru

2000 öğrencinin bulunduğu bir okuldan, matematik bilgi yarışması için 4 kişilik bir takımın oluşturulması hedeflenmektedir. Takıma alınacak başarılı öğrencileri seçmek amacıyla okuldaki tüm öğrenciler 50 maddelik çoktan seçmeli bir başarı testine alınacaktır.

Belirtilen amaç doğrultusunda hazırlanan bir sınavdan alınan puanların frekans grafiğinin aşağıdakilerden hangisine en yakın olması beklenir?

Madde Güçlük İndeksi (pj)

• Her bir test sorusunun zorluk derecesini gösterir.

Soruyu (maddeyi) doğru cevaplayanların sayısının toplam kişi sayısına oranı ile bulunur.

𝒑_𝒋 = 𝑰_𝒋

𝒏 = 𝑺𝒐𝒓𝒖𝒚𝒖 𝒅𝒐ğ𝒓𝒖 𝒄𝒆𝒗𝒂𝒑𝒍𝒂𝒚𝒂𝒏 öğ𝒓𝒆𝒏𝒄𝒊 𝒔𝒂𝒚ı𝒔ı 𝑻𝒐𝒑𝒍𝒂𝒎 Öğ𝒓𝒆𝒏𝒄𝒊 𝑺𝒂𝒚ı𝒔ı

Örnek:

100 kişilik bir sınıfa uygulanan bir çoktan seçmeli testin 5.sorusunu (maddesini) 25 kişi doğru cevaplamıştır. 5. sorunun madde güçlük indeksini bulunuz?

19

𝒑_𝟓 = ^𝑰𝟓

𝒏 = ^𝟐𝟓

𝟏𝟎𝟎 =0,25

Yorum: 5. maddede verilen soru zor bir sorudur.

MADDE GÜÇLÜK İNDEKSİ ZORLUK DERECESİ

0,20 ve Altı ÇOK ZOR

0,21-0,40 ZOR

0,41-0,60 ORTA ZORLUKTA

0,61-0,80 KOLAY

0,81 ve Üzeri ÇOK KOLAY

Madde Güçlük İndeksi (pj)

Tablosu

21

Örnek:

Aşağıdaki tabloda 6 Öğrencinin 6 maddelik bir test aldıkları puanlar verilmiştir.

Madde güçlük indekslerini hesaplayarak elde edilecek bulguları yorumlayınız.

𝒑_𝟏 = ^𝑰𝟏

𝒏 = ^𝟒

𝟔 =0,67 𝒑_𝟐 = ^𝑰𝟐

𝒏 = ^𝟓

𝟔 =0,83 𝒑_𝟑 = ^𝑰𝟑

𝒏 = ^𝟏

𝟔 =0,17 𝒑_𝟒 = ^𝑰𝟒

𝒏 = ^𝟔

𝟔 =1 𝒑 = ^𝑰𝟓 = ^𝟎 =0

23

Örnek:

Aşağıdaki tabloda 22 Öğrencinin 30 maddelik bir test aldıkları puanlar verilmiştir.

Madde güçlük indekslerini hesaplayarak elde edilecek bulguları yorumlayınız.

Üst ve Alt Gruplara Dayalı Madde Güçlük İndeksi (pj)

• Üst ve Alt (%27’lik) gruplara dayalı olarak madde analizi genellikle 200 ve daha fazla öğrenci olduğu durumlarda tercih edilmelidir. Bu yaklaşımın kullanılması için puanları dağılımının simetrik olması önemlidir.

25

• Deneme uygulaması yapılarak puanlara göre sıralama yapılır ve en başarılı %27’lik üst grup ile, en az başarılı %27’lik alt grup belirlenerek yorumlanır.

• Alt ve üst grupların sorulara verdikleri cevaplar kullanılarak madde istatistikleri hesaplanabilir.

Üst ve Alt Gruplara (%27’lik) Dayalı Madde Güçlük İndeksi (pj)

𝑃

= 𝑛

+ 𝑛

𝑁

𝑛_ü𝑠𝑡: 𝑆𝑜𝑟𝑢𝑦𝑢 ü𝑠𝑡 𝑔𝑟𝑢𝑝𝑡𝑎𝑛 𝑑𝑜ğ𝑟𝑢 𝑐𝑒𝑣𝑎𝑝𝑙𝑎𝑦𝑎𝑛 öğ𝑟. 𝑠𝑎𝑦ı𝑠ı 𝑛_𝑎𝑙𝑡: 𝑆𝑜𝑟𝑢𝑦𝑢 𝑎𝑙𝑡 𝑔𝑟𝑢𝑝𝑡𝑎𝑛 𝑑𝑜ğ𝑟𝑢 𝑐𝑒𝑣𝑎𝑝𝑙𝑎𝑦𝑎𝑛 öğ𝑟. 𝑠𝑎𝑦ı𝑠ı

𝑁: ü𝑠𝑡 𝑣𝑒 𝑎𝑙𝑡 𝑔𝑟𝑢𝑝𝑡𝑎𝑘𝑖 𝑡𝑜𝑝𝑙𝑎𝑚 öğ𝑟𝑒𝑛𝑐𝑖 𝑠𝑎𝑦ı𝑠ı

27

Örnek: Doğru Cevap

𝑃

=

𝑁

=

200

= 0,45

1. Sorunun (maddenin) güçlüğü

Yorum: 1. maddede verilen soru orta zorlukta bir sorudur.

• Öğrencilerin bir maddeden aldığı puanlarla testin tümünden aldıkları puanlar arasındaki korelasyon bize o maddenin testin ölçtüğü değişkenle ilişkisini vermektedir.

• «0-1» puanlama yöntemiyle bir maddenin alabileceği değer sadece 0 veya 1 olabileceğinden dolayı, madde puanı kesikli bir değişkendir.

Madde Ayırt Edicilik İndeksi ( r ^jx)

• Test puanı ise sürekli bir değişkendir.

Bu durumda madde puanı ile test puanı arasındaki ilişkiyi hesaplamak için kullanılabilecek korelasyon katsayısı nokta çift serili korelasyon katsayısıdır.

29

Madde Ayırt Edicilik İndeksi ( r ^jx)

𝑟_𝑝𝑏 = 𝑟_𝑗𝑥 = 𝑋ത_𝑗𝐷 − ത𝑋 𝑆

𝑝_𝑗 1 − 𝑝_𝑗

𝑆 ∶ 𝑇𝑒𝑠𝑡 𝑝𝑢𝑎𝑛𝑙𝑎𝑟ı𝑛ı𝑛 𝑠𝑡𝑎𝑛𝑑𝑎𝑟𝑡 𝑠𝑎𝑝𝑚𝑎𝑠ı

𝑋ത_𝐷 ∶ 𝑗. 𝑠𝑜𝑟𝑢𝑦𝑢 𝑑𝑜ğ𝑟𝑢 𝑐𝑒𝑣𝑎𝑝𝑙𝑎𝑦𝑎𝑛𝑙𝑎𝑟ı𝑛 𝑡𝑒𝑠𝑡 𝑝𝑢𝑎𝑛𝑙𝑎𝑟ı𝑛ı𝑛 𝑜𝑟𝑡𝑎𝑙𝑎𝑚𝑎𝑠ı 𝑝_𝑗 ∶ 𝑀𝑎𝑑𝑑𝑒 𝑔üç𝑙ü𝑘 𝑖𝑛𝑑𝑒𝑘𝑠𝑖

𝑋 ∶ 𝑇𝑒𝑠𝑡 puanlarının ortalamasıത

Nokta çift serili korelasyona göre madde ayırt edicilik indeksi

31

Örnek:

Toplam

3 2 3 2 3 3

𝒑_𝒋 0,67 0,83 0,17 1 0

𝑟_𝑝𝑏 = 𝑟_𝑗𝑥 = ^{𝑋ത𝑗𝐷− ത𝑋}

𝑆

𝑝_𝑗

1−𝑝_𝑗, Madde 1 için madde ayırt edicilik indeksi;

𝑋=(3+3+3+2+3+2)/6=16/6= 2,67ത S=0,516

𝑋ത_1𝐷 = 3 + 3 + 3 + 2

4 = 𝟐, 𝟕𝟓

𝑟_𝑝𝑏 = 𝑟_1𝑥 = ^{𝑋ത𝑗𝐷− ത𝑋}

𝑆

𝑝_𝑗

1−𝑝_𝑗=(2,75-2,67)/0,516*(1,4247)

Üst ve Alt Gruplara (%27’lik) Dayalı Madde Ayırt Edicilik İndeksi ( r ^jx)

𝑟

= 𝑛

− 𝑛

𝑁

𝑛_ü𝑠𝑡: 𝑆𝑜𝑟𝑢𝑦𝑢 ü𝑠𝑡 𝑔𝑟𝑢𝑝𝑡𝑎𝑛 𝑑𝑜ğ𝑟𝑢 𝑐𝑒𝑣𝑎𝑝𝑙𝑎𝑦𝑎𝑛 öğ𝑟. 𝑠𝑎𝑦ı𝑠ı 𝑛_𝑎𝑙𝑡: 𝑆𝑜𝑟𝑢𝑦𝑢 𝑎𝑙𝑡 𝑔𝑟𝑢𝑝𝑡𝑎𝑛 𝑑𝑜ğ𝑟𝑢 𝑐𝑒𝑣𝑎𝑝𝑙𝑎𝑦𝑎𝑛 öğ𝑟. 𝑠𝑎𝑦ı𝑠ı

𝑁: ü𝑠𝑡 𝑣𝑒 𝑎𝑙𝑡 𝑔𝑟𝑢𝑝𝑡𝑎𝑘𝑖 𝑡𝑜𝑝𝑙𝑎𝑚 öğ𝑟𝑒𝑛𝑐𝑖 𝑠𝑎𝑦ı𝑠ı

33

Örnek: Doğru Cevap

𝑟

=

𝑁

=

200

= 0,15

1. Sorunun (maddenin) ayırt ediciliği

Yorum: 1. maddede çok zayıf bir maddedir. Ayırt ediciliği düşüktür.

Madde Ayırt Edicilik İndeksi Maddenin Değerlendirilmesi

35

Yararlanılan Kaynaklar

Airasian, P. (1994). Classroom assessment, Second edition, NY: McGraw-Hill.

APA, American Psychological Association. (1995). Standards for educational and psychological testing.Washington, D. C.: Author.

Atılgan, H., Doğan, N., Kan,A. (2014). Eğitimde Ölçme ve Değerlendirme (Ed. Hakan Atılgan).

Ankara: Anı Yayıncılık.

Baykul, Y. (1999). İstatistik Metotlar ve Uygulamaları. Ankara: Anı Yayıncılık.

Baykul, Y. (2000). Eğitimde ve Psikolojide Ölçme: Klasik Test Teorisi ve Uygulaması. Ankara:

OSYM.

Brown, F. (1983). Principles of educational and psychological testing, Third edition, NY: Holt Rinehart, Winston.

Büyüköztürk, Ş., Akgün, Ö.E., Karadeniz, Ş., Demirel, F., Kılıç, E. (2014). Bilimsel Araştırma Yöntemleri. Ankara: Pegem Akademi Yayıncılık.

Fraenkel,j.L., Wallen, N. (2009). How to Design and Evaluate Research in Education (7th Edt.) New York: McGraw-Hill.

Komisyon (2016). Pedagojik Formasyon için Ölçme ve Değerlendirme. 2. Baskı.Anı Yayıncılık.

Tan, Ş. (2016).Öğretimde Ölçme ve Değerlendirme. 12.Baskı. Pegem Akademi.

Turgut, F. (1995). Eğitimde Ölçme ve Değerlendirme Metotları. Ankara:Nüve Matbaası.

www.OSYM.gov.tr