ANKARA ÜNİVERSİTESİ EĞİTİM BİLİMLERİ ENSTİTÜSÜ
ÖLÇME VE DEĞERLENDİRME ANABİLİM DALI
ANGOFF (1-0), NEDELSKY VE SINIR DEĞERLERİ SAPTAMA YÖNTEMLERİ İLE BİR TESTİN SINIFLAMA
DOĞRULUKLARININ İNCELENMESİ
DOKTORA TEZİ
Fazilet TAŞDEMİR
Ankara Haziran, 2013
ANKARA ÜNİVERSİTESİ EĞİTİM BİLİMLERİ ENSTİTÜSÜ
ÖLÇME VE DEĞERLENDİRME ANABİLİM DALI
ANGOFF (1-0), NEDELSKY VE SINIR DEĞERLERİ SAPTAMA YÖNTEMLERİ İLE BİR TESTİN SINIFLAMA
DOĞRULUKLARININ İNCELENMESİ
DOKTORA TEZİ
Fazilet TAŞDEMİR
Danışman: Doç. Dr. Ömay ÇOKLUK
Ankara Haziran, 2013
ii ÖNSÖZ
Testlere dayalı olarak yapılan sınıflandırmaların sonucunda alınan kararlar bireylerin hayatlarına yön vermektedir. Öğretmen adayları, mesleğe başlayabilmeleri için girdikleri sınav sonucunda başarılı ya da başarısız kabul edilmektedir. Sınava giren adaylar ise hangi ölçüte göre sınıflandırıldıklarını bilmemektedirler. Ayrıca, öğretmen adaylarının lisans akademik başarı not ortalamaları bu sınav sonuçlarına yansıtılmamaktadır.
Sınıf öğretmenliği öğrencilerinin test başarılarının standart belirleme yöntemleri ve lisans akademik başarı not ortalamalarını da ölçüt alan sınır değer saptama yöntemleri ile belirlenen sınıflama doğruluklarının incelenmesine ve bu araştırmanın yapılmasına karar verilmiştir.
Araştırma süresince desteğini esirgemeyen danışmanım ve çok değerli hocam Doç. Dr. Ömay Çokluk’a, görüşleri ve önerileri ile araştırmama destek veren başta bölüm başkanı Prof. Dr. Nizamettin Koç olmak üzere değerli hocam Prof. Dr. Şener Büyüköztürk’e; tez jürisinde yer alan ve araştırma için önemli katkılar sağlayan değerli öğretim üyeleri Yrd. Doç. Dr.
Hasan Atak’a, Yrd. Doç. Dr. Kaan Zülfikar Deniz’e ve Yrd. Doç. Dr. İlhan Yalçın’a ayrıca Ölçme ve Değerlendirme bölümündeki tüm hocalarıma ve akademisyen arkadaşlarıma teşekkürü bir borç bilirim.
Ayrıca sevgilerini ve desteklerini benden hiçbir zaman esirgemeyen, anneme, babama ve kızıma çok teşekkür ederim.
Fazilet Taşdemir
iii ÖZET
ANGOFF (1-0), NEDELSKY VE SINIR DEĞERLERİ SAPTAMA YÖNTEMLERİ İLE BİR TESTİN SINIFLAMA
DOĞRULUKLARININ İNCELENMESİ
Taşdemir, Fazilet
Doktora, Ölçme ve Değerlendirme Anabilim Dalı Tez Danışmanı: Doç. Dr. Ömay Çokluk
Haziran, 2013, x+ 96 sayfa
Bu araştırma, sınıf öğretmenliği öğrencilerinin test başarılarının Angoff (1-0), Nedelsky standart belirleme yöntemleri ve sınır değer saptama yöntemleri İşlem Karakteristik Eğrisi (ROC) ve Aralık Tahmini ile belirlenen sınıflama doğruluklarının incelenmesini içermektedir. Bu araştırmada farklı standart belirleme yöntemleri incelenmiş olup araştırma, tarama modelinde korelasyonel bir araştırmadır. Ayrıca, kesme puanlarının belirlenmesi ve bu yöntemlerle belirlenen sınıflandırma doğruluklarının incelenmesi sebebi ile de temel bir araştırmadır. Araştırma grubu, sınıf öğretmenliği programının üçüncü sınıfındaki 211 öğrenciden oluşmaktadır.
Araştırma grubuna Türkçe ve matematik dersi almış olma ölçütünü karşılayan öğrenciler alınmıştır. Angoff (1-0) ve Nedelsky yöntemleri ile kesme puanı belirlemek için Türkçe ve matematik alanındaki yargıcıların kararlarına başvurulmuştur. Her bir yöntem için 10 farklı yargıcı olmak üzere 40 yargıcıdan görüş alınmıştır. Araştırmada veri toplama aracı olarak, 2006- 2012 yıllarında uygulanan Kamu Personeli Seçme Sınavı (KPSS)’ ndaki Türkçe ve matematik sorularından tesadüfi olarak seçilmiş toplam 30 sorudan oluşan bir test kullanılmıştır. Yargıcı kararına dayalı veriler, “Yargıcı Kararı Edinme Formu” ile elde edilmiştir. Bu araştırmanın sonunda, en yüksek kesme puanı Türkçe ve matematik testi için Angoff (1-0) yöntemi ile
iv
Angoff (1-0) yönteminde Türkçe ve matematik maddelerine ait yargıcı kararları arasında uyum olmadığı görülmüştür. Nedelsky yöntemine göre kesme puan belirlemede yargıcı kararları arası uyumun olduğu görülmüştür.
Türkçe ve matematik testlerinin kesme puanlarının belirlenmesi için uygulanan ROC analizi sonucunda, matematik testinin başarılı/başarısız olan öğrencileri doğru sınıflandırabildiği görülmüştür. Matematik ve Türkçe testi için aralık tahminine göre belirlenen kesme puanları, ROC analizinde belirlenen kesme puanlarla uyumlu bulunmuştur. Sonuç olarak, Türkçe ve matematik alt testleri için Angoff (1-0) ve Nedelsky; ROC ve Aralık Tahmini yöntemlerine göre farklı kesme puanları belirlenmiştir. Hem yargıcı kararı ile hem sınır değerlerle standart belirlemede yöntemlerin birbirleri ile uyumlu olduğu sonucuna ulaşılmıştır. ROC analizinin, araştırmalarda kesme puanı belirleme ve öğrencileri sınıflamada doğru kararlar verilmesinde yaygın olarak kullanılan Angoff (1-0) ve Nedelsky yöntemleri gibi kullanılabileceği sonucuna ulaşılmıştır.
v ABSTRACT
ANGOFF (1-0), NEDELSKY AND EXAMINATION OF CLASSIFICATION ACCURACIES OF A TEST BY DETERMINATION METHODS OF LIMIT
VALUES
Taşdemir, Fazilet
Doctorate, Measurement Evaluation Department Advisor: Doç. Dr. Ömay Çokluk
June 2013, x+ 96 pages
This research includes the examination of classification accuracies of test successes of class teachership students by Angoff (1-0), Nedelsky standard determination methods, limit determination methods, receiver operating characteristic curve (ROC) and interval forecast. In this research, different standard determination methods have been examined and the research is correlational in scanning model. Besides, due to determination of the cutoff score and examination of the classification accuracies determined with these methods, it is a basic research. The research group consists of 211 students who are in the 3rd grade of class teachership program.
Students who fulfill the criteria of having taken the Turkish and maths classes were incorporated to the research group. For determination of cutoff score by Angoff (1-0) and Nedelsky methods, the decisions of arbitrators in Turkish and math fields were referred to. Consultation was received from totally 40 arbitrators (10 different arbitrators for each method) .In the research, a test consisting of 30 questions (selected coincidentally from Turkish and math questions in public personnel selection examination which was held in years 2006-2012.) was used as data collection tool. The data based on the decisions of the jury members has been obtained by “Jury Member Decision Collection Form”.
vi
been concluded that there exists a significant difference among the student percents that are deemed to be successful. In Angoff (1-0) method, it has been observed that there exists no consistency among the decisions of the jury members in regards to Turkish and mathematics articles. In the determination of the cut-off score according to Nedelsky method, it has been observed that there exists a consistency among the decisions of the jury members. As a result of the ROC analysis in order to determine the cut-off scores for Turkish and mathematics tests, it has been observed that the mathematics test is capable of classifying the successful/unsuccessful students accurately.It has shown that the cut-off scores determined according to interval estimation for mathematics and Turkish test conform to the cut-off scores determined in ROC analysis. As a result, Angoff (1-0) and Nedelsky for General Ability sub-tests and different cut-off scores for ROC and Interval Estimation Methods have been identified. In determining the standards by both the decisions of the jury members and the limit values, it has been concluded that the methods used comply with each other. It has been observed that ROC analysis can also be used like the other Angoff (1-0) and Nedelsky methods that are widely used in making the right decisions while determining the cut-off scores in the studies and classifying the students.
vii
Sayfa No
JÜRİ ÜYELERİNİN İMZA SAYFASI……… i
ÖNSÖZ……… ii
ÖZET……… iii
ABSTRACT………. . v ÇİZELGELER LİSTESİ……….. ix
ŞEKİLLER LİSTESİ……… x
BÖLÜM 1. GİRİŞ………. 1
1.1. Problem……….. 1
1.2. Amaç...……… 19
1.3. Önem……….. 20
1.4. Sayıltılar……….. 22
1.5. Sınırlılıklar……….. 22
1.6. Tanımlar………. 23
1.7.Kısaltmalar 24 2. İLGİLİ ARAŞTIRMALAR………. 25 2.1. Yurt İçinde Standart Belirleme Yöntemleri ile İlgili Yapılan Araştırmalar………..………..
25 2.2. Yurt Dışında Standart Belirleme Yöntemleri ile İlgili
Yapılan Araştırmalar……….
27 2.3. Yurt İçinde Sınır Değer Saptama Yöntemleri ile İlgili
Yapılan Araştırmalar ………..……….
31 2.4. Yurt Dışında Sınır Değer Saptama Yöntemleri ile İlgili
Yapılan Araştırmalar……….………..……….
35
viii
Sayfa No
3.YÖNTEM……… 40
3.1. Araştırmanın Modeli………. 40
3.2. Araştırma Grubu……… 40
3.3. Verileri ve Toplanması………. 42
3.4. Verilerin Analizi……….. 45
4. BULGULAR VE YORUMLAR……… 49
5. SONUÇLAR VE ÖNERİLER……….. 67
5.1. Sonuçlar………. 67
5.2. Öneriler………... 69
5.2.1. Araştırma Sonuçlarından Çıkan Öneriler………... 69
5.2.2. Araştırmacılara Yönelik Öneriler……… 70
KAYNAKÇA……….. 72
EKLER………... 82
ix
Çizelge 1. Angoff (1- 0) Yöntemine Göre Kesme Puanı Belirlenmesi….. 7 Çizelge 2. Başarılı ve Başarısız Bireylerin Sınıflandırılması Yapılırken
Testi Değerlendirmede Karşılaşılabilecek Durumlar ………….
8 Çizelge 3. Standart Belirleme Sürecine Katılan Yargıcı Sayısı…………... 42 Çizelge 4. KPSS’ de Uygulanan Genel Yetenek Testi Kapsamı ve Soru Sayısı……….. 43 Çizelge 5. Sınav Değerlendirme Puan ve Harf Notları... 44 Çizelge 6. Angoff (1-0) ve Nedelsky Yöntemi ile Belirlenen Türkçe ve Matematik Testi Kesme Puanları………. 50 Çizelge 7. Farklı Yöntemlerle Belirlenen Kesme Puanları, Başarılı Kabul Edilen Öğrenci Sayıları ve Yüzdeleri……… 50 Çizelge 8. Kesme Puanları, Başarılı Sayılan Öğrenci Sayıları,Yüzdeleri ve Z Değerleri……… 51 Çizelge 9. Angoff (1-0) Yöntemine Göre Kesme Puan Belirlemede Yargıcı Kararları Arası Uyumu Araştırmaya Yönelik Test Sonuçları ……….……….. 52 Çizelge 10. Nedelsky Yöntemine Göre Kesme Puan Belirlemede Yargıcı Kararları Arası Uyumu Araştırmaya Yönelik Analiz Sonuçları…..……….... 53 Çizelge 11. MGP’larına Ait Betimsel İstatistikler ve Normallik Testi Sonuçları……….. 55 Çizelge 12. Matematik ve Türkçe Test Puanlarının T Testi Sonuçları…… 56 Çizelge 13. Matematik Testi’ne İlişkin ROC Analizi ile Belirlenen Kesme Puanı ………... 58 Çizelge 14. Matematik Testi’ne Ait Tahmini Kesim Noktalarının Duyarlılık ve Özgüllükleri……….... 60 Çizelge 15. Türkçe Testi’ne İlişkin ROC Analizi ile Belirlenen Kesme Puanı ………. 62 Çizelge 16.Türkçe Testi’ne Ait Tahmini Kesim Noktalarının Duyarlılık ve Özgüllükleri………..… 63
x
Şekil 1.Başarılı ve Başarısız Bireylerin Test Değerlerinin Dağılımı……… 10 Şekil 2. Kesme Değerlerinin Belirlenmesinde İzlenen Yol………... 11 Şekil 3. Sınıflama Performanslarına Göre ROC Eğrileri……….. 13 Şekil 4. Frekans ve Oranlara Göre İstatistiksel Önem Testi……… 46 Şekil 5. Matematik Testine İlişkin ROC Eğrisi Altında Kalan Alan .…….. 57 Şekil 6. Türkçe Testine İlişkin ROC Eğrisi Altında Kalan Alan….……. 61
BÖLÜM I
GİRİŞ
Bu bölümde araştırmanın problemi, amacı, önemi, sayıltıları ve sınırlılıkları yer almaktadır.
1.1. Problem
Eğitimde ve psikolojide kişi hakkında çeşitli kararlara dayanak oluşturmak için bilgi toplamanın çeşitli yolları vardır. En sık tercih edilen yol, kişiyi bir test ile karşı karşıya getirmek ve kişinin testteki maddelere gösterdiği tepkileri belli bir yönteme göre puanlamaktır. Testler diğer yöntemlere göre daha kolay uygulanabilmesi, objektif olması, geçerli ve güvenilir gözlemler yapmaya olanak vermesi sebebiyle tercih edilmektedir (Conway, 2006;
Cronbach,1990; Pawar, 2004) ve kişilerin çeşitli eğitsel, mesleki alanlardaki yeterlikleri hakkında karar vermek amacıyla kullanılır. Yeterlikleri konusunda karar vermek için kişilerin yanıtlarına bağlı olarak testten aldıkları puanlar bir ölçüt ile karşılaştırılır. Bu yolla danışma hizmetlerine, sınıflamaya, seçme ve yerleştirmeye yönelik kararlar alınabildiği gibi, öğretim programlarının ve uygulamalarının etkililiğine ilişkin kararlar da alınabilmektedir (Anastasi,1988;
Kubiszyn ve Borich, 2003).
Değerlendirmede kararın doğruluğu hem ölçmenin, hem de ölçütün doğruluğuna bağlıdır. Sınavdan başarılı sayılabilmek için alınması gereken minimum puan amaca uygun biçimde belirlenmemiş ise, ölçme işlemi hatalardan arınık olsa da ölçütün hatalı belirlenmesine bağlı olarak hatalı kararlar alınabilir (Özçelik, 1992; Turgut, 1992). Değerlendirmeler yaparken kişinin test puanını yorumlamada iki farklı ölçüt türü esas alınabilir. Kişinin test puanı, testi alan diğer kişiler içindeki puanları ile karşılaştırılıyorsa bu tür değerlendirmeler bağıl değerlendirme, kişinin test puanı önceden belirlenmiş
bir davranış içeriği ile ilişkilendirilerek değerlendirme yapılıyorsa, bu tür değerlendirmeler mutlak değerlendirme olarak adlandırılmaktadır. Mutlak değerlendirmede kişinin gruptaki diğer kişilere göre nasıl bir performans gösterdiği önemli değildir, önemli olan kişinin ne yapabildiğidir (Crocker ve Algina, 1986; Cronbach, 1990; Goodwin,1996; Mathison, 2005).
Performans, test maddelerine bağlı olarak ölçüldüğünde tanımlayıcı bilgiler elde edilmiş olur. Genellikle test puanları öğrenciler arasında karşılaştırma yapabilmek ve bu karşılaştırmalar sonucunda bir karara varabilmek için kullanılmaktadır. Kişinin test maddelerinin büyük bir çoğunluğunu doğru cevaplandırmasına bağlı olarak, başarı göstermesi ve daha sonra aldığı testlerde benzer başarıyı gösterip göstermeyeceği; kişinin performans düzeyinin eğitim kurumlarının müfredatla hedeflediği amaçlar için yeterli olup olmadığı gibi soruları cevaplayabilmek için standartlar belirlenmelidir. Böylece önceden standardı belirlenmiş testlerin kullanımının sağlanması ile birlikte, kişilerin ne yapabildiği konusunda bilgi sağlanabilir.
Ayrıca, programlar hakkında daha geniş bilgilere ulaşarak eğitim ve iş alanında daha doğru kararlar verilebilir.
1.1.1. Standart Belirleme
Standart belirleme (standard setting) kavramı,alan yazında test maddelerinin doğru yanıtlanma olasılıklarından yola çıkarak bir testten alınacak puanları, belirlenen kesme puanları ile belli düzeylere ayırma ve bu düzeylerin ne anlama geldiğini tanımlama anlamında kullanılmaktadır (Shen, 2001; Schulz, 2006; Zwick, Şentürk ve Wang, 2001).
Cizek (2001) standart belirlemeyi kişiler hakkında karar vermek veya sınıflandırma yapmak için performans düzeylerinin belirlenmesi olarak tanımlarken, Crocker ve Algina (1986) standart belirlemeyi, kesme puanının elde edilmesi olarak tanımlamaktadır. Bir programı bitirip diğer programa geçmek için adayların geçmeleri gereken belli bir kesme puanı (cutoff score) vardır. Bu kesme puanı testi hazırlayan kişi/ler tarafından belirlenmektedir.
Belirlenen kesme puanı, testi alan kişinin performans alanındaki yeterliği ile ilgili bir sonuca varmayı sağlar.
Ölçme araçlarından elde edilen puanlara dayalı olarak kişiler hakkında seçme, yerleştirme, tanı, rehberlik gibi çeşitli kurumsal kararlar verilmektedir.
Bir ölçme aracını kullanarak elde edilmiş puanlar hakkında karar verebilmek için de çeşitli ölçütler kullanılmaktadır. Bu ölçütlerden biri elde edilen puanın belirlenen bir kesme puanını aşıp aşmamasıdır. Kesme puanına dayalı değerlendirme işleminde, testi alan kişilerin sınıflanması söz konusu olduğundan, verilecek olan kararlarda; geçer /kalır, başarılı/başarısız, yeterli/
yetersiz, olumlu/olumsuz tutuma sahip vb. şeklinde ve yapılan işlemlerin genel amacı doğrultusunda değerlendirmede esas alınacak ölçütler belirlenir (Irwin, 2007).
Farklı başarı düzeylerine ilişkin bir sınıflama yapabilmek için her düzeye ilişkin kesme puanlarının ortaya konulması gerekmektedir. Standart belirleme süreci kişilerin başarı düzeylerini ayrıştırabilmek için son derece önemlidir.Her düzeyin birbirinden farklılaştığı noktanın belirlenmesi gerekmektedir. Bu açıdan kullanılacak olan standart belirleme yönteminin seçimi de önem taşımaktadır (Cizek, 2001). Bu bağlamda standart belirleme yöntemlerinden söz etmekte yarar vardır.
1.1.2. Standart Belirleme Yöntemleri
Meskuaskas (1976) standart belirleme yöntemlerini “durum yöntemleri”
ve “süreç yöntemleri“ olarak sınıflandırmayı önermiştir. Durum yöntemlerinde testi alan kişi ya yeterlidir ya da yeterli değildir. Süreç yöntemlerinde ise ölçülen yapının, sürekli değişken olduğu ve belirlenen sayısal aralıktan daha farklı bir değer alabileceği düşünülmektedir.
Jaeger (1991) Meskuaskas’ın süreç yöntemleri adını verdiği yöntemleri
“test merkezli yöntemler” ve “öğrenci merkezli yöntemler” olarak ayırmıştır.
Bu iki sınıflama arasındaki ayrım yargıcı (uzman) kararlarında nelerin göz önüne alındığı ile ilgilidir. Test merkezli yöntemde yargıcı kararları testin içeriğine göre verilir. Test maddeleri ya ayrı ayrı incelenir ya da testin tamamı bütünsel anlamda ele alınır. Öğrenci merkezli yöntemlerde ise ele alınan konu ile ilgili beklenen yeterlik düzeylerine göre öğrencilerin yeterlilikleri hakkında kararlar alınır.
Standart (kesme puanı) belirleme yöntemleri, Jeager’ın yapmış olduğu test merkezli ve öğrenci merkezli yöntemler sınıflaması temelinde aşağıda sunulmaktadır.
1.1.2.1. Öğrenci Merkezli Yöntemler
Öğrenci merkezli yöntemlerin en bilinenleri Zıt Gruplar Yöntemi ve Sınır Grup Yöntemi’dir. Bu yöntemlerde kesme puanlarının nasıl belirlendiği, yöntemler arası benzerlik ve farklılıklar aşağıda açıklanmaktadır.
1.1.2.1.1. Zıt Gruplar Yöntemi. Yargıcılar tarafından “yeterli” ve “yetersiz”
olduğu düşünülen kişilerden oluşan iki zıt gruba test uygulanır. Her bir puan düzeyindeki öğrencinin “yeterli” grupta yer alma olasılığı hesaplanır. Sınır düzeyde tanımlanan kişiye ilişkin bilgi kaynaklarından öncelikli olarak faydalanılmaktadır (Cizek ve Bunch, 2007).
1.1.2.1.2. Sınır Grup Yöntemi. Değerlendirilecek kişilerin yeterli ya da yetersiz olarak iki sınıfa ayrıştırılması kolay gibi gözükse de, bazı yargıcılar için kolay olmayabilir. Yargıcıların bazı kişileri ne tam yeterli, ne de tam yetersiz olarak tanımlayamadığı durumlar olabilir. Livingston ve Zeiky (1989) yeterli ya da yetersiz sınıflandırmasının net olarak yapılamamasına dayanarak sınır grup yöntemini ortaya çıkarmışlardır. Bu yöntemde yargıcılardan yeterli ya da yetersiz olarak iki sınıflandırma yapmaları istenmektedir. Her iki sınıflandırmada arada kalan, bir başka deyişle ne tam olarak yeterli ya da ne de yetersiz olduğu düşünülen kişilerin yer aldığı yeni bir grup oluşturulur. Oluşturulan bu yeni sınır grubun ortalaması ya da ortancası belirlenerek kesme puan elde edilir.
1.1.2.2.Test Merkezli Yöntemler
Test merkezli yöntemler, test maddeleri ile ilgili yargıcıların vermiş oldukları kararlarına dayanır. Test merkezli yöntemler Nedelsky Yöntemi, Ebel Yöntemi, Jeager Yöntemi ve Angoff Yöntemi ile Angoff Yöntemi’nin farklılaştırılmasından oluşan Angoff (1-0) çeşitlemesi olarak bilinmektedir.
Test merkezli yöntemler aşağıda açıklanmıştır:
1.1.2.2.1. Nedelsky Yöntemi. Bu yöntem yalnızca çoktan seçmeli testlerde kullanılabilmektedir; çünkü yöntem, “öğrenci testi çözerken seçenekleri eleme sürecini izler, yanlış olduğunu düşündüğü seçenekleri eleyerek doğru cevaba ulaşır ” fikrini temele almaktadır (Livingston ve Zieky,1989).
Nedelsky yönteminde kesme puan hesaplanması Formül 1’de verilmiştir.
(Formül 1)
qi : i maddesindeki seçenek sayısı
ky: j sayıdaki yargıcının minimum yeterlilikteki öğrencinin yanlış olarak eleyebileceğini düşündüğü seçenek sayısı
n: testteki soru sayısı
Nedelsky, bu yöntemde geçme-kalma sınırındaki ya da minimum yeterlik düzeyindeki bir öğrencinin sorunun yanlış seçeneklerini eledikten sonra kalan seçenekler arasından rastgele bir tercih yaparak soruyu cevapladığını belirtir. Yöntem, yargıcıların test içerisindeki her bir maddeyi dikkatle inceleyerek “minimum yeterlik düzeyindeki öğrencinin” (D-F yani geçme-kalma sınırındaki öğrencinin) yanlış cevabı eledikten sonra kalan seçenekler arasından doğru cevap bulma olasılığını hesaplamaya çalışır. Seçenek sayısı dört olan bir madde için, yargıcı öğrencilerin hiçbir seçeneği eleyemeyeceğini düşünürse o maddeye ait doğru cevaplanma olasılığı 0,25; bir seçeneğin eleneceğini düşünürse geriye kalan seçenek sayısı üç olacağından maddenin doğru cevaplanma olasılığı 0,33’dür. Bütün yanlış seçenekleri eleyebileceği düşünülürse o maddenin doğru cevaplanma olasılığı 1,00 olacaktır. Her bir soruya ilişkin her bir yargıcının yaptığı tahminler toplamının ortalamaları alınarak, o soruya ilişkin Nedelsky değeri elde edilir. Minimum yeterlik düzeyindeki öğrencinin teste ilişkin puanını hesaplamak için her bir soruya ilişkin oluşturulan Nedelsky değerleri toplanarak toplam puan hesaplanır (Nedelsky,1954).
1.1.2.2.2. Ebel Yöntemi. Ebel yönteminde yargıcıların test içerisinde yer alan her bir soruyu dikkatle inceleyerek iki boyutta değerlendirme yapması gerekir. Sorunların zorluğu ve önemliliğine ilişkin olan bu boyutlar kendi içerisinde sırasıyla üç ve dört gruba ayrılmaktadır. Yargıcıların her bir soru için 12 ayrı hücre temelinde inceleme yapması gereklidir. Her bir hücre için yargıcı, minimum yeterlik düzeyindeki (geçme-kalma sınırındaki) kişinin doğru cevaplama olasılığını hesaplamaya çalışır (Cizek ve Bunch, 2006).
1.1.2.2.3. Jeager Yöntemi. Madde temelinde değerlendirme yapmayı gerektiren bir diğer yöntemdir. Angoff yöntemi ile benzer özellikler taşımaktadır. Bu yöntemde de yargıcılar her bir soruyu, “değerlendirilen herkes bu soruyu doğru cevaplayabilir mi?” sorusunu dikkate alarak değerlendirir (Cizek, 2001). Yöntemin Nedelsky yönteminde olduğu gibi, elde edilecek olasılık değerinin 0.50 ile 1.00 arasında bir değer almasına dayalı bir sınırlılığı söz konusudur.
1.1.2.2.4. Angoff Yöntemi. Eğitim araştırmalarında en çok bilinen ve kullanılan standart belirleme yöntemidir. Bu yöntemde alan uzmanlarından oluşan yargıcılardan minimum yeterlik düzeyindeki öğrencilerin testte bulunan her maddeyi cevaplayabilme durumu hakkında yargıya varmaları istenir (Irwin, 2007). Her yargıcının testte bulunan bütün maddelere ilişkin sonuçları toplanarak o yargıcıya ait “Minimum Geçme Puanı” (MGP) hesaplanır. Yargıcıların her birine ait kişisel MGP’larının ortalaması alınarak testin kesme puanı elde edilir. Angoff yöntemi diğer yöntemlere göre hem uygulanması hem de yargıcılara puanlamanın nasıl yapılacağının açıklanması açısından daha kolay bir yöntemdir (Berk, 1986).
1.1.2.2.5. Angoff Çeşitlemesi (1- 0) Yöntemi. Impara ve Plake (1997) tarafından geliştirilen bu yöntem Angoff çeşitlemesi olarak adlandırılmaktadır.
Angoff yönteminde yargıcılardan, öğrenciye uygulanacak olan testteki her bir maddeyi inceleyip, minimum yeterlilik düzeyindeki bir öğrencinin bu maddeleri doğru cevaplayıp cevaplayamayacağını tahmin etmeleri istenir. Öğrencinin maddeyi doğru cevaplayacağı düşünülüyorsa “1”
puan, yanlış cevaplayacağı düşünülüyorsa “0” puan verilir. Puanların toplamları alınarak o yargıcı için MGP belirlenir; tüm yargıcıların MGP ortalaması ile de testin kesme puanı belirlenmiş olur. Çizelge 1’ de
Angoff ( 1- 0) yöntemine göre kesme puanı belirlenmesine yönelik bir örnek yer almaktadır.
Çizelge 1. Angoff (1-0) Yöntemine Göre Kesme Puanı Belirlenmesi
Yöntemin ilgi çeken yönlerinden biri basitliğidir. Geleneksel Angoff yöntemi ile yapılan yüzde tahminlerinde yargıcılar verdikleri oranlardan pek fazla emin olamazken, Angoff (1-0) yönteminde iki boyuta düşürülen tahminlerin geçerliliğinin de daha yüksek olduğu belirlenmiştir.
Tahminleri minimum yeterlilik düzeyindeki tek bir öğrenci üzerinden yapmak büyük bir grubu düşünerek yüzde tahmini yapmaktan çok daha kolaydır. Chinn ve Hertz (2002) araştırmalarında yargıcıların 1 - 0 kararlarını yüzde tahminlerine göre çok daha kolay verdiklerini saptamışlardır.
Standart belirleme yöntemleri ile kesme puanı belirleme dışındaki diğer kesme puanı belirleme yöntemleri de sınır değer saptamaya dayalı yöntemlerdir. Bu yöntemler de test merkezli standart belirleme yöntemlerinde olduğu gibi, testlerde kesme puanı olarak hangi değerin alınacağına karar vermek ve kesme puanına göre sınıflama doğruluklarını belirlemek amacıyla günümüzde tıp, veterinerlik, sağlık bilimleri gibi alanlarda kullanılmaktadır.
Sınır değer saptamaya dayalı kesme puanı belirleme yöntemleri olan İşlem Karakteristik Eğrisi (Receiver Operating Characteristics Curve - ROC) ve Aralık Tahmini yöntemleri sırasıyla aşağıda açıklanmıştır.
Maddeler MGP
1 2 3 4 5
Yargıcılar
1 1 0 1 0 0 2 (%40)
2 0 1 1 0 1 3 (%60)
3 1 1 1 0 1 4 (%80)
4 1 0 1 0 0 2 (%40)
5 0 0 1 0 0 1 (%20)
6 1 0 0 1 1 3 (%60)
7 1 1 1 1 1 5 (%100)
8 0 1 0 1 0 2 (%40)
9 1 1 0 0 1 3 (%60)
10 1 0 1 1 1 4 (%80)
Kesme Puanı 29/10=2,9 (%58)
1.1.3. Sınır Değer Saptamaya Dayalı Standart Belirleme
Bir testin performansı, olguları doğru olarak gruplara (başarılı / başarısız) ayırabilme kapasitesi ile tanımlanabilir (Campell ve Zweig, 1993; Taga, AslanveGüner, 2000). Herhangi bir testin değerlendirilmesinde, bazı istatistiksel ölçütler hesaplanmaktadır. Bu ölçütler içinde sınır değer saptama ile kesme puanı belirlemede en sık kullanılanlar, doğru pozitiflik ve yanlış pozitiflik oranları ile ifade edilir ve çapraz (dörtlü) tablolar ile gösterilir. Bu ölçütler için dörtlü tablodan yararlanılarak testlerin sınır değerleri belirlenebilir. Kanık ve Erden (2003)’e göre ölçütlerin hesaplanışı ve açıklamaları Çizelge 2’de sunulmuştur.
Çizelge 2. Başarılı ve Başarısız Bireylerin Sınıflandırılması Yapılırken Testi Değerlendirmede Karşılaşılabilecek Durumlar
Gerçek Durum
Testin Sonucu Pozitif (Başarısız) Negatif (Başarılı) Toplam Pozitif (Başarısız) A (DP) B (YP) A+B
Negatif (Başarılı) C (YN) D (DN) C+D
Toplam A+C B+D A+B+C+D
Çizelge 2’de verilen durumlar aşağıdaki gibi açıklanmaktadır;
A: Matematik testi puanlarına göre gerçekte başarısız olup, akademik başarı not ortalaması sonucuna göre de başarısız olarak belirlenen öğrencilerdir. (Doğru pozitif, DP)
B: Matematik testi puanlarına göre gerçekte başarılı oldukları halde, akademik başarı not ortalaması sonucuna göre başarısız görünen öğrencilerdir. (Yanlış pozitif, YP)
C: Matematik testi puanlarına göre gerçekte başarısız olup, akademik başarı not ortalaması sonucuna göre başarılı olarak belirlenen öğrencilerdir. (Yanlış negatif, YN)
D: Matematik testi puanlarına göre gerçekte başarılı olup, akademik başarı not ortalaması sonucuna uygun olarak başarılı görünen öğrencilerdir. (Doğru negatif, DN)
Sınır değer saptama yöntemlerinde yukarıda belirlenen durumlar ayrıca işlem karakteristik eğrisinin (ROC) belirlenmesinde kullanılan koordinatlardır. Bu koordinatlar ROC analizi ve aralık tahmini değerlerini bulmak için kullanılır. Bu koordinatlar aşağıda verilmiştir:
Duyarlılık veya Hassasiyet (Sensitivity)
Testin, gerçek durumda başarısız olanlar içinden başarısızları ayırabilme yeteneğidir.
Duyarlılık = A / (A+C) = DP / (DP + YN)
Özgüllük veya Seçicilik (Specificity)
Testin, gerçek durumda başarılı olanlar içinden başarılıları ayırabilme yeteneğidir.
Özgüllük = D / (B + D) = DN / (DN + YP)
Duyarlılık ve özgüllük oranlarının tersi olan, hatalı yargılar da aşağıdaki gibi hesaplanabilir:
Yanlış Pozitif Oranı
Gerçek durumda başarılı olanlar içinden testin sonucuna göre hatalı olarak başarısız dediği olgulardır.
YP = (1-Özgüllük) = B /(B+D) = YP / (YP+DN)
Yanlış Negatif Oranı
Gerçek durumda başarısız olanlar içinden testin sonucuna göre hatalı olarak başarılı dediği olgulardır.
YN = (1-Duyarlılık) = C /(A + C) = YN/ (YN + DP)
Kişilerin, olayların ve öğrencilerin başarılı ve başarısız iki grup oluşturularak karşılaştırıldığı durumlarda net bir ayrım nadiren görülür.
Gerçekte test sonuçlarının dağılımının Şekil 1’deki gibi olması beklenir (Dirican, 2001) .
Şekil 1. Başarılı ve Başarısız Bireylere Ait Test Değerlerinin Dağılımı
Başarılı ve başarısız bireylerden oluşan iki grup arasında ayrım yapmak için her olası kesim noktası değerlendirilir. İyi bir testin yüksek duyarlılık, özgüllük, doğruluk ve yüksek pozitif ve negatif tahmin değerine sahip olması beklenir. Bir testin alt-üst sınırlarının belirlenmesi için örneklemden seçkisiz olarak seçilmiş kişilerin sayısı evreni temsil edecek büyüklükte olmalıdır. Test sonuçlarının betimleyici istatistikleri (aritmetik ortalaması, standart sapması, ortanca değeri, yüzdeleri ile en düşük ve en yüksek değeri) hesaplanır (Solberg,1983). Bu işlemin ardından kesme puanlara göre belirlenen grupların sınır değer belirleme yöntemlerinin kullanımına uygun olup olmadığına bakılır. Sınır değerleri belirlemede Şekil 2’de gösterilen yol izlenir.
Şekil 2. Kesme Değerlerinin Belirlenmesinde İzlenen Yol
Örneklemde yer alan kişilerin seçimi belirlendikten sonra dağılım sınanarak normal dağılıma uymayan gruplarda normal dağılımı elde edebilmek için istatistiksel yöntemlerle dönüşüm yapılmalıdır (Solberg, 1983). Bu aşamadan sonra kesme puanların belirlenmesinde kullanılacak sınır değer saptama yöntemleri uygulanır. Shapiro (1999), bu yöntemleri aşağıdaki sırayla şöyle açıklanmaktadır:
Yöntem 1. İşlem Karakteristik Eğrisi (ROC) ile Kesme Puanı Belirleme İşlem karakteristik eğrisi (Receiver Operating Characteristics Curve - ROC) istatistik karar teorisine dayanır. ROC yöntemi, bir testin optimal duyarlılığını ve optimal özgüllüğünü belirlemek için uygun kesim noktalarının belirlenmesini sağlar. ROC eğrisi yardımı ile uygun kesme puanı belirlemek için bir referansa gereksinim vardır.
Evet Hayır
Evet Hayır
Tahmini Kesme Değerinin (cut off) Belirlenmesi
Dağılım normal değil Dağılım normal dağılıma
uygunluk gösteriyor mu?
Yöntem1.
ROC Yöntem3.
Yüzde değerleri ile karar verme Normal dağılım
dönüşümü (logaritmik ) Yöntem1.
ROC Yöntem2.
ROC eğrisi, kişilerin testlerde gösterdikleri performansları belirlemek ve lojistik modeller, doğrusal sınıflama analizi gibi istatistiksel modellerin doğruluğunu değerlendirmek amacı ile kullanılan bir yöntemdir. Aynı zamanda testlerin ve tahmin modellerinin değerlendirilmesi, doğruluklarının sayısal sonuçlar ile açıklanması ayrıca tahminlerin doğruluğu arasında karşılaştırma yapılmasına da olanak verir (Obuchowski, Lieber ve Wians, 2004).
Bir ROC eğrisi, farklı eşik değerleri için dikey eksen üzerinde doğru pozitiflik (duyarlılık) ve yatay eksen üzerinde yanlış pozitiflik (1-özgüllük) oranlarının yer aldığı bir eğridir. ROC eğrisi üzerindeki her nokta, farklı eşik değerlerine karşılık gelen duyarlılık ve 1- özgüllük değerlerini ortaya koyar. Genelde düşük yanlış pozitiflik oranlarını veren eşik değerleri, düşük doğru pozitiflik oranına da sahiptir. Doğru pozitiflik oranı arttıkça, yanlış pozitiflik oranı da artar. Kesme noktası olarak hangi değerin alınacağını belirlemek için analiz sonucunda verilen her bir duyarlılık ve 1-özgüllük değerleri incelenir ve optimum nokta seçilir. Bir başka deyişle duyarlılığın yüksek, 1-özgüllüğün düşük olduğu en iyi nokta belirlenir.ROC eğrisinin oluşturulması için başarılı ve başarısız kişilerden elde edilen ve tanı koymada kullanılan değişken değerleri büyüklük sırasına dizilir. Sıralı diziden her değer, sıra ile kesim noktası olarak alınır ve bu değerin üstü başarılı, altı başarısız olarak belirlenip kategoriler oluşturulur. Bu kategorilerde yer alan başarılı ve başarısız kişilerin sayıları 2x2’lik tablolarda gösterilir. Bu tablolarda kesim noktası olarak seçilen değere göre sınıflamalar belirlenir. ROC eğrisini elde etmek için her bir değer kesim noktası olarak alınarak oluşturulan 2x2 tablolardan elde edilen duyarlılık oranları Y ekseninde, 1-özgüllük oranları da X ekseninde gösterilmek üzere bir koordinat ekseni oluşturulur. Her bir kesim noktası için hesaplanan bu oranlar koordinat üzerinde işaretlenir. Bu noktalar birleştirilerek bir içbükey eğri elde edilir. Bu eğri altında kalan alan testin ayırma (sınıflama) gücünü verir (Dirican,1991; Knapp ve Miller, 1992; Wagner, 2007). Mükemmele yakın bir test, dikey eksende (0,0)’dan (0,1)’e ve yatay eksende de (1,1)’den geçen bir ROC eğrisine sahip olmalıdır (Dirican,2001; Obuchowski, 2005; Sasse, 2002)
Yüksek ve düşük performansı gösteren ROC eğrisi örnekleri Şekil 3’ de verilmiştir.
Şekil 3. Sınıflama Performanslarına Göre ROC Eğrileri
Yanlış değerlere sahip olmayan ideal bir testte ROC eğrisi (0,0), (0,1) ve (1,1) noktalarını birleştirmektedir. Performansı düşük olan ROC eğrisi (0,0)’ dan (1,1)’e kadar 450 açı yaparak uzanan köşegen şeklindedir. ROC eğrisi genellikle iki durum arasında değişir. Testin sonucu ne kadar iyi ise eğri o kadar yukarıya yani yüksek duyarlılık bölgesine ve sola, düşük yanlış pozitif oranı bölgesine doğru kayar. Buna karşın ROC çizimi y=x fonksiyonuna yaklaştıkça test sonucuna göre başarısı düşük olan bir eğri ortaya çıkar.
Çünkü bu testte yanlış değerlerin oranı en yüksektir (Grove, 2006).
ROC Eğrisi Altında Kalan Alan (Area Under Curve - AUC). ROC eğrisi altında kalan alan (Area Under Curve - AUC), testin başarılı ve başarısız kişileri ayırmadaki doğruluk oranını belirler. Testin hiç ayırma yeteneği olmadığı durumda, ROC eğrisi altındaki alanın beklenen değeri 0.50’dir. Mükemmel bir testte ise sıfır yanlış pozitif ve sıfır yanlış negatif ile alanın değeri 1.00 olacaktır. Test, bu iki değerin arasında bir alana sahip olmalıdır (Kanık ve Erden, 2003). ROC eğrisinin altında kalan alan ne kadar büyük ise, bu testin doğru sınıflama tahminlerinde o kadar iyi olduğunu gösterir.AUC’nin olası değerleri 0.5’ten 1.0’e kadar değişim gösterir (Grove, 2006; Hanley ve McNeil, 1982). Eğri altındaki alanların yorumlanmasında aşağıda verilen derecelendirmeler kullanılabilir (Erden ve Kanık, 2003).
.90-1.00: mükemmel .80-.90: iyi
.70-.80: orta .60-.70: zayıf .50-.60: başarısız
ROC eğrisi altında kalan alanın (AUC) hesaplanması için farklı yöntemler kullanılmaktadır. Bu yöntemler aşağıda açıklanmaktadır:
1. Parametrik Yöntemler
1. a. AUC’nin Olasılık Formülleri ile Hesaplanması
Parametrik yöntem McClish (1989) tarafından geliştirilmiştir. Bu yöntemde, iki grup olduğu ve ölçüt değişken değerinin tüm kişiler için kullanılan bir özellik olduğu varsayılır. Başarılı grupta ölçüt değişkeni X ile başarısız gruptaki ölçüt değişkeni Y ile gösterilir ve olasılık dağılış ifadeleri Formül 2’deki gibi gösterilir. Parametrik modelde X (başarılı kişiler) ve Y (başarısız kişiler) değişkenlerinin farklı ortalama ve varyansa sahip ayrı iki normal dağılım gösterdiği varsayılır (Metz ve Pan,1999; Karayianni, Tretiak ve Herrmann, 1996).
(Formül 2)
ROC eğrisi, Formül 3’deki eşitlikten yararlanılarak çizilir (Karayianni, Tretiak and Herrmann, 1996; Metz, Herman ve Shen, 1998).
(Formül 3)
Formülde bulunan c, ölçüt değerdir. Doğru ve yanlış pozitiflik olasılık fonksiyonlarının birleşik fonksiyonundan AUC hesaplanabilir. Bu yöntemle çizilen ROC eğrisi düzgün değişen eğridir (Karayianni, Tretiak ve Herrmann, 1996; McClish, 1989; Metz ve Herman ve Shen, 1998).
1.b. AUC’nin Çift Yönlü Olasılıklı Grafik Kağıdı ile Hesaplanması
Bu yöntemde, her iki eksenin olasılık işaretli grafik kağıdı üzerinde binormal (X ve Y dağılışları için) regresyon hattının eğim ve kesim noktalarını kullanarak alan hesabı yapılabilir (Hanley ve McNeil, 1983):
(Formül 4)
Formül 4’de gösterilen “a”, ROC eğrisinin kesim noktasını ve “b”, ROC eğrisinin eğimini ifade eder (Hanley ve McNeil,1983; Swets,1979).
2. Nonparametrik Yöntem ile AUC Hesaplanması
Nonparametrik yöntem, AUC hesaplanmasında kullanılan bir diğer yöntemdir (DeLong, DeLong ve Clarke-Pearson,1988; Hanley ve McNeil, 1982, 1983). Parametrik yöntemin kullanılabilmesi için gerekli olan güçlü normallik varsayımlarının karşılamadığı durumlarda bu yöntem de yaygın olarak kullanılmaktadır (DeLong ve diğerleri,1988). ROC eğrisi altında kalan alan aslında bir olasılık ölçüsüdür. Bu alanın olasılıkla ifade edilen değeri
“θ” simgesi ile tanımlanır. Seçilen başarılı ve başarısız grup eşleştirildiğinde bu iki grup değerlerindeki benzeşim, bunların doğru sınıflandırılmalarına yardımcı olur. Bir başka deyişle, ROC eğrisi altındaki gerçek alan q’ya eşittir, q = P(XA>XN) şeklinde gösterilir. Seçilen başarılı ve başarısız grupların doğru olarak sıralanma olasılığı Wilcoxon istatistiği (W = θ olasılığı = eğri altında kalan alan) ile ölçülür. Başarılı grubunun örneklem büyüklüğü nA; başarısız grubunun örneklem büyüklüğü nB ile gösterildiğinde, bu iki grup arasındaki olası tüm karşılaştırmaların sayısı nA x nB’den oluşmaktadır.
Daha sonra her karşılaştırma kullanılarak alan hesaplanması yapmaktadır.
Gruplardan birinin puanları sıraya dizildikten sonra, diğer grubun puanlarının,
bu grubun puanlarına göre küçük, eşit veya büyük oluşuna göre standart sapmasının aldığı değer 1, 0.5 ve 0 olur. Eğer X özelliği iyi bir ayırım yeteneğine sahipse, bu olasılık 1’e daha yakın olacaktır, değilse 0.5’e yakın olacaktır. Daha sonra da W (θ olasılığı) hesaplanabilir (DeLong ve diğerleri,1988; Hanley ve McNeil,1982).
Yöntem 2. Aralık Tahmini ile Standart Belirleme ( ± 1,96 x S)
Bu yöntemde test puanı değişkeninin, başarılı ve başarısız gruplarda normal dağılıma uygun olup olmadığı Kolmogorov-Smirnov tek örneklem testi ile sınanır. Sınama sonucunda başarılı ve başarısız grubun normal dağılıma uygunluk gösterdiği belirlenirse başarılı (kontrol) grupta teste ait “aritmetik ortalama + (1,96) x standart sapma” formülü yardımıyla testin üst sınırı belirlenir. Başarısız grubun test puanları ile de “aritmetik ortalama - (1,96) x standart sapma” ifadesi kullanılarak testin alt sınırı saptanır.
Başarısız grubun normal dağılıma uygunluk göstermediği görüldüğünde logaritmik dönüşüm yapılması gerekir. Daha sonra başarılı grubun “log”
değişkenine ait “aritmetik ortalama + (1,96) x standart sapma” ve başarısız gruba ait “aritmetik ortalama - (1,96) x standart sapma” formülleri ile kesim değerlerinin bulunduğu aralık belirlenir. Bu sınırlarda test değerlerine ait duyarlılık ve özgüllükler hesaplanır. Duyarlılık ve özgüllüğü aynı anda yüksek olan test değeri, kesme puanı olarak belirlenir (Shapiro,1999).
Yöntem 3. Yüzde Değerlerine Göre Standart Belirleme
Sınır değerlerin belirlenmesinde kullanılan bu yöntemde,testin başarılı ve başarısız grup sonuçlarının ortanca değeri dikkate alınarak kesme puanı hesaplanır (Letner,1992). Başarılı grubunun maksimum değerine yakın değerler içinden belirlenen kesim değeri üst sınır; başarısız grubunun minimum değerine yakın değerler arasından belirlenen kesim değerleri ise alt sınırı oluşturur.Bulunan bu kesim değerleri arasında kesim noktası için duyarlılık ve özgüllükler hesaplanır ve kesme puanı belirlenir (Shapiro,1999).
Sınır değer saptama yöntemleri ile sağlık bilimlerinde yapılan araştırmalarda bireylerin sağlık durumlarıyla ilgili sınıflandırmalar yapmak amacıyla söz edilen yöntemlerden bir veya birkaçı kullanılmaktadır. Eğitim
bilimleri araştırmalarında ise bu amaçla yapılmış bir araştırma yer almamaktadır.
Bu araştırmada, uygulama süreçlerinin öğrenci merkezli yöntemlere göre daha az zaman alması ve kesme puanlarının hesaplanmasının daha pratik olması nedeni ile test merkezli yöntemlerden Nedelsky ve Angoff (1-0) yöntemleri ve bunun yanı sıra sınır değer saptama yöntemlerinden ROC ve Aralık Tahmini ile standart belirleme yöntemleri ele alınıp incelenmiştir.
Türkiye’de uygulanan testlerin kişileri seçmede, yerleştirmede ve sıralamada belirleyici olması ve testi alanların performanslarına göre başarılı/
başarısız olarak sınıflandırılması ve yapılan sınıflandırmaların doğruluğunun sınanmaması çoğu zaman tartışma konusu olmaktadır. Kişilerin test puanı, çoğu zaman testi alan diğer kişiler içindeki yeri ile karşılaştırılmaktadır.
Ölçme, Seçme ve Yerleştirme Merkezi (ÖSYM) tarafından yapılan ve yürütülen Yükseköğretime Geçiş Sınavı (YGS) ve Lisans Yerleştirme Sınavı (LYS) sınavlarında olduğu gibi, öğretmen adaylarının mesleğe atanmalarında kullanılmakta olan Kamu Personeli Seçme Sınavı’ nda (KPSS) da bağıl değerlendirme yapılmaktadır (ÖSYM, 2003). Yapılan bağıl değerlendirme ile öğretmen adaylarının başarı düzeylerini belirlemede yapılan hatalar, adayları başarılı iken başarısız olma durumu ile karşı karşıya getirebilmektedir.
Bu ve sözü edilen benzeri sınavlarda bağıl değerlendirme yerine, sınavların yapılış amacına uygun olarak seçilecek uzman niteliğindeki yargıcıların kararlarına dayalı olarak kesme puanı belirleme yöntemlerinin ve sınava giren adayların sınav kapsamında yer alan Türkçe ve matematik derslerinin akademik başarı not ortalamaları dikkate alınarak oluşturulacak mutlak ölçütlerin kullanılması, adayların başarılı/başarısız, programa yerleşti/
yerleşmedi gibi sınıflandırılmasında karşılaşılan sorunları giderebilir. Ayrıca önemli kararların verilmesinde kullanılan testlere ilişkin geçerli ve güvenilir kesme puanlarının belirlenmesi ve kesme puanları arasında kalan düzeylerin hangi başarı sınıflaması içinde kabul edildiği konusunda adayların bilgilendirilmesi, sorunların giderilmesine de yardımcı olabilir. Bu yolla testteki kesme puanları ve alınan puanların karşılık geldiği başarı düzeyinin ne anlama geldiği tanımlanabilir ve bu testin puanlarına dayalı olarak yapılan sınıflamaların doğruluğu hakkında bir bilgi sunulabilir. Bu sebeple belirlenen kesme puanlarının doğruluğu da önemli bir sorundur. Ayrıca, hem testin
sonuçlarını kullananlar test puanının hangi sınıflama düzeyine karşılık geldiğini bilerek daha isabetli kararlar verebilir, hem de testi alanlar puanlarının karşılık geldiği düzeye göre kendi durumları hakkında daha kapsamlı bilgi sahibi olabilirler.
Araştırmalar incelendiğinde, standart belirleme yöntemlerine göre elde edilen kesme puanlar arasındaki farklılıklar ile ilgili bazı araştırmaların olduğu görülmektedir. Bunun yanı sıra yargıcılar arasındaki uyumun incelendiği araştırmalara da rastlanmaktadır. Yurt içi ve dışında yapılan araştırmalarda Taşdelen (2009), Nedelsky ve Angoff standart belirleme yöntemleri ile elde edilen kesme puanlarını karşılaştırmış, Ömür ve Selvi (2010) Angoff, Ebel ve Nedelsky yöntemleri ile ve farklı yargıcı sayıları kullanarak sınıflama tutarlılıklarını araştırmış; Hurtz ve Hertz (1999) Angoff yönteminde kaç yargıcı kullanılması gerektiğini ve Hess, Subhiyah ve Giordano (2007) kümeleme analizi ile Angoff (1-0), Ebel ve Nedelsky yöntemlerini kullanarak sınıflama doğrulukları ile ilgili kararları incelemişlerdir. Standart belirleme yöntemlerinin birbirlerine göre avantajları ve dezavantajları, kesme puanı belirlemek için yargıcı yeter sayısı gibi problemler üzerinde durulmuştur. Bir diğer kesme puanı belirleme yöntemi olan sınır değer saptama yöntemlerinin ise sadece tıp ve sağlık bilimlerinde hasta olup olmama durumunun sınandığı testlerde sınıflandırma doğruluklarının belirlenmesinde sıklıkla kullanıldığı görülmektedir. İncelenen araştırmalarda birçok yöntemin bir arada kullanıldığı fakat test merkezli yöntemlere dayalı olarak yargıcıların belirlediği kesme puanı belirleme yöntemleri ve sınır değerleri saptama yöntemleri ile belirlenen sınıflama doğruluklarının incelendiği ve kesme puanlarının isabetliliğinin sınandığı bir araştırmaya rastlanamamıştır. Bu nedenle kesme puanı belirlemede kullanılan farklı yöntemlerin incelenmesi ve bunları temel alan araştırmaların yapılması test sonuçlarına göre başarılı/başarısız şeklinde sınıflandırılan kişilerin doğru değerlendirilmesine de olanak sağlayacaktır.
Yukarıda açıklanan gerekçe ve sorunlardan dolayı bu araştırmanın problemini, bir testin standart belirleme yöntemleri Angoff (1-0), Nedelsky ve sınır değerleri saptama yöntemleri İşlem Karakteristik Eğrisi (ROC) ve Aralık Tahmini yöntemleri ile belirlenen sınıflandırma doğruluklarının incelenmesi oluşturmaktadır.
1.2. Amaç
Bu araştırmanın genel amacı, sınıf öğretmenliği programı öğrencilerinin Türkçe ve matematik sorularından oluşan bir teste göre belirlenen başarılı/başarısız sınıflandırılma durumlarının test merkezli standart belirleme ve sınır değer saptama yöntemleri kullanılarak incelenmesidir.
Bu genel amaç doğrultusunda aşağıdaki sorulara yanıt aranmıştır;
1. Angoff (1-0) ve Nedelsky yöntemleri ile belirlenen kesme puanlarına göre başarılı/başarısız olarak kabul edilen öğrenci yüzdeleri arasında manidar bir farklılık var mıdır?
2. Bir güvenirlik kanıtı olarak, kesme puanlarının belirlenmesinde;
a) Angoff (1-0) yöntemi kullanıldığında yargıcılar arası uyum katsayısı nedir?
b) Nedelsky yöntemi kullanıldığında yargıcılar arası uyum katsayısı nedir?
3. Angoff (1-0) ve Nedelsky yöntemleri arasında, yargıcılardan elde edilen minimum geçme puanları (MGP) bakımından uyum var mıdır?
4. Sınır değer saptama yöntemleri olan ROC ve aralık tahmini ile belirlenen kesme puanlar nelerdir ve bu puanlar arasında uyum var mıdır?
1.3. Önem
Türkiye’de ilköğretimden başlayan ve lisans öğrenimi sonrasında da devam eden ve sayıları her geçen gün artan sınavlar, sınava giren adayları başarılı/başarısız, programa yerleştirildi/yerleştirilmedi, geçti/kaldı vb. şekilde sınıflamaktadır. Testlere dayalı olarak yapılan bu sınıflandırmalar işe alımlarda bazen yeterli olmamakta ve kurumlar işe alımlarda başvuru için belirledikleri kesme puanını geçen adayların başvurusunu kabul edip takiben bir de mülakat uygulama yoluna gitmektedir.
Seçme, yerleştirme ve sınıflama amacıyla yapılan sınavlarda olduğu gibi, öğretmen adaylarının öğretmenlik mesleğine başlayabilmeleri için girdikleri KPSS’ de de bağıl değerlendirme yapılmakta ve adaylar mesleğe bu sınav sonucuna göre atanabilme hakkı elde etmektedir. Bu değerlendirme ile öğretmen adaylarının test puanları, testi alan diğer adaylar içindeki yeri ile karşılaştırılmaktadır. Yapılan bağıl değerlendirme sonucunda atanamayan adayların öğretmenlik mesleği ile ilgili planları sonraki sınavlara kalmaktadır.
Bu durum hem testi alan adaylar için hem de geliştirilmesi, uygulanması ve değerlendirilmesi uzun zaman almakta olan sınav hazırlayan kurumlar için de mali yükümlülükleri beraberinde getirmektedir. Sınıflandırmada yaşanan sorunlar aynı zamanda sınavları yapılış amacından da uzaklaştırmakta ve adaylar ekonomik olarak yıpranmaktadır. Sınavlarda yapılan bağıl değerlendirme yerine bu ve benzeri sınavların öncesinde uzman niteliğindeki yargıcıların kararlarına dayalı olarak belirlenen kesme puanı saptama yöntemleriyle ölçütler oluşturmak, bu ve benzeri sınavlarda karşılaşılan sorunları gidermek için bir çözüm yolu olabilir. Testteki kesme puanları ve alınan puanların karşılık geldiği başarı düzeyinin belirlenmesi, KPSS sonucunda yapılacak sınıflamaların doğruluğu hakkında bilimsel bir dayanak oluşturabilir. Testin sonuçlarını kullanmak isteyen kurumlar, test puanının hangi sınıflama düzeyine karşılık geldiğine bakarak seçeceği personeli ile ilgili daha doğru kararlar verirken, testi alanlarda puanlarının karşılık geldiği düzeye bakarak kendi başarılarının ne anlama geldiğine dair bilgi edinebilirler.
Öğretmen adaylarının lisans akademik başarı not ortalamaları da dikkate alınarak sınır değer saptama yöntemleriyle belirlenen kesme puanlarına dayalı yapılan sınıflandırmalar ise, sınava giren kişilerin performansı ile ilgili daha geniş ve doğru bilgiler sunabilir. Çünkü, sadece lisans programından mezun olmuş olma şartı arayan bu ve benzeri sınavlarda adayların lisans akademik başarı not ortalamaları görmezden gelinmekte ve onların sınav sonuçları üzerinde bir etkisi olmamaktadır.
Araştırmalar, KPSS ile lisans derslerinin ve lisans akademik başarı not ortalamalarının ilişkili olmadığı, derslerin sınavdaki kapsamla örtüşmediği şeklindedir. Gündoğdu, Çimen ve Turan (2008), öğretmen adaylarının Kamu Personeli Seçme Sınavı’na ilişkin görüşlerini araştırmışlardır. Araştırma sonuçları, sınavın öğretmen seçiminde iyi bir nitelik göstermediği; öğretim elemanlarının derslerinde KPSS’ ye yönelik öğretim yapması gerektiği şeklinde ortaya çıkmıştır. Tösten, Elçiçek ve Kılıç (2012) tarafından yapılan bir diğer araştırmada ilköğretim öğretmenlerinin KPSS’ ye yönelik görüşlerinin belirlenmesi amaçlanmıştır. Araştırma sonucunda; KPSS’ nin temel niteliklere sahip adayları seçmekte yetersiz kaldığı ve KPSS’ nin öğretmen seçmede nitelikli bir sınav olmadığı, objektifliği sağlamadığı ve öğretmen atamalarında farklı ölçütlerin de yer alması gerektiği ortaya çıkmıştır. Öğretmen adaylarının lisans akademik başarı not ortalamalarının referans alınarak yapılacak sınıflandırmalar KPSS’ nin lisans dersleriyle ilişkisinin sağlanmasına da yardımcı olabilir. Ayrıca, daha önce tıpta ve sağlık bilimlerinin çeşitli alanlarında sınıflandırma ve tanı amacıyla sıklıkla kullanılan sınır değer saptama yöntemlerinin eğitimle ilgili bir araştırmada kullanılacak olması da araştırmanın alana yeni bir bilgi sunacak olması açısından önem taşımaktadır.
Alanyazın incelendiğinde test merkezli yöntemlerin çeşitli değişkenlerle olan ilişkilerinin, yordama güçlerinin, yargıcı yeter sayısının ayrıca Klasik Test Kuramı, Madde Tepki Kuramı ve Genellenebilirlik Kuramı gibi kuramlarla birlikte araştırmalarının yapıldığı görülmektedir. Ancak, yargıcılar tarafından ve sınır değer saptamaya dayalı olarak belirlenen kesme puanı ile yapılan başarılı/başarısız sınıflandırılması ile ilgili bir araştırmaya rastlanmamıştır. Araştırma yukarıda söz edilen gerekçelerden dolayı önemlidir ve alanyazına katkı sağlayacağı düşünülmektedir.
1.4. Sayıltılar
1. Araştırmaya katılan sınıf öğretmenliği programı öğrencilerinin Türkçe ve matematik sorularından oluşan bir teste verdikleri cevapların, başarı düzeylerinin bir göstergesi olduğu varsayılmıştır.
2. Araştırmada kullanılan Türkçe ve matematik sorularına ilişkin kesme puanını belirleyen yargıcıların, Angoff (1-0) ve Nedelsky standart belirleme yöntemlerine uygun biçimde puanlama yaptıkları varsayılmıştır.
3. Yargıcıların test maddeleri ile ilgili kararlarını, minimum yeterlik düzeyindeki (geçme/kalma sınırdaki) öğrencilerin öğrenme düzeylerini dikkate alarak verdikleri varsayılmıştır.
4. Araştırmada tesadüfi hataların ölçme sürecine karıştığı varsayılmıştır.
1.5. Sınırlılıklar
1. Bu araştırma, 2006 - 2012 yıllarında uygulanan ve ÖSYM resmi sitesinde yayınlanmakta olan KPSS Testi’ndeki Türkçe ve matematik sorularının konu kapsamı ve ağırlıkları dikkate alınarak, uygulamasının ve yargıcıların puanlamasının zaman alması sebebiyle üç alan uzmanı tarafından seçilen 15 Türkçe ve 15 matematik sorusu ile oluşturulan bir test ile sınırlıdır.
2. Kesme puanı belirleme işlemi, hesaplama ve yorumlama kolaylığı sağlaması açısından test merkezli standart belirleme yöntemlerinden olan Angoff (1-0) ve Nedelsky Yöntemi ile sınırlıdır.
3. Sınır değer saptama yöntemleri ile kesme puanı belirleme, işlem karakteristik eğrisi (ROC) ve aralık tahminine göre kesme puan belirleme yöntemleri ile sınırlıdır. Araştırmada başarılı/başarısız gruplarda normallik
varsayımı sağlandığından dolayı bu varsayımın sağlanmadığı durumlarda
kullanılan sınır değer saptama yöntemlerinden yüzde değerlere göre kesme puanı belirleme yöntemi kullanılmamıştır.
4. Yargıcı sayısına bir sınırlama getirilmese de, genellikle araştırmalarda 10 ile 15 arasında bir yargıcı grubunun yeterli olduğu vurgulanmaktadır.
Bu araştırma, Angoff (1-0) ve Nedelsky Yöntemleri için 10’ar farklı yargıcı olmak üzere, Türkçe ve Matematik sorularını değerlendirmek için belirlenen 40 yargıcının görüşleri ile sınırlıdır.
5. Bu araştırma, lisans ders programında birinci sınıfta Türkçe ve matematik dersi almış olan Ankara Üniversitesi Eğitim Bilimleri ve Hacettepe Eğitim Fakülteleri sınıf öğretmenliği programlarının üçüncü sınıflarında öğrenim gören öğrencilerle sınırlıdır. İkinci ve dördüncü sınıfların araştırmaya alınmamasının sebebi; ikinci sınıf öğrencilerinin bu sınav için hazır olmaması; dördüncü sınıf öğrencilerinin ise KPSS sınavına yönelik hazırlık süreci içinde olup, geçmiş sınavlarda çıkmış sorulara aşina olmaları olasılığıdır.
1.6. Tanımlar
Bu araştırmada geçen bazı kavramlar için aşağıda sözü edilen tanımlar benimsenmiştir.
Minimum Yeterlik Düzeyi: Sınıf öğretmenliği programında öğrenim gören Türkçe ve matematik dersi için geçme kalma “F-D” sınırındaki öğrencilerin bulundukları düzeydir. Bu düzey (50-59) puan aralığına karşılık gelmektedir. Yargıcılar Angoff ve Nedelsky yöntemlerine göre öğrencilerin maddeyi doğru yanıtlama ve öğrencilerin eleyebileceği yanlış seçenek sayılarına karar verirken ifade edilen düzeyi esas almıştır.
Yargıcı: Türkçe ve matematik bilgisine sahip, alanında uzmanlaşmış Angoff ve Nedelsky yöntemlerinde kesme puanlarının belirlenmesinde görev alan değerlendiricilerdir.
Kesme Puan: Öğrencilerin başarılı ve başarısız olarak sınıflandırılmasında, ayırt edilmesinde kullanılacak uygun performans puanını gösterir.
1.7 Kısaltmalar
KPSS: Kamu Personeli Seçme Sınavı
ROC:Receiver Operating Characteristics Curve (İşlem Karakteristik Eğrisi) MGP: Minimum Geçme Puanı
AUC: Area Under Curve (ROC Eğrisi Altında Kalan Alan)
BÖLÜM II
İLGİLİ ARAŞTIRMALAR
Bu bölümde sırasıyla alanyazında yurt içinde ve yurt dışında kesme puanı belirleme ve sınır değer saptama yöntemleri ile ilgili yapılan araştırmalara ait bilgilere ve bu bilgiler sonucunda ulaşılan ortak bulgulara yer verilmiştir.
2.1. Yurt İçinde Standart Belirleme Yöntemleri ile İlgili Yapılan Araştırmalar
Alanyazında standart belirleme yöntemlerinden yargıcı kanısına dayalı yöntemlerin incelendiği, bu yöntemlerin sağladıkları avantaj ve dezavantajlar ile ilgili araştırmalar yer almaktadır. Bu araştırmalar kronolojik olarak aşağıda sıralanmıştır.
Tanrıverdi (2006)’nin, standart belirleme yöntemlerinin geçme puanları üzerindeki etkisi üzerinde çalıştığı araştırmada öğrencilerin geçti / kaldı durumlarının farklı standart belirleme yöntemlerine göre değişiklik gösterip göstermediği incelenmiştir. Türkçe ve matematik testlerinin yedinci sınıf öğrencilerine uygulanmasıyla test puanları elde edilmiş ve yargıcı kanısına dayanan kesme puanları belirlenmiştir. Bu araştırmada, yöntemler arası uyum incelendiğinde Türkçe dersi için Angoff ve Angoff (1-0) yöntemleri arasında pozitif ve yüksek düzeyde, Angoff ve Nedelsky yöntemleri ile Nedelsky ve Angoff (1-0) yöntemleri arasında ise pozitif ve orta düzeyde uyum görülmüştür. Matematik dersi için, Angoff ve Angoff (1-0) yöntemleri arasında pozitif ve orta düzeyde bir uyum olduğu saptanmıştır.
Yargıcı kanısına dayalı yöntemlerle kuramların birarada incelendiği araştırmalar da bulunmaktadır. Bunlardan biri Taşdelen (2009)’in, Nedelsky ve Angoff standart belirleme yöntemleri ile elde edilen kesme puanlarını Genellenebilirlik Kuramı’nı kullanılarak karşılaştırdığı araştırmasıdır. Standart belirleme yöntemlerinin ayrı ayrı ele alındığı G araştırmasında; Nedelsky
yöntemi ile yapılan puanlamada maddeler arası farklılığın ortaya çıkarılabildiği, ancak puanlayıcılar arasında kesme puanı belirlemede uyum olmadığı görülmüştür. Angoff yöntemi ile yapılan puanlamada maddeler arası farklılığın ortaya çıkarılabildiği ve puanlayıcılar arasında bir tutarlılığın olduğu sonucuna varılmıştır.
Tülübaş (2009)’ın psikolojik testlerde kesme puanının belirlenmesinde standart belirleme tekniklerinin uygunluğunu test ettiği araştırmasında Angoff ve sınır grup teknikleri ile hesaplanan kesme puanları, Beck depresyon ve Beck umutsuzluk ölçekleri için oluşturulmuş olan normlarla karşılaştırılmıştır. Angoff yöntemi Beck umutsuzluk ölçeği için normlardan farklı bulunmazken, Beck depresyon ölçeği için normlardan farklı bulunmuştur. Bu araştırma standart belirleme tekniklerinin norm oluşturma süreci içerisinde kullanılabileceğini göstermiştir.
Çetin ve Gelbal (2010), standart belirleme yöntemlerinin geçme puanları üzerine etkisi üzerinde çalışmış, öğrencilerin geçti / kaldı durumlarının farklı standart belirleme yöntemlerine göre değişiklik gösterip göstermediğini incelemişlerdir. Araştırmada öğrenciler hakkında verilecek kararlar için kullanılabilecek Angoff yöntemi, Nedelsky yöntemi ve Angoff (1-0) standart belirleme yöntemlerinden hangisinin seçileceğinin; öğrenci grubuna, derse, kullanılacak testin yapısına ve öğretmenlere bağlı olarak değişebileceğini Türkçe dersi için Nedelsky ve Angoff (1-0) yöntemleri arasında manidar bir fark görüldüğü; matematik dersi için Nedelsky ve Angoff (1-0) yöntemleri arasında ise manidar bir fark görülmediği sonucuna ulaşmışlardır.
Ömür ve Selvi (2010)’nin Angoff, Ebel ve Nedelsky yöntemleriyle ve farklı yargıcı sayıları kullanılarak elde edilen kesme puanlarının sınıflama tutarlılığı indekslerinin incelendiği araştırmalarında, yargıcı olarak nitelenen alan uzmanlarının ve öğretmenlerin puanlamaları sonucunda yukarıda belirtilen yöntemlerle kesme puanları hesaplanmıştır. Araştırmanın sonunda, yargıcı sayısına bağlı olarak kesme puanlarında önemli bir değişim gözlenmemekle birlikte, üç yöntemde ve üç ayrı yargıcı sayısında en yüksek sınıflama tutarlığı indeksinin Nedelsky yöntemiyle elde edildiği görülmüştür.
Yargıcı kanısına dayalı yöntemlerle kuramların birarada incelendiği bir diğer araştırmada Gündeğer (2012), Angoff, Angoff (1-0) ve Ebel standart belirleme yöntemleri ile elde edilen kararlar ve kesme puanlarını karşılaştırmıştır. Araştırma sonunda bu üç farklı standart belirleme yöntemine göre başarılı sayılan öğrenci yüzdeleri arasında manidar fark olduğu bulunmuştur. Angoff ve Angoff (1-0) yöntemleri ile Angoff ve Ebel yöntemleri arasında yüksek düzeyde uyum; Angoff (1-0) ve Ebel yöntemleri arasında ise orta düzeyde uyum olduğu sonucuna ulaşılmıştır. Kesme puanları bakımından Angoff ve Angoff (1-0) yöntemleri ile belirlenen minimum geçme puanları (MGP) arasında pozitif ve orta düzeyde bir ilişki olduğunu ve iki yönteme ait minimum geçme puan ortalamaları arasında manidar bir farklılığın olmadığı belirlenmiştir. Angoff ve Ebel yöntemleri ile belirlenen MGP’lar arasında pozitif ve yüksek düzeyde bir ilişki olduğu ve iki yönteme ait MGP’ları ortalamaları arasında ise manidar bir farklılığın olduğu; buna karşılık Angoff (1-0) ve Ebel yöntemleri ile belirlenen MGP’lar arasında ise manidar bir ilişkinin olmadığı sonucuna ulaşılmıştır. Yöntemlere ait yargıcı kararlarının G kuramı ile incelenmesi sonucunda, üç yöntemin maddelere ait farklılıkları ortaya çıkaramadığı sonucuna ulaşılmıştır.
2.2. Yurt Dışında Standart Belirleme Yöntemleri ile İlgili Yapılan Araştırmalar
Standart belirleme yöntemleri ile ilgili olarak yurt dışında yapılmış olan araştırmalar incelendiğinde yurt içindeki araştırmalara göre sayıca daha fazla olduğu görülmektedir. Araştırmalarda Angoff ve Nedelsky başta olmak üzere yöntemler arasında karşılaştırmalar ve kesme puanı belirlenirken yargıcı sayısının ne olması gerektiği ile ilgili sorunlar üzerinde sıklıkla durulmuştur.
Livingston ve Zieky (1989)’in yaptıkları araştırmada; dört okulda sınır grup ve karşıt grup yöntemleri ile Nedelsky yöntemini, farklı dört okulda ise aynı yöntemler ile Angoff yöntemini okuma ve matematiksel temel beceri testlerini kullanarak karşılaştırmışlardır. Sınır grup ve karşıt grup yöntemleri ile yeterli ve yetersiz görülen öğrenci gruplarındaki öğrenciler eşit sayıda olduğunda benzer sonuçlar verirken, “yeterli” görülen öğrenci sayısının
“yetersiz” olduğu düşünülen öğrenci sayısından fazla olduğu
