KARMA RASCH MODEL İLE DEĞİŞEN MADDE FONKSİYONUNUN BELİRLENMESİNDE KOVARYANT

145  Download (0)

Tam metin

(1)

ANKARA ÜNİVERSİTESİ EĞİTİM BİLİMLERİ ENSTİTÜSÜ

ÖLÇME VE DEĞERLENDİRME ANABİLİM DALI ÖLÇME VE DEĞERLENDİRME PROGRAMI

KARMA RASCH MODEL İLE DEĞİŞEN MADDE FONKSİYONUNUN BELİRLENMESİNDE KOVARYANT

(ORTAK) DEĞİŞKENİN ETKİSİ

DOKTORA TEZİ

GÖZDE SIRGANCI

ANKARA MAYIS, 2019

(2)
(3)

ANKARA ÜNİVERSİTESİ EĞİTİM BİLİMLERİ ENSTİTÜSÜ

ÖLÇME VE DEĞERLENDİRME ANABİLİM DALI ÖLÇME VE DEĞERLENDİRME PROGRAMI

KARMA RASCH MODEL İLE DEĞİŞEN MADDE FONKSİYONUNUN BELİRLENMESİNDE KOVARYANT

(ORTAK) DEĞİŞKENİN ETKİSİ

DOKTORA TEZİ

GÖZDE SIRGANCI

DANIŞMAN: PROF. DR. ÖMAY ÇOKLUK BÖKEOĞLU

ANKARA MAYIS, 2019

(4)
(5)
(6)

ÖZET

KARMA RASCH MODEL İLE DEĞİŞEN MADDE FONKSİYONUNUN BELİRLENMESİNDE KOVARYANT (ORTAK) DEĞİŞKENİN ETKİSİ

SIRGANCI, Gözde

Doktora, Eğitimde Ölçme ve Değerlendirme Anabilim Dalı Tez Danışmanı: Prof. Dr. Ömay Çokluk Bökeoğlu

Mayıs 2019, xv + 128 sayfa

Karma Madde Tepki Kuramı modelleri (K-MTK) son yıllarda test geliştirme, değişen madde fonksiyonu (DMF) saptama gibi test geçerliğini etkileyebilen psikometrik sorunlarla mücadelede önemli bir metodoloji olarak ön plana çıkmaktadır. K-MTK modellere kovaryant değişkenin farklı kestirim yöntemlerine göre dahil edildiği çalışmalar bulunmaktadır. Bu çalışmaların sonuçlarında, kovaryant değişkenin modele dahil edildiği bazı durumlarda gizil sınıfların belirlenmesi ve parametre kestirim iyiliğinin olumlu; bazı durumlarda ise olumsuz yönde etkilendiği belirtilmiştir. Bununla birlikte, DMF analizlerinde kovaryant değişkenin dahil edildiği K-MTK modellerinin etkinliği DMF’yi nispeten karmaşık bir modelle tanımlamanın zorlukları nedeniyle sistematik olarak çalışılmamıştır. Bu çalışma, K-MTK modellerinden Karma Rasch Modele (KRM) kovaryant değişken dahil edildiğinde (KRM-K), modelin gizil sınıf yapısı, parametre kestirim iyiliği ve gizil DMF belirlemedeki etkisini araştırmayı amaçlamaktadır. Bu amaçla gizil değişken ve kovaryant değişken arasındaki ilişki, ortalama DMF etki büyüklüğü, kovaryant değişkenin oranı ve gizil sınıf oranı değişimlenerek Monte Carlo simülasyon çalışması yapılmıştır. Araştırmanın bulguları gizil sınıf yapısının tanımlanması, model parametrelerinin kestirim iyiliği ve gizil DMF saptama gücü ve doğruluğu açısından değerlendirilmiştir. Araştırma sonuçları, KRM’ye kovaryant değişken dahil edildiğinde modelin gizil sınıfları tanımlama gücünün düştüğünü göstermiştir. Ancak DMF etki büyüklüğünün yüksek, gizil değişken ile kovaryant değişken arasındaki ilişkinin güçlü ve gizil sınıf oranının eşit olduğu durumda KRM- K’nın sınıflama doğruluğunun KRM ile aynı seviyeye ulaştığı belirlenmiştir. Modele

(7)

kovaryant değişkenin dahil edilmesi, model parametrelerinin kestirim iyiliğini arttırmıştır. Gizil sınıflar ve kovaryant değişken arasındaki ilişkinin güçlü ve ortalama DMF etki büyüklüğünün yüksek olduğu durumda, parametre kestirimlerinin daha da iyileştiği sonucuna ulaşılmıştır. KRM’nin gizil DMF belirleme gücü ve doğru karar yüzdesi, modele kovaryant değişken dahil edildiğinde manidar düzeyde yükselmiştir.

Anahtar Kelimeler: Gizil değişen madde fonksiyonu, karma Rasch model, kovaryant değişken, gizil sınıf analizi, parametre kestirim iyiliği

(8)

ABSTRACT

THE EFFECT OF COVARIANT VARIABLE ON DETERMINATION OF DIFFERENTIAL ITEM FUNCTIONING USING MIXTURE RASCH MODEL

SIRGANCI, Gözde

Ph.D., Department of Measurement and Evaluation in Education Supervisor: Prof. Dr. Ömay Çokluk Bökeoğlu

May 2019, xv + 128 pages

Mixture Item Response Theory (IRT) models have been an essential methodology while dealing with psychometric problems that affect test validity, i.e. test development and differential item functioning (DIF). There are studies, where the covariant variable is included in mixture IRT models based on different estimation models. The results of these studies revealed that models, where the covariants were included, have either a positive or a negative effect on both determining the latent class structure and improving the accuracy of parameter estimation. Nevertheless, the efficacy of mixture IRT models that include a covariant variable in DIF have never been studied in a systematical way due to the difficulty of defining the DIF with a complex model. The aim of this study is to investigate the effects of including a covariant variable in a mixture Rasch Model, which is a type of IRT model, on the model’s latent class structure, the parameter estimation accuracy and latent DIF determination. To this end, a Monte Carlo simulation was conducted with adjusting the relationship between the latent variable and the covariant variable, average DIF effect size, covariant variable ratio and latent class ratio. The findings of the study were evaluated with respect to the definition of latent class structure, the estimation accuracy of model parameters and determination of latent DIF. The results has shown that including a covariant variable in a mixture Rasch model has lowered the model’s efficiency to define latent classes. However, when the inclusion of a covariant variable is made when certain conditions were met, such as a larger DIF effect size, a strong relationship between covariant variable and the latent variable and the latent variable ratio is even, the accuracy of classification has reached the same level as mixture

(9)

Rasch model. The inclusion of a covariant variable has increased the accuracy of model parameter estimation. The accuracy of estimation was further improved when the relationship between covariant variable and the latent variable was strong and average DIF effective size is large. Mixture Rasch model’s power to determine latent DIF and percentage of correct non-DIF decisions was improved.

Keywords: Latent differential item functioning, mixture Rasch model, covariant variable, latent class analysis, parameter recovery

(10)

ÖNSÖZ

Test puanları öğrencilerin sadece akademik başarılarının bir ölçüsü değildir; aynı zamanda yüksek riskli kararların alındığı birer değerlendirme kriteridir. Bu kararların bireysel, sosyal ve politik olarak önemli sonuçları olabilir. Dolayısıyla bir ölçme aracı, o aracı alan tüm bireyler için aynı özelliği ölçmeli ve her bir bireye ölçülen psikolojik özelliği sergileyebilme konusunda eşit fırsat sunmalıdır. Adil bir test dizaynı eğitimsel, sosyal ve ekonomik amaçlara ulaşmayı kolaylaştırır. APA, AERA ve NCME gibi kuruluşlar tarafından 1990’lı yılların başından bu yana test adaleti ile ilgili çeşitli tanımlamalar yapılmış ve bir dizi standart ortaya konmuştur. Bu standartlarda test ya da madde puanlarının alt gruplardan gelen bireyler için aynı anlam ifade etmesinin, puanların karşılaştırılabilir olması açısından önemi vurgulanmış; aksi halde ilgili test ya da maddeler için adilliğin sağlanamayacağı uyarısı yapılmıştır. Bireylerin ait oldukları alt gruplar için tek bir test maddesinin bile adil olmadığına ilişkin bir kanıtın elde edilmesi, test puanlarının geçerliğini düşürmektedir. Dolayısıyla, testlerde yer alan maddelerin bireyler için eşit ve yansız ölçme yaptığını gösteren kanıtlara ihtiyaç duyulmaktadır.

Francis Bacon, “İnsan kesin şeylerle yola başlarsa varacağı yer kuşku olacaktır, ama kuşkuyla işe başlamakla yetinirse o zaman kesinliklere ulaşacaktır” demiştir. Bu araştırmanın temeli, ölçme değişmezliği konusunda geliştirilen istatistiksel modelleri keşfetmeye olan ilgimden kaynaklanmıştır. Test adaletini engelleyen unsurları belirlemede hangi istatistiksel modellerin etkili bir şekilde işe yaradığını bulmak; bu modellerin hangi koşullar altında niçin avantajlı, hangi koşullar altında niçin dezavantajlı olduğunu ortaya koymak ilginçti.

Doktora tezimin hazırlanması ve savunulacak aşamaya gelmesi uzun ve yorucu bir süreç sonucunda mümkün olabilmiştir. Bu açıdan bakıldığında her akademik çalışmada olduğu gibi bu çalışmanın kapağında da her ne kadar yalnızca yazarının adı yazmaktaysa da, her bir satırında pek çok kişinin emeğinin olduğu yadsınamaz bir gerçektir. Bu vesile ile emeği geçenlere kısmen de olsa ayrı ayrı teşekkür etmeyi bir borç bilirim.

Araştırma süresince değerli görüş ve önerilerini benimle paylaşmaktan hiçbir zaman çekinmeyen, her konuda bana yardımcı olan ve yol gösteren, danışman hocam

(11)

Sayın Prof. Dr. Ömay ÇOKLUK BÖKEOĞLU’na sonsuz minnet ve şükranlarımı sunamayı onurlu bir görev sayıyorum.

Tez sürecimde önerileri ile bana yol gösteren tez izleme komitesi üyeleri hocalarım Sayın Prof. Dr. Duygu ANIL ve Sayın Doç. Dr. Deniz GÜLLEROĞLU’na;

Değerli görüşlerini benimle paylaşan tez komitesi jüri üyelerim Sayın Prof. Dr.

Zekeriya NARTGÜN ve Sayın Doç. Dr. Celal Deha DOĞAN’a;

Amerika’da bulunduğum süre zarfında Southern Methodist University Araştırma ve Değerlendirme Merkezi ‘nde bana doktora tezimle ilgili araştırma yapma fırsatı sunan Sayın Prof. Dr. Akihito Kamata’ya ve CORE ekibine; (I am grateful for Prof. Dr. Akihito Kamata and CORE team, during my stay in the USA, I was given the opportunity to conduct research on my PhD dissertation in the CORE at the Southern Methodist University).

2214 doktora sırası araştırma bursu ile desteğini aldığım Türkiye Bilimsel ve Teknolojik Araştırma Kurumu (TÜBİTAK)’a;

Araştırma sürecinde yardım ve destekleri ile katkı sunan arkadaşlarım Dr. Öğr.

Üyesi Ebru ARAÇ ILGAR, Dr. Öğr. Üyesi Uğur ERSOY, Dr. Alperen YANDI, Onurcan CEYHAN, Aydil İNAL ve adını sayamadığım diğer tüm değerli arkadaşlarıma;

Bu günlere gelmemde kelimelerle tarif edilemeyecek emek ve desteklerinden dolayı anneme, babama ve ablama;

Dallas’da yaşadığım sürede desteğini esirgemeyen ve her zaman yanımda olan Michael Aaron OGDEN’e (I also would like to thank Michael Aaron OGDEN, who has always been with me and has always supported me during my time in Dallas).

Sonsuz teşekkürlerimi sunuyorum…

(12)

İÇİNDEKİLER

ONAY ... ii

ETİK İLKELERE UYGUNLUK BİLDİRİMİ ... iii

ÖZET ... iv

ABSTRACT ... vi

ÖNSÖZ ... viii

İÇİNDEKİLER ... x

TABLOLAR DİZİNİ ... xii

ŞEKİLLER DİZİNİ ... xiii

KISALTMALAR/SİMGELER ... xv

BÖLÜM 1 ... 1

GİRİŞ ... 1

Problem ... 1

Amaç ... 5

Önem ... 6

Sınırlılıklar ... 7

BÖLÜM 2 ... 8

KURAMSAL ÇERÇEVE VE İLGİLİ ARAŞTIRMALAR ... 8

Rasch Model ve Gizil Sınıf Modeli ... 8

Karma MTK Modelleri ... 12

Karma Rasch Model ... 12

Karma Rasch Modele Kovaryant Değişkenin Dahil Edilmesi ... 14

Karma MTK Modellerinin Kestirimi ... 17

Bayes Kestirimi ... 19

İlgili Araştırmalar ... 23

BÖLÜM 3 ... 31

YÖNTEM ... 31

Araştırmanın Modeli ... 31

Simülasyon Deseni ... 32

Sabitlenen Koşullar ... 32

Değişimlenen Koşullar ... 34

Veri Üretimi ... 37

Parametre Kestirimi ... 38

Verilerin Analizi ... 39

Yakınsama Değerlendirme Ölçütleri ... 39

Kestirim İyiliği Değerlendirme Ölçütleri... 42

Araştırma Sorularına Yönelik İstatistiksel Testler ... 45

(13)

BÖLÜM 4 ... 46

BULGULAR VE YORUMLAR ... 46

Gizil Sınıf Üyeliği Sınıflama İyiliğine İlişkin Bulgular ... 46

Parametre Kestirim İyiliğine İlişkin Bulgular ... 56

Madde Parametreleri Kestirim İyiliğine İlişkin Bulgular ... 56

Birey Parametreleri Kestirim İyiliğine İlişkin Bulgular ... 68

Gizil Değişen Madde Fonksiyonu Belirlenmesine İlişkin Bulgular ... 78

DMF Belirleme Gücüne İlişkin Bulgular ... 80

Doğru Karar Oranına İlişkin Bulgular ... 85

BÖLÜM 5 ... 91

SONUÇ VE ÖNERİLER... 91

Sonuçlar ... 91

Bireylerin Gizil Sınıflara Atanma Doğruluğuna İlişkin Sonuçlar ... 91

Parametre Kestirim İyiliğine İlişkin Sonuçlar ... 94

Gizil Değişen Madde Fonksiyonu Belirlenmesine İlişkin Sonuçlar ... 96

Öneriler ... 99

KAYNAKLAR ... 102

EKLER ... 110

EK 1. Gizil Sınıflara Özgü Üretilmiş Madde Parametreleri ... 111

EK 2. Çalışmanın Simulasyon Koşulları ... 112

EK 3. Mplus KRM-K Kodu ... 113

EK 4. Koşullara Göre Gizil Sınıf Üyeliği Kestirim İyiliği Değer Ortalamaları ... 114

EK 5. Madde Parametrelerinin Ortalama RMSE Değerleri ... 115

EK 6. Madde Parametrelerinin Ortalama Yanlılık (BIAS) Değerleri ... 116

EK 7. Madde Parametrelerinin Ortalama Standart Hata (SE) Değerleri ... 117

EK 8. Birey Parametrelerinin Ortalama RMSE değerleri ... 118

EK 9. Birey Parametrelerinin Ortalama Yanlılık (BIAS) Değerleri ... 119

EK 10. Birey Parametrelerinin Ortalama Standart Hata (SE) Değerleri ... 120

EK 11. Koşullara Göre Ortalama DMF Belirleme Gücü ... 121

EK 12. Koşullara Göre Ortalama DMF Doğru Karar ... 122

EK 13. Etik Kurul Onayı ... 123

BENZERLİK BİLDİRİMİ ... 124

ÖZGEÇMİŞ ... 125

(14)

TABLOLAR DİZİNİ

Tablo 1. Sabit Tutulan Simülasyon Faktörleri... 32

Tablo 2. Değişimlenen Faktörler ... 34

Tablo 3. Gizil Sınıflar ve Kovaryant Değişken Arasındaki İlişki ... 35

Tablo 4. Sınıflama Doğruluğu Değerlerinin Faktörlere Göre Betimsel İstatistikleri ... 47

Tablo 5. Sınıflama Doğruluğu Değerlerinin Faktörlere Göre Anova Sonuçları ... 49

Tablo 6. Madde Parametrelerinin Kestirim İyiliği Değerlerinin Faktörlere Göre Betimsel İstatistikleri ... 56

Tablo 7. Madde Parametrelerinin Rmse Değerlerinin Faktörlere Göre Anova Testi Sonuçları ... 58

Tablo 8. Madde Parametrelerinin Yanlılık Değerlerinin Faktörlere Göre Anova Testi Sonuçları ... 61

Tablo 9. Madde Parametrelerinin Standart Hata Değerlerinin Faktörlere Göre Anova Testi Sonuçları ... 62

Tablo 10. Birey Parametrelerinin Kestirim İyiliği Değerlerinin Faktörlere Göre Betimsel İstatistikleri ... 68

Tablo 11. Birey Parametrelerinin Rmse Değerlerinin Faktörlere Göre Anova Testi Sonuçları ... 69

Tablo 12. Birey Parametrelerinin Yanlılık Değerlerinin Faktörlere Göre Anova Testi Sonuçları ... 71

Tablo 13. Birey Parametrelerinin Standart Hata Değerlerinin Faktörlere Göre Anova Testi Sonuçları ... 72

Tablo 14. Gizil Dmf Belirleme İndekslerinin Betimsel İstatistikler ... 79

Tablo 15. Güç İndeksinin Faktörlere Göre Anova Testi Sonuçları ... 80

Tablo 16. Doğru Karar İndeksinin Faktörlere Göre Anova Testi Sonuçları ... 86

(15)

ŞEKİLLER DİZİNİ

Şekil 1. Rasch Modelin Gizil Süreklilik Ölçeği ... 9

Şekil 2. Karma Rasch Modelin Gizil Süreklilik Ölçeği ... 13

Şekil 3. Kovaryantın Dahil Edildiği Karma Rasch Modelin Grafiksel Gösterimi ... 15

Şekil 4. Yakınsayan MCMC İterasyon Örneği ... 40

Şekil 5. Yakınsamayan MCMC İterasyon Örneği ... 40

Şekil 6. Zincirlerarası Etiket Değişimi Gösteren MCMC İterasyon Örneği ... 41

Şekil 7. Zayıf Karışım İle Çalışan MCMC İterasyon Örneği ... 42

Şekil 8. Zinciriçi Etiket Değişimi Gösteren MCMC İterasyon Örneği ... 42

Şekil 9. Grupiçi Faktörlerin İki Yönlü Etkileşim Etkisi Grafikleri: Sınıflama Doğruluğu ... 50

Şekil 10. Grupiçi Faktörlerin Üç Yönlü Etkileşim Etkisi Grafikleri: Sınıflama Doğruluğu ... 53

Şekil 11. Gruplararası Faktörlerin İki Yönlü Etkileşim Grafikleri: Sınıflama Doğruluğu ... 55

Şekil 12. Gruplararası Faktörlerin Üç Yönlü Etkileşim Etkisi Grafikleri: Sınıflama Doğruluğu ... 56

Şekil 13. Grupiçi Faktörlerin İki Yönlü Etkileşim Etkisi Grafikleri: Madde Parametrelerinin RMSE Değerleri ... 59

Şekil 14. Grupiçi Faktörlerin Üç Yönlü Etkileşim Etkisi Grafikleri: Madde Parametrelerinin RMSE Değerleri ... 60

Şekil 15. Grupiçi Faktörlerin İki Yönlü Etkileşim Etkisi Grafikleri: Madde Parametrelerinin Yanlılık Değerleri ... 62

Şekil 16. Grupiçi Faktörlerin İki Yönlü Etkileşim Etkisi Grafikleri: Madde Parametrelerinin Standart Hata Değerleri ... 64

Şekil 17. Grupiçi Faktörlerin Üç Yönlü Etkileşim Etkisi Grafikleri: Madde Parametrelerinin Standart Hata Değerleri ... 65

Şekil 18. Gruplararası Faktörlerin İki Yönlü Etkileşim Etkisi Grafikleri: Madde Parametrelerinin Standart Hata Değerleri ... 67

Şekil 19. Gruplararası Faktörlerin İki Yönlü Etkileşim Etkisi Grafikleri: Birey Parametrelerinin RMSE Değerleri ... 70

Şekil 20. Grupiçi Faktörlerin İki Yönlü Etkileşim Etkisi Grafikleri: Birey Parametrelerinin Standart Hata Değerleri ... 73

Şekil 21. Grupiçi Faktörlerin Üç Yönlü Etkileşim Etkisi Grafikleri: Birey Parametrelerinin Standart Hata Değerleri ... 75

Şekil 22. Gruplararası Faktörlerin İki Yönlü Etkileşim Etkisi Grafikleri: Birey Parametrelerinin Standart Hata Değerleri ... 76

(16)

Şekil 23. Gruplararası Faktörlerin Üç Yönlü Etkileşim Etkisi Grafikleri: Birey

Parametrelerinin Standart Hata Değerleri ... 77 Şekil 24. Grupiçi Faktörlerin İki Yönlü Etkileşim Etkisi Grafikleri: Gizil DMF

Belirleme Gücü ... 81 Şekil 25. Grupiçi Faktörlerin Üç Yönlü Etkileşim Etkisi Grafikleri: Gizil DMF

Belirleme Gücü ... 83 Şekil 26. Gruplararası Faktörlerin İki Yönlü Etkileşim Etkisi Grafikleri: Gizil DMF

Belirleme Gücü ... 84 Şekil 27. Grupiçi Faktörlerin İki Yönlü Etkileşim Etkisi Grafikleri: Gizil DMF

Belirlemede Doğru Karar ... 87 Şekil 28. Grupiçi Faktörlerin Üç Yönlü Etkileşim Etkisi Grafikleri: Gizil DMF

Belirlemede Doğru Karar ... 88 Şekil 29. Gruplararası Faktörlerin İki Yönlü Etkileşim Etkisi Grafikleri: Gizil DMF

Belirlemede Doğru Karar ... 89 Şekil 30. Gruplararası Faktörlerin İki Yönlü Etkileşim Etkisi Grafikleri: Gizil DMF

Belirlemede Doğru Karar ... 90

(17)

KISALTMALAR/SİMGELER

DMF Değişen Madde Fonksiyonu

EM Beklenti Maksimizasyonu (Expectation-Maximization) GRE Lisansüstü Giriş Sınavı (Graduate Record Examination) GMM Karma Büyüme Modeli (Growth Mixture Modelin) GSA Gizli Sınıf Analizi

GSM Gizil Sınıf Modeli

K-MTK Karma Madde Tepki Kuramı KRM Karma Rasch Model

KRM-K Karma Rasch Model-Kovaryant KO Kovaryant Oranı

MCMC Markov Zinciri Monte Carlo (Markov Chain Monte Carlo) MH Metropolis-Hastings

ML En Çok Olabilirlik (Maksimum Likelihood) MTK Madde Tepki Kuramı

RM Rasch Model

RMSE Hata Kareler Ortalamasının Karekökü (Root Mean Square Error) OO Odds Oranı

SAT Akademik Yeterlik Sınavı (Scholastic Aptitude Test) SBO Sınıf Büyüklüğü Oranı

N Örneklem Sayısı

i Madde

j Birey

b Madde Güçlük Parametresi θ Yetenek Düzeyi

Pi(θ) Maddeye Doğru Yanıt Verme Olasılığı 1-PLM Bir Parametreli Lojistik Model

2-PLM İki Parametreli Lojistik Model 3-PLM Üç Parametreli Lojistik Model

(18)

BÖLÜM 1

GİRİŞ

Bu bölümde çalışmanın problemine, amacına, önemine ve sınırlılıklarına yer verilmiştir.

Problem

Eğitim alanında yapılan değerlendirmelerin dayandığı en temel birim, bireyin ölçme aracından aldığı puandır. Yükseköğretime girebilme, mezuniyet hakkı kazanabilme, işe kabul edilebilme, psikolojik değerlendirme sonucunda olası bir tanı koyabilme gibi insanların hayatlarına yön verebilecek birçok kritik karar, ilgili ölçme aracından alınacak puana bağlıdır. Dolayısıyla bu puanın en az hata ile bireyin gerçek özelliğini yansıtacak şekilde kestirilebilmesi gerekmektedir.

Son yıllarda bilgisayar teknolojisindeki gelişmelerin de katkısıyla ölçme kuramlarına dayalı yeni modeller geliştirilmeye başlanmıştır. Bunlardan bir tanesi hem bireyin yeteneğini hem de maddelerin karakteristiğini birlikte kestiren gizil değişken modellemeleridir. Gizil değişken modelleri son 20 yıl içinde hızla gelişen ve özellikle eğitim ve davranış bilimleri alanlarında yaygın kullanılan model gruplarıdır. Temel olarak bu istatistiksel model grupları, gizil özelliklerin önemli ölçüde gözlenen tepki setleri ile açıklanabildiğini varsayar. Gizil değişken modellerinin sosyal bilimlerde yaygın kullanılan iki üyesi Madde Tepki Kuramı (MTK) modelleri ve Gizil Sınıf Modelleridir (GSM). MTK modellerinde gizil değişkenin sürekli olduğu varsayılır ve gizil değişken niceliksel anlamda gizil özellik/yapı (latent trait) olarak kabul edilir. Buna karşın GSM için gizil değişken, nitel, kategorik olarak kabul edilir. MTK modellerinde madde parametrelerinin değişmez olduğu, GSM’de ise bir gizil sınıftaki her bireyin aynı tepki olasılığına sahip olduğu varsayılır.

Madde tepki kuramı ve gizil sınıf analizini (latent class analysis-GSA) birleştiren karma MTK modelleri (K-MTK), her iki modelleme yaklaşımının temel varsayımlarını

(19)

esnettiği için MTK’ya dayalı kestirimlerin yapıldığı psikometrik araştırmalarda giderek daha fazla kullanılmaktadır. K-MTK modelleri, bireyin gizil sınıf üyeliğinin ve sürekli olan gizil yeteneğinin eşzamanlı olarak kestirilmesine olanak sağlar.

Son yıllarda K-MTK yaklaşımı, “değişen madde fonksiyonu (DMF)” (Cohen ve Bolt, 2005; De Ayala, Kim, Stapleton ve Dayton, 2002; Kelderman ve Macready, 1990;

Lu ve Jiao, 2009; Samuelsen, 2005); “test alma hızı” (Bolt, Cohen ve Wollack, 2002;

Boughton ve Yamamoto, 2007; Meyer, 2010; Yamamoto, 1989; Yamamoto ve Everson, 1997); “bireylerin bilişsel niteliklerine veya stratejilerine göre sınıflandırılması” (Mislevy ve Verhelst 1990; Rijmen ve De Boeck, 2003; Rost ve von Davier, 1993) dahil, test geliştirmedeki önemli birçok psikometrik özelliğin analizinde kullanılmaktadır. Ayrıca bu yaklaşımdan, psikolojide pratik sorunlara çözüm getirmek için de yararlanılmaktadır.

Örneğin, psikopatolojik testlerde (Finch ve Pierson, 2011; Maij-de Meij, Kelderman ve van der Flier, 2008) araştırmacılar ve klinisyenler için en olası davranış bozukluğu türlerine göre bireyleri sınıflandırmak oldukça güçtür. Bu tip durumlarda, K-MTK modelleri, bir müdahale programının uygulanabileceği tanısal amaçlar için kullanılabilir (Li, 2014).

Karma MTK’nın kullanıldığı tüm uygulama alanları göz önünde bulundurulduğunda DMF’nin önemli uygulama alanlarından biri olduğu düşünülmektedir. DMF, test adaletini tehlikeye atabilecek potansiyel tehditleri belirlemek için kullanılabilir. DMF, aynı yetenek düzeyinde olan ve farklı gruplarda yer alan bireylerin, bir maddeyi doğru yanıtlama olasılıklarının değişmesi olarak tanımlanır (Clouser ve Mazor, 1998; Zumbo, 1999). Bir testin maddelerinin DMF içermesi, test puanlarının geçerliğini düşüren önemli etkenlerden birisidir (Kristanjansonn, Aylesworth, McDowell ve Zumbo, 2005; Messcik,1995).

Değişen madde fonksiyonu belirleme yöntemleri gözlenen gruplar yaklaşımına dayalı yöntemler (geleneksel yöntemler) ve gizil değişkene dayalı yöntemler olarak sınıflandırılabilir. Geleneksel DMF analizleri, tipik olarak cinsiyet ve etnik gruplar gibi gözlenen bir gruplama değişkeni temel alınarak yapılır. Bireyler, bu değişkenlerin kategorilerine göre referans ile odak gruplara ayrılır ve bu gruplar arasında kestirilen madde parametreleri karşılaştırılır. Bu parametrelerin arasında manidar fark olması, DMF’nin olası kaynağının incelenen grup değişkeni (cinsiyet, ırk, etnik köken vb.) olabileceğini gösterir (Clauser ve Mazor, 1998). Ancak potansiyel DMF, analize dahil edilmeyen bir gözlenen değişken veya birden fazla gözlenen gruplama değişkeni arasındaki etkileşimlerden kaynaklanıyorsa, bu durumda göz ardı edilme olasılığı artar

(20)

(Chen ve Jiao, 2014; Jiao ve Chen, 2014). Dahası doğrudan gözlenemeyen, bireylerin yanıtlama davranışını etkileyen problem çözme stratejisi gibi dış (nuisance) boyut olarak da belirtilen bir takım ikincil boyutların varlığı DMF’nin asıl kaynağı olabilir (Ackerman 1992, Rost, 1990; Roussos ve Stout 1996). Bu gibi durumlar söz konusu olduğunda gözlenen değişkene dayalı DMF yöntemlerinin dayandığı “gözlenen değişkenin her bir alt grubunda yer alan bireylerin kendi içinde homojen, gruplar arasında ise heterojen olduğu” varsayımı ihlal edilmiş olur (DeAyala vd., 2002). Birçok araştırmacının da ortak görüşü, bu yöntemlerin, maddelerin niçin DMF gösterdiğini açıklamada sınırlı bilgi sunduğu yönündedir (Camille ve Shepard, 1994; Cohen ve Bolt, 2005; DeAyala vd., 2002; Gierl, Bisanz, Bisanz, Boughton ve Khaliq, 2001; Hu ve Dorans, 1989; Roussos ve Stout, 1996b; Samuelsen, 2005).

Değişen madde fonksiyonu tespitinde K-MTK modellerinin kullanılması, gözlenen grup değişkenine göre yapılan analizlerde DMF’nin asıl kaynağının belirlenememesi, sınıf içi homojenliğin sağlanamaması gibi sorunların üstesinden gelmeye yardımcı olmaktadır (Cohen ve Bolt, 2005; Chen ve Jiao, 2014). Karma modellerde bireyler gizil bir özellik açısından sınıfiçi homojenlik ve sınıflararası heterojenlik maksimum olacak şekilde, önceden tanımlanmamış sınıflara atanırlar.

Madde parametreleri bireylerin dahil olduğu gözlenen sınıftan bağımsız, her sınıfa özgü olarak kestirilir. Sınıflara özgü kestirilen parametrelerin farklılaşması DMF‘nin gizil bir özellikten kaynaklanabileceği sorununu akla getirir (DeAyala vd., 2002). Gizil sınıfların ayrışma nedeni hakkında bilgi elde etmek için ya DMF kaynağı olarak düşünülen gözlenen değişkenler ile gizil sınıflar tanımlanmaya ya da bireylerin yanıt örüntüleri incelenerek DMF’ye neden olan gizil değişken açıklanmaya çalışılır. Böylece çok sayıda DMF analizi yapılmasına gerek kalmaksızın, iki aşamalı bir yaklaşımla, DMF’nin kaynağı hakkında bilgi elde edilebilir (Samuelsen, 2005). Alanyazında DMF’nin kaynağını belirlemede karma modellere dayalı yöntemlerin daha iyi sonuçlar verdiği ortaya konmuştur (Ackerman 1992, Cho, Suh ve Lee, 2015; Cohen ve Bolt, 2005; De Ayala vd., 2002; Maij-de Meij, Kelderman ve van der Flier, 2010; Roussos ve Stout 1996, Rost, 1990; Samuelsen, 2005).

Karma MTK modellerinin yukarıda sözü edilen birçok avantajı olmakla birlikte, örneklemin küçük, testin kısa ve gizil sınıflar arasındaki yetenek farklarının da küçük olduğu durumlarda, özellikle bireylerin gizil sınıflara atanmasında ve model parametre kestiriminde sıkıntı yarattığı belirtilmektedir (Smit, Kelderman ve Flier, 1999). Bu olumsuzlukların giderilmesi için alanyazında eşlik (concominant), yardımcı (auxiliary)

(21)

değişkenler ya da eşdeğişken (covariate) olarak tanımlanan genellikle bireylerin cinsiyet, etnik köken, eğitim düzeyi gibi özelliklerini içeren bir takım bilgilendirici değişkenlerin karma MTK modellerine dahil edilmesi önerilmiştir (Smit, Kelderman ve Flier, 1999).

Modellenen değişkenle önemli ölçüde ilişkili olma potansiyeli olan bu tür değişkenlerin karma MTK modellerine dahil edilmesinin, model kestiriminde standart hatayı düşürdüğü, parametre kestirimini iyileştirdiği (Dai, 2009, 2013; Li, Jiao ve Macready, 2016), gizil sınıf sayısının belirlenmesine ve bireylerin gizil sınıflara atanmasına yardımcı olduğu görülmüştür (Lubke ve Muthen, 2005; Smit, Kelderman ve van der Flier, 1999, 2000). Bu nedenle, bu değişkenlerin karma MTK modellerine dahil edilmesinin, bu modellere ilişkin uygulamalarda teorik ve pratik öneme sahip olacağı düşünülebilir.

Karma MTK modellere kovaryant değişkenin dahil edilmesi, K-MTK’ya dayalı DMF belirleme yöntemlerinin aşağıda sözü edilen birtakım olumsuzluklarını giderebilir.

Bunlardan ilki daha önce de vurgulandığı gibi, K-MTK’ya dayalı DMF belirleme yöntemlerinin iki aşamalı olmasıdır. Bu yaklaşımda ilk aşamada K-MTK ile gizil sınıf ayrımı yapılır; ikinci aşamada bu ayrıma neden olan değişken tanımlanmaya çalışılır.

Oysa ki potansiyel DMF kaynağı olan değişken modele dahil edildiğinde DMF belirleme çalışması tek aşamada yapılmış olur. İkincisi gözlenen grup değişkenleri ile gizil değişkenlerin arasındaki ilişkinin (örtüşme) zayıf olması durumunda K-MTK yöntemlerin DMF saptama gücünün düşmesidir (Cho 2007; Samuelsen 2005).

Alanyazında karma modele dayalı DMF belirleme yöntemleri ile yeterli güçte DMF saptayabilmek için gözlenen ve gizil değişkenler arasında en az %70 oranında bir örtüşmenin olması gerektiği belirtilmektedir (Bilir, 2009; Samuelsen, 2005). Dolayısıyla özellikle gizil ve gözlenen değişken arasındaki örtüşmenin düşük olduğu durumlarda K- MTK modellerine bilgilendirici bir kovaryant değişkenin dahil edilmesi durumunda DMF saptama gücünün arttması beklenmektedir.

Karma MTK modelleri karmaşık modellerdir. Bu modellere bir değişkenin daha eklenmesi modeli daha da karmaşık hale getirmektedir. Dolayısıyla K-MTK ile parametre kestirim sürecinde karşılaşılan birtakım problemler (label switch-etiket değişimi, converge-yakınsama) daha da önem kazanmaktadır. Alanyazın incelendiğinde K-MTK modellerine kovaryant değişkenin dahil edilmesi durumunda modelin performansının, kovaryant değişkenin gizil değişken ile örtüşme oranı, kovaryant değişkenin veri setindeki oranı ve türü, gizil sınıfların büyüklüğü, DMF etki büyüklüğü, DMF’li madde oranı, örneklem büyüklüğü, gizil sınıfların yetenek dağılımı arasındaki farklılık gibi değişkenlere bağlı olarak değişkenlik gösterdiği görülmektedir (Dai, 2009,2013; Li,

(22)

2014, Zhang, 2015). Dolayısıyla, K-MTK modellerine kovaryant değişkenin eklendiği durumda gizil değişkene dayalı DMF’yi saptama gücünün farklı değişkenlere ve bunların etkileşimlerine göre nasıl değiştiğinin belirlenmesi önem taşımaktadır. Bu çalışmada kovaryant değişkenin eklendiği K-MTK modeli karma Rasch model (KRM) olarak belirlenmiştir. Bunun nedeni KRM’nin K-MTK modelleri içerisinde istatistiksel olarak en basit ve varsayımsal olarak en esnek model olması, basitliğine rağmen yüksek düzeyde model-veri uyumu sağlaması ve gerçek test koşullarında parametre kestirimlerinin genellikle Rasch modele (OECD, 2017) göre yapılmasıdır. Öte yandan kovaryant değişkenin eklendiği K-MTK modellerine dayalı ilk DMF belirleme çalışması olması nedeniyle KRM’nin, karma modelin kompleks yapısından daha az etkileneceği ve dolayısıyla karma yaklaşıma göre gizil DMF’yi belirlemede hangi faktörlerin etkili olduğunun daha net ortaya konabileceği açısından avantajlı olacağı düşünülmüştür.

Yukarıdaki tartışmalar doğrultusunda bu çalışmanın problemi, karma Rasch modele kovaryant değişken eklendiği durumda (KRM-K), gizil sınıf üyeliği ve kovaryant değişken arasındaki ilişki, kovaryant değişkenin veri içindeki oranı, ortalama DMF etki büyüklüğü ve gizil sınıf büyüklüğü faktörlerinin KRM’ye göre kestirim iyiliğinin belirlenmesi, gizil DMF’yi saptama doğruluğu ve gücününün ortaya konmasıdır.

Amaç

Bu çalışmanın amacı karma Rasch modele kovaryant değişken dahil edildiğinde gizil sınıf üyeliği ve kovaryant değişken arasındaki ilişkinin zayıf ve güçlü; ortalama DMF etki büyüklüğünün orta ve yüksek; kovaryant değişkenin veri içindeki oranının eşit ve dengesiz, gizil sınıf büyüklüğünün eşit ve dengesiz olduğu koşullarda, parametre kestirim iyiliğinin ve değişen madde fonksiyonu saptama gücünün karma Rasch modele göre potansiyel avantajlarını ve sınırlılıklarını belirlemektir. Bu genel amaç doğrultusunda araştırmada aşağıdaki sorulara yanıt aranmıştır:

1. KRM-K ve KRM’nın sınıflama doğruluğu, gizil sınıf üyeliği ile kovaryant değişken arasındaki ilişki, değişen madde fonksiyonu oranı, kovaryant oranı ve sınıf büyüklüğü oranı değişkenlerine göre manidar olarak farklılaşmakta mıdır?

2. KRM-K ve KRM’nın madde ve yetenek parametre kestirim iyiliği değerleri (RMSE, yanlılık, standart hata), gizil sınıf üyeliği ve kovaryant değişken

(23)

arasındaki ilişki, değişen madde fonksiyonu oranı, kovaryant oranı ve sınıf büyüklüğü oranı değişkenlerine göre manidar olarak farklılaşmakta mıdır?

3. KRM-K ve KRM’nın gizil sınıfa dayalı DMF belirleme gücü ve doğruluğu, gizil sınıf üyeliği ve kovaryant değişken arasındaki ilişki, değişen madde fonksiyonu oranı, kovaryant oranı ve sınıf büyüklüğü oranı değişkenlerine göre manidar olarak farklılaşmakta mıdır?

Önem

Bu çalışma, KRM-K’nın sınıf üyeliğinin tahmini, parametre kestirim iyiliği ve gizil DMF’yi belirleme gücü açısından KRM’ye göre farklı koşullar altında nasıl değiştiğini gösteren bir simülasyon çalışmasıdır. Simülasyon çalışmaları, ölçme modellerinin farklı koşullar altında avantajlı ve dezavantajlı olduğu durumları ortaya koyarak uygulayıcılara test koşullarına en uygun modeli seçmeleri için bilgi sağlar. Bu doğrultuda bu çalışmanın sonuçlarının, araştırmacılara hangi koşullarda hangi modelin kullanılmasının daha avantajlı olacağı yönünde yol göstereceği düşünülmektedir.

Mevcut çalışmada kovaryant değişken ile model parametreleri arasındaki ilişki eşzamanlı olarak kestirilmiştir. Kovaryant değişkenin modele gizil sınıf üyeliğinin ve maddelerin bir yordayıcısı olarak dahil edilmesi, gözlenen ve gizil gruplar arasındaki ilişkiyi birlikte ele alarak gizil DMF’nin ve kaynağının eşzamanlı olarak belirlenmesine olanak sağlamaktadır. Böylece önce gizil DMF’nin tanımlandığı, daha sonra ise gizil değişken ile gözlenen değişken arasında ilişki kurularak DMF’nin kaynağının araştırıldığı iki aşamalı yaklaşım (Chen ve Jiao, 2014; Cohen ve Bolt, 2005), artık yerini tek aşamalı bir yaklaşıma bırakacaktır. Öyle ki, karma olmayan Rasch modele kovaryant değişkenin eklendiği bir simülasyon çalışması iki aşamalı yöntemlerin, madde parametrelerini daha büyük hata varyansı ile; birey parametrelerini daha büyük hata kareler ortalaması ile;

kovaryantların regresyon katsayılarını (özellikle kısa testlerde ve kovaryant değişken ile model parametreleri arasındaki ilişkinin yüksek olduğu durumda) daha küçük kestirme eğiliminde olduğunu göstermiştir. Bu nedenle eşzamanlı kestirimin potansiyel olarak daha iyi model parametre kestirimine neden olabileceği ve kovaryant değişken ile gizil gruplar arasındaki ilişkiyi daha doğru bir şekilde ortaya koyabileceği düşünülmektedir.

Böylece daha iyi model parametre kestiriminin yanı sıra DMF’nin kaynağının da daha kolay yorumlanabilmesi mümkün olacaktır. Bu anlamda bu çalışma gizil DMF’yi ve kaynağını eşzamanlı olarak belirlemeye ışık tutması açısından önemlidir. Ayrıca bu

(24)

çalışma gizil sınıfa dayalı DMF’nin gücünün tek aşamada belirlendiği ilk simülasyon çalışmasıdır. Dolayısıyla farklı değişkenlerin farklı koşulları altında DMF’yi saptama gücünün belirlenmesi, gerçek test uygulamalarında hangi koşullar altında bu modelin en iyi performansı gösterdiğinin ortaya konması açısından da nitelikli olacağı açıktır. Bu çalışma ayrıca karma modellerde parametre kestirim sürecinde karşılaşılan problemlerin nasıl giderileceğine ilişkin çözüm önerileri sunması açısından da önem taşımaktadır.

Araştırma sonuçlarının alanyazına kuramsal katkılarının yanı sıra toplumsal ve psikometrik açıdan da özellikle test adaletinin sağlanması bağlamında katlıda bulunacağı düşünülmektedir. Test adaleti toplumsal anlamda fırsat eşitliğini sağlamak, psikometrik anlamda, testlerin teknik özelliklerini, test sonuçlarının raporlanma şeklini, gruplar ve bireyler için test performansını belirlemeye ilişkin modelleri etkileyen faktörleri ortaya koymaktır. Bu anlamda çalışmadan elde edilen bulgular doğrultusunda KRM-K modelinin test geliştiriciler ve uygulayıcılar tarafından test adaletini sağlamak amacıyla kullanılacağı durumlara yönelik öneriler getirilebilecektir.

Sınırlılıklar

 Çalışma karma MTK modellerinden karma Rasch model ile sınırlandırılmıştır.

 Çalışmanın değişimlenen koşulları kovaryant değişkenin sayısı ve türünden etkilenebileceğinden dolayı çalışma, iki kategorili bir kategorik değişken ile sınırlandırılmıştır.

 Bayesçi yaklaşıma göre model kestirimi zaman alıcı olduğu için alanyazın dikkate alınarak replikasyon sayısı 50 ile sınırlandırılmıştır. Replikasyon sayısının 50 ile sınırlandırılmış olması parametre kestirim doğruluğu açısından bir sınırlılık olabilir.

 Bu çalışmada yakınsamayı kolaylaştırmak için, gizil sınıflar arasındaki yetenek farkı ortalaması bir olarak belirlenmiştir. Dolayısıyla gizil sınıf üyeliğine ilişkin bulgular gizil sınıflar arası ortalama yetenek farkının bir olduğu durumla sınırlandırılmıştır.

 Bu çalışmada gizil sınıflar arasında DMF içermeyen ortak (anchor) madde kullanılmamış olması DMF analizinde istatistiksel gücü düşürebilmesi açısından bir sınırlılık olabilir.

(25)

BÖLÜM 2

KURAMSAL ÇERÇEVE VE İLGİLİ ARAŞTIRMALAR

Bu bölümde K-MTK modellerine ve bu modellere kovaryant değişkenin nasıl dahil edildiğine, parametre kestirim yöntemlerine, gizil modellerin içerdiği temel problemlere ve bunlarla baş etme yöntemlerine ilişkin bilgilere ve araştırmalara yer verilmiştir.

Rasch Model ve Gizil Sınıf Modeli

Karma Rasch modelin bir bileşeni olan Rasch model (RM), Danimarkalı istatistikçi George Rasch (1960) tarafından geliştirilmiştir. Rasch modelde sadece güçlük parametresi kestirilir, madde ayırt edicilikleri ise “1” olarak sabitlenir. Lord (1980) RM’yi Madde Tepki Kuramı modellerinin özel bir hali olarak tanımlamıştır. Modelde, bir maddenin doğru yanıtlanma olasılığı, bireyin yetenek ( ) düzeyi ile maddenin güçlük derecesi () arasındaki farkın lojistik fonksiyonu olarak tanımlanır (Rost, 1990). Rasch modelin matematiksel gösterimi Eşitlik 1’ de sunulmuştur.

( ij 1 j, )i

P y   bexp( )

1 exp( )

j i

j i

b b

  (Eşitlik 1)

Eşitlik 1’ de; j bireyi, i maddeyi,

b

i, i. maddenin güçlüğünü,

j, Rasch modelde birey parametresini temsil etmektedir. yij; birey j’nin i maddesine verdiği gözlenen tepkidir. Rasch modelde madde güçlüğü ve bireyin gizil yeteneği aynı ölçek üzerinde tanımlanarak kestirim yapılır. Şekil 1’de Rasch modelin gizil sürekliliğinin (latent continuum) grafiksel gösterimi sunulmuştur.

(26)

Şekil 1. Rasch Modelin Gizil Süreklilik Ölçeği

Şekil 1’de sunulan gizil ölçekte bireyler yeteneklerine, maddeler de güçlüklerine göre sıralanmıştır. Örneğin, ölçeğin sağında yer alan birey C’nin gizil yeteneği, birey B ve birey A’dan yüksektir. Dolayısıyla test maddelerini doğru yanıtlama olasılığı en yüksek olan birey C’dir ve onu birey B ve birey A takip etmektedir. Benzer şekilde tüm bireyler için en zor olan madde 2, en kolay olan ise madde 1’dir.

Madde Tepki Kuramı modellerinin en önemli varsayımları tek boyutluluk (unidimensionality), monotonluk (monotonicity) ve yerel bağımsızlık (local independence)’tır (Hambleton ve Swaminathan, 1985; Lord, 1980; Lord ve Novick, 1968; Reckase, 1997). Tek boyutluluk, testi oluşturan maddelerin doğru cevaplanma olasılığının sadece bir yetenek türüne bağlı olması durumudur (Crocker ve Algina, 1986;

Embretson ve Reise, 2000; Hambleton ve Swaminathan, 1985; Lord ve Novick, 1968;

Lord, 1980). Bu varsayım gerçekleştiğinde, alt popülasyonlar için koşullu dağılımlar aynıdır (Hambleton ve Swaminathan, 1985). Tetrakorik madde korelasyonları matrisinden yalnızca bir ortak faktörün çıkarılabilmesi durumunda tek boyutluluk varsayımı sağlanmış olur (Lord ve Novick, 1968). Tek boyutluluk varsayımına yönelik en büyük tehdit, bir ölçme aracının bilişsel yapısının birden fazla boyut içermesidir. Bu durumda, çok boyutlu MTK modelleri kullanılabilir (Reckase, 1997, 2009).

Monotonluk, bireyin yeteneği arttıkça maddeye doğru yanıt verme olasılığının artmasıdır (Reckase, 2009). Her bir test maddesi monoton artan olmak durumundadır.

Ancak gerçek verilerde bu varsayımın sağlanması oldukça güç olduğundan, bireyin yeteneği arttıkça madde tepki fonksiyonunun ortalamasının artması olarak tanımlanan zayıf monotonluk varsayımının (Stout, 1987; 1990) gizil özelliğin kestirimi için yeterli olduğu kabul edilmektedir (Sijtsma ve Junker, 2006).

Yerel bağımsızlık, belli yetenek düzeyinde bulunan tüm bireylerin tüm maddelere verdikleri yanıtların birbirlerinden bağımsız olmasıdır (Mokken, 1996). Yerel bağımsızlık, madde bağımsızlığı ve birey bağımsızlığı olmak üzere iki biçimde incelenir.

Madde bağımsızlığı ya da koşullu bağımsızlık, bireylerin tepkilerinin bağımsızlığıdır.

(27)

Yani, belli bir gizil yetenek düzeyinde yer alan bir bireyin herhangi bir test maddesine verdiği tepkinin, o bireyin diğer test maddelerine verdiği tepkiyi etkilememesidir (Reckase, 2009). Diğer bir ifade ile yanıtlardaki tüm sistematik değişimler yanıtlayıcıların gizil yeteneklerindeki farklılıktan kaynaklanmaktadır (Mokken, 1996). Birey bağımsızlığı ya da örnekleme bağımsızlığı (sampling independence) ise herhangi bir bireyin bir maddeye verdiği tepkinin diğer bireyler tarafından o maddeye verilen tepkiden bağımsız olmasıdır (Mokken, 1996). Birlikte ele alındığında yerel bağımsızlık varsayımı, herhangi bir bireyin bir maddeye verdiği tepkinin, yalnızca bireyin gizil yetenek düzeyine ve madde cevap fonksiyonunu tanımlayan madde parametrelerine bağlı olmasını gerektirir (Reckase, 2009). Yerel bağımsızlık varsayımına yönelik en büyük tehdit iç içe geçmiş veri yapısıdır (Jiao, Kamata, Wang ve Jin, 2012). Örneğin başarı testlerinde gözlemlenen hiyerarşik veri yapısı öğrencilerin öğretmenlere, öğretmenlerin okullara yuvalandığı (nested) yapıdır. Bu durumda çok düzeyli MTK (multilevel IRT) modelleri kullanılarak yerel bağımsızlık sorunu giderilebilir. İç içe geçmiş veri yapısının gözlendiği bir diğer durum, popülasyon heterojenliği olarak da tanımlanan bireylerin bir takım gizil özelliklerinden ötürü oluşturdukları gizil alt grupların var olmasıdır. Bu tip veri yapısı bireylerin gizil sınıflara yuvalandığını göstermektedir. Bu durumda standart MTK modelleri ile bireyler arası niteliksel farklılıklar belirlenemeyeceğinden, bireylerin yanıt örüntülerini doğru kestirmek mümkün olmamaktadır (Kelderman ve Macready, 1990;

Mislevy ve Verhelst, 1990; Rost, 1990). Bu sorun karşısında bireyleri heterojen popülasyondan homojen gizil kümelere/sınıflara ayırmaya olanak sağlayan karma MTK modellerinin kullanımı gündeme gelmiştir.

Karma Rasch Modelin bir diğer bileşeni gizil sınıf modelidir (Latent Class Model- GSM) ve bu model Lazersfeld ve Henry (1968) tarafından geliştirilmiştir. Bazı durumlarda bireyler bir takım gizil özelliklerinden dolayı veri setinde yuvalanmış olabilirler. Bireylerin grup üyeliklerinin bilinmediği bu gibi durumlarda onlara ait belirli kategorik değişkenler kullanılarak yeni örtük sınıf değişkenleri oluşturmak mümkündür (Lubke ve Muthen, 2005; Mislevy ve Huang, 2006). Gizil sınıf analizinin amacı, iki kategorili veriler için heterojen bir örneklem içinde homojen gruplar tanımlamaktır. Bu nedenle GSM sosyal bilimlerde nicel verilerin analizinde çok faydalı bir istatistiksel model olarak nitelendirilmektedir (Dayton, 1999; McCutcheon, 1987).

Standart gizil sınıf modeli, spesifik bir gizil sınıfta bulunma olasılığı (latent class probabilities) ve gözlenen değişkenin belirli bir tepki örüntüsünün gizil bir sınıfa ait olma koşullu olasılığı (conditional probabilities) olmak üzere iki temel parametreye sahiptir.

(28)

X, J sayıda ( j1, 2, , ,J) kategoriden oluşan gözlenen değişkeni; Y , sınıf sayısı T sayıda (t1, 2, , ,T ) kategoriden oluşan gizil değişkeni temsil etmek üzere; bir gözlemin/bireyin, Y örtük değişkeninin t. sınıfında, X gözlenen değişkeninin j., kategorisinde olma birleşik olasılığı (joint probability) Eşitlik 2’ de sunulmuştur (Finch ve French, 2015).

1, 2, 3,..., ,

1,2,3,...,

j j

X X X X Y T Y X Y

jt t jt

t

     

(Eşitlik 2)

Y

t : Rastgele seçilen bir bireyin/gözlemin Y’nin t. sınıfında olma olasılığı,

X Yj

jt : X’in j. kategorisinde yer alan bir bireyin/gözlemin, Y’nin t. sınıfında olma koşullu olasılığıdır.

Gizil sınıf modelinin ilk temel varsayımı, popülasyonun bağımsız ve homojen örneklemlerden oluştuğudur. Gizil değişkenin bir sınıfta (T =1) tanımlanması gözlenen değişkenlerin bağımsız olduğu anlamına gelmektedir, dolayısıyla gizil sınıf analizinin uygulanabilmesi için tanımlanan sınıf sayısının en az iki olması gerekmektedir (McCutcheon, 1987).

Modelin diğer bir varsayımı olan yerel bağımsızlık ise, sınıf üyelikleri üzerinde koşullu madde yanıtlarının istatistiksel olarak bağımsız olmasıdır (Vermunt, 2010). Diğer bir ifade ile maddelere verilen tepkiler arasındaki ilişki ancak ve ancak gizil özellikle olan ilişkiye bağlıdır. Bu varsayım sınıfiçi homojenlik için gereklidir.

Rasch model ve gizil sınıf modelinin her ikisi de iki kategorili kesikli verileri analiz etmek için kullanılsa da temelde varsayımları oldukça farklıdır. Rasch modelde madde parametreleri her birey için değişmezdir yani parametrelerin her birey için homojenliği söz konusudur. Gizil sınıf modelinde ise farklı sınıflardaki bireyler tamamen farklı madde parametrelerine sahip olabilirler. Öte yandan GSM’de bireysel farklılıklar kısıtlı sayıda sınıf ile açıklanmaya çalışılır. Madde tepki modellerinde her birey gizil ölçek üzerinde belli bir noktada yer almakta iken GSM’de bir gizil sınıftaki tüm bireyler bir maddeye tepki verme olasılığı açısından aynı olarak değerlendirilir (Rost ve Langeheine, 1997).

(29)

Karma MTK Modelleri

Gizil sınıf modellerinin en büyük zayıflığı, bir gizil sınıftaki her bireyin aynı tepki olasılığına sahip olduğu varsayımıdır. Gizil sınıf modellerindeki bu kısıtın giderilmesi için 1990’lı yılların başında gizil özellik modellerinin (latent trait models) birleştirilmasine dayalı yapılan bazı önemli çalışmalar (Kelderman ve Macready, 1990;

Mislevy ve Verhelst, 1990; Yamamoto, 1987), K- MTK modellerinin geliştirilmesinde öncü olmuştur.

Karma MTK modelleri temelde geleneksel Madde Tepki Kuramı modelleri ile gizil sınıf analizinin bir birleşimidir (Cohen ve Bolt, 2005). İlk çalışmalar, Rasch model ile gizil sınıf modelinin birleştirilmesine odaklanmıştır (Clogg, 1988; Forman, 1985,1989). Buradaki temel yaklaşım Rasch model kullanarak her bir sınıf için tepki davranışının tanımlanması ve her bir gizil sınıfa özgü farklı parametre değerlerinin kestirilmesidir (Mislevy ve Verhelst, 1990; Rost, 1990; von Davier ve Rost, 2006). K- MTK modelleri, bireyin yeteneği ve gizil sınıf üyeliği ile her bir gizil sınıf için madde tepki fonksiyonlarının eş zamanlı olarak hesaplanmasına olanak sağlar. Her bir sınıftaki bireyler benzer özelliklere sahiptir ve model parametreleri sınıflar arasında farklılaşmaktadır. Böylelikle MTK’nın tek nitelikli homojen dağılım ve madde parametrelerinin değişmezliği varsayımları esneklik kazanmıştır (Cho, 2013).

Karma MTK modellerinde doğru yanıtlama olasılığı, her bir gizil sınıf için doğru yanıtlama olasılıklarının ağırlıklı toplamı alınarak hesaplanır. Eşitlik 3’de K-MTK modele göre maddeyi doğru cevaplama olasılığına ait formül yer almaktadır.

g, ggizil sınıfına ait olan bireylerin oranıdır ve

1 G

g g

=1 olarak kısıtlandığında, P y( ijg 1j, )g ; g gizil sınıfında yer alan j bireyinin i maddesini doğru yanıtlama olasılığı elde edilir.

( ij 1 j) P y  

1

( 1 , )

G

g ijg j

g

P y g

 

(Eşitlik 3)

Karma Rasch Model

Karma Rasch model, Rost (1990) tarafından geliştirilmiştir. Modelin amacı bireyin ait olduğu sınıf ile madde ve yetenek parametrelerini eşzamanlı olarak kestirmektir (Cohen ve Bolt, 2005; Mislevy ve Verhelst,1990; Rost, 1990).

(30)

Karma Rasch model, alt grupların niteliksel farklılıklarını maksimize ederek bireylerin gizil sınıflara ayrıştırılmasına olanak sağlar. Ayrıca, bireylerin niteliksel farklılıkları dikkate alınarak eşzamanlı olarak bireysel yetenekler bir süreklilikte ölçülür.

KRM’de her bir örtük sınıfın Rasch modele uyum gösterdiği varsayılır.

Karma Rasch modele ilişkin doğru yanıtlama olasılığı Eşitlik 4’de sunulmuştur.

Birey j’nin i maddesini doğru yanıtlama olasılığı, sınıfa özgü madde parametresi, bireyin gizil yeteneği ve bireyin gizil sınıf üyeliğine bağlıdır.

( ij 1 jg, ig, ) P y   b g

1

exp( )

1 exp( )

G

jg ig

g

g jg ig

b b

 

 

(Eşitlik 4)

Eşitlik 4’te;

jg, bireyj’nin g sınıfındaki gizil yeteneği; big, g sınıfına özgü madde güçlük parametresidir. KRM’nin tanımlanabilmesi için birtakım kısıtlar uygulanmalıdır.

Birinci kısıt; gizil sınıf indeksi oranlarının toplamının 1’e eşitlenmesidir (

1 G

g g

=1,

0

g 1). İkincisi ise, her bir sınıfa özgü madde güçlük parametrelerinin toplamının

sıfıra ( 0

I ig i

b  ) eşitlenmesidir (Cho ve Cohen, 2010). Ayrıca

jg’nin alt indisinde bulunan g, bireylerin gizil sınıf üyeliğine ilişkin tek bir yetenek parametresi olduğundan yok sayılabilir. Bayes kestiriminde gizil sınıf üyeliği oranı sonsal multinominal dağılımdan yararlanılarak kestirilir.

Şekil 2. Karma Rasch Modelin Gizil Süreklilik Ölçeği

(31)

Şekil 2’de KRM’nin gizil sürekliliğinin temsiline yer verilmiştir. Önceki bölümlerde de dile getirildiği üzere, KRM’de madde parametreleri sınıfa özgü kestirilir.

Örneğin, Gizil Sınıf 1’de ikinci maddenin gizil süreklilikte/ölçekte en sağda yer aldığı, dolayısıyla en güç madde olduğu görülürken, Gizil Sınıf 2’de bu madde ölçeğin sol tarafında yer alan kolay bir maddedir. KRM ayrıca bireylerin gizil sınıflara ait olma olasılıklarını hesaplar. Birey, yer alma olasılığı en yüksek olan gruba atanır. Buna göre A, B, C bireylerinin birinci gizil sınıfta bulunma olasılıkları; D, E, F bireylerinin ise ikinci sınıfta bulunma olasılıkları daha yüksek olduğundan, bireyler ilgili sınıflara atanmıştır.

Herhangi bir bireyin yalnızca belirli bir gizil sınıfta yer aldığı kesin olmakla birlikte hangi gizil sınıfa ait olduğu önceden bilinmemektedir.

Karma MTK modellerinin önemli bir avantajı sınıfiçi ve sınıflararası heterojenliği iyi düzeyde tanımlayabilmesidir. Sınıf üyeliğinin, gizil gruplar arasındaki tepki kategorilerinin niteliksel farklılıklarını, yeteneğin de gizli grup içindeki bireyler arasındaki nicelik farklılıklarını yansıtabildiği düşünülmektedir. K-MTK modelleri bu avantajlarının yanı sıra bazı sınırlıklar açısından da eleştirilmektedir. Choi (2010), her birey için gizil sınıf üyeliği ve yetenek parametresi kestiriminin yanı sıra her sınıf için de madde parametre kestirimi yapıldığından sınıf sayısı arttıkça kestirilen parametre sayısının arttığını ve artan parametre sayısının model kestirim doğruluğunu etkileyebileceğini belirtmiştir. Ayrıca bu durum, ikiden fazla gizil sınıf tanımlandığında modeli yorumlamayı zorlaştırır. Dolayısıyla tahmin edilecek parametrelerin sayısının model kestirim doğruluğuna olumsuz etkisinden kaçınmak için geniş örneklemlerde çalışmak gerekmektedir (Li, Cohen, Bottge ve Templin, 2015).

Karma Rasch Modele Kovaryant Değişkenin Dahil Edilmesi

Genel olarak gizil değişkenli karma modellere kovaryant değişken sınıf değişkeninin yordayıcısı veya gizil yetenek değişkeninin yordayıcısı olarak iki şekilde dahil edilebilir. Şekil 3’de K-MTK modellerinde gizil sınıf, yetenek ve kovaryant değişkenleri arasındaki ilişkinin temsili grafiğine yer verilmiştir (Tay, Newman ve Vermunt, 2011).

(32)

Şekil 3. Kovaryantın Dahil Edildiği Karma Rasch Modelin Grafiksel Gösterimi

Şekil 3’de g gizil sınıfı,  yeteneği,

c

bireylerin gözlenen özelliğine (kovaryant) ilişkin vektörü ve

y

i gösterge değişkenleri temsil etmektedir. Yol 1 gizil sınıf üyeliğinin kestirimini, yol 2 ise gizil değişkenin kovaryant değişkene bağlı kestirimini temsil etmektedir. Yol 3 ve yol 4 sırasıyla bireylerin bulundukları gizil sınıfa bağlı tepkilerini ve gözlenen özelliklerine bağlı tepkilerini temsil etmektedir. Diğer bir ifade ile 3. yol gizil DMF, 4. yol ise gözlenen DMF’ye karşılık gelmektedir. Yol 5 ise bireylerin bulundukları gizil sınıfa dayalı yetenek kestirimini temsil eder ve yetenek kestirimi genellikle gizil sınıflar arasındaki ortalama yetenek farkı olarak tanımlanır.

Karma MTK modellerine dahil edilen kovaryant değişkenler genellikle gözlenen değişkenlerdir. Bu değişkenler K-MTK modele bir lojistik regresyon fonksiyonu aracılığıyla gizil sınıf üyeliğinin bir yordayıcısı

g ya da bir lineer lojistik regresyon fonksiyonu aracılığıyla gizil özelliğin

ig bir yordayıcısı olarak dahil edilebilir (Dai, 2013; Li vd., 2015; Tay vd., 2011).

Eşitlik 5’de ve 6’da iki kategorili bir kovaryant değişkenin KRM’ye gizil sınıf üyeliğinin bir yordayıcısı olarak dahil edildiği lojistik fonksiyona yer verilmiştir (Lubke ve Muthen, 2005).

logit(

jg)

0g

1gcj (Eşitlik 5)

0 1

0 1

1

exp( )

exp( )

g g j

jg G

g g j

g

c c

 

 

 

 (Eşitlik 6)

(33)

Eşitlik 6’da cj j bireyi için kovaryant değişken değerini (örneğin cinsiyeti); G , gizil sınıf sayısını;

0 g ve

1g lojistik regresyon katsayılarını temsil etmektedir. Karma MTK modele Eşitlik 6 dahil edildiğinde kovaryant değişkenin eklendiği karma MTK modeline ait formül Eşitlik 7’deki gibi tanımlanmaktadır.

( ij 1 jg, ig, )

P y   b g0 1

1

0 1

1

exp( ) exp( )

1

1 exp( )

exp( )

G g g j jg ig

G

g J jg ig

g g j

g

c b

J b

c

  

  

 

    

  

     

 

 

  

(Eşitlik 7)

Bu simülasyon çalışması iki gizil sınıf üzerinden yürütülmüştür. Dolayısıyla

jg

sınıflama indeksinin, j bireyi için, g=1 ya da g=2 olmak üzere iki çıktı kategorisi bulunmaktadır. Buna göre

j1 , j bireyinin birinci gizil sınıfa ait olma olasılığını;

j2, ise j bireyinin ikinci gizil sınıfa ait olma olasılığını göstermektedir. Eşitlik (6)’nın

j1

ve

j2 için yeniden düzenlenmiş hali Eşitlik 8 ve 9’da sunulmuştur.

01 11

1 2

0 1

1

exp( )

( 1 )

exp( )

j

j j

g g j

g

P g c c

c

 

 

   

 (Eşitlik 8)

02 12

2 2

0 1

1

exp( )

( 2 )

exp( )

j

j j

g g j

g

P g c c

c

 

 

   

 (Eşitlik 9)

Eşitlik 8 ve 9 modele dahil edildiğinde modelin tanımlanabilmesi için, modelde birinci gizil sınıfın regresyon katsayıları, kesen ve eğim (01 0 11 0), sıfıra kısıtlanır (Bock, 1972). Eşitlik 8 ve 9’a bu kısıtın uygulanması sonucunda, j bireyinin sırasıyla birinci ve ikinci sınıfta olma olasılıkları Eşitlik 10 ve 11’de sunulmuştur.

1

02 12

exp(0 0 ) ( 1 )

exp(0 0 ) exp( )

j

j j

j j

P g c xc

xc c

  

   

  

02 12

1

1 exp(  cj)

   (Eşitlik10)

(34)

02 12 2

02 12

exp( )

( 2 )

exp(0 0 ) exp( )

j

j j

j j

P g c c

xc c

 

  

   

  

= 02 12

02 12

exp( )

1 exp( )

i i

c c

 

 

  (Eşitlik 11)

Bu çalışmada modele iki kategorili (0-1) bir kovaryant değişken dahil edilmiştir.

Dolayısıyla belirli bir j bireyi cj, cj =1 ya da cj=0 değerini alır. Eşitlik 12 ve 13’de sırasıyla, j bireyine ait kovaryant değerinin sıfır olduğu cj=0 durumda j bireyinin 1.

veya 2. gizil sınıfta olma olasılığı; Eşitlik 14 ve 15’de ise sırasıyla, j bireyine ait kovaryant değerinin bir olduğu cj=1 durumda, j bireyinin 1. veya 2. gizil sınıfta olma olasılığı gösterilmiştir.

1

02 12

exp(0 0 0)

( 1 0)

exp(0 0 0) exp( 0)

j j

P g c x

x x

  

    

   02

1 1 exp( )

  (Eşitlik 12)

02 12

2

02 12

exp( 0)

( 2 0)

exp(0 0 0) exp( 0)

j j

P g c x

x x

 

  

    

  

02

02

exp( ) 1 exp( )

 

 (Eşitlik 13)

1

02 12

exp(0 0 1)

( 1 1)

exp(0 0 1) exp( 1)

j j

P g c x

x x

  

    

   02 12

1 1 exp(  )

   (Eşitlik 14)

02 12

2

02 12

exp( 1)

( 2 1)

exp(0 0 1) exp( 1)

j j

P g c x

x x

 

  

    

   0202 1212

exp( ) 1 exp( )

 

 

 

  (Eşitlik 15) Kovaryant değişkenin modele dahili, kovaryant değişkenin türüne ve modelde yordadığı değişkene göre farklı yöntemlerle yapılabilir. Bu çalışmada KRM’ye iki kategorili bir kovaryant değişken multinominal lojistik regresyon fonksiyonu aracılığı ile gizil sınıf üyeliğinin bir yordayıcısı olarak eklenmiştir.

Karma MTK Modellerinin Kestirimi

Modellemede temel amaç veri yapısını en iyi tanımlayan matematiksel modeli kullanmaktır. İstatistiksel çıkarımlarda sıklık yaklaşımı (frequentist inference) ve Bayes yaklaşımı olmak üzere iki temel yaklaşım kullanılmaktadır. Sıklık yaklaşımında, model parametrelerinin sabit ve gerçek değerlerinin bilinmediği; kestiriminin ise rastgele

Şekil

Updating...

Referanslar

Benzer konular :