Bilgisayar Ortamında Bireye Uyarlanmış
Testler
Selma ŞENEL
2. Baskı
Dr. Öğr. Üyesi Selma ŞENEL
BİLGİSAYAR ORTAMINDA BİREYE UYARLANMIŞ TESTLER ISBN 978-625-7676-86-1
DOI 10.14527/9786257676861 Kitap içeriğinin tüm sorumluluğu yazarına aittir.
© 2021, PEGEM AKADEMİ
Bu kitabın basım, yayım ve satış hakları Pegem Akademi Yay. Eğt. Dan. Hizm. Tic. A.Ş.'ye aittir.
Anılan kuruluşun izni alınmadan kitabın tümü ya da bölümleri, kapak tasarımı; mekanik, elektronik, fotokopi, manyetik kayıt ya da başka yöntemlerle çoğaltılamaz, basılamaz ve dağıtılamaz. Bu kitap, T.C. Kültür ve Turizm Bakanlığı bandrolü ile satılmaktadır. Okuyucularımızın bandrolü olmayan kitaplar hakkında yayınevimize bilgi vermesini ve bandrolsüz yayınları satın almamasını diliyoruz.
Pegem Akademi Yayıncılık, 1998 yılından bugüne uluslararası düzeyde düzenli faaliyet yürüten uluslararası akademik bir yayınevidir. Yayımladığı kitaplar; Yükseköğretim Kurulunca tanınan yükseköğretim kurumlarının kataloglarında yer almaktadır. Dünyadaki en büyük çevrimiçi kamu erişim kataloğu olan WorldCat ve ayrıca Türkiye’de kurulan Turcademy.com tarafından yayınları taranmaktadır, indekslenmektedir. Aynı alanda farklı yazarlara ait 1000’in üzerinde yayını bulunmaktadır.
Pegem Akademi Yayınları ile ilgili detaylı bilgilere http://pegem.net adresinden ulaşılabilmektedir.
1. Baskı: Mayıs 2021, Ankara 2. Baskı: Ekim 2021, Ankara Yayın-Proje: Zeynep Güler Dizgi-Grafik Tasarım: Tuğba Kaplan
Kapak Tasarımı: Pegem Akademi
Baskı: Ay-bay Kırtasiye İnşaat Gıda Pazarlama ve Ticaret Ltd. Şti.
Çetin Emeç Bulvarı 1314. Cadde No: 37A-B Çankaya/ANKARA Tel: (0312) 472 58 55
Yayıncı Sertifika No: 36306 Matbaa Sertifika No: 46661
İletişim
Macun Mah. 204. Cad. No: 141/A-33 Yenimahalle/ANKARA Yayınevi: 0312 430 67 50
Dağıtım: 0312 434 54 24 Hazırlık Kursları: 0312 419 05 60
İnternet: www.pegem.net E-ileti: pegem@pegem.net WhatsApp Hattı: 0538 594 92 40
“Biz her şeyi gençliğe bırakacağız... Geleceğin ümidi, ışıklı çiçekleri onlardır.”
Mustafa Kemal Atatürk
…ışıklı çiçeğim, kızım Asya’ya
Dr. Öğr. Üyesi Selma ŞENEL
Lisans eğitimini Hacettepe Üniversitesi Eği- tim Fakültesi, Bilgisayar ve Öğretim Teknolojileri alanında 2008 yılında tamamlamıştır. 2008-2012 yılları arasında Ankara’da, Millî Eğitim Bakanlığı- na bağlı bir ilköğretim kurumunda bilişim tekno- lojileri formatör öğretmenliği yapmıştır. Ankara Üniversitesi Eğitimde Ölçme ve Değerlendirme ana bilim dalından 2011 yılında yüksek lisans de- recesini, 2017 yılında doktora derecesini almıştır.
2012 yılında Balıkesir Üniversitesindeki görevine başlayarak, Bilgi İşlem Uygulama ve Araştırma Merkezinde 2019 yılına kadar akademik uzman olarak görev yapmıştır. 2019 yılından beri mer- kezin müdürlük görevini yürütmektedir. 2019 yı- lında, Balıkesir Üniversitesi Necatibey Eğitim Fa- kültesi Eğitim Bilimleri bölümüne Dr. Öğr. Üyesi
olarak atanmıştır. Hâlen aynı bölümde görev yapan yazar, eğitimde ölçme ve de- ğerlendirmede teknoloji kullanımı, bilgisayar ortamında bireye uyarlanmış test- ler ve özel gereksinimli öğrencilerin başarılarının belirlenmesi temelinde bilimsel çalışmalarını aktif olarak sürdürmektedir.
ORCID No: 0000-0002-5803-0793
ÖN SÖZ
Günümüz dünyasında bilim, teknoloji, medya, eğitim gibi birçok alan bireyi temel alan yaklaşımları benimsemektedir. Eğitimde farklı özellikleri barındıran öğrencilerin bir arada olması yaklaşımı ile sınıflar bütünleşirken, bütünleşmiş sı- nıflardaki öğrenciler için bireysel planlar hazırlanmaktadır. Günlük yaşamımızda kullandığımız iletişim araçları bireysel tercihlerimiz doğrultusunda bireye özel içerikleri sunmaktadır. Bireysel farklılıkların değerli olduğu ve geliştirilmesi ge- rektiği genel olarak kabul gören bir olgu haline gelmiştir.
Bireyin öne çıktığı yaklaşım Eğitimde Ölçme ve Değerlendirme alanında da kabul görmektedir. Bilgisayar ortamında bireye uyarlanmış testler (BOBUT) güçlü psikometrik temellerle geleneksel testlere göre daha geçerli ve güvenilir sonuçlar sunarken, gelişen teknolojik seçeneklerin yansıtılabileceği, geleceğin test yaklaşı- mı olarak görülmektedir. Bireye özgü test uygulamasının çok sayıda avantajı ki- tapta siz değerli okurlara aktarılmaya çalışılmıştır.
BOBUT’un psikometrik gücünün yanında, bilgisayar tabanlı olması da bi- reysel uygulamalar için önemli potansiyeller taşımaktadır. Özel gereksinimli bireylerin testleri okuyucu, işaretleyici, büyük punto gibi düzenlemelerle alma gereksinimleri bilgisayar teknolojisi ile rahatlıkla karşılanabilecek özelliklerdir.
BOBUT, günümüzde testlerin tüm bireylerin erişebilecekleri şekilde tasarlanma- sının hedeflenmesi gerektiğini vurgulayan “evrensel test tasarımı”na yaklaşılması için önemli bir ortam sunmaktadır.
Bu kitap, günümüzün ve geleceğin test yaklaşımı diyebileceğimiz BOBUT’un psikometri alanında daha sıklıkla yer almasına ve uygulanmasına katkı getirece- ği düşünülerek kaleme alınmıştır. BOBUT tüm yönleriyle genel bir perspektifte ele alınmış, araştırmacı ve uygulayıcılara yol haritası çizmek amaçlanmıştır. Oku- yucuların, BOBUT üzerinde çalışan değerli bilim insanı arkadaş ve hocalarımın, eleştiri, katkı ve önerilerinin, kitabın gelişimine katkı sunacağını bilerek, mutlu- lukla karşılanacağını belirtmek isterim.
Bilim ve akademi yolunda her zaman ışığı ile yolumu aydınlatan, saygıdeğer ve kıymetli hocam Dr. Öğr. Üyesi Ömer KUTLU’ya, bu kitabın ortaya çıkmasında da bana ışık tuttuğu için çok teşekkür ederim. Geleceğe ümitle bakmayı, öğrenme ve üretme sevgisini aşılayan tüm öğretmenlerime de teşekkür ederim. Her zaman gönül desteği ile yanımda olan ve kitabı okuyarak katkı sunan sevgili eşim Dr.
Öğr. Üyesi Hüseyin Can ŞENEL’e ve canım arkadaşım, meslektaşım Dr. Öğr. Üyesi Emine Burcu TUNÇ’a teşekkürü borç bilirim.
Dr. Öğr. Üyesi Selma ŞENEL ORCID No: 0000-0002-5803-0793
İÇİNDEKİLER
Dr. Öğr. Üyesi Selma ŞENEL ...iv
Ön Söz ...v
Kısaltmalar ve Tanımlar ... xi
1. BÖLÜM GİRİŞ Giriş ...1
2. BÖLÜM BİREYE UYARLANMIŞ TESTLERİN TARİHÇESİ Bireye Uyarlanmış Testlerin Tarihçesi ...5
3. BÖLÜM GÜÇLÜ VE SINIRLI YÖNLERİYLE BOBUT Güçlü Yönleri ile BOBUT ... 13
Güvenirlik ... 13
Kısa Test ve Test Süresi ... 14
Puanların Karşılaştırılabilirliği ... 15
Test Zamanı ve Programı ... 15
Test Güvenliği ... 16
Psikolojik Etkiler ... 17
Bilgisayar Tabanlı Olması Açısından Güçlü Yönleri ... 18
Sınırlı Yönleriyle BOBUT ... 20
Geniş Madde Havuzu Gerekliliği ... 20
Toplumun Olumsuz Algısı ... 20
Bilgisayar Tabanlı Olması Açısından Sınırlı Yönleri... 21
4. BÖLÜM ERKEN DÖNEM BİREYE UYARLAMA STRATEJİLERİ Çok Düzeyli Test (Multilevel Testing) ... 24
Değişimlemeli Test (Flexilevel Testing) ... 24
Piramitsel Test (Pyramidal Testing) ... 26
Tabakalı Test (Stratified/Stradaptive Testing) ... 28
viii Bilgisayar Ortamında Bireye Uyarlanmış Testler
Kendi Kendine Uyarlamalı Test (Self Adaptive Testing) ... 30
Çok Aşamalı Test (Multi Stage Testing) ... 30
5. BÖLÜM MTK’YA DAYALI BOBUT’UN PSİKOMETRİK TEMELLERİ Yaygın Kullanılan MTK Modelleri ve Model Seçimi ... 34
Tek Boyutlu MTK Modelleri ... 36
İki Kategorili Puanlanan Modeller ... 36
Bir Parametreli Lojistik Model ... 38
İki Parametreli Lojistik Model ... 38
Üç Parametreli Lojistik Model ... 38
Dört Parametreli Lojistik Model ... 39
Çok Kategorili Puanlanan Modeller ... 40
Çok Boyutlu MTK Modelleri ve Diğer Modeller ... 42
Model Seçimi ... 42
MTK'nın Temel Özellikleri ... 44
Madde ve Yetenek Parametrelerinin Değişmezliği ... 46
MTK'da Güvenirlik ... 46
MTK Varsayımlarının İncelenmesi ... 47
Tek Boyutluluk ... 48
Yerel Bağımsızlık ... 50
Madde ve Yetenek Parametrelerinin Değişmezliği ... 51
Model Uyumu ... 52
Testin Hız Testi Olmaması ... 54
6. BÖLÜM MTK’YA DAYALI BOBUT GELİŞTİRME Madde Havuzu ... 57
Test Geliştirme ... 57
Madde Havuzu Genişliği ... 59
Deneme Uygulaması ... 61
Madde Parametrelerinin Kestirimi ... 63
Ortak Maksimum Olabilirlik ... 63
Koşullu Maksimum Olabilirlik ... 64
Marjinal Maksimum Olabilirlik ... 64
BOBUT Algoritması ... 65
ix İçindekiler
Giriş Kuralı ... 66
Yetenek Kestirim Yöntemi ... 68
EYO Yöntemi Yetenek Kestirimi Örnek Uygulaması ... 70
Madde Seçme Kuralı ... 76
En Yüksek Fisher Bilgisi ... 77
En Uygun b Değeri (bOpt) ... 79
En Yüksek Olabilirlik Ağırlıklandırılmış Bilgisi ... 79
En Yüksek Sonsal Ağırlıklandırılmış Bilgisi ... 79
Kullback-Leibler Sapma Kriteri ... 79
En Yüksek Beklenen Bilgi ... 79
En Uygun Yetenek (thOpt) ... 79
İlerlemeli Yöntem ... 80
Oransal Yöntem ... 80
Test Sonlandırma Kuralı ... 80
Standart Hata Yöntemi ... 81
Sabit Uzunluk Yöntemi ... 82
En Az Bilgi Yöntemi ... 82
i'ya Yakınlaştırma Yöntemi ... 82
Sınıflandırma Kriteri Yöntemi ... 82
Üzerinde Durulması Gereken Diğer Hususlar ... 83
Madde Kullanım Sıklığı Kontrolü ... 84
Tesadüfi Seçme Yöntemleri ... 85
Koşullu Seçme Yöntemleri ... 85
Tabakalı Yöntemler ... 85
Birleştirilmiş Yöntemler ... 86
Çok Aşamalı Bireyselleştirilmiş Test Desenleri ... 86
İçerik Dengeleme ... 86
Örnek BOBUT Algoritması ... 88
7. BÖLÜM YAZILIMSAL SEÇENEKLER VE UYGULAMALAR Madde Kalibrasyonunda Kullanılabilecek Yazılımlar ... 91
R’da Madde Kalibrasyonu ... 93
Çalışma Dizini Belirleme, R Paketi ve Veri Tanıtımı ... 94
Model Uygulama ve Tek Boyutluluk Analizi ... 96
Yerel Bağımsızlık Analizi ... 98
Model Uyumu Analizleri ... 99
BOBUT Simülasyon Yazılımları ... 102
x Bilgisayar Ortamında Bireye Uyarlanmış Testler
catR ile Simülasyon Uygulamaları ... 104
Madde Havuzu Simülasyonu ... 104
Yanıt Örüntüsü Simülasyonu ... 106
BOBUT Simülasyonu ... 107
BOBUT Uygulama Yazılımları ... 116
BOBUT Sistem Tasarımında Önemli Hususlar ... 117
Teknolojik Olanakların Denkliği ... 117
Arayüz Tasarımı ... 118
Test Düzenlemeleri ... 119
Yanıtlama ... 120
Verilerin Kaydedilmesi ... 121
Yazılım Testi ... 122
Okuma Önerileri ... 123
Kaynakça ... 125
KISALTMALAR VE TANIMLAR
BOBUT : Bilgisayar Ortamında Bireye Uyarlanmış Test
KTK : Klasik Test Kuramı
MTK : Madde Tepki Kuramı
ÇAT : Çok Aşamalı Test
EYO : En Yüksek Olabilirlik
EFB : En Yüksek Fisher Bilgisi
SBK : Bayesçi Sonsal Beklenti Kestirimi
EYSK : Bayesçi En Yüksek Sonsal Kestirim
MKE : Madde Karakteristik Eğrisi
Yetenek : Madde Tepki Kuramı’nda ölçülen gizil özellik (θ), alanyazın- da yetenek veya yeterlik olarak belirtilmektedir. Bu kaynakta da yeterlik ve yetenek terimleri gizil özelliği ifade eder biçimde, birbiri yerine kullanılmıştır.
Kalibrasyon : Madde ve yetenek parametrelerinin kestirilmesi sürecinde ya- pılan matematiksel işlemlerin tamamını ifade etmektedir.
Günümüzde tüm alanlarda doğru karar verebilmek için “ölçme” vazgeçilmez bir önem arz etmektedir. Bir doktorun hastasına doğru tanı koyabilmek için kan değerlerine ilişkin ölçümleri incelemesi gerekir. Meslek seçiminde desteğe ihtiyaç duyan bir birey kendi yeterlik ve ilgisinin hangi yönde olduğunun belirlenmesi için ölçme sonuçlarına ihtiyaç duymaktadır. Bir firma, bünyesinde çalıştırmak üzere personel istihdam etme sürecinde başvuranların iş için gerekli yeterliği sağ- layıp sağlamadığını tespit etmek için ölçmeye gereksinim duyar. Eğitimin niteli- ğine ilişkin uluslararası karşılaştırmalar yapabilmek için ölçme yapılmaktadır. Bir yazılımın kullanışlılığının, çalışanların performansının, öğretimin etkililiğinin, öğrenme düzeyinin, kurumun niteliğinin belirlenmesi için de ölçme yapılmak- tadır. Ölçme sonuçları doktorun tanı koyması, bir mesleğe yönelme, bir diplo- ma alma, personel alma gibi bireyin yaşamında oldukça kritik olan kararlarda rol üstlenmektedir. Bu kritik roller “ölçme” sonuçlarının geçerliğinin önemine vurgu yapmaktadır.
Test, ölçme araçlarına verilen genel bir isimdir. Testlerde bireylerin belirli uyaranlara verdikleri tepkilerden yola çıkarak ölçme konusu özelliğin düzeyi hak- kında bilgi elde etmek amaçlanır. Örneğin, bireyin okuduğunu anlama yeterliğini ölçen testte bireye okuma parçaları sunularak, okuma parçasını anlama düzeyini gösterecek bazı sorular yöneltilir. Bireyin verdiği yanıtlar, okuduğunu anlama dü- zeyi hakkında bilgi verir. Testler geleneksel olarak kağıt-kalem formunda ve grup testi olarak uygulanır. Bir başka anlatımla çok sayıda birey, aynı test oturumunda, aynı test formunu alır. Aynı maddelerden oluşan bu test yaklaşımı doğrusal test (linear testing) (Magis, Yan ve von Davier, 2018) veya sabit madde testi (fixed item testing) (Ortner ve Caspers, 2011) olarak da anılabilmektedir. Sözgelimi okuduğu- nu anlama testi tüm sınıfa uygulanır ve sonuçlar öğrencilerin okuduğunu anlama yeterliği hakkında veri sunar. Türkiye’de milyonlarca adayın başvurduğu (Ölçme Seçme ve Yerleştirme Merkezi, 2020a) üniversite giriş sınavları da geleneksel test olarak uygulanmaktadır. Tüm öğrenciler aynı anda ilgili sınavları almaktadır. An- cak “tek ya da eşdeğer formlardan oluşan geleneksel testler farklı yeterlik düzeyin- deki bireylerin yeterliklerini aynı kesinlikle ve yüksek geçerlilikte ölçebilir mi?”
1. BÖLÜM
GİRİŞ
sorusu yirminci yüzyılın başından beri psikometri alanyazınında tartışılmaktadır (R. M. Thorndike, 1990).
Temelleri, modern ölçme kuramı olarak da anılan Madde Tepki Kuramı (MTK)’na dayanan bireye uyarlanmış test yaklaşımı en basit anlatımla bireyin ye- terlik düzeyi ile bireye yöneltilen maddelerin güçlük düzeylerini eşleştirerek daha geçerli ölçmeler yapabilmeyi sağlamaktadır. Başka bir ifadeyle her bir bireye, ye- terlik düzeyine uygun güçlükte maddeler sunulmaktadır. Yeterlik düzeyinin çok üstünde ya da çok altında madde sunulmadığı için bireyin yeterliği hakkında daha fazla bilgi elde edilebilmektedir. Birey hakkında daha fazla bilgi elde edilmesi ise daha geçerli ölçme sonuçları demektir. Bireye uyarlanmış test yaklaşımı günümüz psikometri bilimi ve uygulamaları içerisinde oldukça önemli bir yer tutmaktadır.
Bilgisayar teknolojisinin gelişmesi ile birlikte tarihsel süreç içerisinde yaygınlığı gidererek artmış ve bilgisayar ortamında bireye uyarlanmış testler (BOBUT) olarak anılmaya başlamıştır.
Bireye uyarlanmış testlerin, geleneksel testlere göre bir dizi avantajı bulun- maktadır. Bireysel güvenirlik kestirimi, daha kısa testlerle yüksek güvenirlikle kes- tirim, test eşitlemeye gereksinim duymadan puanların karşılaştırılabilirliği, test programında esneklik sağlaması BOBUT’un temel güçlü yönleridir. Bu listeye, bil- gisayar tabanlı olması sayesinde test düzenlemelerinin kolaylıkla uygulanabilme- si, anında dönüt gibi avantajları da eklenmektedir. Üçüncü bölümde, BOBUT’un güçlü ve sınırlı yönleri ayrıntıları ile ele alınmıştır.
BOBUT, bireyin yeterlik düzeyine göre bireyin karşısına gelecek testin de- ğiştiği bir yaklaşımdır. Bireyin maddelere verdiği yanıtların doğru olup olma- masından yola çıkarak bireyin yeterlik düzeyi hakkında bir ara bilgi elde edilir.
Sonraki maddelerde de bu bilgiden yararlanarak birey hakkında daha fazla bilgi veren maddelerin uygulanması ve daha fazla bilgi elde edilmesi amaçlanır. Şekil 1’de MTK tabanlı temel bir BOBUT uygulamasının iki kategorili puanlanan mad- delerde işleyişinin grafiksel gösterimi yer almaktadır.
2 Bilgisayar Ortamında Bireye Uyarlanmış Testler
+2,0 +1,0 +0,5
-0,5 -1 -1,5 -2,0 -2,5
1
0 2 3 4 5
Uygulanan Maddeler Yeterlik düzeyinin çok üstündeki maddeler uygulanmıyor.
Yeterlik düzeyinin çok altındaki maddeler uygulanmıyor Yanlış
Yanlış
Yanlış Yanlış
Yanlış Doğru
Doğru
Doğru Doğru
Yeterlik düzeyi
Madde güçlük parametresi (b)
6 7 8 9
0
Şekil 1. BOBUT’un ikili puanlanan maddelerde işleyişinin grafiksel gösterimi Şekil 1’de, her bir nokta (●) uygulanan maddenin güçlüğü ile madde sıra- sının eşleşmesini gösterir. MTK’da madde güçlük parametresi (bi) pratikte -3.00 ile +3.00 arasında değer alır (Lord ve Novick, 1968). bi için -0,50 ile +0,50 arası değerler orta güçlükte maddeleri gösterir (Ayrıntılar için bkz. 5.1.1.1.). Örnekte ilk noktanın (●) y koordinatında 0’da bulunması, ilk maddenin orta güçlükte (b1=0) bir madde olduğunu göstermektedir. Yanıtlayıcı ortalama güçlükte bir maddey- le teste başlamıştır. İlk maddeye yanlış yanıt vermiş ve ikinci olarak, ilk madde- den daha kolay bir madde sunulmuştur. İkinci maddeye de yanlış yanıt vermiştir.
Üçüncü madde olarak ilk iki maddeden daha kolay bir madde seçilmiştir. Bu mad- deyi doğru yanıtladığında yanıtlayıcıya, üçüncü maddeden daha zor ancak yanlış yanıtlamış olduğu maddelerden daha kolay bir madde uygulanmıştır. Yanıtlayıcı bu maddeye de doğru yanıt verdiğinde daha zor bir madde yöneltilmiştir. Testin yapılandırılmasında tamamen bireyin yanıtlarına dayalı olarak, daha kolay ya da daha zor madde yöneltilmesi yoluyla bireyin yeterliğinin en yakın olduğu noktaya yaklaşılması amaçlanmıştır. Nitekim grafikte görüleceği üzere uygulanan madde- lerin güçlüğü giderek yakınlaşmaktadır. Her madde uygulaması sonrasında yete- nek kestirimi yapılmaktadır. Basit bir BOBUT tasarımını özetleyen Şekil 1’deki madde uygulama süreci, kestirimlerde belirli bir istikrar sağlanana kadar devam etmektedir.
BOBUT ölçme alanında deyim yerindeyse çığır açabilecek bir ölçme yakla- şımı olarak görülebilecekken yaygınlığının potansiyeline göre düşük olduğu göz- lenmektedir. Özellikle psikometri ve tıp alanlarından bir grup bilim insanının
Giriş 3
