Yöntem
Bu bölümde araştırmanın türü, araştırmanın evren ve örneklemi, verilerin elde edilmesi, verilerin analizi ve bu analizlerde kullanılan teknikler üzerinde durulmuştur.
Araştırma sürecinde iki test kuramı ile elde edilen sonuçlar ve bu sonuçların benzerlikleriyle farklılıkları üzerinde durulması amaçlandığından betimsel bir araştırma olduğu söylenebilir.
Araştırmanın Evreni ve Örneklemi
Araştırmada kullanılan veriler, farklı madde formatlarını kullanarak üst düzey zihinsel özelliklerini ölçmeye yönelik beceri testlerinin geliştirilmesi ve öğrencilerin üst düzey zihinsel özelliklerine sahip olma durumlarının belirlenmesi amacıyla başlatılan ABİDE projesi kapsamında yapılan ilk uygulama olan 2016 Nisan-Mayıs sınavına ait olup, Milli Eğitim Bakanlığı Ölçme Değerlendirme ve Sınav Hizmetleri Genel Müdürlüğü’nden temin edilmiştir. Temin edilen verilere ait örneklem belirlenirken Milli Eğitim Bakanlığı Ölçme Değerlendirme ve Sınav Hizmetleri Genel Müdürlüğü’nce aşağıdaki aşamalar izlenmiştir:
1. Her bir ilde Merkezi Ortak Sınava giren öğrenci sayıları üzerinden şubelerde yer alan ortalama öğrenci sayıları hesaplanmıştır. Her bir il için seçilmesi gerekli minimum sayı olan 400 öğrenciye şubeler yoluyla ulaşmak daha kolay ve ekonomik olacağından 400 öğrencinin her bir il için ne kadarlık bir şube sayısına denk geldiği belirlenmiştir.
2. Araştırmanın genellenebilirliğini artırmak için büyükşehirlerde örnekleme girecek şube sayıları artırılmıştır. Yaklaşık 38000 bireyden oluşan, büyükşehir olmayan illerde minimum şube sayısına karşılık gelen öğrenci sayısı hesaplandıktan sonra geriye kalan şubeler büyükşehirlerin öğrenci sayılarıyla orantılı olarak illere dağıtılmıştır.
3. İl düzeyinde örnekleme seçilen şube sayıları belirlendikten sonra, seçilen örneklemin ili daha iyi temsil edebilmesi için şubeler tabakalı örnekleme yoluyla alt tabakalara dağıtılmıştır. Her bir il için seçilen örneklem öncelikle kent-kır, ardından devlet-özel olarak alt düzeylere dağıtılmış
29 ardından devlet okulları ikili-normal öğretim; İkili ve Normal Öğretime sahip okulların her biri de İmam Hatip, Genel ve YBO olacak şekilde şube sayılarıyla orantılı olacak şekilde alt düzeylere ayrılmıştır (Abide Raporu, 2017).
Belirtilen adımlarla belirlenen örnekleme uygulanan sınavın A kitapçığını yanıtlayan 11263 öğrencilik bir veri seti üzerinden, matematik, sosyal bilimler, fen bilimleri ve Türkçe alt testlerinden en az bir tanesinin toplam puanı 0,00 olan öğrencilerin analize dahil edilmemesi nedeniyle 11193 bireylik veri seti bu araştırmada kullanılmıştır. Sayısal testlerin dağılımının çarpık olması, normal dağılımlarda farklı tekniklerden elde edilen sonuçlar benzerlik gösterirken çarpık dağılımlarda benzerlik göstermeme olasılığı, araştırmacının bu alana yakın olması, araştırmacının ilgisi ve analizlerin tamamlanması için tanınan süre dikkate alınarak araştırma yalnızca matematik ve fen bilimleri alt testleri ile sınırlandırılmıştır. Evren ise bu test sonuçlarının genelleneceği 8. Sınıf öğrencilerinin tamamıdır.
Veri toplama aracı
T.C. Milli Eğitim Bakanlığı 21. yüzyılın başlarından itibaren uluslararası düzeyde gerçekleştirilen izleme ve değerlendirme çalışmalarına (TIMSS, PISA) katılmaktadır. Türkiye’de süregelen eğitim sisteminin işleyişini izleyip değerlendirebilmek adına yalnızca uluslararası izleme ve değerlendirme çalışmalarıyla yetinmemek amacıyla 2014 yılından itibaren eğitim sisteminin izlenmesine ve değerIendirilmesine ilişkin millî bir sistem geliştirilmesi plânlanmış, 2016 yılında Akademik Becerilerin İzlenmesi ve Değerlendirilmesi (ABİDE) çalışmasının ilk uygulaması yapılmıştır (Abide Raporu, 2017). Bu uygulamanın raporu ise 2017 mayıs ayında yayımlanmıştır. Sekizinci sınıf öğrencilerinin okulda öğrendikleri akademik bilgileri günlük hayatta kullanabilme becerilerinin ölçüldüğü bir araştırma olan ABİDE raporu, bu izleme ve değerlendirme sisteminin önümüzdeki süreçlerde eğitim politikalarına ve eğitim programlarına yön vermede etkili olacağını iddia etmektedir. Periyodik olarak gerçekleştirilecek ve eğitimin tüm kademelerindeki gelişmelerle ilgili veri toplamanın hedeflendiği çalışmanın ülkenin ve eğitim sisteminin gelişimine katkı sağlaması amaçlanmaktadır.
ABİDE, öğrenci başarısına yönelik ilerlemelerin izlenmesini amaçlayan ve 8.
sınıf öğrencilerinin okulda öğrendikleri akademik bilgileri günlük hayatta
30 kullanabilme becerilerinin ölçüldüğü bir çalışmadır. Öğrencilerin üst düzey zihinsel becerilere sahip olma durumlarını belirlemek, öğrencilerin başarılarını etkileyen duyuşsal, aile ve okul özelliklerinin bu beceriler ile ilişkisini ortaya koymak, illerin eğitimle ilgili çıktılarını ortaya koymak ve iki yıllık periyotlarla tekrarlayarak bu göstergelerin izlenmesini sağlamak amacıyla bu çalışma yürütülmüştür (Abide Raporu, 2017). Bu sınav hedeflediği kitle ile ilgili geniş çaplı ve ayrıntılı bilgi sağlama ve bu amaçlarla yapılandırılan milli bir niteliğe sahip olma özellikleri ile dikkat çekmektedir.
ABİDE projesi Fen, Matematik, Türkçe ve Sosyal Bilgiler alanlarında uygulanmıştır. Türkçe dersinde okuma becerilerine odaklanılmıştır. İlerlenen yıllarda, yazma becerisinin de ölçülmesi amaçlanmaktadır. Ayrıca ilkokul ve ortaöğretim düzeyinde de izleme yapmaya olanak sağlayacak çalışmaların da yapılması planlanmaktadır. Bu çalışmanın ortaya çıkmasının gerekçesi öğrenci başarısı ile hedefleri konusunda gerçekçi, karşılaştırılabilir ve uygun bir ölçüt ortaya koyma ihtiyacıdır. ABİDE bu amaçla her uygulamada aynı ölçekte puan oluşturan, eşitlenmiş testlerle ölçme işlemini yapacaktır. ABİDE araştırmasında her bir il ayrı örneklem olarak alınmakta ve uygulama sonrasında her il için ayrı bir rapor çıkarılmaktadır. ABİDE, ulusal bir izleme sınavıdır. ABİDE raporu ile Türkiye’nin eğitimdeki genel durumu özetlenmeye çalışılmıştır. Kalkınma Bakanlığı tarafından izleme programına dahil edilen çalışma her iki yılda bir tekrarlanarak eğitimde yapılan değişikliklerin ve bu değişikliklerin kısa ve uzun süreli etkilerinin sürekli izlenmesi sağlanacaktır. ABİDE çalışması becerilerin ölçülmesine odaklanması yönüyle PISA (Uluslararası Öğrenci Değerlendirme Programı), kazanımları temel alması yönüyle de TIMSS (Uluslararası Matematik ve Fen Eğilimleri Araştırması) ile benzerlik göstermektedir. Ancak PISA ve TIMSS ülke geneli olarak izleme yapmakta, il düzeyinde ise bilgi vermemektedir. Her ilin kendine özgü durumlarının izlenmesi ve geribildirim verilmesi amacıyla ABİDE çalışması il düzeyinde örneklem alarak hem il bazında hem ülke bazında bilgi sağlamaktadır (Abide raporu, 2017).
Veri Toplama Süreci
Araştırmada Milli Eğitim Bakanlığı Ölçme Değerlendirme ve Sınav Hizmetleri Genel Müdürlüğü’nden temin edilen hazır veri kullanılmıştır. Verilerin temini için tez önerisi eklenerek ilgili kuruma dilekçe yoluyla başvurulmuştur.
31 Verilerin Analizi
Verilerin analizi için öncelikle veri setinin Rasch analizlerinin gerektirdiği varsayımları karşılayıp karşılamadığı incelenmiş, daha sonra araştırma alt problemlerine ilişkin analizler yapılmıştır. Matematik sorularının Rasch analizleri Winsteps programı (4.3.2.) kullanılarak yapılmıştır. Veri seti Winsteps arayüzü kullanılarak .sav formatından .txt formatına dönüştürülüp ISGROUPS özelliği kullanılarak cevap örüntüsü 0-1 (dichotomous) olan maddeler “D”, kısmi puanlanabilen maddeler “0” olarak gruplandırılmıştır. Madde isimlerinin ve sıralamalarının gerçek veri seti ile aynı kalması için madde isimleri değiştirilmemiştir.
Veri setindeki matematik alt testinde çoktan seçmeli maddeler; M_2016_0003, M_2016_0005, M_2016_0006, M_2016_0009, M_2016_0011, M_2016_0014, M_2016_0016, M_2016_0017, M_2016_0019 (alt tire ile gösterilenler) ve açık uçlu cevaplanabilen maddeler; M20160004, M20160007, M20160008, M20160010, M20160012, M20160013, M20160015, M20160018, M20160020 (bitişik yazılan) şeklindedir. Fen bilimleri alt testindeki maddelerden çoktan seçmeli olanlar F_2016_0002, F_2016_0003, F_2016_0006, F_2016_0008, F_2016_0010, F_2016_0012, F_2016_0014, F_2016_0016, F_2016_0018 ve açık uçlu olanlar F20160001, F20160004, F20160005, F20160007, F20160009, F20160011, F20160013, F20160015, F20160017 şeklinde isimlendirilmiştir.
Çalışmada kullanılan veri seti Millî Eğitim Bakanlığı Ölçme, Değerlendirme ve Sınav Hizmetleri Genel Müdürlüğü’nden temin edilmiştir. Veri setinde 2016 nisan-mayıs aylarında uygulanan ABİDE sınavının A kitapçığı yer almakta olup, madde puanları ve toplam puanlar analize dahil edilmiştir. İki kategorili maddelerde doğru cevaplar 1 yanlış ve boş cevaplar 0 olarak puanlanmıştır. Ayrıca kısmi puan kullanılan açık uçlu maddelerde kısmi puanlar 1,2 veya 1,2,3 olarak; yanlış ve boş cevaplar 0 olarak puanlanmıştır. Türkçe, matematik, fen bilimleri ve sosyal bilimler toplam puanları 0 olan bireyler analizlere dahil edilmemiş, yalnızca matematik ve fen bilimleri alt testleri incelenmiştir.
Temin edilen verilerin Klasik Test Kuramı doğrultusunda analizleri yapılırken, çoktan seçmeli maddelerin madde istatistikleri için SPSS, açık uçlu maddelerin madde istatistikleri için ise Microsoft Excel kullanılmıştır. Bu yolla iki alt teste ait maddelerin betimsel istatistikleri ile madde güçlük indeksleri (p), madde ayırt edicilik gücü indeksleri (rjx), madde güvenirlik katsayıları (rj) incelenmiştir. Ayrıca matematik
32 ve fen bilimleri alt testlerinin çoktan seçmeli ve açık uçlu madde setleri için ayrı ayrı Cronbach alfa güvenirlik katsayıları; fen ve matematik alt testleri için tabakalı α katsayıları hesaplanmıştır.
İki alt teste ait maddelerin Rasch analizi için Winsteps (4.3.2. versiyonu) programı kullanılmıştır. Bu yolla birey yetenek kestirimleri için θ parametresi, madde güçlük kestirimleri için b parametresi hesaplanmıştır. Maddelerin her bir yetenek düzeyi için açıkladığı bilgi miktarını incelemek için madde bilgi fonksiyonları, testlerin hangi yetenek düzeylerindeki bireyler için daha isabetli kestirimler yaptığını saptamak ve testin güvenirliğini incelemek için test bilgi fonksiyonu kullanılmıştır.
Maddelerin model veri uyumunu incelemek için iç uyum ve dış uyum değerleri, maddelerin ölçülmek istenen yapıya olan katkılarını incelemek için PTMA değerleri, testin tek boyutluluğu ile ilgili bilgi sağlamak için boyut haritaları, madde güçlük ve birey yetenek kestirimlerini aynı metrik üzerinde incelemek için Wright Map’ler kullanılmıştır. Ayrıca, uyum istatistiklerini bozduğu düşünülen beklenmedik cevap örüntülerine ilişkin tablolar da incelenmiştir.
Matematik Alt Testine İlişkin Betimsel İstatistikler
ABİDE matematik testinin bu çalışmaya ilişkin betimsel istatistikleri testin karma yapısı göz önüne alınarak madde tipleri bazında da dağılımların incelenebilmesi amacıyla çoktan seçmeli maddeler, açık uçlu maddeler ve toplam test maddeleri olarak üç ayrı grupta ele alınmış olup hesaplanan 11193 bireye ilişkin betimsel istatistikler Tablo 8’de verilmiştir.
Tablo 8
Matematik alt testi betimsel istatistikleri
İstatistikler Çoktan seçmeli
maddeler Açık uçlu maddeler Çoktan seçmeli + Açık uçlu
Madde sayısı 9 9 18
Aritmetik ortalama 4,18 3,73 7,91
Ortanca 4 3 7
Standart sapma 2,24 3,39 5,15
En büyük değer 9,00 15,00 24,00
En küçük değer 0,00 0,00 0,00
Çarpıklık 0,17 0,77 0,65
Basıklık -0,63 -0,27 -0,37
Bağıl Değişkenlik katsayısı 53,70 90,83 65,12
Ortalama güçlük 0,46 0,41 0,44
Ortalama ayırıcılık 0,45 0,51 0,48
Cronbach α 0,66 0,76 0,82
33 Matematik testine ilişkin betimsel istatistiklere bakıldığında testin tamamı için aritmetik ortalama ve ortanca değerlerinin birbirine yakın olup, aritmetik ortalamanın ortancadan daha büyük olduğu görülmektedir. Bağıl değişkenlik katsayısına bakıldığında 65,12> 25 olduğu için grubun heterojen olduğu söylenebilir. Dağılımın simetriklikten sapma miktarına karar vermek için çarpıklık ve sivri ya da yayvanlığı ile ilgili bilgi sağlamak için basıklık katsayılarına bakıldığında; çarpıklık değerinin 0,65 ile normalden sağa çarpık ve basıklık değerinin -0,37 ile normalden basık olduğu görülmektedir. Ancak bu değerler -1 ile +1 aralığında olduğu için (Çokluk, Şekercioğlu ve Büyüköztürk, 2014) normal dağılımdan aşırı sapma göstermemektedir. Testin ortalama güçlüğünün 0,44 ile orta güçlükte, ortalama ayırıcılığının ise 0,48 ile iyi ayırt edici olduğu söylenebilir. Testin iç tutarlık anlamında Cronbach α güvenirlik katsayısının ise 0,82 değeri ile yüksek olduğu görülmektedir.
Çoktan seçmeli testlere ilişkin iç tutarlık katsayısının göreceli olarak küçük olduğu söylenebilir. Çoktan seçmeli, açık uçlu ve toplam test puanları dağılımlarının histogramları Şekil 2’de gösterilmektedir.
Şekil 2. Matematik testi puanlarının dağılımları
Şekil 2 incelendiğinde, çoktan seçmeli maddelerin puan dağılımının normale en yakın, açık uçlu ve toplam test puanlarının ise sağa çarpık olduğu ve düşük puanlarda yığılma olduğu görülmektedir.
Fen Bilimleri Alt Testine İlişkin Betimsel İstatistikler
ABİDE fen bilimleri testinin bu çalışmaya ilişkin betimsel istatistikleri testin karma yapısı göz önüne alınarak madde tipleri bazında da dağılımların incelenebilmesi amacıyla çoktan seçmeli maddeler, açık uçlu maddeler ve toplam test maddeleri olarak üç ayrı grupta ele alınmış olup hesaplanan 11193 bireye ilişkin betimsel istatistikler Tablo 9’da verilmiştir.
34 Tablo 9
Fen Bilimleri Testi Betimsel İstatistikleri
İstatistikler Çoktan seçmeli
maddeler Açık uçlu maddeler Çoktan seçmeli + Açık uçlu
Madde sayısı 9 9 18
Aritmetik ortalama 4,94 4,76 9,70
Ortanca 5 5 10
Standart sapma 2,48 3,20 5,20
En büyük değer 9,00 13,00 22,00
En küçük değer 0 0 0
Çarpıklık -0,13 0,19 0,11
Basıklık -1,00 -0,92 -1,04
Bağıl Değişkenlik katsayısı 50,09 67,27 53,62
Ortalama güçlük 0,55 0,53 0,54
Ortalama ayırıcılık 0,50 0,53 0,51
Cronbach α 0,72 0,74 0,84
Fen bilimleri testi toplam puanlarının betimsel istatistikleri incelendiğinde, aritmetik ortalama ve ortancanın birbirine yakın değerler alarak, ortancanın aritmetik ortalamadan daha büyük olduğu görülmektedir. Bağıl değişkenlik katsayısına bakıldığında 53,62>25 değeri ile grubun heterojen olduğu söylenebilir. Çarpıklık katsayısının 0,11 değeri ile sağa çarpık ve -1 ile +1 aralığında olduğu, basıklık katsayısının ise -1,04 değerini alarak normal dağılımdan biraz basık olduğu görülmektedir. Dağılımın çarpıklık değeri normalden aşırı sapma göstermemektedir ve simetrik kabul edilebilir. Ortalama güçlüğün orta düzeyde olduğu, ortalama ayırıcılığın ise yüksek olduğu görülmektedir. Ayrıca testin iç tutarlık anlamında güvenirlik katsayısı olan Cronbach α değerinin yüksek olduğu söylenebilir.
Şekil 3. Fen bilimleri testi puan dağılımları
Madde puanlarının dağılımları madde tiplerine göre ve toplu olarak Şekil 3’te gösterilmektedir. Histogramlar incelendiğinde hepsinin normalden basık olduğu, toplam test puanlarının dağılımının ise tek biçimli (uniform) dağılıma benzediği görülmektedir.
35