SONUÇLAR

Bu çalışmada 2006 yılı PISA Fen testinde yer alan çoktan seçmeli maddelerde DMF araştırılmıştır. Birinci ve beşinci kitapçıkta yer alan çoktan seçmeli maddeler için incelenen DMF, kültür ve dil değişkenleri temel alınarak kültürler arası bir biçimde farklı örneklemlerde incelenmiştir. Bu çalışmada DMF belirleme yöntemlerinden MH, LR ve AĐT kullanılmıştır. Elde edilen bulgular ışığında her bir alt probleme ait elde edilen sonuçlar şu biçimde özetlenebilir.

4.1.1 Alt Problem 1’e Đlişkin Sonuçlar

PISA 2006 başarı testinde yer alan fen maddeleri, üç farklı DMF belirleme yöntemine göre, testteki madde kapsamları bakımından yanıtlayıcıların dili ve kültürü bakımından DMF’ye neden olmaktadır. Elde edilen bulgular, PISA 2006 Fen başarı testinin madde yanlılığı bakımından çeşitli açılardan tartışılır olduğunu göstermektedir.

Tablo 24: Kültür ve Dil Farklılıklarına Göre DMF Gösteren Maddelerin Tekniklerdeki Sayısal Dağılımı

Madde sayısı DMF’li Madde Sayısı

MH LR ĐAĐ ĐSAĐ

Aynı Kültür- Farklı Dil

(Kanada) 21 6 3 5 5

Farklı Kültür- Aynı Dil

(Avustralya- Đngiltere) 21 6 4 2 2

Farklı Kültür – Farklı Dil (1.Kitapçık)

(Türkiye- Đngiltere) 19 10 6 6 5

Farklı Kültür – Farklı Dil (5. Kitapçık)

(Türkiye- Đngiltere) 21 11 6 4 5

Tablo 24’deki kültür ve dil farklılıklarına göre DMF gösteren maddelerin dağılımı incelendiğinde; kültürel ve dilsel farklılıklar arttıkça DMF gösteren maddelerin sayısının ve içerdikleri DMF miktarının arttığı gözlenmiştir. Bu sayısal dağılımda DMF gösteren madde sayısının en fazla Maentel Hanzel (MH) tekniğinde bulunduğu anlaşılmaktadır.

Aynı Kültür- Farklı Dil (Kanada) için MH tekniği ile DMF li bulunan maddelerin üçü önemsenmeyecek düzeyde, üçü de orta düzeyde DMF içermektedir. MH analiz sonuçlarına göre DMF gösteren maddelerin dördü; test dili Fransızca olanlar lehinedir.

Kanada alt gruplarının beşinci kitapçıkta yer alan 21 fen maddesine ilişkin performans farklılıklarının incelenmesine yönelik yapılan lojistik regresyon analizi sonuçlarına göre üç maddede DMF olduğu görülmektedir. DMF olduğu gözlenen soruların tümünde grup madde etkileşimi manidar bulunmuştur. Bu nedenle maddelerin tümünde çok biçimli DMF bulunmaktadır. DMF gösteren üç madde de DMF düzeyi önemli bulunmamıştır. Đşaretli alan indeksleri yöntemleri ile elde edilen sonuçlara göre; beşinci kitapçıkta yeralan 21 maddeden beşi DMF içermektedir. Hesaplanan işaretsiz alan indekslerine göre ise beş madde de DMF bulunmuştur. Đşaretli alan indekslerinde DMF belirlemek için kullanılan medyan değerine göre DMF gösterdiği belirlenen dört madde test dili Fransızca olanlar lehine DMF içermektedir; işareti negatif olan 18. Madde ise test dili Đngilizce olanlar lehine DMF içermektedir. Alan indekslerinin birbirlerine göre durumları incelendiğinde iki madde dışında DMF gösterdiği belirlenen tüm maddelerde DMF’nin biçimi çok biçimli değişen madde fonksiyonu (ÇBDMF) olarak belirlenmiştir.

Farklı kültür- aynı dil (Avustralya- Đngiltere) gruplarında yapılan MH analiz sonuçlarına göre; 21 maddenin altısı DMF içermektedir. Bu maddelerin dördünde bulunan DMF önemsenmeyecek düzeyde, biri orta düzeyde, diğeri de önemli düzeydedir. MH analiz sonuçları incelendiğinde; 3 madde Đngiltere lehine; 3 madde ise Avustralya lehine işlemektedir. DMF gösteren 4 maddeden 2’si tek biçimli değişen madde fonksiyonu (TBDMF); 2’si ise ÇBDMF içermektedir. DMF gösteren dört maddenin de DMF düzeyleri Gierl ve arkadaşlarının belirlediği ölçütler çerçevesinde önemli bulunmamıştır. Đşaretli alan indeksleri yöntemleri sonuçlarına göre; beşinci kitapçıkta yeralan 21 maddeden 2 madde DMF içermektedir. Bu 2 madde de Đngiltere

lehine DMF içermektedir. Đşaretsiz alan indeksleri ile elde edilen sonuçlara göre de 2 madde DMF içermekte olup, söz konusu maddelerin sıradışı değerlere sahip olması nedeniyle DMF biçimi ÇBDMF’dir. Đşaretli alan indeksleri ile DMF gösterdiği belirlenen maddelerden biri ise TBDMF göstermektedir.

Türkiye Đngiltere için yapılan analizlerde birinci kitapçık için elde edilen sonuçlar şu biçimde özetlenebilir. MH sonuçlarına göre 19 maddeden 10’u DMF içermektedir.

Maddelerin beşi A düzeyinde, ikisi B, üçü ise C düzeyinde DMF içermektedir. MH analiz sonuçlarına göre sekiz madde referans grubun (Đngiltere) lehine, iki madde ise odak grubun (Türkiye) lehine DMF içermektedir. birinci kitapçığa ilişkin Lojistik Regresyon tekniği sonuçlarına göre altı madde çok biçimli değişen madde fonksiyonu içermektedir. Bu altı maddenin beşinin önemsenmeyecek düzeyde; bir maddenin ise orta düzeyde DMF içerdiği bulunmuştur. Birinci kitapçığa ilişkin lojistik regresyon tekniği sonuçlarına göre altı madde ÇBDMF içermektedir. Bu altı maddenin beşinin (3, 4, 5, 15, 17) önemsenmeyecek düzeyde; bir maddenin (8. maddenin) ise orta düzeyde DMF içerdiği belirlenmiştir. Birinci kitapçıkta yeralan 19 maddeden altı maddenin alan indekleri tekniği ile yapılan analizler sonucu DMF içerdiği saptanmıştır. DMF gösteren altı maddenin de pozitiftir. Đşareti pozitif olan bu maddeler referans grubun (Đngiltere) lehine DMF içermektedir. Birinci kitapçık için Đşaretsiz alan indeksleri iç ölçütü 5,655 olarak belirlenmiş ve bu iç ölçüte göre 5 maddenin DMF içerdiği sonucuna ulaşılmıştır. Bu maddelerin hepsi Đşaretli alan indeksleri göre de yanlı bulunan maddelerdir. Đşaretsiz alan indeksleri büyüklükleri 3’ün üstünde ise sıra dışı değerler olarak kabul edilmiştir ve bu açıklama doğrultusunda 3. Madde dışındaki tüm maddelerin bu tanımlamaya oldukça uyduğu ve DMF gösteren tüm maddelerin ÇBDMF gösterdiği belirlenmiştir.

Beşinci kitapçıkta ise 21 maddeden 11’i DMF içermektedir. Bu maddelerin ikisi A düzeyinde, dördü B, dördü ise C düzeyindedir. MH analiz sonuçları incelendiğinde; 6 maddenin referans grubun (Đngiltere) lehine; 5 maddenin ise odak grubun (Türkiye) lehine DMF içerdiği belirlenmiştir. Beşinci kitapçık alt testinde lojistik regresyon tekniği ile yapılan analiz sonuçlarına göre altı madde DMF içermektedir. Bu maddelerden iki madde (2 ve 16) TBDMF gösterirken diğer dördü ÇBDMF

göstermektedir. Altı maddenin dördü önemsenmeyecek düzeyde, ikisi ise orta düzeyde DMF içermektedir.

Beşinci kitapçığa ait olan işaretli alan indeksleri değerleri incelendiğinde 21 maddeden dördünde DMF olduğu sonucuna ulaşılmıştır. Bu dört maddenin hepsi Đngiltere lehine DMF göstermektedir. Đşaretsiz alan indeksleri değerlerine göre beş maddede DMF bulunmaktadır. Đki indeks değerinin birbirlerine göre durumu incelendiğinde beşinci kitapçıkta yeralan ve DMF gösteren maddelerden 2. madde dışındaki tüm maddelerin ÇBDMF gösterdiği sonucuna ulaşılmıştır.

Elde edilen bulgular incelendiğinde; karşılaştırılan alt gruplar arasındaki farklılıklar arttıkça DMF gösteren madde sayıları ve düzeylerinin arttığı sonucuna ulaşılmıştır.

Araştırma sonuçlarına bağlı olarak DMF içeren maddelerin sayısının yüksek olması, bu testten alınan puanların karşılaştırılması durumunda bizleri doğru yorumlardan uzaklaştıracaktır. Dolayısı ile PISA testinin, dil ve kültür bakımından bazı gruplara avantaj sağlıyor görünmesi bu test ile alınan kararların, geçerliliğini ve güvenirliliğini de tartışılır kılmaktadır. Bu durum, bu sınava giren tüm ülkeler için doğru karşılaştırmalar yapılmadığını, olası yanlılık nedenleri ortaya konulup gerekli değişmezlik koşulları sağlanmadığı sürece böyle uluslararası sınav sonuçlarında elde edilen bilgilerin doğru olmadığını düşündürür niteliktedir.

4.1.2 Alt Problem 2’ye Đlişkin Sonuçlar

PISA çalışmasında, madde yanlılığı tespitinde kullanılan farklı metotların sonuçları arasında yüksek derecede uyum tespit edilememiştir. Çalışmada kullanılan üç teknik birarada düşünüldüğünde uyumlu sonuçlar alınamamıştır. Bunun yanı sıra KTK’ya ait tekniklerle MTK’ya bağlı tekniklerin kendi aralarında uyumlu olduğu sonucuna ulaşılmıştır.

4.1.3 Alt Problem 3’e Đlişkin Sonuçlar

Maddelerin kültürler ve diller arasında farklı fonksiyon göstermesinin olası nedenlerinin neler olduğu konusunda uzman görüşlerinden ortaya çıkan ortak sonuç şu

biçimde özetlenebilir. Uzmanlar PISA maddelerinin yanlılık göstermesinin temel nedeninin çeviri, müfredat farklılıkları ve uyarlama yanlışlıkları sonucu metinin ağır bir dile dönüşmesi, sosyo ekonomik düzeyden kaynaklanan farklılıklar olduğunu belirtmişlerdir. Maddelerin karmaşık ve uzun metinlerle ilişkilendirilmesinin özellikle Türk öğrencilerin alışkın olmadığı bir formata dönüşmesinin bazı maddelerin yanıtlanmasını zorlaştırdığı fikrinin hakim olduğu sonucuna ulaşılmıştır. Uzmanlar PISA fen maddelerinin çoğunluklu olarak Đngiltere lehine işleyeceği görüşündedirler.

Uzman görüşleri incelendiğinde; birden fazla dile çevrilen ölçme araçlarında çeviriden kaynaklanan farklılıkların ve kültürel farklılıkların yanlılığa neden olabileceği sonucuna ulaşılmıştır. Bu sonuçtan yola çıkarak uzmanların inceledikleri sorularla ilgili temel önerileri şu biçimdedir: Kısa, basit ve aktif cümleler kullanılması; deyim atasözü gibi kelime grupları ile; kültüre özgü sözcük ve terimlerin kullanılmasından kaçınılması gerekmektedir.