Odak grup görüşmesi uzman görüşlerine göre DMF kaynakları madde yanlılığına yol açmakta mıdır?
Delphi tekniği uygulamaları sonucunda uzlaşma sağlanan DMF kaynaklarının madde yanlılığı gerekçesi olup olmadığı madde yanlılığı uzman paneliyle incelenmiştir. Bu bağlamda odak grup görüşmeleri gerçekleştirilmiştir. Cinsiyete ve okul türüne göre DMF gösteren maddelere ait madde yanlılığına neden olan DMF kaynakları Tablo 29’da verilmiştir.
Tablo 29. Cinsiyete ve Okul Türüne göre Yanlılığa neden olan DMF Kaynakları
Maddeler DMF Kaynakları Avantajlı
Grup
19.Madde
Maddede yer alan +3 puan ile futbol maçlarındaki puan hesabının benzer olması (erkek öğrencilerin takımların oynadığı maç sayısı ve aldığı toplam
puan belli olduğunda takımın kaç maç kazandığını bulabilmesi/tahmin edebilmesi )
Erkek
Erkek öğrencilerin “yarışma programlarına” daha ilgili olmaları Erkek
9.Madde
Özel okullarda öğrencilerin “tangram” materyalini derslerinde kullanmış olmaları (devlet okullarındaki öğrencilerin ise bu materyali tanımamaları/bilmemeler)
Özel okul
17.Madde
Özel okul öğrencilerinin bilgisayar ve cep telefonu oyunlarına aşinalığı, maddenin oyun tarzında kurgulanmasından dolayı maddenin içeriğinin
algılanmasını kolaylaştırması Özel okul
Özel okullarda ders içi ve ders dışı etkinlikler kapsamında “fabl” veya “öykünce” olarak hikayeleştirilen farklı soru türlerine yönelik daha çok uygulama yapılması
Cinsiyete göre DMF gösterdiği belirlenen 4. ve 19. maddeler için belirlenen DMF kaynaklarında, 4. madde için uzlaşma sağlanan tüm DMF kaynakları madde etkisi olarak belirlenirken, Tablo 29 incelendiğinde 19 madde için belirtilen iki DMF kaynağının yanlılık oluşturduğu görülmektedir.
Kız öğrenciler lehine DMF gösterdiği belirlenen 4.maddenin ölçmek istediği amaca ilişkin uzmanlar, “koninin temel elemanlarını belirlemeyi, inşa etmeyi ve yüzey açınımı çizmeyi” gerektiren bir madde olduğunu ifade etmişlerdir. Ayrıca madde ile ölçülen bilişsel düşünme becerileri açısından “soyut ve üç boyutlu düşünme” gerektirdiğini de belirtmişlerdir. Bu madde için verilen tüm DMF kaynaklarının sorunun amacına hizmet ettiği gerekçesiyle cinsiyete göre bir yanlılık oluşturmadığı uzmanlarca belirtilmiştir. Uzmanlardan bazıları maddenin “geometri sorularında erkek öğrencilerin daha iyi olması nedeniyle maddenin erkek öğrenciler lehine işlemesini beklediklerini fakat bu sorunun cebirsel işlem becerisi gerektirmesinin kız öğrenciler lehine çalışmasına neden olabileceğini” ifade etmişlerdir. Dördüncü madde için belirlenen DMF kaynaklarından biri; “Kız öğrencilerin kullandıkları ev eşyaları ve oynadıkları oyunların maddede kullanılan koni şeklinin algılanmasını kolaylaştırması” olup uzmanlar “geçmiş yaşantı sonucunda elde edinilen deneyimin sorunun amacına hizmet ettiği; koninin açınımı bilmede kız öğrencilerin bu şekille daha ilgili olmalarının etkili olduğunu” belirtmişlerdir.
Erkek öğrenciler lehine DMF gösterdiği belirlenen 19.maddenin ölçmek istediği amaca ilişkin uzmanlar, “doğrusal denklem sistemlerini cebirsel yöntemlerle çözmeyi” gerektiren bir madde olduğunu belirtmişlerdir. Bu madde için uzlaşma sağlanan dört DMF kaynağı bulunmaktadır. Odak grup görüşmesinde uzmanlarca bu DMF kaynaklarından ikisi yanlılık nedeni olarak görülmüştür. Tablo 29 incelendiğinde, yanlılık nedeni olarak belirtilen DMF kaynaklarından ilki; “Maddede yer alan +3 puan ile futbol maçlarındaki puan hesabının benzer olması (erkek öğrencilerin takımların oynadığı maç sayısı ve aldığı toplam puan belli olduğunda takımın kaç maç kazandığını bulabilmesi/tahmin edebilmesi)” dir. DMF kaynağına ilişkin, “denklem sistemini aritmetik işlem yaparak çözmeyi gerektiren bir soru olmasına rağmen, kapsamın özel olarak +3 puan ve -2 puan hesabı şeklinde verilmesinin futbol maçları puan hesabıyla benzerlik oluşturduğu, bunun yerine sorunun 3 adım ileri 2 adım geri şeklinde verilmesinin erkek ve kız öğrenciler için daha eşit şartlar oluşturabileceği” yönünde görüş bildirmişlerdir. Bu nedenle belirtilen DMF kaynağının madde yanlılığı nedeni olduğu uzmanlarca ifade edilmiştir.
Tablo 29’a bakıldığında yanlılık nedeni olarak belirtilen diğer DMF kaynağı ise; “Erkek öğrencilerin ‘yarışma programlarına’ daha ilgili olmaları” olduğu görülmektedir. DMF kaynağına ilişkin, “soru içeriğinin günlük yaşam problemi olarak tasarlanması ve bu durum içerisinde özel olarak erkek öğrenciler için daha dikkat çekici olduğu düşünülen ‘yarışma programı’ olarak kurgulanmasının” erkek öğrenciler lehine yanlılık oluşturduğunu belirtmişlerdir. Ayrıca uzmanlar, “sorunun kapsamı basit bir şekilde denklem sistemini aritmetik yollarla çözmeyi gerektirecek şekilde ya da her iki grup için aynı nitelikte bir senaryo ile verilseydi erkek ve kız öğrencilerin bu soruyu doğru yanıtlama olasılıklarının farklılaşmayacağı” şeklinde görüş bildirmişlerdir. On dokuzuncu madde için verilen diğer DMF kaynaklarının tamamı için geçmiş yaşantı yoluyla elde edilen deneyimin sorunun amacına hizmet ettiği ve yanlılık oluşturmadığı uzmanlarca belirtmişlerdir.
Okul türüne göre DMF gösterdiği belirlenen 5, 9, 10, 16 ve 17 inci maddelerden 5, 10 ve 16’ıncı maddeler için uzlaşma sağlanan tüm DMF kaynakları madde etkisi olarak belirlenirken, Tablo 29 incelendiğinde 9. madde için bir DMF kaynağının, 17.madde için ise iki DMF kaynağının yanlılık oluşturduğu görülmektedir.
Uzmanlar, özel okulda okuyan öğrenciler lehine DMF gösterdiği belirlenen 5, 10 ve 16. maddeler için uzlaşma sağlanan tüm DMF kaynaklarının madde yanlılığına yol açmadığı konusunda fikir belirtmişlerdir. DMF kaynaklarına ilişkin genel yorumları ise “geçmiş yaşantı yoluyla elde edilen deneyimlerin ya da özel okullara yasal olarak sağlanan fırsatların özel okulda okuyan öğrencilerde maddenin ölçmek istediği amaca yönelik olumlu bir etki yapmış olabileceği, soruyla ölçülmek istenen beceri açısından özel okul lehine gerçek bir farklılık olduğu” dur.
Özel okulda okuyan öğrenciler lehine DMF gösteren 9.madde için uzlaşma sağlanan üç DMF kaynağından biri için uzmanlar madde yanlılığı nedeni olarak görüş bildirmişlerdir. Tablo 29’a bakıldığında madde yanlılığına yol açtığı bildirilen DMF kaynağı, “Özel okullarda öğrencilerin “tangram” materyalini derslerinde kullanmış olmaları (devlet okulundaki öğrencilerin ise bu materyali tanımamaları/bilmemeleri)” olduğu görülmektedir. Dokuzuncu maddenin, “verilen bir şeklin ötelemeli yansımasını belirlemeyi” gerektiren bir soru olduğunu belirtmişlerdir. Fakat madde kökünde kullanılan “tangram materyalinin” özel okulda okuyan öğrencilerin daha aşina olduğu bir materyal olması sebebiyle yanlılık nedeni olarak görülmüştür. Madde kökünde verilen “tangram materyali ve bu materyalle oluşturulabilecek şekillerden biri yerine her iki gruptaki öğrenciler için aynı aşinalık ve tanıdıklık düzeyinde olabilecek herhangi başka bir şeklin kullanılmasının bu
yanlılık durumunu ortadan kaldıracağını” ifade etmişlerdir. Madde içeriğine yönelik olarak, “tangram materyalinin madde kökünde kullanılmasının ve özel okulda okuyan öğrencilerin materyale aşinalığı, beceri geliştirmekten ziyade soru içeriğine aşinalığı yansıttığı” konusunda görüş bildirmişlerdir. Ayrıca uzmanlarca, “ders içi etkinliklerde kullanılan tangram materyalinin öğrencilerin dönüşüm geometrisi konularının işlendiği derslerde kullanılmasının sorunun amacına hizmet ettiği fakat soru kökünde bu materyale yer verilmesinin özel okulda okuyan öğrenciler lehine yanlılık oluşturduğu” belirtilmiştir. Uzmanlar 9. madde için verilen diğer iki DMF kaynağı için “görsel materyal ve teknolojik araçların kullanımlarının, ötelemeli yansıma konusunda benzer uygulamaların yapılmasının ve benzer soru türlerinin özel okullarda çözülmesinin maddede ölçülmek istenen beceri yönünde bir gelişmeye neden olduğu” nu ifade ederek madde etkisi olduğu konusunda görüş bildirmişlerdir.
Özel okulda okuyan öğrenciler lehine DMF gösterdiği belirlenen 10.madde için uzlaşma sağlanan “Devlet okullarında kullanılan ana kaynak kitapta bu tür sorulara yer verilmemesi özel okullarda kullanılan yardımcı kitaplarda ise bu tür soruların fazlasıyla yer alması” DMF kaynağının madde yanlılığına yol açmadığı konusunda uzmanlar görüş bildirmişlerdir. Maddeye ilişkin “devirli ondalık açılımlara karşılık gelen rasyonel sayıları bulmak olduğunun ve özel okullarda bu amaca yönelik benzer soruların çözülmesinin sorunun amacına hizmet ettiğini” belirtmişlerdir.
Özel okulda okuyan öğrenciler lehine DMF gösterdiği belirlenen 17.maddenin ölçmek istediği amaca ilişkin uzmanlar, “Bir olayın olma olasılığı ile ilgili problemleri çözmeyi” gerektiren bir madde olduğunu belirtmişlerdir. Bu madde için uzlaşma sağlanan dört DMF kaynağı bulunmaktadır; DMF kaynaklarından ikisi hakkında madde yanlılığı gerekçesi olarak görüş bildirilirken diğer iki DMF kaynağının madde yanlılığına neden olmadığı belirtilmiştir. Tablo 29 incelendiğinde, on yedinci maddede uzlaşma sağlanan DMF kaynaklarından biri; “Özel okul öğrencilerinin bilgisayar ve cep telefonu oyunlarına aşinalığı, maddenin oyun tarzında kurgulanmasından dolayı maddenin içeriğinin algılanmasını kolaylaştırması” olup uzmanlarca “madde içeriğinin sorunun çözümünde etkili olmasının madde yanlılığına yol açtığı” yorumu yapılmıştır. Ayrıca soruya ilişkin “madde formatı oyun tarzında değil de klasik olasılık sorusu biçiminde kurgulanması durumunda özel okulda ve devlet okulu öğrenciler için maddenin aynı özelliklere sahip olacağını” belirtmişlerdir.
Yanlılık nedeni olabileceği konusunda görüş bildirilen diğer DMF kaynağı ise, “Özel okullarda ders içi ve ders dışı etkinlikler kapsamında “fabl” veya “öykünce” olarak hikayeleştirilen farklı soru türlerine yönelik daha fazla uygulama yapılması” dır. Uzmanlar belirtilen DMF kaynağının yanlılık durumuna ilişkin iki farklı yorum getirmişlerdir. Öncelikle sorunun amacına yönelik bu şekilde hikâyeleştirilerek oluşturulan madde içeriklerinin sorunun amacı içinde değerlendirilmesi gerektiği konusunda fikir belirtmişlerdir. Bu durumda belirtilen DMF kaynağının sorunun amacına hizmet ettiğini ve madde yanlılığına yol açmadığını söylemişlerdir. Diğer bir yorum ise “madde içeriğinin bu şekilde hikâyeleştirilerek verilmesinin sorunun kapsamı dışında olduğunu ve aslında sorunun basit anlamda verilen bir problem durumu içinde olasılık becerisinin ölçülmesi” olduğunu ve bundan dolayı DMF kaynağının madde yanlılığına yol açtığını belirtmişlerdir. Görüşme sonuçlarına göre 19.madde için uzlaşma sağlanan iki DMF kaynağının erkek öğrenciler lehine yanlılık nedeni olduğu uzmanlarca belirlenmiştir. 9.madde için uzlaşma sağlanan bir DMF kaynağının ve 17.madde için ise iki DMF kaynağının özel okul lehine yanlılık nedeni olduğu uzmanlarca belirtilmiştir.
DMF analizlerinin yapıldığı çalışmalar incelendiğinde DMF kaynaklarının belirlenmesinin ötesinde bu kaynakların madde yanlılığı mı madde etkisi mi olduğunu belirlemeye yönelik çeşitli çalışmalar mevcuttur (Bekçi,2007; Ateşok Deveci, 2008; Kalaycıoğlu, 2008; Karakaya, 2012; Karakaya ve Kutlu, 2012; Kelecioğlu vd., 2014; Yurdugül,2003).
Bu çalışmayla benzer nitelikte bulgular gösteren çalışmalar incelendiğinde; Kalaycıoğlu (2008)’in çalışmasında, fizik alt testinde yer alan madde için içerikte kullanılan otomobillerin erkek öğrencilerin ilgi alanlarına daha yakın olması nedeniyle sorunun amacına uygun olmayan test dışı bir faktör olarak belirlenerek yanlılık sebebi olduğu bulgusuna ulaşılmıştır. Aynı çalışmada madde içeriğinde “rider” kelimesinden gelen “binici” kavramının kullanılmasının maddenin, yabancı dille eğitim verilen okullardaki öğrenciler tarafından daha kolay algılanmasına yol açtığı belirtilerek test dışı bir faktör olması gerekçesiyle “binici” kelimesinin kullanımı yanlılık sebebi olarak görülmüştür. Benzer şekilde Karakaya ve Kutlu (2012)’in çalışmalarında; erkek öğrencilerin kızlara oranla günlük yaşamda daha çok ilgilendikleri ve aşina oldukları akvaryumda balık yetiştirme ile ilgili kavramların madde kökünde kullanılmasının madde yanlılığına neden olduğu belirtilmiştir. Yurdugül (2003), OÖK-ÖSYS’nin madde yanlılığının incelenmesini
konu aldığı çalışmasında, madde kökünde “futbol topu” ve “basketbol” kavramlarının kullanılmasının madde yanlılığına yol açmadığı belirtilmiştir.
Ayrıca ETS (2002) madde yazımında ve test geliştirmede dikkat edilmesi gereken ve özellikle minimum düzeye indirilmesi geren madde içerik konularını; ölçülen yapıyla ilişkisiz olarak askeri konular, spor bilgileri, gereksiz zorluktaki kelimeler, şiddet vb. lerinin kullanımı olarak belirlemiştir. Berberoğlu (2009), MEB SBS’nin değerlendirilmesi isimli çalışmada SBS de karşılaşılan önemli bir geçerlik sorununun, madde içeriğinin günlük hayat kapsamında tasarlanması aşamasında ortaya çıktığını belirtmektedir. Bu aşamada madde tasarlanırken yalnızca yanıt için gerekli olan öğelerin ön plana çıkarılması gerektiğini, bunun dışında verilecek her türlü açıklamaların ve çizimlerin maddenin kapsam geçerliğini önemli ölçüde etkileyeceğini ifade etmiştir.
BÖLÜM IV
SONUÇ VE ÖNERİLER
Araştırmanın bu bölümünde, analizler sonucunda her bir alt problem için elde edilen sonuçlar verilmiş ve araştırma sonuçlarından çıkan ve diğer araştırmacılara yönelik önerilere yer verilmiştir.