2012 Yılı Seviye Belirleme Sınavı Matematik Alt Testinin Madde Yanlılığı Açısından İncelenmesi

2012 YILI SEVİYE BELİRLEME SINAVI

MATEMATİK ALT TESTİNİN MADDE YANLILIĞI AÇISINDAN İNCELENMESİ

HALİME YILDIRIM

YÜKSEK LİSANS TEZİ

EĞİTİMDE ÖLÇME VE DEĞERLENDİRME ANABİLİM DALI

GAZİ ÜNİVERSİTESİ

EĞİTİM BİLİMLERİ ENSTİTÜSÜ

TELİF HAKKI ve TEZ FOTOKOPİ İZİN FORMU

Bu tezin tüm hakları saklıdır. Kaynak göstermek koşuluyla tezin teslim tarihinden itibaren (6) ay sonra tezden fotokopi çekilebilir.

YAZARIN Adı : Halime Soyadı : YILDIRIM

Bölümü : Eğitimde Ölçme ve Değerlendirme İmza :

Teslim tarihi :

TEZİN

Türkçe Adı: 2012 yılı Seviye Belirleme Sınavı Matematik Alt Testinin Madde Yanlılığı Açısından İncelenmesi

İngilizce Adı: An Investigation of Item Bias of Mathematics Subtest in 2012 year Level Determination Exam.

ETİK İLKELERE UYGUNLUK BEYANI

Tez yazma sürecinde bilimsel ve etik ilkelere uyduğumu, yararlandığım tüm kaynakları kaynak gösterme ilkelerine uygun olarak kaynakçada belirttiğimi ve bu bölümler dışındaki tüm ifadelerin şahsıma ait olduğunu beyan ederim.

Yazar Adı Soyadı: Halime YILDIRIM İmza:

Jüri onay sayfası

Halime YILDIRIM tarafından hazırlanan “2012 Yılı Seviye Belirleme Sınavı Matematik Alt Testinin Madde Yanlılığı Açısından İncelenmesi” adlı tez çalışması aşağıdaki jüri tarafından oy birliği ile Gazi Üniversitesi Eğitimde Ölçme ve Değerlendirme Anabilim Dalı’nda Yüksek Lisans tezi olarak kabul edilmiştir.

Danışman: Prof. Dr. Şener BÜYÜKÖZTÜRK

(Eğitimde Ölçme ve Değerlendirme, Hasan Kalyoncu Üniversitesi)

Başkan: Prof. Dr. Hülya KELECİOĞLU

(Eğitimde Ölçme ve Değerlendirme, Hacettepe Üniversitesi)

Üye: Doç. Dr. Şeref TAN

(Eğitimde Ölçme ve Değerlendirme, Gazi Üniversitesi)

Tez Savunma Tarihi: 12/02/2015

Bu tezin Eğitimde Ölçme ve Değerlendirme Anabilim Dalı’nda Yüksek Lisans Tezi olması için şartları yerine getirdiğini onaylıyorum.

Prof. Dr. Servet KARABAĞ Eğitim Bilimleri Enstitüsü Müdürü

TEŞEKKÜR

Tez çalışmam süresince tüm özverisi ile bilgisini, desteğini ve güvenini esirgemeyen tüm yoğunluğuna rağmen değerli vaktini bana ayıran sevgili tez danışmanım Prof. Dr. Şener Büyüköztürk’e

Bu süreçte bilgileri, deneyimleri ve güzel sohbetleri ile desteklerini esirgemeyen kıymetli hocalarım Prof. Dr. Mehtap Çakan’a, Doç. Dr. Şeref Tan’a, Doç. Dr. İsmail Karakaya’ya Süreç boyunca sorduğum soruları özenle ve ilgiyle cevaplayan British Columbia Üniversitesi Ölçme, Değerlendirme ve Araştırma Metodolojisi Bölümünden Prof. Dr. Bruno D. Zumbo ’ya ve Hacettepe Üniversitesinden Prof. Dr. Hülya Kelecioğlu’na

Her türlü sıkıntımda ve sevincimde yanımda olan desteğini, ilgisini ve dostluğunu esirgemeyen başta Menekşe Uysal ve Sinem Şenferah olmak üzere Gazi Üniversitesi Eğitimde Ölçme ve Değerlendirme Anabilim dalı araştırma görevlilerine,

Her zaman yanımda olan güvenlerini ve sevgilerini tüm kalbimle hissettiğim canım aileme,

2012 YILI SEVİYE BELİRLEME SINAVI

MATEMATİK ALT TESTİNİN MADDE YANLILIĞI AÇISINDAN

İNCELENMESİ

(Yüksek Lisans Tezi)

HALİME YILDIRIM

GAZİ ÜNİVERSİTESİ

EĞİTİM BİLİMLERİ ENSTİTÜSÜ

Şubat 2015

ÖZ

Bu çalışmanın amacı, Milli Eğitim Bakanlığı’nın 2012 yılında sekizinci sınıflar için yapmış olduğu Seviye Belirleme Sınav’ında yer alan matematik alt testi maddelerinin cinsiyet ve okul türü değişkenlerine göre değişen madde fonksiyonu (DMF) gösterip göstermediğini belirlemek, DMF gösteren maddelerin yanlılık durumlarını incelemektir. Çalışmada DMF analizleri için Mantel Haenszel (MH) ve Lojistik Regresyon (LR) yöntemleri kullanılmıştır. Cinsiyete göre MH ve LR yöntemleriyle yapılan DMF analizi sonuçlarına göre testte önemli düzeyde DMF gösteren 2 madde tespit edilmiştir. Okul türü analiz sonuçlarında LR yöntemi ile önemli düzeyde DMF gösteren madde bulunmazken, MH yöntemi ile 4 tane B düzeyinde ve bir tane C düzeyinde olmak üzere toplam 5 maddenin özel okul öğrencileri lehine çalıştığı belirlenmiştir. Cinsiyete göre her iki yöntemle yapılan DMF analiz sonuçlarına göre yöntemlerin DMF belirlemede düzeyleri de dikkate alarak yüksek bir uyum gösterdiği belirlenmiştir. Okul türüne göre yapılan DMF analiz sonuçlarına göre ise yöntemlerin A düzeyinde DMF gösteren maddelerin belirlenmesinde yüksek düzeyde uyum gösterdiği, B ve C düzeyinde maddelerin belirlenmesinde ise uyum göstermediği belirlenmiştir. Yöntemlerce belirlenen DMF büyüklük sıralamaları arasında bir ilişki olup olmadığı Spearman Brown sıra farkları korelasyon katsayıları ile incelenmiştir. Cinsiyete göre yapılan DMF analizleri için DMF büyüklüklerinin sıralamaları arasında yöntemlerin yüksek düzeyde uyum (ilişki) gösterdiği, okul türüne göre yapılan DMF analiz sonuçları için ise yöntemler arasında DMF büyüklüğü sıralamaları açısından uyum olmadığı belirlenmiştir.

Madde yanlılığının araştırılması sürecinde önemli düzeyde DMF gösterdiği belirlenen maddelerin DMF gösterme nedenleri Delphi tekniğiyle belirlenmiştir. Delphi panelleri sonucunda cinsiyete göre DMF gösteren maddeler için 7, okul türüne göre DMF gösteren maddeler için ise 15 olmak üzere toplam 22 DMF kaynağında uzlaşma sağlanmıştır. Son olarak DMF kaynaklarının madde yanlılığı gerekçesi olup olmadığı madde yanlılığı uzman paneli yapılarak incelenmiştir. Madde yanlılığı uzman paneli analiz sonuçlarına göre cinsiyete göre bir maddenin, okul türüne göre ise iki maddenin yanlılık gösterdiği tespit edilmiştir.

Bilim kodu:6.015

Anahtar Kelimeler: Seviye Belirleme Sınavı, Madde Yanlılığı, Değişen Madde Fonksiyonu, Delphi Tekniği, Madde yanlılığı uzman paneli.

Sayfa Adedi: xvi+144

AN INVESTIGATION OF ITEM BIAS OF MATHEMATICS

SUBTEST IN 2012 YEAR LEVEL DETERMINATION EXAM

(M.S Thesis)

HALİME YILDIRIM

GAZI UNİVERSITY

GRADUATE SCHOOL OF EDUCATIONAL SCIENCES

February 2015

ABSTRACT

The purpose of this study is to determine whether items of mathematics subtest in 2012 year 8th Grade Level Determination Exam (LDE) administered by the ministry of education indicate differential item functioning (DIF) in terms of the gender and school types, and to examine biasness case of the items that indicating DIF. In this study Mantel Haenszel (MH) and Logistic Regression (LR) methods were used for analysis of DIF. According to results of DIF analyzed with MH and LR methods in terms of the gender variable, two items indicating significant level DIF were detected. In terms of school types analysis, while it was found that no items had DIF at B and C level with LR method, a total of 5 items including four of them were at B level and one of them was C level in favor of private school have been found with MH method. According to the results of DIF analysis in terms of gender, it was determined that both of the methods adjusted highly about DIF level and detected total item numbers having DIF. According to the results of DIF analysis in terms of school type, it was seen that both of methods adjusted highly when determining of items having DIF at A level, and did not adjust in determination of items having DIF at B and C level. Spearman Brown’s rank correlation coefficients were used for determination whether MH and LR methods correlated in terms of DIF size rank. While there was a high correlation between DIF size rank of methods according to the results of DIF analysis in terms of gender, there was no correlation between DIF size rank of methods according to results of analysis in terms of school types. In the process of item bias, Delphi technique was used for determination why the items having significant level DIF showed DIF. The results of Delphi panels showed that they agreed on totally 22 DIF source including 7 items having DIF in

terms of gender and 15 ones in terms of school type. Finally whether the sources of DIF were a reason for item bias was examined with item bias expert panel. According to results of the analysis of item bias expert panel, it was seen that one item is bias in terms of gender and two items are bias in terms of school types

Science Code : 6.015

Key Words : Level Determination Exam, Item Bias, Differential Item Functioning, Delphi Tecnique, Item Bias Expert Panel.

Page Number: xvi+144

İÇİNDEKİLER

ÖZ ... v

ABSTRACT ... vii

TABLOLAR LİSTESİ... xii

ŞEKİLLER LİSTESİ ... xiv

SİMGELER VE KISALTMALAR LİSTESİ ... xv

BÖLÜM I ... 1

GİRİŞ ... 1

1.1 Problem Durumu ... 1

1.2 Kuramsal Çerçeve ... 8

1.2.1 Değişen Madde Fonksiyonu ... 8

1.2.2 Değişen Madde Fonksiyonu Belirlemede Kullanılan Teknikler ... 11

1.2.2.1 Mantel Haenszel Tekniği ... 12

1.2.2.2 Lojistik Regresyon Tekniği ... 13

1.2.3 DMF Kaynakları ... 13

1.2.4 Madde Yanlılığı ve Yanlı Madde Örnekleri ... 14

1.3 Problem İfadesi ... 17 1.3.1 Alt Problemler ... 17 1.4 Amaç... 18 1.5 Önem ... 18 1.6 Sayıltılar ... 20 1.7 Sınırlılıklar... 20 1.8 İlgili Araştırmalar ... 20 BÖLÜM II ... 29 YÖNTEM... 29 2.1 Araştırmanın Modeli ... 29 2.2 Evren ... 30

2.3.1 DMF Analizleri Veri Toplama Süreci ... 31

2.3.2. Madde Yanlılığı Veri toplama Süreci ... 32

2.3.2.1 Delphi Tekniği ve Uygulanması ... 33

2.3.2.2 Odak Grup Görüşmesi ve Uygulanması: Madde Yanlılığı Uzman Paneli39 2.4 Verilerin Analizi ... 42

2.4.1 Tek Boyutluluk ... 43

2.4.2 Betimsel Test İstatistikleri ve Puan Dağılımları ... 45

2.4.3 Madde İstatistikleri ... 48

2.4.3.1 Cinsiyet Gruplarına göre Madde İstatistikleri... 49

2.4.3.2 Okul Türü Gruplarına göre Madde İstatistikleri ... 51

2.4.4 Değişen Madde Fonksiyonlarının Analizi ... 52

2.4.4.1 MH Yöntemi Analizleri ... 52

2.4.4.2 LR Yöntemi Analizleri ... 55

2.4.5 İki Yöntemin Sonuçları Arasındaki Uyumun Analizi ... 58

2.4.6 DMF Gösteren Maddelerin Yanlılık Durumlarının Analizi ... 58

2.4.6.1 Delphi Tekniği Analizleri ... 58

2.4.6.2 Odak Grup Görüşmesi Analizleri ... 61

BÖLÜM III ... 63

BULGULAR VE YORUMLAR ... 63

3.1 Birinci Alt Probleme İlişkin Bulgular ve Yorumlar ... 63

3.1.1 Alt Problem 1.a’ya İlişkin Bulgular ve Yorumlar ... 63

3.1.2 Alt Problem 1.b’ye İlişkin Bulgular ve Yorumlar ... 65

3.2 İkinci Alt Probleme İlişkin Bulgular ve Yorumlar ... 66

3.2.1 Alt Problem 2.a’ya İlişkin Bulgular ve Yorumlar ... 66

3.2.2 Alt Problem 2.b’ye İlişkin Bulgular ve Yorumlar ... 70

3.3 Üçüncü Alt Probleme İlişkin Bulgular ve Yorumlar ... 71

3.4 Dördüncü Alt Probleme İlişkin Bulgular ve Yorumlar ... 74

3.4.1 Birinci Delphi Paneli Bulguları... 74

3.4.2 İkinci Delphi Paneli Bulguları ... 75

3.4.3 Üçüncü Delphi Paneli Bulguları ... 79

3.5 Beşinci Alt Probleme İlişkin Bulgular ve Yorumlar ... 86

BÖLÜM IV ... 93

4.1 Sonuçlar ... 93

4.1.1 Cinsiyete göre LR ve MH Yöntemleri DMF Analiz Sonuçları ... 93

4.1.2 Okul Türüne göre LR ve MH Yöntemleri DMF Analiz Sonuçları ... 93

4.1.3 MH ve LR Yöntemlerinin Karşılaştırılmasına Yönelik Analiz Sonuçları ... 94

4.1.4 Delphi Tekniği Analiz Sonuçları ... 95

4.1.5 Odak Grup Görüşmesi: Madde Yanlılığı Uzman Paneli Analiz Sonuçları ... 97

4.2 Öneriler ... 98

4.2.1 Araştırma Sonuçlarından Çıkan Öneriler ... 98

4.2.2 Araştırmacılara Yönelik Öneriler ... 99

KAYNAKLAR ... 100

TABLOLAR LİSTESİ

Tablo 1. DMF Belirleme Yöntemlerinin Farklı Sınıflandırmaları 11

Tablo 2 İki Kategorili Puanlanan Maddelerde DMF Belirleme Teknikleri 12 Tablo 3. Cinsiyet ve Okul Türü Değişkenlerine göre Betimsel İstatistikler 30 Tablo 4. 2012 Yılı Sekizinci Sınıf SBS Test İstatistikleri ve Soru Dağılımları 32 Tablo 5. Delphi Panellerine Katılan Uzmanların Eğitim Bilgileri ve Sayıları 36 Tablo 6. Uzman Panelistlerin Delphi Panellerine Katılma Sayıları ve

Yüzdeleri

36

Tablo 7. Odak Grup Görüşmesine Katılan Uzmanların Dağılımı 41

Tablo 8. Doğrulayıcı Faktör Analizi Model Veri Uyumu İstatistikleri 44

Tablo 9. Matematik Alt Testi Betimsel İstatistikleri 45

Tablo 10. Matematik Alt Testi Cinsiyet ve Okul Türüne göre Betimsel İstatistikleri

46

Tablo 11. Matematik Alt Testi Madde İstatistikleri 48

Tablo 12. Cinsiyete Gruplarına göre Matematik Alt Testi Madde İstatistikleri 49 Tablo 13. Okul türüne göre Matematik Alt Testi Madde İstatistikleri 51 Tablo 14. Tek Bir Yetenek Düzeyi (i. toplam puan) için Oluşturulmuş Kikare

Tablosu

53

Tablo 15. Mantel Haenszel DMF İstatistiğinin Yorumlanması 54

Tablo 16. 2

R

 Değerlerinin Yorumlanması için Kullanılabilecek Sınıflamalar 57 Tablo 17. Matematik Alt Testi Cinsiyete göre MH Analiz Sonuçları 63

Tablo 18. Matematik Alt Testi Cinsiyete göre LR Analiz Sonuçları 65 Tablo 19. Matematik Alt Testi Okul Türüne göre MH Analiz Sonuçları 67 Tablo 20. Matematik Alt Testi Okul Türüne göre LR Analiz Sonuçları 70 Tablo 21. MH ve LR Analiziyle Cinsiyete ve Okul Türüne göre DMF

Gösteren Maddeler

71

Tablo 22. Birinci Delphi Anketiyle Belirlenen DMF Kaynaklarına Örnekler 74 Tablo 23. En Yüksek ve En Düşük Düzeyde Önem Gösterdiği Belirlenen

DMF kaynakları

76

Tablo 24. İkinci Delphi Analizlerinde Cinsiyete göre En Yüksek Uzlaşı Sağlanan DMF Kaynakları

77

Tablo 25. İkinci Delphi Analizlerinde Okul Türüne göre En Yüksek Uzlaşı Sağlanan DMF Kaynakları

78

Tablo 26. Delphi Uygulamalarına İlişkin DMF Kaynaklarının Sayıları 80 Tablo 27. Cinsiyete Göre Uzlaşma Sağlanan DMF Kaynakları ve Uzlaşma

Kriterleri

81

Tablo 28. Okul Türüne Göre Uzlaşma Sağlanan DMF Kaynakları ve Uzlaşma Kriterleri

82

Tablo 29. Cinsiyete ve Okul Türüne göre Yanlılığa neden olan DMF Kaynakları

ŞEKİLLER LİSTESİ

Şekil 1. Tek biçimli DMF (TB DMF) ve Tek Biçimli Olmayan DMF (TBO DMF)

10

Şekil 2. Anket formunda yer alan madde örneği 37

Şekil 3. Matematik alt testi puan dağılım grafiği 45

Şekil 4. Cinsiyete ve okul türüne göre matematik alt testi puan dağılım grafikleri

47

Şekil 5. Matematik alt testi madde istatistikleri saçılım grafiği 48 Şekil 6. Cinsiyet gruplarına göre matematik alt testi madde istatistikleri

saçılım grafikleri

50

Şekil 7. Okul türüne göre matematik alt testi madde istatistikleri saçılım grafikleri

51

Şekil 8. Sırasıyla kız ve erkek öğrenciler için DMF gösteren maddeler 63 Şekil 9. Özel okul lehine DMF gösteren günlük yaşam problemi olarak

tasarlanmış maddeler

67

SİMGELER VE KISALTMALAR LİSTESİ

ACT The American College Testing

AERA American Educational Research Association AEKK Ağırlıklandırılmış En Küçük Kareler

APA American Psychological Association DFA Doğrulayıcı Faktör Analizi

DMF Değişen Madde Fonksiyonu

DMGF Değişen Madde Grubu Fonksiyonu

ETS Eğitimde Test Servisi

KTK Klasik Test Kuramı

LR Lojistik Regresyon

MEB Milli Eğitim Bakanlığı

MH Mantel Haenszel

MTK Madde Tepki Kuramı

NCME National Council on Measurement in Education

OECD Organization for Economic Cooperation and

Development

OKS Ortaöğretim Kurumları Sınavı

ÖSS Öğrenci Seçme Sınavı

PISA Programme for International Student Assessment

SAT Scholastic Aptitude Test

SBS Seviye Belirleme Sınavı

SweSAT The Swedish Scholastic Aptitude Test TEOG Temel Eğitimden Ortaöğretime Geçiş TB DMF Tek Biçimli Değişen Madde Fonksiyonu

TBO DMF Tek Biçimli Olmayan Değişen Madde Fonksiyonu YEĞİTEK Yenilik ve Eğitim Teknolojileri

BÖLÜM I

GİRİŞ

Bu bölümde araştırmanın problem durumuna, kuramsal çerçevesine, problem cümlesine, alt problemlerine, amacına, önemine, sayıltılarına, sınırlılıklarına ilişkin bilgiler verilmiştir. Son olarak ilgili araştırmalara değinilmiştir.

1.1 Problem Durumu

Eğitim ve öğretim uygulamaları çerçevesinde başta öğrenciler olmak üzere, öğretmenler, yöneticiler, veliler ve öğretim programları ile ilgili pek çok kararlar alınmaktadır. Alınan kararların yerindeliği ve isabetliliği, bu kararların alınmasına dayanak oluşturan bilgilerin yeterliliği ve sağlamlılığı ile yakından ilgilidir (Baykul, 2010). Ölçme ve değerlendirme çalışmaları, geçerli ve güvenilir bilgilerin üretilmesini ve bu bilgilerden hareketle doğru ve isabetli kararların alınmasını sağlaması bakımından çok önemli bir role sahiptir (Atılgan, 2014).

Eğitimsel ölçmelerde ölçmeye konu olan özellikler; öğrencilere kazandırılması planlanan bilişsel, duyuşsal ve psikomotor davranışlardır (Tan, 2014). Eğitimsel ölçmelerde ölçülen değişkenin yapısından kaynaklanan durumlar, ölçme işini zorlaştırdığından ölçmelerde, kolaylık sağladığı ve ölçmelerin duyarlığını artırdığı için genellikle ölçme araçları kullanılmaktadır (Atılgan, 2014). Ölçülen nitelik hakkında doğru ölçme sonuçları vermeyen, amaca hizmet etmeyen ölçme araçlarından elde edilen sonuçlara bakılarak alınan kararların yerinde ve isabetli olma olasılığı oldukça düşüktür (Baykul, 2010). Özel olarak öğrencilerin belirli bir ders veya konu alanı için belirlenen bilgi ve becerilere sahip olma derecelerini belirlemek amacıyla kullanılan ölçme araçlarına test denilmektedir (Airasian, 1997). Bazı testler, bireylere kazandırıldığı düşünülen bilgi ve becerilerin ne kadar kazanıldığını belirlemek; bazıları, bireylerin şimdiki durumlarından gelecekteki durumlarını yordamak;

bazıları ise bireylerin psikolojik yapıları hakkında bilgi toplamak amacıyla geliştirilir (Erkuş, 2003). Psikolojik testler arasında en yaygın olarak kullanılan testlerden biri olan başarı testleri ise, kişinin eğitim süreci içinde veya belirli çevre koşulları altında ne kadar öğrendiğini ölçmek amacıyla düzenlenir (Tan, 2014). Başarı testlerinin tarihi M.Ö. 2200 ’lü yıllara dayanmakta olup ilk olarak Çinliler tarafından uygulandığı bilinmektedir (Erkuş, 2003). Yeni yüzyıla girilmesiyle öğretim sonuçlarını ölçen ilk standart testler de kullanılmaya başlanmıştır. Thorndike’ın öncülüğünde el yazısı ve okuma heceleme, aritmetik hesaplama ve aritmetik ilişkiler ile ilgili ilk örnekler, 1923 yılında Standford başarı testinde yerini almıştır (Anastasi, 1982). Binet Simon zeka testinin 20’inci yüzyılın başlarında Türkçe’ye çevrilmesiyle Türkiye’de sistemli bir şekilde ölçme ve değerlendirme çalışmalarının başladığı görülmektedir. Genel olarak standart testler; uygulama koşulları, puanlama esasları ve elde edilen puanların yorumlanmasında izlenecek yöntemleri ayrıntılı bir biçimde açıklayan test el kitabına sahip olup, belirli amaçlarla, uzman kişiler tarafından, uygulamalı çalışmaların ürünü olarak geliştirilen ölçme araçlarıdır (Koç, 1984). Standart başarı testleri ise, değerlendirmenin temel ilkeleri ve uygun test programları çerçevesinde; yerinde, zamanında ve uzman kişiler tarafından kullanıldıkları takdirde, eğitim uygulamalarında verilen birçok kararın geçerliğini ve güvenirliğini artırmak üzere, destekli bilgiler sağlayan önemli araçlar olarak tanımlanmaktadır (Grounlond’dan aktaran Koç, 1984). Amerika Eğitim Araştırma Birliği (AERA), Amerikan Psikoloji Derneği (APA) ve Eğitimdeki Ölçmeler Ulusal konseyi (NCME) (2011) tarafından yapılan eğitimde ve psikolojide ölçme standartlarının 1999 yılı versiyonunda, eğitimsel amaçlarla geliştirilen testlerin kullanım alanları; bir öğrencinin genel başarısını ve bir içerik alanındaki büyümesini değerlendirmek, öğrencilerin konu alanındaki güçlü ve zayıf yönlerini belirlemek, eğitimsel müdahaleleri planlamak ve bireyselleştirilmiş eğitimsel planları tasarlamak, öğrencileri uygun eğitim programlarına yerleştirmek, sınırlı sayıda katılımcı seçecek programlara öğrencilerin seçilmesi, bireysel başarı ve nitelikleri belgelendirme olarak belirtilmiştir.

Ölçme araçlarının doğru ve amaca hizmet edebilecek ölçme sonuçları verebilmesi için bu araçların sahip olması gereken bir takım yapısal özellikler bulunmaktadır. Bu özelliklerin en önemlilerinden biri geçerliktir (Baykul, 2010). Cronbach (1990), bir ölçme aracının ölçmek istediği şeyi ölçüp ölçmediği hakkında karar verebilmek için birçok kanıta ihtiyaç duyulduğunu belirterek geçerliği; testi kullanan kişinin, test puanlarından çıkarılabilecek yordamaları desteklemek için topladığı kanıtlar olarak tanımlar. Eğitimde ve psikolojide

ölçme standartlarının 1999 versiyonuna ilişkin çalışmada ise geçerlik, testlerin önerilen kullanımlarını gerektiren test puanlarının yorumlarını destekleyen teori ve kanıtların derecesi bağlamında ele alınmıştır (American Educational Research Association [AERA], American Psychological Association [APA] ve National Council on Measurement in Education [NCME], 2011). Buna göre geçerlik, testlerin önerilen kullanımları tarafından elde edilen puanların yorumlanabilirliğini destekleyen teori ve kanıtların derecesi olarak da tanımlanmaktadır (Baykul, 2010; Crocker ve Algina, 1986; Fraenkel ve Wallen, 2006). Bu anlamda geçerlik tek bir tanımdan ziyade, testin kullanış amacına hizmet ettiğini gösteren kanıtların toplanması olarak düşünülebilir. Bu kanıtların toplanması, testin neyi ölçtüğüne ilişkin anlayış geliştirmek ve bireyler ya da nesnelere ilişkin alınacak kararların doğruluğuna destek sağlayacak bilgi elde etmek adına önemli görülmektedir (Atılgan, 2014). Gerek eğitimsel ölçmelerde gerekse psikolojik ölçmelerde test geliştirenlerin, testin el kitaplarını, normlarını ve gerektiğinde uygun yorumlarını sağlama kadar, ölçme amacına ilişkin geçerlik bilgilerini de sağlama sorumluluğu bulunmaktadır. Bu durum eğitimde ve psikolojide ölçme standartlarında şu şekilde belirtilmiştir: Test geliştirenlerin, test puanlarının nasıl yorumlanması ve kullanılması gerektiğine ilişkin amaçları açıkça ortaya koyması gerekmektedir. Ayrıca test için uygun olan örneklemin sınırlandırılmasının ve testin ölçmeyi amaçladığı yapının tanımlanmasının da test geliştirenlerin sorumluluğunda olduğu standart 1.2’de ifade edilmiştir (AERA, APA ve NCME, 2011).

Ölçme yaparken ölçülen özelliğin miktarı hakkında doğru bilgi edinebilmek ve bu ölçme sonuçlarına dayanarak doğru kararlar verebilmek için, mümkün olduğunca hatasız ölçme elde etmek istenir. Ancak eğitim ve psikoloji gibi sosyal bilimlerde ölçme sonuçlarına hatanın karışması kaçınılmazdır (Yurdugül, 2003). Ölçmede gözlenen bir özelliğin gerçek değeri bulunmak istenir ancak ölçmeye karışan çeşitli hatalar nedeniyle gerçek değer doğrudan elde edilemez. Gerçek değer, gözlenen değer yardımıyla kestirilmeye çalışılır. Ölçülen özelliğin gerçek değeri, Klasik Test Kuramı (KTK)’na göre ölçülen özelliğe ilişkin sonsuz sayıda ölçmelerden elde edilen puanların ortalaması yani gerçek puan şeklinde tanımlamaktadır (Crocker ve Algina, 1986). Gözlenen bir özelliğin gerçek değerine ölçmeye karışan hatalar nedeniyle ulaşılamadığından özelliğin gerçek puanı, gözlenen puanlara dayalı olarak tahmin edilmeye çalışılır. KTK ’ya göre evrenden yansız olarak seçilen bir birey için gözlenen puan, gerçek puan ve hata puanının toplamından oluşmaktadır (Crocker ve Algina, 1986). Burada belirtilen hata tesadüfi hata olup, bir bireyin ölçülmek istenilen özelliğine ilişkin gözlenen değeri ile gerçek değeri arasındaki fark olarak da tanımlanabilir.

Sistematik hatalar ise ölçülen yapı ya da yeterlikle ilişkili olmayan gruplar arasındaki tutarlı farklılıklar olarak tanımlanmaktadır (Osterlind ve Everson, 2009). Ölçme sonuçlarına karışan hatalar; ölçmeyi yapan kişi, ölçme aracı ve ölçmenin yapıldığı ortam gibi birçok kaynaktan gelebilmektedir. Ölçülen büyüklüğe, ölçmeyi yapan kişiye veya ölçme koşullarına ve belli durumlara göre miktarı değişen hatalar sistematik hatalar olup, ölçme sonuçlarına karışan bu hatanın yönü ve kaynağı belli olduğundan ölçme sonuçlarına karışmasının engellenmesi ya da düzeltilmesi gerekmektedir (Turgut, 1995). Eğitimsel ölçmelerde ölçme sonuçlarına dayanarak bir karara varılması amaçlanır. Kararların isabetlilik derecesi yapılan ölçmenin doğruluğuna bağlı olduğundan ölçümlere karışan bu hataların tanımlanması ve hata kaynaklarının belirlenerek giderilmesi gerekmektedir.

Eğitim alanında yapılan ölçme ve değerlendirme çalışmalarında ölçmelere karışan sistematik hatalara genel olarak “yanlılık” (bias) denilmektedir (Yurdugül, 2003). Ayrıca eğitimde ve psikolojide ölçme standartlarında, testlerdeki yanlılık terimi, yapıyla ilişkisiz faktörlerin tanımlanan katılımcı grubu açısından sistematik olarak daha yüksek ya da daha düşük puanlarla sonuçlanmasını ifade eder (AERA, APA ve NCME, 2011). Yanlılık farklı alt gruplardaki bireylerin test puanlarının bulundukları gruba bağlı olarak sistematik hata içermesi olarak da tanımlanmaktadır (Camilli ve Shepard, 1994; Osterlind, 1983; Zumbo, 1999). Yanlılıkta önemli olan nokta söz konusu hata kaynaklarının alt gruplardan birine (erkekler ya da kadınlar) haksız bir yarar sağlaması durumudur (Crocker ve Algina, 1986; Holland ve Wainer, 1993). Yanlılık, iç ve dış olmak üzere iki başlık altında incelenmektedir. Osterlind (1983)’e göre dış yanlılık, iki ya da daha fazla grubun test puanlarının, test dışındaki değişkenler ile farklı düzeyde korelâsyonlara sahip olması durumunda gerçekleşmektedir. Dış yanlılık, ‘test yanlılığı’ başlığı altında test maddelerinden ziyade bir testin yordama geçerliğine odaklanmaktadır. Tersine iç yanlılık ise, test puanlarıyla madde puanları arasındaki ilişki anlamına gelen yapı geçerliğini ilgi odağı yaparak test maddelerinin psikometrik özelliklerine öncelik vermektedir (Osterlind, 1983). İç yanlılık ‘madde yanlılığı’ olarak da tanımlanmaktadır (Atılgan, 2014). Clauser ve Mazor (1998)’e göre geçerliğe yönelik en önemli tehditlerden birisi madde ve test yanlılığıdır. Test yanlılığı, belli bir grubun üyeleri için test ölçümlerinin geçersiz ya da sistematik hata içermesi olarak tarif edilmektedir (Zumbo, 1999). Diğer bir deyişle, ilgilenilen bir özelliği kestirmede kullanılan testin, gruba bağlı olarak sistematik bir biçimde ortalamanın altında veya üstünde kestirimde bulunması olarak tarif edilebilir. Test yanlılığı, istenmeyen ikincil değişkenlerden dolayı test puanlarını etkilemekte ve ölçülmek istenen özelliğin tam ve doğru olarak

ölçülmesini engellemektedir (Kan, 2007). Eğer bir test, belli bir yetenek düzeyine sahip bir grup için aynı yetenek düzeyindeki başka bir gruba göre daha avantajlı ve bu avantaj test ile ölçülmek istenmeyen kaynakların etkisiyle gerçekleşiyorsa test yanlıdır. Bu gruplar genellikle etnik farklılık, cinsiyet, anadil farklılığı, sosyoekonomik düzey veya bir engele sahip olma özellikleri ile birbirinden ayrılmaktadır. Test puanlarının geçerliğinin düşmesinin veya test yanlılığının yükselmesinin nedeni, uygulamaların çoğunda bir test maddesine bir grubun diğerinden daha fazla doğru yanıt vermesi anlamında, grubun biri lehine adaletsizce işleyen yanlı maddeler olarak tanımlanmaktadır (Holland ve Wainer, 1993). Testteki yanlı maddelerin sayısı fazla olabileceği gibi birkaç madde de olabilmektedir. Eğer bu maddeler belirlenebilirse, testten çıkarılarak test yansız hale getirilebilmektedir. Bu nedenle yanlılık çalışmalarının büyük çoğunluğu test maddelerinin yanlılığı üzerine odaklanmıştır (Atılgan, 2014). Madde yanlılığı ise, aynı yetenek düzeyinde bulunan iki grup için, test maddelerinin özellikleri ya da testin amacına uygun olmayan test koşullarından dolayı maddeyi doğru yanıtlama olasılığının farklılaşmasıdır (Zumbo, 1999).

Madde yanlılık analizleri ilk olarak her bir test maddesinin aynı evrenden elde edilen farklı alt gruplara benzer şekilde davranıp davranmadığına odaklanmaktadır. Madde yanlılığı tartışmalarının merkezinde iki konu vardır; ilki katılımcıların madde üzerindeki performansının ilgilenilen yapıdaki gerçek farklılıktan ziyade istenmeyen diğer değişim kaynaklarından etkilenip etkilenmediğidir. İkincisi ise performansı etkileyen istenmeyen değişim kaynaklarının katılımcıların bazı alt gruplarında sistematik farklılıklara yol açıp açmadığıdır (Osterlind ve Everson, 2009). Bu nedenle yanlılık çalışmaları bu konuları odağına alarak iki amaç doğrultusunda yapılmaktadır. Birincisi, çeşitli alt grupların testin farklı varyans kaynaklarından sistematik olarak etkilenip etkilenmediklerinin belirlenmesidir. İkincisi, eğer test puanları bütün alt gruplar için varyansın aynı kaynaklarından etkileniyorsa, bu ilişkisiz kaynakların alt gruplardan bazılarına adil olmayan bir avantaj sağlayıp sağlamadığının araştırılmasıdır.

Yanlı bir madde, aynı yetenek düzeyinde fakat cinsiyet, sosyoekonomik düzey gibi değişkenler açısından birbirinden farklı alt gruplarda yer alan bireylerin, bir maddeyi doğru yanıtlama olasılıklarının farklılaşması durumunu ortaya çıkarmaktadır (Camilli ve Shepard, 1994; Holland ve Wainer, 1993; Zumbo, 1999). Madde yanlılığının belirlenmesinin ilk aşamasında değişen madde fonksiyonu (DMF) analizi yapılır. DMF analizi madde yanlılığı için bir tür kanıt toplama sürecidir ve madde yanlılığı için gerekli ancak yeterli olmayan bir şarttır. Farklılığın var olması, yanlılığın olduğu anlamına gelmez; çünkü var olan farklılık

gerçek yetenek farkı olabilir ki bu durum madde etkisi olarak tanımlanır. Başka bir deyişle DMF’nin ortaya çıkmasının iki nedeni bulunmaktadır; madde yanlılığı ve alt gruplar arasındaki gerçek farklılık yani madde etkisidir (Camilli ve Shepard, 1994). Madde etkisinin bulunduğu durumlarda, maddenin ölçtüğü özelliğe göre alt gruplar arasında gerçekten farklılık bulunmaktadır ve buna bağlı olarak, alt gruplardaki adayların maddeyi doğru cevaplandırma olasılıkları değişiklik göstermektedir (Camilli ve Shepard, 1994; Zumbo, 1999). Madde yanlılığının belirlenmesinde, DMF analizlerinin yapılması Eğitimde Test Servisi (ETS) ’nce 1986’da geliştirilen psikometrik yanlılık analizlerinin bir standardını oluşturmaktadır (Haladayna, 2004).

Türkiye’de merkezi olarak ulusal düzeyde yapılan sınavlardan biri, Seviye Belirleme Sınavı (SBS)’dır. Sonuçların bireylerin gelecekteki durumlarını etkileyebilecek olan seçme ve yerleştirme gibi özel amaçları olan SBS gibi geniş ölçekli sınavların geçerliğini sağlamak çok önemlidir. Test maddelerinin, testi alan grupların ölçülen özellikle ilgisi olmayan niteliklerinden dolayı, alt gruplardan herhangi birine avantaj sağlamaması test puanlarının ve onun sonucunda alınan kararların isabetliliği açısından son derece önemlidir. Bu sebeple bu tür testlerin maddelerinin bireylerin çeşitli özelliklerine göre DMF gösterip göstermediğinin incelenmesi ve yanlılık taşıyan maddelerin testten çıkarılması gerekmektedir (Kan, 2007).

Madde yanlılığı araştırılması süreci hem istatiksel analizlerin yapılmasını (DMF analizleri) hem de DMF gösterdiği belirlenen maddelerin olası DMF kaynaklarının tespit edilerek ölçülen yetenekteki gerçek farklılıktan mı yoksa istenmeyen varyans kaynaklarından mı geldiğinin belirlenmesi aşamalarını içermektedir. DMF gösteren bir maddenin yanlı olup olmadığına yapı ve kapsam geçerliği bağlamında incelenmesinin ardından karar verilmektedir (Holland ve Wainer, 1993).

DMF analizlerinde KTK’ya dayalı olan Mantel Haenszel (Holland ve Thayer, 1988) ve Lojistik Regresyon (Swaminathan ve Rogers, 1990) teknikleri iki kategorili maddelerde DMF’nin belirlenmesinde öne çıkan oldukça güçlü yaklaşımlardır (Holland ve Thayer, 1993). DMF belirlemede Mantel-Haenszel (MH) ve Lojistik Regresyon (LR) yöntemlerini kullanan birçok çalışma yapılmıştır (Allalouf, Hambleton ve Sireci, 1996; Bekçi, 2007; Kalaycıoğlu ve Kelecioğlu, 2011). Bu çalışmada 2012 yılı 8.sınıf SBS matematik alt test maddelerinin cinsiyet ve okul türü değişkenleri temelinde MH ve LR yöntemleri kullanılarak DMF gösterip göstermediği incelenmiştir. Öğretmen (2006) ’ya göre yetenek ölçümlerine dayalı ve bireyleri bir sonraki öğrenim göreceği okullara yerleştirme amacı ile yapılan

testlerin cinsiyet gruplarına göre analizlerinin yapılmasının önemli bir ihtiyaçtır. Ayrıca Abedalaziz (2010) cinsiyet değişkeninin, matematik başarı testlerinde yapılacak olan yanlılık analizlerinde önemli olduğunu belirtmiştir. Alanyazında cinsiyet değişkeninin kullanıldığı birçok madde yanlılığı çalışmasında kız ve erkek öğrencilerin madde performanslarının sistematik olarak farklılaştığı belirlenmiştir (Abedalaziz, 2010; Berberoğlu, 1995; Çepni, 2011;Kalaycıoğlu, 2008; Karakaya ve Kutlu,2009). Berberoğlu ve Kalender (2005) çalışmalarında, okul türleri arasında öğrenme çıktıları açısından büyük farklar bulunduğunu özellikle bu farkların tüm OECD ülkeleri içinde en çok Türkiye’de gözlendiğini ifade etmiştir. Kelecioğlu, Karabay ve Karabay (2014), yaptıkları çalışmada SBS’de DMF gösteren maddelerin %69 ’unun özel okullarda öğrenim gören öğrenciler lehine DMF gösterdiğini belirlemişlerdir. Gerek okul türü gerekse cinsiyet değişkenine yönelik yapılan bazı çalışmalarda gruplar arasındaki farklılıkların test dışı bir kaynağın etkisiyle oluştuğu belirlenmişken bazı çalışmalarda ise farklılıkların testin ölçmek istediği kapsamdan kaynaklandığı belirtilmiştir (Bekçi, 2007; Kalaycıoğlu, 2008; Yurdugül, 2003). Öte yandan bu tür testlerdeki öğrenci performanslarının okul türüne ve cinsiyete göre farklılık gösterdiğine ilişkin sonuçların, gerçek performans farklılıklarından kaynaklanıp kaynaklanmadığı da cevaplanması gereken bir soru olarak gündemde bulunmaktadır. Bu nedenle cinsiyete ve okul türüne göre DMF gösteren maddelerin yanlılık analizlerinin yapılmasının testlerin geçerliği açısından önemli olacağı düşünülmektedir.

Yanlılığın belirlenmesinde DMF analizlerinin yanı sıra, test içeriğinin farklı açılardan eleştirilmesi, belli bir gruba veya eğitimsel, mesleki ve ırksal rollerin betimlemesi olup olmadığının incelenmesi de gerekmektedir. İkinci aşamada, DMF gösterdiği belirlenen maddelerdeki grup farklılığının gerçekten yetenekten mi yoksa ölçme işleminden mi kaynaklandığını tespit etmek amaçlanmıştır. DMF gösteren maddelerin yanlılık gösterip göstermediğinin belirlenmesi amacıyla, farklılığın kaynağı araştırılır. Bir maddedeki DMF’nin gerçek kaynağının ölçülen yapının bir parçası olup olmadığı ile ilgili karar tamamen subjektiftir (Karami, 2012). DMF gösteren maddelerin yanlı olup olmadığını belirlemek amacıyla sıklıkla kullanılan bir yöntem bu tür maddeler için anket yoluyla alan uzmanlarından görüş almaktır (Ateşok Deveci, 2008; Çepni, 2011; Kalaycıoğlu, 2008; Karakaya ve Kutlu, 2012). Anket yoluyla uzmanlardan alınan görüşler analiz edilerek maddelerin yanlılığı hakkında yorumlar yapılabilmektedir. Uzmanlardan tek bir zamanda uygulanan araçla elde edilen görüşler, pratik olmakla birlikte özellikle maddelerin yanlılığı konusunda bir kez daha düşünme fırsatı verilmemesi bir sınırlılık olarak görülebilir. Bu

çalışmada ise DMF gösteren maddelerin DMF kaynakları Delphi tekniği kullanılarak belirlenmiştir. Delphi tekniği, uzmanlar arasında iş birliği arayarak uzmanların fikirlerini belirlemek, bilgi edinmek (gerçeği ortaya çıkarmak),ayrıştırmak (biçimlendirmek) için kullanılan bir araştırma tekniğidir. Çalışmaya katılan uzman panelistlerin fikirlerine dayalı kararlar alarak tahminler yapılmaktadır. Bu araştırma tekniği bir bireyin sınırlı görüşünden ziyade uzman panelistlerin görüş birliğine dayanır (John, 2011). Bu çalışmada Delphi tekniğinin kullanılması belli bir sıralamada uzman görüşlerinin alınmış olması, sorunun kaynağına ilişkin başlangıçta olabilecek görüş farklılıklarının ortadan kalkmasına ya da uzmanların görüşlerinde bir yakınlaşmaya, uzlaşmaya yol açması açısından önemli görülmektedir. DMF kaynaklarının Delphi tekniğiyle belirlenmesinin ardından belirlenen kaynakların madde yanlılığına yol açıp açmadığı Odak grup görüşmesi ile incelenmiştir. Odak grup görüşmesinin kullanıldığı aşamada DMF gösteren maddeler yapı ve kapsam açısından incelenerek Delphi ile belirlenen kaynakların yanlılık nedeni olup olmadığı tespit edilmiştir. Bu nedenle bireysel görüşlere göre daha derin ve zengin bilgilere ulaşılmasını sağlayan odak grup görüşmesi tekniği tercih edilmiştir.

1.2 Kuramsal Çerçeve

1.2.1 Değişen Madde Fonksiyonu

DMF, test ve madde seviyesinde bir evrendeki alt grupların performansındaki sistematik farklılıkları ortaya çıkaran istatiksel tekniklerin büyüyen ve gelişen bir koleksiyonu olarak tanımlanır (Osterlind, 1983). DMF’nin belirlenmesinde tek bir yöntem ya da teknik olmayıp, DMF uygulamaya ve istatiksel tekniklere dayalı kümeyi tarif eden psikometrik bir adlandırma olarak ifade edilir (Osterlind, 1983; Osterlind ve Everson, 2009). DMF algılanan farklılıkların ne yönünü ne de nedenselliğini göstermektedir (Holland ve Wainer, 1993). DMF, ilgilenilen yapı ya da psikolojik özellikler açısından farklı demografik alt gruplardaki bireyler eşleştirildikten sonra, bu bireyler için bir maddedeki başarı olasılıklarının farklılaşması olarak tanımlanır (Camilli ve Shepard, 1994). DMF analizlerinde öncelikle ölçülmek istenilen özellik açısından bireyler gruplara ayrılır. Daha sonra bu gruplar ölçülen yetenek düzeyinde eşleştirilir, yani aynı yetenek düzeyine getirilir. Bu eşleştirmenin yapıldığı gruplar odak (focal) ve referans olarak tanımlanmaktadır. Odak grup; risk altında olan dezavantajlı azınlık grup olarak tanımlanırken, referans grup avantajlı olan grup olarak

tanımlanır (Holland ve Wainer, 1993; Osterlind, 1983). Penfield ve Camilli (2007) tarafından aynı yetenek düzeyinde farklı alt gruplardan gelen bireylerin madde performanslarının değişmemesi, yani DMF’nin yokluğu matematiksel olarak aşağıdaki gibi belirtmiştir:

(Y , G R) (Y , G )

f





 :Örtük değişken ya da ilgilenilen yapı (yetenek düzeyi) ,

Y :’nın gözlenen göstergeleri (madde yanıtı), G :Grup değişkeni,

R :Referans grup (avantajlı grup),

F :Odak grup (dezavantajlı grup)

Yukarıda belirtilen matematiksel gösterim DMF’nin yokluğunu, yani şartlı Y olasılık dağılımının grup üyeliğinden bağımsız olma durumunu gösterir (Osterlind ve Everson, 2009). DMF’nin varlığı ise,

P(Y



olarak belirtilmiştir (Osterlind ve Everson, 2009). Aynı yetenek düzeyinde bulunan fakat farklı alt gruplarda yer alan katılımcıların Y’deki olasılık dağılımlarının farklılaşması sonucu ortaya çıkar. Bu durum  yetenek düzeyinde, madde performansı ile grup üyelikleri arasındaki ilişkinin varlığı olarak tanımlanır (Holland ve Wainer, 1993). İkili puanlanan bir madde için bu şartlı ilişki, aynı yetenek düzeyindeki referans ve odak grup üyeleri için bir maddeyi doğru yanıtlama olasılıklarının farklılaşmasıdır.

Aynı yetenek düzeyine sahip fakat farklı alt gruplarda yer alan bireylerin ilgili maddeyi doğru yanıtlama olasılıklarındaki farklılık olarak ortaya çıkan DMF; Tek Biçimli Değişen Madde Fonksiyonu (TB DMF) ve Tek Biçimli Olmayan Değişen Madde Fonksiyonu (TBO DMF) olmak üzere iki şekilde ortaya çıkar (Osterlind ve Everson, 2009). Gruplar arasında ilgilenilen maddeyi doğru yanıtlama olasılığındaki farklılığın, bütün yetenek düzeylerinde tutarlılık göstermesi TB DMF iken, maddeyi doğru yanıtlama olasılıkları arasındaki farklılığın bütün yetenek düzeylerinde tutarlı ya da sabit olmaması TBO DMF olarak tanımlanır (Camilli ve Shepard, 1994; Zumbo, 1999). Başka bir deyişle, TB DMF tüm yetenek düzeyleri boyunca bir grubun daha avantajlı olması anlamına gelirken, TBO DMF

’de avantaj tüm yetenek düzeylerinde tek bir grubun lehine değildir ve bir gruptan diğerine geçiş yapmaktadır.

Şekil 1. Tek biçimli DMF (TB DMF) ve tek biçimli olmayan DMF (TBO DMF)

Şekil 1’de referans ve odak grupları için ilgilenilen maddeyi doğru yanıtlama olasılıklarının gösterildiği Madde Karakteristik Eğri (MKE)’leri verilmiştir. Matematiksel fonksiyonların doğası gereği verilen bir değişkenin ( yetenek düzeyi) bir fonksiyonda yalnız bir görüntüsü olabilir. Fakat Şekil 1 incelendiğinde her iki durum için de  değerleri için fonksiyonun iki farklı eğrisi yani görüntüsü oluşmuştur. Farklı bir deyişle, aynı yetenek düzeyinde olmalarına rağmen farklı alt gruplardan gelen bireylerin maddeyi doğru yanıtlama olasılıklarının P( ) farklılaştığı görülmektedir. İlk durumda TB DMF örneği verilmiş olup, verilen grafik incelendiğinde, tüm  düzeyleri boyunca referans gruptaki bireylerin maddeyi doğru yanıtlama olasılıkları, odak gruptaki bireylere göre daha yüksek çıkmaktadır. İkinci durumda ise TBO DMF örneği verilmiş olup,  değişkeni üzerinde farklı noktalarda eğrilerin yönü ve büyüklüğünün değiştiği görülmektedir. TB DMF ’de referans ve odak gruplara ait her iki MKE’si de aynı a parametrelerine (ayırıcılık parametresi) sahiptir (Osterlind, 1983; Camilli ve Shepard,1994). TB DMF’de gruplara ait MKE eğrileri kesişmez iken, TBO DMF’de MKE’leri kesişmekte ve  yetenek düzeyi ve grup üyelikleri arasında bir etkileşim olduğu ortaya çıkmaktadır (Holland ve Wainer, 1993; Osterlind ve Everson, 2009). İki MKE arasındaki alan DMF’nin büyüklük ölçüsünü, derecesini gösterir (Osterlind ve Everson, 2009).

1.2.2 Değişen Madde Fonksiyonu Belirlemede Kullanılan Teknikler

Alanyazında DMF belirleme tekniklerinin sınıflandırmasına ilişkin farklı görüşler bulunmaktadır (Camilli ve Shepard, 1994; Osterlind ve Everson, 2009). DMF teknikleri, verilere (parametrik olup olmaması), eşleme değişkenine (gözlenen ya da örtük), madde puanlarına (iki kategorili ya da çok kategorili ) DMF’yi test etmesi ve etki büyüklüğü ölçümü vermesi ve TB/TBO DMF’yi tespit edebilme özelliklerine bağlı olarak sınıflandırılabilmektedir (Holland ve Wainer, 1993; Wiberg, 2007). DMF belirleme yöntemlerinin belirtilen özelliklere sahip olup olmama durumlarına ilişkin Wiberg (2007) tarafından önerilen sınıflandırılma Tablo 1’de verilmiştir.

Tablo 1. DMF Belirleme Yöntemlerinin Farklı Sınıflandırmaları

Yöntemler Sınıflandırma Kriterleri Parametrik/ Parametrik değil Eşleme değişkeni (KTK/MTK) Madde Puanı Test/ Ölçme TB/TBO DMF

Mantel Haenszel Para. Değil KTK İ/Ç T/M TB

Standartlaştırma Para. Değil KTK İ M TB

Kikare yöntemleri Para. Değil KTK İ T TB

SIBTEST Para. Değil MTK İ/Ç T/M TB/TBO

Lojistik Regresyon Parametrik KTK İ/Ç T/M TB/TBO

Olabilirlik Oran Testi Parametrik KTK/ MTK İ/Ç T/M TB/TBO

Olasılık farkları indeksi Parametrik MTK İ M TB/TBO

b parametre indeksi Parametrik MTK İ M TB/TBO

Genel MTK-LR Parametrik MTK İ/Ç T/M TB/TBO

MTK-LR Parametrik MTK İ/Ç T TB/TBO

MTK modelleri Parametrik MTK İ/Ç T/M TB/TBO

Lord’un kikare testi Parametrik MTK İ T TB/TBO

Log doğrusal modeller Parametrik KTK İ/Ç T TB/TBO

Karışık Etki modelleri Parametrik MTK İ/Ç T TB/TBO

Not: Eşleme değişkeni örtük: MTK, gözlenen: KTK, Madde puanı İ: İki kategorili ve Ç: Çok kategorili DMF’yi test etmesi:T, DMF büyüklüğü ölçümü vermesi: M

DMF belirleme yöntemlerinde bireylerin yeteneklerine göre eşlendiği iki farklı grup (odak ve referans) oluşturulur. Eşlenmiş gruplar için maddeleri doğru cevaplandırma olasılıkları temelinde DMF istatistikleri hesaplanarak istatiksel anlamlılık testleri yapılır. Bazı yöntemler bu istatiksel anlamlılık testlerinin yanı sıra etki büyüklüğü ölçümleri de vermektedir. Eğitimsel ölçmelerde kullanılan başarı testlerinin birçoğu iki kategorili olarak puanlanan çoktan seçmeli test formunda oluşturulur. Potenza ve Dorans (1995) tarafından iki kategorili puanlamanın yapıldığı test maddeleri için DMF belirleme teknikleri, bireylerin eşleştirilmesinde kullanılan puan (gözlenen ya da örtük değişken) ve tekniğin parametrik olup olmamasına bağlı olarak Tablo 2 ’deki gibi sınıflandırılmıştır.

Tablo 2. İki Kategorili Puanlanan Maddelerde DMF Belirleme Teknikleri Eşleme Değişkeni Gözlenen Puan (KTK) Örtük Değişken (MTK)

Parametrik  Log-Doğrusal Modeller

 Lojistik Regresyon

 MTK-Olabilirlik Oranı  Sınırlandırılmış-Bilgi  MTK-LR

 Lord ’un Kikare Testi  Raju Alan Testi  b parametresi indeksi

Parametrik Olmayan  Ki-Kare Yöntemi

 Standartlaştırma  Mantel-Haenszel

 SIBTEST

KTK’ya dayalı DMF belirleme yöntemlerinden MH ve LR yöntemleri iki kategorili maddelerde özellikle TB DMF’yi belirlemede güçlü yaklaşımlardır (Erdem Keklik, 2012). Ayrıca DMF içeren maddelerin belirlenmesinde istatiksel testlerin yanı sıra, DMF büyüklüğünün bir ölçüsünü vermeleri açısından bu yöntemler önemli görülmektedir. Bu araştırmada 2012 yılı 8.sınıf SBS matematik alt testi maddelerinin DMF analizleri MH ve LR yöntemleri kullanılarak yapılmıştır. Veri analizinde DMF analizleri alt başlığı altında ayrıntılı olarak bu yöntemler hakkında bilgilere yer verilmiştir.

1.2.2.1 Mantel Haenszel Tekniği

1950’li yıllarda sağlık alanında çalışan iki araştırmacı olan biyoistatistik uzmanı Nathan Mantel ve epidemiyolojist William Haenszel, kikare testinin doğasında var olan zorlukların farkına vararak, sınıflara ayrılmış örneklemlere uygun olan kikare yöntemini geliştirmişlerdir (Osterlind ve Everson, 2009 ). Holland (1985) ve Holland ve Thayer (1988) düzeltilmiş kikare istatistiğini geliştirerek pratik bir DMF belirleme yöntemi önermişler ve bu yöntemi “Mantel-Haenszel” olarak adlandırmışlardır. MH yönteminde bireyler yeterliklerine göre (toplam test puanı gibi), referans ve odak (yerel) gruplar olmak üzere iki gruba ayrılır. Bu yöntemde eşleştirme kriteri olarak toplam test puanı alınır. Odak grup; öncelikli ilgilenilen grup iken, referans grup ise karşılaştırmada temel alınan grup olarak tanımlanır (Holland ve Wainer, 1993; Osterlind ve Everson, 2009). Belirlenen olabilirlik oranı üzerinden odak ve referans gruptaki performans farklılığı ve derecesi ölçülmektedir.

Mantel-Haenszel yöntemi ile DMF istatistiklerinin hesaplanmasında farklı bilgisayar programları ve yazılımlar (SAS, Stata, Systat ve EZDIF) kullanılmaktadır (Ayala, 2009).

1.2.2.2 Lojistik Regresyon Tekniği

Swaminathan ve Rogers (1990) tarafından DMF belirlemek amacıyla önerilen LR yöntemi, grup üyeliğine bağlı olarak bir maddenin doğru yanıtlanma olasılığının istatistiksel modellenmesine dayanır (Osterlind ve Everson, 2009). Bu modelde bağımsız değişken grup üyeliği (referans ve odak grup) ve toplam test puanı, bağımlı değişken ise madde puanı (1,0) olarak alınır.

LR analizleri Zumbo (1999) tarafından verilen SPSS Betik (script) ile yapılabilir. Sürekli kriter değişkenini kategorize etmeye ihtiyaç duymaması ve hem TB hem de TBO DMF ’yi modelleyebilmesi LR yönteminin üstün yönleri olarak belirtilir(Zumbo, 1999).

1.2.3 DMF Kaynakları

DMF, testle ölçülen özellik bakımından aynı yetenek düzeyinde olan ancak cinsiyet, sosyo-ekonomik düzey ve okul türü gibi değişkenler açısından birbirinden farklı alt gruplarda yer alan bireylerin, bir maddeyi doğru cevaplandırma olasılıklarının farklılaşması olarak tanımlanır (Camilli ve Shepard, 1994; Osterlind ve Everson,2009; Zumbo, 1999). DMF, maddenin ölçmeye çalıştığı yetenek düzeyinde var olan gerçek farklılıktan kaynaklanabileceği gibi istenmeyen faktörlerden de kaynaklanabilir. Bu nedenle madde yanlılığı sürecinin bir parçası olarak DMF kaynaklarının belirlenmesi ölçme araçlarının geçerliğine kanıt oluşturması açısından oldukça önemli görülmektedir. Alanyazın incelendiğinde DMF analizlerinin yapılarak olası DMF kaynaklarının belirlendiği çok sayıda çalışma bulunmaktadır (Doolittle ve Clearly, 1987; Berberoğlu, 1995; Li, Cohen ve Ibarra, 2004; Kalaycıoğlu ve Berberoğlu, 2010; Kelecioğlu vd., 2014; Yıldırım ve Berberoğlu, 2009). Bu çalışmalar ışığında belirlenen DMF ’nin olası kaynakları şunlardır:

 Sosyo-ekonomik farklılıklar

 Bilgiye ulaşma imkânları (internet, bilgisayar, dershane vb.)  Müfredat kapsamındaki farklılıklar

 Kullanılan öğretim metotları

 Öğrencilerin kavramlara olan aşinalık düzeyi

 Öğrencilerin ilgi alanları (Örneğin; Bireyler aynı yetenek düzeyinde olmalarına rağmen bir matematik sorusunun konusu basketbol, futbol, araba yarışları veya avcılık gibi daha çok erkeklerin ilgisini çeken konulardan seçildiğinde, maddeleri erkeklerin doğru cevaplama olasılığı artmaktadır. Benzer şekilde, kız öğrencilerin

daha aşina olduğu konuların yer aldığı maddelerde ise kız öğrencilerin maddeleri doğru cevaplama olasılığı artmaktadır.)

 Soru çözümünde kullanılan stratejiler  Bilişsel düşünme biçimleri

 Madde içeriği ve formatı; Maddenin okul dışı bilgi ve deneyim gerektirmesi, günlük yaşam problemlerine dayalı olması; algoritmik işlemlere ve hesaplamaya dayanması; aritmetik ve cebirsel ifadelerin kullanılması; soyut içeriklere sahip olması; tablo, şekil, grafik içermesi, hız, uzunluk, zaman, para, yüzde ve alan içerikli olması; görsellik içermesi; görsel ve uzamsal zeka gerektirmesi vb.

Zenisky, Hambleton ve Robin (2003), test geliştirme çalışmalarında kullanılmak üzere DMF’nin olası kaynakları olarak belirledikleri ve minimum düzeye indirilmesi gereken noktaları şu şekilde ifade etmişlerdir.

 Madde içeriği; madde performansının cinsiyet gruplarına göre en yüksek oranda farklılaştığı durumlar için, günlük yaşam durumlarının verildiği madde içerikleri olarak belirtilmiştir. Özellikle dünya, uzay bilimleri ve teknoloji içerikli maddelerde bu durumun oldukça sık görüldüğü, bu içeriğe yer veren maddelerin en az %50’sinin DMF gösterdiği açıklanmıştır.

 Görsel/uzamsal beceri gerektiren çoktan seçmeli maddelerde şekil, diyagram cevap seçeneğinde verildiğinde erkek öğrenciler kız öğrencilere göre daha başarılı iken, açık uçlu maddelerde bireylere cevabın (şeklin) kendileri tarafından çizilmesi istendiğinde cinsiyet grupları arasındaki bu farklılığın ortadan kalktığı belirtilmiştir.  Madde içeriğine de bağlı olarak açık uçlu soruların kız öğrenciler lehine, çoktan

seçmeli test maddelerinin ise erkek öğrenciler lehine işlediği ifade edilmiştir.

1.2.4 Madde Yanlılığı ve Yanlı Madde Örnekleri

Madde yanlılığı belirleme çalışmalarının tarafsızlık ya da adillik (fairness) adı verilen, bir testteki konuyla ilgili benzer bilgilere sahip öğrencilerin bir sınav maddesinde cinsiyete, kültürlerine ve etnik kökenlerine bakılmaksızın benzer performans göstermesi gerektiğini vurgulayan sosyal bir boyutu bulunmaktadır (Zumbo, 1999). Eğitimde ve psikolojide ölçme standartlarında (1999), tarafsızlık dört içerik içinde tanımlanır: (a) yanlılıktan yoksun olarak tarafsızlık, (b) test süresince adil uygulama olarak tarafsızlık, (c) öğrenme fırsatı olarak tarafsızlık, (d) test çıktılarındaki eşitlik olarak tarafsızlık (AERA, APA ve NCME, 2011).

Eğitimsel ve psikolojik testler için tarafsızlık ilkesinin tanımının, aynı kurumlar tarafından (AERA, APA ve NCME) 2011 yılında yapılan taslak çalışmada biraz farklı tanımlandığı görülmektedir. Bu tanımda, tarafsızlığın daha önce açıklanan ilk üç boyutu yer almakta iken son boyut çıkarılmış, bunun yerine yeni bir boyut eklenmiştir. Eklenen yeni boyut, ölçülen yapı(lara) erişimdeki tarafsızlık, ölçülen yapıya erişmenin yoksunluğu, test yanlılığı ya da tarafsızlığın yoksunluğu olarak açıklanır (AERA, APA ve NCME’den aktaran Huggins, 2012). Standartların bu dört boyutu da doğrudan önemli bir sonuçla ilişkilidir; bu dört standarttan herhangi birine ulaşmadaki başarısızlık testi alan bireyler veya gruplar için test puanlarının aynı anlamı ifade etmemesi veya aynı yapıyı yansıtmaması ile sonuçlanabilir ve bu durum tarafsızlığın ihlali, yanlılık olarak karşımıza çıkabilir (Huggins, 2012).

Özellikle katılan bireyler için önemli sonuçları olan sınavların sınava giren kitle içindeki hiçbir alt gruba avantaj sağlamaması, tarafsız olması önemli bir konudur. Tarafsız bir test, testlerin amaçlarıyla ilgili ve bireylerin elde ettiği bilgi ve becerileri göstermede tüm katılımcılara eşit fırsat vermeli ve bütün gruplar için kıyaslanabilir geçerliğe sahip olmalıdır (Perrone, 2006). Eğitimde ve psikolojide ölçme standartlarında (1999) testlerin tarafsızlığı bölümü Standart 7.3’te testlerin yanlılığı ve DMF açıkça şu şekilde belirtilmiştir: Güvenilir araştırma raporları, test tarafından ölçülen içerik alanındaki test alıcılar evreninde yaş, cinsiyet, ırk, etnik köken, kültürel yapı ve dil grupları arasında DMF’nin varlığını rapor ediyorsa, test geliştirenlerin uygun çalışmaları yapması gerekir. Bu tür çalışmaların belirli gruplar için test puanlarında yanlılığa yol açabilecek test tasarımı, kapsamı ve biçim özelliklerinin belirlenmesi ve ortadan kaldırılması için yapılması gerekmektedir (AERA, APA ve NCME, 2011).

Test kullanımının cevaplayıcılar açısından önemli sonuçlarının olduğu, özellikle çok sayıda bireyin bundan etkilendiği durumlarda bu standardın öneminin arttığı varsayılır. Camilli ve Shepard (1994)’a göre sonuçları öğrencilerin geleceğiyle ilgili belirleyici olan veya katılanlar için önemli sonuçları olan bir testin tarafsızlığı özellikle, çok düşük seçme oranına sahip seçme amaçları için kullanılacaksa test geliştiricilerin başlıca ilgisi olmalıdır. Bu nedenle madde yanlılığı belirleme çalışmalarının istatiksel analizlerin yanı sıra DMF kaynaklarının belirlenmesi ve bu kaynakların madde yanlılığı nedeni olup olmadığının incelenmesi testleri alan bireyler için tarafsızlık ilkesini sağlaması açısından oldukça önemli olduğu düşünülmektedir. Aşağıda Yanlılık gösterdiği belirlenen madde örneklerine ve yanlılık gösterme nedenlerine ilişkin bilgilere yer verilmiştir.

Örnek 1. (Popham, 2012)

Popham (2012) maddenin farklı sosyo-ekonomik düzeylerden gelen bireyler için yanlılık oluşturduğunu belirtmiştir. Farklı sosyoekonomik düzeyden 200 öğrencinin katıldığı hayali bir sınav için öğrencilerin 100’ü düşük gelirli aileden 100’ü ise yüksek gelirli aileden geldiği ifade edilmiştir. Sosyoekonomik düzeyi yüksek aileden gelen öğrencilerin maddeyi doğru yanıtlama olasılığının aynı yetenek düzeyindeki diğer öğrencilere göre oldukça yüksek olacağı belirtilmiştir. Çünkü yüksek gelirli aileden gelen çocukların bir veya daha fazla aile üyesi (doktorlar, mühendisler, öğretmenler,bilgisayar programcıları vb. meslek grubundaki aile üyeleri gibi) vazifesini ya da işini “alan (field)” olarak tarif ederken; düşük gelirli ailedeki birçok aile üyesi işleri için “alan” ifadesini kullanmadığı düşünülmektedir. Küçük bir markette kasiyer olarak çalışan bir annenin veya araba tamircisinde çalışan bir babanın çocuğuna yani düşük gelirli bir aileden gelen çocuğa göre madde kökünde yer alan “alan” kelimesi oldukça yabancı bir kelimedir. Özel olarak yüksek gelirli aileden gelen çocukların bu kelimeye günlük hayatlarında daha sık karşılaşmış olabileceği düşünülmektedir. Bu maddede “genel olarak kelimenin cümleye kattığı anlam” ölçülmek istenirken özel olarak field (alan) kelimesinin bu cümle içerisindeki anlamının ve kelimeye olan aşinalığın ölçüldüğü ifade edilmiştir.

Annemin alanı mahkeme katipliği yapmaktır.

Yukarıdaki cümlede “alan” kelimesinin cümleye kattığı anlam aşağıdaki cümlelerin hangisindekiyle aynıdır.

A) İlk kaleci pozisyonunu alana göre nasıl alacağını biliyordu.

B) Çiftçi Jones bu alana gübre ekti. C) Okuldan sonra hangi alana gideceksin? D) Doktor görme alanımı kontrol etti.

Örnek 2: (Camilli ve Shepard, 1994)

Bu soru, erkek öğrenciler lehine DMF göstermiş bir sorudur. Ölçülmek istenen yapı “ilişki kurma” olmasına rağmen kullanılan literatür “avcılık/balık avcılığı” ile ilgili olduğu için bu madde uzmanlarca yanlı kabul edilmiştir (Camilli ve Shepard, 1994). “Avcılık” gibi konulara erkek öğrencilerin (aynı yetenek düzeyinde olsalar bile) kız öğrencilere göre daha aşina olmaları, bu sorunun doğru yanıtlanma olasılığının kız ve erkek öğrenciler arasında sistematik olarak farklılaşmasına neden olmaktadır. Soruda kullanılan literatürün “balık avcılığı” ile ilgili olması, sorunun içeriğinden kaynaklı olan bu faktörün testin amacına uygun olmamasından dolayı maddedeki yanlılığın nedeni olarak görülmüştür.

1.3 Problem İfadesi

Çalışmada, “2012 yılı SBS matematik alt testinde yer alan maddeler cinsiyete ve okul türü değişkenlerine göre DMF göstermekte midir? DMF gösterdiği belirlenen maddelerde yanlılık var mıdır?” sorularına cevap aranmaktadır.

1.3.1 Alt Problemler

1. 2012 SBS matematik alt testinde cinsiyete göre

a. Mantel Haenszel (MH) yöntemi ile yapılan analizlerde DMF gösteren maddeler var mıdır?

b. Lojistik Regresyon (LR) yöntemi ile yapılan analizlerde DMF gösteren maddeler var mıdır?

Aşağıdaki sözcük çiftlerinden hangisinde

“Düdük* - Ördek” sözcükleri arasındakine benzer bir ilişki vardır?

A) Ağ: Kelebek

B) Örümcek Ağı: Örümcek C) Tuzak Yemi: Balık D) Patika: Kısa yol

2. 2012 SBS matematik alt testinde okul türüne göre;

a. MH yöntemi ile yapılan analizlerde DMF gösteren maddeler var mıdır? b. LR yöntemi ile yapılan analizlerde DMF gösteren maddeler var mıdır?

3. DMF gösteren maddelerin belirlenmesinde LR ve MH yöntemleri arasında uyum var mıdır?

4. Delphi panelistlerine göre maddelerin cinsiyete ve okul türüne göre DMF göstermesinin nedenleri nelerdir?

5. Odak grup uzman görüşlerine göre belirlenen DMF kaynakları madde yanlılığına neden olmakta mıdır?

1.4 Amaç

Bu çalışmanın amacı, 2012 yılı 8.sınıf SBS’de yer alan matematik alt testi maddelerinin cinsiyet ve okul türü değişkenlerine göre DMF gösterip göstermediğini belirlemek; DMF gösteren maddelerin DMF kaynaklarını Delphi tekniğiyle, bu kaynakların madde yanlılığına yol açıp açmadığını ise odak grup görüşmesi ile incelemektir.

1.5 Önem

Bireyler hakkında önemli kararların alındığı seçme ve yerleştirme amacıyla yapılan geniş ölçekli sınavlardan elde edilen test puanlarının geçerliği eğitimde çok önemlidir. Ayrıca test maddelerinin test ile ölçülen yapıyla ilgili olmayan niteliklerinden dolayı, alt gruplardan herhangi birine avantaj sağlamaması, test puanları sonucunda alınan kararların doğruluğu açısından son derece önemli bir konudur. Bu sebeple bu tür test maddelerinin bireylerin çeşitli özelliklerine göre DMF gösterip göstermediğinin incelenmesi ve DMF gösteren maddelerin yanlılık içerip içermediğine ilişkin kanıtların sunulması gerekir. Bu çalışma, 2012 yılı 8.sınıf SBS matematik alt testinin geçerliliğine yönelik kanıt sağlaması açısından önem taşımaktadır.

Yanlılık araştırmaları göz önüne alındığında, DMF gösterdiği belirlenen maddelerin yanlılık durumlarının incelenmesine yönelik standart bir yol önerilmediği, birçok araştırmada bir metodolojiye bağlı olmaksızın uzman kanılarına başvurularak yanlılık araştırmasının yapıldığı görülmektedir. Bu çalışma, madde yanlılığı belirleme sürecinde; DMF kaynaklarının belirlenmesini Delphi tekniğiyle ve bu kaynakların madde yanlılığına yol açıp

açmadığını odak grup görüşmesiyle gerçekleştirmiş olması yönüyle alandaki metodolojilere bir seçenek sunacağı düşünülmektedir.

Alanyazında madde yanlılığı çalışmalarında farklı bir yöntem olarak Delphi tekniği ve odak grup görüşmesinin kullanıldığı hiçbir araştırmaya rastlanılmamıştır. Bu açıdan çalışma bir ilk niteliğindedir. Tek bir zamanda uygulanan araçlarla uzmanlardan görüş elde edilmesi pratik olmakla birlikte, bu tür uygulamaların maddelerin yanlılığının belirlenmesinde birincil uzlaşılması gereken nokta olan DMF kaynakları konusunda uzmanlara bir kez daha düşünme fırsatı vermemesi bir sınırlılık olarak görülebilir. Bu çalışmada uzman görüşlerinin Delphi tekniği kullanılarak alınacak olması bu sınırlılığı ortadan kaldırdığı gibi uzmanların görüşlerinde olası yakınlaşmalara yol açmaması yönüyle de sonuçların güvenirliği açısından önemli görülmektedir.

Ortaöğretim kurumlarına öğrenci seçme ve yerleştirme amacıyla uygulanan SBS gibi sınavların önceden bir başka grupta uygulanması ve uygulamaya göre testler içerisindeki maddelere ilişkin düzeltmelerin yapılması mümkün olmamaktadır. Bu çalışmanın test hazırlayıcılarını gerek DMF’nin ne olduğu ve olası kaynaklarının neler olduğu konusunda bilgilendirerek konunun önemine dikkat çekmesi, gerekse DMF’nin ne tür kaynaklarının madde yanlılığına neden olacağıyla ilgili konularda uzmanları aydınlatarak gelecekte daha geçerli testler oluşturmalarına yönelik önemli bilgiler sağlayacağı düşünülmektedir. Madde yanlılığına neden olan faktörlerin, bu bilgiler ışığında testlerin geliştirilme aşamasında madde yazım sürecinde dikkate alınması, testlerin puanlanmasında ve değerlendirilmesinde öğrenciler hakkında daha doğru kararların verilmesine katkı sağlayacaktır.

Bu araştırmanın, öğretim programlarında yer alan kazanımları öğrencilerin elde etme seviyesinin ölçülmesi amacıyla 2013-2014 eğitim-öğretim yılında SBS yerine uygulamaya konulan TEOG (Temel Eğitimden Ortaöğretime Geçiş) sınavlarında kullanılan testlerden biri olan matematik testinin yapı geçerliğinin belirlenmesine yönelik yapılacak olan çalışmalara katkı sağlayacağı düşünülmektedir. TEOG sınavlarında yer alan matematik testinin gerek iki uygulamada gerçekleştirilecek olması gerekse ortaöğretime yerleştirmeye esas puan hesaplamasında önemli bir yer tutması nedeniyle bu testlerin geçerlik kanıtlarını sağlayacak farklı çalışmaların yapılmasının alınan kararların doğruluğu açısından önemli görülmektedir.

1.6 Sayıltılar

1. Delphi panel üyeleri, Delphi panelleri boyunca; odak grup görüşmesi uzmanları görüşme süresince gerçek düşüncelerini belirtmişlerdir. Uygulamalarda şeffaf bir süreç izlenmiş, yönergeler anlaşılırlık yönünden kontrol edilmiş ve böylece panelistlerin cevaplama motivasyonları artırılmaya çalışılmıştır.

2. Öğrencilerin matematik alt test maddelerine verdikleri cevaplar gerçek bilgilerini yansıtmaktadır.

1.7 Sınırlılıklar

Delphi paneli uygulamaları üç oturum halinde yapılmıştır. Oturumların herhangi birinde mazeretleri nedeniyle süreçten ayrılan katılımcılar araştırma kapsamı dışında bırakılmıştır.

1.8 İlgili Araştırmalar

Bu bölümde alanyazında MH ve LR yöntemlerinin kullanıldığı cinsiyete ve okul türüne yönelik yapılan madde yanlılığı çalışmalarına yer verilmiştir. Çalışmalar özetlenirken özellikle olası DMF kaynaklarına ve madde yanlılığı sürecine yönelik detaylara değinilmiştir.

Harris ve Carlton (1983), Amerika Birleşik Devletleri’nde üniversiteye girişte kullanılan Akademik Yeterlik Sınavının (SAT) matematik testine yönelik MH yöntemiyle gerçekleştirdikleri çalışmada, bazı maddelerin cinsiyete göre DMF gösterdiğini bulmuşlardır. Cebirsel ifadelerin ve soyut gösterimlerin yer aldığı rutin maddelerde kız öğrenciler erkek öğrencilerden daha yüksek performans sergilerken, erkek öğrencilerin ise günlük yaşam problemlerinde, yüksek bilişsel karmaşıklık düzeyine sahip rutin yolarla çözülemeyen maddelerde ve tablo, grafik, şekil içeren maddelerde daha başarılı oldukları belirlenmiştir.

Doolittle ve Cleary (1987), Amerika Birleşik Devletleri’nde üniversiteye girişte için kullanılan American College Testing (ACT) sınavının matematik alt test maddelerinin cinsiyete göre DMF gösterip göstermediğini belirlemede MH yöntemi kullanmışlardır. Çalışmada algoritmik işlemlerle çözülebilen maddelerin kız öğrenciler lehine; geometri ve akıl yürütme becerisi gerektiren kelime problemleri maddelerinin ise erkek öğrenciler lehine işlediğini belirlemişlerdir.