3. YÖNTEM
3.3. Verilerin Toplanması
3.3.3. Öyküleyici Metin Puanlama Anahtarı
Öğrencilerin yazdıkları metinlerin puanlanması için analitik bir puanlama anahtarı (rubrik) geliştirilmiştir. Öyküleyici Metin Puanlama Anahtarı geliştirilirken ilk olarak ilgili literatürden (Sarıca ve Usluel, 2016; Göçer, 2014b; Kutlu, Doğan ve Karakaya, 2014; Andrade, 1997; Popham, 1997) “puanlama anahtarının geliştirilme aşamaları” belirlenmiş ve belirlenen sıra takip edilmiştir. Kapsam geçerliğinin sağlanması amacıyla puanlama anahtarının boyutlarının oluşturulmasında 2006 ve 2015 Türkçe Dersi Öğretim Programlarında yer alan yazma kazanımları esas alınmıştır. Bununla birlikte, literatürdeki benzer değerlendirme araçları (Deniz, 2017; Sis ve Bahşi, 2016; Lüle Mert, 2014b; Canıtezer, 2014; Topuzkanamış, 2014; Kardaş, 2013; Sever, 1993) ile yazılı anlatım ile ilgili kaynaklar (Arıcı ve Ungan, 2015; Kavcar, Oğuzkan ve Aksoy, 2015; Tekşan, 2013; Aktaş ve Gündüz, 2014; Göçer, 2014a; Temizkan, 2014; Gündüz ve Şimşek, 2012; Oral, 2012; Ülper, 2011; Beyreli, Çetindağ ve Celepoğlu, 2010; Kıbrıs, 2010) incelenmiştir. İfade edilen kaynaklardan hareketle puanlama anahtarının ana ve alt boyutları
oluşturulmuş ve bu boyutlar “geliştirilmeli, orta, iyi ve çok iyi” şeklinde 1’den 4’e derecelendirilmiştir.
Rubrik, biçimsel özellikleri yansıtan “kağıt düzeni ve yazı düzeni” boyutları; anlatım biçimlerine ilişkin özellikleri yansıtan “düğüm-çözüm, anlamsal bütünlük, cümleler arası geçiş, oluş sırası, tekrara düşme, ifade zenginliği, söz varlığı, sebep-sonuç amaç-sonuç ifadeleri, anlatım, sonuca bağlama” boyutları; verilen metne uyuma ilişkin özellikleri yansıtan kişiler, zaman/kip uyumu” boyutları ile yazım ve noktalamaya ilişkin özellikleri yansıtan “yazım, noktalama” boyutlarından oluşmaktadır. Bu 16 boyut ile ölçülmesi hedeflenen özellikler Tablo 10’da yer almaktadır:
Tablo 10. Öyküleyici Metin Puanlama Anahtarı’nda Yer Alan Boyutlarda Ölçülmesi Hedeflenen Özellikler
Boyut Alt Boyut Ölçülmesi Hedeflenen Özellik
Ka ğıt ve Ya zı Düz
eni Kağıt Düzeni
Oluşturulan metinde kenar boşluklarına ne oranda dikkat edildiği
Yazı Düzeni Yazının ne derece okunaklı olduğu, satırlarda kaymalar olup olmadığı
Anla
tı
m B
ec
erisi
Düğüm- Çözüm Oluşturulan metinde düğüm ve çözüm bölümlerinin bulunup bulunmadığı
Anlamsal
Bütünlük Oluşturulan metinde anlamsal bütünlük olup olmadığı
Cümleler Arası Geçiş
Oluşturulan metinde cümleler arası geçişlerde uygun geçiş ifadeleri ve bağlama ögeleri kullanılıp kullanılmadığı
Oluş Sırası Oluşturulan metinde kronolojik sıraya uyulup uyulmadığı
Tekrara Düşme Oluşturulan metinde olay veya ifade tekrarına düşülüp düşülmediği
İfade Zenginliği
Oluşturulan metinde anlatımı zenginleştirmek için anlatım yöntem ve türlerinden yararlanılıp yararlanılmadığı
Söz Varlığı
Oluşturulan metindeki sözcüklerin anlamına uygun kullanılıp kullanılmadığı ile deyim, ikileme gibi kalıplaşmış sözlerin uygun biçimde kullanılıp kullanılmadığı
Sebep-Sonuç, Amaç-Sonuç İfadeleri
Oluşturulan metinde sebep-sonuç ve amaç-sonuç ifadelerinin doğru şekilde kurulup kurulmadığı
Anlatım
Oluşturulan metinde anlatım özelliklerine (özgünlük, yalınlık, duruluk, açıklık ve akıcılık) ne oranda dikkat edildiği
Sonuca Bağlama Oluşturulan metnin tutarlı ifadelerle sonuca bağlanıp bağlanamadığı Ve rile n Me tne Uyum
Kişiler Metnin verilen kısmındaki kişilerin ne kadarının olayın akışına uygun biçimde oluşturulan metne aktarıldığı Zaman/Kip
Uyumu
Oluşturulan metnin anlatıcı ve zaman bakımından verilen bölümle ne derece uyumlu olduğu
Ya zım ve Nokta lama Yazım
Oluşturulan metinde Türkçe yazım kurallarına uygun şekilde yazılmayan sözcük veya eklerin ne oranda olduğu
Noktalama Oluşturulan metinde noktalama işaretlerinin ne derece doğru kullanıldığı
Puanlama anahtarının taslak formu sekiz Türkçe Eğitimi uzmanına, bir ölçme ve değerlendirme uzmanına gönderilmiştir. Uzmanlara ilişkin ayrıntılar Tablo 11’de yer almaktadır:
Tablo 11. Puanlama Anahtarı İçin Görüşleri Alınan Uzmanlara İlişkin Ayrıntılar
Sıra Cinsiyet Unvan Açıklama
1 Erkek Yrd. Doç.
Dr. Ölçme ve Değerlendirme alanında doktordur.
2 Kadın Yrd. Doç.
Dr. Türkçe Eğitimi alanında doktordur.
3 Kadın Yrd. Doç.
Dr. Türkçe Eğitimi alanında doktordur.
4 Kadın Yrd. Doç.
Dr. Türkçe Eğitimi alanında doktordur.
5 Kadın Dr. Türkçe Eğitimi alanında doktordur.
6 Erkek Dr. Türkçe Eğitimi alanında doktordur.
7 Erkek Dr. Türkçe Eğitimi alanında bilim uzmanı, Türk
Dili ve Edebiyatı Eğitimi alanında doktordur.
8 Erkek
Doktora
9 Erkek
Doktora
Öğrencisi Türkçe Eğitimi alanında bilim uzmanı ve aynı alanda doktora öğrencisidir.
Uzmanlar, taslak puanlama anahtarını “amaca ve kapsama uygunluk, yazılı anlatım unsurların tamamını içerip içermemesi, anlaşılırlık ve biçimsel özellikler” açısından inceleyerek değerlendirmişlerdir. Değerlendirme sonucunda uzmanlar, puanlama anahtarının (rubriğin) genel olarak amaca ve kapsama uygun olduğunu ve ölçmek istediği unsurları barındırdığını ifade etmişlerdir. Bunun yanında, puanlama anahtarının biçim ve içeriğine ilişkin bazı düzeltmelerin uygun olacağı belirtilmiştir. Söz gelimi, iki uzman “Oluş Sırası” boyutunda yer alan “Metindeki olay en az üç yerde kronolojik sıraya uyulmamıştır” ifadesinde bir anlatım bozukluğu olduğunu belirtmiş; bunun üzerine ifade “Metindeki olayda en az üç yerde kronolojik sıraya uyulmamıştır” şeklinde düzeltilmiştir. Ayrıca bir uzman, “Kağıt Düzeni” boyutunda yer alan “Metnin bazı bölümlerinde kenar boşluklarına dikkat edilmemiştir” ifadesininin kodlayıcıların aynı değeri anlaması açısından sorunlu olduğunu, bunun yerine daha net alt ve üst sınırlar konmasını tavsiye etmiştir. Bunun üzerine ifade, “Metinde kağıdın dört kenarından ikisindeki boşluğa dikkat edilmemiştir” şeklinde değiştirilmiş ve ilgili boyuttaki her bir cümlenin sonuna “Kağıdın üst, sol ve alt bölümlerinde 3 cm, sağ bölümünde 2 cm boşluk olmalıdır.” ifadesi eklenmiştir. Uzman değerlendirmeleri doğrultusunda gerekli düzenlemelerin yapılmasının ardından Öyküleyici Metin Puanlama Anahtarı nihai (son) şeklini almıştır (Ek 13).