Araştırmada stratejinin planlandığı gibi uygulanıp uygulanmadığının belirlenmesi amacı ile uygulama güvenirliği, bağımlı değişkene ilişkin verilerin güvenirliğini sağlamak için ise gözlemciler arası güvenirlik hesaplanmıştır.
3.9.1. Uygulama Güvenirliğinin Hesaplanması
Uygulama güvenirliği, hazırlanan form üzerinden hesaplanmıştır. Bu form, değerlendirme (başlama düzeyi, genelleme başlama düzeyi, öğretim sonu değerlendirme, izleme, genelleme ve genelleme izleme oturumları) ve uygulama oturumlarının her aşaması için (ön bilgileri geliştirme, tartışma, model olma, ezberleme, rehberli uygulamalar ve bağımsız uygulamalar) ayrı ayrı hazırlanmıştır (Ek 27). Uygulama güvenirliği formu araştırma süresince takip edilen başlama düzeyi ve uygulama oturumlarının tüm akışını maddeler şeklinde listelenmiş ve bu liste yaptı, yapmadı şeklinde bir forma dönüştürülerek gözlemcilere verilmiştir. Gözlemciler bilişsel strateji öğretimi üzerine doktora programında ders almış, özel eğitim alanında çalışan iki doktora öğrencisidir. Gözlemcilere başlama düzeyi ve genelleme başlama düzeyi oturumları, öğretim uygulama oturumları, öğretim sonu değerlendirme, izleme, genelleme ve genelleme izleme oturumlarının her birinden örnekler içerecek şekilde tüm uygulamaların en az %30’unu karşılayacak sayıda (18) videolar ve kayıt formları verilerek bu kayıt formlarını kendilerine verilen videoları izleyerek doldurmaları istenmiştir. Uygulama güvenirliği gözlenen uygulamacı davranışının planlanan uygulamacı davranışına bölünerek yüzdesinin alınması yolu ile hesaplanmıştır (Billingsley, White ve Munson, 1980). Gözlemciler arası güvenirlik, başlama düzeyi için % 100, önbilgileri geliştirme için %100, model olma için %100, ezberleme için %100, rehberli uygulamalar için %100, bağımsız uygulamalar için %100, genelleme öğretimi için %100, öğretim sonu değerlendirme için %100, izleme için %100 ve genelleme izleme için %100 olarak belirlenmiştir.
3.9.2. Gözlemciler Arası Güvenirliğin Hesaplanması
Gözlemciler arası güvenirlik, öykü ögeleri, öykü kalitesi, anı ögeleri ve anı kalitesi için hesaplanmıştır. Gözlemciler arası güvenirlik başlama düzeyi, öğretim sonu ve izleme oturumlarının her birinden örnekler olacak şekilde ve her öğrenciyi içerek şekilde
öğrencilerin yazdığı öykü ve anıların %30’u seçilerek hesaplanmıştır. Gözlemcilere arası güvenirliği belirlemek amacıyla Pearson product moment güvenirlik katsayısı kullanılmıştır. Öykü ögeleri, öykü kalitesi, anı ögeleri ve anı kalitesinde gözlemciler arası güvenirliği belirlemek amacıyla özel eğitimde iki doktora öğrencisine sırası ile öykü ögelerinin, öykü kalitesinin, anı ögelerinin ve anı kalitesinin puanlanması ile ilgili bire bir eğitim verilmiştir. Gözlemciler bir bağımlı değişkenin nasıl puanlanacağıyla ilgili eğitim aldıktan sonra deney sürecinde kullanılan metinleri ilgili bağımlı değişken açısından puanlamışlardır. Daha sonra diğer bağımlı değişkenin puanlandırılmasıyla ilgili eğitim almışlar ve puanlama sürecine geçmişlerdir. Eğitim süreci deney grupları dışında farklı sınıflarda öğrenim gören 4 ve 5. sınıfa devam eden öğrencilerin öykü ve anıları üzerinde yapılmıştır. Gözlemciler arası güvenirliğin hesaplanması için seçilen öykü ve anılarda kalite ve ögeler hesaplanmıştır. Bu eğitim süreçleri ve puanlamalar, gözlemciler arası güvenirlik çalışması yapılan her bağımlı değişken için aşağıda açıklanmıştır. Gözlemcilere eğitim birebir olarak verilmiştir. Gözlemcilere puanlama yapmadan önce verilen metinlerin hangi deney koşuluna ait olduğu söylenmemiştir.
3.9.2.1. Öykü Ögelerinde Gözlemciler Arası Güvenirliğin Hesaplanması Öykü ögelerinde gözlemciler arası güvenirliğin hesaplanması için eğitimde kullanılacak öğrencilerin öyküleri verilerek puanlandırmanın nasıl yapılacağı bu öyküler üzerinde anlatılmıştır. Eğitim sırasında öncelikle gözlemciler ve araştırmacı bir öyküde öykü ögeleri puanlama anahtarı kullanarak her ögeyi puanlandırmıştır. Puanlama sonuçları öykü ögelerinin bulunduğu tutarlılık formuna kayıt edilmiştir (Ek 29). Puanlama sonucu araştırmacı ve gözlemcilerin tutarlılık puanı, öykü ögeleri değerlendirme formundaki görüş birliği olan madde sayısının görüş birliği sağlanan madde sayısının görüş birliği sağlanamayan madde sayısı ile toplamına bölünmesi ve 100 ile çarpılması yoluyla hesaplanmıştır (House, House ve Campbell, 1981). Tutarlılık oturumlarına en az üç öyküde ardı ardına %85 tutarlılık oranına erişinceye kadar devam edilmiştir. Bu eğitimin ardından tüm deney koşullarından elde edilen öykülerin %30’u her iki gözlemciye verilmiştir. Gözlemcilerden bu öyküleri öykü ögeleri puanlama anahtarına göre puanlamaları istenmiştir. Öykü ögelerinde gözlemciler arası güvenirlik %93 bulunmuştur.
3.9.2.2. Anı Ögelerinde Gözlemciler Arası Güvenirliğin Hesaplanması Anı ögelerinin eğitimi tıpkı öykü ögelerinin eğitiminde olduğu gibi öykü ögeleri puanlama anahtarı kullanılarak yapılmıştır (Asaro-Saddler, Saddler, 2010).
Anı ögelerinde gözlemciler arası güvenirliğin hesaplanması için öğrencilerin anıları verilerek puanlandırmanın nasıl yapılacağı bu anılar üzerinde anlatılmıştır. Eğitim sırasında öncelikle gözlemciler ve araştırmacı bir anıda öykü ögeleri puanlama anahtarı kullanarak her ögeyi puanlandırmıştır. Puanlama sonuçları anı ögelerinin bulunduğu tutarlılık formuna kayıt edilmiştir. Puanlama sonucu araştırmacı ve gözlemcilerin tutarlılık puanı, öykü ögeleri değerlendirme formundaki toplam madde sayısının (8) tutarlılık sağlanan madde sayısının tutarlılık sağlanamayan madde sayısından farkı ile bölünmesi ve 100 ile çarpılması yoluyla hesaplanmıştır (House vd., 1981). Tutarlılık oturumlarına en az üç anıda ardı ardına %85 tutarlılık oranına erişinceye kadar devam edilmiştir. Bu eğitimin ardından tüm deney koşullarından elde edilen anıların %30’u her iki gözlemciye verilmiştir. Gözlemcilerden bu anıları öykü ögeleri puanlama anahtarına göre puanlamaları istenmiştir. Anı ögelerinde gözlemciler arası güvenirlik % 92 bulunmuştur.
3.9.2.3. Öykü Kalitesinde Gözlemciler Arası Güvenirliğin Hesaplanması Öykü ve anı kalitelerinde gözlemciler arası güvenirliğin hesaplanması için araştırmada verilerin puanlanmasında kullanılan 2, 4 ve 6 puanlık öyküler verilerek bütüncül değerlendirmenin hangi kriterlere göre yapılacağı hakkında gözlemciye eğitim oturumu düzenlenmiştir. Eğitim sırasında öncelikle gözlemciler ve araştırmacı bir öyküde bütüncül değerlendirme kriterlerine dayanarak ve 2, 4 ve 6 puanlık öyküleri temel alarak puan vermişlerdir. Puanlama soncunda en az bir farkla verilen puanlar tutarlı kabul edilmiştir (Asaro-Saddler, Saddler, 2010). Tutarlılık sağlanamayan metinlerle ilgili olarak puanlayıcılarla bütüncül değerlendirme ile ilgili kriterler ve 2, 4 ve 6 puanlık metinler üzerinde tartışmışlardır. Eğitime en az üç metinde ardı ardına tutarlı sonuç elde edilene kadar devam edilmiştir. Bu eğitimin ardından puanlama için metinler gözlemcilere verilmiştir. Öykü kalitesinde gözlemciler arası güvenirlik %95 bulunmuştur.
3.9.2.4. Anı Kalitesinde Gözlemciler Arası Güvenirliğin Hesaplanması Anı kalitesinin eğitimi tıpkı öykü ögelerinin eğitiminde olduğu gibi öykü ögeleri puanlama anahtarı kullanılarak yapılmıştır (Asaro-Saddler, Saddler, 2010).
Anı kalitelerinde gözlemciler arası güvenirliğin hesaplanması için araştırmada verilerin puanlanmasında kullanılan 2, 4 ve 6 puanlık anılar verilerek bütüncül değerlendirmenin hangi kriterlere göre yapılacağı hakkında eğitim oturumu düzenlenmiştir. Eğitim sırasında öncelikle gözlemciler ve araştırmacı bir anıda bütüncül değerlendirme kriterlerine dayanarak ve 2, 4 ve 6 puanlık anıları temel alarak puan vermişlerdir. Puanlama sonucunda en az bir farkla verilen puanlar tutarlı kabul edilmiştir (Asaro-Saddler, Saddler, 2010). Tutarlılık sağlanamayan metinlerle ilgili olarak puanlayıcılarla bütüncül değerlendirme ile ilgili kriterler ve 2, 4 ve 6 puanlık metinler üzerinde tartışmışlardır. Eğitime en az üç metinde ardı ardına tutarlı sonuç elde edilene kadar devam edilmiştir. Bu eğitimin ardından puanlama için metinler gözlemcilere verilmiştir. Anı kalitesinde gözlemciler arası güvenirlik %97 bulunmuştur.
BÖLÜM IV
BULGULAR ve YORUM
Bu araştırmada öykü ögesi, öykü kalitesi, anı ögesi, anı kalitesi, öykü yazma süresi, öykü uzunlukları, anı uzunlukları, öykü yazma öz yeterliliği ve sosyal geçerlilik olmak üzere dokuz değişken için veri toplanmıştır. Aşağıda sırasıyla tüm değişkenlere ilişkin bulgular ve yorumlara yer verilmiştir.