3. BÖLÜM: ARAŞTIRMA TASARIMI …
3.3. TASARLANAN HABER OKURYAZARLIĞI EĞİTİM PROGRAMININ
3.3.1. Verilerin Analizi
Araştırma kapsamındaki verilerin toplanması ile ilgili süreç “3.2.4. Haber Okuryazarlığı Eğitim Program Tasarımının Ölçme ve Değerlendirme Yaklaşımı” başlığı altında aktarılmıştır. Araştırmanın veri toplama aşamasında, birbirini tamamlayıcı veriler elde etmek amacıyla çeşitleme yaklaşımına (Morse, 1991, s. 120; Patton, 2014, s. 57) başvurulmuş ve bu amaçla nicel ve nitel veriler elde edilmiştir. Şekil 3’te, çalışma
78
çerçevesinde uygulanan her teste yönelik toplanan veri türleri hakkında bilgi sunulmaktadır.
Şekil 3. HOY eğitimi uygulaması sürecinde toplanan verilerin türleri
Modüllere yönelik başarımların değerlendirilmesinin hedeflendiği ön ve son testte sorulan sorular32 (bkz. Ek 5 ve 7) ile öğrencilerin bilgi, beceri ve farkındalık düzeylerindeki değişim, her iki testte de benzer soru türleri ile değerlendirilmeye çalışılmıştır. Her modül için ön ve son testlerde kullanılan soru türleri Tablo 3’te yer almaktadır.
32 Ön test 25, son test ise 24 sorudan oluşmaktadır.
Ön ve Son Test Öz Değerlendirme
Testi I ve II
Eğitimin Öğrenciler Tarafından Değerlendirilmesi Modül başarımlarının belirlenmesinde ihtiyaç duyulan nicel verilero Doğrulama Soruları: Öğrencilerin Modül 4-5 kapsamındaki haber doğrulama bilgi ve becerilerini test eden nitel veriler
Öğrencilerin kendilerini konu ile ilgili nasıl değerlendirdiklerini ve Kendi bilgi ve
becerileri konusundaki farkındalık düzeylerini gösteren nicel veriler
Eğitimle ilgili geri bildirimleri gösteren nitel veriler
79 Tablo 3
Ön ve Son Test ile Öz Değerlendirme Testi I-II’de Yer Alan Soru Türleri
ÖN TEST – SON TEST Soru türleri Modül 1 “Haber Okuryazarlığı Nedir?” Modül 2 “Bilgi ve Haber Kaynakları” Modül 3 “Basının Doğası ve Misyonu” Modül 4-5 “Haber Doğrulama I ve II”33 Modül 6 “Bilgi Seçme ve Filtreleme” Modül 7 “Yeni Medya ve İfade Özgürlüğü”
Çoktan seçmeli (tek yanıt) ✓ ✓ ✓ ✓
Çoktan seçmeli (çoklu yanıt) ✓ ✓
Doğru/Yanlış ✓ ✓ ✓ ✓ ✓
Evet/Hayır ✓
Açık uçlu ✓ ✓* ✓
ÖZ DEĞERLENDİRME I-II VE EĞİTİMİN ÖĞRENCİLER TARAFINDAN DEĞERLENDİRİLMESİ TESTLERİ
Soru türleri Öz Değerlendirme I Öz Değerlendirme II Eğitimin Öğrenciler Tarafından
Değerlendirilmesi
Çoktan seçmeli (tek yanıt) ✓ ✓ ✓
Çoktan seçmeli (çoklu yanıt) ✓
Evet/Hayır ✓ ✓
Açık uçlu ✓ ✓ ✓
* Modül 4-5 kapsamında yer alan haber doğrulama sorularının değerlendirilmesinde başvurulan ekran görüntüsü kayıtları da bu tabloda açık uçlu kategorisinde sayılmıştır. Detaylar “Haber Doğrulama Soruları” başlığı altında aktarılmaktadır.
3.3.1.1. Ön ve Son Test
Ön ve son testte yer alan soruların puanlanmasında, beklenen her yanıt, bir başka deyişle doğru yanıt, 1 puana, yanlış yanıt ise 0 puana karşılık gelecek şekilde hesaplama yapılmıştır. Örneğin, dört önermeden oluşan bir doğru / yanlış sorusunda, her önerme için işaretlenmesi beklenen yanıt (önermenin doğru yanıtı) 1’er puan olacak şekilde tanımlanmıştır. Böyle bir durumda, tüm önermelere beklenen yanıtı veren bir öğrenci bu sorudan 4 puan almıştır. Bir başka deyişle, bu sorudan alınabilecek maksimum puan 4’tür. Ön ve son testte yer alan tüm sorular bu mantığa dayalı olarak puanlanmıştır. Sorulardan alınabilecek tam puanlar Tablo 4’te yer almaktadır. Öte yandan, Modül 4-5 ile ilgili olarak sorulan haber doğrulama sorularının (ön test soru 19 ve 23; son test soru 18 ve 22) puanlanmasında biraz daha farklı bir yol izlenmiştir. Daha önce de ifade edildiği gibi, bu soruların değerlendirilmesinde ekran görüntüleri ve haber doğrulama unsurları göz önünde
33 Modül 4-5’in içeriğinde haber doğrulama soruları yer aldığı için tez boyunca bu iki modül birlikte değerlendirilmiştir.
80
bulundurulduğu için puanlama da bu unsurlara yönelik arama yapılıp yapılmadığına göre belirlenmiştir.
Tablo 4
Ön (ÖT) ve Son Testlerde (ST) Yer Alan Soruların Modüllere Göre Dağılımı ve Puanları
Modül Numaraları ve Başlıkları* ÖT Soru No ST Soru No Tam puan %
Modül 1 “Haber Okuryazarlığı Nedir?”
S1+S8** S1 5 7,4
S2 S2 2 2,9
S4+S5 S4+S5 4 5,9
S14 S13 3 4,4
Toplam 14 20,6
Modül 2 “Bilgi ve Haber Kaynakları”
S6 S6 6 8,8
S7 S7 3 4,4
Toplam 9 13,2
Modül 3 “Basının Doğası ve Misyonu” Toplam (S9) (S8) 10 14,7
Modül 4-5 “Haber Doğrulama I-II”
S15 S14 2 2,9 S17 S16 1 1,5 S18 S17 1 1,5 S19+S23 S18+S22 10 14,7 S21 S20 1 1,5 S22 S21 1 1,5 S12 S11 3 4,4 S13 S12 4 5,9 Toplam 23 33,8
Modül 6 “Bilgi Seçme ve Filtreleme”
S10 S9 1 1,5
S11 S10 2 2,9
Toplam 3 4,4
Modül 7 “Yeni Medya ve İfade
Özgürlüğü”
S3 S3 5 7,4
S16 S15 4 5,9
Toplam 9 13,2
Tüm modüller Toplam 68 100,0
* Her modüle ait puan dağılımı farklıdır. Çalışmanın amacına bağlı olarak her modül kendi içerisinde değerlendirilmiştir. ** (+) işareti iki sorunun birlikte değerlendirildiğini ifade etmektedir (örneğin: S1+S8).
Puanlara yönelik olarak yapılan değerlendirmelerde, minimum ve maksimum puan, ortanca değer, standart sapma, dağılım genişliği gibi değerler yorumlanmıştır. Ayrıca, her soru için deney ve kontrol gruplarında yer alan öğrencilerin ön ve son test puanları arasında istatistiksel açıdan herhangi bir farklılık olup olmadığı araştırılmıştır. Bu amaçla, normal dağılım gerektiren parametrik test varsayımlarından biri olan “denek sayısının 30’dan büyük olması” (Field, 2013) bu çalışma kapsamında yer alan deney ve kontrol
81
gruplarındaki öğrenci sayıları34 açısından sağlanmadığı için, parametrik olmayan (nonparametric) testlere başvurulmuş ve parametrik olmayan bağımlı iki örneklem testlerinden Wilcoxon İşaretli Sıra Testi uygulanmıştır. Ayrıca, her soru için hem her iki grubun (deney ve kontrol) ön ve son test puanları karşılaştırılarak gruplar arasındaki bilgi düzeyinde benzerlik ya da farklılıklar olup olmadığı hem de yıllar arası gruplar karşılaştırılarak farklı yılların aynı grupları arasında farklılıklar olup olmadığı belirlenmeye çalışılmıştır. Bu amaçla, bağımsız iki örneklem testinin parametrik olmayan karşılıklarından biri olan Mann-Whitney U Testi uygulanmıştır. Uygulanan testlerden elde edilen tüm sonuçlar Ek 10’da (bkz. Tablo 10.1, Tablo 10.2, Tablo 10.3, Tablo 10.4 ve Tablo 10.5) sunulmuştur. Tez kapsamında uygulanan istatistiksel testlerin tamamında güven düzeyi %95’tir.
Haber Doğrulama Soruları
Araştırma kapsamında toplanan nitel verilerden bir diğeri, ön ve son testte Modül 4-5 kapsamında yer alan haber doğrulama sorularına ilişkin ekran görüntüsü kayıtlarıdır. Bu kayıtlar diğer nitel verilerden (açık uçlu sorulardan) farklı olarak, birkaç adımdan oluşan daha detaylı bir analiz gerektirmiştir. Haber doğrulamaya yönelik olarak ön ve son testte ikişer olmak üzere toplamda 4 doğrulama sorusu bulunmaktadır. Bu soruların her birinde farklı içerikte / konuda bir haber örneği mevcuttur (bkz. Ek 5 ve 7). Haber doğrulama sorularında, öğrencilerin bu sorulara ilişkin yaptıkları aramaları ve doğrulama sürecini aktaran ekran görüntülerinin değerlendirilebilmesi için öncelikle ekran görüntüleri eğitimci tarafından izlenmiş, her bir adım metne dönüştürülerek deşifresi yapılmıştır. Ekran görüntülerinin analizinde temel olarak, her bir soru için hangi sorgu terimleri ile arama yapıldığına odaklanılmıştır. Bu değerlendirme ile öğrencilerin haber doğrulama adımlarını uygulayabilme durumlarını tespit edebilmek amaçlanmıştır.
Sorularda verilen örneklerin araştırılmasında hangi doğrulama adımlarının uygulanması gerektiğine dair, ön test öncesinde eğitimci tarafından “Doğrulama El Kitabı”nda (Silverman ve Tsubaki, t.y., s. 98-102; Wardle, t.y., s. 26) belirtilen unsurlar referans
34 HOY-1 deney grubu: 20 öğrenci, kontrol grubu: 12 öğrenci; HOY-2 deney grubu: 16 öğrenci, kontrol grubu: 22 öğrenci.
82
alınarak, bir yanıt anahtarı35 oluşturulmuştur. Belirtilen kaynakta yer alan doğrulama kontrol unsurları, köken, kaynak, zaman ve yer olarak ifade etmektedir.
Belirtilen unsurlardan yola çıkılarak hazırlanan yanıt anahtarında, arama esnasında kullanılan hangi sorgu teriminin hangi doğrulama unsuruna karşılık gelebileceği her soru özelinde tanımlanmıştır. Buna göre, her bir soruda yer alan haber örneğinin içeriğine bağlı olarak irdelenmesi beklenen unsurlar köken ve kaynaktır. Ayrıca, ön testte yer alan ilk doğrulama sorusundaki haber örneğinde spesifik bir zaman (tarih) bilgisi bulunmaktadır. Buna bağlı olarak, bu haber ile ilgili araştırma yapılırken zaman (tarih) unsurunun da araştırılması beklenmiştir. Diğer sorularda yer alan haber örneklerinde ise direkt belirtilmiş bir zaman (tarih) ya da yer (konum) bilgisi bulunmadığından, bu unsurların öğrenciler tarafından araştırılması beklenmemiştir. Sadece öğrencilerin ekran görüntüsü kayıtları incelenerek yapılan değerlendirmeler, öğrencilerin yaptıkları sorgulamaların zaman ya da
yer bilgisini irdelemek amacıyla yapıldığı yönünde bir çıkarımda bulunmaya yetmemektedir. Dolayısıyla, daha sağlıklı değerlendirme yapabilmek amacıyla bu unsurlar değerlendirme dışında bırakılmıştır (zaman bilgisi içeren ön testteki ilk doğrulama sorusu hariç). Ön (soru 19 ve 23) ve son testte (soru 18 ve 22) yer alan doğrulama sorularından alınabilecek puanlar da Tablo 5’te görülmektedir.
Sorgu kategorilerinden bazıları (örneğin, kişi adı) hem köken hem de kaynağa yönelik iz sürmek amacıyla kullanılabildiği için bu kategoriler hem köken hem de kaynak unsuru altında değerlendirilmiş ve bu kategoride sorgu yapan bir öğrenci her iki unsurdan da (köken ve kaynak) puan almıştır (bkz. Tablo 5). Kişi adı ile her bir haber örneği özelinde o haberin içeriğinde geçen ve haber konusunun bir parçası olan kişi kastedilmektedir. Puan alınabilmesi için bu adımların mutlaka Tablo 5’te sunulan sırada uygulanması zorunlu değildir.
35 Yanıt anahtarı, “Doğrulama El Kitabı”nda (Silverman ve Tsubaki, t.y., s. 98-102; Wardle, t.y., s. 26) yer alan haber doğrulama unsurları ile haber doğrulama uygulaması yapan öğrencilerin yaptığı aramaların ortaya koyduğu uygun arama terimleri eşleştirilerek oluşturulmuştur (bkz. Tablo 5).
83 Tablo 5
Haber Doğrulama Sorularının Puanlaması (Ön ve Son Test)
Sorular Unsur Sorgu teriminin
kategorisi Olası sorgu terimi Alınabilecek
puan Ön Test Doğrulama Sorusu 1 (Soru 19) Köken:
Kişi adı Murat Sevencan 1
Kurum adı Gazi Üniversitesi 1
Haberin konusu Organ mafyası 1
Kaynak: Kişi adı Murat Sevencan 1
Gazetecinin adı Yalçın Bayer 1
Zaman: Köşe yazısının tarihi 3 Ocak 2008 1
Toplam puan 6 Ön Test Doğrulama Sorusu 2 (Soru 23) Köken:
Kişi adı Cecile Grudet 1
Kurum adı Lund Üniversitesi 1
Haberin konusu D vitamini eksikliği intihara sürüklüyor 1
Kaynak: Kişi adı Cecile Grudet 1
Toplam puan 4
Son Test Doğrulama Sorusu 1 (Soru 18)
Köken: Kişi adı Charlotta Eriksson 1
Haberin konusu Havaalanı göbek yapabilir 1
Kaynak:
Kişi adı Charlotta Eriksson 1
Haberin
yayımlandığı kaynak Milliyet Pembenar 1 Dergi adı Environmental Health Perspectives 1
Toplam puan 5 Son Test Doğrulama Sorusu 2 (Soru 22) Köken:
Görsel arama Soruda verilen görsel 1 Haberin konusu Kars’ın yıkılan tren garı 1 Doğrulama aracı
Google Görseller / TinEye / Google
Earth / FindExif / Forensically 1 Kaynak: Görsel arama Soruda verilen görsel 1 Haberin konusu Kars’ın yıkılan tren garı 1
Toplam puan 5
Ön (soru 19 ve 23) ve son testlerde (soru 18 ve 22) her bir doğrulama sorusundan hemen sonra sorulan ve öğrencilerin haber doğrulama esnasında karşılaştıkları zorluklar varsa bunları açıklamalarının istendiği açık uçlu birer soruya da yer verilmiştir (ön test soru 20 ve 24; son test soru 19 ve 23). Öğrencilerin doğrulama sürecinde zorlandıkları noktalar ile ilgili kategorileri ortaya koyabilmek amacıyla, soruya verdikleri geri bildirimlerde belirtilen hususlardaki ortak noktalar esas alınmıştır. Bir başka deyişle, öğrencilerin geri bildirimlerinde öne çıkan ortak noktalardan yola çıkılarak kategoriler oluşturulmuş, tüm geri bildirimler, oluşturulan kategoriler36 içerisinde uygun olanlar altına yerleştirilmiştir. Böylelikle, öğrencilerin haber doğrulama esnasında ne tür zorluklar yaşadıkları ortaya konmuştur.
36 Öğrencilerin zorlanmama nedenlerine yönelik oluşturulan kategoriler; “zorlanmayanlar”, “doğrulama unsurları”, “arama becerisi”, “doğrulama araçları”, “doğrulamanın nasıl yapılacağını bilmeme”, “zorlanma nedenini belirtmeyenler”dir (bkz. Bölüm 4, s. 123).
84 3.3.1.2. Öz Değerlendirme Testleri I-II
Öz değerlendirme testlerine (I-II) bakıldığında (bkz. Ek 4 ve 6), öğrencilerin haber okuryazarlığı eğitim geçmişleri (Ek 4, Soru 1), haber takip alışkanlıkları (Ek 4, Soru 2), en çok takip edilen haber kaynakları (Ek 4, Soru 3), şüphe duyulan (Ek 4, Soru 4) ve doğrulama ihtiyacı hissedilen haber kaynaklarının (Ek 4, Soru 5) neler olduğu sorgulanmıştır. Ayrıca, öğrencilerin haber ve sahte haber kavramları (Ek 4, Soru 6 ve 7; Ek 6, Soru 1 ve 2) ile sahte haber tespiti (Ek 4, Soru 8 ve 9; Ek 6, Soru 3 ve 4) söz konusu olduğunda kendi bilgi ve becerilerine yönelik farkındalık düzeylerinin ne durumda olduğunu ve öz farkındalıklarının eğitim sonrasında herhangi bir değişime uğrayıp uğramadığını görebilmek amacıyla öz değerlendirme testlerinde (I-II) Tablo 3’te görülen soru türlerine yer verilmiştir37. Böylece, deneklerin bilgi ve beceri düzeylerine yönelik mevcut durumları, kendi bakış açılarından ortaya konmaya çalışılmıştır. Öz değerlendirme testlerinde (I-II) yer alan sorular başarım değerlendirmesi amacı taşımamaktadır. Dolayısıyla, bu sorular puanlamaya dâhil değildir. Sahte haber tespiti ile ilgili öz değerlendirmelerin eğitim öncesi ve sonrasında herhangi bir değişim gösterip göstermediğini belirleyebilmek amacıyla, öğrencilerin kendilerine verdikleri puanlar üzerinden parametrik olmayan bağımlı iki örneklem testi (Wilcoxon İşaretli Sıra Testi) uygulanmıştır. Bu testlere ilişkin sonuçlar Ek 10 Tablo 10.6’da yer almaktadır.
3.3.1.3. Eğitimin Öğrenciler Tarafından Değerlendirilmesi Testi
Eğitimin tamamlanmasının ardından, eğitim alan gruplarda (deney) yer alan öğrencilerin eğitimi değerlendirmeleri için uygulanan testte ise (bkz. Ek 8), Tablo 3’te görülen soru türleri aracılığıyla veri toplanmıştır. Sorular, eğitimin içerik, süre (hafta sayısı, saat), uygulama etkinlikleri, eğitimci, eğitimden kazanılan bilgi ve becerilerin kullanımı, eğitimin veriliş biçimi (öğretim yöntemi) gibi farklı kategorilerde değerlendirilmesini içermektedir. Öğrencilerden alınan geri bildirimler, ilgili kategoriler altında toplanarak değerlendirilmiştir. Değerlendirme aşamasında, bu kategorilere yönelik geri bildirimlerin olumlu ve olumsuz olarak farklılık gösterdiği fark edilmiştir. Buradan yola çıkarak, öğrenci geri bildirimleri, ilgili kategoriler altında olumlu ve olumsuz olarak gruplanarak değerlendirilmiştir. Eğitimin
37Öz değerlendirme testleri hem ön hem de son test öncesinde uygulanmıştır. Ön test ile birlikte uygulanan öz değerlendirme testi 11 sorudan, son test ile birlikte uygulanan ise 5 sorudan oluşmakta ve sadece öğrencilerin “haber”, “sahte haber”, “sahte haberleri tespit edebilme bilgi ve becerileri”ne ilişkin kendilerini nasıl
85
öğrenciler tarafından değerlendirildiği bu test ile de herhangi bir şekilde doğrudan başarım değerlendirmesi yapmak amaçlanmadığından, öğrenci geri bildirimlerine ilişkin puanlama yapılmamıştır. Bu test ile toplanan nitel veriler, bulgularda yer alan diğer nicel verilerin desteklenmesi amacıyla kullanılmıştır.