Ayrıca inceleme formunda, bu adımlar takip edilerek sürdürülen ölçek geliştirme sürecinde uyulması gereken ilkeler de yer almaktadır. Bu ilkeler ölçek geliştirme sürecinde her bir adımda yapılması gereken başlıca işlemler olarak düşünülebilir.
Ölçek uyarlama adımları ve ilkeleri inceleme formu oluşturulurken, ölçek uyarlama adımları 10 başlıkta ele alınmıştır (Deniz, 2007; Hambleton ve Patsula, 1999; Hambleton, Meranda ve Spielberger, 2005) . Bu başlıklar aşağıda sunulmuştur.
• Yeni bir ölçek geliştirmenin mi, yoksa var olan bir ölçeği uyarlamanın mı daha kullanışlı olacağına karar verilmesi.
• Ölçeği uyarlamak için izin alınması.
• Ölçeğin hem dilsel hem de kültürel yönden yapısal eşdeğerliğinin sağlandığından emin olunması.
• Yüksek nitelikli çevirmenler seçilmesi.
• Ölçeğin hedef dile çevrilmesi ve uyarlanması.
• Ölçeğin uyarlanmış halinin gözden geçirilmesi ve gerekli düzeltmelerin yapılması.
• Ölçeğin uyarlanmış halinin küçük bir grup üzerinde deneme uygulamasının yapılması.
• Olası hedef kitleyi temsil edecek küçük bir grup üzerinde yapılan deneme uygulamasından elde edilen veriler ile ölçeğin geçerlik, güvenirlik hesaplamaları ve madde analizlerinin yapılması.
• Ölçeğin özgün formu ve hedef dil formundan elde edilen puanlar arasındaki ilişkiyi bulmak için istatistiksel bir desen belirlenmesi.
• Kültürlerarası karşılaştırma yapmak amaçlanıyorsa özgün form ve hedef dil formları arasında dilsel eşdeğerliğin sağlanması.
Ayrıca inceleme formunda, bu adımlar takip edilerek sürdürülen ölçek uyarlama sürecinde uyulması gereken ilkeler de yer almaktadır. Bu ilkeler ölçek uyarlama sürecinde her bir adımda yapılması gereken başlıca işlemler olarak düşünülebilir.
Ölçek Geliştirme Adımları ve İlkeleri İnceleme Formu’nda (EK 1) ve Ölçek Uyarlama Adımları ve İlkeleri İnceleme Formu’nda (EK 2), harflerle ifade edilen cümleler ölçek geliştirme/uyarlama adımlarını, sayılarla ifade edilen cümleler ise o adımda uyulması gereken ilkeleri belirtmektedir. Formlardaki tepki kategorileri Çalışmada bu adıma veya ilkeye, ‘’uyulmamıştır”,
“kısmen uyulmuştur”, “uyulmuştur” ve “Çalışmada bu adıma veya ilkeye ilişkin bilgiler rapor edilmemiştir” olarak düzenlenmiştir.
Oluşturulan inceleme formları, her bir ölçüte ilişkin gözlemlenme düzeyini tanımlamaya yöneliktir.
Araştırmanın ve geliştirilen inceleme formlarının güvenirliği, nitel araştırmalarda kullanılan gözleme bağlı güvenirlik yöntemi ile analiz edilmiştir.
Gözleme bağlı güvenirlik, aynı zaman diliminde birden fazla araştırmacının bir olgu ya da olayı aynı biçimde ölçmesi anlamına gelir. Kirk ve Miller (1986)’a göre nitel araştırmalarda, gözlem ya da görüşme yoluyla elde edilecek veriler ve bunların analizi ile ilgili araştırmacılar arasında oluşabilecek farklılıkların en aza indirilmesi beklenir (Aktaran: Yıldırım ve Şimşek, 2011).
Araştırmacılar arasındaki tutarlılığın belirlenmesi amacıyla, örneklemde yer alan 29 ölçek geliştirme çalışması arasından beş çalışma ve 21 ölçek uyarlama çalışması arasından beş çalışma seçkisiz olarak seçilmiştir. Bu çalışmaları incelemek üzere dört farklı araştırmacı belirlenmiştir.
Araştırmacılardan ikisi ölçme ve değerlendirme uzmanı diğer ikisi ise öğretmendir.
Seçilen beş ölçek geliştirme çalışması iki araştırmacıya ve beş uyarlama çalışması diğer iki araştırmacıya inceleme formları ile birlikte gönderilmiştir.
Araştırmacılara, çalışmanın amacı ve inceleme formları ile ilgili bilgi verilmiştir.
Araştırmacılar incelemeleri birbirlerinden bağımsız olarak yapmışlar ve gözlem sonuçlarını inceleme formlarına aktarmışlardır. Bu çalışmayı yürüten araştırmacının gözlem sonuçları ile güvenirlik çalışması için belirlenen her bir araştırmacının gözlem sonuçları karşılaştırılmış ve dört farklı uyum yüzdesi belirlenmiştir.
Uyum yüzdelerinin hesaplanabilmesi için, genellikle içerik analizi çalışmalarının güvenirliğinin belirlenmesinde kullanılan Miles ve Huberman (1994) tarafından önerilen aşağıdaki formül kullanılmıştır.
Uzlaşma sayısı
Güvenirlik = --- Uzlaşma + Uzlaşmama sayısı
Puanlayıcılar arasındaki uyum yüzdesinin %70’den daha yüksek olması beklenmektedir (Aktaran: Tavşancıl ve Aslan, 2001). Bu araştırma kapsamında yapılan güvenirlik analizlerinden elde edilen uyum yüzdeleri aşağıdaki bölümde sunulmuştur.
− Güvenirlik Analizlerinden Elde Edilen Uyum Yüzdeleri
Araştırma örneklemi içerisinden seçilen beş ölçek geliştirme çalışması, biri öğretmen biri ölçme ve değerlendirme uzmanı olmak üzere iki araştırmacıya inceleme formları ile birlikte gönderilmiştir. Araştırmacılar incelemeleri birbirlerinden bağımsız olarak yapmışlar ve gözlem sonuçlarını inceleme formlarına aktarmışlardır. Bu çalışmayı yürüten araştırmacının belirlenen beş ölçek geliştirme çalışmasına ilişkin gözlem sonuçları ile güvenirlik çalışması için belirlenen diğer iki araştırmacının gözlem sonuçları ayrı ayrı karşılaştırılmış ve iki farklı uyum yüzdesi belirlenmiştir. Bu karşılaştırmalardan elde edilen uyum yüzdeleri Çizelge 5’te sunulmuştur.
Çizelge 5. Ölçek geliştirme çalışmalarını inceleyen araştırmacılar arasındaki tutarlılığa ilişkin uyum yüzdeleri
1. Araştırmacı 2.Araştırmacı
Uyum Yüzdesi %72.94 %87.92
Çizelge 5 incelendiğinde, bu çalışmayı yapan araştırmacının belirlenen beş ölçek geliştirme çalışmasına ilişkin gözlem sonuçları ile 1. araştırmacının gözlem sonuçları karşılaştırıldığında %72.94 oranında uyum gösterdikleri; 2.
araştırmacının gözlem sonuçları ile karşılaştırıldığında ise %87.92 oranında uyum gösterdikleri belirlenmiştir. Burada sözü geçen 2. araştırmacının ölçme ve değerlendirme uzmanı olduğu göz önünde bulundurulursa, bu çalışmayı yapan araştırmacının topladığı veriler ile konuyu iyi bilen başka bir araştırmacının topladığı veriler arasındaki tutarlılığın daha yüksek olduğu ileri sürülebilir. Ayrıca elde edilen iki uyum yüzdesinin de %70’den yüksek olduğu görülmektedir. Bu bulgudan hareketle belirlenen ölçek geliştirme çalışmalarını inceleyen araştırmacılar arasındaki tutarlılığın yeterli düzeyde olduğu öne sürülebilir.
Araştırma örneklemi içerisinden seçilen beş ölçek uyarlama çalışması da, biri öğretmen biri ölçme ve değerlendirme uzmanı olmak üzere diğer iki araştırmacıya inceleme formları ile birlikte gönderilmiştir. Araştırmacılar incelemeleri birbirlerinden bağımsız olarak yapmışlar ve gözlem sonuçlarını inceleme formlarına aktarmışlardır. Bu çalışmayı yürüten araştırmacının belirlenen beş ölçek uyarlama çalışmasına ilişkin gözlem sonuçları ile güvenirlik çalışması için belirlenen diğer iki araştırmacının gözlem sonuçları ayrı ayrı karşılaştırılmış ve iki farklı uyum yüzdesi belirlenmiştir. Bu karşılaştırmalardan elde edilen uyum yüzdeleri Çizelge 6’da sunulmuştur.
Çizelge 6. Ölçek uyarlama çalışmalarını inceleyen araştırmacılar arasındaki tutarlılığa ilişkin uyum yüzdeleri
1. Araştırmacı 2.Araştırmacı
Uyum Yüzdesi %74.20 %.89.03
Çizelge 6 incelendiğinde, bu çalışmayı yapan araştırmacının belirlenen beş ölçek geliştirme çalışmasına ilişkin gözlem sonuçları ile 1. araştırmacının gözlem sonuçları karşılaştırıldığında %74.20 oranında uyum gösterdikleri; 2.
araştırmacının gözlem sonuçları ile karşılaştırıldığında ise %89.03 oranında uyum gösterdikleri belirlenmiştir. Burada sözü geçen 2. araştırmacının ölçme ve değerlendirme uzmanı olduğu göz önünde bulundurulursa, bu çalışmayı yapan araştırmacının topladığı veriler ile konuyu iyi bilen başka bir araştırmacının topladığı veriler arasındaki tutarlılığın daha yüksek olduğu ileri sürülebilir. Ayrıca elde edilen iki uyum yüzdesinin de %70’den yüksek olduğu
görülmektedir. Bu bulgudan hareketle belirlenen ölçek uyarlama çalışmalarını inceleyen araştırmacılar arasındaki tutarlılığın yeterli düzeyde olduğu öne sürülebilir.