Psikometrik Özelliklerin İncelenmesi/Geçerlik-Güvenirlik

Geçerlik, ölçme aracının ölçülmek istenen özelliği doğru ve tam olarak ölçülebilmesidir (Tezbaşaran 1997, Wood ve Haber 2002). Güvenirlik ise ölçme aracının ölçülen özelliği tutarlı ve hep aynı şekilde ölçebilme özelliğidir (Tezbaşaran 1997). Güvenilir olmayan ölçme sonuçları, hatalarla yüklü, tutarsız sonuçlardır ve geçerli olmazlar. Güvenilir olmayan ölçme sonuçlarının geçerliliğine bakmaya gerek yoktur (Tezbaşaran 1997,). Güvenirliğin sağlanması geçerlik için bir ön koşuldur, ancak geçerli olduğunu göstermez (Hovardaoğlu ve Ergin 1995). Bu nedenle ölçme aracının geçerli ve güvenilir olması birbirinden bağımsız olarak düşünülemez, her ikisinin bir arada bulunmasıyla ölçek anlam bulmaktadır.

GEÇERLİK (validity)

Geçerlik (validity), bir ölçme aracının ölçmeyi amaçladığı özelliği, başka herhangi bir özellikle karıştırmadan, doğru ve tam olarak ölçebilmesidir (Eser 2007, Ercan 2004).

I. İçerik/ Kapsam geçerliği

a. Yüzeysel/görünüm geçerliği (uzman görüşü alma) b. Uygulama geçerliği / ölçüt bağımlı geçerlik;

Yordama geçerliği / tahminsel geçerlik / kestirimsel geçerlik Halihazır geçerlik / hemzaman / eş zaman geçerliği

İç ölçüt geçerliği / alt-üst grup ortalamalarının karşılaştırılması

II. Yapı geçerliği

80 b. Bilinen gruplar karşılaştırması

c. Hipotez sınaması / mantıksal analiz d. Çok değişkenli-çok yöntemli matriks e. Birleşen ve ayırt eden geçerlik.

I. İçerik / Kapsam Geçerliği (Content Validity)

İçerik geçerliği, bir bütün olarak ölçeğin ve ölçekteki her bir maddenin amaca ne derece hizmet ettiğini, ölçülmek istenen yapının temel unsurlarını ne derecede kapsadığını incelemekle ilgilenir (Polit ve Beck 2006, Aksayan ve Gözüm 2002).

a. Yüzeysel/Görünüm Geçerliği (Face Validity) = Uzman Görüşü Alma

Yüzeysel geçerlikte tanımlanmış evren ile ölçme aracının bölümleri arasındaki ilişki değerlendirilir. Uzman görüşü alma, içerik geçerliğinde en sık kullanılan yöntemdir. Bu geçerlik sınamasında amaç, ölçme aracında bulunan maddelerin ölçülmek istenen alanı temsil edip etmediğini bir uzman grubun incelemesi sonrası, anlamlı maddelerden oluşan bir bütün oluşturmaktır (Eser 2007, Ercan 2004).

Dilde eşdeğerliliği sağlanan ölçek, madde/ifadelerin ölçülmek istenilen özelliği temsil edici bir örneklem grubu oluşturup oluşturmadıklarını belirlemek için, hakem olarak kabul edilen, konuyla ilgili uzmanların görüşüne sunularak değerlendirmeleri istenir. Alınan uzman görüşleri arasında ki fikir birliğinin test edilmesi gerekir bunun için içerik analizi indeksi kullanılması önerilmektedir. İçerkik analizi indeksi 1986 yılında Lynn tarafından madde ve ölçek içerik geçerliliğini test etmek için kullanılmıştır. Lynn, minimum 3 maksimum 10 uzmandan, uzman görüşü alınmasını önermektedir. Her bir maddenin uzmanlar tarafından değerlendirmesi için 3 - 4 ve 5 puanlı ölçek değerlendirmesi kullanılabileceği belirtimekte ancak 3 ve 5’li değerlendirme orta değerin olması nedeniyle 4 puanlı değerlendirmenin daha iyi olduğu belirtilmektedir. Dört puanlı değerlendirmede ölçek maddeleri; 1: ilgili değil, 2: biraz ilgili, 3: oldukça ilgili ve 4: çok ilgili olarak değerlendirilmektedir.

İçerik analizi, iki şekilde tanımlanmaktadır; (1) toplam madde içerik geçerliği oranı ve (2) uzmanlar tarafından 3 – 4 puan verilen maddelerin oranıdır. İçerik analizinin, madde (Mİİ) ve ölçek içerik analizi (Öİİ) olmak üzere iki boyutu vardır.

Madde içerik analizi indeksi, bir maddeye 3-4 puan veren uzman sayısı toplam uzman sayısına bölünülerek bulunmaktadır. Örneğin bir maddesine 3 - 4 puan veren uzman sayısı 4 ve toplam uzman sayısı 5’tir. Bu durumda o maddenin madde içerik analizi indeksi 4/5= .80’dir. Beş ve beşin altında uzman görüşü alınan bir maddenin madde içerik analizi indeksinin .90 ve üstü olması beklenirken beşin üstünde uzmanın görüşü alındığında ise .78 ve üstü olması önerilmektedir. Tüm ölçeğin madde içerik analizi her maddenin madde içerik

81 analizinin toplanarak toplam madde sayısına bölünerek bulunur. Diğer bir tanımla ölçeğin madde içerik analizi indeksinde, maddelerin aldığı değerlerin ortalaması hesaplanmaktadır (Polit ve Beck 2006).

Ölçek içerik analizi indeksi, uzmanlar tarafından ölçeğin tümüne verilen uzman görüşünü tanımlamaktadır. Ölçek içerik analizi uzman görüşünde 3-4 puan alan maddelerin toplam madde sayısına bölünmesi ile bulunmaktadır. Örneğin 10 maddelik bir ölçekte 8 maddeye 3-4 paun verilmiştir. Bu durumda ölçek içerik analizi değeri 8/10= 0.80’dir. Literatürde ölçek içerik analizi değerinin .80 ve üzerine olması önerilmektedir (Polit ve Beck 2004, Polit ve Beck 2006). Ölçek içerik indeksi; ölçek içerik indeksi evrensel anlaşması – Öİİ/EA (Scale- Content Validity Index – Universal Agreement) ve ölçek içerik indeksi ortalama – Öİİ/Ort. (Scale- Content Validity Index – Average) olmak üzere iki hesaplama şekli vardır. Bunlardan en yaygın kullanılanı ve yukarıda ki hesaplama modelini içeren hesaplama şekli Öİİ/EA’dır.

İçerik analizinde diğer önemli bir konu tüm uzmanlar tarafından 3 – 4 puan verilen maddelerin oranını tanımlanmaktadır. Bunun için her bir uzmanın 3 – 4 puan verdiği madde sayısının toplam madde sayısına oranı hesaplanır. Örneğin bir uzman 10 maddeli bir ölçeğin 9 maddesine 3 – 4 vermiştir. Bu durumda uzman uyum oranı, o uzman için 9/10= .90’dır. ortalama uzman uyum oranı Öİİ ortalama değerini vermektedir. Örneğin altı uzmandan her birinin uzman uyum oranı .90 ise Öİİ/Ort değeri (0.90+0.90+0.90+0.90+0.90+0.90)/6= .90’dır. İçerik analizi indeksi hesaplanmasında, madde kalitesi ortalamsı yerine daha çok uzmanların ortalama performansına odaklandığı için en iyi yöntemin Öİİ/Ort. Kullanımı önerilmektedir. Literatürde Öİİ/Ort değerinin .90 ve üstü olması önerilmektedir (Polit, Beck 2006).

b. Uygulama Geçerliği / Ölçüt Bağımlı Geçerlik (Empirical Validity / Criterion-Related Validity)

Uygulama geçerliği, ölçeğin etkinliğini belirlemek amacıyla, ölçekten elde edilen puanlarla gerçekte gözlemlenebilir özellik arasında, o andaki veya gelecekteki ilişkiyi inceler (Öner 1994). Uygulama geçerliğinin; kestirimsel geçerlik (predictive validity)/ tahminsel geçerlik ve uyum geçerliliği/ halihazır geçerlik (concurrent validity) olmak üzere iki alt grubu vardır (Eser 2007, Ercan , Kan 2007).

Yordama Geçerliği / Tahminsel Geçerlik / Kestirimsel Geçerlik (Predictive Validity)

Bir ölçeğin yordama geçerliği, o ölçekten elde edilen puan ile ölçülmek istenen özellikleri ölçtüğü bilinen değişken arasındaki ilişkidir (Wood, Haber 2002). Yordama

82 geçerliğinde (predictive validity), ölçekten elde edilen bir “yordayıcı puan” ile gelecekteki durumlarla ilgili bir “ölçüt”e ilişkin değerler arasındaki korelasyon katsayısı belirlenir. İki ölçüm arasında verilmesi gereken aralık, ölçüte ulaşma için gereken zamandır. Ölçüt alınan değişken sonuçları arasındaki ilişki anlamlı bulunmuşsa, ölçme aracının yordama geçerliği olduğu kabul edilir (Tezbaşaran 1997).

Halihazır geçerlik / Hemzaman / Eşzaman geçerliği (Concurrent Validity)

Benzer ölçekler geçerliği olarak da bilinen ölçüm anında geçerliliği test edilecek ölçeğin halihazır geçerliği test edilmiş bir ölçme aracını ile karşılaştırılmesıdırr (Erefe 2002). Burada önemli olan nokta, kriter ölçütün güvenilirliği ve geçerliliği ispatlanmış bir ölçüt olmasıdır. Belli bir zaman aralığı beklemenin uygun olmadığı durumlarda kullanılır. Ölçüt değişken ile değerlendirme aynı zamanda yapılır. İki ölçüm puanı arasındaki korelasyon hesaplanır ve korelasyon katsayısının yüksek olması beklenir (Gözüm Aksayan 2002).

İç Ölçüt Geçerliği / Alt-Üst Grup Ortalamalarının Karşılaştırılması

Bir ölçekten elde edilen puanlar, istenen özelliğe sahip olanlarla olmayanları, ölçülen özellik boyutunda, birbirinden ayırt edebilmelidir. Ayırt edilecek gruplar ölçülen tutuma olumlu yönde yüksek düzeyde sahip olanlarla, olumsuz yönde yüksek düzeyde sahip olanlardır. Amaç ölçülen özellik boyutunda aşırı uçta bulunan bu iki grubu belirlemek için bir ölçüt bulmaktır. Bu ölçütlerden biri ölçeğin kendi puanlarıdır ve ölçekten elde edilen puanlara iç ölçüt denilmektedir (Tezbaşaran 1997).

II. Yapı Geçerliği (Construct Validity)

Yapı geçerliği, ölçeğin ilgili kavram ya da kavramsal yapının tümünü ölçme yeteneğini gösterir. Bir ölçeğin yapı geçerliğini değerlendirmek üzere en fazla kullanılan yaklaşımlar; faktör analizi, bilinen grup karşılaştırmasıdır. Diğer yapı geçerliği değerlendirme yöntemleri ise, hipotez sınaması/mantıksal analizdir, çok değişkenli-çok yöntemli matriks yöntemlerdendir (Wood, Haber 2002).

Faktör Analizi

Faktör analizinin, ölçek puanlarının yapı geçerliğinin değerlendirilmesinde önemli yeri vardır (Wood, Haber 2002). Faktör analizi, aynı zamanda ölçek maddeleri arasında ilişkilerden yararlanarak yeni yapılar ortaya çıkarmaktadır. Temelde birbiri ile bağlantılı değişkenleri gruplandırarak ortak faktör oluşturulmasını amaçlamaktadır (Erefe 2002). Faktör analizi açıklayıcı ve doğrulayıcı faktör analizi olarak iki şekilde değerlendirmektedir. Araştırmacının, ölçme aracının ölçtüğü faktörlerin sayısı hakkında bir bilgisinin olmadığı, belli bir hipotezi sınamak yerine, ölçme aracıyla ölçülen faktörlerin doğası hakkında bir bilgi edinmeye çalıştığı inceleme türlerine açıklayıcı faktör analizi (exploratrory factor analysis) denmektedir.

83 Araştırmacının kuramı doğrultusunda geliştirdiği bir hipotezi test etmeye yönelik incelemelerde kullanılan analiz türü doğrulayıcı faktör analizi (confirmatory factor analysis) olarak tanımlanmaktadır.

Bilinen Gruplar Karşılaştırması (Known-Groups Approach)

Bilinen gruplar karşılaştırmasında, ölçülecek yapının dayandığı teoriye bağlı olarak bir test uygulandığında anlamlı olarak farklı puanların elde edileceği gruplar (bir grupta düşük, diğer grupta yüksek olması gibi) tanımlanır (Wood, Haber 2002). Ölçme aracını her iki gruba uygular ve gruplar arası farka bakılır. Ölçme sonucunda özelliği bilinen grup ile diğer grup arasında fark olması beklenir (Eser 2007, Wood, Haber 2002).

Hipotez sınaması / Mantıksal (logical) Analiz

Hipotez sınaması, ilgili kaynaklar ya da gözlemler doğrultusunda, önceden aralarında ilişki olacağı varsayımının kurulduğu ilişkilerin yönünün ve düzeyinin korelasyon analiziyle test edildiği bir yöntemdir. Bu geçerlik ölçütü, uyarlanan ölçeğin yapısal durumunun açıklanmasına önemli katkı sağlar (Gözüm, Aksayan 2002).

Birleşen ve Ayırt Eden Geçerlik (Convergent and Divergent / Discriminant Validity)

Aynı özellikleri ölçtüğü bilinen ve daha önce geçerlik-güvenirliği sağlanmış ölçüm aracının araştırma grubu üzerinde uygulanması, uyarlanan ölçek sonuçları ile karşılaştırılması temeline dayanmaktadır Ölçeğin diğer ölçüm araçlarıyla ilişkisine bakılır. Karşılaştırmada ölçüm sonuçları arasında korelasyon katsayısı ve anlamlılık düzeyleri incelenmektedir (Wood, Haber 2002).

“Birleşen (Convergent Validity) Geçerlik” ölçme aracı puanının, kendine benzeyen

değişkenler ya da ölçümlerle (örneğin kaygı düzeyi ile doyumsuzluk puanı) kuramsal olarak anlamlı yüksek korelatif ilişki (benzer sonuçlu geçerlik) göstermesidir.

“Ayırteden Geçerlik (Discriminant Validity)” ise; ölçüm aracı puanlarının kendinden farklı olan değişkenlerle (örneğin kaygı düzeyi ile iyilik hali) sıfır ya da anlamsız ilişki (ayırt eden) içinde olmasıdır. Bu durum sağlanırsa geçerlik saptanmış olur (Wood, Haber 2002). Birleşen ve ayırteden geçerlik, uyarlanan ölçeğin yapısal durumunun açıklanmasına önemli katkı sağlayan bir yöntemdir. Ancak ölçüm aracı uygulanan grubun bir oturumda dört ya da daha fazla testi doldurmaya gönüllü olması gerekir. Geçerlik için çok bilgi vermekle birlikte uygulanması güçtür (Gözüm, Aksayan 2002).

GÜVENİRLİK (reliability)

Güvenirlik; bir ölçme aracı kullanılarak aynı koşullarda tekrarlanan ölçümlerde elde edilen ölçüm değerlerinin kararlılığının bir göstergesidir (Wood ve Haber 2002). Güvenirlik, değişmezlik, tutarlılık, kestirim gücü ve doğrulukla özelliklerini içermelidir. Değişmezlik ve

84 tutarlılık ölçme aracının tekrarlı ölçümlerde benzer sonuçlar verme yeteneğini, doğruluk ise gerçek ölçüm değerini belirleme yeteneğini tanımlamaktadır (Erefe 2002). Bir ölçme aracının güvenirliğini belirleyecek birden çok yöntem vardır. Ölçüm aracının seçimi, madde puanlarının doğasına, amaca, araştırma koşullarına ve ölçeğin hipotezlerine bağlı olarak değişir. Temel yaklaşım; ölçüm hatalarının büyüklüğünü gösteren ölçmenin standart hatası ve ölçümler arasındaki ilişkiyi gösteren güvenirlik katsayılarının belirlenmesi üzerine odaklanmıştır (Ergin 1994).

Bir ölçme aracının güvenirliğini belirleyecek birden çok yöntem vardır. Ölçüm aracının seçimi, madde puanlarının doğasına, amaca, araştırma koşullarına ve ölçeğin hipotezlerine bağlı olarak değişir (Tez Başaran 1997). Temel yaklaşım; ölçüm hatalarının büyüklüğünü gösteren ölçmenin standart hatası ve ölçümler arasındaki ilişkiyi gösteren

güvenirlik katsayılarının belirlenmesi üzerine odaklanmıştır (Ergin 1994). Güvenirlik

katsayı hesaplama yöntemleri temelde üç başlık altında toplanabilmektedir.

I. Değişmezlik (Stability)/devamlılık/süreklilik/zamana göre değişmezlik katsayısı

a. Test-tekrar test (test-retest) güvenirliği / formun tekrarı yöntemi (Test- Retest Method)

II. Eşdeğerlik katsayısı

a. Parelel form güvenirliği / Eşdeğer (Paralel) Formlar Yöntemi

b. Ölçümcü güvenirliği / Bağımsız gözlemciler arası ve içindeki uyum (Inter rater and intra-rater consistency)

c. Dil eşdeğerliği

III. İç tutarlılık (Internal consistency) / Tutarlılık (homogenity) katsayısı

a. İki yarım test / testi yarılama güvenirliği (split-half) /yarıya bölme yöntemi b. Madde analizi/madde İstatistikleri/madde-toplam puan korelasyon katsayısı c. Cronbach alfa katsayısı, Kuder-Richarson (Polit ve Beck 2010)

İki Yarım Test / Testi Yarılama Güvenirliği (Split-Half) / Yarıya Bölme Yöntemleri (Split-Half Method)

Testi yarılama güvenirliği, formu iki eş parçaya bölerek, iki yarının deneklere aynı anda uygulanması sonrası, deneklerin her iki yarıdan aldıkları puanlar arasındaki korelasyon hesaplanarak değerlendirilir. Bunun için en çok tercih edilen yarılama yöntemi, tek numaralı (1- 3-5 gibi) soruları bir grup, çift numaralı soruları (2-4-6 gibi) bir grup yaparak ayırmaktır. (Polit ve Beck 2010, Ergin 1994). Testin bütününe ilişkin güvenirlik katsayısını elde etmek için Spearman-Brown tarafından geliştirilen bir eşitlikten (düzeltme formülü)

85 yararlanılmaktadır (Ergin 1994). Testin iki yarısına ilişkin varyansın (standart sapmanın karesi) eşit ya da çok yakın olmaması durumunda bu eşitlik kullanılmamalıdır (Polit ve Beck 2010).