Thurstone tarafından (1931) yapılan güvenirlik ve geçerliliğin formüle edilebilmesi için verilen eşitliklere göre geçerlilik, değerlendirilmekte olan test skorları ile, bu test ile aynı şeyi ölçtüğü düşünülen kriterler arasındaki korelasyondur. Yazma yeteneğini ölçmek için kullanılan 10 dakikalık bir test, 3 aylık bir periyot
boyunca yanlış yazılmakta olan kelime sayısı kriteri ile geçerli hale getirilebilir. Bu belirlenen kritere göre yapılan değerlendirmeler, test sonuçlarını açıklamaktadır denilebilir (Rogelberg, 2002, s.62). Eğer bir ölçekten elde edilen skorların ölçülmekte olan tutumu, davranışı, v.s. yansıtmakta olduğu çıkarımında bulunuluyorsa, bu çıkarsamanın ne kadar desteklendiğini tayin edecek bilgiye ihtiyaç duyulur. Yüksek güvenirlikli bir ölçeğe de sahip olunsa, gözlenen skorun neyi açıkladığı sorgulanmak istenmektedir. Ölçek, incelenen konu ile ilgili kullanılan örneklemin her bireyi arasındaki skor farklarını güvenilir bir şekilde ayırt etse bile incelenen konunun gerçekten incelenmek istenen konu mu olduğundan emin olmak gerekir. Güvenirlikte olduğu gibi skorların geçerlilik indeksini hesaplamak için istatistiksel bir yöntem yoktur. Test skorlarından elde edilen sonuçları destekleyen kanıtlar elde etmek için bir takım yollar mevcuttur. Geçerlilikle ilgili stratejiler olarak da adlandırılabilen bu metodlar, içerikle ilgili geçerlilik, kriterle ilgili geçerlilik ve yapı ile ilgili geçerliliktir.
3.3.1. Yüzey Geçerliliği
Bir ölçme aracının hangi özelliği ölçtüğü hakkındaki uzman görüşüdür. Bu geçerlilik düzeyi sayısal olarak belirlenemez. Geçerliliğin kabulünde kanaatler söz konusudur. Bir ölçme aracı geliştirilirken ilk başvurulacak geçerlilik türüdür. Konu ile ilgili uzman görüşlerine başvurularak, ölçme aracının kullanılacağı amaç için uygun olup olmadığına, gerekli veriyi toplayacak durumda olup olmadığına ilişkin görüş alınır (Tavşancıl, 2002, s.38). Ölçme aracının ne ölçtüğü ile değil, ne ölçüyor göründüğü ile ilgilenir (Tekin, 2000, s.53).
3.3.2. İçerik Geçerliliği
İçerik ilişkili strateji, ölçeğin maddelerinin içeriğinin belirlenmesiyle ilgilidir. İçerikle ilgili doğrulama, ölçekteki maddelerin “ tanımlı alanı” ya da “içerik alanını” temsil etme derecesidir. İçerik alanı bir ölçüm aracına dahil olabilecek bütün olası maddeleri ifade etmektedir. Bu alan, yapılmakta olan ölçümün amacı olarak
belirlendiğinde, geliştirilen ölçüm aracının maddeleri, bu alanı temsil edici olmalıdır. İçerik geçerliliğinin amacı, ilgilenilen ve ölçülmek istene alanı en iyi şekilde temsil eden bir madde seti oluşturmaktır. Bu maddeler daha sonra ölçeği oluşturacaktır.
3.3.3. Kriter Geçerliliği
Kriterle ilgili strateji, bir ölçüm aracının skorları ile öngörmesi gereken diğer skorlar arasındaki sistematik ilişkiyi (genellikle korelasyon katsayısı olarak) tanımlamaktır. Kriter geçerliliği bir yapıyı doğru olarak göstermek için bir standart ya da kriter kullanır. Bu göstergenin geçerliliği, aynı yapının araştırmacı tarafından incelenen başka bir ölçümü ile karşılaştırılması yoluyla doğrulanır (Hayes, 1998, s.58). Kriter geçerliliğinin 2 alt tipi bulunmaktadır :
3.3.3.1. Eş Zamanlı Geçerlilik
Eş zamanlı geçerliliğe sahip olmak için gösterge (kriter) daha önceden var olan geçerli bir gösterge ile bağlantılı olmalıdır. Örneğin zeka ölçümü için yeni bir test geliştirilmekteyse bu testin eş zamanlı geçerliliğe sahip olması için, varolan IQ testi ile yüksek bağlantıya sahip olması gerekmektedir (aynı zeka tanımının kullanıldığı varsayımıyla). Bu şu anlama gelmektedir: IQ testinde yüksek skorlar elde eden bir kişinin yeni testte de yüksek skora sahip olması gerekmektedir. Bu iki ölçüm eksiksiz bir şekilde bağlantılı olmayabilir ama eğer aynı ya da benzer yapıları ölçüyorlarsa mantıksal açıdan benzer sonuçlar ortaya koymaları gerekmektedir (Neuman, 2003, s.183).
3.3.3.2. Tahminleyici Geçerlilik
Bir göstergenin gelecek olaylarla ilgili tahminleyici nitelikte olan kriter geçerliliği tip “tahminleyici geçerlilik”tir.
Tahminleyici geçerlilik tüm ölçümler için kullanılamaz . Ölçüm ve tahminlenen faaliyet birbirlerinden farklı olmalı ama aynı yapıyı göstermelidirler.
Tahminleyici ölçüm geçerliliği, hipotez testi tahminlemesiyle karıştırılmamalıdır. Bu geçerlilik testine örnek olarak SAT’ı (Skolastik Değerlendirme Testi) verebiliriz. SAT, ABD’de birçok lisede öğrencilere uygulanan ve öğrencilerin koleje giriş ve eğitim performanslarını ölçen bir testtir. Eğer SAT, yüksek bir tahminleyici geçerliliğe sahipse, o zaman SAT skorları yüksek olan öğrencilerin kolej performansları da yüksek olacaktır. Benzer şekilde eğer öğrenci düşük SAT skorlarına sahipse bu öğrencinin kolej performansı da düşük olacaktır. Eğer öğrenciler yüksek SAT skorlarına sahip oldukları halde kolejdeki performansları ortalama civarında ya da düşük ise, SAT’ın düşük tahminleyici geçerliliğe sahip olduğunu söyleyebiliriz.
Tahminleyici geçerliliği test etmenin bir diğer yolu, belirli özelliklere sahip bir grup insan seçmek ve incelenen yapı karşısında nasıl bir skor sergileyeceklerini tahminlemektir. Bu metoda tutuculuğun bir ölçümü örnek olarak verilebilir. Politik tutuculuğun bir ölçümü var ve bu ölçüme bağlı olarak tutucu grupların bu ölçümde yüksek skorlar, liberal grupların da düşük skorlar elde edeceği tahminlenebilir. Yani ölçümü bu gruplara bir pilot test uygulayarak geçerli kılmak mümkündür. Sonrasında ise bu ölçümü toplumun politik tutuculuğunun bir ölçüsü olarak kullanmak mümkün olacaktır (Neuman, 2003, s.184).
3.3.4. Yapı Geçerliliği
Psikoloji alanında yapı, araştırmadan çıkarılan nitelik veya özellikler olarak tanımlanabilmektedir (Guion, 1961). Yapı ile ilgili doğrulamalar daha önce bahsedilen geçerlilik tiplerinden çıkarılır ve birçok değişken arasındaki ilişkileri açıklamaya odaklanır (Hayes, 1998, s.59). Yapı geçerliliği birden çok değişkene sahip ölçümler içindir. İlgilenilen soru şudur: Eğer ölçüm geçerli ise değişkenler de tutarlı bir şekilde ilişkili midir? Yapı geçerliliği, belli sınırlamalarla belirlenmiş tanımlamalar gerektirir. Bu tanımlamalar, yapı geçerliliğinin 2 biçimini ortaya koyar (Neuman, 2003, s.184).
3.3.4.1. Yakınsaklık Geçerliliği
Bu geçerlilik biçimi, çoklu değişkenler yakınsak ya da birbirleriyle bağlantılı olduğunda gözlemlenir. Yakınsaklık geçerliliği aynı yapının çoklu ölçümlerinin birlikte ya da benzer şekilde çalıştığı anlamına gelmektedir. “Eğitim” yapısı, insanlara ne seviyede eğitime sahip oldukları sorularak, okul kayıtlarına bakarak, ve okul bilgileri ile ilgili bir test doldurmalarını isteyerek ölçülebilir. Eğer ölçümler yakınsak değilse yani kolej mezunu olduğunu söyleyen bir kişinin okul kayıtlarında koleje gittiğini gösteren bir kayıt bulunmuyorsa ya da testte kolej mezununun cevaplandırabileceği soruları cevaplandıramadıysa, o zaman, kullanılan ölçüm düşük yakınsaklık geçerliliğine sahiptir ve bu 3 göstergenin tek bir ölçümde birleştirilmemesi gerekmektedir (Neuman, 2003, s.184).
3.3.4.2. Ayrıştırıcı Geçerlilik
Ayrıştırıcı geçerlilik, yakınsaklık geçerliliğinin tersidir. Bir yapıya ait değişkenlerin beraber çalıştığının ya da yakınsadığını ama test yöndeki bir yapıyla da farklı olduğunu ya da negatif bağlantılı olduğunu ifade eder. Eğer A ve B yapıları birbirlerinden çok farklıysa, o zaman A ve B’nin ölçümleri birbirleriyle bağlantılı olmamalıdır. Örneğin politik tutuculuğu ölçen bir ölçekte bu yapıyla ilgili 10 madde olsun. İnsanlar bu 10 maddeye benzer şekilde cevap vereceklerdir. Aynı zamanda ölçeğe politik liberalizm ile ilgili 5 madde daha eklensin. İnsanlar bu ölçekteki tutuculukla ilgili 10 maddeye benzer ama liberalizm ile ilgili 5 maddeye verdikleri cevaplarla ters yönde cevap verdikleri zaman bu ölçeğin ayrıştırıcı geçerliliğe sahip olduğu söylenebilir (Neuman, 2003,s.185).