Uluslararası Öğrenci Değerlendirme Programı (PISA) çalışması, ülkelere eğitim sistemlerinin performansını değerlendirme fırsatı sunmaktadır. Temel eğitimini bitirmiş ya da bitirmek üzere olan öğrencilerin eğitimleri süresince kazandıkları bilgi ve becerilerin gelecekteki öğrenmelerinde ve kişisel gelişimlerinde onlara hangi derecede yardım edebileceği; eğitim sistem ve uygulamalarının, çocukları geleceğe ne kadar iyi hazırlayabildikleri belirlenmeye çalışılmaktadır. PISA testleri ve anketleri bu anlayışla hazırlanmaktadır.
PISA’da uygulanan test ve anketlerin yapısına, kapsamına ve anket içeriğine programa katılan ülke uzmanları karar vermektedir. Uygulamalar hem bağımsız kalite kontrol gözlemcileri hem de ulusal kalite kontrol gözlemcileri tarafından izlenmekte ve raporlanmaktadır (MEBEARGED, 2007: 11).
PISA araştırmaları araç geliştirme, uygulama ve veri analizi olmak üzere üç ana aşamayı içermektedir. Araç geliştirme aşamasında katılımcı ülke katkılarıyla oluşturulan test ve anket maddeleri havuzu oluşturulmaktadır. Bu havuzdan uzmanlar grubunca seçilen maddeler alanda denenmektedir. Bu deneme katılımcı ülkelerde ana uygulamadan en az bir yıl öncesinde gerçekleştirilmektedir. Seçilen maddelerin katılımcı ülkelerin onayına sunulmasının ardından belirlenen maddeler zorluk düzeyi (cevap verilebilirlik) ve bölümler dikkate alınarak sınıflanmaktadır (OECD, 2005b: 20–23; OECD, 2007b:362–368).
Katılımcı ülkelerde uygulamadan sorumlu bir birim, ulusal proje yöneticisi ve örnekleme alınan her okul için bir okul koordinatörü belirlenmektedir. Uygulamanın güvenilirliği açısından okul koordinatörünün öğrencilerin ders öğretmeni olmamasına özen gösterilmektedir. Test ve anketlerin çevirileri, adaptasyonu ve kodlaması yapılmaktadır. Örnekleme alınan her deneğe ait bir kod verilmekte; anket ve testlere bu kodlar kaydedilmektedir. Okul koordinatörleri test ve anket uygulamasından önce eğitilmekte ve uygulamadan sorumlu tutulmaktadır (OECD, 2005b: 25–28; 2007b:362–368).
PISA 2006’da 13 farklı test kitapçığı üretilmiş ve 35 kişilik her bir grupta en fazla üç öğrenciye aynı test kitapçığı verilmiştir. Test başlamadan önce gerekli
açıklamalarla birlikte öğrencilerin test kitapçığındaki örnek soruları cevaplamaları sağlanmıştır (MEBEARGED, 2007: 11).
Testlerde, öğrencilere 2 saat süren çoktan seçmeli sorular ve açık uçlu sorular yöneltilmektedir. Sınavın yanı sıra öğrenciler, veliler ve okul yöneticileri 30 dakikalık bir anket doldurmaktadır. Okul yöneticileri kendilerine verilen anketi ya kendileri ya da görevlendirdikleri yönetici yardımcısı aracılığıyla tamamlamaktadırlar. Test alan öğrencilerin velileri ise kendilerine okul koordinatörü tarafından ulaştırılan anketi ev ortamında doldurmaktadırlar (OECD, 2007b: 25).
Testlerde fen bilimlerinin ağırlığı % 54, matematiğin ağırlığı % 31 ve okuma becerilerinin ağırlığı % 15 olarak belirlenmiştir. Çoktan seçmeli sorular, bir paragrafı veya bir grafiği temel alarak yöneltilmiştir. Sorular, altı zorluk düzeyine göre sınıflanmıştır. Bireysel, sosyal ve küresel boyutta konu alanlarından soruların yer aldığı testlerin geliştirilmesinde öğrencilerin her şeyi bilmek zorunda olmadıkları ancak gelecekteki öğrenmelerini devam ettirebilecekleri matematik, okuma ve fen bilimleri alanlarında temel bilgi ve becerilere sahip olmaları gerektiği temel yaklaşımı benimsenmiştir. Yaşam boyu öğrenmenin bir parçası olarak öğrencilerin öğrendiklerini ilerideki yaşantılarında ne düzeyde kullanabilme becerisine sahip oldukları tespit edilmeye çalışılmaktadır (MEBEARGED, 2007: 10). PISA 2006’da uygulanan testler aracılığıyla öğrencilerin bilimsel kavramlara aşinalığı, bildiklerini bir bilimsel sürece uygulayabilme, öğrendiklerini bilimsel bir problemin çözümü için kullanabilme ve bilime yönelik tutumları belirlenmeye çalışılmıştır (OECD, 2007b: 20). PISA uygulamalarında yer alan soruların PISA’da benimsenen yaklaşıma ne derece uyduğunu inceleyen Savran, PISA 2003 örneğinde, sınavdaki test sorularının PISA’nın hedeflerine uygun olduğu sonucuna ulaşmıştır (2004: 410).
Test bitiminde kısa bir aranın ardından öğrenciler yarım saat süren anketi doldurmuştur. Otuz yedi sorudan oluşan öğrenci anketi yedi farklı başlık altında düzenlenmiştir. Anket, öğrencinin kendisini, ailesini ve ev ortamını tanımaya; bilime ilişkin görüşlerini, geleceğe yönelik kariyer beklentilerini, okulda ve okul dışındaki öğrenme süreçlerini öğrenmeye yönelik boşluk doldurmalı ve çoktan seçmeli soru tipinde soruları kapsamaktadır.
Anne-baba anketi, aralarında Türkiye’nin de bulunduğu on ülkede (Danimarka, Almanya, İzlanda, İtalya, Lüksemburg, Yeni Zelanda, Polonya, Portekiz, Kore ve Türkiye) uygulanmıştır. Anket, öğrencinin bilimle ilişkili geçmiş etkinliklerine, okula ve okuldaki eğitime, iş piyasasının gerektirdiği becerilere, genel olarak bilime, eğitimin maliyetine, anne-babanın eğitim düzeyine ve iş statülerine ilişkin bilgileri öğrenmeyi amaçlayan likert tipi onbeş sorudan oluşmuştur. Anne-baba anketleri, test alan öğrencinin bakımını üstlenen aile üyelerinden biri tarafından doldurulmuştur.
Yönetici anketi ise okulun özelliklerini, okulun büyüklüğünü, okul kaynaklarını, personelini, eğitim yönetimini, müfredatını ve rehberlik-yönlendirme etkinliklerini tanımayı amaçlayan yirmi dokuz sorudan oluşmuştur.
Ayrıca öğrencinin bilgi ve iletişim teknolojilerini kullanma düzeyini saptamaya çalışan bir anket de öğrenci tarafından doldurulmuştur. Bu anketin verileri öğrenci veri setinde yer almıştır.
PISA uygulamasının güvenilirliğini sağlamak amacıyla hem uluslararası kalite gözlemcileri hem de ulusal kalite gözlemcileri tarafından deneme ve ana uygulamalar raporlanmaktadır. Uluslararası kalite gözlemcileri, görevlendirildikleri ülkede en az onbeş okula giderek uygulamayı izlemekte ve belirlenmiş değerlendirme formlarını doldurarak uluslararası PISA uygulama konsorsiyumuna göndermektedir. Benzer bir uygulama ulusal düzeyde uygulamadan sorumlu birim tarafından gerçekleştirilmektedir (OECD, 2005b: 103–105).
PISA testlerinin ve anketlerinin geçerliliği ve güvenilirliği farklı yaklaşımlarla sağlanmaktadır. Bu amaçla uzman görüşleri, madde cevaplama oranları (Item Response Rate) ve kodlama uygunluğu dikkate alınmaktadır. Madde seçiminde uzmanlar grubu, ülkelerin önerileriyle oluşturulan maddeler havuzunu inceleyerek madde seçimi ve uygunluğuna karar vermektedirler. Madde cevaplama temelinde test geçerliliği iki farklı yoldan test edilmektedir. Aynı testin rastgele seçilen farklı yerlerde uygulanmaları ve aynı testin aynı yerde iki bağımsız uygulanması sonuçları arasındaki korelasyon dikkate alınmaktadır. Güvenilirlik katsayısı olarak Cronbach Alpha katsayısı hesaplanmaktadır. PISA 2006 (üye ülkeler) için Cronbach Alpha değeri 0,76 ile 0,92 arasında değişmektedir. Bu oranlar PISA 2006’nın
güvenilirliğine işaret etmektedir. Madde-bütünlük korelasyon analizi her bir maddenin toplam puan ile ne ölçüde ilişkili olduğunu göstermektedir. Bu analizde 0,3 değerinden daha küçük değer alan madde zayıf olarak derecelendirilmektedir. PISA 2006 (üye ülkeler) için 0,3 değeri altında hiçbir madde bulunmamıştır. PISA 2006 test ve anketlerinin güvenilir olduğu kabul edilmektedir (OECD, 2007b: 373).
Standart sapması 100, aritmetik ortalaması 500 olan standart puan dağılımında öğrencilerin fen, matematik ve okuma puanları değerlendirilmiştir. PISA 2006, özellikle fen bilgisi becerilerine yönelik düzenlenmiştir. Öğrencilerin, fen bilimlerine ilişkin ön bilgilerini, tutumlarını, gelecekteki beklentilerini ve okuldaki başarılarını tespit etmeye dayalı anketlerle test performansları anlamlı hale getirilmeye çalışılmaktadır.
Öğrencilere uygulanan fen bilgisi ağırlıklı olmak üzere matematik ve okuma testine dayalı elde edilen veriler ile üç farklı ankete (öğrenci, anne-baba, yönetici, bilgi ve iletişim teknolojisi) ait veriler http://www.pisa.oecd.org/ PISA web sayfasında sunulmaktadır. Araştırmacı, web sayfasında sunulan hazır verileri SPSS (istatistik paket programı) formatında dönüştürücü aracılığıyla kendi bilgisayarına kaydetmiştir.
Öğrenci veri sayfasında 383, okul veri sayfasında 185 ve anne-baba veri sayfasında 84 değişken olmak üzere toplam 652 değişken yer almaktadır. Değişkenlerin kaynaklarını görebilmek amacıyla öğrenci değişkenleri “v”, anne-baba değişkenleri “ab” ve okul değişkenleri de “y” harfleriyle kodlanmıştır.