Okul Etkililiğini Belirlemede Kullanılan Katma-Değerli Değerlendirme Yaklaşımının Uygulanması

Eğitim ve Bilim

Cilt 45 (2020) Sayı 202 79-91

Okul Etkililiğini Belirlemede Kullanılan Katma-Değerli Değerlendirme

Yaklaşımının Uygulanması

Sedat Şen

_{, İbrahim Yıldırım}

_{, Mehmet Fatih Karacabey}

Öz

Anahtar Kelimeler

Çalışmanın amacı okul ve öğretmen değerlendirmesinde kullanılan yaklaşımlardan biri olan katma-değerli değerlendirme modelinin tanıtılması ve gerçek bir veri üzerinden uygulamasının gösterilmesidir. Bu çalışmada Şanlıurfa ilindeki 539 okula ait TEOG sınav puanları kullanılarak katma-değerli değerlendirme modeli vasıtasıyla okullar arasında başarı sıralaması yapılmıştır. Bunun yanında sadece ortalamalara bakılarak yapılan okul sıralamaları da sunulmuştur. Çalışmada elde edilen katma-değer puanlarına dayalı sıralamalar ile sadece ortalamalara dayalı yapılan geleneksel sıralamalar arasında farklılıklar olduğu tespit edilmiştir. Sadece bir sınav üzerinden okul ortalamalarına bakarak okulların başarısının değerlendirilmesinin doğru olmadığı okulların bir sınavdan diğerine ne kadar değişim gösterdiğini yansıtan katma-değerli değerlendirme yaklaşımının daha objektif sonuçlar sunduğu görülmüştür. Katma-değerli değerlendirme yaklaşımının Türkiye’de kullanımına örnek teşkil eden bu çalışma ileride yapılması planlanan okul ve öğretmen değerlendirmelerine yardımcı olacak önerilerde bulunmaktadır.

Okul etkililiği Katma-değerli değerlendirme Katma-değerli değerlendirme modelleri

Makale Hakkında

DOI: 10.15390/EB.2020.8023

Giriş

Bireylerin eğitimiyle ve eğitim ortamlarıyla ilgili bazı radikal yaklaşımlar bulunmakla beraber, dünya genelinde bireylerin eğitimi okullarda gerçekleştirilmektedir. UNESCO tarafından 2019 yılında yayımlanan rapora göre dünya çapında ilköğretime kayıt yaptıran öğrenci oranı %92 iken mezun olan öğrenci oranı %84’tür (UNESCO, 2019). Okullaşma oranı açısında Türkiye incelendiğinde ise 2005-2006 eğitim öğretim yılında ilköğretimde okullaşma oranı %89.77, ortaöğretimde %56.63, yükseköğretimde ise % 18.85 iken bu oranlar 2018-2019 eğitim öğretim yılında ilköğretim için %91.92’ye, ortaöğretimde %93.28’e, yükseköğretimde ise %44.10’a çıkmıştır (Milli Eğitim Bakanlığı [MEB], 2019). Bu okullar birçok ülkede devlet tarafından finanse edilirken, bazı ülkelerde özel girişimin ağırlıkta olduğu da görülmektedir. İster devlet ister özel finans kaynakları ile desteklendiği fark etmeksizin, bu kurumlara ayrılan maddi kaynağın beklenen faydayı sağlayıp sağlayamadığının belirlenebilmesi bir problem durumu olarak tanımlanabilir. Bu problem durumunun açıklığa kavuşturulabilmesi okulun anlamını ve işlevini daha net ortaya koyabilme yolunda yani etkililik bağlamında önemli bir adım olacaktır. * _{Bu makale 16’ncı ICTEL 2019 konferansında sözlü bildiri olarak sunulmuştur.}

1 _{Harran Üniversitesi, Eğitim Fakültesi, Eğitim Bilimleri Bölümü, Türkiye, sedatsen06@gmail.com}

2 _{Gaziantep Üniversitesi, Gaziantep Eğitim Fakültesi, Eğitim Bilimleri Bölümü, Türkiye, iyildirim84@gmail.com} 3 _{Harran Üniversitesi, Eğitim Fakültesi, Eğitim Bilimleri Bölümü, Türkiye, karacabeyakademi@gmail.com}

Çok yaygın bir şekilde kullanılıyor olmasına rağmen, etkililik kavramı örgütün içinde bulunduğu çevre, ulaşmayı hedeflediği amaç ve paydaşlarına göre anlam kazanan ve bu değişkenlere bağlı olarak farklılık gösteren bir kavramdır. Etkililik, bir örgütün gerçekleştirdiği faaliyetler sonucunda, belirlediği amaçlara ne derece ulaştığına ilişkin bir performans göstergesi (Yükçü ve Atağan, 2009), örgütün amaçlarına ulaşma ve bu amaçlarını gerçekleştirme derecesidir.

Bir örgütün etkililiği bağlamında Barnard (1938) formal örgütlenmenin önemini vurgularken, formal yapılanma yoluyla bir örgütün etkililiği ve verimliliğini arttırmanın mümkün olduğunu iddia etmektedir. Bir örgütün varlığının devamlılığı için örgüt içinde denge kurmanın, örgütün dış çevreye uyum sağlamasının ve üniter bir sistem olarak örgüt içinde yöneticilerin performanslarının etkilerinin analiz edilmesinin önemli olduğunu vurgulamaktadır. Ona göre bir örgütün formal bir yapıya gereksinimi vardır çünkü örgüt paydaşlarının örgütün devamlılığı, etkililiği ve verimliliği için çalışması gereklidir. Bu doğrultuda yöneticiler etki ve kontrol yoluyla çalışanların eylemlerini ve amaçlarını değiştirebilirler, çevresel dış güçlere karşı örgütün iç dengesinin korunmasına yönelik eylem ve politika geliştirebilirler (Barnard, 1938).

Bir örgütün etkililiği genellikle amaç merkezli bir yaklaşım (örgütlerin belirledikleri amaçlara ulaşmadaki başarısı) ya da doğal sistem yaklaşımı (örgütün yaşamını devam ettirmesi) olmak üzere iki yaklaşım çerçevesinden incelenmektedir (Rowan, 1985). Eğitim örgütleri olan okulların etkililiği amaç-merkezli yaklaşıma göre incelendiğinde, onların önceden belirlenmiş öğrenim çıktılarına ulaşıp ulaşmadıkları ya da ne kadar ulaştıkları onların etkililiğinin göstergesidir. Daha geniş bir çerçeveden etkililiği inceleyen doğal sistem yaklaşımına göre ise bir okulun etkililiği, bireyin aldığı eğitim sonucu gelişen sosyal ve yaşam becerileri ile değer ve davranışlarını kapsayacak şekilde incelenmektedir (Karip ve Köksal, 1996). Okulların etkililiğinin değerlendirilmesinde karşılaşılan en büyük sorun, eğitim sisteminin kısa ve uzun dönem, gizil ve açık hedefleri olması nedeniyle bu hedeflere ne derece ulaşıldığının belirlenmesinin oldukça zor olmasıdır. Fakat ne kadar zor olsa da bir okulun etkililiğinin ölçülmesinde önceden belirlenen amaç ve hedeflere ne kadar ulaşıldığının bir ölçüt olarak belirlenmesi çok yanlış olmaz (Creemers ve Kyriakides, 2008). Sonuç olarak bir okulun etkililiği onun önceden belirlenen hedeflerine ulaşma derecesidir ve bu bağlamda etkili bir okul ise kurumsal, fiziksel, insan kaynakları gibi açılardan bu hedeflere ulaşmaya olumlu yönde etkisi olan özelliklere sahip olan okuldur (Botha, 2010). Kısaca; bir okulun etkililiğinin öğrenci öğrenmelerinin ne kadar gerçekleştiği ile ilişkili olduğu söylenebilir.

Okul etkililiğinin belirlenmesi bağlamında dünya genelinde birçok girişim ortaya çıkmıştır. Bir okulun etkililiğini okulun genel başarı puanı ile değerlendirmenin yanı sıra veri zarflama metodu ve benzeri yaklaşımlar aracılığıyla öğretmenlerin öğretim yeterlik düzeyleri, okuldaki eğitim girdileri, kullanılan materyallerin çeşidi/miktarı dikkate alınarak değerlendirme gibi yaklaşımlar sergilenmiştir. Veri zarflama metodu benzeri bir yaklaşımla EARGED de (2010) bir okulun başarısının değerlendirilmesinde “Okul Yönetimi”, “Çalışanların Yeterliği”, “Eğitim Öğretim Süreçlerinin Niteliği” ve “Destek Hizmetler” ana boyutlarının dikkate alınması gerektiğini belirtmektedir. Adams (1993) 80’li ve 90’lı yıllarda kaliteli öğretim kurumlarına olan ihtiyaca dikkatin yöneldiğini, fakat her paydaşın bu kaliteyi farklı tanımlamasından ötürü ortak bir paydada buluşmanın pek mümkün olmadığını belirtirken, Hesapçıoğlu (2006) ise kalite olgusunun, etkililik, verimlilik, performans, yeterlilik kavramları ile iç içe olduğunu ifade etmektedir. Bu fikirden hareketle, bir okulun etkililiğinin en önemli göstergesi nedir? sorusunun cevabı büyük oranda öğrenci başarısı anlamına geldiğini söylemek mümkündür. Bu durumda bu kadar farklı değişkenlerle ve kontrol edilemeyen durumlarla uğraşmak yerine direkt olarak öğrenci başarısına odaklanmak daha akla yakın gelmektedir. Bu durumda, okul kalitesinin ve öğrenme süreçleri çıktılarına dair kalite göstergelerinin en önemli unsurlarından olan öğrenci başarısı tüm dikkati üzerinde toplamaktadır.

Eğitimde kalitenin artırılmasına yönelik ve öğrencilerin başarılarını dikkate alarak gerçekleştirilebilecek okul performans ölçütleri geliştirmek uzun yıllardır eğitimcilerin ilgisini çeken bir konu olmuştur. Hâlihazırda yapılan uygulamada MEB her bir okulun ne kadar başarılı olduğunu o okuldaki öğrencilerin ulusal ölçekli sınavlardan (TEOG ve YGS) aldıkları puanlara göre belirlemektedir. Okulların başarı durumlarının tek bir noktada (genelde yılsonunda) yapılan bir sınavdan elde edilen tek bir ölçme sonucuna göre değerlendirilmesi araştırmacılar ve uygulamacılar tarafından eleştirilen bir uygulamadır (Beardsley, 2008). Okul yöneticileri tarafından sıkça bahsedilen bir başka uygulama ise mevcut yılda elde edilen okul ortalamasının bir önceki yılda elde edilen okul ortalaması ile karşılaştırılıp okulun daha başarılı olup olmadığına karar verilmesidir. Öğrencilerin başarılarını etkileyen okul dışı birçok değişik faktör bulunduğu düşünüldüğünde sadece ortalama puanlara bakarak okul başarısını değerlendirmenin doğru olmadığı söylenebilir. Ayrıca bu uygulamalarda öğrencilerin öğretim dönemi başındaki durumları göz ardı edilerek sadece öğretim dönemi sonundaki başarısı ele alınmaktadır. Öğrencilerin öğrenme yaşantıları, sosyo-ekonomik durumları ve bireysel farklılıkları dolayısıyla öğretim dönemine farklı seviyelerde başlayabilecekleri düşünüldüğünde bu farklılıkların kontrol altına alınıp her bir öğrencinin dönem başından dönem sonuna kadar ne kadar gelişim gösterdiğinin belirlenmesi okul başarısını belirlemek adına daha doğru bir yaklaşım olacaktır. Son yıllarda okul ve/veya öğretmen başarısını değerlendirmede öğrencilerin başarılarındaki değişim miktarını (gelişimini) temel alan birçok yöntem geliştirilmiştir. Bu yöntemlerin başında katma-değerli değerlendirme (value-added assessment) sistemleri gelmektedir. Katma-değerli değerlendirme (KDD) yaklaşımı öğrenci ve okullara özgü farklılıkları kontrol altına alıp her bir öğrencinin bir sınavdan diğerine ne kadar gelişim gösterdiğine bakarak bu gelişimi okullara ya da öğretmenlere atfedebilme imkânı sağlayan nesnel bir değerlendirme sistemidir.

Katma-Değerli Değerlendirme

Yirminci yüzyılın başlarından itibaren okul etkililiğine ilişkin çalışmalar bulunmakla beraber 20. yüzyılın son yıllarında ve 21. yüzyılın başlarında okul etkililiği ve okulların hesap verebilirliği konularına giderek artan bir ilgi oluşmuştur. Özellikle 2001 yılında A.B.D.’de kabul edilen ‘No Child Left Behind Act’ (Hiçbir Çocuk Geride Kalmasın Hareketi) ile 1900’lerin başından beri eyalet düzeyinde yapılan sınavların (Kelly, 1916) tüm eyaletler tarafından yapılarak eyaletlerin öğrencilerin akademik başarılarını ölçmesi hedeflenmiştir (Beardsley, 2008). Bu eyalet çapında değerlendirmenin ilk uygulamaları, öğrencilerin mevcut durumuna odaklanmıştır. Mevcut durum yaklaşımı, farklı sınıf düzeyindeki öğrencileri zaman içindeki tek bir noktada karşılaştırmaktaydı (Doran ve Izumi, 2004). Eğitimciler, bir noktada elde edilen test puanının okulun öğrenci performansı üzerindeki etkilerini tahmin etmede kullanışlı bir yol olmadığını kabul etmektedir. Mevcut durum yöntemleri okulların etkililiğini değerlendirirken sosyo-ekonomik faktörleri dikkate almamaktadır. Bu yöntemler okul hesap verebilirlik sisteminin kalbinde yer almasına rağmen, bu yöntemlerin geçersiz olması ve okul karşılaştırmaları amacıyla kullanılamamasının birçok gerekçesi vardır. Bunların başında öğrencilerin okullara farklı arka planlar ile gelmesi ve öğrencilerin okullara rastgele atanmamış olmasıdır (Doran ve Izumi, 2004). Dolayısıyla bu durum sosyo-ekonomik durum açısından avantajlı ve dezavantajlı okulların karşılaştırılmasında bir adaletsizlik doğurmaktadır. Başka bir gerekçe ise mevcut durum yöntemlerinin eklenerek artan bir başarıya bağlı olmasıdır. Yani öğrencilerin şu anki başarılarının sadece mevcut okullarına değil daha önceki okullarından elde edilen öğrenmelere de dayanıyor olmasıdır. Nitekim Kerbow (1996) okul değiştiren öğrencilerin devam ettikleri yeni okullarının sistemini ve başarısını etkilediklerini ifade etmektedir. Ayrıca Temple ve Reynolds (1999) okul değiştiren öğrencilerin başarılarının düştüğünü belirtmektedirler. Dolayısıyla öğrenim görülen son okul öğrencinin başarısından ya da başarısızlığından sorumlu tutulamaz. Mevcut duruma dayalı hesap verebilirlik sistemlerinin yanlış olduğu ve okul kalitesinin belirlenmesinde hatalı kararlara yol açtığı alanyazında sıklıkla vurgulanmaktadır (Drury ve Doran, 2003). Drury ve Doran’a (2003) göre bu yöntemin geçersiz ve yanıltıcı olmasının arkasında birçok sebep bulunmaktadır. Bunlar aile, toplum, arka plan ve önceki okulların birleştirilmiş etkisini yansıtması, öğrencinin daha önceki okullarının kümülatif başarısını yansıtması ve belirli sınıf ve ders düzeyindeki başarıları yansıtmada yetersiz olmasıdır. Bu yöntemin eksikliklerinin fazla olması, hesap verebilirlik sisteminde okul etkililiğini

değerlendirmenin alternatif bir yolunun ortaya çıkmasına zemin oluşturmuştur. Bu yeni yöntem öğrencinin okulda yıl boyunca gösterdiği “gelişme” üzerine odaklanmaktadır. Doran ve Izumi (2004) farklı sınıf düzeyindeki öğrenci gruplarının bilgi düzeyinin ne durumda olduğunu göstermek yerine, “değişim” anlamına gelen “öğrenme” açısından öğrencilerin zaman içindeki ilerlemelerini bir ölçmeden diğerine ölçmenin daha mantıklı olduğunu belirtmektedirler.

Araştırmacılar etkili okulları belirlemede öğrencilerin bireysel başarılarının boylamsal olarak kullanılmasına izin veren katma-değerli analiz (value-added analysis) yöntemlerini geliştirmişlerdir. Tekwe ve diğerlerinin (2004, s.12) tanımına göre “katma-değer bir yıldan sonrakine okul ve/veya öğretmenin yaptığı katkıyı ifade eden bir terimdir ve bu ölçüm performans değerlendirme sisteminin temelinde kullanılır.” Katma-değerli analiz (KDA) yönteminin geliştiricileri bu yöntemin tek bir noktadaki başarı yerine başarıdaki değişimi dikkate alması bağlamında mevcut durum yönteminden daha adil olduğunu ileri sürmektedir (Hanushek, 1972; Sanders, Saxton ve Horn, 1997; Tekwe vd., 2004). KDA yöntemlerinin temel amacı öğrencilerinin gelişimine dayanarak okulların etkililiğine karar vermektir. Öğrenci gelişimleri öğrencilerin bir yıl arayla aldıkları testlerin farkından hesaplanan kazanç puanları ile belirlenmektedir. Her öğrenci için elde edilen bu kazanç puanları katma-değerli değerlendirme (KDD) sistemlerinde kullanılmaktadır. Kısacası KDD sistemi iki temel fikre dayanmaktadır: (1) her öğrencinin okullar içerisinde kümelenmiş olmasına ve (2) bir yıldan sonraki yıla performans değişimine dayanmasıdır. KDD sisteminin mevcut-durum yaklaşımına olan başka bir üstün yanı da test puanlarını etkileyebilen okul ve öğrenci değişkenlerinin etkisini kontrol edebilmesidir. Bu sayede öğrencilerin sosyokültürel özelliklerinin ve önceki yaşantılarının etkisinin azaltılması sağlanmış olur.

Katma-Değerli Değerlendirme Modelleri

Meyer ve Dokumaci (2010) KDD sisteminin yüksek kalitede katma-değerli puanlar üretebilmesinin öğrenci başarısını ölçen çıktının uygun ve kaliteli olmasına, boylamsal verinin mevcut olmasına ve KDD modelinin desenine bağlı olduğunu belirtmektedir. KDD modelleri genel olarak, öğretmen ve okul gibi eğitim birimlerinin öğrencilerin başarılarına etkisini araştırmada kullanılan istatistiksel modelleri temsil etmektedir. Bu modeller öğrencilerin zaman içindeki gelişimlerini okul ve öğrenci özelliklerinin bir fonksiyonu olarak inceleme şansı verir. KDD modelleri son yıllarda araştırmacılar ve eğitim politikacıları tarafından çok ilgi görmektedir. Kazanç puanlarına dayanan bu modellerin bazıları rastgele etkilere bağlı olan hiyerarşik modeller olarak geliştirilmiştir. Okulların sabit dağılım gösterdiğini varsayan ve regresyon yöntemlerini içeren mevcut durum yaklaşımının aksine KDD analizleri için kullanılan hiyerarşik modeller okulların rastgele olduğunu varsaymaktadır. Mevcut durum analizlerinde olduğu gibi başka değişkenlerin öğrenci başarısı ile okul etkililiği arasındaki ilişkiye karışmasını önlemek için hiyerarşik modellerde istatistiksel kontrol uygulanabilmektedir (Sanders, 2000).

Hanushek (1972) KDD modellerini okul değerlendirme sistemlerinde kullanılmasını öneren ilk araştırmacıdır. Sanders ve diğerleri (1997) ise Tennessee KDD sistemini (TVAAS) oluşturarak bu KDD yaklaşımını eyalet bazında uygulayabilen ilk araştırmacılar olmuşlardır. McCaffrey, Lockwood, Koretz ve Hamilton’un (2003) yapmış olduğu geniş çaplı KDD araştırmasına göre ilk KDD modelleri sabit etkiler (Hanushek, 1972; Murnane, 1975) varsayımı yaparken daha sonraları geliştirilen KDD modelleri (hiyerarşik modeller ve TVAAS modeli) rastgele etkiler varsayımında bulunmaktadır. Başlıca KDD modelleri basit sabit etkiler modeli (simple fixed effects model), hiyerarşik modeller (hierarchical linear models) ve tabakalı karışık etkiler modelini (layered mixed effects model) içermektedir. McCaffrey, Lockwood, Koretz, Louis ve Hamilton (2004) KDD yaklaşımında öğretmen ya da okul etkilerini boylamsal veriler yoluyla analiz ederken tüm öğrenci sonuçlarının tam ortak dağılımını doğrudan modelleyen “çok değişkenli modeller” olarak adlandırdıkları genel bir modelin takip edildiğini ayrıca bu tür verilerin katma-değerli değerlendirme sisteminde analiz edilebilmesini sağlayan alternatif model yaklaşımlarının da olduğunu belirtmektedirler. Bu alternatif yaklaşımlar mevcut puanın önceki puanlar üzerine regresyonuna dayanan ortak değişken düzeltme modellerini (covariate adjustment models), yılsonu kazanımlarını sonuç olarak ele alan kazanç puanları (gain scores) modelini ve

çapraz-sınıflandırılmış modelleri (cross-classified models) içermektedir. Bu modellerin çoğu aynı öğrenciye ait eşitlenmiş ve standartlaştırılmış birden fazla test puanına sahip olmayı gerektirmektedir (Ballou, Sanders ve Wright, 2004; Doran ve Cohen, 2005). Eşitleme varsayımı yapan modellerin yanı sıra eşitleme varsayımı gerektirmeyen KDD modelleri de son yıllarda alanyazında yerini almıştır (Mariano, McCaffrey ve Lockwood, 2010). Eğitim kurumlarında uygulanan ardışık sınavların çoğunlukla eşitlenmemiş ya da aynı ölçek üzerinde standartlaştırılmamış olması sınavlar arası eşitleme varsayımı gerektiren KDD modellerinin uygulanmasını engellemektedir. Eşitlenmemiş sınavların bu modeller ile analiz edilmesi yanlı ve hatalı sonuçlar elde edilmesine yol açmaktadır (Briggs ve Domingue, 2013; Briggs ve Weeks, 2009). Bu modellerin sınırlılığını ortadan kaldıran ve eşitleme varsayımı gerektirmeyen Genelleştirilmiş Süreklilik modeli (Generalized Persistence [GP] model) Mariano ve diğerleri (2010) tarafından geliştirilmiştir.

Araştırmanın Amacı ve Önemi

Türkiye’de MEB tarafından 23 Ekim – 31 Ekim 2017 tarihleri arasında 12 ilde ve 132 okulda pilot uygulaması gerçekleştirilen “Öğretmen Performans Değerlendirme” çalışması yürütülmüş ve bu çalışmaya ülke geneli yetkili sendika karşı eylem kararı almıştır. Yani MEB tarafından öğretmen değerlendirme kapsamında yapılan bu çalışma yetkili sendikanın eylem kararı ile işlemez hale getirilmiştir. Yetkili sendikanın eylem kararına gerekçe olarak öğretmen performansının; öğrencilerin, idarecilerin, velilerin puanlarına ve öğretmenlerin gireceği bir sınavdaki başarı puanlarına dayandırılmasıdır. Bu bağlamda bu çalışma ile önerilen yapı, dünyada birçok ülkede uygulanmakta olan öğretmen veya okul değerlendirme modelinin Türkiye’de (özelde Şanlıurfa’da) uygulanma durumunu incelemekle kalmayıp, öğrenci başarı gelişimine göre öğretmen veya okulun değerlendirilebileceği bir modeli hayata geçirmeye çalışmaktadır.

Türkiye’de okul etkililiği üzerine yapılan çalışmalar incelendiğinde okul etkililiğinin daha çok ölçek, anket ve görüşme gibi veri toplama araçları üzerinden belirlenmeye çalışıldığı gözlenmiştir (Turhan, Şener ve Gündüzalp, 2017). Okul etkililiğinin bu tür ölçme araçları kullanılarak yönetici, öğretmen, öğrenci ya da veli gibi okul paydaşlarının beyanları üzerinden ölçülmesi bu fenomenin ölçülmesine öznellik katmaktadır. Bu doğrultuda daha nesnel ölçütlerin kullanılmasına ihtiyaç vardır. Nitekim mevcut eğitim sisteminde öğrencilerin başarılarından okulları sorumlu tutacak nesnel ve bilimsel bir yöntemin olmaması, katma-değerli değerlendirme (KDD) yaklaşımının birçok avantaj sunuyor olması ve bu yaklaşımın Türkiye’deki eğitim politikacıları tarafından daha önce hiç denenmemiş olması bu konuda çalışma yapılması ihtiyacı doğurmuştur. Bu ihtiyaçlar doğrultusunda gerçekleştirilen bu çalışmanın Şanlıurfa’daki öğrencilerin öğrenme çıktılarının izlenmesi ve bu çıktıların nesnel bir okul değerlendirmesinde kullanılması açısından önemli olduğu düşünülmektedir.

Bu bağlamda çalışmanın amacı gelişmiş ülkelerde etkin olarak kullanılan katma-değerli değerlendirme modelini; MEB’in kendine bağlı eğitim kurumlarını değerlendirmesinde yardımcı olacak bir formda tasarlayarak bu modelin prototipini Şanlıurfa ili verileri üzerinde denemektir. Bu çalışmanın diğer bir amacı da, eğitim politikaları ve/veya müdahale stratejileri geliştirilmesine yardımcı olmak ve eğitimde kalitenin arttırılmasına yönelik bir dayanak noktası ortaya koyabilmektir. Bu çalışma ile okul başarısının değerlendirilmesinde geçerli, güvenilir ve kullanışlı bilgiler sunan katma-değerli değerlendirme sisteminin tanıtılması ve uygulanması amaçlanmaktadır. Bu bağlamda aşağıdaki sorulara cevap aranmaktadır:

1. Şanlıurfa ilinde bulunan ortaokul kurumlarının etkililik bağlamında sıralamaları nasıldır? 2. Şanlıurfa ilinde bulunan ortaokul kurumlarının tek sınava dayalı başarı sıralamaları ile

katma-değer puan sıralamaları örtüşmekte midir?

3. Şanlıurfa ilinde bulunan ortaokul kurumlarından elde edilen puanlara göre katma-değerli değerlendirme modeli işlevsel midir?

Araştırma neticesinde elde edilen sonuçlar katma-değerli değerlendirmenin ön uygulamalarının Şanlıurfa bağlamında sonuçlarını kapsayacak ve bu yaklaşımın kullanılabilirliğine ilişkin ön bilgiler sunacaktır.

Yöntem

KDD analizleri ile okul etkililiğini belirlemek adına her öğrenciye ait en az iki ölçüm yapılması gerekmektedir. Bu çalışmada bir öğretim yılı içerisinde elde edilen iki standart test verisi kullanılarak bir KDM aracılığıyla verideki okullara ait katma-değer puanları hesaplanmıştır. Bu bağlamda 2015-2016 eğitim - öğretim yılında uygulanan Kasım ve Nisan aylarına ait TEOG (Temel Eğitimde Ortaöğretime geçiş) sınavı verileri kullanılmıştır. Analizler neticesinde elde edilen katma-değer puanlarına göre okul sıralamaları yapılmıştır. Şanlıurfa ilinde TEOG sınavına giren öğrencilere ait toplam puanlar kullanılmıştır. Örneklem, Şanlıurfa ilinde her iki TEOG sınavına katılan tüm ortaokul ve öğrencileri kapsamakla beraber Şanlıurfa ilinde yer alan 64,852 öğrenci ve 539 ortaokuldan oluşmaktadır. Tüm okulların TEOG sınavı net ortalamaları incelendiğinde birinci sınava ait net ortalamaları 25.24 ile 69.52 arasında değişirken ikinci sınava ait net ortalamaları 27.70 ile 70.21 arasında değişim göstermektedir. Bu çalışmada kullanılan iki sınav verisi eşitlenmemiş olduğundan eşitleme varsayımı yapmayan KDM’lerden olan Genelleştirilmiş Süreklilik modeli (Generalized Persistence [GP] model) kullanılarak analizler gerçekleştirilmiştir. Raporlama sürecinde okul adları yerine okullara verilen kod numaraları kullanılmıştır.

Genelleştirilmiş Süreklilik Modeli. Mariano ve diğerlerinde (2010) gösterildiği üzere

genelleştirilmiş süreklilik modeli çok değişkenli KDD modelleri (McCaffrey vd., 2004) grubunda yer almaktadır. Bu yaklaşım okul etkisini birden fazla yıl için aynı anda tahmin etmeye dayalıdır. Öğrencilerin yıl içerisinde okul ya da sınıf değiştirmeleri HLM’lerde istenen kümelenmiş yapıyı bozmaktadır. Bu tür daha karmaşık yapılarda kullanılabilecek çok değişkenli model aşağıda açıklanmaktadır.

Genelleştirilmiş süreklilik modeli, öğrencinin t yılına ait puanının tüm öğrenciler için genel t yılı ortalamasına, mevcut yılın ve geçmiş yıl öğretmenlerinin etkilerinin kümülatif toplamına ve testin bu yılındaki öğrenci için rastgele bir artık hata terimine bağlı olduğunu varsayar.

_{𝑦𝑦𝑖𝑖𝑖𝑖}

i’nin t yılındaki başarı puanını temsil ettiği düşünülürse bu puan için model:

𝑦𝑦𝑖𝑖𝑖𝑖

= μ𝑖𝑖

+ �� � ϕ𝑖𝑖𝑖𝑖𝑖𝑖θ𝑖𝑖[𝑖𝑖𝑖𝑖]

� + 𝜀𝜀𝑖𝑖𝑖𝑖

şeklinde verilir. Bu eşitlikte μ𝑖𝑖 terimi o yıl için genel ortalamayı temsil ederken, ϕ𝑖𝑖𝑖𝑖𝑖𝑖 terimi öğrencinin

g yılında öğretmen (ya da okul) j tarafından okutulduğu durumda 1 diğer durumlarda 0 olarak kodlanır

böylelikle ϕ𝑖𝑖𝑖𝑖𝑖𝑖θ𝑖𝑖[𝑖𝑖𝑖𝑖] çarpımı mevcut yıl ve önceki yıllara ait öğretmen ya da okulun etkisini gösterir. Eşitlikteki 𝜀𝜀𝑖𝑖𝑖𝑖 de artık hata terimini temsil etmektedir. Bu modelde 𝜀𝜀𝑖𝑖𝑖𝑖 teriminin ortalaması sıfır ve yapılandırılmamış kovaryans matrise sahip bir normal dağılıma sahip olduğu varsayılır (𝜀𝜀𝑖𝑖𝑖𝑖~𝑀𝑀𝑀𝑀𝑀𝑀(0,𝜮𝜮)). Mariano ve diğerleri (2010) katma-değerli değerlendirme sistemlerinde önceki yıllara ait okul ya da öğretmenlerin süreklilik etkisini hesaba katan tam süreklilik (complete persistence) ve değişken süreklilik (variable persistence) modellerinin bu model üzerinden elde edilebileceğini de göstermektedir. Bu çalışmada GP modeline ait model parametreleri ve okul etkileri R programında GPVam paketi (Karl, Yang ve Lohr, 2012) kullanılarak elde edilmiştir. Analizlerde maksimum olabilirlik kestirim yöntemi kullanılmıştır. Okul etkileri (katma-değer puanları) ampirik en iyi doğrusal yansız yordayıcı (the empirical best linear unbiased predictors [EBLUP]) olarak kestirilmiştir.

Bulgular

GPVam paketinde genel süreklilik (persistency) modelleri altında GP (generalized persistence), VP (variable persistence) ve CP (complete persistence) modelleri olmak üzere üç seçenek mevcuttur. Kullanılan testlerin eşitlenmemiş olması dolayısıyla çalışmada GP model kullanılmış ve bu modelden elde edilen bulgular raporlanmıştır. GP model kullanılarak elde edilen parametre tahminleri Tablo 1’de sunulmaktadır. Analiz edilen GP model sonucunda göreli uyum değeri olan AIC değeri 500137 olarak elde edilmiştir. Ayrıca 539 okula ait katma-değer puanları da elde edilmiştir. Bu değerler I. ve II. sınav için ayrı ayrı hesaplanmaktadır. Bu değerler Şekil 1 ve 2’de grafiklerle gösterilmektedir.

Tablo 1. GP Modelden Elde Edilen Parametre Tahminleri Katsayı St. Hata

I. Yıl Okul etkisi 40.535 0.341

II. Yıl Okul etkisi 45.106 0.331

Tablo 2. GP Modelden Elde Edilen Kovaryans Değerleri

I. Yıl II. Yıl

I. Yıl 53.509 49.871

II. Yıl 49.871 48.126

Not. I. Yıl ile II. Yıla ait okul etkileri arası korelasyon değeri r=.983 olarak hesaplanmıştır.

Şekil 1. Okulların Birinci Yıla Ait Katma-Değer Puanları ve Güven Aralıkları

0 100 200 300 400 500 -4 -2 0 2 4 533(year2) 535(year2) 171(year2)447(year2)275(year2)223(year2)39(year2)382(year2)217(year2)86(year2)506(year2)211(year2)

277(year2)360(year2)104(year2)167(year2)233(year2)18(year2)414(year2)419(year2)168(year2)255(year2)380(year2)413(year2)153(year2)373(year2)269(year2)363(year2)224(year2)516(year2)234(year2)402(year2)362(year2)139(year2)389(year2)21(year2)41(year2)371(year2)180(year2)28(year2)351(year2)453(year2)352(year2)111(year2)192(year2)263(year2)236(year2)178(year2)144(year2)314(year2)508(year2)442(year2)418(year2)393(year2)46(year2)183(year2)359(year2)51(year2)527(year2)149(year2)186(year2)482(year2)89(year2)270(year2)276(year2)469(year2)190(year2)528(year2)34(year2)264(year2)259(year2)315(year2)505(year2)422(year2)200(year2)345(year2)521(year2)229(year2)35(year2)278(year2)65(year2)311(year2)174(year2)120(year2)319(year2)522(year2)538(year2)309(year2)2(year2)366(year2)238(year2)57(year2)169(year2)10(year2)392(year2)495(year2)239(year2)370(year2)208(year2)376(year2)202(year2)185(year2)272(year2)193(year2)312(year2)322(year2)256(year2)470(year2)517(year2)26(year2)13(year2)409(year2)303(year2)19(year2)242(year2)463(year2)222(year2)141(year2)429(year2)438(year2)446(year2)443(year2)368(year2)195(year2)157(year2)112(year2)462(year2)184(year2)107(year2)56(year2)29(year2)266(year2)68(year2)253(year2)292(year2)181(year2)91(year2)70(year2)83(year2)82(year2)356(year2)350(year2)335(year2)445(year2)99(year2)231(year2)93(year2)74(year2)42(year2)515(year2)110(year2)426(year2)155(year2)386(year2)261(year2)241(year2)308(year2)273(year2)405(year2)466(year2)289(year2)138(year2)432(year2)164(year2)85(year2)187(year2)38(year2)483(year2)325(year2)341(year2)464(year2)320(year2)410(year2)354(year2)537(year2)252(year2)23(year2)177(year2)344(year2)421(year2)246(year2)358(year2)420(year2)161(year2)471(year2)323(year2)415(year2)332(year2)302(year2)146(year2)387(year2)374(year2)227(year2)170(year2)484(year2)73(year2)116(year2)151(year2)361(year2)173(year2)300(year2)109(year2)124(year2)431(year2)119(year2)221(year2)262(year2)63(year2)329(year2)411(year2)3(year2)196(year2)203(year2)394(year2)131(year2)140(year2)182(year2)150(year2)145(year2)15(year2)532(year2)520(year2)212(year2)306(year2)8(year2)467(year2)4(year2)64(year2)160(year2)134(year2)206(year2)232(year2)475(year2)80(year2)423(year2)478(year2)210(year2)424(year2)384(year2)225(year2)189(year2)16(year2)123(year2)33(year2)523(year2)137(year2)330(year2)142(year2)243(year2)357(year2)338(year2)92(year2)498(year2)428(year2)383(year2)486(year2)166(year2)510(year2)22(year2)268(year2)45(year2)14(year2)375(year2)472(year2)265(year2)77(year2)437(year2)477(year2)1(year2)403(year2)106(year2)295(year2)194(year2)318(year2)251(year2)288(year2)274(year2)58(year2)226(year2)534(year2)122(year2)461(year2)215(year2)487(year2)279(year2)143(year2)267(year2)526(year2)280(year2)287(year2)159(year2)156(year2)188(year2)391(year2)284(year2)132(year2)61(year2)55(year2)511(year2)425(year2)481(year2)165(year2)378(year2)494(year2)17(year2)525(year2)162(year2)78(year2)334(year2)62(year2)249(year2)27(year2)240(year2)293(year2)417(year2)244(year2)316(year2)407(year2)201(year2)230(year2)519(year2)492(year2)476(year2)257(year2)87(year2)199(year2)433(year2)369(year2)491(year2)434(year2)9(year2)513(year2)326(year2)310(year2)451(year2)250(year2)128(year2)416(year2)430(year2)60(year2)298(year2)296(year2)7(year2)95(year2)500(year2)96(year2)36(year2)207(year2)84(year2)450(year2)152(year2)530(year2)163(year2)457(year2)497(year2)205(year2)25(year2)204(year2)117(year2)390(year2)328(year2)459(year2)127(year2)436(year2)488(year2)219(year2)398(year2)529(year2)235(year2)518(year2)75(year2)367(year2)503(year2)412(year2)121(year2)53(year2)32(year2)331(year2)441(year2)444(year2)455(year2)176(year2)20(year2)103(year2)299(year2)114(year2)172(year2)102(year2)324(year2)493(year2)485(year2)216(year2)220(year2)11(year2)228(year2)317(year2)348(year2)136(year2)290(year2)439(year2)69(year2)214(year2)281(year2)175(year2)327(year2)245(year2)339(year2)179(year2)379(year2)333(year2)12(year2)400(year2)340(year2)479(year2)237(year2)285(year2)213(year2)539(year2)385(year2)198(year2)372(year2)512(year2)388(year2)395(year2)490(year2)197(year2)452(year2)396(year2)271(year2)218(year2)100(year2)509(year2)313(year2)94(year2)381(year2)336(year2)97(year2)258(year2)364(year2)468(year2)67(year2)283(year2)294(year2)291(year2)502(year2)158(year2)108(year2)72(year2)101(year2)66(year2)460(year2)54(year2)76(year2)473(year2)435(year2)79(year2)427(year2)499(year2)49(year2)37(year2)465(year2)355(year2)59(year2)40(year2)514(year2)489(year2)377(year2)321(year2)304(year2)135(year2)353(year2)399(year2)90(year2)52(year2)496(year2)81(year2)191(year2)301(year2)524(year2)507(year2)43(year2)130(year2)48(year2)118(year2)115(year2)458(year2)305(year2)349(year2)406(year2)286(year2)125(year2)126(year2)480(year2)448(year2)5(year2)113(year2)404(year2)47(year2)148(year2)501(year2)254(year2)504(year2)247(year2)98(year2)71(year2)30(year2)531(year2)154(year2)365(year2)536(year2)346(year2)147(year2)456(year2)474(year2)248(year2)44(year2)6(year2)397(year2)347(year2)342(year2)449(year2)31(year2)440(year2)337(year2)297(year2)129(year2)260(year2)88(year2)401(year2)209(year2)343(year2)105(year250(year2)24(year2) 307(year2454(year282(year408(yea 133(yea

Okul Etkisi

Şekil 2. Okulların İkinci Yıla Ait Katma-Değer Puanları ve Güven Aralıkları

Okul etkililiği değerlendirmesinde asıl bakılması gereken ilk sınavdan ikinci sınava öğrencilerin göstermiş oldukları değişimi yansıtan ikinci sınava ait katma-değer puanlarıdır. Tablo 3 ve 4’te öğrencilerin puanlarındaki artış ve azalışa göre elde edilmiş olan katma-değer puanlarını gösteren EBLUP değerleri sunulmaktadır. Bu tablolarda en yüksek puana sahip 20 okul ve en düşük puana sahip 20 okulun katma-değer puanları sunulmaktadır. Ayrıca bu okullara ait TEOG sınavı net ortalamaları (𝑋𝑋�1= Kasım, 𝑋𝑋�2= Nisan) da bu tablolarda sunulmuştur.

En başarılı 20 okula ait değerlerin sunulduğu Tablo 3 incelendiğinde en yüksek katma-değer puanına sahip olan üç okulun sırasıyla 371, 278 ve 73 numaralı okullar olduğu görülmektedir. Bu okullara ait aritmetik ortalama değerleri incelendiğinde bu okulların genel olarak tüm okullar arasında yüksek aritmetik ortalamaya sahip okullar oldukları görülmektedir. Tablo 3 dikkatli incelendiğinde en yüksek ortalamaya sahip olan okulların (birinci sınavda 14. okul, ikinci sınavda 77. okul) en yüksek katma-değer puanına sahip olmadığı görülmektedir. Bu da hâlihazırda sadece okul ortalamalarına göre okul etkililiği değerlendirmenin katma-değerli değerlendirme yöntemine göre yapılan değerlendirmeden farklı sonuçlar sunacağını göstermektedir. Bir okula ait katma-değer puanı elde edilirken o okuldaki bütün öğrencilerin birinci sınavından ikinci sınavına olan değişimleri dikkate alınmaktadır. Katma-değer puanlarına göre yapılan sıralamaların yanında birinci sınav ve ikinci sınava ait sıralamalar da Tablo 3’te sunulmuştur. Bu sıralamalar genel olarak tutarlılık gösterse de farklı sıralamaya sahip okullar göze çarpmaktadır. Bu üç değere göre yapılan okul sıralamaları arasındaki korelasyon değerleri Spearman Rho formülü ile hesaplanmıştır. Katma-değer puanlarına göre yapılan sıralama ile birinci sınavın aritmetik ortalamasına göre yapılan sıralama arasındaki korelasyon .648 olarak bulunurken, katma-değer puanlarına göre yapılan sıralama ile ikinci sınavın aritmetik ortalamasına göre yapılan sıralama arasındaki korelasyon .418 olarak hesaplanmıştır.

0 100 200 300 400 500 -1 0 0 10 20

39(year1)18(year1)26(year1)389(year1)314(year1)495(year1)395(year1)224(year1)10(year1)4(year1)138(year1) 70(year1)437(year1)185(year1)311(year1)25(year1)137(year1)300(year1)275(year1)190(year1)21(year1)329(year1)238(year1)28(year1)187(year1)497(year1)470(year1)

8(year1)271(year1)173(year1)134(year1)177(year1)89(year1)68(year1)37(year1)155(year1)317(year1)38(year1)332(year1)535(year1)17(year1)133(year1)335(year1)309(year1)195(year1)390(year1)494(year1)193(year1)511(year1)487(year1)188(year1)506(year1)29(year1)294(year1)279(year1)298(year1)292(year1)59(year1)107(year1)14(year1)229(year1)413(year1)287(year1)467(year1)334(year1)151(year1)65(year1)328(year1)20(year1)24(year1)32(year1)12(year1)61(year1)315(year1)27(year1)16(year1)424(year1)446(year1)212(year1)355(year1)284(year1)305(year1)19(year1)186(year1)527(year1)312(year1)516(year1)255(year1)438(year1)159(year1)478(year1)303(year1)532(year1)306(year1)326(year1)320(year1)227(year1)323(year1)353(year1)181(year1)13(year1)179(year1)95(year1)457(year1)330(year1)232(year1)318(year1)331(year1)313(year1)250(year1)176(year1)196(year1)157(year1)34(year1)325(year1)205(year1)376(year1)295(year1)23(year1)386(year1)420(year1)508(year1)171(year1)350(year1)56(year1)182(year1)403(year1)146(year1)156(year1)296(year1)121(year1)57(year1)5(year1)289(year1)36(year1)327(year1)257(year1)435(year1)429(year1)35(year1)1(year1)11(year1)400(year1)439(year1)167(year1)479(year1)299(year1)207(year1)526(year1)513(year1)31(year1)191(year1)419(year1)270(year1)427(year1)402(year1)393(year1)319(year1)316(year1)144(year1)321(year1)184(year1)383(year1)98(year1)78(year1)453(year1)517(year1)399(year1)161(year1)106(year1)525(year1)285(year1)288(year1)64(year1)463(year1)538(year1)380(year1)322(year1)139(year1)116(year1)476(year1)175(year1)3(year1)456(year1)374(year1)109(year1)86(year1)433(year1)210(year1)152(year1)472(year1)496(year1)142(year1)154(year1)113(year1)488(year1)481(year1)301(year1)410(year1)291(year1)308(year1)486(year1)455(year1)302(year1)384(year1)286(year1)283(year1)498(year1)277(year1)265(year1)7(year1)209(year1)6(year1)2(year1)226(year1)385(year1)256(year1)67(year1)87(year1)208(year1)396(year1)480(year1)515(year1)123(year1)108(year1)510(year1)462(year1)324(year1)529(year1)267(year1)281(year1)128(year1)458(year1)54(year1)22(year1)160(year1)189(year1)493(year1)166(year1)114(year1)434(year1)81(year1)30(year1)382(year1)489(year1)401(year1)459(year1)409(year1)211(year1)94(year1)80(year1)280(year1)425(year1)82(year1)461(year1)450(year1)474(year1)90(year1)46(year1)412(year1)411(year1)473(year1)48(year1)378(year1)135(year1)162(year1)147(year1)124(year1)514(year1)102(year1)422(year1)33(year1)84(year1)447(year1)103(year1)293(year1)523(year1)518(year1)443(year1)101(year1)92(year1)202(year1)130(year1)172(year1)117(year1)164(year1)15(year1)9(year1)500(year1)452(year1)414(year1)423(year1)233(year1)501(year1)244(year1)477(year1)340(year1)354(year1)93(year1)76(year1)361(year1)141(year1)269(year1)537(year1)397(year1)163(year1)304(year1)45(year1)391(year1)533(year1)417(year1)74(year1)178(year1)240(year1)148(year1)398(year1)215(year1)69(year1)104(year1)200(year1)203(year1)150(year1)512(year1)519(year1)366(year1)460(year1)509(year1)454(year1)471(year1)192(year1)345(year1)214(year1)388(year1)52(year1)464(year1)168(year1)153(year1)469(year1)364(year1)131(year1)357(year1)169(year1)310(year1)268(year1)194(year1)149(year1)55(year1)521(year1)442(year1)448(year1)387(year1)243(year1)79(year1)274(year1)174(year1)339(year1)338(year1)234(year1)96(year1)249(year1)100(year1)75(year1)217(year1)465(year1)491(year1)58(year1)236(year1)235(year1)342(year1)406(year1)170(year1)264(year1)231(year1)262(year1)356(year1)381(year1)223(year1)430(year1)49(year1)91(year1)119(year1)451(year1)40(year1)218(year1)504(year1)247(year1)394(year1)505(year1)239(year1)197(year1)97(year1)475(year1)369(year1)348(year1)111(year1)122(year1)492(year1)266(year1)520(year1)483(year1)158(year1)225(year1)333(year1)297(year1)375(year1)145(year1)83(year1)282(year1)436(year1)347(year1)165(year1)408(year1)415(year1)248(year1)416(year1)219(year1)198(year1)418(year1)441(year1)129(year1)524(year1)344(year1)379(year1)118(year1)71(year1)88(year1)140(year1)349(year1)251(year1)127(year1)528(year1)72(year1)206(year1)230(year1)431(year1)368(year1)51(year1)468(year1)530(year1)62(year1)259(year1)482(year1)136(year1)216(year1)143(year1)531(year1)502(year1)377(year1)392(year1)242(year1)428(year1)110(year1)466(year1)42(year1)201(year1)499(year1)50(year1)47(year1)343(year1)41(year1)503(year1)367(year1)449(year1)336(year1)290(year1)261(year1)115(year1)245(year1)522(year1)444(year1)358(year1)372(year1)180(year1)85(year1)490(year1)228(year1)536(year1)204(year1) 432(year1)346(year1)404(year1)66(year1)126(year1)222(year1)440(year1)407(year1)99(year1)307(year1)363(year1)112(year1)252(year1)263(year1)120(year1)373(year1)220(year1)

254(year1)445(year1)60(year1)246(year1)352(year1)507(year1)44(year1) 539(year1)370(year1)260(year1)341(year1)253(year1)365(year1)421(year1)53(year1)360(year1)241(year1)221(year1)485(year1)132(year1)105(year1)337(year1)534(year1)

183(year1)351(year1)213(year1)199(year1)43(year1)237(year1) 272(year1)484(year1)426(year1)258(year1)63(year1)

405(year1)276(year1)359(year1125(year1273(year1 362(year1 77(year173(year1278(yea 371(yea

Okul Etkisi

Tablo 3. En Başarılı 20 Okula Ait Hesaplanan Katma-Değer Puanları ve Aritmetik Ortalamaları Başarı sırası Okul no EBLUP* St. Hata 𝑿𝑿�𝟏𝟏 Başarı sırası (𝑿𝑿�𝟏𝟏) 𝑿𝑿�𝟐𝟐 Başarı sırası (𝑿𝑿�𝟐𝟐)

1. 371 23.730 1.259 67.459 3. 68.071 4. 2. 278 22.210 1.239 65.465 5. 66.818 5. 3. 73 20.906 2.700 66.833 4. 68.646 3. 4. 77 20.847 3.041 67.708 2. 70.208 1. 5. 362 18.885 1.794 63.087 6. 63.556 14. 6. 273 17.825 2.108 61.679 7. 63.750 13. 7. 125 17.763 2.488 60.609 10. 66.707 6. 8. 359 17.319 1.709 60.941 9. 62.086 18. 9. 276 17.195 1.301 60.183 11. 61.687 19. 10. 405 16.617 1.331 59.121 14. 61.583 21. 11. 63 16.174 1.695 58.888 15. 61.673 20. 12. 258 15.759 1.681 57.501 20. 62.184 17. 13. 426 15.221 1.411 57.703 17. 60.198 24. 14. 484 15.218 4.567 69.524 1. 69.762 2. 15. 272 14.952 1.364 57.590 18. 59.658 28. 16. 237 14.143 3.376 59.305 13. 64.213 11. 17. 43 14.136 2.952 57.327 21. 63.794 12. 18. 199 13.650 3.991 61.666 8. 65.454 7. 19. 213 13.646 3.599 59.388 12. 64.477 9. 20. 351 13.605 2.120 57.561 19. 58.354 32.

*EBLUP = Empirical Best Linear Unbiased Predictors (ampirik en iyi doğrusal yansız yordayıcı)

En başarısız 20 okula ait değerlerin sunulduğu Tablo 4 incelendiğinde en düşük katma-değer puanına sahip olan üç okulun sırasıyla 26, 18 ve 39 numaralı okullar olduğu görülmektedir. Tablodaki aritmetik ortalama değerleri incelendiğinde bu okullardan daha düşük aritmetik ortalamaya sahip okullar olduğu gözlenmektedir. En başarılı okullar listesindeki katma-değer puanları ile okul ortalamaları arası fark burada da gözlenmektedir. Bu da hâlihazırda sadece okul ortalamalarına göre okul etkililiği değerlendirmenin katma-değerli değerlendirme yöntemine göre yapılan değerlendirmeden farklı sonuçlar sunacağını göstermektedir. Katma-değer puanlarına göre yapılan sıralamaların yanında birinci sınav ve ikinci sınava ait sıralamalar da Tablo 4’te sunulmuştur. Bu sıralamalar genel olarak tutarlılık gösterse de farklı sıralamaya sahip okullar göze çarpmaktadır. Bu üç değere göre yapılan okul sıralamaları arasındaki korelasyon değerleri Spearman Rho formülü ile hesaplanmıştır. Katma-değer puanlarına göre yapılan sıralama ile birinci sınavın aritmetik ortalamasına göre yapılan sıralama arasındaki korelasyon .564 olarak bulunurken, katma-değer puanlarına göre yapılan sıralama ile ikinci sınavın aritmetik ortalamasına göre yapılan sıralama arasındaki korelasyon .397 olarak hesaplanmıştır.

Tablo 4. En Başarısız 20 Okula Ait Hesaplanan Katma-Değer Puanları ve Aritmetik Ortalamaları Başarı sırası Okul no EBLUP* St. Hata 𝑿𝑿�𝟏𝟏 Başarı sırası (𝑿𝑿�𝟏𝟏) 𝑿𝑿�𝟐𝟐 Başarı sırası (𝑿𝑿�𝟐𝟐)

520. 190 -9.257 2.465 30.450 498. 33.452 515. 521. 275 -9.321 2.641 31.238 478. 31.690 528. 522. 300 -9.329 2.731 29.271 509. 33.880 507. 523. 137 -9.345 3.251 28.083 524. 33.241 521. 524. 25 -9.437 2.872 28.214 522. 34.464 500. 525. 311 -9.518 3.880 27.361 533. 29.375 536. 526. 185 -9.645 2.444 29.783 503. 33.333 517. 527. 437 -9.949 2.292 28.810 515. 34.166 502. 528. 70 -10.146 3.194 27.706 531. 31.547 530.

Tablo 4. Devamı

Başarı sırası Okul no EBLUP* St. Hata 𝑿𝑿�𝟏𝟏 Başarı sırası (𝑿𝑿�𝟏𝟏) 𝑿𝑿�𝟐𝟐 Başarı sırası (𝑿𝑿�𝟐𝟐)

529. 138 -10.327 2.996 27.766 529. 31.933 526. 530. 4 -10.675 2.586 27.716 530. 32.725 524. 531. 10 -10.731 3.140 27.386 532. 30.477 533. 532. 224 -10.849 2.799 28.500 517. 30.361 534. 533. 395 -10.864 2.613 26.569 536. 33.578 513. 534. 495 -11.181 2.423 28.022 526. 31.590 529. 535. 314 -11.565 2.260 28.116 523. 31.053 532. 536. 389 -11.586 2.030 28.502 516. 31.248 531. 537. 26 -11.641 3.140 25.947 537. 29.696 535. 538. 18 -11.787 3.194 26.785 534. 27.698 239. 539. 39 -11.838 2.731 28.000 527. 28.567 538.

* EBLUP = Empirical Best Linear Unbiased Predictors (ampirik en iyi doğrusal yansız yordayıcı)

Verilerden elde edilen bulgulara göre ise sistemin işlerliğinde herhangi bir problem rastlanılmamıştır. Yani merkezi bir sınav olan TEOG verileri ile katma-değerli değerlendirme sisteminin işler olduğu söylenebilir.

Sonuç ve Tartışma

Bu çalışmada okul etkililiğinin değerlendirmesinde sıklıkla kullanılan yaklaşımlardan biri olan katma-değerli değerlendirme sistemi tanıtılmış ve gerçek bir veri üzerinden bu yaklaşımın uygulaması gösterilmiştir. Katma-değerli değerlendirme sistemi, öğrencilerin gelişimlerini öğretmene ya da okula atfederek öğretmen/öğrenci ya da okul/öğrenci kümelenmiş veri yapısını kullanarak bir katma-değer puanı hesaplamaktadır. Bu çalışmada da Şanlıurfa’daki okullara o okullarda öğrenim görmekte iken iki farklı TEOG sınavına girmiş öğrencilerin puanlarına göre birer katma-değer puanı hesaplanarak okul başarı sıralaması yapılmıştır. Aynı zamanda okullardaki öğrencilerin sadece puan ortalamalarına bakılarak bir sıralama yapılmış ve katma-değerli değer puanlarına göre yapılan sıralamadan farklılıklar gösterdiği görülmüştür. Bulgularımız ışığında genel bir bakışla yüksek ortalamaya sahip okulların katma-değer puanlarının yüksek olduğu, düşük ortalamaya sahip okulların da genel olarak düşük katma-değer puanına sahip olduğu görülmüştür. Her ne kadar sonuçlar birbirleriyle tutarlı gibi görünse de katma-değerli değerlendirme yaklaşımının daha doğru sonuçlar ortaya koyduğu ifade edilmektedir. Bulgulara ve literatürdeki çalışmalara (Hanushek, 1972; McCaffrey vd., 2003; Sanders vd., 1997; Tekwe vd., 2004) dayanarak tek bir noktada elde edilen ortalama puanlara göre okulların performansları hakkında yargılarda bulunmanın yanlış değerlendirmelere yol açabileceği düşünülmektedir. Okul ortalamasına dayalı olarak okulların başarılı olup olmadığı yargısına varırken okula ve öğrenciye ait değişkenlerin hesaba katılamaması geleneksel yöntemin dezavantajları arasında yer alırken bu tür değişkenleri KDM’ler aracılığıyla kontrol ederek daha geçerli sonuçlar elde etmek mümkün görünmektedir. Bu çalışmada öğrencilere ya da okullara ait ek değişkenler olmadığı için model analizleri yordayıcı değişkenler olmadan analiz edilmiştir. Bu durum araştırmanın sınırlılığı olarak belirtilebilir.

KDD sistemi okul etkililiğinin değerlendirilmesine güçlü bir alternatif olma potansiyeline sahiptir. Ayrıca öğretmen hareketliliğinin minimuma indirildiği varsayıldığında, öğretmen etkililiğinin değerlendirilmesinde de güçlü bir alternatif olabilecektir. Bu değerlendirme sisteminin öğretmen değerlendirmede kullanılması, Türkiye gündemini meşgul eden ‘öğretmenlere puan verme’ problemini (Tedmem Raporu, 2018) ortadan kaldırabileceği düşünülmektedir.

Okul yöneticilerinin öğretmenleri değerlendirirken somut araçlara sahip olmadıkları düşünülürse, KDD sistemi yöneticilere nesnel bir biçimde değerlendirme yapma olanağı sağlayabilir. Bazı öğretmenlerin yöneticileri tarafından sınıfta gözlemlenerek değerlendirilmelerini uygun bulmadıkları ve yöneticilerin de bu konuda eğitimli olmadıkları için öğretmen değerlendirmesini ihmal ettikleri belirlendiğinden (Bozkuş, 2018) KDD ile uygulamadaki bu olumsuzluklar giderilebilir.

2001 yılında Amerika’da çıkarılan “Hiçbir Çocuk Geride Kalmasın” (No Child Left Behind [NCLB]) yasasıyla birlikte birçok eyalet kendi sınırları içerisindeki okullarda öğrenim gören öğrencilere her yıl standartlaştırılmış sınavlar uygulayarak öğrencilerin başarılarını ölçmekle ve beklenen başarının altında kalan öğrencileri geliştirmekle yükümlüdür (McCaffrey vd., 2004). Bu eyaletlerin çoğu kendi katma-değerli değerlendirme sistemlerini kurarak öğrencilere ait boylamsal veriler üzerinden okulları ve öğretmenleri değerlendirmektedir. Yeterli başarıyı gösteren okullara teşvik verilirken beklenen gelişimi gösteremeyen okullara da yaptırımlarda bulunulmaktadır. Buna benzer bir uygulamanın Milli Eğitim Bakanlığı yönetiminde Türkiye’deki illerde ve okullarda kullanılmasının ülke genelinde öğrenciler arası başarı farkını ortadan kaldırmak için doğru bir uygulama olacağı düşünülmektedir. Bu çalışma KDD sisteminin Türkiye’deki okullara uygulanabilirliğini göstermek adına iyi bir örnek teşkil etmektedir.

Katma-değerli değerlendirme sisteminde okulların ya da öğretmenlerin performanslarını değerlendirmede kullanılan katma-değer puanlarını elde etmek için alanyazında birçok istatistiksel model önerilmiştir. Bu modellerin okulların hesap verilebilirliği üzerinde kullanımı son yıllarda artmaya başladığı bunun neticesinde öğretmenler ve okulların sıralamaya tabi tutulduğu, bu sıralamalar esas alınarak ödül ve yaptırımlarda bulunulduğu Amerikan İstatistik Kurumu (American Statistical Association, 2014) tarafından altı çizilen bir nokta olmuştur. American Statistical Association (2014) ve birçok araştırmacı (Baker vd., 2010; Ballou ve Springer, 2015; Beardsley, 2008; Goldhaber, 2015; Johnson, 2015) sadece bu modellerden elde edilen sonuçların okullar ve öğretmenler hakkında önemli kararlar alınmasında kullanılmamasını önermektedir. Araştırmacılar katma-değerli değerlendirme yaklaşımının okul ve öğretmen değerlendirmesinde asıl karar verici olarak değil de karar vermeye yardımcı olarak kullanılmasını önermektedir. Bu çalışma da bu bağlamda Mili eğitim Bakanlığı için bir öneri mahiyetinde değerlendirilebilir.

Kaynakça

Adams, E. (1993). School’s out!: New initiatives for British school grounds. Children’s Environments,

10(2), 180-191.

American Statistical Association. (2014). ASA statement on using value-added models for educational

assessment. Alexandria, VA.

Baker, E. L., Barton, P. E., Darling-Hammond, L., Haertel, E., Ladd, H. F., Linn, R. L. … ve Shepard, L. A. (2010). Problems with the use of student test scores to evaluate teachers (EPI Briefing Paper #278). Washington: Economic Policy Institute.

Ballou, D. ve Springer, M. G. (2015). Using student test scores to measure teacher performance: Some problems in the design and implementation of evaluation systems. Educational Researcher, 44(2), 77-86.

Ballou, D., Sanders, W. L. ve Wright, P. (2004). Controlling for student background in value-added assessment of teachers. Journal of Educational and Behavioral Statistics, 29(1), 37-66.

Barnard, C. (1938). The functions of the executive. Cambridge, MA: Harward University Press.

Beardsley, A. (2008). Methodological concerns about the education value-added assessment system.

Educational Researcher, 37(2), 65-75.

Botha, R. (2010). School effectiveness: Conceptualising divergent assessment approaches. South African

Journal of Education, 30(4), 605-620.

Bozkuş, K. (2018). Öğretmenlerin mesleki gelişiminde dinamik yaklaşımın uygulanması: Bir eylem araştırması (Yayımlanmamış doktora tezi). Anadolu Üniversitesi, Eskişehir.

Briggs, D. C. ve Domingue, B. (2013). The gains from vertical scaling. Journal of Educational and Behavioral

Statistics, 38(6), 551-576.

Briggs, D. C. ve Weeks, J. P. (2009). The sensitivity of value-added modeling to the creation of a vertical score scale. Education Finance and Policy, 4(4), 384-414.

Creemers, B. P. ve Kyriakides, L. (2008). The dynammics of educational effectiveness: A contribution to policy,

practice and theory in contemporary schools. London: Routledge.

Doran, H. ve Izumi, L. T. (2004). Putting education to the test: A value-added model for California. San Francisco, CA: Pacific Research Institute.

Doran, H. C. ve Cohen, J. (2005). The confounding effect of linking bias on gains estimated from value-added models. R. Lissitz (Ed.), Value-value-added models in education: Theory and application içinde (s. 80-110). Maple Grove, MN: JAM Press.

Drury, D. ve Doran, H. C. (2003). The value of value-added analysis. Policy Research Brief for National

School Board Association, 3(1), 1-4.

EARGED. (2010). İlköğretim okulları başarı göstergeleri. Ankara: MEB Eğitimi Araştırma ve Geliştirme Dairesi Başkanlığı.

Goldhaber, D. (2015). Exploring the potential of value-added performance measures to affect the quality of the teacher workforce. Educational Researcher, 44(2), 87-95.

Hanushek, E. A. (1972). Education and race. Lexington, MA: Lexington Books.

Hesapçıoğlu, M. (2006). Eğitim kurumlarında kalite olgusu ve kalite güvence sistemleri. M.Ü. Atatürk

Eğitim Fakültesi Eğitim Bilimleri Dergisi, 23(1), 143-160.

Johnson, S. M. (2015). Will VAMS reinforce the walls of the egg-crate school?. Educational Researcher,

44(2), 117-126.

Karip, E. ve Köksal, K. (1996). Etkili eğitim sistemlerinin geliştirilmesi. Eğitim Yönetimi, 2(2), 245-257. Karl, A. T., Yang, Y. ve Lohr, S. (2012). GPvam: Maximum likelihood estimation of multiple membership

mixed models used in value-added modeling. R Package Version 2.0-0 [Computer software]. https://cran.r-project.org/web/packages/GPvam/GPvam.pdf adresinden erişildi.

Kelly, F. J. (1916). The Kansas Silent Reading Tests. Journal of Educational Psychology, 7(2), 63-80.

Kerbow, D. (1996). Patterns of urban student mobility and local school reform. Journal of Education for

Students Placed at Risk, 1(2), 147-169.

Mariano, L. T., McCaffrey, D. F. ve Lockwood, J. R. (2010). A model for teacher effects from longitudinal data without assuming vertical scaling. Journal of Educational and Behavioral Statistics, 35(3), 253-279. McCaffrey, D., Lockwood, J. R., Koretz, D. ve Hamilton, L. (2003). Evaluating value-added models for

teacher accountability. Washington, DC: RAND.

McCaffrey, D. F., Lockwood, J. R., Koretz, D., Louis, T. A. ve Hamilton, L. (2004). Models for value-added modeling of teacher effects. Journal of Educational and Behavioral Statistics, 29(1), 67-101. Meyer, R. H. ve Dokumaci, E. (2010). Value-added models and the next generation of assessments. Princeton,

NJ: Center for K-12 Assessment & Performance

Management. www.k12center.org/rsc/pdf/MeyerDokumaciPresenterSession4.pdf adresinden erişildi.

Milli Eğitim Bakanlığı. (2019). Milli eğitim istatistikleri örgün eğitim. Ankara: Milli Eğitim Bakanlığı. http://sgb.meb.gov.tr/meb_iys_dosyalar/2019_09/30102730_meb_istatistikleri_orgun_egitim_2018 _2019.pdf adresinden erişildi.

Murnane, R. J. (1975). The impact of school resources on the learning of inner city children. Cambridge, MA: Ballinger Publishing Co.

Rowan, B. (1985). The assessment of school effectiveness. R. Kyle (Ed.), Reaching for excellence: An effective

schools sourcebook. Washington, DC: National Institute of Education.

Sanders, W. L. (2000). Value-added assessment from student achievement data: Opportunities and hurdles. Journal of Personnel Evaluation in Education, 14(4), 329-339.

Sanders, W. L., Saxton, A. M. ve Horn, S. P. (1997). The Tennessee Value-Added Educational Assessment System (TVAAS): A quantitative, outcomes-based approach to educational assessment. J. Millman (Ed.), Grading teachers, grading schools: Is student achievement a valid evaluation

measure? içinde (s. 137-162), Thousand Oaks, CA: Corwin Press.

Tedmem Raporu. (2018). Öğretmen performans değerlendirme ve aday öğretmenlik iş ve işlemleri yönetmelik

taslağı üzerine değerlendirmeler. https://tedmem.org/download/ogretmen-performans-

degerlendirme-aday-ogretmenlik-is-islemleri-yonetmelik-taslagi-uzerine-degerlendirmeler?wpdmdl=2641 adresinden erişildi.

Tekwe, C. D., Carter, R. L., Ma, C., Algina, J., Lucas, M. E., Roth, J. ve … Resnick, M. B. (2004). An empirical comparison of statistical models for value-added assessment of school performance.

Journal of Educational and Behavioral Statistics, 29(1), 11-36.

Temple, J. A. ve Reynolds, A. J. (1999). School mobility and achievement: Longitudinal findings from an urban cohort. Journal of School Psychology, 37(4), 355-377.

Turhan, M., Şener, G. ve Gündüzalp, S. (2017). Türkiye’de okul etkililiği araştırmalarına genel bir bakış.

Turkish Journal of Educational Studies, 4(2), 103-151.

UNESCO. (2019). Combining data on out-of-school children, completion and learning to offer a more

comprehensive view on SDG 4 (Information Paper No. 61). Montreal, Quebec: United Nations

Educational Scientific and Cultural Organization.

http://uis.unesco.org/sites/default/files/documents/ip61-combining-data-out-of-school-children-completion-learning-offer-more-comprehensive-view-sdg4.pdf adresinden erişildi.

Yükçü, S. ve Atağan, G. (2009). Etkinlik, etkililik ve verimlilik kavramlarının yarattığı karışıklık. Atatürk