4. ARAŞTIRMANIN YÖNTEMİ
4.4. Araştırma Bulgularının Değerlendirilmesi
4.4.2. Modellerin Başarımlarının Karşılaştırılması
Türkiye’de araştırmacılar, farklı finansal başarısızlık yöntemlerinin sonuçlarının birbirleriyle karşılaştırılmasında genellikle yöntemlerin doğru sınıflandırma oranına397 ya da hata oranlarına398 bakmaktadırlar. Ancak sadece sonuçlara bakılarak yapılan karşılaştırma matematiksel bir boyut olup istatistiksel bir özellik taşımamaktadır. Ayrıca, doğru sınıflandırma oranının, önsel olasılıklara ve saptanan kritik değere bağlı olması399, modellerin sadece DSO yüzdelerine bakarak yapılan karşılaştırmalarda yanıltıcı olabilmektedir. Bu nedenle, bu araştırmada, yöntemler sadece sonuçları400 ile değil, yöntemde kullanılan tüm verilerin karşılaştırılması için işlem karakteristiği (ROC) eğrisi adlı yeni bir yönteme başvurulmaktadır401.
ROC eğrisi özellikle tıp alanında çeşitli tedavi ve tanı yöntemlerinin etkinliklerinin sınanması amacıyla yoğun bir şekilde kullanılmaktadır402. Tanı testlerinin ayırıcılık gücü, işlem karakteristiği eğrisinin altında kalan alan yardımıyla değerlendirilmektedir.
ROC kısaltması bir radar terimi olan ve doğru radyo sinyallerini gürültüden ayırt etmeye yarayan Receiver Operating Characteristic’ten gelmektedir. Bu yöntem ile aşağıdaki yararlar sağlanmaktadır403:
Testin ayırt etme gücü belirlenmektedir.
Çeşitli testlerin etkinlikleri karşılaştırılmaktadır. Uygun pozitiflik eşiği belirlenmektedir.
397
Bkz. Aktaş, Doğanay ve Yıldız, a.g.e., s.22; Sayılgan ve Coşkun, a.g.e., s.125.
398
Bkz. Melike E. Bildirici ve Mehmet Salman, “Türkiye’de Ödeyememe Riski: Ekonometrik Yaklaşım”, İMKB Dergisi, C. 8, S. 32 (Nisan 2006), s.29.
399
Önsel olasılık ve kritik değer kavramları için bkz. 3.4.2.1. Sınıflandırma Matrisi.
400
Bu karşılaştırma Tablo 4.8’de yapılmaktadır. Modellerin ROC yöntemine göre karşılaştırması ise Tablo 4.7’de sunulmaktadır. Dikkat edildiğinde, BSM modellerinin başarım sıralaması ROC yönteminde farklı bulunmaktadır.
401
Bu yöntem SPSS uygulamasında bulunmaktadır.
402
Yasemin Genç, “Tanı Testi Çalışmalarında Metodolojik Standartların Kullanılması”, Ankara Üniversitesi Tıp Fakültesi Mecmuası, C. 56, S. 4 (2003), s.259.
403
Feza Uğurman ve M.Bahadır Berktaş, “Tıpta Tanı Testleri ve Risk Değerlendirilmelerinde Kullanılan Temel Kavramlar”, Akciğer Arşivi, No. 4 (2003), s.237.
134
Laboratuvar sonuçlarının kalitesi izlenmektedir. Uygulayıcının gelişimi izlenmektedir.
Farklı uygulayıcıların etkinliklerinin karşılaştırılmasına olanak sağlanmaktadır.
İşlem karakteristiği eğrisi, koordinat sisteminin ordinatına duyarlılık (testin gerçek hastalar -başarısız işletmeler- içerisinden hastaları –başarısızları- bulma yeteneği; İngilizce, sensitivity) ve apsisine ise seçicilik (gerçek sağlamlar –başarılı işletmeler- içinden testin hatalı olarak hasta –başarısız- dediği olgular; İngilizce, specificity) konularak çizilmektedir. Tanı testi ne kadar iyi ise, eğri o kadar yukarıya ve sola doğru kaymaktadır. Böyle bir eğri çizildikten sonra, eğrinin altında kalan alan hesaplanmaktadır. Şekil 4.1’de, A’da mükemmel bir başarım gösteren bir ROC eğrisi bulunmaktadır. Bu eğrinin altındaki AUC alanının değeri 1’dir. Şekil 4.1 B’de ise kötü başarım gösteren bir ROC eğrisi gözlemlenmektedir. 45 derecelik bu eğri referans çizgisi olarak da adlandırılmaktadır. Bu çizginin altındaki alanın değeri 0,5 olup bir ayrım bilgisi vermemektedir.
Şekil 4.1: Mükemmel (A) ve Kötü Başarım (B) Gösteren İki ROC Eğrisi Kaynak: Feza Uğurman ve M.Bahadır Berktaş, “Tıpta Tanı Testleri ve Risk Değerlendirilmelerinde Kullanılan Temel Kavramlar”, Akciğer Arşivi, No. 4 (2003), s.237.
İşlem karakteristiği eğrisinin altında kalan alanın değeri ne kadar büyük ise, tanı testi o kadar iyi bir ayrım yeteneğine sahiptir. Örneğin 0.975 ve üzerindeki AUC değerleri, mükemmel sayılmaktadır404. İki farklı teste ait AUC değerleri arasındaki fark istatistiksel olarak anlamlı ise AUC’si büyük olan test daha fazla ayrım gücüne sahip olmaktadır.
404
135
Finans yazınında; ROC eğrisi, krediye yaraşırlılık incelemelerinde kullanılmaktadır. Sobehart, Keenan ve Stein405 çeşitli derecelendirme yöntemlerinin geçerliliklerinin onaylanmasında ROC eğrisinin nasıl yardımcı olduğunu ayrıntılı bir şekilde açıklamaktadır. Sobehart ve Keenan406, bankaların içsel kredi derecelendirme modellerinde, ROC eğrisinin kullanımı sonucunda eğrinin altında kalan alanın modelin kalitesinin göstergesi olduğu sonucuna varmaktadır. Doğruluk oranı, testin hasta ve sağlam ya da başarısız ve başarılı olarak toplam tanı oranıdır. Engelmann vd.407, ROC eğrisinin altında kalan alanın doğrusal olarak değiştirilmesi ile doğruluk oranı elde edileceğini aşağıdaki denklemde göstermektedir:
Doğruluk Oranı = 2*(Roc Eğrisinin altındaki Alan – 0,50) (31)
Çalışmada sınanan beş modele ait işlem karakteristiği eğrilerinin SPSS programı ile elde edilen grafiği Şekil 4.2’de gösterilmektedir.
45 derecelik açıyla çizilen çizgi referans çizgisi olup, tüm modellerin bu çizginin üstünde olması, modellerin ayrım gücünün var olduğunu göstermektedir. Şekil 4.2’e göre, en solda ve yukarıda olan ilk iki model, muhasebe verilerine dayalı oluşturulan modellerdir (MUHS ve MUHZm modelleri). BSM modellerinin ayrım
gücü, muhasebe modellerinden düşük olduğu şekilden gözlemlenmektedir.
405
Jorge Sobehart, Sean Keenan ve Roger Stein, “Benchmarking Quantitative Default Risk Models: A Validation Methodology”, Algo Research Quarterly, Vol. 4, No. 1/2 (March/April 2001), s.64-66.
406
Jorge Sobehart ve Sean Keenan, “Measuring Default Accuracy”, Risk, Credit Risk Special Report (March 2001), s.31-33.
407
Bernd Engelmann, Evelyn Hayden ve Dirk Tashe, “Testing Rating Accuracy”, Risk, Vol. 16 (2003), s.83.
136
İŞLEM KARAKTERİSTİĞİ (ROC) EĞRİSİ
D
u
y
ar
lı
lı
k
ROC
Seçicilik
1,0 ,8 ,5 ,3 0,0 1,0 ,8 ,5 ,3 0,0Modeller
Referans MUH S MUH Zm BSM E BSM BS-rf BSM BSSeçicilik
Şekil 4.2: Modellere Ait ROC Eğrileri
Şekil 4.2’ye ait sayısal değerler Tablo 4.7’de verilmektedir. Tablo 4.7’e göre bütün modellerin AUC değeri, %80 oranının üzerinde olup yüksek test sonuçlarını ifade etmektedir.
Tablo 4.7: ROC Eğrisinin Altındaki Alan (AUC)
Test Sonuçları AUC Standart Sapma Doğruluk Oranı
BSMBS 0,811 0,028 0,62
BSMBS-rf 0,806 0,028 0,61
BSME 0,833 0,025 0,67
MUHZm 0,884 0,020 0,77
MUHS 0,909 0,019 0,82
Tablo 4.7’de bulgulanan test sonuçları, sıfır hipotezin işlem karakteristiği eğrisinin altında kalan alanın 0,5’e eşit olduğunu varsaymaktadır ve %1 anlamlılık
137
düzeyi için geçerli bulunmaktadır. Eğrinin altındaki alanın standart sapma değerleri ikinci sütunda gösterilmektedir. Doğruluk oranı (31) numaralı denklem ile hesaplanmaktadır.
Tüm pay senetleri için beklenen getiri oranının, rizikosuz faiz oranı olarak kabul edilmesi (BSMBS-rf), BSM modelinin tahmin gücünü azaltmaktadır. Her pay
senedine ait gerçek408 değerlerin kullanılmasının BSM formülünde az da olsa daha etkili olduğu sonucuna varılmaktadır.
BSME modelinde varlık dalgalanma derecesi için kullanılan yeni formülün az
farkla da olsa Bharath ve Shumway’in geliştirdikleri formülden409 daha iyi sonuç verdiği gözlemlenmektedir (0,833>0,811). Bu yeni formülün, başka veri setleriyle de sınanması formülün benimsenmesi ve gelecekteki uygulamalar için yararlı olacaktır.