VALİDASYON YÖNTEMLERİ

Bir notlama modelinin ayrıştırma gücünün yeterli derecesini ve ölçüm hatalarının kabul edilir bir düzeyde olup olmadığını sınayan modeller şöyle özetlenebilir.²⁹

KOLMOGOROV-SMIRNOV TEST (K-S TEST)

Bir kredi notlama veya derecelendirme modeli batan kredilerle batmayanları ayrıştırabilmelidir. K-S testi bu iki gruba ait notların dağılımının birbirinden farklı olup olmadığını ölçer. Bunun için her iki grubun kümülatif nisbî frekans dağılımı arasındaki farka bakılır. Bu sürecin aşamaları şöyledir:

(1) Her rating grubundaki batan ve batmayan firmaların kümülatif olasılık dağılımları hesaplanır.

(2) İki grubun kümülatif olasılıklarının farkı hesaplanır.

Bu iki değer arasındaki fark ne kadar fazlaysa, yani K-S değeri ne kadar yüksekse modelin ayrıştırma gücü o kadar yüksektir. Bu iki değer arasındaki fark Şekil 1’de gösterilmiştir. Bu şekilde X ekseni rating notlarını, Y ekseni olasılıkları göstermektedir.

29 Sun ve Wang, a.g.m.

LİSANSLAMA SINAVLARI ÇALIŞMA KİTAPLARI 46

Şekil 1: Batan ve batmayan firmaların kümülatif olasılık dağılımı GINI KATSAYISI

Batan ve batmayan müşterilerin notları (skorları) farklılık gösterecektir. Gini katsayısı bu varyansı ölçer. Şekil 2’de her iki grubun aynı dağılımı göstermesi halinde modelin ayrıştırma gücünün olmaması durumu gösterilmiştir. Şekilde Y ekseni toplam firma sayısını, X ekseni ise notları göstermektedir.

0 0

0.1 0.1

0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1

0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1

Olasılık

Rating Notu

K-S değeri

batan firmaların kümülatif olasılık dağılımı

batmayan firmaların kümülatif olasılık dağılımı

LİSANSLAMA SINAVLARI ÇALIŞMA KİTAPLARI 47

Şekil 2: Batan ve batmayan firmaların rating notları

Gini katsayısının açıklandığı Şekil 3’te X ekseni K risk sınıfındaki borçluların toplam borçlulara oranını, Y ekseni ise K risk sınıfında batan firmaların toplam batan firmalara oranını göstermektedir.

Lorenz eğrisi ise her not grubundaki her noktanın segmentini vermektedir. Lorenz eğrisinin 45⁰ doğrusu ile çakışması halinde model batanlarla batmayanları hiç ayrıştırmayacaktır.

Dolayısıyla Lorenz eğrisi ile 45⁰ doğrusu arasındaki fark batanlarla batmayanların dağılımı arasındaki farkın ölçüsüdür. Gini katsayısı bu alanın 45⁰ doğrusu altındaki tüm alana bölünmesi ile bulunur.

Gini = A/(A+B) = A/0.5 = 2A

Gini katsayısı Lorenz eğrisi ile 45⁰ doğrusu arasındaki alanın iki katına eşittir. Değerler 0–1 arasında yer alır. Katsayı 1 ise batanlar ve batmayanlar tamamen farklı dağılımlardan gelmekte, dolayısıyla model bu iki grubu tamamen ayrıştırmaktadır. Değer sıfır ise batanlar ve batmayanlar tamamen aynı dağılımlardan gelmekte, dolayısıyla model bu iki grubu hiç ayrıştıramamaktadır. Gini katsayısı matematiksel olarak aşağıdaki gibi ifade edilir.

LİSANSLAMA SINAVLARI ÇALIŞMA KİTAPLARI 48

𝐺 = |1 − ∑ (𝑋_𝐾+1− 𝑋_𝐾)(𝑌_𝐾+1+ 𝑌_𝐾)

𝐾=𝑛−1

𝐾=0

|

Bu denklemde;

G: Gini katsayısını,

X: Borçluların kümülatif yüzdesini,

Y: Batan firmaların kümülatif yüzdesini ve K= Rating notlarını ifade etmektedir.

Şekil 3: Lorenz Eğrisi ROC (RECEIVER OPERATING CHARACTERISTIC)

C’nin kesim noktası (cut-off) olduğunu varsayalım. Bir banka rating veya notlama sonuçlarına göre batan ve batmayan müşterilerini sınıflayınca iki türlü hata ile karşılaşabilir:

LİSANSLAMA SINAVLARI ÇALIŞMA KİTAPLARI 49

(i) I. tip hata; kredi değerliliği yüksek müşterilerin yüksek batma olasılığı grubunda gösterilmesi ve (ii) II. tip hata; kredi değerliliği düşük müşterilerin düşük batma olasılığı grubunda gösterilmesidir.

Tablo1: I. ve II. Tip Hata

C noktası (cut-off) Batanlar Batmayanlar Rating notu Kritik Değerin Altında Doğru Öngörü Tip I hata Rating notu Kritik Değerin Üstünde Tip II hata Doğru Öngörü

ROC eğrisi I. tip hata ve “1–II. tip hata” baz alınarak oluşturulur. Şekil 4’te gösterildiği gibi, eğri ne kadar çok (0,1) eksenine doğru yaslanırsa (eğrinin altındaki alan veya AUC ne kadar büyük olursa) modelin ayrıştırma gücü o kadar yüksek olacaktır. AUC modelin batan ve batmayanları ayırma gücünün ortalama değerini verir. AUC’nin 0.5 olması halinde modelin ayrıştırma gücünden söz edilemez, model şirketleri %50 doğru sınıflıyor demektir. Yazı tura hesabı ile belirlenecek bir model de aynı ayrıştırma gücünü sağlayacaktır. %50 ayrıştırma gücü için model kurmaya gerek yoktur. AUC’nin 1’e eşit olması modelin batanları ve batmayanları %100 doğru ayrıştırdığını gösterir. Gerçekte oluşturulan modellerde ulaşılan AUC değerleri 0.5 ile 1 arasında yer almaktadır. U değeri AUC’nin ölçüsü olarak kullanılmaktadır.

𝑈̂ = 1

𝑁_𝐷× 𝑁_𝑁𝐷 ∑ 𝑢_{𝐷,𝑁𝐷}

(𝐷,𝑁𝐷)

𝑢_{𝐷,𝑁𝐷} = {

1 𝑖𝑓 𝑆_𝐷 < 𝑆_𝑁𝐷 1

2 𝑖𝑓 𝑆_𝐷 = 𝑆_𝑁𝐷 0 𝑖𝑓 𝑆_𝐷 > 𝑆_𝑁𝐷

Formülde ND batanların toplam sayısı, NND batmayanların toplam sayısı, SD batanların notu ve SND batmayanların notunu ifade etmektedir.

LİSANSLAMA SINAVLARI ÇALIŞMA KİTAPLARI 50

Şekil 4: ROC Eğrisi

CUMULATIVE ACCURACY PROFILE (CAP)

Bir notlama modeli en düşük notu batan müşterilere verecektir. Oluşturulan herhangi bir modelin her borçluya k sayıdaki olası not arasından bir S notu (S1<S2<...<Sk) verdiğini düşünelim. Yüksek bir S düşük bir batma olasılığına tekabül etmektedir. Notlama sonuçlarına göre tüm batanların kümülatif yüzdesi, tüm borçluların kümülatif yüzdesi çarpı batma oranına eşit olacaktır. Gerçek hayatta oluşturulan modellerde bunu elde etmek çok zordur çünkü modelde batanlarla batmayanları ayırırken hatalar oluşmaktadır. Dolayısı ile gerçekte tüm batanların kümülatif yüzdesini gösteren, tüm borçluların kümülatif yüzdesi çarpı batma oranı ile modelin çıktılarına göre ortaya çıkan değerler arasında farklılık oluşacaktır. Şekil 5 CAP eğrisini açıklamaktadır. En iyi durumda CAP eğrisi (1/batma oranı) eğimine sahip bir doğru olacak ve 1’de kalacaktır. Öte yandan hiç açıklama gücü olmayan CAP 45° doğrusu olacaktır.

Gerçekte oluşturulan modellerde elde edilen değerler bu ikisinin arasında yer almaktadır.

CAP’nin rakamsal ifadesi isabet oranıdır (accuracy rate: AR) ve AR (modelin CAP eğrisi ile 45° doğrusu arasındaki alan) ile AP’nin (45° ile mükemmel modelin CAP eğrisi arasındaki alan) birbirine oranı olarak ölçülür.

LİSANSLAMA SINAVLARI ÇALIŞMA KİTAPLARI 51

AR = A_R/A_P

AR 1 ile 0 arasında yer alır ve değer ne kadar 1’e yakınsa model o kadar isabetli, 0’a ne kadar yakınsa o kadar isabetsiz sonuçlar üretmektedir. AR’yi 𝑉̂ sembolü ile gösterirsek:

𝑉̂ = 1

𝑁_𝐷× 𝑁_𝑁𝐷 ∑ 𝑣_{𝐷,𝑁𝐷}

(𝐷,𝑁𝐷)

𝑣_{𝐷,𝑁𝐷} = {

1 𝑖𝑓 𝑆_𝐷 < 𝑆_𝑁𝐷 1

2 𝑖𝑓 𝑆_𝐷 = 𝑆_𝑁𝐷 0 𝑖𝑓 𝑆_𝐷 > 𝑆_𝑁𝐷

Formülde ND batanların toplam sayısı, NND batmayanların toplam sayısı, SD batanların notu ve SND batmayanların notunu ifade etmektedir.

Aşağıdaki Şekil 5’te Y ekseni cut–off noktası C de batanların kümülatif oranını, X ekseni ise cut–off noktası C de tüm borçluların kümülatif oranını göstermektedir.

LİSANSLAMA SINAVLARI ÇALIŞMA KİTAPLARI 52

Şekil 5: CAP Eğrisi

2.6. UYGULAMADA NOT ÇİZELGELERİNİN (SCORECARD)