Çıktının iki veya daha fazla sınıf olabileceği makine öğrenmesi sınıflandırma problemlerinde performans metriklerinin bulunabilmesi için Tablo 11’de gösterilen Hata Matrisinden (Confusion Matrix) yararlanılır.
Tablo 11. Hata matrisi tablosu
Gerçek Olan Sınıf
Pozitif Negatif
Tahmin Edilen Sınıf Pozitif Doğru Pozitif
(True Positive - TP)
Yanlış Pozitif (False Positive - FP)
Tip 1 Hata
Negatif Yanlış Negatif (False Negative - FN)
Tip 2 Hata
Doğru Negatif (True Negative - TN)
Hata matrisi tahmin edilen ve gerçek değerler için 4 farklı kombinasyonu içeren bir tablodur. Bu tabloda tahmin değerleri Pozitif ve Negatif şeklinde, gerçek değerler ise Doğru ve Yanlış olarak tanımlanmaktadır. Doğru Pozitif (TP) gerçekte pozitif olan örneklerden kaçının doğru bir şekilde yani pozitif olarak sınıflandırıldığını, Doğru Negatif (TN) ise gerçekte negatif olan örneklerden kaçının doğru bir şekilde yani negatif olarak sınıflandırıldığını gösterir. Diğer taraftan, Yanlış Pozitif (FP) gerçekte negatif olan örneklerden kaçının yanlış bir şekilde yani pozitif olarak sınıflandırıldığını, Yanlış Negatif (FN) ise gerçekte pozitif olan örneklerden kaçının yanlış bir şekilde yani negatif olarak sınıflandırıldığını gösterir.
Tablo 12, hata matrisinin değerlerine dayanarak ikili sınıflandırma için en sık kullanılan performans metriklerini göstermektedir. Çoklu sınıflandırma için sıkça kullanılan metriklere ilişkin bilgiler ise Tablo 13’te gösterilmektedir. Tekil bir 𝐶𝑖sınıfı için ölçümler 𝑇𝑃𝑖, 𝐹𝑁𝑖, 𝑇𝑁𝑖 ve 𝐹𝑃𝑖 kullanılarak yapılır. 𝐷𝑜ğ𝑟𝑢𝑙𝑢𝑘𝑖, 𝐻𝑎𝑠𝑠𝑎𝑠𝑖𝑦𝑒𝑡𝑖, 𝐷𝑢𝑦𝑎𝑟𝑙𝚤𝑙𝚤𝑘𝑖; 𝐶𝑖’ye ilişkin frekanslar kullanılarak hesaplanır.
83
Genel sınıflandırmanın kalitesi genellikle iki şekilde değerlendirilir. İlk ölçme şekli makro-ortalama olarak adlandırılır ve 𝐶1, … , 𝐶𝑙 için ölçülmüş aynı metriğe ilişkin değerlerin ortalamasının alınması ile bulunur. İkinci ölçme şekli olan mikro-ortalamada ise birikimli 𝑇𝑃, 𝐹𝑁, 𝑇𝑁 ve 𝐹𝑃’yi elde etmek için frekans toplamlarına bakılır ve buna dayalı bir performans ölçüsü elde edilir [95]. Tablo 12 ve Tablo 13’te F skoru hesaplanırken kullanılan 𝛽 katsayısı, hassasiyet ve duyarlılık arasındaki dengeyi belirlemek için kullanılan pozitif bir sayıdır. 0 < 𝛽 < 1 aralığında bir 𝛽 seçildiğinde hassasiyete, 1 < 𝛽 < ∞ aralığında bir 𝛽 seçildiğinde ise duyarlılığa daha yüksek ağırlık verilmiş olmaktadır. 𝛽 = 1 alındığında hesaplanan F-skoru hesaplamak için kullanılan formül harmonik ortalama formülüne eşit olmaktadır ve bu şekilde hesaplanan F skoruna literatürde F1-skoru adı verilmektedir.
Literatürde makro-ortalama F-skorunu hesaplamak için iki yaygın formül kullanılmaktadır. Bunların ilkinde [190; 191] her bir sınıf için hassasiyet ve duyarlılık değerleri hesaplanmakta, daha sonra Tablo 12’deki F-skoru hesaplama formülü kullanılarak sınıfa ilişkin F-skoru elde edilmektedir. Her bir sınıfa ilişkin F-skorlarının ortalaması alınarak da makro-ortalama F-skoru elde edilmektedir. İkinci yöntemde [95] ise, Tablo 13’te belirtilen makro-ortalama hassasiyet ve makro-ortalama duyarlılık formülleri kullanılarak sınıflandırmaya ilişkin ilgili değerler hesaplanmakta ve bu değerler Tablo 13’te belirtilen makro-ortalama F-skoru formülünde yerine konularak istenilen F-skoruna ulaşılmaktadır.
Tablo 12. İkili sınıflandırma için kullanılan performans metrikleri (Tablo 11’de kullanılan notasyonlara göre) [95]
Metrik Formül Değerlendirme Odağı
Doğruluk (Accuracy)
𝑇𝑃 + 𝑇𝑁 𝑇𝑃 + 𝐹𝑁 + 𝐹𝑃 + 𝑇𝑁
Sınıflandırıcının genel verimliliği (doğru tahmin yapma seviyesi)
Hassasiyet veya Kesinlik (Precision)
𝑇𝑃 𝑇𝑃 + 𝐹𝑃
Pozitif olarak tahmin edilen etiketlerdeki doğruluk seviyesi
Duyarlılık
(Recall veya Sensitivity)
𝑇𝑃 𝑇𝑃 + 𝐹𝑁
Pozitif durumun sınıflandırıcı tarafından doğru bir şekilde tahmin edilebilme seviyesi F-skoru
(F-score)
(𝛽2+ 1)𝑇𝑃 (𝛽2+ 1)𝑇𝑃 + 𝛽2𝐹𝑁 + 𝐹𝑃
Hem hassasiyetin hem de duyarlılığın hesaba katıldığı performans seviyesi Özgüllük
(Specificity)
𝑇𝑁 𝐹𝑃 + 𝑇𝑁
Negatif durumun sınıflandırıcı tarafından doğru bir şekilde tahmin edilebilme seviyesi Eğri Altındaki Alan
𝛽, hassasiyet ve duyarlılık arasındaki dengeyi belirlemek için kullanılan pozitif bir sayıdır.
Tablo 12’de belirtilen performans metriklerine ek olarak literatürde ikili ve çoklu sınıflandırma için yaygın olarak kullanılan performans metriklerinden biri de Cohen’in kappa katsayısıdır [192]. Kappa katsayısı genellikle aynı nesneyi derecelendiren iki gözlemci arasındaki uyumu test etmek amacıyla kullanılmaktadır. Fakat ikiden çok gözlemci arasındaki uyumun ölçülmesi için de uygun bir istatistiktir. Sınıflandırma amaçlı kullanıldığında Kappa istatistiği, gerçek kategoriler ile tahmin edilen kategoriler arasındaki uyumun bir ölçütü olarak işlev görmektedir. 𝐶𝑖𝑗 ile hata matrisinde her bir hücreye düşen Tablo 13. Tablo 12’deki ölçütlerin birçok sınıf için genelleştirilmesine dayanan çok sınıflı
sınıflandırma için performans metrikleri [95]
Metrik Formül Değerlendirme Odağı
Ortalama
Bir sınıflandırıcının ortalama sınıf başına verimliliği (doğru tahmin yapma seviyesi)
Sınıf başına ortalama sınıflandırma hatası
Hassasiyetμ (Precisionμ)
∑𝑙𝑖=1𝑇𝑃𝑖
∑𝑙𝑖=1(𝑇𝑃𝑖+ 𝐹𝑃𝑖)
Tahmin edilen veri sınıfı etiketlerinin, örnek başına alınan kararların toplamından hesaplanması durumunda, gerçek sınıf etiketleriyle olan uyumu Duyarlılıkμ alınan kararların toplamından hesaplanması durumunda, sınıflandırıcının sınıf etiketlerini tanımlayabilme verimliliği
F-skoruμ (F-scoreμ)
(𝛽2+ 1)𝐻𝑎𝑠𝑠𝑎𝑠𝑖𝑦𝑒𝑡𝜇. 𝐷𝑢𝑦𝑎𝑟𝑙𝚤𝑙𝚤𝑘𝜇
𝛽2𝐻𝑎𝑠𝑠𝑎𝑠𝑖𝑦𝑒𝑡𝜇+ 𝐷𝑢𝑦𝑎𝑟𝑙𝚤𝑙𝚤𝑘𝜇
Örnek başına kararların toplamına dayalı sınıflandırıcı tarafından tahmin edilen etiketler ile verinin pozitif etiketleri arasındaki ilişki
HassasiyetM
Pozitif olarak tahmin edilen etiketlerdeki doğruluk seviyesinin sınıf başına ortalaması
Pozitif durumun sınıflandırıcı tarafından doğru bir şekilde tahmin edilebilme seviyesinin sınıf başına ortalaması tarafından tahmin edilen etiketler ile verinin pozitif etiketleri arasındaki ilişki
𝛽, hassasiyet ve duyarlılık arasındaki dengeyi belirlemek için kullanılan pozitif bir sayıdır. 𝐶𝑖, (𝑖 = 1, … , 𝑙) sınıflar; 𝑇𝑃𝑖, 𝐶𝑖 için Doğru Pozitiflerin sayısı; 𝐹𝑃𝑖, 𝐶𝑖 için Yanlış Pozitiflerin sayısı; 𝐹𝑁𝑖, 𝐶𝑖 için Yanlış Negatiflerin sayısı; 𝑇𝑁𝑖, 𝐶𝑖 için Doğru Negatiflerin sayısı; 𝜇 ve 𝑀 indisleri sırasıyla mikro ve makro ortalamalar
85 i’inci sütun toplamı gösterildiğinde, Cohen’in Kappa katsayısı Eşitlik 56 ile bulunmaktadır.
𝐶𝑖. = ∑ 𝐶𝑖𝑗
Eşitlik 56’da 𝑃𝑜, gerçekte olan ile tahmin edilen kategoriler arasındaki uyumun oranını, 𝑃𝑒 ise şansa bağlı uyum oranını göstermektedir. Bu değerler Eşitlik 57 ve Eşitlik 58
Kappa katsayısı -1 ile +1 arasında değişiklik göstermektedir. -1, negatif tam uyumu;
0, uyumsuzluğu; +1 ise pozitif tam uyumu belirtmektedir.