SINIFLAMA MODELLERİNİN PERFORMANSLARININ DEĞERLENDİRİLMESİ VERİ SETİ ÜZERİNDE UYGULAMA

Hülya BİNOKAY& Yaşar SERTDEMİR

Amaç: Karar ağacı Random Forest ve Destek Vektör Makineleri

yöntemleri ile analiz edilen 2 veri setinde üç yöntemin tanı ile ilgili performanslarının değerlendirilmesidir.

Yöntem: Veriler %70 eğitim ve %30 test veri setleri olarak ikiye

ayrılmıştır. Eğitim veri setine Karar Ağacı, Random Forest ve Destek Vektör Makineleri yöntemleri uygulanmış, test seti için doğruluk, eğri altında kalan alan, duyarlılık, seçicilik değerleri 1000 kez tekrar edilmiştir. Analizler R 3.3.3 ile gerçekleştirilmiştir.

Karar ağaçları: Karar Ağaçları, sınıflama amacıyla, eğitim veri setinden yararlanarak karar kurallarını öğrenerek yeni veri setlerinde tahmin yapmaktadır.

Kök düğümden başlayarak eğitim veri setini, açıklayıcı değişkenler üzerinden bölünme kriteri ile alt gruplara ayırır. Bölünme kriteri olarak bilgi kazancı kullanılır. Karar ağaçları aşırı uyumu önlemek için budama işlemi gerçekleştirir. Morgan ve Sonquist tarafından 1970’li yılların başlarında kullanılan AID(Automatic Interaction Detector) karar ağacı ilk algoritma ve yazılımdır.



(Arş. Gör.); Çukurova Üniversitesi Tıp Fakültesi Biyoistatistik Anabilim Dalı, Adana 

Karar ağacı yapısı

Topluluk yöntemleri: Son yıllarda karar ağacı temelli olan ve çok sayıda karar ağacı ile oluşturulan topluluk (ensemble) yöntemleri önem kazanmıştır. Topluluk yöntemlerinde oluşturulan her ağaç sınıflama başarı yönünden değerlendirilmektedir ve random forest bütün ağaçların değerlendirilmelerini göz önüne alarak sınıflama için tahmin yapmaktadır. Topluluk yöntemleri içerisinde Random Forest, Bagging, Boosting gibi yöntemler yer almaktadır. Destek Vektör Makineleri: Vladimir Vapnik ve Corinna Cortes tarafından 1990’lı yıllarda geliştirilmiş bir sınıflandırma yöntemidir. DVM yöntemi, bağımlı değişken binary(iki değerli) olduğunda, veri setini iki sınıfa ayıran uygun bir hiper düzlem bulmak için geliştirilmiş bir sınıflandırma yöntemidir. Bu hiper düzlem verileri ayıran farklı sınıflardaki en yakın veri noktaları arasındaki mesafeyi (marjin) maksimize eder.

Kullanılan Performans ölçütleri:

Doğruluk: Doğru sınıflandırılmış örnek sayısının toplam örnek sayısına oranıdır.

F-ölçütü: Duyarlılık ve Pozitif kestirim değerinin harmonik ortalaması olarak tanımlanmaktadır.

Eğri altında kalan alan: Bir testin ayırt edici gücünün ne kadar yüksek olduğunu tahmin etmemize yardımcı olur.

Duyarlılık: Gerçekte hasta olan bireyler içerisinden test sonucu hasta olanların oranıdır. Doğru pozitif sayısının(DP), DP+YN sayısına oranına eşittir.

Seçicilik: Gerçekte sağlıklı olan bireyler içerisinden, test sonucu sağlıklı olanların oranıdır. Doğru negatif sayısının(DN), DN+YP sayısına oranına eşittir.

Pozitif kestirim değeri: test sonucuna göre hasta olanlar içerisinden, gerçekte hasta olanların oranıdır.

Negatif kestirim değeri: test sonucuna göre sağlıklı olanlar içerisinden, gerçekte sağlıklı olanların oranıdır.

Bulgular:

SPECT HEART:

Açıklayıcı değişkenlerin kategorik olduğu durum; Tomografi görüntülerinin sonuçlarından elde edilen bir veri setidir. Toplamda 23 değişken bulunmaktadır. Bu değişkenlerden 22 tanesi açıklayıcı değişken ve bu açıklayıcı değişkenlerin hepsi kategorik yapıdadır. 1 tanesi ise yanıt değişkendir. Yanıt değişken iki değerlidir. 267 gözlemden oluşmaktadır.

Specth heart veri setine göre Doğruluğun RF yönteminde yüksek, EAKA’nın RF yönteminde yüksek ve F-ölçütüne göre 3 yöntemin benzer değerlere sahip olduğu gözlenmiştir.

BREAST CANCER WİSCONSİN (DİAGNOSTİC)

Veri seti bir göğüs kitlesinin ince iğne aspiratının görüntüsünden elde edilen özellikleri açıklamaktadır. Toplamda 9 değişken bulunmaktadır. Bu değişkenlerden 8 tanesi açıklayıcı değişken ve bu açıklayıcı değişkenlerin hepsi sürekli 1 tanesi ise yanıt değişkendir. Yanıt değişken iki değerlidir. 699 gözlemden oluşmaktadır.

Doğruluğun RF yönteminde, EAKA’nın KA ve RF yönteminde ve F- ölçütünün RF yönteminde daha yüksek olduğu gözlenmiştir.

INDIAN LIVER PATIENT

Veri seti karaciğer hastalığı olan ve olmayan gruplar için oluşturulmuştur. Toplamda 11 değişken bulunmaktadır. Bu değişkenlerden 9 tanesi sürekli değişken 1 tanesi ise kategorik

değişkendir. 1 tanesi ise yanıt değişkendir. Yanıt değişken iki değerlidir. 579 gözlemden oluşmaktadır.

Doğruluğun 3 yöntem için benzer olduğu, EAKA’nın RF yönteminde yüksek olduğu ve F-ölçütünün RF yönteminde yüksek olduğu gözlenmiştir.

Sonuç: Genel olarak 3 yöntemin, farklı durumlarda(örnek büyüklüğü,

açıklayıcı değişkenlerin sürekli ya da kategorik olması) elde edilen performans ölçütlerinin farklı olduğu gözlenmiştir. RF yönteminin özellikle diğer yöntemlere göre yüksek olduğu gözlenmiştir. Bu durum ise tek bir ağaç yerine çok fazla ağaç ile analiz yapmasından kaynaklı daha yüksektir.

Kaynakça:

1.Uemura H, Ghaibeh A.A, Kamano KS, Yamaguchi M, Bahari T, Ishizu M, Moriguchi H, Arisawa K. Systemic inflammation and family history in relation to the prevalence of type 2 diabetes based on an alternating decision tree. Scientific Reports,2017; 1-9

2.Sharma S, Agrawal J , Sharma S. Classification Through Machine Learning Technique: C4.5 Algorithm based on Various Entropies. International Journal of Computer Applications,2013; 82(16):20-27

3.Ma L, Fan S.Cure-Smote algorithm and Hybrid Algorithm for Feature Selection and Parameter Optimization Based on Random Forest. BMC Bioinformatics,2017; 18(169): 1-18

4.Akman M, Genç Y, Ankaralı H. Random Forest Yöntemi ve Sağlık Alanında Bir Uygulama. Türkiye Klinikleri J. Biostat, 2011;3(1):36-48

5.Quinlan J.R. Bagging,Boosting, and C4.5, 2006

6.Bui DT, Tuan TA, Klempe H Pradhan B, Revhaug I. Spatial Prediction Models for Shallow Landslide Hazards: A Comparative Assessment of the Efficacy of Support Vector Machines, Artificial

Neural Networks, Kernel Logistic Regression, and Logistic Model Tree. Springer Link, 2016; 13(2): 368-371

7.Ala’raj M , Abbod MF. Classifiers Consensus System Approach for Credit Scoring. Knowledge-Based Systems,2016;104:89-105

8.Satı NU. A Binary Classification Approach Based on Support Vector Machines via Polyhedral Conic Functions. CBÜ Fen Bilimleri Dergisi,2016;12(2):135-149

9.Lantz B. Machine Learning with R.2016

10.Aydoğan Ü. Destek Vektör Makinalarında Kullanılan Çekirdek Fonksiyonların Sınıflama Performanslarının Karşılaştırılması. Yüksek Lisans Tezi, Hacettepe Üniversitesi Sağlık Bilimleri Enstitüsü, Ankara, 2010

11.Khondoker M, Dobson R Skirrow C, Simmons A, Stahl D. A Comparison of Machine Learning Methods for Classification Using Simulation with Multiple Real Data Examples from Mental Health Studies. Statistical Methods in Medical Research,2016;25(5):1804-1823

12.Zhang Z. Naïve Bayes classification in R. Annals of Translational Medicine, 2016; 4(12):241

13.Ashari A , Paryudi I, Tjoa AM. Performance Comparison between Naïve Bayes, Decision Tree and k-Nearest Neighbor in Searching Alternative Design in an Energy Simulation Tool. International Journal of Advanced Computer Science and Applications, 2013;4(11):33-39

14.James G, Witten D, Hastie T, Tibshirani R. An Introduction to Statistical Learning with Applications in R.2013

15.Gonçalves EC, Silva PN, Silveira CS, Carneiro G, Domingues AB, Moss A, Pritchard T, Plastino A, RBV Azeredo. Prediction of Carbonate Rock Type from NMR Responses Using Data Mining Techniques.2017;140:93-101

16.Alpar R. Çok Değişkenli İstatistiksel Yöntemler. Ankara: Detay Yayıncılık, 2013

17.Ruske S, Topping DO, Foot VE, Kaye PH, Stanley WR, Crawford I,Morse AP, Gallagher MW. Evaluation of Machine Learning Algorithms for Classification of Primary Biological Aerosol Using a New UV-LIF

KONJENİTAL DİYAFRAGMA HERNİSİ VE ANESTEZİ