Destek vektör makineleri için uzaklık tabanlı eğitim örneklerinin azaltılması

Bu çalışmada ikinci olarak DVM'nin eğitimi aşamasında, eğitim kümesi içerisindeki belirleyici örneklerin belirlenebilmesi ve dolayısıyla eğitim kümesinin azaltılması için uzaklık ölçümleri olan MD ve OD ölçümlerine dayanan iki metot daha kullanılmıştır. Akış olarak gerçekleştirilen iki yöntemde aynıdır. Aradaki tek fark gerçekleştirilen yöntem içerisindeki uzaklık ölçüm yöntemleridir. Oluşturulan sistemin akış diyagramı şekil 4.10'da verilmiştir.

Şekil 4.10. Mesafe tabanlı veri azaltma algoritması akış diyagramı 1. Sınıf için xi eğitim örneği ile

2. sınıfa ait tüm eğitim örneklerinin uzaklık ölçümlerinin hesaplanması

Elde edilen uzaklık ölçümlerine göre 2. sınıftan xi örneğine en

yakın örneğin belirlenmesi

2. sınıftan xi örneğine en yakın örneğin 2. sınıf için yeni oluşturulan eğitim kümesine eklenmesi

2. Sınıf için xj eğitim örneği ile 1. sınıfa ait tüm eğitim örneklerinin

uzaklık ölçümlerinin hesaplanması

Elde edilen uzaklık ölçümlerine göre 1. sınıftan xj örneğine en

yakın örneğin belirlenmesi

1. sınıftan xj örneğine en yakın örneğin 1. sınıf için yeni oluşturulan eğitim kümesine eklenmesi

MD genel olarak OD'nin genelleştirilmiş bir versiyonudur. MD ölçümü, OD ölçümünden tanımı içerisinden gelen kovaryans matrisi nedeniyle farklıdır. Bu farklılık sayesinde değişkenler arasındaki ilişkide hesaba katılmıştır. Yani iki nokta arasındaki mesafe hesabı göz önüne alındığı zaman değişkenler arasındaki korelasyon, başka bir değişle problem içerisinde sunulan farklı boyutlar da hesaba katılmış olur (Torra ve Narukawa, 2012).

Gerçekleştirilen yöntemlerde akış diyagramında görülen uzaklık ölçümleri için MD ve OD uzaklık ölçümleri kullanılmış ve iki sınıf arasındaki en yakın örnekler bulunmuştur. Dolayısıyla en yakın örnekler dışında kalan örnekler elenmiştir.

Şekil 4.11'de görüldüğü gibi gerçekleştirilen uzaklık tabanlı eğitim verisi azaltma metotlarında MD ve OD uzaklık ölçümleri ile karşıt sınıftaki en yakın eğitim örnekleri bulunarak yeni oluşturulan indirgenmiş eğitim kümesine eklenmiştir. Bu yöntem iki sınıftaki tüm eğitim örneklerine uygulanarak DVM'nin eğitimi bu yeni eğitim kümesi ile gerçekleştirilmiştir.

Şekil 4.11. Mesafe tabanlı veri azaltma

4.2.3. Eğitim kümesi indirgeme yöntemleri ile destek vektör makineleri tabanlı kemik yaşı değerlendirme sistemi

Bu bölümde daha önce daha önce geliştirilen kemik yaşı değerlendirme sistemi üzerine bahsetmiş olduğumuz TBA, MD ve OD tabanlı üç farklı eğitim verisi indirgeme yöntemleri uygulanmış ve sonuçları analiz edilmiştir. Sistemin sınıflandırılması

a Sınıf 1 Sınıf 2 b Sınıf 1 Sınıf 2 c Sınıf 1 Sınıf 2 d Sınıf 1 Sınıf 2 Optimum Ayırıcı Hiperdüzlem

aşamasında daha önce değinmiş olduğumuz DVM kullanılmıştır. DVM eğitimi aşamasında yine daha önce en iyi sonucu vermiş olan lineer çekirdek fonksiyonu kullanılmıştır. Yine çoklu sınıflandırma işleminde bire karşı bir yaklaşımı kullanılarak 0-6 yaş arası tüm yaşlara göre sınıflandırma yapılmıştır. Ayrıca yine sınıflandırma işlemi aşamasında 10 katlı çapraz geçerlilik örnekleme yöntemi kullanılmıştır. 0-6 yaş arası çocuklarda kemik yaşı değerlendirme sistemi üzerinde önerilen yöntemlerin, sınıflandırma performansı ve yürütme zamanı bakımından performansları çizelge 4.7'de verilmiştir.

Çizelge 4.7. Önerilen yöntemlere göre sınıflandırma sonuçları

DVM TBA Tabanlı DVM MD Tabanlı DVM OD Tabanlı DVM Kemik Yaşı

SD %72,82 %72,82 %72,82 %59,49

YZ 8,5099 6,1604 1,9266 0,9744

EY %100 %84,55 %38,86 %20,34

*SD: Sınıflandırma Doğruluğu, YZ: Yürütme Zamanı (saniye), EY: Eğitim için kullanılan örneklerin yüzdesi

Çizelge 4.7'de de görüldüğü gibi önerilen tüm yöntemler yürütme zamanı açısından başarılı bulunmuştur. TBA ve MD tabanlı eğitim verisi indirgeme yöntemleri sınıflandırma doğruluğu bakımından geleneksel DVM ile aynı sonucu vermiştir. OD tabanlı eğitim verisi indirgeme yöntemi ise sistemin sınıflandırma doğruluğunu oldukça düşürmüştür. Genel olarak sonuçlara baktığımız zaman MD tabanlı eğitim verisi indirgeme yöntemi hem yürütme zamanı, hem de sınıflandırma doğruluğu bakımından daha etkili bulunmuştur.

4.3. 0-6 Yaş Arası Kemik Yaşı Değerlendirmesinde Parçacık Sürü Optimizasyonu Kullanarak Destek Vektör Makinelerinin Eğitimi

Tez çalışmasının bu bölümünde daha önce DVM ile oluşturduğumuz kemik yaşı

değerlendirme sistemin daha iyi sonuç verebilmesi için PSO ile DVM'nin eğitimi için yeni bir yöntem önerilmiştir. Önerilen yöntem ile oluşturulan sistemin akış diyagramı şekil 4.12'de verilmiştir.

Yapılan bu çalışmadaki DVM'nin eğitim örnekleri arasından belirlediği destek vektörler yerine, PSO algoritması yardımıyla her bir sınıfa ait yeni destek vektörler oluşturarak sistem performansını arttırmak amaçlanmıştır. Daha öncede DVM teorisinde bahsedildiği gibi optimum ayırıcı hiperdüzlem, Lagrange çarpanları

yardımıyla bulunan ve destek vektörler olarak adlandırılan, bu hiperdüzleme yakın olan örnekler arasından seçilen eğitim örnekleri yardımıyla şekil 4.13 a'da görüldüğü gibi oluşturulmaktadır. Ancak bu ayırma işlemi başarılı görünse bile sınıflandırma işlemi eğitim verileri arasından seçilen destek vektörleri ile sınırlandırılmıştır. Ayrıca eğitim verilerinin fazla olması ve gürültü içermesi DVM'nin performansınıda önemli ölçüde etkilemektedir. Maksimum ayırıcı hiperdüzlemin oluşturulması esnasında eğitim veri seti içrisinde gürültü içeren örneklerin varlığı bu etkilenmenin en büyük nedenidir. Bu sınırlandırmayı ve dezavantajı ortadan kaldırmak için şekil 4.13 b'de görüldüğü gibi her bir sınıfa ait yeni birere örnek PSO algoritması yardımıyla tanımlanmış ve bu örnekleri destek vektörler olarak kullanan PSO-DVM yöntemi geliştirilmiştir.

Şekil 4.12. Önerilen yöntem için akış diyagramı Röntgen Görüntüleri

Görüntü İşleme Prosedürü

Gürültünün Azaltılması Parlaklık Normalizasyonu Arka Planın Çıkarılması Kontrast İyileştirme Filtreleme

İlgili Alanın Seçilmesi Kenar Belirleme Morfolojik İşlemler Segmentasyon

Özellik Çıkarımı

Karpal Kemikler ile Radiyusun Distal Epifiz Kemiğine Ait Morfolojik Özellikler

Parçacık Sürü Optimizasyonu

İlgili Sınıfa Ait Tüm Eğitim Örneklerini Temsil Edebilecek Yeni Bir Eğitim Örneğinin Oluşturulması

Sınıflandırma İşlemi

Parçacık Sürü Optimizasyonu ile Oluşturulan Örnek Çiftine Dayanan Destek Vektör Makineleri ile Kemik Yaşı Tahmini

Şekil 4.13. (a) Destek vektörleri ve optimum ayırıcı hiperdüzlem (b) Yeni oluşturulan destek vektörleri ve optimum ayırıcı hiperdüzlem

Bu yeni yöntemde PSO algoritmasının temel olarak kullanılmasının iki başlıca nedeni vardır. Bunlardan ilki PSO algoritmasının, sürekli fonksiyonlarda rahatlıkla kullanılabilmesi ve hızlı yakınsama yapabilmesidir. İkincisi ise PSO algoritmasının parçacıkları ilk olarak rastgele bir şekilde arama uzayında dağıtması ve sonrasında uygunluk fonksiyonundan gelen sonuçlara göre belirlediği sürüdeki en iyi(gbest) ve parçacığın en iyi pozisyonu(pbest) ile optimum sonucu bulmayı hedeflemesidir. Bu çalışmada PSO algoritması, bahsetmiş olduğumuz bu iki avantajından yararlanarak, ilgili sınıfa ait eğitim seti içersindeki örnekleri en iyi şekilde temsil edebilecek yeni bir örnek oluşturmak amacıyla kullanılmıştır.

DVM ikili bir sınıflandırma yöntemidir. Dolayısıyla ilk olarak karşılaştıracağımız bu iki sınıf için de ayrı ayrı sürü oluşturulmuştur. Veri setimiz normalize edildiği için bu sürüler oluşturulurken arama uzayı [0,1] değerleri arasında belirlenmiştir. Böylelikle arama uzayı sınırlandırılmadan geniş bir uzayda arama yapılması sağlanmıştır. Arama uzayı içerisinde iki ayrı sınıf için sürülerdeki parçacıkların ilk değerleri rastgele olarak belirlenmiştir. Her iki sürü içinde eşit sayıda parçacık sayısı ayarlanmıştır. İki sürüden (sınıftan) de aynı pozisyondaki parçacıklar seçilip uygunluk fonksiyonuna gönderilmiştir. Uygunluk fonksiyonuna gelen bu iki örnek destek vektör olarak belirlenmiş ve eğitim verileri üzerinde test işlemi yaptıktan sonra oluşan hata oranı hesaplanmıştır. İlk iterasyonda her parçacık çifti için uygunluk fonksiyonu çalıştırılıp sonuçlar alındıktan sonra pbest'ler belirlenmiştir. Her iki sürü için iki ayrı pbest değerleri tutulmuştur. Daha sonra uygunluk değerleri belirlenen parçacık

Destek Vektörler Optimum Ayırıcı Hiperdüzlem Yeni Oluşturulan Örnekler (Destek Vektörler) Optimum Ayırıcı Hiperdüzlem (a) (b)

çiftleri arasında en az hata oranı veren parçacık çifti seçilip kendi sürüsü içerisinde gbest olarak belirlenmiştir. Bu işlemler den sonra PSO algoritması ile yeni parçacık değerleri hesaplaması yapılabilmesi için hız güncelleme işlemine geçilmiştir. Her sürü için kendi içinde hız güncelleme işlemi yapılmıştır. Belirlenen gbest ve pbest değerlerine göre yeni parçacıkların pozisyon değerleri belirlenmiştir. Yeni belirlenen parçacıkların uygunluk değerleri hesaplanmıştır. Eğer hesaplanan yeni parçacık pbest'inden iyi ise güncelleme işlemi yapılmış, değil ise pbest değeri değiştirilmemiştir. Aynı şekilde yeni parçacıklar içinde uygunluk değeri gbest den iyi olan parçacık var ise gbest güncellenmiştir. PSO algoritması ile yapılan bu işlemlere iterasyon sayısı kadar devam edilmiştir. Algoritmanın akış şeması şekil 4.14'de verilmiştir.

Önerilen yöntem 20 defa çalıştırılarak toplamda 20 farklı parçacık çifti oluşturulmaktadır. Sonrasında en az hata oranına sahip parçacık çifti DVM mimarisinin oluşturulması için seçilmektedir. Eğer birden fazla düşük hata oranına sahip parçacık çifti varsa Öklid mesafesine göre en uzak parçacık çifti sınıflandırıcının eğitimi için kullanılmaktadır. Böylelikle PSO algoritması yardımıyla elde edilen parçacıklar aynı zamanda destek vektörler olarak kullanılarak sistemin eğitimi yapılmaktadır.

Geliştirilen parçacık sürü optimizasyonlu destek vektör makineleri (PSO-DVM) kemik yaşı veri seti üzerine uygulanmış ve sonuçları analiz edilmiştir. Yeni örneklerin ve destek vektörlerin belirlenmesi için kullanılan PSO algoritmasında, tüm deneylerde popülasyon sayısı (NP) iki sınıf içinde 50 olarak belirlenmiştir. Kemik yaşı değerlendirmesinde toplamda daha önce belirlemiş olduğumuz 6 nitelik kullanıldığı için geliştirilen yöntem altı boyutlu bir uzayda ele alınmıştır. Toplamda iterasyon sayısı 200 olarak belirlenmiştir. Sürülerdeki parçacık değerleri 0 ile 1 arasında atanmıştır. Algoritmanın sonlandırılması için kriter maksimum iterasyon sayısı olarak belirlenmiştir. Hızlandırma katsayıları olan c1 ve c2 değerleri algoritma içersinde 2

olarak kullanılmıştır. PSO algoritması içerişinde kullanılan atalet ağırlığı eşitlik 4.9 yardımıyla belirlenmiştir.

w=((max_it-iter)/max_it) (4.9)

Burada kullanılan max_it, maksimum iterasyon sayısını, iter ise hali hazırdaki iterasyon sayısını ifade etmektedir.

Şekil 4.14. PSO algoritması ile destek vektörlerin oluşturulması

DVM ile sınıflandırma aşamasında 10 katlı çapraz geçerlilik örnekleme yöntemi kullanılmıştır. Daha önce olduğu gibi yine çoklu sınıflandırma için bire karşı bir sınıflandırma yaklaşımı kullanılmıştır. Çekirdek fonksiyonu olarak sistemimizin oluştururken en iyi başarıyı elde ettiğimiz lineer çekirdek fonksiyonu tercih edilmiştir.

Sistemimizin başarısını değerlendirmek için çizelge 4.8'de görüldüğü gibi sınıflandırma doğruluğunun yanında belirlilik ve duyarlılık analizleri de yapılmıştır. Ayrıca sistemin oluşturulması aşamasında değerlendirilen diğer sınıflandırıcılarında

Parametrelere İlk Değeri Ata

Birinci Sınıf İçin Sürüleri Oluştur

Sürüler İçerisinden Aynı İndisli Parçacıkları Seç

İkinci Sınıf İçin Sürüleri Oluştur

Her Bir Parçacık Çifti İçin Uygunluk Fonksiyonunu Hesapla

Parçacıkların Hızını ve Pozisyonunu Güncelle

Sürüler İçin Sırasıyla gbest ve pbest değerlerini güncelle

Sonlandırma Kriteri Sağlandımı?

Evet En İyi Parçacıkları Tut

belirlilik, duyarlılık ve sınıflandırma doğruluğu sonuçları da karşılaştırma yapılabilmesi amacıyla bu çizelgede verilmiştir.

Çizelge 4.8. Sınıflandırıcı performansları

Yöntemler Belirlilik % Duyarlılık % Sınıflandırma Doğruluğu % Önerilen Yöntem (PSO-DVM) 94,94 75,95 74,87

DVM 94,52 73,69 72,82

NB 93,71 70,24 68,21

C4.5 93,38 68,10 67,18

kNN 94,00 71,67 70,26

Çizelge 4.8'de görüldüğü gibi önerilen PSO-DVM algoritması %74,87 sınıflandırma doğruluğu ile diğer sınıflandırıcılardan daha başarılı bulunmuştur. Yine belirlilik ve duyarlılık oranları incelendiği zaman PSO-DVM yöntemi diğer sınıflandırıcılardan başarılı bulunmuştur.

İncelenen toplam 195 vakanın kemik yaşı ölçüm yöntemlerinin tutarlılık sonuçları Çizelge 4.9. da gösterilmiştir. Bu iki ölçüm yöntemi % 90,76 oranında tutarlı olarak kemik yaşı ölçmede güvenilir sonuç vermektedir. Ölçüm değerleri arasında % 9,23 oranında ise uyum göstermemektedir. Ölçüm değerleri arasında % 90,76’lık bir uyum yapılan Kappa testine göre de istatistiksel olarak anlamlı bulunmuştur (k = 0,761, P< 0,000).

Çizelge 4.9. DVM * PSO-DVM kemik yaşı ölçüm yöntemlerinin tutarlılık sonuçları

PSO-DVM Toplam

0 1

DVM 0 42 11 53

1 7 135 142

Toplam 49 146 195

Çizelge 4.10'da PSO-DVM ve DVM yöntemlerine ait Cohen's kappa (κ) katsayısı analizinin simetrik ölçüm tablosu sunulmuştur. Cohen's kappa (κ) katsayısı iki test arasında tutarlılıkları ölçmek için kullanılan nonparametrik bir istatistiksel yöntemdir. Kappa katsayısı 0 ile 1 arasında değişmektedir. Kappa değeri 1’e yaklaştıkça iki ölçüm aracı arasında uyum artmakta, 0’a yaklaştıkça düşmektedir. Bizim analiz sonuçlarımızda bu değer 0,761 olarak bulunmuştur. Ayrıca Çizelge 4.8’de görüldüğü gibi PSO-DVM’ nin doğruluğu (% 74,87), DVM yönteminin doğruluğundan

( % 72,82) daha fazladır. Dolayısıyla PSO-DVM yöntemi kemik yaşı tespitinde DVM yönteminden daha doğru sonuç vermektedir. Kappa testine göre de yapılan analiz sonucunda bu iki testin sonuçlarının birbirine uyumluluğu istatistiksel olarak da gösterilmiştir ( k = 0,761, P<0,000).

Çizelge 4.10. Simetrik ölçüm tablosu

Value Approx. Sig.

Uyuşma Ölçümü Kappa ,761 ,000

N adet geçerli olgu 195

Şekil 4.15'de önerilen PSO-DVM yöntemine bir örnek verilmiştir. Bu örnek iki boyutlu uzayda yani iki nitelik kullanılarak gerçekleştirilmektedir.

Şekil 4.15. (a) DVM kullanılarak 0-1 ile 1-2 yaş arası çocuklara ait bir sınıflandırma örneği (b) PSO- DVM kullanılarak 0-1 ile 1-2 yaş arası çocuklara ait bir sınıflandırma örneği

Şekil 4.15(a)'da DVM kullanılarak iki boyutlu uzayda 0-1 ile 1-2 yaşlarında çocuklara ait kemik yaşı sınıflandırma örneği verilmiştir. Burada da görülebileceği gibi 0-1 yaş arası çocuklara ait 4 test örneği doğru olarak sınıflandırılmıştır. Fakat 1-2 yaş için doğru sınıflandırılan örnek sayısı 3'tür. Yani 1 örnek 0-1 yaş olarak yanlış sınıflandırılmıştır. Şekil 4.15(b)'de aynı örneklerin PSO-DVM ile sınıflandırılması verilmiştir. Şekilde de görüldüğü gibi yalnızca 2 eğitim örneği mevcuttur. Bu örnekler PSO tarafından belirlenen örneklerdir. Sistem bu iki örneğe göre ayırıcı düzlemi belirlemektedir. Geliştirilen bu yöntemde görüldüğü gibi her iki sınıfa ait örneklerde doğru şekilde sınıflandırılmıştır.