4. BULGULAR
4.2 Eğitim ve Test Seti-II ile Sınıflandırma Sonuçları
4.2.3 Uzman hekim görüşü
Bölüm 3.8.5’de anlatıldığı üzere bu çalışmada eğitilen ve test edilen sınıflandırıcıların sınıflandırma başarısını hekim teşhisi ile karşılaştırmak, sınıflandırıcıların kullanılabilirliğini test etmek amacı ile Bölüm 3.6.2’de detayları verilen 30 örnek (yüz görüntüsü) slayt şeklinde tek tek uzman iki hekime gösterilerek, sadece yüz görüntülerinden sendromlu ve sağlıklı gruba tanı koymaları beklenmiştir. Uzman hekimlerin test görüntülerine göre, sendromlara ve sağlıklı gruba koydukları doğru tanı sayıları çizelge 4.14 ve 4.15’te verilmiştir.
Çizelge 4.14 Test örnekleri için uzman hekim I ‘in doğru tanı dağılımı
Gruplar Görüntü Sayısı Doğru Tanı Sayısı
Sağlıklı 8 6
Frajil X. 8 5
Hurler 5 1
Prader-Willi 2 0
Down 4 2
Wolf Hirschorn 3 0
Toplam 30 14
Çizelge 4.15 Test örnekleri için uzman hekim II için doğru tanı dağılımı
Gruplar Görüntü Sayısı Doğru Tanı Sayısı
Sağlıklı 8 1
Frajil X. 8 6
Hurler 5 2
Prader-Willi 2 0
Down 4 3
Wolf Hirschhorn 3 0
Toplam 30 12
Çizelge 4.16’da hekimlerin her grup için verdiği doğru cevapların toplamı ve toplam doğruluk oranları verilmiştir. Doğruluk oranlarının sonucuna göre hekimlerin tanı koymada en zorlandıkları gruptan en az zorlandıkları gruba göre sıralamaları yapılmıştır (Çizelge 4.16). Sonuçlara göre hekimlerin tanı koymada en zorlandıkları gruplar Wolf Hirschhorn ve Prader-Willi sendromları olmuştur. Hurler sendromu üçüncü sırada yer almaktadır, sonra sağlıklı grubun teşhis zorluğu bulunmaktadır, daha sonraki sıralarda Down ve Frajil X sendromları bulunmaktadır.
Doğruluk oranlarına bakılacak olursa hekimler görüntüler üzerinde tanı koymada zorlanmışlardır. Çünkü hekimler dismorfik hastalıkların ön tanısını sadece yüz
görüntülerine bakarak yapmamaktadırlar. Hastanın diğer bulgularını da değerlendirerek, öyküsünü dinleyip, eğer gerekliyse birtakım araştırmalar yaptıktan sonra tanıyı koymaktadırlar. Test veri tabanındaki görüntülerde ırk ayrımının olmaması (görüntü veri tabanı oluşturulurken ırk ayrımı yapılmamıştır) ve bazı görüntülerdeki çözünürlüklerin kötü olması hekimlerin yüz görüntülerinden tanı koymada zorlanmalarına sebep olmuştur.
Çizelge 4.16 Uzman hekimler için gruplara göre toplam doğru tanısı sayısı ve doğruluk değerleri
Gruplar Toplam Doğru Tanı Sayısı
(Hekim I+Hekim II)
Doğruluk (%)
Wolf Hirschhorn Prader-Willi Hurler Sağlıklı Down
0 0 3 7 5
0 0 30 44 63
Frajil X. 11 69
Toplam 26 43
4.2.4 YSA tabanlı hiyeraşik karar ağacı ile elde edilen sonuçlar
YSA tabanlı hiyerarşik karar ağacı yapısının her aşamasında farklı bir grubu sınıflandıran ayrı bir YSA bulunmaktadır. Bu YSA’lar detaylı bir şekilde Bölüm 3.8.3.1’de anlatılmıştır.
YSA tabanlı hiyerarşik karar ağacının test sonuçlarına geçmeden önce bu yapıyı oluşturmak için kullanılan YSA'ların eğitim ve test sonuçları verilecektir. Karar ağacının sınıflandırma başarısı algoritmayı oluşturan altı farklı YSA'nın eğitiminin en iyi şekilde yapılmış olmasına bağlıdır. En iyi sınıflandırma yapan YSA'ların belirlenmesi için, eğitiminin ve testinin yapılması, sınıflandırma başarısının her YSA için değerlendirilmesi gerekmektedir. Bölüm 3.6.2'de anlatılan 130 örnek (birini
dışarıda bırak yöntemiyle) herbir ağın parametrelerinin optimizasyonunu gerçekleştirmek için kullanılmıştır. Bütün aşamalardaki YSA’larda en iyi performansı gösteren ağı bulmak için yine bir çok ağ parametresi denenmiştir. Bunun sonucunda en iyi performansı veren ağlar kaydedilmiştir. Ağların performansları duyarlılık, özgüllük ve doğruluk oranları hesaplanarak değerlendirilmiştir. Bu değerleri hesaplamak için hata tablosunun oluşturulması gerekmektedir (Çizelge 4.17).
Çizelge 4.17 YSA tabanlı hiyerarşik karar ağacı yapısındaki her aşamadaki YSA için hata tablosu
Hasta Hasta Değil
Aşama 1
Test Pozitif Test Negatif
97 4
3 26
Aşama 2
Test Pozitif Test Negatif
38 2
2
88
Aşama 3 Test Pozitif
Test Negatif
20 5
4 101
Aşama 4
Test Pozitif Test Negatif
9 1
8 112
Aşama 5
Test Pozitif Test Negatif
15 1
4 110
Aşama 6 Test Pozitif
Test Negatif
8 2
2 118
Çizelge 4.17’de YSA tabanlı hiyerarşik karar ağacında bulunan aşamalardaki YSA'ların her birinin hata tabloları verilmiştir. Bu tablodaki değerler kullanılarak elde edilen performans değerleri ise Çizelge 4.18’de verilmiştir.
Çizelge 4.18 YSA tabanlı hiyerarşik karar ağacındaki YSA yapılarının performansı Duyarlılık Özgüllük Doğruluk(%)
Aşama 1 için YSA 0,96 0,89 95
Aşama 2 için YSA 0,95 0,98 97
Aşama 3 için YSA 0,80 0,96 93
Aşama 4 için YSA Aşama 5 için YSA Aşama 6 için YSA
0,90 0,93 0,80
0,93 0,96 0,98
93 96 97
Çizelge 4.18’den de görüleceği üzere karar ağacı yapısındaki aşamalarda kullanılan YSA’ların duyarlılık ve özgüllük değerlerinin 1'e yakın, doğruluk oranlarının da
%90'nın üzerinde bulunması bu ağların kendileri için tanımlanmış grupları yüksek doğrulukta sınıflandırdıklarını ve YSA tabanlı hiyerarşik karar ağacı algoritmasında kullanılabilirliğini göstermektedir.
4.2.4.1 YSA tabanlı hiyerarşik karar ağacının testleri sonucunda elde edilen sonuçlar
YSA tabanlı hiyerarşik karar ağacında kullanılacak YSA'ların belirlenmesi ve algoritmanın tasarlanması sonrasında bu sınıflandırıcı, sistemin tasarımında (aşamalardaki YSA'larda) hiç kullanılmayan bölüm 3.6.2’de anlatılan 30 örnek ile test edilmiştir.
YSA tabanlı karar ağacı yapısındaki hiyerarşik dizilimin (aşamaların) algoritmadaki sıralamalarının değişmesinin sınıflandırıcının başarısını değiştirip değiştirmediğini görebilmek için test işlemi üç farklı şekilde yapılmıştır. Birinci testte elde edilen sonuçlar, karar ağacı yapısındaki aşamaların, sendrom tiplerinin görülme sıklıklarının azdan çoğa olacak şekilde dizilmesiyle elde edilen test sonuçlarıdır. İkinci testte elde edilen sonuçlar ise, karar ağacı yapısındaki aşamaların, sendrom tiplerinin görülme
sıklıklarının çoktan aza olacak şekilde dizilmesiyle elde edilen test sonuçlarıdır. Üçüncü testte elde edilen sonuçlar ise karar ağacı yapısındaki aşamaların, çalışma kapsamında, iki farklı uzman hekime gösterilerek elde edilen sonuçlar neticesinde, Çizelge 4.16'ya göre belirlenen teşhis koymada en zorlandıkları sendromdan en az zorlandıkları sendrom tiplerine göre dizilmesi sonucunda elde edilen test sonuçlarıdır. Çizelge 4.19'da sendrom tiplerinin görülme sıklıkları ve sıralamaları gösterilmektedir.
Çizelge 4.19 Sendrom tiplerinin görülme sıklıklarına göre sıralamaları
Gruplar Görülme Sıklığı Hurler
Wolf Hirschhorn Prader-Willi Frajil X Down
100000 doğumda 1 50000 doğumda 1 15000 doğumda 1 3500 doğumda 1 800 doğumda 1
Sendromlar arasında en nadir raslanan sendrom 100000 doğumda 1 görülen Hurler sendromudur. İkinci sırada 50000 doğumda 1 görülen Wolf Hirschhorn sendromu, üçüncü sırada 15000 doğumda 1 görülen Prader-Willi sendromu bulunmaktadır.
Dördüncü sırada 3500 doğumda 1 görülen Frajil X sendromu 5. sırada ise 800 doğumda 1 görülen Down sendromu bulunmaktadır. YSA tabanlı Hiyerarşik karar ağacı yapısı bu sıraya göre ve tam tersi sıraya göre düzenlendiği zaman elde edilen test sonuçları Çizelge 4.20 - 4.21’de verilmiştir.
Hekimlerin tanı koymada en zorlandıkları gruplar Wolf Hirschhorn ve Prader-Willi sendromları olmuştur. Hurler sendromu üçüncü sırada yer almaktadır, sonra sağlıklı grubun teşhis zorluğu bulunmaktadır, daha sonraki sıralarda Down ve Frajil X sendromları bulunmaktadır. YSA tabanlı Hiyerarşik karar ağacı yapısı bu sıraya göre düzenlendiğinde ortaya çıkan test sonucu çizelge 4.22’de verilmiştir
Çizelge 4.20 Test 1-karar ağacındaki aşamaların, sendromların görülme sıklığının azdan çoğa göre dizilmesi halinde elde edilen sonuçlar
Gruplar Sağlıklı Frajil
X Hurler
Prader-Willi Down Wolf
Hirschhorn Tanımsız Doğruluk (%) Sağlıklı
Frajil X Hurler Prader-Willi Down
Wolf Hirschhorn 6
- - - - -
- 7 1 - - -
- 1 4 - - -
1 - - 1 - -
- - - 1 4 -
- - - - - 3
1 - - - - -
75 88 80 50 100 100
Çizelge 4.21 Test 2-karar ağacındaki aşamaların, sendromların görülme sıklığının çoktan aza göre dizilmesi halinde elde edilen sonuçlar
Gruplar Sağlıklı Frajil X
Hurler Prader -Willi
Down Wolf Hirschhorn
Tanımsız Doğruluk (%) Sağlıklı
Frajil X Hurler Prader-Willi Down Wolf Hirschhorn
6 - - - - -
- 7 1 - - -
- 1 3 - - 1
1 - - 1 - -
- - - 1 4 -
- - - - - 2
1 - 1 - - -
75 88 60 50 100 67
Çizelge 4.22 Test 3- karar ağacındaki aşamaların, hekimlerin teşhis koymada en zorlandıkları sendromdan en az zorlandıkları sendrom tipine göre dizilmesi halinde elde edilen sonuçlar
Gruplar Sağlıklı Frajil
X Hurler
Prader-Willi Down Wolf
Hirschhorn Tanımsız Doğruluk (%) Sağlıklı
Frajil X Hurler Prader-Willi Down Wolf Hirschhorn
6 - - - - -
- 6 1 - - -
- 1 4 - - 1
1 - - 2 - -
- - - - 4 -
- - - - - 2
1 1 - - - -
75 75 80 100 100 67
Çizelgelerden de görüleceği üzere YSA tabanlı hiyerarşik karar ağacındaki aşamaların sıralamaları değiştirildiğinde performansları da değişmektedir. Test 1 için doğruluk
%83,3, Test 2 için %76,7 ve Test 3 için doğruluk %80 olmaktadır. YSA tabanlı hiyerarşik karar ağacı sınıflandırıcısı için en yüksek doğruluk oranı, sendrom tiplerinin az görülenden çok görülene doğru sıralandığında elde edilmektedir.
4.2.5 kNN ile elde edilen sonuçlar
kNN'nin 130 örnekle eğitilmesi ve 30 örnekle test edilmesi ile elde edilen sınıflandırma sonuçları verilmiştir. Benzerlik ölçümü için seçilecek komşu sayısı "k", uzaklıkların hesaplanması için kullanılan uzaklık hesaplama kriteri, algoritmanın performansını etkileyen parametrelerdir. Bu aşamada, k için 1 ile 10 arasında değerler kullanılmıştır.
Uzaklık hesaplama kriteri olarak Öklit uzaklığı kullanılmıştır. Çizelge 4.23’te farklı k değerleri ile elde edilen sınıflandırma sonuçları gösterilmektedir.
Çizelge 4.23 Farklı k değerleri ile sınıflandırma sonuçları
k Değerleri Test Sayısı Doğru Tanı Sayısı 1
2 3 4 5 6 7 8 9 10
30 30 30 30 30 30 30 30 30 30
11 11 14 15 12 14 12 12 12 11
Şekil 4.7’de, Çizelge 4.23’te gösterilen değişik k değerlerinde doğru tanı sayısına göre elde edilen doğruluk oranları (sınıflandırma başarıları) gösterilmektedir. Şekilden de görüleceği üzere elde edilen en yüksek doğruluk değeri %50 olmakla birlikte, bu oran k=4 değerinde elde edilmiştir.
Şekil 4.7 k değerleri için doğruluk oranları
0 10 20 30 40 50 60
k=1 k=2 k=3 k=4 k=5 k=6 k=7 k=8 k=9 k=10
Doğruluk Oranları (%)
k=4 için sınıflandırıcının testi sonucunda, sınıflandırıcının gruplara göre doğru ve hatalı tanılarının sayısı çizelge 4.24’te gösterilmiştir.
Çizelge 4.24 k=4 için sınıflandırma başarısının gruplara dağılımı
Gruplar Sağlıkl
ı Fraji
l X Hurler Prade
r-Willi Down Wolf Hirschhor n
Tanımsız Doğrulu k (%)
Sağlıklı Frajil X Hurler Prader-Willi Down Wolf Hirschhorn
4 - - 1 1 -
- 6 2 - - -
- 1 1 - - -
3 - 1 0 1 -
1 - - - 2 -
- - - - - 2
- 1 1 1 - 1
50 75 20 0 50 67
4.2.6 Karşılaştırmalı sınıflandırıcı sonuçları
Bölüm 4.2’de kullanılan sınıflandırıcı yöntemlerinin (çok katmanlı ileri beslemeli YSA, olasılıksal YSA, YSA tabanlı hiyerarşik karar ağacı, kNN) aynı test örnekleri ile test edilmesi sonucu elde edilen tanı sonuçları ve aynı örneklerle uzman hekimlerin değerlendirme sonuçları Şekil 4.8’de gösterilmektedir.
Şekil 4.8 Sınıflandıcıların ve uzman hekimlerin doğru tanı sayılarının gruplara dağılımı
Şekil 4.8’den görüleceği üzere, sağlıklı grubun tanısında çok katmanlı ileri beslemeli YSA, YSA tabanlı hiyerarşik karar ağacı ve uzman hekim I aynı sayıda doğru tanıda bulunmuşlardır. Frajil X, Hurler, Down sendromlarını tanımada YSA tabanlı hiyerarşik karar ağacı diğer sınıflandırıcılardan ve uzman hekimlerden daha başarılı olmuştur.
Prader-Willi sendromunun tanısında olasılıksal YSA, kNN, uzman hekim I ve uzman hekim II başarısız olmuşlardır. Wolf Hirschhorn sendromunun tanısında çok katmanlı ileri beslemeli YSA ve YSA tabanlı hiyerarşik karar ağacı olasılıksal YSA ve kNN'e göre daha başarılı olmakla birlikte, uzman hekimler bu sendromun tanısında başarısız olmuşlardır.
Şekil 4.9’da sınıflandırıcıların aynı örneklerle test edilmesi sonucunda elde edilen toplam doğruluk oranları verilmiştir. Aynı şekilde uzman hekimlerinden test örneklerine verdikleri cevapların toplam doğruluk oranları da gösterilmektedir.
0 1 2 3 4 5 6 7 8
ÇKİB YSA Olasılıksal YSA Hiyeraşik Karar Ağacı kNN
Uzman Hekim I Uzman Hekim II
Doğru tanı sayısı
Şekil 4.9 Sınıflandırıcıların ve uzman hekimlerin toplam doğruluk oranları
Şekil 4.9’dan görüleceği üzere en yüksek doğruluk oranına sahip sınıflandırıcı YSA tabanlı hiyerarşik karar ağacı sınıflandırıcısıdır. Bu sınıflandırıcıyı sırasıyla, çok katmanlı ileri beslemeli YSA, kNN, uzman hekim I, olasılıksal YSA ve uzman hekim II takip etmektedir.
Çizelge 4.25’te ise Loos vd. (2003), Boehringer vd. (2006), Vollmar vd. (2008) yaptıkları çalışmalarda kullandıkları yöntemler, elde ettikleri sınıflandırma sonuçları ile bu tez çalışmasında kullanılan yöntemler ve elde edilen sınıflandırma sonuçlarının karşılaştırmaları gösterilmektedir. Loos vd. (2003) çalışmalarında 55 yüz görüntüsü kullanarak 5 farklı dismorfik sendromun sınıflandırmasını yapmışlardır. Bu çalışmada öznitelikler Gabor dalgacık dönüşümü ile elde edilmiştir. Sınıflandırma için jet voting yöntemi kullanılmıştır. Boehringer vd. (2006) çalışmalarında 147 görüntü kullanarak 10 farklı sendrom tipini sınıflandırmışlardır. Öznitelikler elle çıkarılmış, sınıflandırma ise LDA, SVM, kNN ve jet voting ile yapılarak sonuçlar elde edilmiştir. Sınıflandırma başarıları %52,1 ile % 75,7 arasında değişmektedir. Bu çalışmada sınıflandırmanın performansında elle öznitelik çıkarımının otomatik öznitelik çıkarımına göre üstünlüğünün gösterilmesi için, hem elle hem de Gabor dalgacık dönüşümü ile elde
0 10 20 30 40 50 60 70 80 90
Ç.K.İ.B. YSA Olasılıksal YSA
Hiyerarşik Karar Ağacı
kNN Uzman
Hekim I
Uzman Hekim II
Doğruluk Oranları( %)
edilen öznitelikler kullanılarak LDA ile sınıflandırma yapılmıştır. Sonuçlar Gabor dalgacık dönüşümü ile elde edilen öznitelikler ile yapılan sınıflandırmanın, performansı oldukça düşürdüğünü göstermiştir (%75,7 iken %52,1'e düşmüştür). Vollmar vd.
(2008) çalışmalarında 196 yüz görüntüsü kullanarak 14 farklı sendromu sınıflandırmışlardır. Öznitelikler elle çıkarılmıştır. Sınıflandırma için LDA, SVM ve kNN kullanılmıştır. Sınıflandırma başarıları %52,5 ile % 70,1 arasında değişmektedir.
Bu çalışmada da hem elle hem de Gabor dalgacık dönüşümü ile elde edilen öznitelikler kullanılarak LDA ile sınıflandırma yapılmıştır. Sonuçlar aynı şekilde Gabor dalgacık dönüşümü ile elde edilen öznitelikler ile yapılan sınıflandırmanın, performansı oldukça düşürdüğünü göstermiştir (%70,1 iken %52,5'e düşmüştür). Bu tez çalışmasında ise öznitelikler elle çıkarılmıştır ve sınıflandırma için çok katmanlı ileri beslemeli YSA, olasılıksal YSA, YSA tabanlı hiyerarşik karar ağacı yöntemi ve kNN kullanılmıştır.
%37 ile %83,3 arasında değişen sınıflandırma başarıları elde edilmiştir.
Çizelge 4.25 Literatüdeki benzer çalışmaların yöntemsel ve sonuç olarak karşılaştırılması
Çalışma Grup/Örnek Sayısı
Öznitelik Çıkarma Yöntemi
Sınıflandırma Yöntemi
Doğruluk (%)
Loos vd.(2003) 5 /55 Gabor
DalgacıkDönüşümü
Jet Voting 76
Boehringer vd.(2006) 10 / 147 Elle LDA,SVM,kNN, Jet Voting
75,7/52,1-70,4
-68,1-55,8
Vollmar vd. (2008) 14 /196 Elle LDA, SVM, kNN
70,1/52,5-63,8-58,2
Erkınay (2012) 6/130 Elle ÇKİBYSA,OYSA,
HKA,kNN
70-37-83,3-50