TEKNOFEST HAVACILIK, UZAY VE TEKNOLOJİ FESTİVALİ SAĞLIKTA YAPAY ZEKA YARIŞMASI KRİTİK TASARIM VE ÖN BULGU RAPORU

(1)

1

TEKNOFEST

HAVACILIK, UZAY VE TEKNOLOJİ FESTİVALİ SAĞLIKTA YAPAY ZEKA YARIŞMASI

KRİTİK TASARIM VE ÖN BULGU RAPORU

DEEP VISION

69810

(2)

2

İçindekiler Tablosu

Kullanılması planlanan güncel donanımlar ve özellikleri ...3

Eğitim Donanımları ...3

Test Donanımları ...3

Çözüm için kullanılan yöntem ve mimari ...3

Deney ve eğitim aşamalarında kullanılan veri setleri ...4

Elde edilen deneysel sonuçların sunumu ...6

Referanslar ... 11

(3)

3

1.

Kullanılması planlanan güncel donanımlar ve özellikleri

Eğitim ve test sırasında kullanmış olduğumuz donanımları seçme sebebimiz model eğitimi için çok katmanlı derin öğrenme modelleri kullanılmasıdır. Derin Öğrenme modellerinin eğitimi arka planda çok yüksek matematiksel işlemleri gerçekleştirdiği için masraflıdır yani hesaplama maliyeti yüksektir. Burada yapılan işlemlerde görüntüler üzerinde yüksek seviyeli matris çarpımları yapılmaktadır ve bu işlemleri hesaplamak için yüksek kapasiteli GPU kartlara ihtiyaç duyulur. Bu nedenle yapmış olduğumuz bu çalışama da çok sayıda veriyi işlemek işleyebilecek için aşağıdaki donanımları kullandık.

1.1. Eğitim Donanımları

128 GB RAM, 6120 serisi Xeon işlemci

Gigabyte GeForce RTX 3090 24GB GDDR6X ekran kartı 1.2. Test Donanımları (5 puan)

NVIDIA GEFORCE GTX 950M 12GB RAM X550j serisi i7 işlemci

2.

Çözüm için kullanılan yöntem ve mimari

Yapmış olduğumuz bu çalışma beyin BT görüntüleri üzerinden inme ve inmenin türlerini YOLO DarkNET mimarisi kullanarak sınıflandırdık. Bu aşama da DarkNET’i kullanırken fastai kütüphanesi ile çalıştık. YOLO, evrişimsel sinir ağlarını (CNN) kullanarak nesne tespiti ve sınıflandırma yapan bir algoritmadır. DarkNET ise YOLO modelinin bir alt mimarisi diyebiliriz.

Yapı olarak çalışmada kullanılan mimaride tekli evrişim katmanı, üçlü evrişim katmanı ve maksimum havuzlama katmanları ardışıl olarak kullanılmıştır. Evrişim katmanlarında aktivasyon fonksiyonu olarak ReLU aktivasyon fonksiyonu kullanılarak çıktıları normalize ettik. Maksimum havuzlama katmanında ise stride değeri 2 olan 2x2 boyutunda maksimum havuzlama yaparak görüntülerdeki en önemli değerleri aldık. Yukarıda anlatılan mimari yapısının görsel ile ayrıntılı bir biçimde ifade edilişi Şekil 1 ‘deki gibidir.

(4)

4

3.

Deney ve eğitim aşamalarında kullanılan veri setleri

Deney ve eğitim aşamasında Sağlık Bakanlığı verilerinin haricinde Kaggle üzerinden erişim sağladığımız açık kaynaklı olan “Head CT-Hemorrhage(128x128)” [1] ve “Head CT- Hemorrhage(227x227)” [2] verisetleri kullanıldı. Veri setleri “Hemorrgahe” ve “no Hemorrhage” olmak üzere iki sınıftan oluşup her sınıfa ait 100 adet beyin görüntüsü bulunmaktadır. Her bir verisetinde toplam 200 adet görüntü bulunmaktadır. ”Head CT- Hemorrhage(128x128)” verisetindeki görüntülerin boyutu 128x128x3 tür. ”Head CT- Hemorrhage(227x227)” verisetinde ise görüntü boyutları 227x227x3 tür.

Şekil 1:Önerilen Mimari

(5)

5

Şekil 2-İkili sınıflamaya göre veri görüntüleri Şekil 3-Üçlü sınıflamaya göre veri görüntüleri

4.

Elde edilen deneysel sonuçların sunumu

Sağlık Bakanlığı tarafından gruplarla paylaşılan inme yok, iskemi ve kanamalı Beyin BT görüntüleri üzerinde sınıflandırma yapan modellerin performanslarını karşılaştırdık. Model başarısını sınıf sayısına, epoch sayısına, doğrulama oranına ve öğrenme katsayısına göre değerlendirdik.

Sağlık bakanlığı tarafından paylaşılmış olan veriler kullanılarak test için şu aşamada toplam 7 adet model eğitimi gerçekleştirilmiştir. Bu derin öğrenme modellerinde farklılık oluşturulması amaçlanan birkaç farklı nokta üzerinde çalışılarak çeşitli sonuçlara ulaşılmıştır.

Sözü edilen bu noktalar; eğitim ve test verisinin ayrılması aşamasında gerçekleştirilen oran farklılıkları, verinin ayrıldığı sınıf sayısı, modelin eğitimi sırasında kullanılan epoch sayıları, modelde kullanılan veya kullanılmayan Unfreeze edilme durumu ve model içerisinde grafik yardımı ile elde edilen öğrenme katsayısı olarak sıralanabilir.

Eğitim ve test verisinin ayrılması, oranlamaya bağlı olarak farklı sonuçlar elde edilmesini sağlayabilecek bir değişiklik sağlar. Eğitim ve test verisinin derin öğrenme modellerinde dağılım oranı genellikle %90-%10, %80-%20, %70-%30 olarak ayrılır.

Gerçekleştirilen modellerimizde bu ayrım oranı %80 - %20 ve %90 - %10 olmak üzere faklı modellerde, farklı oranlar alınarak kullanılmıştır.

Verinin ayrıldığı sınıf sayısı olarak bu modellerde ikili ve üçlü sınıflandırma olarak kullanım sağlandı. İkili sınıflandırma için inme var veya inme yok sınıfları, üçlü sınıflandırma için ise inme yok, kanamalı inme ve iskemik inme olmak üzere sınıflara ayrılmıştır. Bu sınıflandırma türleri ile farklı amaçlar doğrultusunda yüksek oranda doğruluk oranı hedeflenir.

İkili sınıflandırma aşamasında elde edilen en iyi model doğruluk oranı %97 ve üçlü

(6)

6

sınıflandırma için de seçilen en iyi model doğruluk oranı %97 olarak hesaplanmıştır. Model eğitimi sırasında elde edilen verilerin eşitlenmiş dağılımı ve yüksek sayıda olmasının sağlanması da oldukça önemlidir. Burada elde edilen belirli bir veri setinin, 3 sınıftan 2 sınıfa ayrılmasında sağlanacak avantaj normal ve inme yok sınıflarının daha eşit dağılımlı sayılabilecek bir boyuta indirgenmesi olarak açıklanabilir.

Model eğitimi sırasında kullanılan ve farklı sayılarda alınan epoch sayısı da öğrenme oranının iyileştirilmesi açısından oldukça önemli bir faktördür. Burada verilen epoch sayısı;

basitçe model eğitimi sırasında eğitim verisinin bilgisayara kaç kez gösterileceğini ifade eder.

Bilgisayarın, eğitim görüntüleri ile karşılaşma sayısı, öğrenme ve ezberleme sınırının belirlenebilmesi için çok büyük önem taşımaktadır. Bir modelin eğitim görüntüleri ile gereğinden fazla şekilde karşılaşması ile yalnızca eğitim verileri üzerinden ezberleme işlemi gerçekleşebilir. Bu durum modele dışarıdan, hiç karşılaşmadığı bir test verisi gösterildiğinde gereken sonucu doğru veya gerektiği kadar iyi tahmin edememesi sonucunu doğurur. Bu durumda model yalnızca eğitim verilerini tanır ve gerçek hayatta kullanılması açısından faydasız bir model haline gelir. Eğitim ve test verilerinden elde edilen kayıp grafiğinin belirli bir eğim ile orantılı olarak azalması veya bu azalmada farkın açılması ile modelin ezberlediği mi yoksa öğrendiği mi sonucuna ulaşılabilir. Bütün bu denemelerin sonucunda eğitim için gerekli ve en doğru epoch sayısına ulaşılır.

Öğrenme katsayısı, modelin belirli bir aşamaya kadar oluşturulmasının ardından, modelin öğrenme hızına karar verildiği sayısal değerdir. Bu değer ile modelin en düşük seviyede kayıp vermesi ve doğrusal bir gelişim göstermesi hedeflenir. Öğrenme hızı çok yüksek olarak seçilen bir model hızlı çalışacak olsa dahi büyük oranda öğrenme işlevini gerçekleştiremeyecektir. Bunun yanında öğrenme oranı çok düşük olan bir modelin ise hızı oldukça düşük olacak ve zaman ve maliyet açısından oldukça zararlı bir sonuç elde edilmiş olacaktır. Öğrenme katsayısının, modelin eğitimine geçilmeden hemen önce belirli fonksiyonlar yardımı ile çizilen grafiklerden yardım alınarak belirlenmesi mümkündür. Elde edilen grafik yorumlanarak, en doğru öğrenme katsayısına ulaşılır bu sayede zaman ve maliyet açısından olduğu kadar öğrenme açısından da başarılı bir model elde edilmesi sağlanır. Farklı öğrenme katsayıları Tablo 1 ve 2 de verilmiştir.

(7)

7

Tablo 1:Üçlü Sınıflandırma Öğrenme Kat Sayısı Tablo 2:İkili Sınıflandırma Öğrenme Kat Sayısı

Modelin unfreeze kullanılarak veya kullanılmayarak eğitilmesi de doğruluk oranı ve eğitim hızı açısından önemli bir ayrıntı haline gelebilmektedir. Elde edilen bir derin öğrenme mimarisinin direkt olarak kullanılmakta olan veri setine uygulanabilirdir. Bu mimariler büyük boyutlardaki veri setleri üzerinde eğitilmiş ve geliştirilmiş mimarilerdir. Bunun yanında unfreeze etme yöntemi kullanılarak büyük boyutlardaki veri setinde kullanılan katmanlar çözülerek, belirli bir aşamaya kadar açılır. Bu çözülen katmanlar sayesinde veri seti içerisinde elde edilmek istenen değer önceden eğitilmiş veri setinin değerlerinden de yardım alınarak daha hızlı ve doğru bir eğitim vermeyi amaçlar hale getirilir.

Bu farklılık noktaları ile çalıştırılan modeller içerisinden, üçlü sınıflandırma olarak eğitilen model; %97 doğruluk oranı ve dışarıdan girdi olarak alınan BT görüntüleri ile gerçekleştirilen testlerde yüksek oranda doğruluk sağladığı için Tablo 10’deki 2 numaralı model en başarılı model olarak belirlenmiştir. İkili sınıflandırma modelleri içerisinde ise doğruluk oranı olarak %97 oranına ulaşmıştır.

Tablo 3:Üçlü Sınıflandırma Unfreeze Durumu Tablo 4:İkili Sınıflandırma Unfreeze Durumu

Model No

Öğrenme Katsayısı

1 0.003

2 0.001

3 0.001

Model No

Öğrenme Katsayısı

1 0.001

2 0.001

3 0.001

4 0.01

Model No

Eğitim Verisi Doğruluk Oranı

Doğrulama Verisi Doğruluk Oranı

1 %97 %98

2 %97 %97

3 %98 %97

4 %97 %97

Model No

Eğitim Verisi Doğruluk Oranı

1 %96 %97

2 %97 %97

3 %97 %98

(8)

8

Eğitilen tüm modellerin belirtilen parametlere göre karşılaştırmasını gösteren tablo aşağıdaki gibidir.

Tablo 5:Modellerin sonuçlarının karşılaştırılması

Doğruluk oranı dışında elde edilen diğer performans metriklerine göre de değerlendirilen modellerin, performans ölçüm sonuçları Tablo 5’teki gibi elde edilmiştir. Tablo 6-Modellerin diğer performans metriklerine göre değerlendirilmesi gerçekleştirilmiştir

Model No Sınıf Sayısı

Epoch Sayısı

Doğrulama Veri Oranı Ve Veri Sayısı

Görüntü Boyutu

Veri Sayısı

Unfreeze Eğitim Verisi Doğruluk Oranı

Öğrenme Katsayısı

1 3

İnme Yok İskemi Kanama

50 %20

1330

512x512x3 6650 Yok %97 %98 0.001

(1e-3)

2 3 *

40 %20

1330

512x512x3 6650 Var %97 %97 0.001

(1e-3)

3 3

25 %10

665

512x512x3 6650 Var %98 %97 0.001

(1e-3)

4 3

80 %10

665

512x512x3 6650 Var %97 %97 0.01

(1e-2)

5 2 *

İnme Yok İnme Var

50 %20

1330

512x512x3 6650 Yok %96 %97 0.003

(3e-3)

6 2

40 %20

1330

512x512x3 6650 Var %97 %97 0.001

(1e-3)

7 2

90 %20

1330

512x512x3 6650 Var %97 %98 0.001

(1e-3)

(9)

9

Model No Sınıf Sayısı Kesinlik Duyarlılık F1-Puanı

1 ³

%97 %96 %97

2 ^{3 *}

%97 %95 %96

3 ³

%97 %95 %96

4 ³

%97 %96 %96

5 ^{2 *}

%97 %96 %96

6 ²

%97 %96 %97

7 ²

%98 %97 %97

Eğitimi gerçekleştirilen 7 model için çeşitli değerlendirme metrikleri için sonuçlar elde edilmiştir. Elde edilen bu sonuçlara göre üçlü sınıflandırmada en başarılı olarak elde edilen modelimizin, Kesinlik oranı %97, Duyarlılık oranı %95 ve F1-Puanı oranı %96 ile sonuçlanmıştır.

Kesinlik oranı olarak elde ettiğimiz değerlendirme ölçütü; iskemik ve kanamalı olarak tahmin ettiğimiz hastanın gerçekten doğru tahmin edilmiş olması ile doğrudan ilişkilidir.

Duyarlılık olarak ele alınan değerlendirme ölçütünde ise esas önerme; inme yok olarak tahmin edilen ancak iskemi ya da kanama inmesine sahip olan hastaların hesaplanmasıdır.

Sağlıkta yapay zeka alanında maliyeti en büyük olacak durumlardan biri hastalık sahibi birinin yanlış teşhis ile sağlıklı olarak etiketlenmesi durumudur. Bu gibi durumlar sebebi ile Duyarlılık metriği göz ardı edilemeyecek kadar önemli bir metriktir.

(10)

10

F1-Score değeri oldukça önemli olarak ifade edilen, duyarlılık ve kesinlik oranlarının harmonik olarak ortalamasının hesaplanması ile elde edilen bir değerlendirme ölçütüdür. Bu değerlendirme ölçütünde aritmetik ortalama yerine harmonik ortalamanın alınma sebebi, model içerisindeki uç durumların gözden kaçmasının önüne geçmektir denilebilir. Doğruluk metriği ile birlikte F1-Score metriğinin de kullanılıyor olmasının en önemli sebeplerinden biri ise model içerisinde eşit dağılımın sağlanamaması durumunda doğruluk metriğinin dürüst sonuçlar veremeyebilecek olmasıdır.

Bu belirttiğimiz metriklerin değerlendirilmesin de hesaplanmasında karmaşıklık matrislerini kullanırız. Aşağıda da ikili ve üçlü sınıflandırma da başarılı olarak belirlediğimiz modellerin karmaşıklık matrisleri bulunmaktadır.

Üçlü sınıfın karmaşıklık matrisine baktığımızda satırlar, sırasıyla veri kümemizdeki isme yok, iskemi, kanama sınıflarını temsil eder. Sütunlar, modelin sırasıyla inme yok, iskemi ve kanama olarak tahmin ettiği görüntüleri temsil eder. Bu nedenle, matrisin köşegeni, doğru sınıflandırılan görüntüleri gösterir ve çapraz olmayan hücreler, yanlış sınıflandırılanları temsil eder. Aşağıdaki Şekil 4’de görüldüğü doğrulama verileri üzerinde yapılan bu değerlendirmede toplamda 38 tane yanlış tahmin edilme vardır.

İkili sınıfın karmaşıklık matrisine bakacak olursak satırlar, sırasıyla veri kümemizdeki inme var ve inme yok sınıflarını temsil eder. Sütunlar, modelin sırasıyla inme var ve inme yok olarak tahmin ettiği görüntüleri temsil eder. Matrisin köşegeni, doğru sınıflandırılan görüntüleri gösterir ve çapraz olmayan hücreler, yanlış sınıflandırılanları temsil eder. Aşağıdaki Şekil 5’de görüldüğü üzere modelin doğrulama verileri üzerinde yanlış tahmin ettiği görüntü sayısı 45tir.

Şekil 4-İkili sınıflandırmaya göre karmaşıklık matrisi Şekil 5-Üçlü Sınıflandırmaya göre karmaşıklık matrisi

Bütün bu aşamalardan ve değerlendirmelerden sonra eğitilen modellerden üçlü sınıflandırma(inme yok, kanama, iskemi) için en başarılı modeli seçtik. Seçmiş olduğumuz bu modeli web uygulamasında kullanmak için ‘export.pkl’ dosyasını oluşturduk. Sonrasında test

(11)

11

verilerine erişimi sağlayacak ara yüz tasarımını içeren ‘BrainHemorrhageApp.ipynb’ dosyasını oluşturduk. Oluşturmuş olduğumuz bu dosyaları ‘binder ’ aracı ile yayınlayarak kullanıma açık hale getirdik. Aşağıda da görüldüğü üzere internet ortamından sağlanan beyin BT görüntüleri rastgele seçilerek sisteme verildiğinde üç sınıfında doğru bir şekilde tahmin edilmiştir. Şekil-6’

de Sağlıklı bir BT görüntüsü verildiğinde tahmin sonucu %99 inme yok olarak doğru tahmin edilmiştir. Şekil-7’ de de kanama olarak belirtilen bir hastaya ait olan BT görüntüsü sisteme verildiğinde %99 kanama diyerek doğru tahminde bulunmuştur.

Şekil 6:Test verilerinde inme yok sonucu

Şekil 7:Test verilerinde kanama sonucu

Segmetasyon probleminin çözümünde U-Net modeli ResNet-50 mimarisi ile eğittik. Unet modelinin ilk kısmı normal CNN modeli olduğundan biz bu kısımda ResNet-50 modelini değerlendirdik. ResNet-50 modelinin eğitiminde transfer öğrenme tekniğini uyguladık. İskemi

(12)

12

segmentasyonu için önerilen model test görüntüleri üzerinde %98.86 başarı gösterirken, kanama segmantasyonunda bu oran %99.6 ya ulaşmıştır. Bazı örnek model segmantasyon görüntüleri aşağıdaki şekilde verilmiştir.

REFERANSLAR

[1] Head CT-Hemorrhage(128x128) - https://www.kaggle.com/anmspro/head-ct- hemorrhage-128-x-128

[2] Head CT-Hemorrhage(128x128) - https://www.kaggle.com/anmspro/head-ct- hemorrhage-227-x-227