Olasılıksal yapay sinir ağları

Bir sonraki çevrimde kullanılacak yeni eşik ağırlık değeri Eşitlik 2.29’dan değişim hesaplanarak Eşitlik 2.26’daki gibi hesaplanır.

Bir çevrim boyunca, ağın girişine uygulanan eğitim veri segmenti ağırlıkların değerine göre ve nöronlarda bulunan aktivasyon fonksiyonuna göre, giriş katmanından başlayarak çıkış katmanının nöron çıkışları hesaplanıncaya kadar yayılır. Çıkış katmanından elde edilen nöron çıkış değerleri, beklenen çıkış değerleriyle karşılaştırılır.

Buradan elde edilen fark bütün ağa geriye yayılma şekliyle çıkış katmanından giriş katmanına doğru yansıtılır ve bütün nöronlar için eğim değerleri hesaplanır. Bu eğim değerlerine göre ağırlıklar güncellenir. Eğitim setinin tamamı için bilgi işleme aşamasının tamamlanmasına bir “iterasyon” denir (Haykin 1999). Eğitimin amacı ağın girişlere karşılık çıkışın hedef çıkış değerleriyle aynı olmasını sağlamaktır. Ağın eğitilmesi elde edilen ağ çıkışı ile hedeflenen ağ çıkışları arasındaki hata kabul edilebilir düzeye ininceye kadar devam eder. Çok katmanlı ileri beslemeli YSA yapısında maksimum iterasyon sayısı ve minimum hata değeri durdurma kriteri olarak belirlenmiştir.

Eğitim işlemi, önceden tespit edilmiş beklenen bir değere ulaşıncaya kadar devam eder, bu değere ulaşmak ağın uygun çıkış üretmesini sağlayan ağırlık değerlerinin bulunduğu anlamına gelir. Eğitim tamamlandıktan sonra ağın başarısı test veri seti ile ölçülmektedir.

Olasılıksal YSA’lar birçok avantaja sahiptirler. En önemli avantajı eğitimin hızlı ve kolay olmasıdır. Eğitim geri yayılım algoritmasından daha hızlıdır. Bu YSA yapıları eğitim sırasında maksimum olabilirliğe yaklaşmaya çalışmaktadır. Ağda ağırlıklar önceden atanmıştır ve eğitim sırasında var olan ağırlıklar değiştirilmez, sadece yeni vektörler varolan ağırlık matrislerine eklenir. Eğitim örnekleri, tekrar kapsamlı bir eğitime gerek kalmadan eklenebilir veya çıkartılabilir.

Olasılıksal YSA örüntü tanıma ve sınıflandırma süreçlerinde sıklıkla kullanılmaktadır.

Romero vd. (1997) çalışmalarında olasılıksal YSA’yı Çince karakterleri tanıma için kullanmışlardır. Goh vd. (2002) sismik sıvılaşma potansiyeli ölçümünün sınıflandırılmasında olasılıksal YSA’yı kullanmışlardır. Başka bir çalışmada ise Ganchev vd.(2002) olasılıksal YSA’yı telefon kanallarında konuşmacı tanıma için kullanmışlardır. Wu vd. (2007) yaprak çeşitlerinin sınıflandırılmasında olasılıksal YSA’yı kullanmışlardır.

Tez kapsamında kullanılan Olasılıksal YSA üç katmandan oluşmaktadır. Birinci katman giriş katmanı, ikinci katman radyal tabanlı katman, üçüncü katman rekabetçi katmandır.

Radyal tabanlı katman giriş vektörü ile ağırlık matrisindeki ağırlık vektörleri arasındaki mesafeyi hesaplar. Bu mesafeler radyal tabanlı, doğrusal olmayan bir fonksiyon tarafından ölçeklendirilir. Rekabetçi katman ise, mesafeler arasındaki en kısasını bulur.

Olasılıksal YSA modeli şekil 2.11’de gösterilmektedir.

Şekil 2.11 Olasılıksal YSA modeli (Wu vd. 2007’den değiştirilmiştir)

Şekil 2.11’de "P" simgesi giriş vektörünü temsil etmektedir. p’nin boyutu Rx1’dir.

Radyal tabanlı katmanda, giriş vektörü P ile, "W" ile gösterilen ağırlık matrisinin her satırının arasındaki vektörel uzaklıklar hesaplanır. Burada vektörel uzaklık iki vektörün noktasal çarpımı ile tanımlanmıştır. W matrisi QxR boyutundadır. P ile W matrisinin i.

satırının noktasal çarpımı ile, uzaklık vektörü ’nin elemanı elde edilmektedir, uzaklık vektörünün boyutu Qx1 olmaktadır. Eksi sembolü, "-", vektörler arası uzaklığı sembolize etmektedir. Yanlılık vektörü, vektörü ile çarpılır. Çarpım sonucu şekil 2.11’de n olarak gösterilmiştir ve n= .*P şeklinde hesaplanır. Radyal tabanlı YSA’nın aktivasyon fonksiyonu Eşitlik 2.30’da verilmiştir.

(2.30)

n vektörünün her elemanı Eşitlik 2.30’da yerine konur ve radyal tabanlı katmanın çıkışı olan "a" vektörü elde edilir. a ‘ nın i. elemanı Eşitlik 2.31’deki gibi bulunur.

. (2.31)

Eşitlik 2.31’deki, , ağırlık vektörünün i. elemanını, ise yanlılık vektörünün i.

elemanını göstermektedir."a" vektörünün i. elemanı, eğer giriş "P" ile giriş ağırlık matrisinin i. satırı i aynı ise 1 olmaktadır. a vektörünün bir çok elemanı 1’e yakın değerlerdeyse, giriş örneği birçok eğitim örneğine benzemektedir.

Rekabetçi katmanda yanlılık değeri yoktur. Öncelikle a vektörü "M" ağırlık matrisiyle çarpılır ve "d" çıkışı elde edilir. Şekil 2.11’de C ile gösterilen rekabetçi fonksiyon, d vektörünün en büyük elemanına karşılık "1" değerini üretir. Rekabetçi fonksiyonun çıkış vektörü şekil 2.11’de "c" ile gösterilmiştir. "K" ise çıkış vektörünün boyutunu göstermektedir. "c" vektöründe 1 olan indis, karşılık geldiği sınıfı göstermektedir.

2.4.3 YSA tabanlı hiyerarşik karar ağacı

Karar ağaçları son yıllarda literatürde yaygın kullanımı olan bir sınıflandırma ve örüntü tanıma algoritmasıdır (Kavzoğlu ve Çölkesen 2010). Karar ağaçları, radar sinyallerinin sınıflandırılması, karakter tanıma, medikal tanı, konuşma tanıma gibi birçok alanda kullanılmaktadır (Safavian vd. 1991). Huang vd. (1996) çalışmalarında, karar ağaçlarını yüz tespiti için kullanmışlardır. El-Bashir (2012), yüz sınıflandırma için karar ağaçlarıyla birlikte diğer sınıflandırma yöntemlerini kullanarak sonuçları karşılaştırmıştır. Karar ağaçlarının en önemli özelliği ve avantajı karışık sınıflandırma problemlerini aşamalara bölerek çözümü kolaylaştırmasıdır.

Karar ağaçları, ağaç formunda olup, verileri içeren bir kök düğümü, iç düğümler (dallar) ve uç düğümlerden (yapraklar) oluşmaktadır. Örüntüye ait herbir öznitelik bir düğüm tarafından temsil edilmektedir. Yaprak düğümler, ilgili düğüme ait nesnelerin sınıflarını ihtiva eden uç düğümlerdir.

Eğitim verilerine ait öznitelik bilgilerinden yararlanılarak bir karar ağacı yapısı oluşturulmasında temel prensip verilere ilişkin bir dizi sorular sorulması ve elde edilen cevaplar doğrultusunda hareket edilerek en kısa sürede sonuca gidilmesi olarak ifade edilebilir. Bu şekilde karar ağacı sorulara aldığı cevapları toplayarak karar kuralları oluşturur. Karar ağacı yapısına yeni gelen bir test verisi, ağacın kökünden girmekte, kökte test edilen bu yeni veri test sonucuna göre bir alt düğüme gönderilmektedir.

Ağacın belli bir yaprağına gelene kadar bu işlem devam etmektedir (Kavzoğlu ve Çölkesen 2010).

Şekil 2.12’de dört boyutlu öznitelik uzayına sahip üç farklı sınıflandırmayı yapan bir karar ağacı yapısı gösterilmektedir. Şekilde xi öznitelik değerlerini, a, b, c, d, e sınıflandırma için eşik değerlerini, A, B, C ise sınıf etiketlerini göstermektedir.

Şekil 2.12 Dört boyutlu öznitelik uzayına sahip üç sınıftan oluşan basit bir karar ağacı yapısı

Karar ağacı oluşturulmasında en önemli adım ağaçtaki dallanmanın hangi kritere göre yapılacağı ya da hangi öznitelik değerlerine göre ağaç yapısının oluşturulup karar vermesi gerektiğidir (Kavzoğlu ve Çölkesen 2010). Gini indeksi, Towing kuralı (Breiman vd. 1984), bilgi kazancı ve bilgi kazanç oranı (Quinlan 1993), Ki- Kare olasılık tablo istatistiği (Mingers 1989) bu problemin çözümü için kullanılan yaklaşımlardır. Bu yaklaşımlar kullanılarak karar ağaçları için çeşitli algoritmalar geliştirilmiştir. Bunlardan birtanesi ID3 algoritmasıdır. Bu algoritmada bilgi kazancı yaklaşımı kullanılmaktadır. Bir diğer algoritma olan C4.5 algoritması ise ID3 algoritmasının geliştirilmiş halidir. C4.5 algoritmasında, bölünme bilgisi kavramı ile bilgi kazancından yararlanarak hesaplanan kazanç oranı yaklaşımı kullanılmaktadır.

Tez kapsamında kullanılan ve geliştirilen karar ağacı yukarıda anlatılan karar ağacı yapısından yöntemsel olarak farklıdır. Geliştirilen algoritmada da yukarıda bahsedilen karar ağaçlarının yapısı gibi iç düğümler ve uç düğümler bulunmaktadır ve bu açıdan şekilsel olarak standart karar ağaçlarına benzemektedir. Ancak tasarım aşaması ve kullanılan algoritma açısından diğer karar ağacı yapılarından ayrılmaktadır. Karar ağaçlarında bulunan sınıflandırma problemini aşamalara bölme özelliği dikkate alınarak tasarlanan algoritma, hiyerarşik bir yapıya sahiptir, standart karar ağaçlarında iç düğümlerde öznitelikler bulunmaktadır, bu çalışmada geliştirilen karar ağacında ise iç düğümlerde farklı grupların sınıflandırmasını yapan farklı sınıflandırıcı yapıları ve karar

kuralları kullanılmıştır. Bu sınıflandırıcılar için belirlenen karar kurallarına göre algoritma sona ermekte ya da bir sonraki aşamaya geçmektedir. Her düğümde bulunan sınıflandırıcılar için çok katmanlı ileri beslemeli YSA kullanılmıştır. Literatürde karar ağacı yapısının benzer amaçla kullanıldığı çalışmayı Duman vd. (2009) yapmışlardır.

Çalışmalarında üç iç düğümden oluşan bir karar ağacı algoritması oluşturmuşlardır.

Karar ağacının üç düğümünde üç farklı yöntem (Kısa Zamanlı Fourier Dönüşümü, Çoklu Sinyal Sınıflandırma algoritması, Teager Enerj Operatörü) kullanarak geliştirdikleri algoritma ile uyku iğciklerinin yerini tespit etmişlerdir.

Karar ağacı yapısının kullanılmasının en büyük avantajı var olan sınıflandırma problemini daha küçük parçalara bölerek genel sınıflandırma başarısını arttırmasıdır.

Tez kapsamında geliştirilen bu yapı başka sınıflandırma algoritmaları ile kullanılabilmesi ve soruna göre uyarlanabilir olması açısından da oldukça avantajlı bir modeldir.

Tez kapsamında kullanılan YSA tabanlı hiyerarşik karar ağacı algoritması Bölüm 3’te detaylı bir şekilde anlatılmıştır.

2.4.4 k en yakın komşu yöntemi ( k nearest neigbor-kNN)

k en yakın komşu yöntemi örüntü tanımada, nesneleri sınıflandırmak için öznitelik uzayında bulunan eğitim örneklerine en yakın örneğin ya da örneklerin bulunmasına dayalı bir sınıflandırma algoritmasıdır. kNN, en çok kullanılan on sınıflandırma algoritması içinde yer almaktadır (Raj vd. 2012). kNN algoritması metin sınıflandırmada (Sreemathy ve Balamurugan 2012), yüz tanımada (Parveen ve Thuraisingham 2006), yüz görüntülerine dayalı hastalıkların sınıflandırılmasında (Boehringer vd. 2006, Vollmar vd. 2008, Saraydemir vd. 2011) kullanılmaktadır.

Eğitim kümesindeki örneklerin, test örneğine olan uzaklıklarının hesaplanması ve en küçük uzaklığa sahip k sayıda örneğin seçilmesi esasına dayanmaktadır. kNN algoritmasında eğitimin hızlı olması, öğrenme sürecinin basit ve kolay olması bu

algoritmanın avantajlarıdır, işlem karmaşıklığı ve yüksek hafıza gerektirmesi ise dezavantajları arasında sayılabilir (Bhatia ve Vandana 2010). Benzerlik ölçümü için seçilecek komşu sayısı "k", uzaklıkların hesaplanması için kullanılan uzaklık hesaplama kriteri, algoritmanın performansını etkileyen parametrelerdir. Uzaklık hesaplama kriteri için en çok kullanılan metrik "Öklit uzaklığıdır". Tez çalışmasında uzaklıkların hesaplanması için Öklit uzaklığı kullanılmıştır. Şekil 2.13’te test örneğinin (x), seçilen k değerine ve uzaklık kriterine göre hangi sınıfa ait bulunduğu gösterilmektedir. k=4 seçilirse öncelikle bütün noktalar arasındaki Öklit uzaklığı hesaplanır, bunlar arasında 4 en yakın nokta hesaplanır ve bu noktalar arasında çoğunluk hangi sınıfa ait çıkarsa örnek o sınıfa ait olur. Şekle göre test örneği kırmızı sınıfına aittir.

Şekil 2.13 kNN örneği