Melez sinir ağları mimarisinde öbekleme

Tez çalışmasının bu kısmında, öbekleme probleminin çözümüne esas teşkil etmek üzere birbirini tamamlayan iki ağ mimarisinin birlikte kullanıldığı kompozit çok katmanlı bir sinir ağı mimarisi önerilmiştir. PKA olarak adlandırılan ilk aşamadaki üç katmanlı ağ yapısında, giriş verisi yinelemeli olarak çıkış katmanında en yakın prototip vektörü ile haritalanmaya çalışılmıştır. Ağ ağırlık parametreleri optimize edilirken PKA’nın gizli katman çıkışında denetimsiz bir şekilde yeni bir öznitelik uzayı elde edilmiştir. Orjinal giriş uzayının kullanıldığı literatürdeki diğer ağ tabanlı öbekleme metodlarının [48, 51, 53, 55] aksine, öbek güncelleme işlemi bahse konu yeni öznitelik uzayında yürütülmüştür. Bununla birlikte; PKA’nın kodlama ağırlıklarını (W1) temsil eden ve önerilen yöntemin doğası gereği esasında öbekler arasındaki sınırları oluşturan düzlemler, rastgele seçilmek yerine Voronoi diyagramlarındaki gibi prototip vektörlerin ikili eşleştirilmesi suretiyle daha uygun şekilde ilklendirilmiştir. Bu sayede gizli katmanda yer alan nöron sayısı da rastgele başlatılan prototip vektörlerine göre dinamik olarak belirlenmiştir. İlaveten, her bir örnek için sadece kazanan (en yakın) prototip vektörünü güncellemektense SOM gibi

131

Gaussian komşuluk fonksiyonu kullanılarak kazanan prototipin belirli bir komşuluğundaki tüm prototip vektörleri mesafeleri doğrultusunda bir ağırlık ölçütünde birlikte güncellenmiştir. Bu hususun deneysel sonuçlardaki performansı pozitif yönde etkilediği gözlenmiştir.

Çok katmanlı sinir ağı mimarisinin ikinci aşamasında yer alan ve iki katmandan oluşan DVMA mimarisi PKA’dan elde ettiği öncül öbekleme bilgisini kullanarak mevcut öbekleri iyileştirici yönde güncellemeye çalışmıştır. Bu kapsamda öbekler arasındaki ayırdımı maksimize etmek maksadıyla amaç fonksiyonunda ikinci derece Hinge Loss fonksiyonu kısıtsız bir şekilde kullanılmıştır. Tıpkı PKA gibi, DVMA da öbek güncelleme prosedürünü çıkış katmanındaki aktivasyonların temsil ettiği yeni öznitelik uzayında yinelemeli bir şekilde icra etmiştir. DVMA’daki diğer önemli bir uygulama detayı kernel fonksiyonunda görülmektedir. DVM’nin doğrusal ayırt edicilik doğasını karmaşık hale getirmektense, kernel fonksiyonları DVM’ye girdi sinyalini doğrusal olmayan denklemleri sayesinde ilk elden daha karmaşık hale getirmiştir. Böylelik doğrusal olmayan sınıflama problemlerinin DVM ile çözümüne büyük katkı sağlamıştır. Bu düşünce önerilen ağ mimarilerine de uygun olup Gaussian Kernel Fonksiyonunda prototip vektörleri kerteriz noktaları olarak kullanılmıştır. Böylece bütün girdi örneklerinin kernele kerteriz olarak sokulduğu geleneksel uygulamadan kaçınılarak nitelik boyutlarının örnek sayısına bağlı olarak çoğalması, değişintinin artması ve hesaplama maliyetinin yükselmesi önlenmiştir. Ayrıca orjinal girdi uzayı yerine verinin PKA ağındaki gizli katman aktivasyon değerleri GKF’ye ardışık biçimde sokularak her iki ağ mimarisinin uyum içerisinde çalışması sağlanmıştır.

Önerilen çok katmanlı melez ağ mimarisi literatürde yer alan öbekleme tabanlı benzer ağ yapılarıyla farklı değerlendirme ölçütlerinde karşılaştırılmıştır. Her bir performans spektrumunda deneysel sonuçları analiz etmek üzere, detayları Bölüm 3.1’de verilen internet ortamındaki birbirinden farklı veri depolarından (UCI machine learning, Speech and Image Processing) toplamda dokuz verisetinden yararlanılmıştır. Sentetik iki boyutlu verisetleri temelde görsel analizlerde kullanılırken; gerçek dünya UCI verisetleri analitik çıkarımlarda kullanılmıştır. Deneylerden elde edilen hem görsel hem de analitik sonuçlar PKA+DVMA ağ

132

mimarisinin aynı deney koşullarında diğer algoritmalardan daha başarılı olduğunu göstermiştir.

İlaveten; melez yapının tüm katmanlarındaki nöron sayıları otomatik olarak tespit edilmiş ve ağırlık parametreleri (PKA’daki W1 hariç) rastgele seçilmiştir. Bu kapsamda önerilen mimarinin parametrik karmaşıklığının benzeri olan SOM ve NG algoritmaları ile aynı olduğu değerlendirilmiştir. Diğer taraftan; önerilen melez ağ mimarisinin veri öbeklemede en yakın rakibine göre iki katı kadar bir sürede işlemleri tamamladığı gözlenmiştir. Bunun nedeninin iki ağ yapısının ardışık olarak koşulması ve ağırlık parametrelerinin yinelemelerde mini paketler halinde güncellenmesi olduğu düşünülmektedir. Ancak önerilen her iki ağ yapısının zamanlama olarak bireysel açıdan benzerleri ile mukayese edilebilir oldukları ve önceliğin öbekleme performansına verildiği durumlarda birlikte kullanılabilecekleri önerilmiştir.

Ayrıca dikkat edilmesi gereken husus PKA ve DVMA ağ yapısında öbeklerin yeni öznitelik uzaylarında güncellenmesidir. Özellikle PKA başlangıç ağında gizli öznitelik uzayı denetimsiz bir şekilde oluşturulmuş ve bunun öbekleme kalitesine doğrudan etkisinin olduğu görülmüştür. Bu nedenle, daha büyük veri setleri kullanıldığı takdirde yanlılık etkisinin azaltılacağı ve daha kaliteli örüntüler tespit edilerek öbekleme performansının arttırılabileceği varsayılmaktadır.

Görsel analiz bölümünün bir işlem maddesinde DVMA ağına ardışık olarak beslenen PKA öbekleme sonuçlarının tatmin edici seviyelerde olmadığı varsayılmıştır. Böylece yetersiz bir öbekleme denetimi ile ilklendirilen bir DVMA yapısının bu durumu ne ölçüde telafi edebileceği deneysel olarak araştırılmıştır. Deney ortamını sağlamak üzere, öncelikle PKA yapısında giriş katmanına giren veriye Gauss gürültüsü eklenmiştir. İkinci olarak; yine PKA yapısında öbek merkezleri öznitelik uzayının aykırı bölgelerinde olmak üzere rastgele ilklendirilmiştir. Deneysel analizlerde DVMA ağ yapısının PKA ağındaki öbekleme sonuçlarına katı bir şekilde bağımlı olmadığı, PKA öbekleme konfigürasyonunu değiştirebileceği gözlenmiştir. İlaveten, yinelemeli öbek güncelleme prosedürü gereğince DVMA mimarisinin daha iyi öbekleme sonuçları elde edebilmek adına ilklendirmeden gelen bazı öbekleri feda edebildiği görülmüştür.

133

Son olarak; önerilen PKA mimarisinin ara katman aktivasyon çıkışları görsel olarak analiz edilmiştir. Böylece gizli katmanda öğrenilen örüntülerin girdi öznitelik uzayına nasıl bir dönüşüm uyguladığı görülmüştür. Ayrıca; tek ara katmanlı PKA mimaride geliştirilen öbekleme sonuçlarının birden çok katmanlı ve ara katmanlarda farklı miktarda nöron olmak üzere yığıt şekline dönüştürülmesi ele alınmıştır. Bu nedenle, iki PKA yapısı ardışık olarak birleştirilmiş; ilk PKA’nın öğrenilmesiyle elde edilen ara katman aktivasyon çıkışları ikinci PKA yapısına girdi verisi olarak sunulmuştur. Görsel analizlerde PKA mimarilerinin yığıtlar şeklinde birbirine eklenmesiyle ara katmanlarda kodlayıcı vektörel dönüşümler sonucu daha ayırt edici öznitelik uzaylarının elde edildiği ve öbekleme performansının arttığı sonucuna varılmıştır.

İleriye dönük ağ tabanlı öbekleme çalışması açısından, çok katmanlı sinir ağı içerisinde verilen etiketsiz bir veri seti için optimum öbek sayısının bulunması ve rastgele seçmek yerine başlangıç prototip vektörlerinin daha rasyonel bir şekilde ilklendirilmesi hedeflendirilmektedir. Yapay sinir ağları herhangi bir amaç fonksiyonunu simule edebilecek esnek bir konfigürasyon yapısına sokulabilir. Benzer şekilde, ara katmanlarda hiyerarşik yeni öznitelik uzayları elde edilebilir ve fırsatçı katman tabanlı öğrenim yaklaşımı ile her bir katman farklı bir amaç doğrultusunda görevlendirilebilir. Son olarak çok katmanlı ağ yapılarının karmaşık öbekleme problemlerini denetimsiz bir şekilde ve birbirlerine bağlanmış zincir halkaları şeklindeki görev tanımlarına istinaden yüksek başarı performansı ile çözebileceği önerilmektedir.