Melez ağlar

5.6.4. Melez ağlar

Bazõ ağlar, denetimli ve denetimsiz eğitimi farklõ katmanlarõnda birleştirir. Genel olarak, denetimsiz eğitim, veriyi kümelemek için en düşük dereceli katmana uygulanõr ve sonra bu kümeler ile istenen çõkõşlarõ ilişkilendirmek için geri yayõlõm daha üst katman veya katmanlarda uygulanõr. Örnek olarak bir Radyal Esaslõ Fonksiyon ağõnda, gizli katman standart rekabetçi öğrenme algoritmasõ ile eğitilen hiperküreleri tanõmlayan nöronlarõ içerirken, Delta Kuralõ ile eğitilmiş çõkõş katmanõ bu kavrayõşlõ alan fonksiyonlarõnõn normalleştirilmiş doğrusal kombinasyonlarõnõ hesaplar. Bu tür melez ağlarõn cazibesi, çok katmanlõ geri yayõlõm algoritmasõnõ, eğitim süresini oldukça düşüren tek katmanlõ Delta Kuralõ’na indirgemesidir. Diğer bir yandan, bu tür ağlar, genelde entegre bir biçimde eğitilme yerine, bağõmsõz modüller açõsõndan eğitildiklerinden, tamamen geri yayõlõm algoritmasõ ile eğitilen ağlara göre biraz daha düşük doğruluğa sahiptir.

5.6.5. Dinamik ağlar

Yukarõdaki dört alt bölümde anlatõlan statik yapõdaki ağlarõn yanõnda, en iyi performansa erişmek için zamanla mimarileri değişen dinamik ağlar mevcuttur. Mimarinin değişmesi bir ağa nöron ve/veya ağõrlõk silinmesini veya eklenmesini içerir. Bu zõt yaklaşõmlara sõrasõyla budama-pruning ve yapõm-construction denir. Bu yaklaşõmlardan budama, sadece seçilen öğelerin göz ardõ edilmesini içermesinden dolayõ daha kolay olma eğilimindeyken, yapõm algoritmalarõ, çoğu zaman küçük yapõda olmalarõ nedeniyle daha hõzlõ olma eğilimindedirler.

Tabi ki budama, ağdaki en az yararlõ öğelerin tanõmlanmasõ için bir yöntem gerektirir. Karmaşõk olmayan açõk bir teknik, en küçük büyüklüklü ağõrlõklarõn silinmesidir. Bu genellemeyi geliştirebildiği gibi bazen de yanlõş ağõrlõklarõ çõkarõr. Daha karmaşõk ancak daha güvenilir bir yaklaşõm olan En Uygun Beyin Hasarõ-Optimal Brain Damage, kaldõrõlmasõ ile ağõn çõkõş hata fonksiyonunda en az artõşa neden olacak ağõrlõklarõ tanõmlar. Bu, bilginin ikinci dereceden türevinin hesaplanmasõnõ gerektirir.

Yapõcõ algoritmalar arasõnda, Cascade Correlation en yaygõn ve etkili olanõdõr. Bu algoritma gizli katmansõz nöronu olmadan başlar, ama herhangi kalan çõkõş hatasõnõ kesilmesine yardõmcõ olduklarõ sürece kademeli olarak ekler. Eğitimin her aşamasõnda, ağdaki tüm önceki ağõrlõklar dondurulur ve yeni bir aday birimleri havuzu çõkõş olmayan tüm birimlere bağlanõr. Her aday birim, birimin çõkõşõ ile ağõn kalan hatasõ arasõndaki bağlantõnõn en yükseğe çõkarõlmasõ için eğitilir ve sonra en etkili birim tamamen ağla birleştirilirken diğer aday birimler atõlõr. Birimin çõkõş katmanõna olan ağõrlõğõ iyi ayarlanmõştõr. Bu işlem, ağ kabul edilebilir bir performansa ulaşõncaya kadar tekrarlanõr. Bu algoritma, çabuk bir biçimde mükemmel performans sergileyen, yoğun ve güçlü ağlar kurabilir.

Son olarak, Bodenhausen, Otomatik Yapõ Eniyileştirilmesi-Automatic Structure Optimization adõ verilen bir yapõcõ algoritma geliştirmiştir. Özellikle kõsõtlõ eğitim verisinin verildiği, ses tanõma ve çevrimiçi el yazõsõ tanõma gibi uzay ve zamana ait

görevler için tasarlanmõştõr. ASO algoritmasõ küçük bir ağ ile başlar, ve daha sonra bağlantõlar, zaman gecikmeleri, gizli nöronlar ve durum birimlerini içeren kaynaklarõ ekler [65].

5.7. Geri Yayõlõm Algoritmasõ

Geri yayõlõm algoritmasõ, çok katmanlõ ağlarõn eğitilmesinde yaygõn bir biçimde kullanõlan algoritmadõr. Delta kuralõnda olduğu gibi performans göstergesi, hata kareleri ortalamasõ olan algoritmanõn delta kuralõndan tek farkõ sadece bu algoritmada türevlerin hesaplanmasõdõr. Tek katmanlõ bir ağda hata, açõkça ağ ağrõlõklarõnõn doğrusal bir fonksiyonudur ve ağõrlõklara göre türevi kolaylõkla hesaplanabilir. Doğrusal olmayan transfer fonksiyonlu çok katmanlõ ağlarda ağ ağõrlõklarõ ve hata arasõndaki ilişki daha karmaşõktõr. Türevlerin hesaplanmasõnda değişkenler hesabõnõn zincir kuralõ kullanõlõr. Perseptron öğrenme kuralõ ve delta kuralõ algoritmasõ tek katmanlõ perseptron benzeri ağlarõn eğitilmesi için tasarlanmõştõr. Ancak bu tek katmanlõ ağlarda, sadece doğrusal olarak ayrõlabilen sõnõflandõrma problemlerini çözebildiklerinin verdiği dezavantajõn sõkõntõsõ duyulmuştur. Bu kural ve algoritmalarõn tasarõmcõlarõ bu kõsõtlamalarõn farkõndaydõlar ve bunun üstesinden gelebilmek için çok katmanlõ ağlarõ önermişler, ancak bu daha güçlü ağlarõ eğitmek için algoritmalarõnõ genelleştirememişlerdir.

Geçmişe bakõldõğõnda çok katmanlõ ağlarõn eğitilmesi için bir algoritmanõn ilk tanõmlamasõ Werbos’un tezinde bulunmaktadõr. Bu tez, genel ağlar bağlamõnda bir algoritma ile özel bir durum için sinirsel ağlar sunmuştur. Geri yayõlõm algoritmasõnõn tekrar keşfedilerek yaygõn biçimde kullanõlmasõ 1980’lerin ortalarõnõ bulmuştur. Rumelhart, Hinton ve Williams, Parker, Le Cun gibi birbirlerinden bağõmsõz araştõrmacõlar tarafõndan ayrõ ayrõ bulunmuştur. Rumelhart ve McClelland’õn önderliğindeki Paralel Dağõtõk İşleme Grubu’nun çalõşmasõ, Paralel Dağõtõk İşleme kitabõna dahil edilmesi ile yaygõnlaşmõştõr [62].

Bir ağõ eğitmekteki amaç, bir giriş veri kümesine karşõlõk olarak özel bir fonksiyonel karakteristiği elde edebilmek için çõkõşlar oluşturmak üzere ağõrlõklarõn ayarlanmasõdõr. Eğitmenin tam olabilmesi için, her bir giriş vektörüne karşõlõk istenen çõkõş vektörünü gösteren bir hedef çõkõş vektörü olmalõdõr. Bu giriş ve hedef çõkõş vektörleri bir eğitim çiftini oluşturur. Bir geri yayõlõm ağõndaki öğrenme aşağõdaki basamaklardan oluşur [70].

1. Eğitim kümesinden bir sonraki eğitim çifti seçilir ve ağ girişine giriş vektörü uygulanõr.

2. Ağõn çõkõş hesaplanõr.

3. Ağ çõkõşõ ile istenen vektör (eğitim çiftindeki hedef vektör) arasõndaki hata hesaplanõr.

4. Hata küçültülecek şekilde ağõn ağõrlõklarõ ayarlanõr.

Bu adõmlar, performans kriteri, hata kareleri ortalamasõ olan bir ağda, hata kareleri ortalamasõ istenen belirli bir sõnõr değerinin altõnda kalmasõ sağlanana kadar tekrar edilir. Bu sõnõr değer ulaşõldõğõnda ağõn yapõlacak iş için eğitildiği sonucuna varõlõr. İstenildiği zaman kullanõlabilmesi amacõyla ağõn bu koşulunu sağlayan ağõrlõklarõ saptanõr ve saklanõr. Eğitimi yapõlan işin uygulanmasõ sõrasõnda ağ, bu ağõrlõk değerlerini kullanarak sonuca ulaşõr.