Yapay Sinir Ağları

Yapay sinir ağları, insan beyninin özelliklerinden olan öğrenme yolu ile yeni bilgiler türetebilme, yeni bilgiler oluşturabilme ve keşfedebilme gibi yetenekleri herhangi bir yardım almadan otomatik olarak gerçekleştirmek amacı ile geliştirilen bilgisayar sistemleridir. İnsan beynine benzer şekilde öğrenme, ilişkilendirme, sınıflandırma, genelleme, özellik belirleme ve optimizasyon gibi konularda uygulanmaktadır. Yapay sinir ağları örneklerden elde ettikleri bilgiler ile kendi deneyimlerini oluşturur ve daha sonra benzer kararları verirler (Öztemel 2003).

Sinir ağlarının başlangıcı 1940’lara dayanmaktadır. İlk olarak 1943 yılında bir sinir hekimi olan Warren McCulloch ile bir matematikçi olan Walter Pitts beynin hesaplama gücünün kaynağını araştırıp sinir sistemini inceleyerek, sinir sisteminde çok sayıda basit sinirin oluşturduğu bir birlik olduğunu bulmuşlar ve elektrik devreleriyle ilk sinir ağı modelini oluşturmuşlardır. 1949 yılında ise Hebb “Organization of Behavior” isimli kitabında öğrenme ile ilgili temel teoriyi ele almıştır. Hebb, öğrenebilen ve uyum sağlayabilen sinirler ve sinirlerin aralarındaki bağlantılar için öğrenme kuralını geliştirmiştir. Bunlar Hebb Kuralı olarak bilinmekte ve günümüzde kullanılan sinir ağları modellerinin temelini oluşturmaktadır. Fakat bundan sonra yaklaşık yirmi yıllık bir dönemde sinir ağları üzerinde yapılan çalışmalar önemli ölçüde azalmıştır. 1970’li yıllarda yapılan çalışmaların en önemlisi çok tabakalı ağlar için eğitim modelinin bulunuşu olmuştur. Geri besleme ağı olarak adlandırılan yeni bir öğrenme algoritması geliştirilmiştir. Geri besleme yöntemi ile doğrusal ayrılabilir olmayan problemler çözülebilmektedir. 1990’lı yıllarda çalışmalar yeniden hız kazanmış ve günümüze dek uzanmıştır. Sinir ağları “akıllı sistemler”in oluşturulabilmesi için büyük bir araç olarak kabul edilmişlerdir (Collins and Clark 1993, Fausset 1994, Warner and Mısra 1996, Elmas 2003b).

3.1.1 Yapay sinir ağı modelleri

Yapay sinir ağları, birbirleriyle bağlantılı çok sayıda basit sinirin oluşturduğu bir modeldir. Ağı oluşturan sinirler beynin yapısını taklit ederek matematiksel hesaplamalar yapabilmektedir. Bu hesaplamalar sistemin en temel elemanı olan nöronlar (sinirler) ve nöronların birbirleriyle olan bağlantıları yardımıyla gerçekleşmektedir. Sinir ağları birbirleriyle yüksek bağlantıya sahip bu nöronlardan oluşmaktadır. Nöronların sayısı ağın yapısını belirlemektedir. Sayı büyük olduğunda bağlantılar karışabilmektedir.

Basit bir nöron modeli Şekil 3.1’ de görülmektedir. Burada, Xi girdileri (i=1,2,...,N), wmi

ağırlık katsayılarını (i=1,2,...,N; m=1,2,...,M), Ys çıktıları (s=1,2,...,S) göstermektedir.

Şekil 3.1’ de oklar bağlantıların ve akış sinyalinin yönünü gösterirler. Sinyaller sadece oklarla gösterilen yön boyunca iletilirler. İki nöron arasındaki bağlantı, girdi nöronlarının çıktı nöronları üzerindeki etkisini gösteren sayısal değerlere sahiptir. Bu değerlere ağırlık denir. Her bir nörondan çıkan sinyaller, nöronların arasındaki bağlantıların ağırlık değerleriyle modüle edilirler. Ağırlıklar girdi sinyallerinin yoğunluğunu gösteren adaptasyon katsayıları olarak da tanımlanabilir (Warner and Mısra 1996, Hwang and Ding 1997).

X1

wm1

X2 wm2

Xi

wmN

XN

Şekil 3.1 Basit nöron modeli

wmi m

Ys

Bir sinir ağı modeli için, t zamanında, ağ içerisindeki bir nörona gelen net girdi sinyallerinin toplamı,

 

 N

i mi i

m t w t x t

net

1 ( ) ( )

)

( (3.1)

biçimindedir. Eşitlik (3.1)’ de

net_m(t): ağın m. nöronuna gelen net girdi sinyali

w_mi(t) : i. nöron ile m. nöron arasındaki bağlantının ağırlığı x_i(t) : i. nörondan m. nörona giden çıktılar

N : m. nöron ile bağlantıya sahip diğer birimlerin sayısı

dır. Her bir nörona ait çıktı değerinin hesaplanması bir dönüşüm sürecidir. Bu süreç aktivasyon fonksiyonu adı verilen bir transfer fonksiyonu yardımıyla gerçekleşmektedir (Veaux et al. 1998). Ağlarda yer alan sinir gövdeleri yardımıyla karşılaştırma yapılır.

Herhangi iki nöronun arasından geçen sinyal, hem aktivasyon fonksiyonuna hem de bağlantının ağırlığına bağlıdır (Flitman 1997). Modelde yer alan bir nöronun girdilerinin ağırlıklandırılmış toplamı yani net girdi değeri bir aktivasyon fonksiyonundan geçer. Bu fonksiyondan elde edilen sonuç değer, bu nöronun çıktı değeridir. Sonuçta elde edilen çıktılar matematiksel olarak,

)) ( ( )

(t g net t

Y_m  _{m m} (3.2)

eşitliği ile hesaplanır. Eşitlik (3.2)’ de

g (.) : aktivasyon fonksiyonunu,_m Y_m(t) : m. nöronun çıkışını

göstermektedir.

Bir modelde kullanılan aktivasyon fonksiyonunun belirlenmesi bazı faktörlere bağlıdır.

En çok kullanılan aktivasyon fonksiyonu tipleri katı sınırlayıcı, doğrusal, rampa, adım,

eşik, sigmoid fonksiyonlarıdır (Vemuri 1992).

Bir yapay sinir ağı modeli birbirleriyle bağlantılı sinirlerin yer aldığı tabakalardan oluşmaktadır. Girdi tabakası, çıktı tabakası ve gizli tabaka olmak üzere temelde üç tabaka bulunmaktadır.

Girdi tabakası ilk tabakadır ve istatistikte bağımsız değişkenlere karşılık gelen girdi değişkenlerinden meydana gelir. Son tabaka çıktı tabakası olarak adlandırılır ve istatistikte bağımlı değişkenlere karşılık gelen çıktı değişkenlerinden meydana gelir.

Modeldeki diğer tabakalar ise girdi tabakası ile çıktı tabakası arasında yer alır ve gizli tabaka olarak adlandırılır. Bir yapay sinir ağı modeli Şekil 3.2’ de gösterilmiştir.

Gizli tabakada bulunan sinirlerin dış ortamla bağlantıları yoktur. Yalnızca girdi tabakasından gelen sinyalleri alırlar ve çıktı tabakasına sinyal gönderirler (Warner and Mısra 1996). Gizli tabakadaki gizli sinirlerin sayısının seçimi ağın basit ya da karmaşık bir yapıda olmasını etkilediğinden oldukça önemlidir. Ağın büyüklüğünün tanımlanması, ağın performansının bilinmesi açısından önem taşımaktadır (Zaruda 1992, Stergiou and Siganos 1996).

Girdi Tabakası Gizli Tabaka Çıktı Tabakası

... ... ...

... ... ...

Şekil 3.2 Yapay sinir ağı modeli

Yapay sinir ağları işleyiş şekillerine göre ileri beslemeli ve geri beslemeli yapay sinir ağları olmak üzere iki şekilde incelenir.

İleri beslemeli yapay sinir ağlarında sinyaller sadece tek bir yönde, girdi tabakasından çıktı tabakasına doğru yönelir. Bir tabakanın çıkışı aynı tabakayı etkilemez. İleri beslemeli ağlarda, sinirler yalnızca bir sonraki tabakada bulunan sinirlerle bağlantıya sahiptir.

Geri beslemeli yapay sinir ağlarında, sinyalin yönü girdi tabakasından çıktı tabakasına doğrudur. Fakat aynı zamanda, bir tabaka üzerinde yer alan sinirler, kendisinden, tabakadaki diğer sinirlerden veya diğer tabakalardaki sinirlerden sinyal alabilmektedir.

Bu nedenle geri beslemeli ağlarda bir sinirin çıkışı, sinirin o andaki girdileri ve ağırlık değerleriyle belirlenmesinin yanında bazı sinirlerin bir önceki süredeki çıkış değerlerinden de etkilenir. Bu tür ağlar çok güçlü ve karmaşıktır. Geri beslemeli yapay sinir ağları genellikle en iyileme problemlerinin çözümünde kullanılır (Stergio and Siganos 1996).

3.1.2 Yapay sinir ağlarında öğrenme

Yapay sinir ağlarında bilgi, ağdaki bağlantıların ağırlıklarında depolanır. İstenen bir işlevi yerine getirecek şekilde ağırlıkların ayarlanması süreci yapay sinir ağlarında

“Öğrenme ya da Eğitim Süreci” olarak adlandırılır. Bu süreç, ağ iyi bir performans elde edinceye kadar devam eder. Sinir ağları modelinde önce açıklayıcı değişkenler belirlenir. Daha sonra meydana gelen çıktı ile arzu edilen çıktı değerleri karşılaştırılır.

Karşılaştırmanın sonucuna göre ağ, tabakaların arasındaki ağırlıkların değerlerini değiştirerek ayarlama yapar. Böylece öğrenme gerçekleşir.

1950’li yıllardan bu yana birçok araştırmacı Hebb’in kurallarını temel alarak öğrenmenin nasıl daha iyi olacağı konusunda araştırmalarını sürdürmüşler ve yeni öğrenme yöntemleri geliştirmeye çalışmışlardır. Temelde bu öğrenme yöntemleri, gözetimli ve gözetimsiz öğrenme olarak iki gruba ayrılmaktadır.

Gözetimli öğrenme, eğitmenli öğrenme olarak da adlandırılır. Sistemde yer alan her bir girdi değişkeni ile ilişkide olan hedef çıktı değerleri bilindiği zaman, gözetimli öğrenmeye ihtiyaç duyulur. Başka bir deyişle sistemdeki girdilere karşılık üretilmesi arzu edilen çıktılar belirtilir. Bu girdi değişkenlerini ve bunlara karşılık üretilmesi istenen çıktı değerlerini içeren veri seti, eğitim seti olarak adlandırılır. Gözetimli öğrenme sürecinde, ağın oluşturduğu çıktılar ile arzu edilen çıktı değerleri karşılaştırılır ve aralarındaki fark hesaplanır. Bu fark ağın eğitiminde kullanılır. Fark en küçük olacak şekilde bağlantı ağırlıkları düzenlenir. Gözetimli öğrenmeyi kullanan sinir ağları için birçok farklı algoritma vardır. Geri besleme algoritması, bunlar içinde en yaygın olanıdır.

Gözetimsiz öğrenme, eğitmensiz öğrenme olarak da adlandırılır. Burada girdi değişkenlerine karşılık arzu edilen çıktılar belirtilmez. Ağ yalnızca girdi modelini öğrenir. Öğrenme süreci üzerindeki geri dönüşün kaynağı belli değildir. Tabakalar arasındaki ağırlıkların ayarlanması ağ tarafından kendiliğinden gerçekleştirilir (Warner and Mısra 1996, Elmas 2003b).