2. YAPAY SİNİR AĞLARI
2.1 Yapay Sinir Ağları
Yapay sinir ağları (YSA) modelleri üzerinde, özellikle insan mantığı gibi bir tanımlama performansı yakalamak için yaygın olarak çalışılmıştır. Tanımlama ve iz yakalama konuları YSA üzerinde çalışanların ilgi alanı olmuştur. Uygulama alanlarına örnek olarak, iz tanımlama (path recognition), fonksiyon benzeşimi (function approximation), optimizasyon, tahmin ve otomatik kontrol uygulamaları gösterilebilir. YSA modellerinde bulunan ağlarda birbirleriyle paralel olarak çalışan ve insanlardaki sinir hücrelerindeki bağlantıları taklit eden bir takım nonlineer hesap elemanları bulunmaktadır. Bu sayede, özellikle lineer olmayan problemlerin çözümünde yüksek performans göstermektedir.
YSA’lar bağlantı modelleri, paralel dağılımlı işlem modelleri ve sinirsel sistemler gibi birçok şekilde anılırlar. Bağlantısal düşünme mantığının temelleri Yunan filozof Aristo’ya dayanır. İnsan mantığının temelinde birbirine değişik mekanizmalarla bağlı olan çeşitli elemanlardan oluştuğunu söylemiştir.
Sinir ağlarının uygulama alanına iki ana perspektiften bakılabilir. Birincisi, bir şeylerin nasıl olduğunu kavramaya çalışan bilim dalı yani mantıktır. İkincisi ise bağlantı kurma, yaklaşımda bulunma ve veri işleme teorisidir. Bu çalışmada YSA’lara mühendislik perspektifinden yaklaşılmıştır.
YSA’lar iz bağlantısı konusunda ileri beslemeli ve geri beslemeli olarak ikiye ayrılırlar. İleri beslemeli ağlarda döngü yoktur. Geri beslemeli ağlarda geriye doğru bağlantılar olduğu için döngüler oluşur. İleri beslemeli ağların hafızası yoktur. Verilen girdilere göre sadece tek bir çıktı seti alınır. Bunun aksine, geri beslemeli ağların geçici bellekleri vardır. Bu yüzden istatistiksel çalışmalarda çok iyi sonuçlar verir. Bu tezdeki tahmin çalışmalarında geri beslemeli YSA modeli kullanılmıştır.
2.1.1 Yapay Sinir Ağlarının Tarihi
1943 yılında, sinirbilimcisi olan McCulloch ve matematikçi Pitts, ilk hücre modelini geliştirmişlerdir. Bu çalışmada yazarlar biyolojik sinir hücresinden etkilenerek temel mantık işlemleri yapabilen basit bir işlem birimi modeli gerçekleştirmişlerdir. Bunun yanında birkaç hücrenin ara bağlaşımını incelediler. Hebb, 1949 yılında hücre bağlantılarını ayarlamak için ilk öğrenme kuralını önermiştir.
1958'de Rosenblatt, algılayıcı (perceptron) modelini ve öğrenme kuralını geliştirerek, bugün kullanılan kuralların temelini koymuştur.
1960 yılının ortalarından, 1980 yılının basına kadar bir durgunluk dönemi yaşanmıştır. Çalışmaları büyük ölçüde azaltan bu durgunluğun en önemli faktörlerinden birisi o dönemdeki bilgisayarların işlem kapasitelerinin yetersiz oluşudur. Günümüzde, seri olarak çalışan hızlı birimlerden oluşmuş sayısal bilgisayarlar, aritmetik işlemlerde yüksek hız, kapasite ve güvenilirlik sağlamışlardır.
Yapay sinir ağlarındaki yeniden dirilişe donanım teknolojisindeki gelişmelerin katkısı büyük olmuştur. Bilgisayarlar boyut olarak küçülmüş, fakat bellek ve yetenek bakımından sürekli büyümüş ve gelişmişlerdir. Optik ve dijital teknolojideki gelişmeler ve VLSI teknolojileri gibi teknolojilerin keşfedilmesi bilgisayarların hızlarını arttırmış ve yapay sinir ağlarının kullanımını kolaylaştırmıştır. Günümüzde yapay sinir ağları artık teorik ve laboratuar çalışmaları olmaktan çıkmış ve günlük hayatta kullanılan sistemler oluşturmaya ve pratik olarak insanlara faydalı olmaya başlamışlardır.
2.1.2 Yapay Sinir Ağı Hücresi
Temel bir yapay sinir ağı hücresi biyolojik sinir hücresine göre çok daha basit bir yapıya sahiptir. En temel nöron modeli aşağıdaki şekilde görülmektedir. Yapay sinir ağı hücresinde temel olarak dış ortamdan ya da diğer nöronlardan alınan veriler yani girişler, ağırlıklar, toplama fonksiyonu, aktivasyon fonksiyonu ve çıkışlar bulunmaktadır. Dış ortamdan alınan veri ağırlıklar aracılığıyla nörona bağlanır ve bu ağırlıklar ilgili girişin etkisini belirler. Toplam fonksiyonu ise net girişi hesaplar, net giriş, girişlerle bu girişlerle ilgili ağırlıkların çarpımının bir sonucudur. Aktivasyon fonksiyonu işlem süresince net çıkışını hesaplar ve bu işlem aynı zamanda nöron çıkışını verir. Genelde aktivasyon fonksiyonu doğrusal olmayan (nonlineer) bir fonksiyondur. Şekil 2.1’de görülen b bir sabittir, bias veya aktivasyon fonksiyonunun eşik değeri olarak adlandırılır. Nöronun matematiksel modeli şöyledir:
Şekil 2.1 Temel yapay sinir ağı hücresi.
Çıkış, o = f (W.X + b) (2.1)
şeklinde nöron çıkışı hesaplanır. Buradaki W ağırlıklar matrisi, X ise girişler matrisidir. n giriş sayısı olmak üzere;
W= w1,w2, w3, ...., wn (2.2)
X = x1, x2, x3, ..., xn (2.3)
şeklinde yazılabilir. Normalize edersek;
net =
∑
= + n i i ix b w 1 ve o = f (net) (2.4) ) ( 1∑
= + = n i i ix b w f o (2.5) şeklinde de yazılabilir.Yukarıdaki formülde görülen f aktivasyon fonksiyonudur. Genelde nonlineer olan aktivasyon fonksiyonunun çeşitli tipleri vardır.
w1
Σ
f
b= ±1 x1 x2 x3 xn wn2.1.3 Aktivasyon Fonksiyonları
Şekil 2.2’de eşik aktivasyon fonksiyonunun grafiği görülmektedir. Eşik aktivasyon fonksiyonu, eğer net değeri sıfırdan küçükse sıfır, sıfırdan daha büyük bir değer ise net çıkışında +1 değeri verir. Eşik aktivasyon fonksiyonunun –1 ile +1 arasında değişeni ise signum aktivasyon fonksiyonu olarak adlandırılır. Signum aktivasyon fonksiyonu, net giriş değeri sıfırdan büyükse +1, sıfırdan küçükse –1, sıfıra eşitse sıfır değerini verir.
Şekil 2.2 Eşik aktivasyon fonksiyonu.
Şekil 2.3’te ise doğrusal aktivasyon fonksiyonu görülmektedir. Lineer aktivasyon fonksiyonunun çıkışı girişine eşittir. Sürekli çıkışlar gerektiği zaman çıkış katmanındaki aktivasyon fonksiyonunun lineer aktivasyon fonksiyonu olabildiğine dikkat edilmelidir.
Şekil 2.3 Doğrusal aktivasyon fonksiyonu. Doğrusal aktivasyon fonksiyonu;
f(x) = x (2.6)
şeklinde ifade edilir.
zamanda lojistik fonksiyon olarak da adlandırılmaktadır. Bu fonksiyonunun lineer olmamasından dolayı türevi alınabilmekte; böylece daha sonraki bölümlerde görülecek olan geri yayınımlı ağlarda kullanmak mümkün olabilmektedir.
Şekil 2.4 Logaritma Sigmoid aktivasyon fonksiyonu. Lojistik fonksiyonu, x) exp(-β 1 1 ) lojistik(x f(x) + = = (2.7)
şeklinde ifade edilir. Buradaki β eğim sabiti olup genelde bir olarak seçilmektedir. Diğer bir aktivasyon fonksiyonu olan hiperbolik tanjant aktivasyon fonksiyonu da lineer olmayan türevi alınabilir bir fonksiyondur. +1 ile –1 arasında çıkış değerleri üreten bu fonksiyon lojistik fonksiyona benzemektedir. Denklemi aşağıda görüldüğü gibidir,
x x x x e e e e tanh(x) f(x) −− + − = = (2.8)
Bu aktivasyon fonksiyonlarından başka fonksiyonlar da vardır. Yapay sinir ağında hangi aktivasyon fonksiyonunun kullanılacağı probleme bağlı olarak değişmektedir. Yukarıda verilen fonksiyonlar en genel aktivasyon fonksiyonlarıdır.
2.1.4 Yapay Sinir Ağları Modelleri
En basit ve en genel yapay sinir ağları tek yönlü sinyal akışını kullanırlar. Yapay sinir ağı modelleri temel olarak iki grupta toplanmaktadır. İleri beslemeli yapay sinir ağları ve geri beslemeli yapay sinir ağları (Şekil 2.5 ve Şekil 2.6). İleri beslemeli yapay sinir ağlarında gecikmeler yoktur, işlem girişlerden çıkışlara doğru ilerler. Çıkış değerleri öğreticiden alınan istenen çıkış değeriyle karşılaştırılarak bir hata sinyali elde edilerek ağ ağırlıkları güncellenir.
Şekil 2.5 İleri beslemeli yapı, (Yurtoğlu, 2005).
Geri beslemeli yapay sinir ağlarında ise tıpkı kontrol uygulamalarında olduğu gibi gecikmeler söz konusudur. Geri beslemeli Yapay Sinir ağ, çıkışlar girişlere bağlanarak ileri beslemeli bir ağdan elde edilir. Ağın t anındaki çıkışı o(t) ise, t + Δ anındaki çıkışı ise o(t+ Δ)’dır. Buradaki Δ sabiti sembolik anlamda gecikme süresidir. İleri beslemeli yapay sinir ağları gösterimi kullanılarak o(t+Δ) şöyle yazılabilir:
o(t+Δ) = f [W.o(t)]. (2.9)
Bu formül, Şekil 2.6 da gösterilmektedir. Dikkat edilmesi gereken nokta başlangıç anında x(t)’ye ihtiyaç duyulmasıdır. Başlangıç anında o(0) = x(0)’dır.
Şekil 2.6 Geri beslemeli yapı, (Yurtoğlu, 2005).