Yapay sinir ağlarının tarihsel gelişimi

İnsan beyninin çalışma sistematiği ve fonksiyonları uzun yıllar boyunca araştırılmıştır. 1940’tan önceki yıllarda bazı bilim adamlarının yapay sinir ağı kavramı üzerinde çalıştıkları bilinmektedir ancak bu çalışmaların mühendislik değeri olduğu söylenemez. 1940’lı yıllardan sonra Hebb, McCulloch ve Pitts gibi bilim adamları gerçekleştirilen araştırmaları mühendislik alanlarına kaydırmaya başlamışlardır. Özellikle ilk yapay sinir hücresinin yapısı ortaya konulması günümüzdeki yapay sinir ağlarının temellerini oluşturmuştur. Araştırmacılar yapay sinir ağları ile her türlü mantıksal ifadeyi formülize etmenin mümkün olabileceğini göstermişlerdir. Bununla

birlikte hücrelerin birbiriyle paralel çalışması gerektiği fikrini ortaya atarak öğrenme kurallarını belirlemeye başlamışlardır.

Yapay sinir ağlarında ilk girişimler McCulloch ve Pitts’in 1943 yılında nöroloji konusunda ortaya attıkları modellerle başlamıştır. Bu modeller geliştirilirken nöronların çalışma şekilleri hakkında birtakım varsayımlarda bulunmuştur. Ortaya konulan ağlar, sabit eşik değerlerine sahip olarak ikili (binary) nöronları baz almıştır. Model çıktıları ise ve / veya şeklindeki basit mantıksal fonksiyonlardı. Büyük işlemcilerin geliştirilmeye başlandığı 1950’li yıllarda, beyin hücrelerinin taklidini gerçekleştiren sinir ağlarının oluşturulabilmesi mümkün hale gelmiştir. Yapay sinir ağı simülasyonları dijital işlemcilerin geliştirilmesinden sonra ise büyük bir ivme kazanmıştır. IBM araştırmacılarından Farley ve Clark 1954 yılında, Rochester, Holland, Haibit ve Duda ise 1956 yılında bilgisayar simülasyonları yardımıyla bu konuda yeni girişimde bulunmuşlardır. Özellikle nörobilimcilerle beraber gerçekleştirilen çalışmalar, bu konudaki çoklu disiplinli bir çalışma trendinin gelişimine de öncülük etmiştir.

Yapay sinir ağlarının gelişiminde sadece nörobilimin etkisi yoktur, bununla birlikte mühendisler ve psikologlar da sinir ağı simülasyonlarındaki ilerlemelere büyük katkıda bulunmuştur. Rosenblatt, 1958 yılında algılama ağını (perception) geliştirdikten sonra, bu alandaki etkinlikler daha da canlanmıştır [51]. Algılama ağı prensip olarak üç tabaka halinde tasarlanmıştı ve ortadaki tabaka birleştirme tabakası olarak adlandırılıyordu. Bu ağ, bir veri girdi kümesinin rassal bir çıktıya bağlanma veya birleşme şeklinde bağlantı ağırlıklarının ilişkiye göre ayarlayarak öğrenebilmekteydi. Stanford Üniversitesinden Hoff ve Widrow, 1960 yılında basit bir analog elektronik alet olan ADALINE’ı geliştirmiştir. Bu sistem en küçük ortalama kareler (LMS - Least Mean Square) algoritmasını kullanmaktadır ve bu yönüyle algılama ağından farklılaşmaktadır.

Bununla beraber, bu alandaki araştırmalar ve çalışmalar her ne kadar büyük bir ilgi ile başlamış olsa da beklenen gelişmelerin gerçekleşmemesi ve birtakım problemlerin çıkması sonucunda konuya bir süre ilgi azalmış ve suskunluk dönemine girilmiştir. Minsky ve Papert, 1969 yılında yayınladıkları bir kitapta, araştırmacılar arasında ön

plana çıkan ve ekstra analiz yapılmadan kabul gören olumsuzlukları toplamışlardır. Bu kitapta tek tabakalı algılama ağının, çok tabakalı sistemlere göre bir takım sınırlamaları olduğu belirtilmiştir. Yazarların sezgisel görüşleri, çok tabakalı sistemlere genişlemenin verimsiz olduğunu ortaya koymaktadır. Araştırmacılar tarafından ortaya çıkarılan ve iteratürde XOR problemi olarak bilinen bu sorun nedeniyle, yapay sinir ağları konusunda önyargılar oluşmuş, araştırma bütçelerinde kısıntıya gidilmiştir.

Bilimsel ve maddi katkıların minimum olduğu bu dönemde, yine Minsky ve Papert tarafından tanımlanan ve sinir ağları sınırlamalarını etkisiz kılan yeni bir teknoloji geliştirilmiştir. Yapay sinir ağlarının tarihsel gelişimi bakımından Rummelhart ve arkadaşlarının literatüre katkısı oldukça büyüktür. Paralel programlama konusundaki bu çalışmalar sonucunda, çok katmanlı algılayıcıların bulunması ile XOR problemi çözülmüş ve yapay sinir ağlarının çalışmadığını söyleyen tüm tezler çürütülmüştür [52]. Yapay sinir ağları konusunda bilimadamları tarafından ortaya konulan birtakım paradigmalar bulunmaktadır. Klopf, 1972 yılında heterostasis olarak adlandırılan ve nöronsal öğrenmenin biyolojik prensiplerine dayanan bir temel oluşturduğu bir model ortaya koymuştur.

Werbos, 1974 yılında geribesleme öğrenme metodunu geliştirmiş ve bu metod birkaç yıl sonrasında büyük popüleriteye sahip olmuştur. Günümüzde geribesleme ağ modeli en çok bilinen ve kullanılan yapay sinir ağlarıdır. Fukishima tarafından 1975 yılında el yazısı karakterlerini yorumlamak için adım adım (step wise) eğitilmiş çok katmanlı bir ağ modeli ortaya konulmuştur. 1980 yılında beyin fonksiyonları hakkında bilgi veren ilk eser yayınlanmıştır. Kohonen, 1982 yılında kendi kendine öğrenme nitelik haritaları (self-organizing feature maps - SOM) konusundaki çalışmasını yayınlamıştır. Grossberg, yapay sinir ağlarının mühendislik uygulamalarındaki kolaylığını ve psikolojik mantıksallığını göstermiş, Carpenter ile birlikte Adaptif Rezonans Teorisini (ART) geliştirmiştir. Bu teori ile öğretmensiz öğrenme konusunda zamanının geliştirilmiş en karmaşık yapay sinir ağı literatüre kazandırılmıştır.

1986’da Rumelhard "ler" beslemel" modellerde yen" b"r öğrenme model" oluşturarak hatanın ger"ye yayılımı algor"tmasını (Back Propagat"on) gel"şt"rm"şt"r. 1988’de Broomhead ve Lowe, çok katmanlı ağlara alternat"f olarak radyal temell" fonks"yonlar

model•n• (Rad•al Bas•s Funct•ons - RBF) gel•şt•rm•şt•r [52]. Daha sonra Specht bu ağların gel•şm•ş şekl• olan olasılıksal (PNN) ve genel regresyon ağlarını (GRNN) gel•şt•rm•şt•r. 1995 yılında gerçekleşt•r•len çalışmalarda yankı algor•tmalarını araştıran b•r düşünce okulunun temeller•n• atarken, bu yazarlar örüntü sınıflandırma ve hata düzeltme metodu konularında matemat•ksel modeller gel•şt•rm•şt•r.

1970’li yılların sonları ile 1980’li yılların başlarındaki bu ivmelenme yapay sinir ağları alanına ilginin yeniden canlanması bakımından çok önemlidir. Özellikle kitaplar, dergiler, konferanslar ve akademik programların etkisiyle araştırma projelerine yönelik fonlar ve araştırma merkezlerinin sayısında artış trendine girilmiştir. Son yıllarda yapay sinir ağları alanı sinir sistemi tabanlı işlemcilerin geliştirilmesi ve komplike problemlerin çözümüne yönelik uygulamalar ile bilim dünyası tarafından yoğun ilgi ve katkı görmektedir.