Tek-Noktalı Türevden Bağımsız Optimizasyon Yöntemleri ve Adım Büyüklüğü

Bir fonksiyonun türevinin alınamaması birçok nedene bağlı olabilir. Örneğin bunlardan bir tanesi adım fonksiyonudur. Denklem 3.11 ve 3.12`deki fonksiyonlar adım fonksiyonuna dönüştürülürse şu formları alacaklardır:

( ) ( ( ^{( )})) (3.16)

27

( ) ( ( ^{( )})) (3.17)

Denklem 3.16`daki amaç fonksiyonu yine sadece bir tane minimuma sahip iken Denklem 3.17`de verilen amaç fonksiyonu ise yine sadece bir tane maksimuma sahiptir.

Ancak burada her bir adım sınırında türev tanımlı değildir. Bu amaç fonksiyonlarının grafikleri Şekil 3.3`te verilmiştir. Bu şekilden görüleceği üzere belirli adımlarda kesiklikler mevcut olup bu sınırlarda türevler mevcut değildir. Ancak belirlenen aralıkta yine her iki fonksiyon sadece 1 tane optimum noktaya sahiptir.

(a) (b) Şekil 3.3 Minimuma (a) ve maksimuma (b) sahip iki adım fonksiyonu

Fonksiyonların türevlerinin mevcut olmaması sadece adım fonksiyonuna bağlı olan bir durum olmayıp farklı durumlar söz konusu olabilmektedir. Bu durumlardan bazıları arasında şunlar sayılabilir (Price ve ark. 2005):

 Bir fonksiyonu kısıtlamak türev alınamayan bölgelerin veya sınırların oluşmasına neden olabilir.

 Eğer amaç fonksiyonu bir bilgisayar programı ise; bu durumda bazı koşullara bağlı olan döngüler, amaç fonksiyonunu türevinin alınamayacağı bir duruma dönüştürebilirler, en azından belirli noktalar veya bölgeler için bu durum söz konusu olabilir.

 Bazı durumlarda amaç fonksiyonu fiziksel bir deneyin sonucu olabilir, bu durumda yeterince açık ve kesin olmayan ifadelerin henüz mevcut olmaması hesap edilen türevlerin kullanışsız ve geçersiz olmasına neden olabilir.

28

 Bazı sanatsal kullanımlarda amaç fonksiyonu öznel olup analitik bir formülasyona dönüştürülememektedir (Bentley ve Corne 2002).

 Bazı evrimsel algoritmalarda üreme gerçekleştirecek bireylerin seçimi bireylerin diğerleriyle rekabet edebilme ve diğerlerini elimine edebilme özelliklerine göre yapılmaktadır. Bu durumlarda amaç fonksiyonu açık ve belirgin olmayabilmektedir.

Türevden bağımsız yöntemler, hesaplamalardan ziyade buluşsal ve koşullara bağlı olarak değişebilen “üret-ve-dene” prensibine göre çalışan algoritmalardır. Şekil 3.4`te verilen akış şeması bu yöntemlerin çalışma prensibini özetlemektedir.

Şekil 3.4 Türevden bağımsız yöntemlerin çalışma prensibini gösteren akış şeması Direkt arama yöntemi olarak da adlandırılabilen türevden bağımsız yöntemler bir başlangıç noktası seçerek işlemlerine başlamaktadırlar. Bu seçim beraberinde başlama-noktası seçimi problemini getirmektedir. Çünkü uygun olmayan bir başlangıç başlama-noktası seçimi ya sonuca ulaşma süresini uzatacak ya da hiç çözüm vermeyecek bir süreci başlatacaktır. Başlangıç noktası seçiminden sonra tekrarlanan işlem adımlarının sayısının yani iterasyon sayısının belirlenmesi gerekmektedir. Burada diğer bir uygulama da iterasyon sonlandırma kriterinin belirlenmesidir. Bu işlem de beraberinde boyut problemini getirmektedir. Uygun olmayan bir iterasyon sayısı veya sonlandırma kriterinin seçimi gereksiz işlem adımlarına sebep olabilir. Bir sonraki aşama vektör

Başla

Vektör üretimi

Seçim uygun mu?

Hayır

Evet

Bitir

29

üretimi ile yeni bir nokta seçme işlemidir. Burada ilerleme yönüne ve adım büyüklüğüne karar verilir. Bu işlem ise beraberinde adım-büyüklüğü problemini getirmektedir. Küçük seçilen adım büyüklüğü ile çok küçük ilerlemelerle sonuca ulaşılmaya çalışılacak ve işlem zamanı gereksiz uzatılacaktır. Tersi, büyük seçilen adım büyüklüğü ise optimum noktanın atlanıp yakalanamamasına neden olabilecektir. Bu da güvenilirlik problemini beraberinde getirecektir. Son aşama ise seçim aşamasıdır.

Burada yeni üretilen nokta ile önceki nokta birbiri ile kıyaslanır ve amaca yönelik olarak yeni nokta ile eski nokta arasında bir seçim yapılır. Eğer yeni nokta amaç fonksiyonuna göre daha uygun ise bu noktaya ulaşmak için kullanılan yön ve adım büyüklüğü kabul edilmiş olur. Aksi durumda yeni bir yön ve adım büyüklüğü belirlenerek yeni bir nokta oluşturulur ve yine bir seçim yapılır. Döngü bu şekilde belirlenen iterasyon sayısına veya iterasyon koşuluna ulaşıncaya kadar devam eder.

Türevden bağımsız yöntemlerin en belirgin özelliği sonraki eylemleri doğrudan etkileyen bir seçim mekanizmasına sahip olmalarıdır (Price ve ark. 2005).

3.3.1. Saydırma veya kaba kuvvet (brute force) ile arama

Adından da anlaşılacağı üzere tek-noktalı türevden bağımsız bir diğer deyişle direkt arama yöntemleri tek bir başlangıç noktası ile işlemlere başlamaktadırlar. En basit tek-noktalı direkt arama yöntemlerinden biri kaba kuvvet yaklaşımıdır. Saydırma işlemi olarak da anılan kaba kuvvet yaklaşımında belirlenen sınırlarda bölge ızgaralara bölünür ve her kesişim noktası ziyaret edilir. Ziyaret edilen kesişim noktalarının arasından amaç fonksiyonuna en uygun olanı hafızaya alınarak saklanır ve tüm bölge bu şekilde taranır.

İşlem bittiğinde hafızada saklanan kesişim noktası aranılan optimum nokta olur (Şekil 3.5).

Bu yöntemde yine adım büyüklüğü problemi ile karşı karşıya kalınmaktadır. Amaç fonksiyonuna uygun adım büyüklüğü seçilmediği durumlarda ya optimum nokta atlanır ve yakalanamaz (Şekil 3.5) ya da optimum noktayı bulmak için çok fazla zaman harcanır.

30

Şekil 3.5 Kaba kuvvet yönteminin çalışma prensibi

Probleme uygun adım büyüklüğü seçiminin zor bir işlem olması kaba kuvvet yönteminin çok-parametreli optimizasyon problemlerinde çok nadir olarak kullanılmasına sebep olmaktadır. Bu nedenle daha iyi örnekleme ve daha akıllı arama yapabilecek yöntemlere gereksinim duyulmuştur (Price ve ark. 2005).

3.3.2. Rastgele yürüyüş (random walk) yöntemi

Bu yöntem kaba kuvvet ile arama yaklaşımının doğasında var olan boyut problemi üzerinde durmakta ve mevcut adımda aranan yeni amaç fonksiyonu değerini rastgele atanmış noktalar içerisinden en uygununu seçerek oluşturmaktadır. Yeni noktalar mevcut noktasına vektörü eklenerek oluşturulmaktadır. Burada . adımda vektörü Gauss dağılımına göre seçilmektedir. Gauss dağılımı şu ifade ile hesap edilmektedir (Price ve ark. 2005):

( )

√

( ( ) )

(3.18)

burada ve , . adım için sırasıyla standart sapmayı ve ortalama değeri belirtmektedir. Gauss dağılımı ile üretilen yeni noktanın amaç fonksiyonu değeri mevcut noktanın amaç fonksiyonu değerine göre uygun değilse bu durumda Gauss

𝐱

𝐱

𝐱 _𝑚𝑖𝑛 𝐱 𝑚𝑎𝑘𝑠

𝐱 𝑚𝑎𝑘𝑠

𝐱 _𝑚𝑖𝑛

𝑓(𝑥 𝑥 ) fonksiyonunun eşyükselti çizgileri

𝑥_{𝑒𝑘𝑠𝑡}

Izgaralar ve kesişim noktaları

31

dağılımı ile yeni bir nokta üretilmekte ve daha uygun bir amaç fonksiyonu değeri elde edilinceye kadar yeni nokta üretimine devam edilmektedir. Şekil 3.6 rastgele yürüyüş yönteminin işleyişini açık bir şekilde göstermektedir.

Şekil 3.6 Rastgele yürüyüş yönteminin çalışma prensibi

Rastgele yürüyüş yöntemi de diğer klasik yöntemler gibi adım büyüklüğü problemi ile karşı karşıyadır. Çünkü amaç fonksiyonuna uygun seçilmemiş standart sapma değerleri gereksiz adımların oluşmasına neden olabilmektedir.

3.3.3. Hooke ve Jeeves yöntemi

Hooke ve Jeeves yöntemi tek-noktalı türevden bağımsız yöntemlerden olup özellikle adım büyüklüğü problemini çözmeye yönelik olarak geliştirilen bir yaklaşımdır (Hooke ve Jeeves 1961). Bu yöntem işleme başlangıç noktası ile başlamakta ve her koordinat eksenini kendi adım büyüklüğü ile taramaktadır. Hem pozitif hem de negatif olmak üzere ile temsil edilen koordinat ekseni yönlerinde geçici noktalar oluşturulmakta ve birbirleri ile kıyas edilerek aralarından en iyisi olan nokta oluşturulmaktadır. Bu en iyi noktası eğer başlangıç noktası `dan daha iyi ise bu sefer en iyi noktanın bulunduğu yönde tekrar bir ilerleme girişiminde bulunulmaktadır. Yeni elde edilen nokta `den iyi ise aynı adım büyüklüğü ve yön ile bir önceki noktadan daha kötü bir nokta oluşuncaya kadar işleme devam edilmektedir. Sonuçta elde edilen yeni nokta başlangıç noktasının yerini almaktadır. Eğer başlangıç noktasından sonra tüm

𝐱

𝐱 𝑓(𝑥 𝑥 ) fonksiyonunun eşyükselti çizgileri

𝑥𝑒𝑘𝑠𝑡

Uygun üretim

Uygun olmayan üretim

𝑥

32

yönlerde oluşturulan yeni noktalar daha iyi amaç fonksiyonu değerlerine sahip olmazlarsa bu sefer adım büyüklüğünün fazla olduğuna karar verilmekte ve adım büyüklüğü küçültülerek yine tüm yönlerde yeni noktalar oluşturulmaktadır. Bu şekilde başlangıç noktasından daha iyi noktalar üretilene kadar işleme devam edilmektedir.

Yöntemin ilerleme aşamaları ve görsel temsili Şekil 3.7`de verilmiştir.

Şekil 3.7 Hooke ve Jeeves yönteminin çalışma prensibi

Birçok fonksiyonda Hooke ve Jeeves yöntemi, kaba kuvvet ile arama ve rastgele yürüyüş yöntemlerine göre uyarlamalı adım büyüklüğü özelliği nedeniyle sonuca daha iyi ve hızlı bir şekilde ulaşmaktadır. Ancak burada adım büyüklüğünün devamlı küçülmesi ve hiç artmaması özellikle fonksiyonun vadili bir yapıya sahip olması durumunda vadinin sonuna kadar aynı –muhtemelen küçük- adım büyüklüğü ile devam edilmek zorunda kalınması nedeniyle hız konusunda bir dezavantaj oluşturmaktadır.