Destek vektör makineleri

Hiperbolik tanjant: net net e e y ₂ 2 1 1     (8.2)

8.1.3. Destek vektör makineleri

Bu tez çalışmasında kullanılan sınıflandırma algoritmalarından bir diğeri destek vektör makineleri algoritmasıdır. Bu sebeple bu sınıflama algoritması bu kısımda açıklanacaktır.

Destek vektör makineleri (DVM) etkili bir veri sınıflandırma yöntemlerinden biridir. Sınıflandırma ve regresyon hesaplarında sıkça kullanılan bu yöntem Vapnik tarafından 1960’ların sonlarına doğru geliştirilmiştir (Çomak, 2004). Destek vektör makineleri istatistiksel öğrenme ve yapısal risk minimizasyonu ilkesine dayanan, iki sınıflı veri kümelerini sınıflandırabilen ve regresyon problemlerinin çözümü amacıyla ortaya çıkartılmış bir makine öğrenmesi tekniğidir (Tayyar ve Tekin, 2013).

Bir sınıflandırma işleminde genellikle test ve eğitim amacıyla veriler kullanılır. Eğitim verilerinden her biri bir hedef değeri (sınıf etiketi) ve birçok özellik (öznitelik) içerir. DVM’nin amacı, test edilecek veri setindeki örneklerin hedef değerini (sınıfını) tahmin edebilen bir model geliştirmektir (Vapnik 1995, 1998).

DVM'nin en önemli avantajı, karmaşık problemlerin çözümünde iyi bir performans göstermesidir ve uygulama kolaylığı sağlamasıdır. Çünkü DVM'ler doğrusal bir diskiriminant fonksiyonuna dayanmaktadır ve geniş marj sınıflandırıcısı ve Vapnik- Chervonenkis teorisi tarafından ispat edilebilir durumdadır. Sahip olduğu bu özellik sayesinde verinin hatasız ayrılabilmesi problemiyle başa çıkabilmektedir (Erastö, 2001). DVM'ler marjini maksimize etmek üzere eğitilmişlerdir. Bu nedenle eğitim verilerinin çok az olduğu durumlarda bile genelleme kabiliyetleri iyidir.

Sağladığı kolaylıklardan dolayı pek çok alanda uygulanmalarına rağmen DVM’lerin bir takım zayıf yönlerinden de söz edilebilir. Örneğin; veri sayısının çok fazla ya da yüksek boyutlu olduğu problemlerde, veri kümesi üzerinde DVM'nin eğitimi, zaman alır. Ayrıca DVM'ler doğrudan karar fonksiyonları kullanır. Bu nedenle çoklu sınıf problemleri doğrudan genişletilemez ve çok fazla formülasyonu vardır (Abe, 2005).

DVM'ler hem doğrusal olarak ayrılabilen, hem de doğrusal olarak ayrılamayan verilere uygulanabildiğinden iyi bir sınıflandırıcıdır (Tekin, 2013).

DVM, verileri optimal olarak iki kategoriye ayıran n–boyutlu bir hiperdüzlem oluşturmaktadır. DVM modelleri yapay sinir ağlarıyla yakından ilişkili olup, sigmoid bir kernel fonksiyonu kullanan DVM; iki katmanlı, ileri beslemeli bir yapay sinir ağına sahiptir (Ercan, 2011).

8.1.3.1. Doğrusal ayrılabilen veriler için destek vektör makineleri

Destek vektör makineleri şu şekilde sınıflandırma gerçekleştirmektedirler: Eğitim verisi ve karar fonksiyonu sayesinde, {+1,-1} şeklinde sınıf etiketlerine sahip

veriler birbirinden ayrılması amaçlanır. Karar fonksiyonu yardımı ile verileri en uygun şekilde ayıracak hiperdüzlemi bulmaya çalışmaktadır. İki sınıflı verileri birbirinden ayırabilen pek çok hiperdüzlem mevcuttur. DVM kendisine en yakın noktalar arasındaki uzaklığı maksimuma çıkartan hiperdüzlemi aramaktadır. Veri kümeleri arasındaki sınırın maksimum olanı, optimum hiperdüzlem olarak adlandırılmaktadır. Sınır genişliğini sınırlandıran noktalar destek vektörler olarak isimlendirilirler (Kavzoğlu ve Çölkesen, 2010).

DVM'nin eğitimi için kullanılacak l elemandan oluşan veri kümesinin

l i

y

x_{i i}}, 1,2,...,

{ _,  olduğunu varsayalım. Burada yi{1,1}etiket değerleri ve d

i R

x  özellikler vektörüdür. Doğrusal olarak ayrılabilme durumunda, bu veriler

doğrudan bir hiperdüzlem ile ayrılabilecektir. Bu hiperdüzleme ayırıcı hiperdüzlem adı verilir. DVM’nin amacı bu hiperdüzlemin iki örnek grubuna eş uzaklıkta olmasını sağlamaktır (Tayyar ve Tekin, 2013).

Hiperdüzlem üzerindeki herhangi bir x noktası, w ağırlık vektörü (hiperdüzlemin normali), |b|/||w|| hiperdüzlemin orijine dik uzaklığı ve ||w|| , w'nin öklit normu olmak üzere,

0 .xb

w (8.3)

koşulunu sağlar. d ve _ d 'nin ayırıcı hiperdüzleme en yakın olan pozitif ya da negatif _

örneklerin hiperdüzleme olan uzaklığını gösterdiği varsayıldığında, d_ d ayrıcı _

hiperdüzlemin sınırı (marjini) olarak tanımlanır. DVM 'nin amacı, örnekler doğrusal olarak ayrılabiliyorsa, optimum ayırıcı hiperdüzlemi bulmaktır. Bunun için tüm eğitim setinin aşağıdaki koşulları sağladığı varsayıldığında;

1   i y için w.xi b1 (8.4) 1   i y için w.x_i b1 (8.5)

Bu eşitsizlikleri bir arada ifade edecek olursak:

1 ) .

(wx b 

İfadesi elde edilir. Optimum ayırıcı hiperdüzlem, sınırı maksimum yapan hiperdüzlemdir (Şekil 8.4). Optimum ayırıcı hiperdüzlemi bulmak için uygun w ve b değerleri hesaplanacaktır.

Şekil 8. 4.Doğrusal ayrılabilen veriler için optimum ayırıcı hiperdüzlem (Tekin, 2013).

(8.4) ve (8.5)'deki eşitsizlik durumu göz önüne alındığında, w.x_i b1olması

durumunda Şekil 8.4'deki H1 hiperdüzleminin orijine dik uzaklığı |1-b|/||w|| ve

1 .x b

w i olması durumunda ise H2 hiperdüzleminin orijine uzaklığı |-1-b|/||w||

olacaktır. Dolayısıyla d =_ d =1/||w|| kadar olur. Yani H_ 1 ve H2 hiperdüzlemlerinin optimum hiperdüzleme uzaklığı 1/||w|| kadardır. Burada sınır değeri ise 2/||w|| kadardır. H1 ve H2 hiperdüzlemlerinin birbirlerine paralel olmalarından dolayı aralarında hiçbir eğitim noktası bulunmamaktadır. Bu iki hiperdüzlem arasındaki maksimum uzaklık, (8.6)'daki koşula bağlı olarak, 2

||

|| w değerinin minimize edilmesi ile bulunabilir. Eşitsizlik (8.6)'da gösterilen ve değerinin kaldırılması, elde edilen çözümün değişmesine yol açabilen eğitim noktalarına (aralarındaki sınır maksimum olan H1 ve H2 hiperdüzlemlerin üzerinde yer alan noktalar) destek vektörleri (DV) adı verilmektedir (Tekin, 2013).

8.1.3.2. Doğrusal olmayan destek vektör makineleri: haritalama yaklaşımı ve çekirdek fonksiyonlarının kullanımı (Kernel trick)

Doğrusal olmayan DVM, veri setinin doğrusal bir fonksiyonla tam veya belirli bir hata ile ayrılamaması durumunda kullanılan algoritmalardır. Gerçek yaşam problemlerinde bir veri setinin hiperdüzlem ile doğrusal olarak ayrılması çoğunlukla mümkün değildir. Dolayısıyla sınıfları ayırma işlemi, ayırma eğrisinin tahmin edilmesiyle mümkün olmaktadır. Ancak uygulamada eğrinin tahmin edilmesi oldukça zordur. Veri setinin doğrusal ayrılamama durumunun geometrik gösterimi Şekil 8.5’de verilmiştir.

Şekil 8. 5. Veri kümesinin doğrusal olarak ayrılamaması durumu (Statsoft, 2015).

Bu durumda p-boyutlu girdi vektörü x’in P-boyutlu özellik vektörü Φ’ye dönüştürülmesi gerekmektedir (Cortes ve Vapnik, 1995). p-boyutlu girdi vektörü x’in P-boyutlu özellik vektörü Φ’ye dönüştürülebilmesi için en uygun ayırma düzleminin özellik uzayında tanımlanabilmesi gerekir. Bu amacı gerçekleştirmek için doğrusal olmayan haritalama yaklaşımından yararlanılır (Busuttil, 2003).