Destek vektör makinaları (support vector machine –SVM-) bir başka deyişle maksimum kenar boşluğu; bir hiper düzlem konseptidir. Destek vektör makinaları doğrusal düzlem üzerinde yer alan sınıflar arasındaki en uzun mesafeyi bulmaya çalışan yöntemdir. Sadece sınıflandırma konularına uygulanabilmektedir. Fakat destek vektör makine algoritmaları sayısal tahmin için geliştirilmiş bir metottur. Bu metot birkaç destek vektörlerini temel alarak kernel fonksiyonları kullanarak doğrusal olmayan problemler üzerine uygulanır (Witten, Frank, Hall, 2011: 228).
Destek vektör makinaları sınıflandırıcıları dikkate değer bir ilgi görmüştür, çünkü teorik olarak güçlü bir altyapıya sahip ve cezbedici bir tahmin performansına sahiptir. Fakat destek vektör makinalarının farkındalığı henüz düşük düzeydedir. Destek vektör makinaları denetimli (supervised) öğrenme yöntemi ile çalışır (Lessmann S, Voß, 2009: 521). Şu anda destek vektör makinaları daha önce yapay sinir ağlarına gösterilen ilgiye benzer yoğunlukta ilgi görmektedir.
Destek vektör makinaları ve kernele dayalı metotlar olmakla beraber doğru modeller kurmayı başarmışlardır. Fakat bu öğrenme görevi genellikle quadratic programlama gerektirmektedir. Yani büyük veri setleri üzerinde çalışmak çok fazla hafıza kapasitesi ve çok uzun zaman gerektirmektedir. Destek vektör makinaları veri madenciliğinin sınıflandırma, regresyon, kümeleme, ilişkilendirme ve aykırılık tespiti alanlarında kullanılan güçlü bir yöntemdir (Burbidge R, Buxton B, 2001: 13).
Destek vektör makinaları model tanıma amaçlı ilk algoritmanın 1936’da R. A. Fisher tarafından ortaya atılması ile başladı. 1950’de Aronszajn tarafından Kernellerin tekrar üretilmesi teorisi ortaya atıldı. 1963’de Frank Rosenbaltt doğrusal sınıflandırıcılar olan
50
çok katmanlı algılayıcıları icat etti (bunlar basit manada ileri beslemeli yapay sinir ağlarıydı). 1963’te Vapnik ve Lerner Genelleştirilmişi Portre Algoritmasını ortaya attı. 1964’te Aizermann, Braverman ve Rozonoer özellik uzayının bir ürünü olarak kernellerin geometrik yorumlamasını yaptılar. 1965’te Cover girdi uzayında ve seyreklikte geniş sınır hiperdüzlemini tartıştılar. Yine aynı yıl benzer optimizasyon teknikleri model tanımlama üzerinde Mangasarian tarafından uygulandı. 1968’de Gürültülü ve ayrılamayan değerlere karşı olarak durgun değişkenlerin kullanılması Smith tarafından tanıtıldı. 1973’te Duda ve Hart girdi uzayında geniş hiperdüzlemi tartştılar. 1974’te istatistiksel öğrenme teorisi Vapnik ve Chervonenkis ile başladı. Destek vektör makinalarının istatistiksel öğrenme teorisi geliştikten sonra 1979’da Vapnik ile başladığı söylenebilir. 1986’da Hassoun doktora tezini bu konu üzerine yaptı. 1989’da birçok istatistiksel mekanikle ilgili yazılar Anlauf ve Biehl tarafından yazıldı. 1990’da Poggio, Girosi ve Wahba kernellerin kullanımını tartışmaya başladı. 1992’de Bennett ve Mangasarian Smith’in 1968’de yayınlamış olduğu çalışmaları geliştirdiler. 1992 COLT konferansında destek vektör makinaları hemen hemen bugünkü şeklini aldı. 1995’te Cortes ve Vapnik, 1998’de Bartlett ve Shawe-Taylor ve 2000’de yine Shave-Taylor ve Cristianini konu üzerinde çalışmalar yaptı.
Bir destek vektör makinası istatistiksel öğrenme teorisini temel alan ve doğrusal ve doğrusal olmayan ikili sınıflandırma problemlerini çözebilen bir denetimli öğrenme algoritmasıdır. Buna göre 𝑆 bir veri seti olsun ve 𝑀 gözlem sayısına sahip olduğunu varsayalım. 𝑆 = {(𝑥𝑖, 𝑦𝑖)}𝑖=1𝑀, burada xi∈RN bir girdi vektörünü ve yi∈{-1,+1} ikili sınıflandırma etiketine karşılık gelir. Sınıflandırmanın hedefi S’ten bir tahmin modeli çıkarmak ve bu modelin x verilen yerde sınıf üyelik karşılığını doğru olarak vermesidir (Lessmann, Voß, 2007: 522 – 523).
Değişkenler arasındaki bağlantıların bilinmediği veri setlerindeki sınıflandırma problemleri için önerilmiş bir makine öğrenme yöntemidir. Sınıflama, regresyon ve aykırı değer belirleme için kullanılabilen denetimli bir öğrenme yöntemidir. Eğitim verisinde öğrenme yaparak yeni veri üzerinde doğru tahmin yapmaya ve genelleştirmeye çalışan makine öğrenmesidir. Bu öğrenme metodunda dağılım hakkında herhangi bir ön bilgi veya varsayım yoktur. Eğitim setlerinde girdiler ve çıktılar eşlenir. Eşler aracılığıyla test setinde ve yeni veri setlerinde girdi değişkeni sınıflayacak karar fonksiyonları elde edilir. Yüksek doğruluk sağlar. Karmaşık karar sınırları modelleyebilir. Çok sayıda bağımsız değişken ile çalışabilir. Fakat olasılıksal tahminler üretemez.
51
Destek vektör makinalarında doğrusal olarak ayrılabilen sınıflar olduğu gibi doğrusal olarak ayrılamayan sınıflar da vardır. Doğrusal olarak ayrılamayan destek vektörleri konuyu karmaşık hale getirmektedir. Fakat yine de en geniş hiper düzlemi bulmak mümkündür. Ayrıca parametre seçimine oldukça duyarlıdır. Parametre kombinasyonları aralığının her zaman kontrol edilmesi gerekir.
Şekil 23. Destek Vektör Makinaları Düzlem Üzerinde Gösterimi (Aggarwal, Singh, 2015: 246)
Destek vektör makinalarında doğrusal sınırlar iki boyutlu düzlem üzerinde gösterilir (Şekil 23). Bu sebepten ötürü destek vektör makinalarının gösterimi oldukça basittir. Sistem her sınıf arasındaki maksimum ayrışma mesafesine ulaşmaya çalışır. İki sınıfın tam ortasına konuşlanmaya çalışır. Genelde örnek uzayda yer alan noktaların birkaçı bu hiper uzay düzleminin nereden geçeceğini belirler. Bu noktalar haricinde yer alan diğer noktalar silinse bile hiper uzay düzleminin konumu ve yönü değişmez.
Destek vektör makinaları doğrusal olarak ayrılabilen ve doğrusal olarak ayrılamayan destek vektör makinaları olarak ikiye ayrılırlar.
2.6.1. Doğrusal Olarak Ayrılabilen Destek Vektör Makinaları
Örneklem uzayında yer alan doğrusal olarak ayrılabilen iki farklı sınıf arasında sonsuz sayıda hiperuzay düzlemi geçebilir. Fakat destek vektör makinalarının amacı aradaki sınırı maksimize etmektir.
2.6.2. Doğrusal Olarak Ayrılamayan Destek Vektör Makinaları
Örneklem uzayında yer alan sınıf değerleri her zaman birbirinden keskin hatlarla ayrılmamıştır. Bazen iç içe geçmiş veya farklı yerlerde olabilir. Destek vektör makinaları kernel fonksiyonlarının yardımı ile destek vektörlerini bularak bunların arasındaki
52
sınırları maksimize etmeye çalışır. Doğrusal olmayan bu vektör makinalarını bulmak için haritalandırma (mapping) kullanılır.
Sınıfsal elemanlar haritalandırma (mapping) ile gösterilmiş olup adeta fiziki haritalardaki gibi yoğunluklarına göre renklendirilirler.