Öğrenme algoritmalarımız her ne kadar rastgele sınıflandırıcılardan daha iyi sonuçlar vermiş olsa da pozitif tahmin edilen örnekleri dikkate alan performans ölçümleri (yani duyarlılık, geri çağırım ve f-ölçütü) incelendiğinde, bunların tatmin edicilikten uzak olduğu görülebilmektedir. Ho vd. (2006) yaygın kullanılan sınıflandırıcıların mükemmel doğruluk değerlerine ulaşamamasını şu üç etkene bağlamaktadır: 1) algoritmalardaki eksiklikler 2) veriye özgü zorluklar 3) yöntem ve problemler arasındaki uyumsuzluklar.
5.3.1. Algoritmalardaki Eksiklikler
Öğrenme algoritmalarının geliştirilmesinin belirli bir düzlüğe ulaşarak durağanlaştığı ve üzerinde araştırma yapılan algoritmaların diğer birçok görevde başarılı olduğu görüldüğünden, deneylerimizdeki doğruluk ölçütünün tam olmaması durumunu algoritmalardaki eksikliklere bağlamak çok zor olacaktır.
Bunun yanında, sonuçlar detaylı olarak incelendiğinde, bunlar arasındaki farkların algoritma seçimine bağlanamayacağını görülebilmektedir. Beş algoritmanın her birinin deneylerde eşit derecede iyi ve kötü sonuçlar verdiği de görülebilmektedir. Seçilen parametrelere farklı değerler atanmasıyla, her algoritma için f-ölçütü 0.70’in altında, eşit veya üstünde değerler almaktadır (doğruluk değeri de 0.80 altı, eşit veya
üstündedir). En kötü ve en iyi f-ölçütü değerlerinin (sırasıyla 0.64 ve 0.74) de aynı algoritma (C-SVC) ile alındığı ilginç bir şekilde gözlemlenebilmektedir. Sonuçta, evrensel olarak en iyi kabul edilebilecek bir öğrenim algoritmasının olmadığı bilinmekle beraber, Türkçe’de adıl çözümlemesi işini en iyi yapan bir algoritmanın da olmadığı görülmüştür.13
5.3.2. Veriye Özgü Zorluklar
Ho vd. (2006) sınıflandırmadaki zorlukların üç kaynağa bağlanabileceğini söylemektedir: 1) sınıf belirsizliği, 2) örnek seyrekliği (sparsity) 3) sınır karmaşıklığı. “Sınıf belirsizliği, sınıflandırma problemi içinde verilen özelliklerle, her hangi bir sınıflandırma algoritması kullanılarak ayrım yapılamadığı durumları belirtir” (s. 4). Sınıf belirsizliğinin yanlış bir sınıflandırma olasılığı ortaya çıkardığı problemler, Bayes hatası sıfır olmayan problemler olarak adlandırılır. Bu hata tipi, erişilebilen en az hata oranı için bir sınır belirler. Bu durumu artgönderim ilişkileri açısından betimleyen Đngilizce bir örnek aşağıda verilmiştir.
Johni hid Billj’s keys. Hei(?)/j(?) was drunk.
Johni, Billj’in anahtarlarını sakladı. O i(?)/j(?) sarhoştu.
(5.6)
Böyle bir söylem parçasını ansızın duyan bir kişi he adılının öncülünün John veya
Bill’den herhangi biri olabileceğini düşünebilir. Bu belirsizlik sözlüksel olarak
kodlanmış bilgiye dayanarak çözülemez: adıl gönderimde bulunduğu varlığın erkek olduğunu belirtse de bu gereklilik her iki aday öncül tarafından da sağlanmaktadır. Bu tip bir belirsizliği sözdizimsel bilgi ile de çözmek mümkün olmamaktadır. Lappin’in (2005) de belirttiği gibi, John bu örnekte her ne kadar en yüksek dikkat çekicilik derecesine sahip olsa da, belirsizlik gerçek dünya bilgisi ve bazı çıkarım kurallarına dayandırılarak Bill lehine de yorumlanabilmektedir. Burada önemli olan nokta,
13 Bu tip değerlendirmeler yapılmadan önce dikkat edilmesi gereken noktalar, sonuçların belirli bir veriden gelmediği
belirsizliğin bir şekilde çözülebiliyor olması değil, derin anlamsal bilgi veya gerçek dünya bilgisine başvurmadan çözülemiyor olmasıdır.14
Đkinci bölümden hatırlayabileceğimiz gibi, Türkçe’deki üçüncü tekil kişi adılının, tek başına alındığında, erkek mi, bayan mı yoksa cansız bir nesneye mi gönderimde bulunduğu tamamen belirsizdir. Ayrıca, aday öncülün adılla sayı (veya kişi) açısından uyuşmadığı örneklerin deneyler öncesinde ayıklandığını hatırlayalım. Kalan veri kümesi içinde sadece tek bir aday öncüle sahip örneklerin % 3.1 gibi bir oranla önemsenmeyecek ölçüde az olduğunu da dikkate almalıyız. Böylece, veri kümemizdeki her adılın sıfır olmayan bir Bayes hatasıyla (yani öncülünü yanlış belirleme olasılığıyla) geldiğini görebiliriz. Bu sebeple, sözdizimsel, anlamsal veya pragmatik bilgiden yoksun olunduğu sürece, hiçbir öğrenme algoritmasının bu veri kümesi üzerinde mükemmel bir şekilde çalışmasının beklenemeyeceği açıktır.
Sınıflandırma zorluğunu arttıran bir diğer etken de verinin seyrek olmasıdır. Sınıflandırıcının genelleme mekanizmasını sınırlayacak kadar örnek ile örneklenmemiş durumların sınıflandırması büyük oranda rastgele olacaktır. Veri seyrekliğinin sınıflandırıcı performansını nasıl etkilediğini anlamak için veri kümesinden, oransal olarak giderek büyüyen alt veri kümeleri seçerek birçok RBF deneyi yapılmıştır. Şekil 5.1 deneylerdeki veri büyüklüğü ve f-ölçütü değerleri arasındaki karşılıklı ilişkiyi göstermektedir.
Şekil 5.1. RBF deneylerinde gözlenen veri büyüklüğü ve f-ölçütü değerleri arasındaki karşılıklı ilişki.
14
1100 örneğe kadar performansın giderek arttığını, sonrasında ise yavaşça asimptot f- ölçümü olan 0.73’e erişildiğini görebilmekteyiz. Buradan, eksik veya seyrek örnekleme sınıflandırma performansını kötüleştiren açık bir etken olsa da, deneylerde kullanılan verimizin örnekleme yoğunluğunun doygunluk seviyesine ulaşmış olduğu sonucu çıkarılabilir.
5.3.3. Sınıflandırıcı ve Sınıf Sınırları Arasında Uyumsuzluk
Sınıflandırma zorluğunun üçüncü yönü, sınıfları ayıran sınırların karmaşıklık seviyesidir. Sınıf sınırlarının karmaşıklığı, iki yoğun sınıfın doğrusal olarak geniş aralıklarla ayrılabildiği bir durum ile sınıfların yoğun biçimde içiçe geçmiş olduğu veya hiçbir belirgin düzen olmadan aynı sınıfa ait örneklerin uzayda dağılım gösterdiği durumlar arasında çeşitlilik gösterebilir. Deneylerde kullanılan sınıflandırıcıların performanslarını değerlendirerek verimizin içsel karmaşıklığı konusunda fikir edinebiliriz. Denetimli ikili sınıflandırma için kullanılan bir algoritmanın görevi, girdi uzayını her sınıf için ayrı olmak üzere iki kümeye ayırabilme amacıyla öğrenme örneklerinden oluşan bir kümede karar sınırı çıkarımı yapmaktır. Bu çıkarımı yaparken kullanılan fonksiyonun tipi karar sınırının şeklini belirler.
Temel deneylerimize (bkz. Tablo 5.3) dönersek, performans sonuçlarının değerlendirilmesinde belirleyici olan etkenin açık bir şekilde seçilen parametrelerin değerlerinin değiştirilmesi olduğunu görürüz. Üç algoritma için (C-SVC, Seçimli Algılayıcı ve Naïve Bayes), bu parametrik ayarlamalar doğrusal ve doğrusal olmayan sınıflandırıcılar arasında değişime neden olmaktadır. Aşağıdaki gibi doğrusal bir fonksiyonu öğrenmeye mecbur bırakılan C-SVC algoritması en kötü f-ölçütü değerini vermektedir:15 T (w x) + b f(x) = (5.7) 15
Birinci dereceden çok terimli bir fonksiyon, iki boyutlu uzayda bir doğru, üç boyutlu uzayda ise bir düzlem ortaya çıkaracaktır.
Sadece f-ölçütü değil de doğruluk değeri açısından bakıldığında, en iyi sonuç da radyal tabanlı bir fonksiyonu çekirdek olarak kullanan C-SVC ile edilmiştir:
2 2 ( , ) exp 2 ′ − ′ = − x x k x x σ (5.8)
Seçimli Algılayıcı’nın Weka gerçeklemesinde aşağıdaki çokterimli (polynomial) çekirdek fonksiyonu kullanılmaktadır:
d
(x.x' + 1)
k(x, x') = (5.9)
Eğer herhangi bir üs belirlenmemişse, d = 1 olduğu varsayılarak, doğrusal bir çekirdek elde edilir. Doğrusal olmayan (üs değeri 2 olan) bir sınıflandırıcı da doğrusal olanı hem f-ölçütü değeri hem de doğruluk değeri açısından geride bırakmıştır.
Doğrusal olmayan sınıflandırıcıların üstünlüğünü, Naïve Bayes algoritmasıyla yapılan deneylerde de gözlemleyebilmekteyiz. Naïve Bayes, normal dağılım varsayımına (Manning et al 2008) sahip doğrusal bir sınıflandırıcı olup, çekirdek yoğunluk kestiricisi (kernel density estimator) kullanıldığında doğrusal olmayan bir sınıflandırıcıya dönüşebilmektedir (John ve Langley, 1995). Naïve Bayes deneylerinde normal dağılım varsayımını çekirdek kestirimi ile değiştirmemiz f-ölçütü ve doğruluk değerlerinde az da olsa bir yükselişi beraberinde getirmiştir.
Yukarıdaki gözlemler, veri kümemizdeki pozitif ve negatif örneklerin doğrusal olarak ayrılabilir olmadığını göstermektedir. Bu nedenle, veri kümesine uygulanan doğrusal olmayan sınıflandırıcıların doğrusal olanlara oranla daha iyi tahmin gücüne sahip olması doğaldır. Fakat, doğrusal olmayan sınıflandırıcıların yeteneklerini mutlak olarak en iyi kabul etmemek gerekir. Hem k-en yakın komşu hem de karar ağacı sınıflandırıcıları, veri üzerinde doğrusal olmayan karar sınırları koymaktadır: belirledikleri karar sınırları, her ne kadar yerel olarak doğrusal bölümlemelerden oluşsa da, iki boyutta bir doğru veya daha yüksek boyutta bir hiperdüzleme eş olamayan çok yüksek ifade gücüne sahip şekiller oluştururlar. Yine de 1-en yakın komşu sınıflandırıcısı ve güçlendirilmiş (ve budanmamış) karar ağacı deneylerimizde kullanılan doğrusal sınıflandırıcılara karşı üstün gelememiştir: bunlar sırasıyla en kötü
ve ikinci en kötü doğruluk değerlerini vermelerinin yanında, en kötü f-ölçütü değerlerini de paylaşmışlardır.