Bu etkenlere örnek vermek için Karar A§açlarnn budama i³leminden bahsedi- lebilir. Karar A§ac ne kadar az budanrsa e§itim kümesi üzerindeki ba³ars o kadar artar. Sa§lama kümesinde belli bir noktaya kadar budama yaplmas iyi sonuç verir. Yani a§ac budama onun veriye a³r ba§ml olmasn engeller ve sa§lama kümesi için daha iyi sonuç verir.
Çal³mada kullanlan veri dokuz de§i³ken içerdi§inden do§rusal yöntemleri kullanan sn andclar için uygun de§ildir. Do§rusal yöntemler uyguland§nda veri ile yaratlan model arasnda büyük bir sapma / kutup (bias) olu³ur.
K-en yakn kom³u sn andrcs ile Karar A§ac algoritmas ele alnd§nda, dikkat edilmesi gereken noktalardan biri de bu bu a³r uyum sorunudur. Çünkü bu iki algortimann veriyi ifade etme gücü (expressive power) yüksektir. Çünkü e§er veri de herhangi bir mu§laklk yok ise verinin miktarna bakmakszn e§itim verisini %100'e varan bir kesinlikle ifade edebilirler. Bu durumda gürültülü ve hatal veriler içerdi§inden a³r uymaya (over tting) yatkndrlar. KNN algorit- masn K de§erinin 1 yaplmas, Karar A§ac algoritmasnn boosting özelli§inin
kullanm ve budama yaplmamas bu algoritmalarn ifade güçlerini (expressive power) artrr. Bu da gürültülü ve hatal bilgilerin yaratt§ a³r uyma sorununu ortaya çkarr. Bu nedenle 4.8 nolu tabloda bu iki algoritmalarn bu ayarlar için olu³an sonuç di§erlerine oranla daha dü³ük çkm³tr. Hatta bu sonuçlar do§- rusal sn andrclarn performans kadar dü³üktür. Bu a³r uyumun çözümü için a§acnn budanmas ve K de§erinin artrlmas gerekiyor. Biraz önce bah- sedildi§i gibi ve 4.7 nolu ³ekilde gösterildi§i gibi hata orann azaltmak uygun bir nokta belirlemek gerekiyor. A§ac için bu budama oran genelde %25 olarak kabul edilir. K de§eri 11 yapld§nda bu algoritma daha ba³arl sonuç vermek- tedir. Ve bu sonuç ilginç bir ³ekilde do§rusal olmayan yöntemlerin sonuçlarna yakla³maktadr. Karma³klk ile a³r sadelik performans anlamnda birbirleriyle ayn kusurlara sahip. Karma³kl§n a³r uyuma yol açt§, sadeli§in ise yetersiz uyum yaratt§n bu deneylerde gözlemledik.
Özelliklerin Katklar
Kullanlan özelliklerin artgönderim için ne kadar katk sa§lad§ en önemli nok- talardan biridir. Dolaysyla her bir özelli§in katksn kullanlan teknik açsn- dan de§erlendirmek gerekiyor. Bu de§erlendirmeyi bilgi tabanl yakla³mlar için yaplm³t. imdi ö§renme tabanl yakla³mlar açsndan ne gibi bir sonuç elde edilecek ? Makine ö§renme algoritmalar kullanld§nda bu de§erlendirme 10'lu çapraz sa§lama de§erlendirmesi içinde birçok sn andrc kullanlarak yapla- bilir. 4.10 nolu tabloda herbir özelli§in katksnn ortalamas bulunur.
Bir di§er özellik gücü ölçme yöntemi bilgi kazanc (information gain) for- mülüdür. Bu formül Karar A§ac olu³turma gibi sn andrclarn içerdi§i for- müldür. Özelliklerin güçleri hedef sn a olan ba§larndan ortaya çkar. Hede n belirlenmesinde etkili olan özellikler daha fazla kazanca sahip olurlar. Bu formül
Tablo 4.10: Özelliklerin Katk De§eri Ortalamalar / 10'lu Çapraz Sa§lama
Özellik Ortalama Katks
Adln Durum Eki 85
Adln Dilbilgisel Görevi 82 Adln Açkl§ 62 Adln Sözdizim Tipi 93 Gönderimsel fade-
lerin Durum Eki 77
Göderimsel fadele- rin Anlambilimsel Tipi 94 Gönderimsel fa- delerin Dilbilgisel Rolü 81 Uzaklk 100 Ki³i-Say Uyumu 0 3
ile olu³turulan 4.11 nolu tablo büyükten küçü§e sralanm³tr.
Tablo 4.11: Özelliklerin Bilgi Kazanc
Özellik Bilgi Kazanc / bits
Uzaklk 0.1844
Gönderimsel fadenin Anlambilimsel Tipi 0.1040 Gönderimsel fadenin Dilbilgisel Rolü 0.0918
Gönderimsel fadenin Durum Eki 0.0767
Adln Durum Eki 0.0191
Adln Dilbilgisel Rolü 0.0173
Adln Sözdizimsel Tipi 0.013
Adln Açkl§ (overtness) 0.0001
Ki³i-Say Uyumu 0
Bu iki tablodan çkarlacak iki net sonuç var. Bunlardan biri adl ile aday öncüller arasndaki uzaklk önemli bir unsurdur. Bu sonuç di§er diller içinde ge- çerlidir. Giri³ ksmnda bahsedilen yakla³mlarn ço§unda uzakl§n gönderimsel ili³ki üzerindeki etkisinden bahsedilir. Bir ikinci sonuç ise say/ki³i uyumunun
gücünün 0 (sfr) çkmasdr. Bu durum esasnda bu özelli§in önemsiz oldu§u anlamna gelmez. Çünkü eleme sürecinde say/ki³i uyumu göstermeyen adaylar sistemden elenir ve söz konusu adl için olu³an adaylarn hepsi zaten adl için say/ki³i uyumunu sa§lar. Bu bakmdan say/ki³i uyumu özelli§i bu a³amada bir i³e yaramyormu³ gibi görünse de asl görevi bir önceki eleme a³amasndadr ve di§er özelliklere göre çok önemlidir. Bu anlamda en önemli özelliktir diyebiliriz. Di§er özelliklerin katks da önemsiz de§ildir. Anlambilimsel durum her zaman gönderimsel ili³kilerde etkisi vurgulanm³ bir etkendir. Benzer bir ³ekilde Dil- bigisel Görevde tpk Merkezleme kuramnda oldu§u gibi çok önemli bir i³leve sahiptir.
Artgönderim Çözümü Açsndan Performans De§erleri
Artgönderim Çözümlemesi için makine ö§renmesi yakla³mlar kullanld§nda söylemdeki adllar ve öncüller ikili bir kayt halinde ifade edilir ve ardndan her bir kaydn do§ru veya yanl³ oldu§u kaydedilir. Bu ³ekilde yaplmasnn temel sebebi ö§renme algoritmalarnn kaytlar üzerinden ikili sn andrma yapabilme gücüdür. Her kaydn bir hedef snf vardr bu snf ikili veya çoklu olabilir. Bu yöntem kullanld§nda makine ö§renme algoritmas yeni gelen derlemi yine bu kaytlar ³ekilde ifade eder ve do§ru yanl³ ³ekinde sn andrma yapar. ³te bu a³amada tekrar iki kaytlardan eski derleme geri dönmek gerekiyor.
Bu noktadaki iki temel problem var:
1. Adln e³le³ti§i öncüller ile olu³turdu§u tüm kaytlar algoritmann yanl³ olarak etiketlemesi. Bu durumda söz konusu adl için algoritma bir öncül önermemi³ oluyor.
durumda algoritma adl için birden fazla öncül önermi³ oluyor. Ve bu durumda yine bir mu§laklk (ambiguity) olu³maktadr.
³te bu mu§lakl§ çözmek için model a³a§daki ³ekilde güncellendi ve sonuç- lar bu açdan de§erlendirildi.
1. E§er hiçbir aday önerilmemi³se tüm aday öncüllerin en yakn o adln öncülü olarak atanr.
2. E§er birden fazla aday önerilmi³se o adaylarn adla en yakn olan öncül olur.
Algoritma bu ³ekilde güncelledi§inde 4.12 nolu tablo olu³tu. Tablo 4.12: Artgönderim Ba³ar Oran
Model Ayarlar Ba³ar Oran
Voted Perceptron - Üst=1 0.52
C-SVC - Do§rusal Çekirdek 0.54 Naïve Bayes- Normal Da§lm 0.61
J48 - Budamal 0.62
Voted Perceptron - Üst= 2 0.63 Naïve Bayes - Çekirdek Tahim 0.63
IBk - k=11 0.66
J48 - Boosted ve Budamal 0.69 C-SVC - Radyal Tabanl Çekirdek 0.70
IBk - k=1 0.75
Bu tabloki sonuç ³u ³ekilde özetlenebilir: Bir modelin ifade gücü (expressive power) ne kadar yüksekse, artgönderim çözümlemesinde o kadar ba³arldr. Tabloda göze çarpan bir di§er unsur kötü sonuca sahip alan do§rusal modeller- dir:
2. Do§rusal çekirdekli C-SVC 3. Normal Da§lml Naïve Bayes
Bunula beraber ifade gücü yüksek ayaralara sahip olan modeller ³unlardr:
1. J48 - Budamal 2. KNN - k=1
Yukardaki modeller daha ba³arl olmu³tur. Bu gözlem sn andrclarn performansna tezat olu³turur. Çünkü ifade gücü çok arttkça sistem a³r uyum- dan zarar görmekteydi ve ba³ar oran belli bir noktadan sonra dü³mekteydi. Bu farkl duruma ³u ³ekilde açklk getirmeye çal³alm.
Kullanlan Türkçe derlemde aday öncüller adldan uzakla³tkça gerçek öncül olma olaslklarn kaybediyorlar. Adln öncülü genelde ona en yakn öncüllerde yeralr. Bu çerçevede, mu§laklk oldu§unda ve adaylardan en yakn seçildi§inde ifade gücü yüksek olan modellerin a³r uyum riski azalm³ olur.
Kritik Ba³ar Oran (Critical Success Rate)
Mitkov artgönderim için dikkat edilmesi gereken bir performans ölçüm yakla- ³m önermi³tir. Bu yakla³ma göre e§er bir adl için eleme i³leminden sonra tek bir aday kalm³sa çözüm çok kolaydr. Dolaysyla bu tip durumlarn çö- zümü önerilen sistemden çok durumun kendisinden kaynakl çözülmesi basit bir örnektir. Yani sözkonusu derlem basit bir derlemdir. Bu tip örnekleri ba³ar he- sabna katmakszn, yani bu tip adllar d³nda kalan adllar üzerinden bir ba³ar oranndan bahsetmek gerekir. Çözümü kolay olmayan adllar için yaplan hesap sonunda olu³an performans oranna kritik ba³ar oran ad verilmi³tir. Bu
tez kapsamnda sistemde elde edilen sonuçlar söz konusu kritik ba³ar oranna oldukça yakndr. Çünkü sistemde eleme i³leminden sonra tek bir aday öncülü kalan adllarn tüm adllara oran %3 gibi ihmal edilebilir küçüklüktedir. Bu anlamda her iki yakla³mda (bilgi tabanl ve makine ö§renme tabanl) sunu- lan ba³ar oranlar kritik ba³ar oran olarak dü³ünülebilir. Bu oran günümüzde yaplan tüm Bilgisayarl Artgönderim çal³malar için kabül edilmi³ bir orandr.
Bölüm 5
DENEY SONUÇLARININ
DEERLENDRLMES
Bu çal³ma kapsamnda gerek ö§renme tabanl yöntemler gerek bilgi tabanl yöntemler Türkçe metinlere uyguland. De§erlendirmeye makine ö§renme algo- ritmalarnn sonuçlaryla ba³lanabilir. Bu algoritmalardaki süreç üç a³amadan olu³ur. Birincisi her bir söylemdeki adllar ve onlarn olas aday öncülleri belir- lendi. Her bir e³le³me veri taban kaytlar gibi ifade edilip, evet/hayr olmak üzere ikili sn andrld. Böylece üzerinde ö§renme algoritmalar kolaylkla uy- gulanabilir duruma geldi. Bir di§er a³ama ö§renme algoritmasnn bu veriden bir model olu³turmas oldu. Bu modeller, o modeli olu³umu için kullanlmayan ba³ka söylemlerden olu³an veriler üzerinde denendi. Aslnda ö§renme algorit- malar e³le³melere evet/hayr diyerek gönderimsel ili³kileri belirlemye çal³r. Ancak Makine Ö§renme Algoritmalar herbir adln sadece bir tane öncül adaya sahip olmas gereklili§i bilgisinden yoksundur. Bu nedenle sistemin bir üçüncü a³amaya ihtiyac vard. Bu a³amada e§er birden fazla aday öncül varsa ya da hiç aday yoksa en yakn adayn seçilmesi i³lemi yürütüldü.
Sn andrma a³amasnda de§erlendirme sistemi için f-ölçütü kulland§nda elde edilen sonuçlar %64 ve %74 arasnda çkt. Bu de§erlerin yeterli oldu§unu Kappa istatisti§i aracl§ ile ifade edilebildi. Çünkü bu istatistik öne sürülen modelin rastgele bir modelden ne kadar ba³arl oldu§unu belirler. Bu bakm- dan saysal açdan da olu³an modellerin belli bir ba³ary yakalayabildi§ini gö- rürebilmekteyiz. Bu istatisti§e göre Kappa de§eri 0.4'ten büyük çkarsa önerilen modelin ba³arl oldu§u söylenebilmektedir. Önerilen algoritmalarn ço§u bu de- §erin üstünde sonuç vermi³tir.
Do§rusal olmayan ayarlara sahip ö§renme algoritmalarnn, di§erlerine oranla daha ba³arl oldu§u görülmü³tür. Bunun sebebi de derlemde olu³an kaytlarn do§rusal bir yöntemle sn andrlamamasdr. Ayn zamanda do§rusal olmayan sn andrclar ise belli bir seviyeden sonra a³r uyumdan olumsuz etkilendik- lerinden ba³ar oranlar dü³mektedir.
Makine Ö§renmesi sonras artgönderim çözümü srasnda ise ³u sonuçlar elde edildi. Bir modelin ifade gücü artar ise, ba³ar oran artar. Herhangi bir a³r uyuma yol açmaz. Bunun asl sebebi birden fazla aday seçildi§inde en yakndaki adayn seçilmesidir. Derlemdeki adl/öncül uzakl§nn oldukça küçük olmas sebebiyle bu a³r uyum (over tting) etkisi yok oldu.
Bir di§er gözlem ise artgönderim çözümünde uzakl§n ve ki³i/say uyumu- nun çözümde çok etkili oldu§udur. Bu önceki bölümlerde verilen tablolardan da görülebilir. Bu özellik di§er bilgi tabanl yakla³mlar için de güçlü bir özellik olarak ön plana çkar.
Bilgi tabanl ya da kural tabanl yakla³mlardan RAP temelli yakla³m Türkçe alana uygulad§nda elde edilen en iyi sonuç % 53 çkt. Bu sonuç için algoritma- daki parametreler sürekli de§i³tirildi. Ve sonuçta 1114 adldan 598'i do§ru bir ³ekilde çözümlendi. Di§er yakla³mlarla kar³la³trld§nda bu ba³ar orannn
daha dü³ük oldu§u söylenebilir.
Bilgi tabanl yakla³mlardan Merkezleme Teorisini ele alan yakla³m Türkçe alanna uygulad§nda RAP temelli algoritmaya göre daha iyi bir sonuç alnd. Bu yakla³mda 1114 adldan 792'si ba³arl bir ³ekilde çözümlenmi³ oldu. Bu- radaki % 0.71 (792 /1114) ba³ar oran RAP algoritmasna göre daha iyi bir sonuçtur. Bununla birlikte makine ö§renme algoritmalarna göre ise yeterli bir seviyede oldu§u söylenebilir. Bu a³amada bilgi tabanl ve makine ö§renme ta- banl yakla³mlarn sonuçlarn tek bir tabloda ifade ederek de§erlendirilebilir. 5.1 nolu tabloda hem makine ö§renme algoritmalarnn hem bilgi tabanl algo- ritmalarn sonuçlar listelenmi³tir. Belirginlik temelli yakla³mn Türkçe derlem üzerindeki ba³ar oran Alglayc (Voted Perceptron) sn andrcs ile nere- deyse ayndr. Bu sn andrc di§er makine ö§renmesi algoritmalaryla kar³- la³trld§nda en kötü sonuca sahip olan algoritmadr. Daha önce de de§inildi§i gibi bu algoritma ifade gücünün zayf olmas sebebiyle derlemdeki durumlar tam olarak ifade edememektedir. Üst de§erinin 1 olmas bu algoritmann do§- rusal bir sn andrc gibi davranmasna yol açmaktadr. Bu nedenle derlem üzerindeki ba³ar oran dü³üktür.
Bu noktada cevab aranan soru ³udur:
Peki Belirginlik Temelli Yakla³m neden makine ö§renmesi algo- ritmalarndan daha kötü bir sonuç verdi ? Ve bu algoritmalardan üs derecesi 1 olan, yani do§rusal bir ö§renme algoritmas gibi davranan alglayc (Voted Perceptron) ile neredeyse ayn sonucu vermesinin nedeni nedir ?
Makine Ö§renme algoritmalarnn en önemli özelli§i veritabanndaki gizli desenleri, kurallar, formülleri bulup çkarabilmesidir. Dolays ile artgönderim
Tablo 5.1: Artgönderim Ba³ar Oran Makine Ö§renme Temelli Yakla³mlar
Model Ayarlar Ba³ar Oran
Voted Perceptron - Üst=1 0.52
C-SVC - Do§rusal Çekirdek 0.54
Naïve Bayes- Normal Da§lm 0.61
J48 - Budamal 0.62
Voted Perceptron - Üst= 2 0.63
Naïve Bayes - Çekirdek Tahim 0.63
IBk - k=11 0.66
J48 - Boosted ve Budamal 0.69
C-SVC - Radyal Tabanl Çekirdek 0.70
IBk - k=1 0.75
Bilgi Tabanl Yakla³mlar
Belirginlik Temelli Yakla³m (RAP) 0.53 Merkezleme Temelli Yakla³m 0.71 Merkezleme Temelli (Adls Vurgusu) 0.72
problemine uygulanacak ö§renme algortimalar söylemdeki gönderimsel ili³kile- rin hangi kurallara göre olu³tu§unu bulabilme kapasitesine sahiptir. imdi bu a³amada belirginlik tabanl yakla³m içerdi§i yöntemden dolay do§rusal bir mo- dele sahiptir. Yani girdi olarak ald§ özellik listesini belli a§rlk de§erlerine göre çarparak bir sonuç üretmeye çal³r. Daha önceki bölümlerde ifade edildi§i gibi algoritma gözden geçirildi§inde bu yöntemin bu manada basit ve do§rusal bir yaps vardr ve sadece derlemdeki do§rusal bilgileri bulabilir. Makine Ö§renme algoritmalar da, e§er derlemde mevcut ise bu basit ve do§rusal kurallar rahat- lkla bulur. Ancak ö§renme algoritmalar belirginlik temelli yakla³mn aksine do§rusal olmayan kurallarda bulabilir. E§er derlem do§rusal yöntemle sn an- drlamyorsa, do§rusal olmayan makine ö§renme yöntemleri bu kurallar bulup çkarma yetene§ine sahiptir. Yani belirginlik temelli yakla³mndaki algoritma makine ö§renme algoritmalar tarafndan zaten ö§renileblir ve hatta belirginlik
tabannn ula³amayaca§ desenleri de derlemden bulup çkarabilir. Belirginlik tabanl yakla³m tam da Do§rusal Voted Perceptron (üs=1) gibi çal³r. 4.3.2 nolu bölümde tanmlanan Belirginlik Temelli algoritma birinci dereceden bir al- glayc gibi ifade edilebilir. Örne§in 4.3.2 nolu tablodaki a§rlklar kullanarak yaratlan model 5.1 nolu ³ekildeki gibi ifade edilebilir.