bir katsaydr. Bu formül do§ru olursa çkt 1, yanl³ ise çkt 0 olur. Orjinal alglayc e§itim sürecinde, bir sn andrma e§itimi için, özellik vektörü pe³ pe³e i³leme sokulur. E§er belli bir e³ik de§erinin üzerinde bir hata olu³ursa, a§rlklar güncellenir. Yapay Sinir A§lar 4.6 nolu ³ekilde görüldü§ü gibi birden çok alglayclar iç içe kullanr.
Ancak orjinal algoritma e§er veri do§rusal bir ³ekilde ayrlmaya uygunsa ba³arl bir sonuca ula³r. E§er verinin do§rusal olmayan bir karakteri var ise, di§er bir alglayc olan voted perceptron kullanlabilir. Bu algoritma orjinal süreçte olu³an tüm a§rlklandrmalar kullanarak tahminde bulunmaya çal³r. Bunu herbir a§rlklandrma vektörünün kaç e§itim örne§ini do§ru bir ³ekilde sn andrd§n bellekte tutarak ba³arabilir.
4.4.3 Sonuçlar
Ele alnan bu be³ algoritma, önceki bölümlerde bahsedildi§i gibi derlem üzerine uygulanm³tr. Her bir algoritmann farkl ifade gücüne sahip iki farkl sn and- rcs kullanld. Bu deneyde kullanlan parametreler 4.7 nolu tablodaki gibidir. Bu tablodaki ayar isimleri WEKA programnda kullanld§ gibi verilmi³tir.
Bu be³ algoritmann iki farkl sn andrcsn uygulanmas sonucu ortaya çkan sonuçlar 4.8 nolu tablodaki gibidir.
Tablo 4.7: Algoritma ve Parametreleri Algoritma Parametreler
IBk No Distance Weighting Use Euclidean Distance Naïve Bayes No Supervised Discretization
J48 Con dence Factor: 0.25 No Reduced Error Prunning Use Subtree Raising On Pruning No Laplace-based Smoothing
Do not Force Binary Split on Nominal Attributes Voted Perceptron Maximum Number of Alternation:10000
C-SVC Cost: 1.0
Gamma: 1/maxindex
No Normalization
Tablo 4.8: Sn andrclarn Sonuçlar
No Sn andrc Parametre De§i³ikli§i Sn andrma Sonuçlar
Do§ruluk Precision Recall F-Ölçütü Kappa
Baseline / Dayanak-1 Ço§unluk tabanl 67.3 - - - 0
Baseline / Dayanak-2 Snf Da§lm tabanl 55.2 31.5 31.5 31.5 0
Baseline / Dayanak-3 En Yakn Aday - - 46.7 - -
1 IBk k=1 0.75 0.60 0.76 0.67 0.4792
2 C-SVC Do§rusal Çekirdek 0.77 0.66 0.62 0.64 0.4736
3 Naïve Bayes Normal Da§lm 0.78 0.65 0.71 0.68 0.5202
4 J48 boosted ve budamasz 0.77 0.64 0.70 0.67 0.4968
5 Voted Perceptron üs= 1 0.79 0.71 0.65 0.68 0.5155
6 Naïve Bayes kernel estimator 0.80 0.69 0.71 0.70 0.5402
7 IBk k=11 0.80 0.67 0.76 0.72 0.5534
8 J48 Budamal 0.81 0.71 0.71 0.71 0.5712
9 Voted Perceptron Üst= 2 0.81 0.72 0.70 0.71 0.5739
10 C-SVC Radyal Tabanl Çekirdek 0.82 0.73 0.74 0.74 0.6017
bahsedilebilir. Tablodaki Do§ruluk oran (Accuracy)
(T P + T N )
(T P + T N + F N + F P ) (4.23)
T P
(T P + F P ) (4.24)
formülüyle, anma (recall)
T P
(T P + F N ) (4.25)
formülüyle ve F-ölçütü
(2 ∗ kesinlik ∗ anma)
kesinlik + anma (4.26)
formülüyle hesaplanr. Bu formüllerde geçen TP, TN, FP, ve FN ifadeleri 4.9 nolu tabloya göre açklanabilir.
Tablo 4.9: Kar³klk Matrisi Tahmin Pozitif Negatif
Gerçek pozitif TP FN
Negatif FP TN
Çal³ma alannda varolan bir ö§eye var dendi§inde ya da gerçekte do§ru olan bir ³eyi tasarlanan sistem de do§ru olarak tahmin etmi³ ise bu durum TP (True Pozitif) olarak ifade edilir. Gerçekte do§ru olan bir ³ey yanl³ olarak tahmin edilirse bu FN (False Negative) olarak ifade edilir. Gerçekte yanl³ olan bir ³eyin do§ru oldu§u söylenirse, bu durum FP (False Pozitive) olarak ifade
edilir. Son olarak gerçekte yanl³ olan bir duruma sistem yanl³ derse, bu durum TN (True Negative) olarak isimlendirilir.
imdi bu performans de§erlendirme ölçümlerinin artgönderim çözümlemesi için ne ifade etti§ine baklacak.
Do§ruluk (Accuracy),
Sistem tarafndan do§ru tahmin edilmi³ tüm durumlar
Sistemdeki tüm durumlar (4.27)
formülüyle, kesinlik (Precision)
Sistem tarafndan do§ru ³ekilde çözülmü³ artgönderim ili³kileri
Sistem tarafndan ifade dilmi³ toplam artgönderim ili³kiler (4.28)
formülüyle ve anma (Recall) ise
Sistem tarafndan do§ru ³ekilde çözülmü³ artgönderim ili³kileri
Derlemde bulunan toplan artgönderimsel ili³kiler (4.29)
formülüyle hesaplanr edilebilir.
4.8 nolu tablodaki de§erlere bakld§nda, tüm sonuçlar belli bir aralkta ve birbirine yakndr. Çok net bir ³ekilde belli algoritmalarn di§erlerine göre daha ba³arl oldu§u söylenemez. Ancak yine de sn andrclar, genel performanslar açsndan de§erlendirildi§inde olumlu bir sonuç oldu§u söylenebilir. En azndan bu alanda yaplm³ di§er çal³malarla kyasland§nda bu daha net söylenebilir. Bunun söylenmesindeki en önemli dayanak ise, tabloda da gösterilen ilk üç daya- nak algoritmalardr. Dayanak (baseline) algoritmalar elde edilen sonuç için bir temel olu³turur. Bu algoritmalar ile önerilen algoritma kyaslanr ve ortaya bir ba³ar oran çkar. Bu çal³madaki deneyde üç dayanak algoritmas kullanld: Ço§unluk tabanl, Snf da§lm tabal ve en yakn aday. Birinci dayanak algorit-
mas, ço§unluk tabanl algoritma, tüm yeni örneklere e§itim kümesinde baskn olan snf atar. Bu tez çal³mas alannda baskn snf de§eri hayr etiketlidir. Yani iki ö§e arasnda bir ili³ki var m sorusunun cevab hep hayrdr. kinci dayanak algoritmas Snf Da§lm üzerine kuruludur. Test kümesindeki snf- landrlacak yeni örneklere yaplacak rastgele snf etiketlerinin da§lm e§itim kümesindeki da§lmla ayn tutulur. Üçüncü dayanak algoritmas söz konusu adldan önceki en yakn aday öncül olarak kabul eder. Buradaki yöntem ba- sit bir ilkeyi temel alr. Artgönderimler onlardan önce gelen ve en yakn ö§eye gönderimde bulunmaya e§ilimlidirler. Yaplan çal³malarn bu dayanak algo- ritmalarndan ne kadar ba³arl oldu§u önemlidir. Bunlardan birine yakn bir sonuç veren sistemin bir yatarcl§ yoktur. Çünkü basit bir bilgi ile kurulmu³ dayanak algoritmalaryla ayn sonucu vermesi istenilen bir durum de§ildir.
Bu noktada rahatlkla belirtilmesi gereken bir nokta ³udur: Bu çal³mada sununal modeller ve kullanlan makine ö§renme algoritmalar, bu dayanak al- goritmalardan çok daha iyi bir performans göstermi³tir. Bu performans daha iyi ifade etmek için makine ö§renmesi modeliyle dayanak algoritmas arasndaki farka baklabilir.
Ele alnan ve uygulanan di§er bir yöntem Kappa statisti§idir. Tablo 4.8'de sunulan sonuçlarda bu istatistiksel bilgi mevcuttur. Kappa istatisti§i, sn andrclarn performansn bir temel çerçevesinde ölçmek için kullanlan alternatif bir yöntemdir. Ölçüm formülü
K = P0− Pc (1 − Pc)
(4.30)
ifadesi kararn rastgele verilmesiyle ortaya çkan ba³ar orandr. Bu formül- den de anla³ld§ gibi bu istatistiksel ölçüm de§eri -1 ile 1 arasnda yer alr. -1 tümüyle kötü bir sistemi, +1 ise tamamen ba³arl bir sistemi ifade eder. [Landis ve Koch, 1977]'e göre Kappa de§erinin 0.4'ten büyük olmas o sitemin ³ansn ötesinde makul bir ba³ar gösterdi§ini anlamna gelir. 4.8 nolu tablodaki Kappa sonuçlar çal³mada denenen yakla³mlarn rastgele sn andrclardan çok daha iyi oldu§unu ifade ediyor.
Her ne kadar ö§renme algoritmalarnn sonuçlar rastgele sn andrclarn- dan ba³ar olsa da, problemin çözümüne ili³kin de§erlendirmede tam anlamyla ba³arl saylmaz. [Ho vd., 2006] bunun sebebine ili³kin üç olas etkenden bah- seder:
1. Algoritmadan kaynakl eksiklik 2. Verideki içkin zorluklar
3. Metod ile problemin uyu³mamas
imdi bu üç ba³lkl çerçevede problem tart³lacak. Tablo 4.8'de sunulan sonuçlara bakld§nda belli bir algoritmann daha ba³arl oldu§u söylenemez. Ayn algoritma de§i³ik parametrelerle de§i³ik sonuçlar üretebiliyor. lk be³ sra- lamada do§rusal çekirdekli C-SVC neredeyse en kötü ba³arya sahip olmasna kar³n, ikinci be³lide radyal çekirdekli C-SVC en iyi ba³arya sahiptir. Sonuç olarak artgönderim problemi için ba³arl olabilecek evrensel bir algoritmadan bahsedilmesi mümkün de§il. Bu de§erlendirme kural tabanl yöntemler içinde söylenebilir.
Bir di§er zorluk ise verideki ya da derlemdeki zorluklardr. Artgönderim problemi için bakt§mzda bu durumu a³a§daki söylemle örneklemek müm- kündür.
Ayse Hasan'a yardm etti. Çünkü Onun yardma ihtiyac vard. (4.31)
Yukardaki örnekte Onun ifadesi Ayse'ye mi yoksa Hasan öncülüne mi gönde- rimde bulunacak ? Merkezleme kuramnn yakla³m ele alnd§nda Özne nes- neye tercih edilecektir. Dolays ile Ayse öncülü seçilecektir. Ancak normal bir okumada Hasan öncülü daha do§ru gözükmektedir. Bu çkarma ula³mak için belki de anlambilimsel yöntemler kullanlmas gerekiyor. ³te Artgönderim prob- lemine dair buna benzer birçok örnek vardr. Bu tip örnekler mu§laklk (ambi- guity) olarak niteleniyor Tüm bu örnekler burada sralanmayacak. Öte yandan Türkçe için cinsiyet kodu bir dezavantaj ol³turmaktadr. Yukardaki örnek n- gilizce için mu§laklk yaratmazd. Çünkü Ayse ve Hasan farkl ³ekilde cinsiyet kodlamal adllarla ifade edileceklerdi. Örne§in his ya da her adl kullanlrd ve bir mu§laklktan bahsedilmezdi.
Artgönderim problemindeki bir di§er önemli husus adllar için elemeler so- nunda kalan öncül saysdr. E§er eleme sonucu sadece bir aday kalm³sa bu problemin çözümü kolaydr. Dolaysyla veritabannda ya da derlemde kaç ad- ln elemeler sonunda tek bir adaynn kald§ çok önemlidir. Bu oran yüksekse söz konusu verinin karma³kl§ oldukça dü³üktür. Bu tez çal³masndaki der- lemde bu oran % 3.1'dir ve bu anlamda çal³lan derlem karma³ktr.
Sn andrclarn performansn etkilyecek bir di§er ö§e ise verinin da§nk- l§ veya yetersizli§idir (sparsity). Veri e§er yeterli miktarda örne§e sahip de§ilse, sn andrclar genel bir kural olu³turma yeteneklerini kaybederler. Yani bir ge- nelleme yapmak için belli sayda örne§e ihtiyac duyarlar. Bu hassasiyeti ölçmek için yaplan deneyde, veri 1100 örnek kalncaya kadar de§i³tirildi§inde f-ölçütü %60 de§erinden %73'e çkyor. Ve bundan sonra bir doyum yakalyor ve doyum
noktasnda sabit kalyor.
Bir di§er etken ise problem ile bu probleme uygulanan metod arasndaki uyu³mazlktr. Bu tez çal³masna yönelik olarak 4.8 nolu tabloda gösterilen C- SVC, Voted Perceptron ve Naïve Bayes sn andrclar ele alnabilir. Bu algo- ritmalar için uygulanan parametrelerdeki do§rusal ve do§rusal olmayan seçimler üzerinden bir yorum yaplabilir. C-SVC ile alnan en kötü sonuç bu yöntem için uygulanan do§rusal formüldür. Bu formül a³a§daki 4.32 nolu formüldür.
f (x) = (wTx) + b (4.32)
En iyi sonuç ise radyal tabanl kullanlan a³a§daki 4.33 nolu formüldür.
k(x, x) = exp(k x − x k)
2
2σ2 (4.33)
Weka yazlmndaki Voted Perceptron için kullanlan a³a§daki 4.34 nolu formüldeki
k(x, x0) = (x.x0 + 1)d (4.34)
d de§eri 1 seçildi§inde do§rusal bir çekirdek, daha büyük seçildi§inde do§- rusal olmayan bir çekirdek kullanm³ oluruz. Bu algoritmada yine do§rusal ol- mayan çekirdek kullanld§nda ba³ar oran artm³tr. Benzer bir özelli§i Naïve Bayes için söyleyebiliriz. Bu algoritma normal da§lm ile uyguland§nda do§-
rusal bir sn andrc ve çekirdek yo§unluk tahmini (kernel density estimator) kullanld§nda do§rusal olmayan bir sn andrc snfna dahil olur. Bu örnekte de di§er örneklerde oldu§u gibi do§rusal olmayan ayarlar çerçevesinde artgön- derim sistemi biraz daha ba³arl olmu³tur. Yukardaki gözlemler veritabannn ya da derlemdeki gönderimsel ili³kilerin do§rusal bir ³ekilde de§ilde do§rusal olmayan bir biçimde olu³tu§u sonucunu verir. Ve bu nedenle do§rusal olmayan yöntemlerin daha iyi sonuç vermesi ola§andr.
A³r Uyum (Over tting) ve Yetersiz Uyum (Under tting)
Makine Ö§renmesi ve istatistik alanndaki en önemli sorulardan biri A³r Uyum ve Yetersiz Uyum ikili§idir. Üretilen modelin kendisini olu³turan veriye a³r bir ³ekilde ba§ml olmas ve genellikten uzakla³mas A³r Uyuma yol açar. Veri içinde birçok istisna barndrr ve ayn ³ekilde çe³itli gürültüler içerebilir. Yani ele alnan veri birçok tutarszl§n birlikte getirir. çinde hatal veriler barndrr. Verinin bütününe ula³maya ve onu modellemeye çal³mak yeni olu³acak verileri anlamay zorla³trr. Bu olguya veri madencili§i alannda ngilizce'de over t- ting denir. Tükçe için yaygn bir kar³l§ olmasa da bu kavram a³r uyum olarak çevrilebilir. 4.7 nolu ³ekildeki e§riler ö§renme sürecindeki hata e§rileridir. Üstteki e§ri sa§lama ya da test kümesinin hata durumunu ifade ederken, alttaki e§ri e§itim kümesine ili³kindir. Bu gra kteki e§itim kümesinde hatann belli bir etkene göre azald§ görülür. Bu etkenin ne oldu§u bu tart³ma açsndan ³imdi- lik önemli de§ildir. Sadece yaratlan modelin e§itim kümesi üzerindeki hatasnn belli bir etken sebebiyle azald§n dü³ünülsün. Bu azalmaya sa§lama/test kü- mesi de belli bir noktaya kadar e³lik eder ve bu noktadan itibaren sa§lama kümesindeki azalma durur ve artmaya ba³lar. ³te bu durma ve artma noktas- nn sonras çal³mann A³r Uyum (over tting) oldu§u bölgeyi ifade eder.