4. DENEYLER
4.3 Yeniden E¸sleme Deneyleri
Orijinal ODTÜ-Sabancı A˘gaç Yapılı Derlemi’nin ba˘glılık grameri üzerindeki de˘gi¸sikliklerin bir uzantısı olarak, Bölüm 2.2 altında da bahsedildi˘gi üzere, benzer nitelikteli ba˘glılık türleri tek etiket altında toplanmı¸stır. Bu tür gruplamalara ancak ba˘glılık türleri arasındaki farklılıkların sözdizimsel olmaktan ziyade biçimbilimsel oldu˘gu durumlarda karar verilmi¸stir. Veri güdümlü ba˘glılık ayrı¸stırıcıları neredeyse de˘gi¸smez olarak birimlerin biçimbilimsel özelliklerinden yararlandıklarından, sözdizimsel ba˘glılıklar arasındaki bu tür biçimbilimsel nitelikli ayrımlar gereksiz görünmektedir. Ayrıca bu ¸sekildeki ba˘glılıkların ortak etiketler altında toplandı˘gı bu tür çerçevelerde, uydu ve iye birimlerin biçimbilimsel özellikleri referans alınarak bir soni¸sleme rutini ile aradaki ortak ba˘glılık etiketinin ilgili ince etiketlere yeniden e¸slenmesi çok kolay olmaktadır. Bu de˘gi¸siklik anlamsal veya i¸slemsel temelleri olmayan tek de˘gi¸siklik sınıfını te¸skil etti˘ginden görece keyfi kalsa da, temelde
1Orijinal çalı¸smadaki bu skor, zamanının ölçüm standartları gere˘gi noktalama i¸saretleri de˘ger-
lendirilmeksizin hesaplanmı¸stır, ancak kendi ölçüm sistemimizle orijinal OSD üzerinde aynı skorları tekrar elde etti˘gimizde noktalama i¸saretlerinin de˘gerlendirilmeye katıldı˘gı ve katılmadı˘gı modellerin arasındaki ba¸sarım farklarının istatistiksel olarak anlamsız oldu˘gu tespit edilmi¸stir. Yeni ˙IOSD üzerinde yapılan ölçümlerde noktalama i¸saretleri hesaba katılmadı˘gında ise etiketli ba˘glanma skoru katı ve gev¸setilmi¸s de˘gerlendirme için sırasıyla %75.1 ve %75.7’den %69.8 ve %70.5’e dü¸smekte ve bu durum ayrı¸stırma ba¸sarımlarındaki iyile¸smede yeni getirilen basit noktalama i¸saretleme yönteminin ancak kısmi bir katkısının oldu˘gunu göstermektedir.
gözetilen minimalizm prensibi ile gerekçelendirilmektedir.
Bu tür gruplamaların iki büyük örne˘gi MODIFIER ve POSSESSOR etiketleri için yapılmı¸stır. Bu ba˘glılıklardan ilki ad soylu tümleçleri kapsayan X.ADJUNCT ba˘glılıkları ve bunun dı¸sında kalan her niteleyiciyi kapsayan MODIFIERba˘glılı˘gından derlenmi¸s, ikinci ba˘glılık ise ad tamlamalarında tümleyenin iyelik halinde oldu˘gu durumlarda kullanılan POSSESSOR ba˘glılı˘gı ile tümleyen yalın halde oldu˘gunda kullanılan CLASSIFIERba˘glılı˘gını kapsamaktadır. Bu gruplamaların ba˘gımsız etkilerini görmek için ˙ITÜ-ODTÜ-Sabancı A˘gaç Yapılı Derlemi’nin her ortak etiket için alternatif kolları olu¸sturulmu¸s ve her birinde ilgili etiket ¸Sekil A.1 ve A.2 üzerinde gösterildi˘gi ¸sekilde orijinal gramerin gerektirdi˘gi etiketlere soni¸sleme rutinleri ile e¸slenmi¸stir. Devamında bu e¸slenmi¸s veriler (önceden gözlenen en yüksek ba¸sarımlı yöntem oldu˘gu üzere) En Yakın ˙Iye seçimiyle tek iyeli hale indirgenmi¸s ve bunlar üzerinde e˘gitilen modeller de˘gerlendirilmi¸stir. Sonuçta elde edilen figürler Tablo 4.2 üzerinde verilmektedir.
Öncelikle MODIFIER ve POSSESSOR etiketleri üzerinde gerçekle¸stirilen e¸sleme deneyleri bu türler için alt türlerin kullanımının ayrı¸stırma ba¸sarımı üzerinde gözle görülür herhangi bir etkisinin olmadı˘gını açık olarak göstermektedir. ˙Ilgili alternatif modellerin her ikisinde de etiketli (%75.1 ± %0.1) ve etiketsiz (%75.7 ± %0.1) ba˘glanma skorlarının standart model ile arasındaki farkın istatistiksel olarak anlamsız oldu˘gu görülmü¸stür. Bu bulgular bu tür kategorilerde olabildi˘gince minimal bir i¸saretleme yöntemi kullanmanın güvenli olaca˘gını göstermekte ve önceki alt türleri yeni i¸saretleme çerçevesinde tek bir ortak etiket altında gruplama inisiyatifini desteklemektedir. Bu yolla aynı zamanda ba¸sarım veya ifade gücünde bir dü¸sü¸se yol açmadan i¸saretleme süreci daha açık ve sezgisel hale getirilmektedir.
Yapılan di˘ger bir e¸sleme ise çok sözcüklü deyimsel ifadeleri tanımlamakta kullanılan MWE ba˘glılı˘gı ile ilgilidir. Bu ba˘glılık anlamsal yapısından dolayı ayrı¸stırma sürecinde do˘gru olarak atanması en zor olan ba˘glılık türleri arasındadır. Çok sözcüklü ifadelerin sözdizimsel katmanda i¸saretlenmesi ifade gücü ve ayrı¸stırma
kolaylı˘gı arasında daha ödünle¸simli bir durumu te¸skil etmektedir. Bu sebepten dolayı MWE türü de ¸Sekil A.3 üzerinde gösterildi˘gi gibi benzer ¸sekilde bir soni¸sleme rutini ile safi sözdizimsel türlere açılmı¸s ve böylece derlemin üçüncü bir alternatif kolu olu¸sturulmu¸stur. Bu e¸sleme MWE türlerini tamamen ortadan kaldırarak gramerin çok sözcüklü ifadeleri göstermesi için bir yol bırakmamı¸s ve ifade gücünde net bir azalmaya yol açmı¸stır. Bunun yanında, e¸slenmi¸s veri kümesinde e˘gitilen modellerle yapılan çapraz do˘grulama, Tablo 4.2 üzerinde gösterildi˘gi gibi etiketli ba˘glanma skorlarında %2.7’ye yakın bir artı¸s göstermi¸s oldu˘gundan, bu de˘gerlendirmenin yapılmı¸s olması önemlidir. Bu e¸slemenin ayrı¸stırıcının genel ba¸sarımı üzerindeki belirgin etkisine ra˘gmen i¸saretleme çerçevesinden MWE türü kaldırılmamı¸s, çok sözcüklü ifadelerin ifade edilebilmesi ayrı¸stırma ba¸sarımındaki yükseli¸se tercih edilmi¸stir.
Çizelge 4.2: ˙ITÜ-ODTÜ-Sabancı A˘gaç Yapılı Derlemi’nde MODIFIER, POSSES- SORve MWE türlerinin di˘ger türlere e¸slendi˘gi üç alternatif kol ile ili¸skili modeller üzerindeki çapraz do˘grulama skorları.
Do˘grulama Kümesi
(Tek ˙Iye: En Yakın) (Gev¸setilmi¸s De˘gerlendirme)
E
˘gitim
Kümesi
˙IOSD BSE+: %75.1 ± %0.21 BSE+: %75.7 ± %0.21
(Tek ˙Iye: En Yakın) BSE−: %84.1 ± %0.26 BSE−: %84.4 ± %0.24 ˙IOSD - MODIFIERE¸slemesi BSE+: %75.0 ± %0.22 BSE+: %75.6 ± %0.21
(Tek ˙Iye: En Yakın) BSE−: %84.0 ± %0.25 BSE−: %84.4 ± %0.23 ˙IOSD - POSSESSORE¸slemesi BSE+: %75.2 ± %0.20 BSE+: %75.8 ± %0.20
(Tek ˙Iye: En Yakın) BSE−: %84.2 ± %0.25 BSE−: %84.4 ± %0.23 ˙IOSD - MWE E¸slemesi BSE+: %77.8 ± %0.17 BSE+: %78.4 ± %0.16
(Tek ˙Iye: En Yakın) BSE−: %84.2 ± %0.25 BSE−: %84.5 ± %0.23
4.4 ˙ITÜ A˘gaç Yapılı Web Derlemi
˙ITÜ-ODTÜ-Sabancı A˘gaç Yapılı Derlemi’nde oldu˘gu gibi ˙ITÜ A˘gaç Yapılı Web Derlemi üzerindeki çapraz do˘grulama skorları da Tablo 4.3 üzerinde verilmi¸stir. Tek iyeli modellerin birbirleriyle kar¸sıla¸stırılması ve gev¸setilmi¸s de˘gerlendirme sonuçları ˙ITÜ-ODTÜ-Sabancı A˘gaç Yapılı Derlemi’ne benzer bir skor da˘gılımı göstermektedir. ˙ITÜ A˘gaç Yapılı Web Derlemi’nde de En Yakın ˙Iye seçim
yöntemi katı de˘gerlendirmede %79.7 ve gev¸setilmi¸s de˘gerlendirmede %80.1’e varan etiketli ba˘glanma skorlarıyla daha iyi ba¸sarım göstermi¸stir. Elde edilen bu skorları ˙ITÜ-ODTÜ-Sabancı A˘gaç Yapılı Derlemi’yle kar¸sıla¸stırmak çok anlamlı olmayacak olsa da, ˙ITÜ A˘gaç Yapılı Web Derlemi’nde ölçülen temel ba¸sarımların ˙ITÜ-ODTÜ-Sabancı A˘gaç Yapılı Derlemi’ndekileri açık arayla geçti˘gi görülmektedir. Bu sonuçların ı¸sı˘gında bu yeni derlemin kendi içinde oldukça tutarlı bir yapıda oldu˘gu sonucu çıkarılabilir.
Çizelge 4.3: ˙ITÜ A˘gaç Yapılı Web Derlemi üzerinde do˘grulanan modellerin çapraz do˘grulama skorları.
Do˘grulama Kümesi
˙ITÜ A. Y. WEBD. ˙ITÜ A. Y. WEBD. ˙ITÜ A. Y. WEBD. (Tek ˙Iye: En Yakın) (Tek ˙Iye: En Uzak) (Gev¸setilmi¸s De˘gerlendirme)
E
˘gitim
Kümesi
˙ITÜ-ODTÜ-SAB. D. BSE+: %68.2 BSE+: %67.7 BSE+: %68.7
(Tek ˙Iye: En Yakın) BSE−: %79.6 BSE−: %79.0 BSE−: %80.1
˙ITÜ-ODTÜ-SAB. D. BSE+: %66.9 BSE+: %67.0 BSE+: %67.7
(Tek ˙Iye: En Uzak) BSE−: %78.4 BSE−: %78.4 BSE−: %79.2
˙ITÜ A. Y. WEBD. BSE+: %79.7 ± %0.22 BSE+: %78.8 ± %0.23 BSE+: %80.1 ± %0.23
(Tek ˙Iye: En Yakın) BSE−: %87.5 ± %0.14 BSE−: %86.5 ± %0.14 BSE−: %87.9 ± %0.15
˙ITÜ A. Y. WEBD. BSE+: %78.8 ± %0.23 BSE+: %79.7 ± %0.22 BSE+: %79.5 ± %0.23
(Tek ˙Iye: En Uzak) BSE−: %86.7 ± %0.18 BSE−: %86.6 ± %0.15 BSE−: %87.5 ± %0.17
˙Iki yeni derlem arasındaki alan farklılı˘gı hakkında bir fikir sahibi olmak adına ˙ITÜ-ODTÜ-Sabancı A˘gaç Yapılı Derlemi üzerinde e˘gitilen modellerle ˙ITÜ A˘gaç Yapılı Web Derlemi’nin ayrı¸stırılması da denenmi¸stir. Beklendi˘gi üzere, her iki derlemin de aynı i¸saretleme çerçevesine göre etiketlenmi¸s olmasına ra˘gmen, ˙ITÜ-ODTÜ-Sabancı A˘gaç Yapılı Derlemi’nin kurallı cümleleri üzerinde e˘gitilen modellerin ˙ITÜ A˘gaç Yapılı Web Derlemi’nin yo˘gun ölçüde kural dı¸sı olan cümlelerini ayrı¸stırmakta, her ne kadar bu kural dı¸sı cümleler elle dikkatli bir ¸sekilde normalize edilmi¸s olsalar da, daha dü¸sük ba¸sarım gösterdi˘gi görülmü¸stür. ˙ITÜ A˘gaç Yapılı Web Derlemi’nin ˙ITÜ-ODTÜ-Sabancı A˘gaç Yapılı Derlemi üzerinde e˘gitilen modeller kullanılarak ayrı¸stırılması sonucunda, her iki derlemin de kendi içinde çapraz do˘grulanmasıyla elde edilen skorlardan ciddi derecede daha dü¸sük skorlar
alınmı¸stır. Bu durumlar, bu iki derlemin oldukça farklı alanlardaki cümleleri kapsadı˘gı ve birbirlerinin muadili olamayaca˘gına güçlü bir kanıt te¸skil etmektedir.