4. BULGULAR ve TARTIŞMA
4.4. Tahmin Yöntemlerinin Karşılaştırılması
4.4.2. Wilcoxon eşleştirilmiş işaretli sıra testi
42
Çizelge 4.6. Orijinal veri kümeleri için Friedman test sonuçları
MAPE performans kriterine göre sonuçlar
RMSE performans kriterine göre sonuçlar
Hesaplanan 𝝌𝑭𝟐
Ki-kare tablo değeri 𝝌𝟐
Hesaplanan 𝝌𝑭𝟐
Ki-kare tablo değeri 𝝌𝟐 Ağaç Tabanlı
Yöntemler 86,00 38,885
(𝑑𝑓= 26, 𝑝 = 0,05) 104,95 38,885 (𝑑𝑓= 26, 𝑝 = 0,05) Komşuluk Tabanlı
Yöntemler 195,54 211,217
(𝑑𝑓= 179, 𝑝 = 0,05) 497,65 211,217 (𝑑𝑓= 179, 𝑝 = 0,05)
Ağaç tabanlı yöntemlerin orijinal veri kümelerinde MAPE ve RMSE sonuçlarına göre 𝜒2 < 𝜒𝐹2 olduğu için H0 hipotezi reddedilmektedir. Komşuluk tabanlı yöntemlerin orijinal veri kümelerinde MAPE sonuçlarına göre 𝜒2 > 𝜒𝐹2 olduğu için H0 hipotezi kabul edilmektedir. RMSE sonuçlarına göre 𝜒2 < 𝜒𝐹2 olduğu için H0 hipotezi reddedilmektedir. Orijinal veri kümelerinde yapılan Friedman testlerinde sadece komşuluk tabanlı yöntemlerin MAPE sonuçlarına karşılaştırılan modeller arasında istatistiksel olarak anlamlı bir farklılık görülmemiştir.
Çizelge 4.7. Aykırı değer analizi yapılan veri kümeleri için Friedman test sonuçları
MAPE performans kriterine göre sonuçlar
RMSE performans kriterine göre sonuçlar
Hesaplanan 𝝌𝑭𝟐
Ki-kare tablo değeri 𝝌𝟐
Hesaplanan 𝝌𝑭𝟐
Ki-kare tablo değeri 𝝌𝟐 Ağaç Tabanlı
Yöntemler 76,20 38,885
(𝑑𝑓= 26, 𝑝 = 0,05) 120,83 38,885 (𝑑𝑓= 26, 𝑝 = 0,05) Komşuluk Tabanlı
Yöntemler 146,34 211,217
(𝑑𝑓= 179, 𝑝 = 0,05) 637,75 211,217 (𝑑𝑓= 179, 𝑝 = 0,05)
Aykırı değer analizi yapılan veri kümeleri için Friedman test sonuçları, orijinal veri kümeleri için Friedman test sonuçlarına benzerdir. Yapılan Friedman testlerinde sadece komşuluk tabanlı yöntemlerin MAPE sonuçlarına göre karşılaştırılan modeller arasında istatistiksel olarak anlamlı bir farklılık görülmemiştir.
43
istatistiksel olarak anlamlı fark bulunan modeller belirlenmiştir. İkinci aşamada aralarında istatistiksel olarak anlamlı fark olan modeller sıralanarak en iyi performans gösteren modeller belirlenmiştir. İkili karşılaştırma için kurulan hipotez testi aşağıda verilmiştir.
H0: Karşılaştırılan iki modelin hata miktarı eşittir.
H1: Karşılaştırılan iki modelden birinci modelin hata miktarı, ikinci modele göre daha azdır.
Çizelge 4.8 ve Çizelge 4.9’da verilen en iyi performans gösteren ilk iki sıradaki modellere bakıldığında ağaç tabanlı yöntemlerin topluluk versiyonları olarak geliştirilen TRA ve GRA yöntemlerinin öne çıktığı görülmektedir. Bununla birlikte ağaç tabanlı yöntemler ile tahmin yapılırken yaprak düğümünde eşit ağırlıklı tahmin fonksiyonu (ATF1) kullanmak yerine nesnelerin birbirine olan uzaklık sıralamalarını, uzaklıklarını ya da yerel aykırı değer faktörlerini dikkate alan ağırlıklı tahmin fonksiyonlarının (ATF2, ATF3, ATF4, ATF5, ATF8, ATF9) daha iyi sonuç verdiği görülmüştür. Komşuluk tabanlı yöntemler için en iyi performans gösteren ilk iki sıradaki modeller incelendiğinde TKNN yönteminin KNN yönteminden her zaman daha iyi sonuç verdiğine dair yeterli kanıt yoktur. Ancak hem KNN yönteminde hem de TKNN yönteminde eşit ağırlıklı tahmin fonksiyonu (ATF1) yerine nesneleri farklı ağırlık değerlerini (ATF2, ATF6, ATF7, ATF8, ATF9) kullanan modellerin daha iyi performans gösterdiği görülmüştür.
Çizelge 4.8. Orijinal veri kümelerinde ağaç ve komşuluk tabanlı yöntemler için MAPE ve RMSE sonuçlarına göre seçilen modeller
MAPE performans kriterine göre sonuçlar
RMSE performans kriterine göre sonuçlar
Ağaç tabanlı yöntemler
Komşuluk tabanlı yöntemler
Ağaç tabanlı yöntemler
Komşuluk tabanlı yöntemler
1. Seçim GRA-ATF4 9NN-ATF2 TRA-ATF8 T4NN-ATF8
2. Seçim
TRA-ATF2 TRA-ATF4 TRA-AFT5 GRA-ATF2 GRA-ATF3 GRA-ATF5
10NN-ATF2
TRA-ATF2 TRA-ATF3 TRA-ATF4 TRA-ATF9
T5NN-ATF8
44
Çizelge 4.9. Aykırı değer analizi yapılan veri kümelerinde ağaç ve komşuluk tabanlı yöntemler için MAPE ve RMSE sonuçlarına göre seçilen modeller
MAPE performans kriterine göre
sonuçlar RMSE performans kriterine göre sonuçlar
Ağaç tabanlı
yöntemler Komşuluk tabanlı
yöntemler Ağaç tabanlı
yöntemler Komşuluk tabanlı yöntemler
1. Seçim TRA-ATF4 9NN-ATF2 TRA-ATF8 T4NN-ATF8
2. Seçim TRA-ATF3 10NN-ATF2
TRA-ATF4 TRA-ATF9 GRA-ATF4
7NN-ATF6 7NN-ATF7 7NN-ATF8 7NN-ATF9
Yapılan Friedman testleri ve Wilcoxon eşleştirilmiş işaretli sıra testinde ağaç tabanlı yöntemler ve komşuluk tabanlı yöntemler kendi aralarında gruplandırılarak incelenmiştir.
Çalışmanın bundan sonraki aşamasında Model ağacı, ağaç tabanlı yöntemlerin ve komşuluk tabanlı yöntemlerin eşit ağırlıklı tahmin fonksiyonları (ATF1) ve Wilcoxon eşleştirilmiş işaretli sıra testi sonucuna göre en iyi performans gösteren yöntemler birlikte değerlendirilmiştir. Daha önce yapılan istatistiksel analizlerde olduğu gibi yeni karşılaştırma havuzları aykırı değer analizi çalışmalarına ve seçilen modellerin MAPE ve RMSE sonuçlarına göre ayrı ayrı değerlendirilmiştir. Oluşturulan yeni karşılaştırma havuzlarında yer alan modellerin 𝑟𝑖𝑗 değerlerinin kutu bıyık diyagramları Şekil 4.5, Şekil 4.6, Şekil 4.7 ve Şekil 4.8’de verilmiştir.
Orijinal veri kümelerinin MAPE sonuçlarına göre yapılan değerlendirmede geliştirilen GRA – ATF4 ve 9NN – ATF2 yöntemlerinin hem Model ağacı hem de geliştirilen diğer yöntemlerin eşit tahmin fonksiyonlu modellerine göre daha iyi performansa sahip oldukları görülmektedir (Şekil 4.5). RMSE sonuçlarına göre yapılan değerlendirmede TRA – ATF8 ve T4NN – ATF8 yöntemlerinin daha iyi performansa sahip oldukları görülmektedir (Şekil 4.6).
45
Şekil 4.5. Orijinal veri kümelerinin MAPE sonuçlarına göre belirlenen karşılaştırma modellerinin 𝒓𝒊𝒋 değerlerinin kutu bıyık diyagramı
Şekil 4.6. Orijinal veri kümelerinin RMSE sonuçlarına göre belirlenen karşılaştırma modellerinin 𝒓𝒊𝒋 değerlerinin kutu bıyık diyagramı
Şekil 4.7. Aykırı değer analizi yapılan veri kümelerinin MAPE sonuçlarına göre belirlenen karşılaştırma modellerinin 𝒓𝒊𝒋 değerlerinin kutu bıyık diyagramı
46
Şekil 4.8. Aykırı değer analizi yapılan veri kümelerinin RMSE sonuçlarına göre belirlenen karşılaştırma modellerinin 𝒓𝒊𝒋 değerlerinin kutu bıyık diyagramı
Aykırı değer analizi yapılan karşılaştırmalı değerlendirme veri kümelerinin MAPE sonuçlarına göre yapılan değerlendirmede geliştirilen TRA – ATF4 ve 10NN-ATF2 yöntemlerinin hem Model ağacı hem de geliştirilen diğer yöntemlerin eşit tahmin fonksiyonlu modellerine göre daha iyi performansa sahip oldukları görülmektedir (Şekil 4.7). RMSE sonuçlarına göre yapılan değerlendirmede TRA – ATF8 ve T4NN – ATF8 yöntemlerinin daha iyi performansa sahip oldukları görülmektedir (Şekil 4.8).
Oluşturulan dört karşılaştırma havuzu için en iyi performansa sahip ilk iki sırada yer alan modeller Çizelge 4.10’da özetlenmiştir.
Çizelge 4.10. Model ağacı, ağaçlı tabanlı yöntemler ve komşuluk tabanlı yöntemlerin birlikte değerlendirilmesi ile en iyi performansa sahip yöntemlerin listesi
Seçim sırası MAPE sonuçlarına göre RMSE sonuçlarına göre Aykırı Değer Analizi
Öncesi
1 9NN – ATF2 T4NN – ATF8
2 GRA – ATF4 TRA – ATF8
Aykırı Değer Analizi Sonrası
1 TRA – ATF4 T4NN – ATF8
2 10NN – ATF2 TRA – ATF8
Orijinal veri kümeleri ile yapılan karşılaştırmada MAPE sonuçlarına göre KNN ve GRA algoritmasının, RMSE sonuçlarına göre TKNN ve TRA algoritmasının en iyi sonucu verdiği görülmektedir. Aykırı değer analizi sonrası yapılan karşılaştırmada MAPE sonuçlarına göre TRA ve KNN algoritmasının, RMSE sonuçlarına göre TKNN ve TRA algoritmasının en iyi sonucu verdiği görülmektedir. ATF2, ATF4 ve ATF8 en iyi sonucu
47
veren yöntemlerde kullanılan ağırlıklı tahmin fonksiyonlarıdır. Model ağacı ve önerilen yaklaşımların orijinal hallerini temsil eden ATF1 yapılan karşılaştırma sonuçlarına göre ilk sıralarda tercih edilmemektedir. Çizelge 4.10’a göre tez kapsamında önerilen komşuluk tabanlı yöntemlerin daha iyi sonuç verdiği görülmektedir.