3. YÖNTEM
3.3 Değerlendirme Ölçütleri
Debi süreklilik çizgisi modeli sonuçlarının değerlendirilmesinde rölatif hata ile birlikte bu çalışmada önerilen ve kullanılan diğer değerlendirme ölçütleri anlatılmaktadır. Debi süreklilik çizgisi üzerinde 0.001 m3/s ile 1000 m3/s arasında değişen akım değerlerini (düşük ve yüksek akımları) tek bir değerlendirme ölçütü ile değerlendirmek mümkün değildir. Bu nedenle debi süreklilik çizgisini parçalara ayırarak değerlendirmek ve yorumlamak daha doğru bir yaklaşım olarak benimsenmiştir. Örneğin; 𝑄95= 0.001 m3⁄ olan bir havzada model ile tahmin s edilen akım değeri 0.002 m3⁄ ise rölatif hata cinsinden %100 hata yapıldığı s düşünülür. Diğer taraftan 𝑄95 = 1000 m3⁄ olduğunda model ile yapılan tahmin s 900 m3⁄ ise rölatif hata sadece %10 olacaktır. Aslında düşük akım kısmındaki rölatif s hata %100 olmasına rağmen hatanın çok küçük olduğu, yüksek akım kısmında %10’luk rölatif hatanın ise 100 m3/s gibi büyük bir akım değerine karşı geldiği görülür. Bu nedenle rölatif hata gibi bir değerlendirme ölçütünün geliştirilen modeli tek başına değerlendirmede yeterli olmadığı anlaşılmaktadır. Burada, literatürde özellikle debi süreklilik çizgisini değerlendirmede kullanılan ve önerilen yöntemler açıklanmaktadır. Aşağıda sıralanan ölçütlerde 𝑄𝑖 gözlenen, 𝑄̃𝑖 modelden tahmin edilen ve 𝑄̅ havzada uzun yıllar gözlenen ortalama akım değerini ifade etmektedir.
3.3.1 Nash-Sutcliffe etkinlik katsayısı
Özellikle yüksek akımların değerlendirilmesinde kullanılan Nash-Sutcliffe etkinlik katsayısı (NSE), 𝑁𝑆𝐸 = 1 −∑ (𝑄̃𝑖 − 𝑄𝑖) 2 𝑁 𝑖=1 ∑𝑁 (𝑄𝑖− 𝑄̅)2 𝑖=1 (3.18)
ile hesaplanır ve –∞ ≤ NSE ≤ 1 aralığında değişir. Hesaplanan değer 1’e yaklaştıkça modelden tahmin edilen sonuçların gözleme yakın olduğu anlaşılır. Ayrıca NSE, –∞’a kadar gidebildiğinden çok küçük negatif değerlerle karşılaşmak mümkündür. Ridolfi ve diğ. (2018) debi süreklilik çizgisi değerlendirmesinde elde ettiği başarılı sonuçları sunarken 1’e yakın NSE değerlerinin yanında en düşük -25.7 değerini hesaplamıştır. Moriasi ve diğ. (2007) Çizelge 3.1’deki gibi bir sınıflandırma yaparak hesaplanan NSE değerine göre modelin performansını değerlendirmiştir.
Çizelge 3.1 : NSE’ye göre performans değerlendirmesi. Değerlendirme Aralık
Çok iyi 0.75 < NSE ≤ 1.00 İyi 0.65 < NSE ≤ 0.75 Yeterli 0.50 < NSE ≤ 0.65 Yetersiz NSE ≤ 0.50 3.3.2 Ortalama karesel hatanın karekökü
Ortalama karesel hatanın karekökü (RMSE),
𝑅𝑀𝑆𝐸 = √1 𝑁∑(𝑄̃𝑖− 𝑄𝑖) 2 𝑁 𝑖=1 (3.19)
ile hesaplanır. Bu değerlendirme ölçütü, NSE’de olduğu gibi özellikle yüksek akımların (taşkın piklerinin) değerlendirilmesinde kullanılır ve 0 ≤ RMSE ≤ ∞ aralığında değişir. Bu ölçüt boyutludur ve incelenen değişkenin boyutunu taşır. Bu nedenle büyük akım değerinde büyük RMSE hesaplanır. Bu durum verinin aralığıyla ilgili olduğundan bu ölçütle doğrudan modelin değerlendirilmesi kolay değildir. Yine de hesaplanan değer sıfıra yaklaştıkça modelden elde edilen ve gözlenen değerlerin birbirine yakın olduğu anlaşılır.
3.3.3 Standart sapma oranı
Standart sapma oranı (RSR), NSE’ye benzemekte ve yine özellikle yüksek akımların (taşkın piklerinin) değerlendirilmesinde kullanılmaktadır. 0 ≤ RSR ≤ ∞ aralığında değişen RSR, 𝑅𝑆𝑅 = √1 𝑁∑𝑁𝑖=1(𝑄̃𝑖 − 𝑄𝑖)2 √1 𝑁∑𝑁 (𝑄𝑖 − 𝑄̅)2 𝑖=1 (3.20)
ile hesaplanır. Hesaplanan değer sıfıra yaklaştıkça modelden elde edilen sonuçların başarılı olduğu anlaşılmaktadır. RSR için Çizelge 3.2’de değerlendirme amacıyla bir sınıflandırma yapılmıştır (Moriasi ve diğ., 2007).
Çizelge 3.2 : RSR’ye göre performans değerlendirmesi. Değerlendirme Aralık Çok iyi 0.00 ≤ RSR ≤ 0.50 İyi 0.50 < RSR ≤ 0.60 Yeterli 0.60 < RSR ≤ 0.70 Yetersiz RSR > 0.70 3.3.4 Ortalama karesel hata
Ortalama karesel hata (MSE), yüksek akımları değerlendirmede kullanılır (Pfannerstill ve diğ., 2014) ve 𝑀𝑆𝐸 = 1 𝑁∑(𝑄̃𝑖− 𝑄𝑖) 2 𝑁 𝑖=1 (3.21)
ile hesaplanır. 0 ≤ MSE ≤ ∞ aralığında değişen MSE için hesaplanan değer sıfıra yakın olduğunda sonuçların başarılı olduğu anlaşılır. Bu ölçüt de RMSE gibi boyutludur. Bu nedenle büyük akım değerinde büyük ortalama karesel hatalar hesaplamaya meyillidir.
3.3.5 Ortalama mutlak hata
Debi süreklilik çizgisini bir bütün olarak değerlendirmek amacıyla kullanılan ortalama mutlak hata (MAE),
𝑀𝐴𝐸 = 1
𝑁∑|𝑄̃𝑖− 𝑄𝑖|
𝑁
𝑖=1
(3.22)
ile hesaplanır. 0 ≤ MAE ≤ ∞ aralığında değişen MAE için hesaplanan en iyi değer sıfır olarak hedeflenmektedir.
3.3.6 Rölatif hata
Debi süreklilik çizgisi üzerinde tahmin edilen ve gözlenen kuantillerin karşılaştırılmasında yaygın bir şekilde kullanılan rölatif hata (RE),
𝑅𝐸 =𝑄̃𝑖 − 𝑄𝑖
𝑄𝑖 100 (3.23)
ile hesaplanır. Değerlendirme ölçütlerinin hesabında bahsedilen nedenlerden dolayı doğru bir yorumlama imkanı vermemektedir. –∞ ≤ RE ≤ ∞ aralığında değişen RE’nin
sıfıra yakın değerlerinde sonuçlar kabul edilebilir mertebededir. Singh ve diğ. (2001), Hindistan’da 1200 havzada yaptıkları uygulamada model ile hesaplanan akımların 3/4’ünden fazlası için %100’ün üzerinde RE hesaplamıştır.
3.3.7 Hacimsel hata
Debi süreklilik çizgisinin altında kalan alanı değerlendirmek amacıyla hacimsel hata (VE) kullanılır ve
𝑉𝐸 =∑ 𝑄̃𝑖
𝑁
𝑖=1 − ∑𝑁𝑖=1𝑄𝑖
∑𝑁𝑖=1𝑄𝑖 (3.24)
ile hesaplanır. –∞ ≤ VE ≤ ∞ aralığında değişen VE’nin sıfıra yakın değerlerinde sonuçlar kabul edilebilir mertebededir. Ridolfi ve diğ. (2018) debi süreklilik çizgisi için VE değerlerini –0.2 ≤ VE ≤ 0.5 aralığında hesaplamıştır.
Bu ölçütlere ek olarak, öncelikle debi süreklilik çizgisi için kullanılmak üzere BiasFHV, SFDCE ve BiasFLV mevcuttur. Bunlar debi süreklilik çizgisinin sırasıyla yüksek (%0-20), orta (%20-70) ve düşük (%70-100) kısımları için kullanılır. Yilmaz ve diğ. (2008) tarafından önerilen bu ölçütler sayesinde debi süreklilik çizgisi ile ilgili modellerin performansları daha kolay değerlendirilmektedir. Ancak ölçütlerin performans aralıkları verilmediğinden modellerin başarılı olup olmadığı ile ilgili kesin bir yargıya varılamamaktadır. Bu nedenle hesaplanan ölçüt değerleri başarı yüzdesi olarak yorumlanacaktır.
3.3.8 Debi süreklilik çizgisi yüksek kısmının hatası
Bu ölçüt debi süreklilik çizgisinde yüksek akım (%0-20) hacminin değerlendirilmesi amacıyla önerilmiştir. Modelden tahmin edilen ve gözlenen değerler birbirine yakın elde ediliğinde debi süreklilik çizgisi yüksek kısmının hatası (BiasFHV) için sıfıra yakın bir değer hesaplanır. BiasFHV’de değerlendirme aralığı %0-100’dür. BiasFHV,
𝐵𝑖𝑎𝑠𝐹𝐻𝑉 =∑ (𝑄̃𝑖− 𝑄𝑖)100
𝑁 𝑖=1
∑𝑁𝑖=1𝑄𝑖 (3.25)
3.3.9 Debi süreklilik çizgisi orta eğiminin hatası
Debi süreklilik çizgisi orta eğiminin hatası (SFDCE), debi süreklilik çizgisinin orta (%20-70) kısmının değerlendirilmesi amacıyla kullanılır. Bu ölçüt için kabul edilebilir hesap aralığı %0-100’dür. Yine de debi süreklilik çizgisi orta eğiminde hesaplanan hata debi süreklilik çizgisinin yüksek ve düşük kısımlarındaki hataya göre daha küçük beklenmektedir. SFDCE,
𝑆𝐹𝐷𝐶𝐸 =[log(𝑄𝑚1) − log(𝑄𝑚2)] − [log(𝑄𝑔1) − log(𝑄𝑔2)]
[log(𝑄𝑔1) − log(𝑄𝑔2)] 100 (3.26)
ile hesaplanır. Denklemde 𝑄𝑚1 modelden tahmin edilen %20 aşılma yüzdesine karşı gelen debi değerini, 𝑄𝑚2 modelden tahmin edilen %70 aşılma yüzdesine karşı gelen debi değerini, 𝑄𝑔1 gözlenen %20 aşılma yüzdesine karşı gelen debi değerini, 𝑄𝑔2 gözlenen %70 aşılma yüzdesine karşı gelen debi değerini ifade etmektedir.
3.3.10 Debi süreklilik çizgisi düşük kısmının hatası
Bu ölçüt debi süreklilik çizgisinde düşük akım (%70-100) hacminin değerlendirilmesi için kullanılır. Debi süreklilik çizgisi düşük kısmının hatası (BiasFLV) için sıfıra yakın değerler beklenmekle birlikte %100’e kadar hesaplanan değerler kabul edilebilir mertebededir. BiasFLV (%), 𝐵𝑖𝑎𝑠𝐹𝐿𝑉 =∑ (𝑄̃𝑖− 𝑄𝑖)100 𝑁 𝑖=1 ∑𝑁𝑖=1𝑄𝑖 (3.27) ile hesaplanır.