Ġsabet ve yanlıĢ uyarı oranlarının belirlenmesi

Öncelikle uzmanın iĢaretlediği gruplama sınırları ile üç katılımcı grubundan elde edilen sınır verileri, daha sonra uzmanın iĢaretlediği gruplama sınırları ile üç hesaplamalı modelden elde edilen tahmini sınırlar ve son olarak üç katılımcı grubundan elde edilen sınır verileri ile üç hesaplamalı modelden elde edilen tahmini sınırlar sinyal tespit teorisinde önerilen iki metrik kullanılarak, yani “isabet” ve “yanlıĢ uyarı” oranlarının hesaplanması yoluyla karĢılaĢtırmalı olarak analiz edildi. Sinyal tespit teorisi, insanların belirsiz koĢullar altında nasıl karar verdiklerini ölçmek için kullanılır ve karar veren kiĢinin, bilgiyi pasif olarak almadığını, algısal yönden aktif karar verme yetisine sahip olduğunu var sayar (Macmillan ve Creelman, 1991). Bu teori, bir deneyde bilgi içeren örüntüler (insanlarda “uyaran”, makinalarda ise “sinyal”) ile bilgi içermeyen örüntüler (yani “gürültü”, uyaran olmayan) arasında ayırım yapma becerisini esas alır. Dolayısıyla, hem uyaranı hem de uyaran olmayanı temsil eden iki farklı dağılımı dikkate alır.

Sinyal tespit teorisinin amacı, bir sinyalin arka plan gürültüsünden ya da baĢka bir sinyalden ayrıĢtırılmasını incelemektir. Böylelikle, kiĢinin sinyal olup olmadığına dair nasıl karar verdiği anlaĢılmaya ve modellenmeye çalıĢılır. Geleneksel ve basit

tasarıma sahip deneylerde, katılımcıdan “sinyal var” ve “sinyal yok” anlamına gelen “evet” ya da “hayır” Ģeklinde yanıt vermesi istenir. Çizelge 3.1‟de verilen karar matrisi, deneysel verilerden elde edilmesi mümkün olan dört olası yanıt Ģeklini göstermektedir.

Çizelge 3.1 : Karar matrisinde yer alan dört olası yanıt Ģekli.

Yanıt “Evet” Yanıt “Hayır”

Sinyal “Var” Ġsabet Iskalama

Sinyal “Yok” YanlıĢ Uyarı Doğru Ret

Mevcut olan bir sinyale (uyarana) evet yanıtı verildiyse, “isabet”tir. Bir sinyal yokken evet yanıtı verildiyse, bu “yanlıĢ uyarı”dır. Bir sinyal varken yanıt verilmediyse, “ıskalama”dır. Son olarak, sinyal yok ise ve bir yanıt verilmediyse, bu “doğru ret”tir (Abdi, 2007). Deneysel veriden elde edilmek istenen bilgi, isabet ve yanlıĢ uyarı oranları karĢılaĢtırılarak elde edilebilir. Eğer isabet oranı fazla ve yanlıĢ uyarı oranı düĢük ise bu, verilen yanıt örüntüsünün sinyal ile iyi Ģekilde örtüĢtüğünü gösterir. YanlıĢ uyarı oranları arttıkça örtüĢme azalırken, bu oranlar azaldıkça örtüĢme artmaktadır. Az sayıda yanlıĢ uyarının bulunduğu durumlar, yanıtların rastlantısal olarak değil, seçici olarak verildiğini gösterir. Benzer biçimde, doğru uyarı oranlarının fazla olması, yanıtlar ile sinyalin daha iyi örtüĢtüğünü gösterirken, bu oranların az olması aynı zamanda örtüĢmenin de az olduğunu göstermektedir. Sinyal tespit teorisi davranıĢsal alanda kullanılırken, bir sinyalin gerçekte var olup olmadığına dair değiĢik görüĢler olabilir. Dolayısıyla, sinyal tespit performansı belirlenirken, temel alınacak gerçeklik birden fazla olabilir. Bu durum, öğrencilere verilen bir sınavın değiĢik cevap anahtarları ile puanlandırılmasına benzetilebilir. DeğiĢik cevap anahtarlarının kullanılıyor olması, aynı zamanda teorinin davranıĢsal alanda tersten iĢlemesi ile, davranıĢsal verilere dair öngörülerin performans karĢılaĢtırmasını yapmak için de kullanılabilir.

Sinyal tespit teorisine benzer bir metot olan “F1 ölçümü” (ya da “F skoru”), hesaplamalı modellerden elde edilen tahmini sınırlar ile katılımcılardan elde edilen sınırların karĢılaĢtırmalı analizini yapan daha önceki çalıĢmalarda, özellikle bir algoritmanın performansını ölçmek için kullanılmıĢtır (Thom ve diğ., 2002; Wiering ve diğ., 2009; Bozkurt ve diğ., 2014). F1 ölçümü, genel olarak ikili sınıflandırmaların istatistiksel analizinde bir testin doğruluğunu ölçmek için kullanılır. Örneğin, müzisyen katılımcılar ile hesaplamalı modeller olarak iki ayrı

sınıflandırma yapılırsa ve müzisyenler cevap anahtarı olarak alınırsa, iki sınıflandırma arasındaki fark sadece dört sayı ile tanımlanabilir. Aynı sınır konumunda hem müzisyenler hem de hesaplamalı modeller iĢaretleme yapmıĢ ise bu gerçek pozitiftir (TP) ve “1” değer verilir. Sinyal tespit teorisinde bu değerin karĢılığı “isabettir”. Aynı sınır konumunda hem müzisyenler hem de hesaplamalı modeller iĢaretleme yapmamıĢsa, bu gerçek negatiftir (TN) ve “0” değer verilir. Sinyal tespit teorisinde bu değerin karĢılığı “doğru retdir”. Aynı sınır konumunda müzisyenler iĢaretleme yapmamıĢ (“0”) ve hesaplamalı modeller iĢaretleme yapmıĢ ise (“1”) bu yanlıĢ pozitiftir (FP). Sinyal tespit teorisinde bu değerin karĢılığı “yanlıĢ uyarıdır”. Bu durum tersine döndüğünde ise, bu yanlıĢ negatiftir (FN). Sinyal tespit teorisinde bu değerin karĢılığı “ıskalamadır”. F1 ölçümü, hem algoritmanın kesinliğini (p) (yani, doğru tahmin edilmiĢ olan sınırların oranınını) hem de yakalama oranını (r) (yani, tespit edilmiĢ olan doğru sınırların oranını) birleĢtirir (Thom ve diğ., 2002). Ancak bu çalıĢmada, sinyal tespit metodu esas alınarak, dört ayrı kaynağın duyarlılık parametrelerini ölçmek için kullanılmıĢtır: birinci aĢamada uzman ve diğer aĢamalarda ise üç katılımcı grubu. Uzmanın cevap anahtarı olarak kabul edildiği aĢamada, uzmanın iĢaretlediği bir nota birimi eğer bir katılımcı grubu tarafından da sınır olarak iĢaretlendiyse, bu durum “isabet” anlamına gelmektedir. Eğer bir katılımcı grubu uzmanın iĢaretlemediği bir nota birimini sınır olarak iĢaretlediyse, bu durum “yanlıĢ uyarı” anlamına gelmektedir. Diğer üç aĢamada ise, tüm hesaplamalar (yani, isabet ve yanlıĢ uyarı sayıları) bu çalıĢma kapsamına alınan üç katılımcı grubunun her birinin cevap anahtarı olarak kabul edilmesi ile yapılmıĢtır. Katılımcılardan elde edilen sınır verileri ile hesaplamalı modellerden elde edilen sınır tahminlerinin karĢılaĢtırmalı analizini yapan önceki çalıĢmalarda da, özellikle çalıĢma kapsamına alınan modellerin hassasiyetleri, sinyal tespit teorisindeki dört olası yanıt Ģeklinden ikisi olan “ıskalama” ve “yanlıĢ uyarı” esas alınarak ölçülmüĢtür (Melucci ve Orio, 2002; Frankland ve Cohen, 2004, birinci deney). Hesaplamalar yapılmadan önce, daha önce belirtildiği gibi, her fragmanda her gruptan en az yüzde 30 katılımcı tarafından iĢaretlenen nota birimleri eĢik (sınır) olarak kabul edildi ve bu birimlerin nota üzerindeki yerleri belirlendi. Sonraki aĢamada ise, isabet oranları hesaplandı. Ġsabet oranları hesaplanırken, belli bir cevap anahtarına göre her katılımcı grubundan ya da her hesaplamalı modelden elde edilen isabet sayısı, her fragmandaki toplam nota birimine bölündü ve yüz ile çarpıldı.

Böylelikle, her fragman için isabet oranı yüzdesi bulundu. Bundan sonraki aĢamada ise, yanlıĢ uyarı oranları hesaplandı. YanlıĢ uyarı oranları hesaplanırken, öncelikle her fragmanda cevap anahtarında iĢaretlenmiĢ olan nota birimlerinin sayısı o fragmanın toplam nota birimi sayısından çıkarıldı ve böylelikle her katılımcı grubunda ya da her hesaplamalı modelde yanlıĢ uyarı olarak verilen toplam nota birimi sayısı bulundu. Daha sonra, her katılımcı grubunun ya da modelin o cevap anahtarına göre verdikleri yanlıĢ uyarı sayıları, fragmanın toplam nota birimi sayısına bölündü ve yüz ile çarpıldı. Böylelikle, her fragman için yanlıĢ uyarı oranı yüzdesi bulundu. Bu durumda, her katılımcı grubundan ya da modelden belirli bir cevap anahtarına göre elde edilebilecek olan en yüksek isabet oranı yüzdesi, %100‟dür. En yüksek yanlıĢ uyarı oranı yüzdesi ise, bir katılımcı grubunun ya da hesaplamalı modelin cevap anahtarında iĢaretlenmemiĢ olan tüm nota birimlerini iĢaretlemeleri anlamına gelmektedir. Bu metotla hesaplanan tüm isabet ve yanlıĢ uyarı oranları, hem her fragmanda belirli bir katılımcı grubunun ya da modelin örtüĢme ya da örtüĢmeme miktarını göstermekte, hem de katılımcı gruplarının ya da modellerin belirli bir cevap anahtarına göre örtüĢme ya da örtüĢmeme miktarlarının karĢılaĢtırılabilmesine imkan sağlamaktadır.

Birinci aĢamada, uzman cevap anahtarı olarak kabul edilmiĢ ve uzmana göre katılımcı grupların isabet ve yanlıĢ uyarı oranları hesaplanmıĢtır. Ġkinci aĢamada, uzman tekrar cevap anahtarı olarak kabul edilmiĢ ve üç hesaplamalı modelin isabet ve yanlıĢ uyarı oranları belirlenmiĢtir. Bu karĢılaĢtırma, modellerin önerdikleri iki müziksel boyut (perde aralığı ve baĢlangıç aralığı) üzerinden ayrı ayrı yapılmıĢtır. Sonraki üç aĢamada ise, üç katılımcı grubu cevap anahtarı olarak kabul edilmiĢ ve üç modelin isabet ve yanlıĢ uyarı oranları, bu modellerin önerdikleri iki müziksel boyut üzerinden ayrı ayrı yapılmıĢtır. Uzman cevap anahtarı olarak kabul edildiğinde, hem katılımcı grupların hem de üç modelin uzmanla örtüĢme ve örtüĢmeme oranları tespit edilebilecektir. Üç katılımcı grubu cevap anahtarı olarak kabul edildiğinde ise, hesaplamalı modellerin katılımcı gruplardan elde edilen davranıĢsal veriler ile örtüĢme ve örtüĢmeme oranları, yani davranıĢsal veriye göre performansları tespit edilebilecektir.