AĢağıda kullanılabilirlik ile ilgili yapılan araĢtırmaların özetleri bulunmaktadır. Froehlich (2007) tarafından “Çocuklar Üzerinde Bilgisayar EtkileĢim Teknolojisinin ve Yöntemlerinin Testi” konulu çalıĢmaya Chicago‟da bulunan beĢ ilköğretim okulundan 142 öğrenci katılmıĢ ve çalıĢma nicel kullanılabilirlik testi ile gerçekleĢtirilmiĢtir. Bu araĢtırmanın amacı, üçüncü ve dördüncü sınıf öğrencilerinin katılımıyla, mouse ve touchpad kullanılabilirliği ile grafik tablet kullanılabilirliğini karĢılaĢtırmaktır. Öğrenciler eğitim düzeylerine uygun matematiksel problemlerin çözümü ile ilgili tasarlanan bilgisayar oyunlarını oynamıĢlardır. Bu teknolojilerin kullanılabilirliği, öğrencilerin verilen görevleri tamamlamaları, tamamlama süreleri ve hata oranları ölçülerek sonuçlara ulaĢılmıĢtır. AraĢtırma sonucuna göre, kullanılabilirliğin istatistiksel analiz varyansı (a = 0.01) Mouse ve touchpad kullanımı arasında anlamlı bir fark olmadığını göstermiĢtir. Ancak, öğrencilerin grafik tablet kullanımı ile ilgili daha önce bir deneyimleri olmadığından ve tablet kullanımı on dakika içinde öğrenilemeyeceğinden, kullanılabilirliğin öğrencilerin yaĢıyla artacağı bulunmuĢtur.
Kim (2007) tarafından “Bir Ders Bildirim Sohbet Odasının Kullanılabilirliği ve Etkililiği” konulu çalıĢma lisans düzeyinde 16 üniversite öğrencisinin katılımıyla gerçekleĢtirilmiĢtir. Kullanılabilirlik testinde iĢlevsellik; görev tamamlama, etkililik, kullanım kolaylığı, öğrenilebilirlik ve araĢtırma kolaylığına bakılarak belirlenmiĢtir. Katılımcılar sistemi kullanırken sistemle ilgili sesli düĢünmeleri istenmiĢ, sonrasında web anket ve kullanıcı görüĢme formlarıyla veriler toplanmıĢtır. AraĢtırma sonuçlarına göre, Ders Bildirim Sohbet Sayfası‟nın iĢlevsellik oranı yüksek bulunmuĢtur, ancak kullanıcı geribildirimlerinden bazıları iĢlevsel etkililiğin artırılmasına ihtiyaç duyulduğu yönündedir.
Gürses(2006) tarafından gerçekleĢtirilen “Kütüphane Web Sitelerinde Kullanılabilirlik ve Kullanılabilirlik Ġlkelerine Dayalı Tasarım” konulu çalıĢma, kullanılabilirliğe etki eden temel faktörlerin tespit edilmesi ve bunların kullanıcı performansı ve memnuniyeti üzerindeki etkilerini belirlemek amacıyla kullanıcıların elektronik kütüphane web sitelerinin kullanıcı arayüzleri ile ilgili algıları, görüĢleri ve arayüz kullanım tutumları incelenmiĢtir. Ulusal Akademik Ağ ve Bilgi Merkezi‟nin
(ULAKBĠM) Web Sitesi örneğinin iki farklı tasarımı (Mevcut Site ve kullanılabilirlik ilkelerine dayalı olarak tasarlanan Prototip Site) nicel ve nitel ölçümler aracılığı ile karĢılıklı olarak incelenmiĢtir. Kullanılabilirlik ile ilgili nicel veriler ISO‟nun tanımında yer alan etkinlik(görev tamamlama baĢarısı), verimlilik(görev tamamlama süresi, kullanılan adam sayısı ve hatalı tıklama sayısı) ve memnuniyet kriterleridir. Nitel veriler ise Sözlü Protokol Analizi (Verbal Protocol Analysis) ve gözlem tekniği ile toplanmıĢtır. 50 katılımcılar kolay eriĢilebilir örneklem tekniği ile ULAKBĠM web sitesinin gerçek kullanıcıları arasından seçilmiĢ ve deney ve kontrol gruplarına eĢit sayıda rastgele atanmıĢlardır. Kontrol grubunda yer alan katılımcılar kendilerine verilen görevleri ULAKBĠM‟in mevcut web sitesini kullanarak, deney grubunda yer alan katılımcılar ise aynı görevleri ULAKBĠM‟in yeniden tasarlanan prototip web sitesinde gerçekleĢtirmiĢlerdir. AraĢtırmanın bulgularına göre prototip web sitesini kullanan katılımcılar yapılan ölçümlere göre (etkililik, verimlilik ve memnuniyet) kontrol grubunda yer alan (mevcut site) katılımcılardan daha iyi performans göstermiĢlerdir. Sonuç olarak, kullanıcılar kullanılabilirlik ilkelerine göre tasarlanan web sitelerini kullanımda daha etkin ve verimli olmuĢlardır.
Kendilerine verilen görevleri daha kısa sürede ve daha az hata yaparak tamamlamıĢlar ve buna bağlı olarak da memnuniyet düzeylerinde de artıĢ olduğu gözlenmiĢtir.
Kolukısa (2005) tarafından gerçekleĢtirilen “Ürün Kullanıcı EtkileĢiminde Grafik Kullanıcı Arayüzleri ve Kullanılabilirlik Değerlendirme Yöntemleri: Digitürk Örneği” konulu çalıĢmada sayısal ve etkileĢimli televizyon uygulamalarına yerel bir örnek olarak Digitürk sayısal platformu ele alınmıĢtır. Bu ortamın kullanılabilirliğini değerlendirmek için Ġnsan Bilgisayar EtkileĢimi alanında kullanılan kullanılabilirlik değerlendirme yöntemlerinden BuluĢsal Gezinti (Heuristic Walkthrough) yöntemi kullanılmıĢtır. Katılımcı A, Katılımcı B ve Katılımcı C olmak üzere Ġnsan Bilgisayar EtkileĢimi alanında hem teorik hem de pratik yönden deneyimli 3 katılımcı ile çalıĢma gerçekleĢtirilmiĢtir. Her katılımcıya değerlendirmeye baĢlamadan önce ortamı incelemesi için 10-15 dakika verilmiĢtir. Ġnceleme sırasında her katılımcı sesli düĢünme konusunda teĢvik edilmiĢ ve değerlendirme aĢamasına kullanacakları formlar sunulmuĢtur. Katılımcılar kendilerine verilen senaryo ve eylemler rehberliğinde, kullanılabilirlik sorunlarını belirlemiĢlerdir. Katılımcı A, toplam 51 kullanılabilirlik
sorunu belirlemiĢ, bunlardan 27‟sini büyük sorun ya da kullanılabilirlik felaketi olarak derecelendirmiĢtir. Katılımcı B, 47 kullanılabilirlik sorunu belirlemiĢ, bunlardan 40‟ını büyük sorun ya da kullanılabilirlik felaketi olarak derecelendirmiĢtir. Katılımcı C, 59 kullanılabilirlik sorunu belirlemiĢ, bunlardan 48‟ini büyük sorun ya da kullanılabilirlik felaketi olarak derecelendirmiĢtir.
BÖLÜM III
Yöntem
Bu bölümde araĢtırmanın deseni ve araĢtırmaya katılan kullanıcılar ile kullanılan deneysel desen ve deneysel iĢlemler, yararlanılan veri toplama araçları ve deneysel iĢlemin uygulanması, ulaĢılan verilerin çözümlenmesi ve yorumlanması ile ilgili bilgi verilmiĢtir.
3.1 AraĢtırma Deseni
Bu araĢtırmada, DynEd Ġngilizce Dil Eğitim Yazılımının kullanılabilirliğine iliĢkin durumlar örnek olay (case study) kullanılarak tasarlanmıĢtır. Kullanılabilirlik değerlendirme yöntemleri olarak gerçek kullanıcıların sürece dâhil edildiği kullanılabilirlik testi ve sorgulama yöntemi kullanılmıĢtır. AraĢtırmada deneysel ve nitel araĢtırma yöntemlerinden; anket (katılımcı bilgi formu), gözlem(katılımcı görev formu) ve yüz yüze yapılandırılmıĢ görüĢme (katılımcı memnuniyet formu) gibi farklı veri toplama araçlarından yararlanılmıĢtır.
AraĢtırmanın bağımsız değiĢkeni, kullanıcıların DynEd Ġngilizce Eğitim Yazılımı ile olan etkileĢimidir. Bağımlı değiĢkenler ise kullanıcıların bu etkileĢimleri sonucunda ölçülen yazılımın etkililiği, verimliliği ve kullanıcı memnuniyetidir.
Etkililik (Effectiveness): Görev tamamlama baĢarısı / doğruluğu(accuracy) ile
ölçülür.
Verimlilik (Efficiency): Arayüz ile ilgili görevlerin tamamlanma hızı ve adam
Kullanıcı Memnuniyeti (User Satisfaction): Kullanıcıların site arayüzü ile ilgili
beklentilerinin karĢılanma düzeyi mülakatlarla ölçülerek belirlenir.
DynEd Eğitim Yazılımı‟nın etkililiği, katılımcılara uygulama esnasında verilen 10 görevi gerçekleĢtirip gerçekleĢtiremediklerine bakılarak ölçülmüĢtür. Verimlilik ise katılımcıların kendilerine verilen görevi tamamlamaları sırasında harcadıkları zaman ve yaptıkları hata sayısı ile ölçülmüĢtür. Kullanıcı memnuniyeti ise katılımcılarla görevleri tamamladıktan sonra yapılan yüz yüze görüĢmelerle ölçülmüĢtür. Katılımcılara bu görüĢmede 7 soru yöneltilmiĢtir. AraĢtırmada kullanılan gözlem ve görüĢme formları uzman görüĢlerinden yararlanılarak geliĢtirilmiĢtir.
3.2. Katılımcılar
Nielsen (1993), kullanılabilirlik testleri için beĢ katılımcının yeterli olduğunu ve kullanılabilirlik problemlerinin %75‟inin bu sayıda katılımcı ile yapılan testlerle ortaya çıkarılabileceğini belirtmiĢtir. Nielsen (1993) katılımcı sayısı ve tespit edilen kullanılabilirlik problemlerinin yüzdesi ile ilgili iliĢkiyi aĢağıdaki Ģekilde açıklamıĢtır (Acartürk ve Çağıltay, 2006).
Kullanılabilirlik problemlerinin yüzdesi
Katılımcı Sayısı
Ankara Etimesgut Atatürk Ġlköğretim Okulu sekizinci sınıf öğrencilerinden rastgele seçilen 8‟i erkek, 7‟si kız olmak üzere toplam 15 öğrenci katılımcı grubunu oluĢturmaktadır.
AraĢtırmaya katılan kullanıcıların cinsiyete göre dağılımları Tablo 3‟te gösterilmiĢtir.
Tablo 3. Katılımcıların cinsiyete göre dağılımları
Cinsiyet N %
Kadın 7 46,7
Erkek 8 53,3
Toplam 15 100
Kullanıcı bilgi anketine göre araĢtırmaya katılan 15 katılımcının 5‟i 13 yaĢında, 7‟si 14 yaĢında ve 3‟ü ise 15 yaĢındadır. AĢağıda katılımcıların bilgisayar kullanma sürelerine iliĢkin dağılım gösterilmiĢtir.
Tablo 4. Katılımcıların bilgisayar kullanım süreleri
Süre N %
2-3 Yıl 7 46,7
4-5 Yıl 6 40
5 Yıl ve üzeri 2 13,3
Toplam 15 100
Kullanıcı bilgi anketine göre, 5 katılımcının evinde kendine ait bilgisayarı bulunmakta, 10 katılımcının ise kendine ait bir bilgisayarı bulunmamaktadır. Evinde bilgisayar bulunan 5 katılımcıdan 4 tanesinin bilgisayarında internet bağlantısı mevcuttur. Katılımcılardan hiçbiri daha önce DynEd Eğitim Yazılımı‟nı kullanmamıĢtır.
3.3. Verilerin Toplanması
AraĢtırma ile ilgili veriler; anket, gözlem ve yapılandırılmıĢ görüĢme ve sesli düĢünme teknikleri ile toplanmıĢtır.
ġekil 6. Araştırma Modelinin Aşamaları.
Gözlem sözel olmayan davranıĢa iliĢkin verilerin toplanmasında, belli bir ortam ya da kurumda oluĢan davranıĢlar ayrıntılı olarak araĢtırılmak istendiğinde kullanılan bir veri toplama tekniğidir (Balcı, 2005). Gözlem esnasında (Nielsen, 1993), kullanılabilirlik uzmanları, katılımcılarla çalıĢma alanına gider ve katılımcıların çalıĢmalarını gözlemlerler. Katılımcılar sistemi kullanırken, verilen görevleri ne kadar baĢardıkları, kullanıcıların sistemle ilgili nasıl düĢüncelere sahip oldukları gözlenir, bu esnada uzman, kullanıcının dikkatini dağıtan ve onu rahatsız eden durumları en aza indirmelidir. Gözlemci, kullanıcının davranıĢlarını anlamaya yardım eden sorular sorabilir. Notlar almanın yanında, kullanıcıların izni alındıktan sonra, gözlem sırasında sesli kayıt ya da video kaydı yapabilir. Her gözlem oturumundan sonra, kullanılabilirlik uzmanları notları toplamalı, gözlemleri kaydetmeli, bütün gözlem oturumları tamamlandıktan sonra uzman, gözlem kayıtlarını birlikte koymalı, hangi görevi hangi kullanıcı yaparken, hangi ekranda problem yaĢadığını ortaya çıkarmalıdır (Zaphiris ve Kurniawan, 2007).
Görüşme tekniği, kullanıcıların sistem hakkındaki düĢüncelerini öğrenmede fayda sağlar ve kullanıcıların sistem iĢlevselliği hakkında geribildirimlerini almak için kullanılır. GörüĢmeler yapılandırılmıĢ ve yapılandırılmamıĢ olabilir.
Yapılandırılmamış Görüşme: Değerlendirme uzmanlarının iyi bir Ģekilde tanımlanan mevcut bir ajandaları yoktur.
Yapılandırılmış Görüşme: GörüĢmeye rehber olan ve görüĢmeyi yöneten tarafından belirli sorularla yapılan görüĢme yöntemidir. Sohbete daha yakındır. GörüĢme esnasında, değerlendirme uzmanları soruları açık ve tarafsız olarak sormalı ve kullanıcılar görüĢlerini detaylandırarak cevaplandırmaları için uzmanlar tarafından cesaretlendirilmelidir (Zaphiris ve Kurniawan, 2007).
Sesli düşünme protokolü (think aloud protocol), kullanıcı grafik arayüzlerinin kullanılabilirlik açısından değerlendirilmeleri için yapılan deneyler sırasında, kullanıcıdan doğru veriyi toplayabilmek için sıkça baĢvurulan bir yöntemdir. Kullanıcı kendisine verilen görevleri gerçekleĢtirirken aklından geçenleri sesli ifade ederek, zihinsel modelindeki ürün ile değerlendirilen ürün arasındaki farkı ortaya çıkarır. Kullanıcı, karĢılaĢtığı problemleri ya da düĢünmekte olduğu Ģeyleri kendi cümleleri ile ifade eder (Ardıç ve Göktürk, 2009).
Kullanılabilirlik test materyalleri bölümünde araĢtırmada kullanılan kullanıcı bilgi anketi, kullanıcı görev formu ve kullanıcı memnuniyet soruları hakkında detaylı bilgi yer almaktadır.