Web Erişilebilirlik Değerlendirmesi: Sistematik
Haritalama
Ömer Naci Soydemir1,*, Pınar Onay Durdu2
1 Bilgisayar Mühendisliği Bölümü, Fen Bilimleri Enstitüsü Kocaeli Üniversitesi, Kocaeli, Türkiye
soydemir.naci@gmail.com
2 Bilgisayar Mühendisliği Bölümü, Mühendislik Fakültesi Kocaeli Üniversitesi, Kocaeli, Türkiye
pinar.onaydurdu@kocaeli.edu.tr
Özet. Erişilebilirlik, herhangi bir ürünün, servisin, hizmetin, teknolojinin ya da uygulamanın engelliler ve yaşlılar dahil olmak üzere herkes tarafından anlaşılır ve kullanılabilir olmasını ifade etmektedir. Web uygulamalarında ise bu kavram, hedef kullanıcı kitlesinin tamamının uygulamaya erişebilmesi, uygulamayı kullanabilmesi ve içeriği anlayabilmesini ifade etmektedir. Geliştiricilerin belli bir standart üzerinden erişilebilir bir uygulama ortaya çıkarmaları için, uluslararası web erişilebilirlik standardı olan teknik ve yönergeler kapsamında uygulanacak kontroller tanımlanmıştır. Bu çalışmada 2008-2018 yılları arasında yapılmış web erişilebilirlik değerlendirmesi ve ölçütleri ile alakalı 110 çalışma sistematik haritalama yöntemi ile incelenmiştir. Çalışmalar incelendiğinde, yayınlanan çalışmaların günümüze geldikçe sayılarının arttığı, en fazla web erişilebilirlik değerlendirme yöntemi olarak otomatik değerlendirme araçlarının kullanıldığı, sıklıkla e-devlet uygulamalarına yönelik değerlendirme çalışmalarının yapıldığı ve web erişilebilirlik ölçütü olarak WAB’ın kullanıldığı gözlemlenmektedir.
Anahtar Kelimeler: Web Erişilebilirliği, Web Erişilebilirlik Değerlendirmesi, Web Erişilebilirlik Ölçütü, Sistematik Haritalama.
Web Accessibility Evaluation: Systematic Mapping
Ömer Naci Soydemir1,*, Pınar Onay Durdu2
1 Computer Engineering Department, Institute of Science and Technology, Kocaeli University, Kocaeli, Turkey
soydemir.naci@gmail.com
2 Computer Engineering Department, Engineering Faculty, Kocaeli University, Kocaeli, Turkey pinar.onaydurdu@kocaeli.edu.tr
Abstract. Accessibility means that any product, service, technology or application can be understood and used by everyone, including the disabled and the elderly. In web applications, this concept means that the entire target audience can access the application, use the application, and understand the content. There is international web accessibility standard that guide the developers by defining the necessary controls to develop accessible applications. In this study, 110 papers related to web accessibility evaluation and metrics published between 2008 and 2018 were examined by systematic mapping and the findings were reported. The results revealed that the number of published papers were increased since 2008, automatic accessibility evaluation methods were the most common method applied in the studies, generally e-government web sites were evaluated and WAB is also used as web accessibility metric.
Keywords: Web Accessibility, Web Accessibility Evaluation, Web Accessibility Metric, Systematic Mapping.
1
Giriş
Web siteleri zaman ve mekândan bağımsız erişim sağlama özellikleri ile engelli kişilere bilgi ulaşımı ve iletişimi açısından eşi görülmemiş bir olanak sağlamaktadır [1]. Bununla beraber web sitelerinin tüm kullanıcılar için erişilebilir olması sağladıkları hizmetlerden etkin şekilde faydalanabilmek için gerekli ön koşullardan biridir. Bunun yanı sıra kuruluşlar için, yasal riskleri azaltmak, marka varlığını güçlendirmek, müşteri deneyimini ve iş verimliliğini artırmak gibi birçok avantajı da beraberinde getirmektedir [2].
Dünya sağlık örgütünün rakamlarına göre dünya nüfusunun yaklaşık %15’inin engelli olduğu tahmin edilmektedir [3]. Web sitelerinin vazgeçilmez hale gelmesi nedeniyle de web ortamını daha erişebilir kılmak için pek çok ülkede Web içeriği erişilebilirliği yönergesi (WCAG (Web Content Accessibility Guidelines)) 1.0 [4] veya 2.0 [5] gibi genel ilkelere ek olarak, ISO 9241-20 [6] veya Section 508 [7] gibi yasa ve yönetmelikler uygulanmaktadır. WCAG 2.0, W3C (World Wide Web Consortium) tarafından hazırlanmıştır ve web sayfalarının geliştirilmesi sırasında, tüm kullanıcılar için belirli bir erişilebilirlik düzeyi sağlamak için geliştiriciler, tasarımcılar vb. tarafından takip edilebilecek 91 adet doğrulanabilir kontrol kriteri içermektedir. Bu kriterler için A, AA ve AAA olarak adlandırılan üç öncelik seviyesi tanımlanmıştır. Tablo 1’de özetlendiği şekilde öncelik 1 ya da A düzeyi olarak tanımlanan düzey web sitelerinin uyması gereken minimum uyumluluk düzeyini belirtmektedir ve gerçekleşmesi gereken 29 kontrol maddesi içermektedir. AA düzeyinde (Öncelik 2) 40 kontrol; AAA düzeyinde (Öncelik 3) ise 22 adet kontrol yer almaktadır.
Tablo 1. WCAG 2.0 (2008) Öncelik Seviyelerinin Kapsamı Öncelik
Seviyesi Kriter Kapsamı Kriter Sayısı
AA Düzeyi Geliştiricilere, yerine getirilmesi tavsiye edilen standartlar 40 AAA
Düzeyi Yerine getirilmesi ideal olan standartlar 22
Web sitelerinin erişilebilirlik değerlendirmeleri sıklıkla web sitesinin WCAG yönergelerinde tanımlanan kontrol kriterlerine ne kadar uyumlu olduğunun çeşitli otomatik araçlar [8] ile ya da manuel olarak [9] ya da her iki yöntemin de beraber kullanılarak [10] belirlenmesi ile gerçekleştirilmektedir. Yapılan değerlendirmelerin sonucunda web sitesinin nicel olarak erişilebilirlik seviyesini göstermek için ise çeşitli erişilebilirlik metrikleri önerilmiştir [11]. Metrikler, yazılım geliştirmede ürün ve süreçlerin anlaşılmasına, bu süreçlerin kontrolüne ve iyileştirilmesine yardımcı olmak için önemlidir [12]. Erişilebilirlik açısından ise metrikler mevcut ürünlerin erişilebilirliğinin artırılması ve geliştirme sürecindeki bir üründeki erişilebilirlik sorunlarının tanımlanması konularında faydalıdır. Web erişilebilirliğinin ölçülmesinde metrik tanımlama ve bu metrikleri uygulama konusunda da çeşitli çalışmalar gerçekleştirilmiştir [13].
Alan yazında gerçekleştirilen pek çok erişilebilirlik değerlendirme ve erişilebilirlik metrik önerisi içeren çalışma bu alanda çalışan geliştirici ve araştırmacılar için oldukça değerlidir. Ancak bu çalışma kapsamında özellikle web erişilebilirlik değerlendirmeleri ve metrikleri üzerine yapılmış olan bu birincil çalışmalar bir araya getirilerek ikincil bir çalışma yöntemi olan sistematik haritalama yöntemi ile araştırma alanıyla alakalı olarak güncel eğilimlerin belirlenmesi hedeflenmiştir. Sistematik haritalama yöntemi, bir araştırma konusunu sistematik olarak analiz etmeyi ve bu alanla ilgili araştırmacılara genel bir fikir vermeyi hedefleyen bir yaklaşımdır [14]. Bu amaçla gerçekleştirilen önceki çalışmalar incelendiğinde çalışmalar genellikle ya belli uygulama alanlarındaki genel erişilebilirlik çalışmalarına ya da sadece web erişilebilirlik metriklerine odaklandıkları görülmektedir. Örneğin [15] büyük çevrim içi kurs (MOOC) platformlarındaki ve [16] Suudi Arabistan’daki üniversite ve devlet web sitelerindeki genel erişilebilirlik konularına odaklanan sistematik alan yazın incelemeleridir. Ayrıca [17]’de özellikle bilişsel engeli bulunan kullanıcılara yönelik elektronik iletişim erişilebilirliğine yönelik ölçümlere odaklanılan bir çalışmanın bulguları raporlanmaktadır. Diğer taraftan [11] web erişilebilirlik ölçütlerini niteliklerine göre değerlendirdikleri çalışmalarında o zamana kadar önerilen çeşitli web erişilebilirlik metrikleri derlemişlerdir. [18] ise yine web erişilebilirlik metriklerini kıyaslamak için bir çerçeve önerdikleri çalışmalarında yine kapsamlı bir metrik listesi sunmaktadır. Bu çalışmalar incelendiğinde web erişilebilirlik değerlendirmeleri ve metriklerini bir arada değerlendirmeye yönelik gerçekleştirilmiş bir çalışma bulunmamaktadır. Bu doğrultuda bu çalışma kapsamında her iki konuyu da kapsayacak şekilde bir değerlendirmenin gerçekleştirilmesi hedeflenmiştir.
2
Yöntem
Bu çalışma kapsamında kanıta dayalı yazılım mühendisliğine [19] dayalı olarak geliştirilmiş olan sistematik haritalama yöntemi [14] uygulanmaktadır. Bu yöntem belirli bir araştırma konusunda genel bir fikir verme ve o alanda yapılmış çalışmaların miktarı, tipi ve sonuçları ile ilgili bilgi verme şeklinde özetlenmektedir.
Haritalama çalışmasını uygulayabilmek için, Kitchenham vd. [19]’nin çalışmalarında önerdiği gözden geçirme, inceleme ve raporlama aşamalarına benzer şekilde 4 adımlı bir süreç takip edilmiştir. Uygulanan araştırma süreci Şekil 1’de görülmektedir. İlk aşama olan sınırların belirlenmesinde çalışmayı tanımlayan çerçeveler oluşturulmuştur. Takip eden aşamalarda yapılan birincil çalışmaları tanımlamak, anlamlı veriler çıkarmak ve sınıflandırmak için gerekli adımlar gerçekleştirilmiştir. Bu çalışma WCAG 2.0’ın [5] yayınlanma yılı olan 2008 yılından 2018’e kadar olan çalışmaları kapsayacak şekilde gerçekleştirilmiştir.
Şekil 1. Sistematik Haritalama Aşamaları 2.1 Sınırların Belirlenmesi
Çalışmanın sınırlarının belirlenmesi aşamasında aşağıdaki adımlar uygulanmıştır; • Araştırma sorularının tanımlanması: Araştırmanın amacı doğrultusunda web
erişilebilirlik değerlendirmesi ve web erişilebilirlik metriklerine yönelik güncel durumu ve eğilimleri belirlemeye yönelik olarak Tablo 2’de listelenen araştırma soruları tanımlanmıştır.
Tablo 2. Araştırma Soruları
Sayı Açıklama
1 Yayınların yıllara göre dağılımı, yayın türleri ve yayınlanma yerleri nasıl değişmektedir?
2 Kullanılan erişilebilirlik değerlendirme yöntemleri nelerdir? 3 Kullanılan otomatik değerlendirme araç sayıları nasıl değişmiştir? 4 Sık kullanılan otomatik değerlendirme araçları hangileridir? 5 Değerlendirme yapılan web site türleri nasıl değişmektedir?
6 Çalışmalarda en sık hangi ölçütler kullanılmıştır?
• Arama sözcüklerinin belirlenmesi: Çalışmanın amacı doğrultusunda birincil çalışmaları bulmak için aramalarda kullanılacak genel anahtar sözcükler; “web erişilebilirlik değerlendirmesi (web accessibility evaluation)” ve “web erişilebilirlik metrikleri (web accessibility metrics)” belirlenmiştir. Ayrıca birincil kaynakların seçimi için kullanılabilirlik, erişilebilirlik ve kalite kriterlerini dikkate almak önemlidir [10].
• Ekleme ve çıkarma kriterlerinin tanımlanması: Uygulanmasının kolay olması düşünülerek Tablo 3’de tanımlanmış olan birincil çalışmaları ekleme ve çıkarma kriterleri benimsenmiştir. Burada belirtilen ekleme kriterlerinden birinin sağlanması durumunda çalışma incelenmek üzere eklenilmiştir.
Tablo 3. Ekleme ve Çıkarma Kriterleri
Tür Açıklama
Ekleme Çalışmada web erişilebilirlik metriklerinden bahsedilmiş ise (uygulanmış ise)
Web erişilebilirlik değerlendirilmesi yapılmış ise Çıkarma Çalışmanın yazım dili İngilizce veya Türkçe değilse
Yalnızca özet kısmına erişiliyorsa
2.2 Çalışmaların Veri Tabanlarında Aranması
Bu aşamada başlangıçta Tablo 4’de belirlenmiş bilimsel veri tabanlarından ilk dördünde arama işlemi gerçekleştirilmiştir. Bu adımı gerçekleştirebilmek için belirtilen bilimsel veri tabanları tarafından sağlanan arama motorları kullanılmıştır. Tablo 4’de veri tabanlarında çalışma amacı ile alakalı arama sözcükleri, sonuç olarak dönen makale sayısı ve 2.3 bölümün-de detaylı bahsedilecek olan kriterlerden sonra kalan makale sayısı belirtilmektedir. Bölüm 2.4 de açıklanan ileri kartopu yöntemi kapsamında başta kullanılan veri tabanlarına Google Scholar da eklenmiştir.
Tablo 4. Veri Tabanları Arama Sözcükleri ve Sonuç Sayısı
Dönen Makale Sayısı İncelenen Makale Sayısı
Web of Science 61 30 Science Direct 41 23 IEEE-xplore 74 22 ACM 62 26 Google Scholar 70 9 Toplam 308 110 2.3 Çalışmaların Seçilmesi
Bu aşamada araştırma sorularına cevap verebilme adına incelenecek birincil çalışmaları belirlemek için Tablo 3’de açıklanan seçim kriterleri uygulanmıştır. Bu
nedenle 2.2 bölümünde toplanan tüm çalışmalar başlık, özet ve anahtar kelimeleri incelenmiştir. Bu kısımlardan anlaşılmama gerçekleşirse çalışmanın tümü okunmuştur. Bu kriterler uygulandıktan sonra kalan çalışma sayıları Tablo 4’de paylaşılmıştır.
2.4 İleri Kartopu Yönteminin Gerçekleştirilmesi
İncelenecek araştırmaların mümkün olduğunca gözden kaçmaması için sistematik haritalama aşamaları ileri kartopu yöntemi de uygulanarak desteklenmiştir. Bu yöntem, bir çalışmaya ait referans ve alıntıları kullanarak daha fazla ilgili çalışmaya ulaşılabilmeyi sağlamaktadır. Bununla birlikte kartopu sadece referans listeleri ve alıntılara bakmakla kalmaz, aynı zamanda çalışmaları referans verilen yerlere ve makalenin nereye atıf yapıldığına bakmanın sistematik bir yolu ile tamamlayabilir [15].
Sistematik Haritalama aşamasında incelenen ve şu koşulları sağlayan çalışmalar ile ileri kartopu aşaması için başlangıç kümesi oluşturulmuştur;
• Web erişilebilirlik metrik uygulanmasını içeren çalışmalar, • Atıf sayısı 1’den fazla olan çalışmalar.
Başlangıç kümesine dahil edilen çalışmalara atıf veren çalışmalar Google Scholar ile tanımlanmıştır. İlgili alt çalışmalar üzerinde ise yine Google Scholar üzerinden “web accessibility metrics” anahtar sözcüğü ile arama gerçekleştirilmiştir. Çalışmanın dahil edilip edilmemesine ise;
• Özet kısmının incelenmesi,
• Özet yeterli bilgi içermiyorsa atıf verilen yer ile beraber diğer kısımların incelenmesi, gerçekleştirilerek karar verilmiştir.
Şekil 2. İleri Kartopu Yöntemi Aşamaları 2.5 Analiz ve Haritalama
Eşleme formu tanımlanan araştırma sorularına ve seçilen kaynak çalışmaların bu soruları cevaplamak için nasıl kullanılacağını planlama amacıyla hazırlanmıştır. Haritalamada kullanılan eşleme formları ve bu çalışmada incelenen dokümanların listesi Google Drive üzerinde yer almaktadır *.
3
Bulgular
Bu çalışma kapsamında, web erişilebilirlik değerlendirmesi ve metrikleri ile alakalı bilimsel veri tabanlarında yayınlanan çalışmalara ait bir sistematik eşleme çalışması gerçekleştirilmiştir. Sınıflandırma amacıyla Bölüm 3.1’de açıklanan detaylı inceleme protokolü kullanılarak yaklaşık 10 yıllık bir dönemde gerçekleştirilen araştırma çalışmalarına ait eğilimler belirlenmeye çalışılmıştır.
3.1 Yayınların yıllara göre dağılımı, yayın türleri ve yayınlanma yeri
İncelenen çalışmaların yayınlanma yıllarına göre dağılımı Şekil 3’de gösterilmiştir. WCAG 2.0 standartlarının yayınlanma tarihi olan 2008 [5] yılından 2018 yılına kadar incelenen çalışmalarda 2012 yılında yoğunluğun arttığı ve 2012 yılından sonrasında önceki çalışmalara oranla daha fazla çalışma gerçekleştiği gözlemlenmiştir. 2016 yılında ise yapılan çalışmalar en yüksek noktasına ulaşmıştır.
Şekil 3. Yıllara Göre Yayınlanan Çalışmaların Dağılımı
İncelenen çalışmaların eser türleri Tablo 6’da belirtilmiştir. Web erişilebilirlik değerlendirmesi ile yapılan yayınların daha çok bilimsel kongrelerde yapıldığı ancak son yıllara doğru bu konuyla ilgili bilimsel dergilerde de yayın sayısının arttığı gözlenmektedir.
Tablo 5. Çalışmaların Eser Türleri
Yıllar Bilimsel Dergi Makalesi Konferans Bildirisi
2008 1 5 2009 2 5 2010 - 3 2011 2 4 2012 4 12 2013 3 5 2014 4 6 2015 6 6
2016 8 8
2017 4 8
2018 3 11
Sıklıkla yayın yapılan dergiler incelendiğinde Tablo 6’de belirtildiği gibi kapsamında insan-bilgisayar etkileşimi konusu olan bilimsel dergiler gözlemlenmiştir. Konferans bildirilerinin konu başlıkları olarak insan-bilgisayar etkileşiminin yanı sıra yazılım mühendisliği ve çok disiplinli yazılım teknolojileri konularının da olduğu Tablo 7’den görülebilmektedir.
Tablo 6. Birden Fazla Makale Yayımlanan Dergiler
Bilimsel Dergi Adı Makale Sayısı
Universal Access in the Information Society 4
Universal Access in Human-Computer Interaction 3
Computers in Human Behavior 3
Government Information Quarterly 2
Tablo 7. Birden Fazla Yayınların Sunulduğu Konferanslar
Konferans Adı Makale Sayısı
International Cross-Disciplinary Conference on Web
Accessibility 12
International Conference on Software Development for
Enhancing Accessibility and Fighting Info-exclusion 5
Procedia Computer Science 5
Web for All Conference on The Future of Accessible Work 4
Web for All Conference 3
International Conference on eDemocracy & eGovernment
(ICEDEG) 3
Proceedings of the Internet of Accessible Things 3
International Conference on Information and Communication
Technology and Accessibility 2
International Conference on User Science and Engineering
(i-USEr) 2
International Conference on Computer Science and Software
Engineering 2
3.2 Kullanılan erişilebilirlik değerlendirme yöntemleri
İncelenen çalışmalarda web erişilebilirlik değerlendirilmelerinin gerçekleştirme yöntemi Şekil 4’de görülmektedir. Değerlendirmelerde otomatik araç kullanımı en sık tercih edilen yöntem olmuştur. Yeni araç önerilerinde mevcut otomatik araçlar ile diğer araçların karşılaştırmaları da gerçekleştirilmiştir. Bu karşılaştırmalar 3.3 bölümündeki otomatik araç sayılarına eklenmiştir.
Şekil 4. Değerlendirmelerde Tercih Edilen Yöntemler 3.3 Kullanılan otomatik değerlendirme araç sayıları
Tablo 8’dan görüldüğü üzere otomatik araç kullanımlarında çoğu web erişilebilirlik değerlendirilmesi tek araç kullanımı ile gerçekleştirilmiştir. Fakat alan yazında önerildiği gibi [22] en az 2 veya daha fazla araç ile değerlendirme toplam sayısı da tek araç ile değerlendirme sayısına yakındır.
Tablo 8. Değerlendirmelerde Kullanılan Otomatik Araç Sayısı
Araç Sayısı 1 2 3 4 5 6 7
Kullanım Sayısı 27 13 4 2 2 1 1
3.4 Sık kullanılan otomatik değerlendirme araçları
Web erişilebilirlik değerlendirmelerinde kullanılan otomatik araç türleri çeşitlilik göstermektedir. Tablo 9’da araştırmalarda 3 veya daha sık kullanıldığı tespit edilen araçlar görülmektedir ve gözlemlendiği gibi Wave ve AChecker araçları en çok tercih edilenlerdir. Burada bu araçların ara yüzlerinin araştırmacılara detaylı ve anlamlı so-nuçlar sunmasının etkisi büyüktür.
Tablo 9. Değerlendirmelerde Kullanılan Otomatik Araçlar
Araç Adı Kullanım Sayısı Araç Adı Kullanım Sayısı
Wave 18 Eval Access 4
Achecker 16 EIII Page Checker 3
TAW 9 Examinator 3
Total Validator 6 Qual Web 3
3.5 Değerlendirme yapılan web site türleri
İncelenen çalışmalarda web erişilebilirlik değerlendirmesi yapılan site türlerinde e-Devlet hizmetleri sunan web siteleri Şekil 5’de gözlemlendiği gibi çalışmaların büyük bir kısmını kapsamaktadır. Burada üniversite web site üzerine yapılan çalışmaların sayısı da dikkat çekmektedir. Diğer kategorisinde ise genel olarak dağınık web site türleri yer almakta olup, restoran, otel, kurumsal web siteleri gibi çeşitlilik göstermektedir. Bu değerlendirmeleri gerçekleştiren makalelerin çalışma numaraları Google Drive üzerinde yer almaktadır. *
Şekil 5. Değerlendirilen Web Site Türleri 3.6 Çalışmalarda sık kullanılan metrikler
İncelenen çalışmalarda kullanılan web erişilebilirlik ölçütlerinin en sık kullanılanları Tablo 10’de sunulmuştur. En sık kullanılan metriklerin WAB (Web Accessibility Metric), WAQM (Web Acessiibility Quantitative Metric) ve UWEM (The Unified Web Evaluation Methodology) dir. Çok sayıda bireysel çalışmada kullanılan ya da önerilen ölçüt de bulunmaktadır ve bunlar diğer kategorisi ile gruplanmıştır. Bu metrikleri kullanan makalelerin çalışma numaraları Google Drive üzerinde yer almaktadır. *
Tablo 10. Çalışmalarda Karşılaşılan Web Erişilebilirlik Metrikleri
Metrik İsmi Kullanım Sayısı
WAB 6 WAQM 4 UWEM 4 WCAG 2.0 Metrikleri 2 WABS 2 GQM 2 F-Measure 2 Diğer Metrikler 16
4
Sonuç ve Değerlendirme
Bu çalışmada web erişilebilirlik değerlendirmeleri ve metrikleri ile ilgili olan 2008-2018 yılları arasında yayınlanan 110 adet çalışma sistematik haritalama yöntemi ile incelenmiştir. Araştırma sonuçlarına göre günümüze yaklaştıkça yayımlanan çalışmaların arttığı ve en çok yayının da bilimsel konferanslarda yapıldığı görülmektedir. Çalışmaların eser türleri ile beraber yayınlandıkları dergi ve konferanslar bu konu ile araştırma yapmak isteyen araştırmacıların faydalanması amacıyla belirtilmiştir. Web erişilebilirlik değerlendirme yöntemi olarak çalışmalarda çoğunlukla otomatik değerlendirme aracı kullanıldığı, bu araçlardan da Wave ve AChecker araçlarının en çok tercih edilen araçlar olduğu göze çarpmaktadır. Değerlendirme yapılan site türlerinden e-devlet hizmetleri en sık değerlendirilen web site türü olarak karşımıza çıkmaktadır. Web erişilebilirlik ölçütleri konusunda ise en sık tercih edilen metriklerin, WAB, UWEM ve WAQM olduğu gözlemlenmiştir. Bu çalışmanın sonuçlarının web erişilebilirlik değerlendirmesi ve web erişilebilirlik ölçütleri konusunda güncel eğilimlerin ortaya çıkarılmasında, hangi konular üzerinde daha çok çalışıldığının, çoğunlukla hangi yöntemlerin kullanıldığının belirlenmesi ile bu konuda çalışan geliştirici ve araştırmacılara yol gösterici olacağına inanılmaktadır. Çalışma kapsamında tespit edilen web erişilebilirlik ölçütlerinin detaylı bir incelemeye tabi tutulması da bundan sonra yapılacaklar arasında yer almaktadır.
Bu tip çalışmaların en önemli kısıtlarından biri güvenilirliktir. Bu amaçla çalışma tekrarlı bir süreç ile gerçekleştirilmiştir. Araştırmacılar çalışmaları önce tek başlarına incelemişler daha sonra bulgularını bir araya getirerek ortak fikir birliğine varmışlardır. Böylece tek bir inceleyiciye dayalı olabilecek yanlılık engellenmeye çalışılmıştır. Diğer bir kısıt da çalışmaya tüm yayınlarının dahil edilememiş olma olasılığı ve özellikle ölçütler ile ilgili çalışmaların gözden kaçma olasılığıdır. Ancak bunun önüne geçmek amacıyla bu konuda yayınların indekslendiği bilimsel veri tabalarının pek çoğu çalışmaya dahil edilmiş ve son olarak da ileri kartopu yöntemi ile Google Scholar’dan alakalı çalışmaların dahil edilmesi sağlanmıştır.
* https://drive.google.com/open?id=14bekCZeC4VueVxjs0--or3kWV5Gd6ZaG
Kaynakça
1. Web Accessibility Initiative (WAI). (2019). Introduction to Web Accessibility. [online] Available at: https://www.w3.org/WAI/fundamentals/accessibility-intro/#important [Accessed 29 May 2019].
2. Web Accessibility Initiative (WAI). (2019). The Business Case for Digital Accessibility. [online] Available at: https://www.w3.org/WAI/business-case/ [Accessed 29 May 2019].
3. World Health Organization. (2019). World report on disability. [online] Available at: https://www.who.int/disabilities/world_report/2011/report/en/ [Accessed 29 May 2019]. 4. W3.org. (2019). Web Content Accessibility Guidelines 1.0. [online] Available at:
https://www.w3.org/TR/WAI-WEBCONTENT/ [Accessed 29 May 2019].
5. W3.org. (2019). Web Content Accessibility Guidelines (WCAG) 2.0. [online] Available at: https://www.w3.org/TR/WCAG20/ [Accessed 29 May 2019].
6. Iso.org. (2019). [online] Available at: https://www.iso.org/obp/ui/#iso:std:iso:9241:-20:ed-1:v1:en [Accessed 29 May 2019].
7. Section508.gov. (2019). Section508.gov | GSA Government-wide IT Accessibility Program. [online] Available at: https://www.section508.gov/ [Accessed 29 May 2019].
8. Zaphiris, P., Ellis, R.D.: Website Usability and Content Accessibility of the top USA Universities. 6.
9. Alahmadi, T., Drew, S.: Accessibility Evaluation of Top-ranking University Websites in World, Oceania, and Arab Categories for Home, Admission, and Course Description Webpages. 18. 10. ITD Journal: Research On Web Accessibility In Higher Education. [online] Available at:
http://itd.athenpro.org/volume9/number2/thompson.html [Accessed 29 May 2019].
11. Freire, A.P., Fortes, R.P.M., Turine, M.A.S., Paiva, D.M.B.: An evaluation of web accessibility metrics based on their attributes. In: Proceedings of the 26th annual ACM international conference on Design of communication - SIGDOC ’08. p. 73. ACM Press, Lisbon, Portugal (2008). https://doi.org/10.1145/1456536.1456551.
12. N Fenton, N., Bieman, J.: Software Metrics. 77.
13. Sullivan, T., Matson, R.: Barriers to use: usability and content accessibility on the Web’s most popular sites. In: Proceedings on the 2000 conference on Universal Usability - CUU ’00. pp. 139–144. ACM Press, Arlington, Virginia, United States (2000). https://doi.org/10.1145/355460.355549.
14. Petersen, K., Feldt, R., Mujtaba, S., Mattsson, M.: Systematic Mapping Studies in Software Engineering. 10.
15. Sanchez-Gordon, S., Luján-Mora, S.: Research challenges in accessible MOOCs: a systematic literature review 2008–2016. Univers. Access Inf. Soc. 17, 775–789 (2018). https://doi.org/10.1007/s10209-017-0531-2.
16. Akram, M., Bt, R.: A Systematic Literature Review to Determine the Web Accessibility Issues in Saudi Arabian University and Government Websites for Disable People. Int. J. Adv. Comput. Sci. Appl. 8, (2017). https://doi.org/10.14569/IJACSA.2017.080642.
17. Borg, J., Lantz, A., Gulliksen, J.: Accessibility to electronic communication for people with cognitive disabilities: a systematic search and review of empirical evidence. Univers. Access Inf. Soc. 14, 547–562 (2015). https://doi.org/10.1007/s10209-014-0351-6.
18. Vigo, M., Arrue, M., Brajnik, G., Lomuscio, R., Abascal, J.: Quantitative metrics for measuring web accessibility. In: Proceedings of the 2007 international cross-disciplinary conference on Web accessibility (W4A) - W4A ’07. p. 99. ACM Press, Banff, Canada (2007). https://doi.org/10.1145/1243441.1243465.
19. Kitchenham, B.A., Dyba, T., Jorgensen, M.: Evidence-based software engineering. In: Proceedings. 26th International Conference on Software Engineering. pp. 273–281. IEEE Comput. Soc, Edinburgh, UK (2004). https://doi.org/10.1109/ICSE.2004.1317449.
20. Budgen, D., Turner, M., Brereton, P., Kitchenham, B.: Using Mapping Studies in Software Engineering. 10.
21. Wohlin, C. (2014). Guidelines for snowballing in systematic literature studies and a replication in software engineering. Proceedings of the 18th International Conference on Evaluation and Assessment in Software Engineering - EASE '14.
22. Web Accessibility Initiative (WAI). (2019). Selecting Web Accessibility Evaluation Tools. [online] Available at: https://www.w3.org/WAI/test-evaluate/tools/selecting/ [Accessed 29 May 2019].
