Yazılım Proje Yaşam Döngüsü Süreç Metrikleri ile Proje
Performanslarının Ölçülmesi ve Proje Başarı Puanının
Hesaplanmasına Yönelik Bir Model Geliştirilmesi
Özgür Gün1, Pınar Yıldız Kumru2 1,2
Endüstri Mühendisliği Bölümü, Kocaeli Üniversitesi, Kocaeli, Türkiye ozgur.gun@tubitak.gov.tr, pinarki@kocaeli.edu.tr
Özet. Bu tez çalışmasında sistem ve yazılım projelerinin performanslarını proje yaşam döngüsü süreç metriklerini kullanarak değerlendiren ve bu değerlendir-me sonucu bir proje performans başarı puanı hesaplayan bir model araştırılmış-tır. Gerçekleştirilen çalışma kapsamında proje hedeflerini başarı ile tamamlayan ve tamamlamayan projelerin özellikleri incelenmiş ve bir projenin başarısına etki eden faktörler belirlenmiştir. Bir projenin başarı ile tamamlanması projenin sözleşmesinde belirtilen kapsam, süre, bütçe ve işgücü hedeflerinin başarılması anlamına gelmektedir. Başarılı projelerin geçmiş süreç performans verileri top-lanarak süreç kontrol kartları kullanılarak süreç performans dayanakları oluştu-rulmuştur. Yeni başlayan projenin belirli aşamalarında alınan süreç ölçümleri süreç kontrol kartları yardımı ile değerlendirilmiş, sürecin kontrol altında olup olmadığı kararı verilmiştir. Ayrıca süreç metriklerine Analitik Hiyerarşi Süreci ile ağırlık verilmiştir. Ölçülen süreç metrik değeri ile o metriğe ait ağırlık katsa-yısının çarpılmasının ardından normalizasyon işlemi yapılarak proje performans başarı puanını hesaplanmaktadır.
Anahtar Kelimeler: Proje Yönetimi, Proje Performans Değerlendirme, İstatis-tiksel Süreç Kontrolü
Developing a Model for Measuring Project Performance
with Software Project Life Cycle Process Metrics and
Calculating Project Success Score
Özgür Gün1, Pınar Yıldız Kumru2 1,2
Industrial Engineering Department, Kocaeli University, Kocaeli, Turkey ozgur.gun@tubitak.gov.tr, pinarki@kocaeli.edu.tr
Abstract. In this thesis, a model that evaluates the performance of system and software projects by using project life cycle process metrics and calculates a
project performance achievement score is investigated. Within the scope of the study, the characteristics of the projects that have successfully completed and not completed the project objectives have been examined and the factors affect-ing the success of a project have been determined. Successful completion of a project means achieving the scope, duration, budget and workforce objectives set out in the project contract. Past performance data of successful projects were collected and process performance bases were established using process control cards. Process metrics measured at certain stages of the newly started project were evaluated with the help of process control cards and it was decided wheth-er the process was undwheth-er control or not. In addition, process measurement met-rics were weighted with Analytic Hierarchy Process. After multiplying the measured process metric value and the weight coefficient of that metric, the project performance achievement score is calculated by performing normaliza-tion process.
Keywords: Project Management, Project Performance Evaluation, Statistical Process Control
1
Giriş
Ülkemizde enerji, sağlık, havacılık, uzay, otomotiv, raylı sistemler, bilişim, savunma, bilgi güvenliği ve kamu dijital dönüşüm sektörleri gibi öncelikli sektörlerde teknolo-jik ürün yatırımlarının ve kümelenme çalışmalarının desteklenmesi yönünde politika-lar oluşturulmuştur [1],[2],[3]. Bu alanpolitika-larda başlatılan proje sayısında büyük bir artış olmuştur. Ülkemiz için önem arz eden bu projelerin başarıyla sonuçlandırılması da büyük önem arz etmektedir. Fon sağlayıcı kurumların başlattıkları projelerin izlenme-si konusunda takip ettikleri yöntemler mevcuttur. Belirli dönemlerde bir hakem heyeti ile projelerde denetim yapılmaktadır. Bu denetimler sonucunda projelerdeki riskli konular belirlenmektedir. Fakat projelerin belirli aşamalarında sayısal bir değerlen-dirme modeline göre projenin performans başarı puanını gösteren bir sistem bulun-mamaktadır.
Bu tez çalışmasına girdi teşkil eden veriler yazılım ve sistem projeleri geliştiren bir Ar-Ge kurumundaki projelerden toplanmıştır. Bahse konu Ar-Ge kurumu savunma ve sivil sektörde proje geliştiren ve 400’ü aşkın çalışanı bulunan bir kurumdur. Kurum-daki toplam 25 projeden veri toplanmıştır.
2
İlişkili Çalışmalar
Literatürde, proje başarı faktörleri ile ilgili çalışmalar mevcuttur. Bu bölümde bu ça-lışmalara kısaca değinilecektir.
Akyol [4] doktora tez çalışmasında farklı ölçek ve özelliklerdeki yazılım organi-zasyonlarında proje başarısını etkileyen parametreleri belirtmiştir. Sağlıklı verilerin elde edilmesinin çalışma kapsamında önemli kısıtlardan biri olduğunu ifade etmiştir.
Ayyıldız [5] yeni bir yazılım ölçüt kümesi oluşturma, oluşturulan yazılım ölçüt kümesi için veri toplama ve yeni veri kümesi ile yapay sinir ağı kullanılarak yazılım
maliyet tahmin modeli oluşturma çalışması yapmıştır. Veri toplamakta ciddi problem-lerin olduğunu çünkü bu veriproblem-lerin birçok şirket için gizli olduğunu ve paylaşılmasının şirketin rekabet ortamı için dezavantaj oluşturduğunu belirtmiştir.
Çatal [6] yazılım süreç metriklerini kullanarak yapay bağışıklık sistemini kullana-rak yazılım kusur kestirimi modelini ortaya çıkarmıştır.
Radujković vd. [7] proje yönetimi başarısını etkileyen faktörlerini proje yönetici ve çalışanları yetkinliği, organizasyon yapısı ve kültürü ve kullanılan metodoloji, araç ve teknik olarak tanımlar.
Sanchez vd. [8] bilgi sistemleri geliştirme projelerini inceleyerek proje başarısının temel yönlerini çok düzeyli bir bakış açısıyla ele alarak akademik literatüre katkıda bulunmuşlardır. Çalışmalarında proje büyüklüğü, süre, erteleme ve proje yöneticisi yetkinliği, takım büyüklüğü ve ekip dağılımı faktörlerinin projeye maliyet ve zaman açısından etkilerini incelemişlerdir.
Mir vd. [9] proje yönetimi (PY) ile ilgili literatürün, PY süreçlerinde, araç ve sis-temlerde kaydedilen ilerlemeye rağmen, proje başarısının önemli ölçüde iyileşmedi-ğini iddia ederek PY performansı ile proje başarısı arasındaki ilişkiyi test eden bir araştırma yapmışlardır.
Todorović vd. [10] kritik başarı faktörlerini ve performans göstergelerini temel ala-rak proje başarı analiz çerçevesi sunmuşlardır.
Verner vd. [11] proje başarısına etki eden faktörleri araştırmışlardır.
Garousi vd. [12] yazılım proje başarısı ile kritik başarı faktörleri arasındaki kore-lasyonu araştırmışlardır.
3
Süreç Metriklerinin Belirlenmesi
Süreç metriklerinin belirlenmesi, bir Ar-Ge kurumundaki süreç iyileştirme ekip çalı-şanlarıyla yapılan çalıştaylar sonucunda belirlenmiştir. Metrikleri belirlenirken var olan süreç metriklerinin yanında benzer kurumlardaki süreç metrikleri de incelenmiş-tir. Belirlenen metriklerin özeti Tablo 1’de verilmişincelenmiş-tir. Tablo 1’de kullanılan kısaltma-lar sırasıyla aşağıdaki gibidir.
MTR: Müşteri Tarafından Raporlanan AKS: Açık Kalma Süresi
AKO: Açık Kalma Oranı HY: Hata Yoğunluğu
Tablo 1. Süreç Metrikleri Özeti
Süreç Adı Metrik Adı
Proje Yöne-timi Kilometre-taşı Sapma-sı Efor
Sap-ması Gelir/Gider İndeksi
Gereksinim Mühendisliği
Proje Başına Ortalama Gereksinim Değişikliği Sayısı Geliştirme MTR Hata AKS MTR İyileştirme AKS MTR Gereksinim AKS MTR Hata AKO MTR İyileştir-me AKO MTR Gereksi-nim AKO H Y Konfigüras-yon Yöneti-mi Kon. Den. Pl. Sapma Konf. Den. Ort. Uy-gunsuzluk Say. Konf. Uygunsuz-luk AKS Konf. Uygunsuz-luk AKO Risk Yöne-timi Risk Göz-den Geçir-me Oranı Kalite Gü-vence Uygunsuz-luk AKS Denetim Pl. Sapma Doğrulama ve Geçerle-me Gözden Geçirme Haz. Hız
Bulgu Yoğ. Hazırlık Verimliliği Hata Yakalama Yüzdesi
Hata Tespit Verimli-liği
Tablo 1’de gösterilen süreç metriklerinin hem proje bazında hem de kurum bazında veri toplama ve analiz yöntemleri tanımlanmıştır. Süreç performans dayanaklarını belirlemek amacıyla oluşturulan süreç kontrol kartları yardımıyla, veri toplanan top-lam 25 projeden alınan verilerin değerlendirilmesi sonucunda her bir süreç bazında kurumsal süreç performansı ortaya çıkmıştır. Proje performans başarı puanı hesapla-nırken, projenin süreç performansı kurum süreç performansı ile karşılaştırılmaktadır. Bu nedenle hem proje bazında hem de kurumsal düzeyde süreç metrik analiz yöntem-leri tanımlanmıştır.
4
Proje Geliştirme Araç Altyapısı
Verilerin toplandığı Ar-Ge kurumunda proje geliştirme araçları Tablo 2’de gösteril-miştir.
Tablo 2. Proje Geliştirme Araçları
Proje Planlama ve Yöne-tim
Atlassian JIRA Atlassian Confluence IBM Rational Team Concert MS Project
Gereksinim Yönetimi
IBM DOORS
IBM DOORS Next Generation Atlassian JIRA
IBM Rational Rhapsody
IBM Rational Software Architect Altium Designer
Kodlama Eclipse, Visual Studio
Birim Test
Junit
Google Code Pro Quick Test Professional
Paket Yönetimi(Build) Ve Tümleştirme
Atlassian Bamboo Jenkins
Ant
IBM Rational Team Concert
Test Yönetim Rational Quality Manager
Konfigürasyon Yönetim
IBM Rational Team Concert SVN (Subversion)
GIT
İş Yönetim Atlassian JIRA IBM Rational Team Concert
Gözden Geçirme SmartBear Collaborator
Yazılım Kalitesi Ölçme Aracı
Understand Sonar Source
Tablo 2’de belirtilen proje araçlarında işletilen süreç iş akışları ve bu iş akışlarının koştuğu yazılım araçları Tablo 3’te belirtilmiştir.
Tablo 3. Proje Süreç İş Akışları
Sıra İş Akış Adı İlgili Araç
1 Proje iş aktiviteleri IBM Rational Team Concert, Atlassian JIRA 2 Değişiklik istekleri IBM Rational Team Concert, Atlassian JIRA 3 Hata bildirimleri IBM Rational Team Concert, Atlassian JIRA 4 Risk faaliyetleri IBM Rational Team Concert, Atlassian JIRA
5 Toplantılar IBM Rational Team Concert, Atlassian JIRA
6 Süreç denetimleri IBM Rational Team Concert, Atlassian JIRA 7
İş ürünü konfigürasyon
denetimleri IBM Rational Team Concert, Atlassian JIRA 8 Gözden geçirmeler SmartBear Collaborator
9 Düzeltici faaliyetler IBM Rational Team Concert, Atlassian JIRA 10 Öğrenilen dersler IBM Rational Team Concert, Atlassian JIRA
5
Süreç Performans Dayanaklarının Oluşturulması
Tablo 1’de belirtilen her bir süreç metriği için süreç performans dayanağı oluşturul-muştur. Bu bölümde örnek olarak gözden geçirme sürecine bağlı gözden geçirme hazırlık hızı metriği için süreç performans dayağının nasıl oluşturulduğu belirtilmiştir. Gözden geçirme hazırlık hızı süreç kontrol kartının oluşturulabilmesi için kurumdaki toplam 25 yazılım projesinden gözden geçirme hazırlık hızı bilgileri toplanmıştır. Proje bazında ve kurum bazında gözden geçirme hazırlık hızının nasıl hesaplandığı aşağıda belirtilmiştir.
Ölçüm Amacı:
Proje Düzeyinde: Projede gerçekleştirilen gözden geçirme faaliyetleri için yeterli
süre ayrılıp ayrılmadığını, gözden geçirme bulgularının yoğunluğunu ve birim gözden geçirme zamanında tespit edilen bulguların sayısını ölçmek.
Kurum Düzeyinde: Kurumda yürütülen projelerde gerçekleştirilen gözden geçirme
faaliyetleri için ayrılan sürelerin, gözden geçirme bulgularının yoğunluğunun ve birim gözden geçirme zamanında tespit edilen bulguların sayısının merkezî eğilimini tespit etmek
Proje Bazında Gözden Geçirme Hazırlık Hızı = Hazırlık saati başına düşen büyüklük (sayfa sayısı ya da LLOC-logical line of code)
Enstitü Bazında Gözden Geçirme Hazırlık Hızı = Medyan (Proje Bazında Gözden Geçirme Hazırlık Hızı)
Kurumdaki projelerden 24 ay boyunca alınan veriler Tablo 3’te gösterilmiştir. Her ay değeri ilgili ayda tüm projelerde gerçekleştirilen gözden geçirme hazırlık hızı değerle-rinin medyan ortalamalarının alınması ile hesaplanmıştır. Genellikle yazılım dünya-sında kontrol kart tipi olarak U chart ya da I-MR kontrol kartları kullanılmaktadır [13]. Eğer verilerin dağılımı poisson ya da binominal dağılıma uygun ise U chart kontrol kartı kullanılabilir. Verilerin dağılımı konusunda kesin fikir yok ise I-MR kartı kullanılır [13]. Süreç kontrol kartı oluşturmak için Minitab aracında I-MR kont-rol kartı grafiği kullanılmıştır.
Tablo 4. Gözden Geçirme Hazırlık Hızı Ölçümleri
Sıra Aylar Gözden Geçirme Hazırlık
Hızı (sayfa/saat) 1 2017-Ocak 21 2 2017-Şubat 24 3 2017-Mart 80 4 2017-Nisan 90 5 2017-Mayıs 26 6 2017-Haziran 24 7 2017-Temmuz 19 8 2017-Ağustos 97 9 2017-Eylül 19 10 2017-Ekim 18 11 2017-Kasım 13 12 2017-Aralık 158 13 2018-Ocak 485 14 2018-Şubat 33 15 2018-Mart 7 16 2018-Nisan 1507 17 2018-Mayıs 86 18 2018-Haziran 28 19 2018-Temmuz 41 20 2018-Ağustos 40 21 2018-Eylül 89 22 2018-Ekim 76 23 2018-Kasım 103 24 2018-Aralık 25
Şekil 1. Gözden Geçirme Hızı Kontrol Kartı-Birinci İterasyon Sonucu
Şekil 1’de kontrol limitleri dışına çıkan noktaların analizleri yapıldıktan sonra ka-lan veriler ile tekrar kontrol kartı oluşturulmuştur. Üçüncü iterasyon sonucunda kaka-lan veriler stabil bir süreç kontrol kartı grafiği oluşturmuştur.
Şekil 2. Gözden Geçirme Hızı Kontrol Kartı- Üçüncü İterasyon Sonucu Şekil 2’de sürecin süreç stabil hale geldiği görülmüştür.
23 21 19 17 15 13 11 9 7 5 3 1 400 200 0 Observation In di vi du al V al ue _ X=69,5 UCL=259,0 LCL=-120,1 23 21 19 17 15 13 11 9 7 5 3 1 400 300 200 100 0 Observation M ov in g R an ge __ MR=71,3 UCL=232,9 LCL=0 1 1 1 I-MR Chart of C1
6
Süreç Metriklerinin Analitik Hiyerarşi Yöntemi (AHP) ile
Ağırlıklandırılması
Proje yönetimi konusunda tecrübeli kurum çalışanları ile yapılandırılmış AHP çalış-ması yapılmıştır. Kurum çalışanları ile görüşmeler yapılarak süreç metrikleri için daha önce hazırlanan ikili karşılaştırma matrislerini doldurmaları istenmiştir. AHP çalışma-sında kullanılan bağıl önem cetveli Tablo 5’de verilmiştir.
Tablo 5. Bağıl Önem Cetveli
Ağırlık Tanım Açıklama
1 Eşit Her iki alternatif eşit derecede öneme sahip 3 Orta İlk alternatif ikinciden bir miktar daha önemli 5 Kuvvetli İlk alternatifin ikinciye göre önemi kayda değer
7 Çok
kuv-vetli
İlk alternatifin ikinciye göre önemi çok fazla
9 Çok önemli İlk alternatifin ikinciye göre önemi son derece yüksek
2,4,6,8 Ara değerler
AHP sonuçları Tablo 6’da gösterilmiştir.
Tablo 6. Proje Yaşam Döngüsü Süreç Metrik Ağırlık Sonuçları
Metrik Adı Ağırlık Metrik Adı Ağırlık
Proje Yönetimi 0,135 Kalite 0,078
Kilometretaşı sapması 0,052 Proje Uygunsuzluk AKS 0,048
Efor sapması 0,033 Proje Denetim
Planlama-sından Sapma
0,029 Proje Gelir/Gider İdeksi 0,050
Geliştirme 0,195 Doğrulama ve
Geçerle-me
0,195
MTR Hata AKS 0,036 Gözden Geçirme Hazırlık
Hızı
0,014
MTR İyileştirme AKS 0,011 Bulgu Yoğunluğu 0,051
MTR Gerek. Değ. AKS 0,030 Hazırlık Verimliliği 0,021
MTR Hata AKO 0,033 Hata Yakalama Yüzdesi 0,049
MTR İyileştirme AKO 0,011 Hata Tespit Yüzdesi 0,060
MTR Gerek. Değ. AKO 0,029
Hata Yoğunluğu 0,045 Gereksinim Yönetimi 0,21
Konfigürasyon Yönetimi 0,108 Proje Başına Düşen
Ort.Ger. Değiş.Sayısı
Konfigürasyon Denetim Planlamasından Sapma
0,023 Risk Yönetimi 0,08
Konfigürasyon Den. Başı-na Düşen Ort. Hata
0,025 Risk Gözden Geçirme
Oranı 0,08 Konfigürasyon Uygunsuz-luklarının AKS 0,035 Konfigürasyon Uygunsuz-luklarının AKO 0,024 Toplam ağırlık 1
MTR: Müşteri tarafından raporlanan AKS: Açık kalma süresi AKO: Açık kalma oranı
7
Proje Performans Başarı Puanı Hesaplama Modeli
Şekil 3’te proje performans başarı puanı hesaplama modeli gösterilmiştir. Yapılan varsayımda hazırlık aşamasında üç, yürütme aşamasında dört ve kabul aşamasında iki olmak üzere toplam 9 süreç metriğinin ölçüldüğü varsayılmıştır.
Şekil 3. Proje performans başarı puanı hesaplama modeli
Şekil 3’te belirtilen proje aşamaları kurumdan kuruma farklılık gösterebilir. Her bir aşamada ölçülen süreç metrikleri de kurumların iş hedeflerine, ürün ve süreç ölçüm hedeflerine göre değişiklik gösterebilir.
𝑘𝑖𝑗 AHP yöntemi ile hesaplanan metrik ağırlık katsayısıdır. 𝛼1, 𝛼2, 𝛼3 beklenen başarı puanlarıdır.
𝛼1𝑛, 𝛼2𝑛 , 𝛼3𝑛 ölçülen süreç metrik değeridir.
𝑃𝑛, 𝐸𝑛, 𝐷𝑛 ilgili aşamaya ait süreç metrik başarı puan değeridir. 𝑇1, 𝑇2, 𝑇3 ilgili aşamaya ait proje başarı puan değeridir.
Beklenen başarı puan değerlerinin hesaplanması: Proje aşamalarındaki beklenen başarı puanı, geçmiş proje süreç metrik ölçüm verilerinin analiz sonuçları ile konu-sunda uzman ve tecrübeli proje yöneticileri, iş paketi liderleri ve tecrübeli proje çalı-şanları ile yapılan mülakat ve anketlerden gelen bilgiler ile belirlenmiştir.
8
Sonuç
Bu tez çalışmasında projelerden toplanacak süreç metrikleri tanımlarının detaylandı-rılması (metriklerin amacı, toplanma ve analiz yöntemleri) yapılmış ve ölçümlerin saklanacağı veri tabanı tasarımı gerçekleştirilmiştir. Sonrasında projenin planlama, analiz, gerçekleştirme ve test aşama sonlarında proje süreç metriklerini otomatik ola-rak toplayıp analiz eden ve proje başarı puanını hesaplayan bir yazılım geliştirilmiştir. Geliştirilen yazılımın detay tasarımı da dokümante edilmiştir.
Yazılım java dilinde geliştirilmiştir ve web tabanlı çalışacak şekilde tasarlanmıştır. Yazılımda yeni metrik tanımlayabilme, verilerin toplanacağı proje destek araçlarını artırma ya da değiştirme, veri toplanan projeleri ekleme/çıkarma gibi işlemler yapıla-bilmektedir. Geliştirilen yazılım proje performans başarı puanı hesaplama modelini kullanarak projenin istenilen aşamalarında proje başarı puanını hesaplamaktadır. Ya-zılım istatistiksel süreç kontrolü altında olmayan süreçleri ve süreçle ilgili verileri de kullanıcıların görmesine izin vermektedir.
Kaynakça
1. T.C. Kalkınma Bakanlığı Onuncu Kalkınma Planı, Madde 681. 2. Orta Vadeli Program 2016-2018, Madde 180.
3. Bilişim Teknoloji ve Sanayi Bakanlığı Türkiye Yazılım Sektörü Stratejisi ve Eylem Planı 2017-2019.
4. Akyol, M. M.: Yazılım süreçlerini etkileyen faktörlerin belirlenmesine ilişkin bir ölçüm ve iyileştirme modeli ve uygulaması, İstanbul (2013).
5. Ayyıldız, M.: Yazılım projeleri ölçüm sonuçları veri tabanının oluşturulması ve yeni yazı-lım projelerinin maliyet tahmininde kullanımı, İstanbul (2007).
6. Çatal, Ç.: Yazılım kusur kestirimi probleminde yapay bağışıklık sistemlerinin uygulanma-sı. İstanbul (2008).
7. Radujković, M., Sjekavica, M.: Project Management Success Factors. In: Creative Con-struction Conference, Procedia Engineering 196 ( 2017 ), pp. 607 – 615. Elsevier, Croatia (2017).
8. Sanchez, O.P., Terlizzi, M.A., Moraes, H.: Cost and time project management success fac-tors for information systems development projects. In: International Journal of Project Management 35, pp. 1608–1626. (2017).
9. Mir, F.A., Pinnington, A.H.: Exploring the value of project management: linking project management performance and project success. In: International Journal of Project Man-agement 32, pp. 202–217. (2014).
10. Todorović, M.J., Petrović, D.Č., Mihić, M.M., Obradović, V.L., Bushuyev, S.D.: Project success analysis framework: a knowledge-based approach in project management. In: In-ternational Journal of Project Management 33, pp. 772–783. (2015).
11. Verner, J., Kitchenham, B., Cerpa, N.: Estimating Project Outcomes. In: Conference Pa-per, ICSSEA 2007-11, (2007).
12. Garousi, V., Tarhan, A., Pfahl, D., Coşkunçay, A., Demirörs, O.: Correlation of critical success factors with success of software projects: an empirical investigation. Software Qu-ality Journal 27, pp. 429–493. (2019).
13. Florac, W. A., Park, R. E., Carleton, A. D.: Practical software measurement: measuring for Process Management and Improvement. Guidebook, CMU/SEI-97-HB-003, (1997).
