Özet
Amaç: Umut Merkezi Ostomi Yaşam Kalitesi Ölçeği’nin (City of Ho-pe Quality of Life- Ostomy) Türk ostomili hastalarda geçerlilik ve gü-venilirliğini değerlendirmektir.
Yöntem: Metodolojik bir çalışmadır. Araştırmaya en az bir aydır ko-lostomi, ileostomi ve ürostomisi olan 153 hasta alındı. Veriler; hasta-lara yönelik demografik bilgiler formu ve Umut Merkezi Ostomi Ya-şam Kalitesi Ölçeği (City of Hope Quality of Life Ostomy) ile toplan-dı. Ölçek, likert tipi 0-10 arasında puanlandırıltoplan-dı.
Bulgular: Ölçeğin dil geçerliliğinde çeviri-geri çeviri yapıldı ve uz-man görüşlerinin uyumlu olduğu saptandı. Umut Merkezi Ostomi Ya-şam Kalitesi Ölçeği’nin Türkçe versiyonu’nun iç tutarlılık güvenilir-lik katsayısı 0.92 olarak bulundu, alt boyut madde puanları- alt boyut toplam puanları arasındaki korelasyon 0.21- 0.79 arasındaydı. Doğ-rulayıcı faktör analizi sonucunda, ölçeğin model uyum indeksleri ol-ması gereken sınır aralığında bulundu. Ölçeğin test tekrar test güve-nirliğinde ölçek toplam puan korelasyonu 0.82 olarak bulundu. Sonuç: Umut Merkezi Ostomi Yaşam Kalitesi Ölçeği’nin ostomili hastaların yaşam kalitelerini değerlendirmede geçerli ve güvenilir ol-duğu belirlendi. Ostomili hastaların yaşam kalitelerini fiziksel, psiko-lojik, sosyal ve manevi alanlarda hangi düzeyde etkilendiğini belirle-mek ve alanlara yönelik hemşirelik girişimlerini planlamak için bu öl-çeğin kullanılması önerilmektedir.
Anahtar Sözcükler: Ostomi, yaşam kalitesi, geçerlilik, güvenilirlik * Arş. Gör., Çankırı Karatekin
Üniversitesi Sağlık Yüksekokulu, Çankırı
e-posta: figeneroll@hotmail.com ** Yrd. Doç. Dr., Dokuz Eylül Üniversitesi Hemşirelik Fakültesi, İzmir
Geliş Tarihi: 09/01/2012 Kabul Tarihi: 15/06/2012
Umut Merkezi Ostomi Yaşam Kalitesi Ölçeği’nin
Geçerlilik ve Güvenirliği
Figen EROL* Fatma VURAL**
Validity And Reliability Of The City Of
Hope Quality Of Life Ostomy -Scale For
The Turkish Patients With Ostomy
Abstract
Objective: To evaluate the validity and reliability City of Hope Ostomy Quality of Life Ostomy – Scale for theTurkish patients with ostomy. Method: It is a methodological study. The samp-le was 153 patients who have ostomy including colostomy, ileostomy, and urostomy for at least a month. Data were collected by a socio-demog-raphic information form and the City of Hope Quality of Life Ostomy. The scoring is performed on the basis of a 10-point Likert scale.
Results: Forward-backward translation method was used for the linguistic validity of the scale and the expert opinions were consistent with each other. The internal consistency coefficient for the Turkish version of City of Hope Quality of Life Ostomy was 0.92; item-total correlation coeffici-ents of the sub-dimensions ranged between 0.21 and 0.79. In the confirmatory factor analysis, va-lues of fit indices were found to be acceptable le-vel. By means of test-retest reliability, the corre-lation between first and second measurement was 0.82.
Conclusion: The validity and reliability of City of Hope Quality of Life Ostomy scale has been pro-ven among the Turkish patients with ostomy. We recommended that nurses can use City of Hope Quality of Life Ostomy scale to determine quality of life including physchological, psychological, social, and spiritual domains and plan nursing interventions if it is necessary.
Keywords: Ostomy, life style, reliability, validity
Giriş
Altta yatan patolojiyi ortadan kaldırmak ve hastanın durumunu iyileştirmek amacıyla açılan tüm ostomiler aynı zamanda bireyin tüm yaşantı-sını etkilemektedir.1,2 Ostominin açılması hangi nedenle olursa olsun bireyin başkalarına bağımlı olmasına neden olduğundan ve aynı zamanda fi-ziksel, psikolojik, sosyal, ekonomik ve manevi anlamda kendini iyi hissetmesini engellediğinden bireylerin yaşam kalitesini olumsuz etkileyen faktörlerden biri olarak belirtilmektedir.2-5
Son yıllarda ostomili birey sayısı giderek art-maktadır. Dünyadaki sayılara bakıldığında; Kuzey Amerika’da 800.000, Hong Kong’da ise yaklaşık 15.000 ostomili birey bulunmaktadır. ABD’de ve Kanada’da her yıl 120.000 kişiden fazla, İngilte-re’de ise yaklaşık yılda 13.500 kişiye ostomi açıl-dığı bildirilmektedir.6-9 Ülkemizde ise kurumla-rın kendi kayıtları dışında veriler olmadığı ve ista-tistikler yetersiz olduğu için ostomili birey sayısı kesin olarak belli değildir.
Yapılan çalışmalarda ostominin açılması ile ostomi komplikasyonları, cinsel yaşamda azalma, uyku bozukluğu, yorgunluk, beden imajında bo-zulma, sosyal yaşam ve çalışma koşullarının etki-lenmesi gibi faktörlerin yanı sıra, ekonomik ne-denlere bağlı olarak da bireylerin yaşam kalitele-rinin azaldığı bulunmuştur.10-14
Ostomili bireylerin yaşam kalitelerinin yeni-den yükseltilebilmesi için, öncelikle bu bireylerin yaşam kalitelerinin ostomiye özel ölçekler ile de-ğerlendirilmesi gerekmektedir. Aynı zamanda bu bireylere yönelik hemşirelik bakımının planlana-bilmesi ve doğru uygun girişimlerin uygulanabil-mesi için yaşam kalitesini tanılama verilerinin toplanmasın da standart bir ölçüm aracının kulla-nılması önemlidir.15
Ostominin bireylerin yaşam kalitesine etkile-rini her yönüyle tam olarak değerlendirebilmek
için genel yaşam kalitesi ölçekleri yetersiz kala-bilmektedir. Bunun yanında genel yaşam kalitesi ölçeklerinin ostomili bireylere yönelik olarak içe-riksel anlamda sınırlılıkları da bulunmaktadır. Bu nedenle ostomili bireylerin yaşam kalitelerini doğru ve uygun olarak değerlendirmede bu birey-lere özel yaşam kalitesi ölçekleri kullanılmalıdır. Bir yaşam kalitesi ölçeğinin ostomili bireylerde kullanılabilmesi için bu ölçek, farklı ostomilere sahip bireylerde kullanılabilmeli, klinik araştırma sonuçlarıyla ölçülmeli ve bakımı yönetmeyi ko-laylaştırıcı olmalıdır. 10, 15, 16
Ostomili bireylere yönelik özel ölçekler kulla-nılarak bu bireylerde yaşam kalitesinin değerlen-dirilmesi ile verilen hemşirelik bakımı bireylerin psikolojik, sosyal, manevi ve fiziksel yönden os-tomiye adaptasyonunu kolaylaştıracaktır. Türki-ye’de bu alanda kullanılabilecek geçerlilik ve gü-venilirliği saptanmış herhangi bir yaşam kalitesi ölçeği bulunmamaktadır. Bu nedenle bu bireylere yönelik City of Hope Quality of Life Ostomy- qu-estionnaire (Umut Merkezi Ostomi Yaşam Kalite-si Ölçeği)’nin Türkçeye uyarlanarak geçerlilik ve güvenirliğinin yapılması oldukça önemlidir.
City of Hope Pain and Palliative Care Reso-urce Center tarafından 1995 yılında oluşturulan ve geliştirilen Umut Merkezi Ostomi Yaşam Ka-litesi Ölçeği UM-OYKÖ (City of Hope Quality of Life –Ostomy Questionnare COHQOL-O), Grant17 ve diğ. tarafından ostomili bireyler için düzenlenmiştir. Bu alanda kapsamlı, geçerli ve güvenilir bir ölçektir. Avrupa’da birçok araştır-mada geniş örneklem gruplarında ve ileostomi, kolostomi ve ürostomili tüm bireylerde kullanıl-mıştır.13,18,19Geçerlilik ve güvenilirlik analiz so-nuçları yüksek olduğu için bu ölçek tercih edil-miştir. Bu ölçek ostomili bireylerin yaşam kalite-sini fiziksel, psikolojik, sosyal ve manevi yönden dört boyutlu olarak değerlendirmeye olanak
sağ-ladığından bütüncül bakımın sürdürülmesine reh-berlik etmektedir.17
Amaç
Bu çalışma Umut Merkezi Ostomi Yaşam Ka-litesi Ölçeği’nin (UM-OYKÖ) Türkçe Geçerlilik ve Güvenirliğini belirlemek amacıyla yapıldı.
Araştırma Soruları
Ölçeğin Türkçe formu geçerli bir ölçüm aracı mıdır?
Ölçeğin Türkçe formu güvenilir bir ölçüm aracı mıdır?
Yöntem
Bu çalışma metodolojik bir araştırmadır.
Araştırmanın Yeri ve Zamanı
Bu araştırma, Dokuz Eylül Üniversitesi Hasta-nesi ve Ege Üniversitesi Tıp Fakültesi Hastane-si’nin Genel Cerrahi Servisi, Üroloji Servisi, Ke-moterapi ve Stomaterapi Üniteleri’nde Haziran-Ekim 2010 tarihleri arasında yürütülmüştür.
Araştırmanın Örneklemi
Çalışmanın örneklem büyüklüğü madde başı-na 5 katılımcı olarak hesaplabaşı-narak 215 birey ola-rak belirlendi. Ancak tez çalışması olaola-rak planla-nan bu araştırmanın zaman planı içerisinde bu sa-yıya ulaşmak mümkün olamadığı için yapılan güç analizi istatistikleri sonucunda % 85 güç düzeyin-de örneklem büyüklüğü 131 kişi olarak yeterli ol-duğu belirlendi.20,21Ostomi açıldıktan sonra has-tanede yatarak tedavisi devam eden, ostomi açıl-dıktan sonra taburcu olup stomaterapi ünitesine kontrole gelen ve kemoterapi ünitelerinde tedavi-leri devam eden en az bir aydır ostomisi (kolosto-mi, ileostomi ve ürostomi) olan 153 birey, araştır-ma örneklemine alındı.
Örneklem grubundaki bireylerin yaş ortalama-sı 56.64±12.44’tur. Bireylerin %38.6’ortalama-sı kadın, %61.4’ü erkektir; %88.23’ü evli, %37.3’ü emekli, %60.2’si ilköğretim mezunu; %54.9’nun kolosto-misi, %35.3’unun ileostokolosto-misi, %9.8’inin ise üros-tomisi vardır. Ostomilerin %51 geçicidir. Bireyle-rin %26.1’nin 1- 3 yıl ostomili, %88.9’u taburcu-luk öncesi stoma bakımı hakkında eğitim almıştır.
Veri Toplama Aracı ve Verilerin Toplanması
Araştırmada, Hastalara Yönelik Veri Toplama Formu ve City of Hope Quality of Life- Ostomy Questionnare kullanıldı. Sosyodemografik özel-likler ve ostomiye ilişkin bilgiler 15 sorudan olu-şan bireysel özellikler formu ile toplandı. Verile-rin toplanması aşamasında sadece araştırmacı gö-rev aldı.
City of Hope Quality of Life- Ostomy (COH-QOL-O) City of Hope Pain and Palliative Care Resource Center tarafından geliştirilmiştir. COH-QOL-O 1995 yılında kanserli hastaların yaşam kalitesini yükseltmek için 41 maddeli, Kanserli Hastalarda Yaşam Kalitesi adıyla oluşturuldu. Grant ve diğ.’nin17çalışmasında 41 maddeli olan ölçeğe yorgunluk ve kabızlık maddelerinin 0-10 arasında değerlendirilecek şekilde eklenerek öl-çek 43 maddeli olarak revize edilmiştir. Özgün adı City of Hope Quality of Life- Ostomy olan öl-çek uzman görüşleri sonrası Türkçe’ye Umut Merkezi Ostomi Yaşam Kalitesi Ölçeği (UM-OYKÖ) olarak uyarlandı. Ölçek 10’lu likert tipi olarak düzenlenmiştir.17 Ölçekte yaşam kalitesi maddeleri fiziksel, psikolojik, sosyal ve manevi olmak üzere dört alt boyutta gruplandırılmıştır. Buna göre ölçekteki maddelerin boyutları şöyle tanımlanmaktadır.
• Fiziksel iyilik hali 1- 11 maddeler • Psikolojik iyilik hali 12- 24 maddeler • Sosyal kaygı 25- 36 maddeler
• Manevi iyilik hali 37- 43 maddeler ile ölçül-mektedir.
Puanlanmasında 1. maddeden 12. maddeye kadar; 15, 18, 19, 22- 30, 32- 34, 37 maddelerin puanları ters çevrilerek yorumlanmaktadır. Oriji-nal ölçeğin toplam Cronbach alfa güvenirlik kat-sayısı 0.95’dir. Alt faktörlerin Cronbach alfa gü-venirlik katsayısıları sırasıyla Sosyal kaygı 0.90; Psikolojik iyilik hali 0.83; Fiziksel iyilik hali 0.88; Manevi iyilik hali 0.81’dir. Ölçeğin madde-madde analizinde korelasyon katsayısı 0.24 ile 0.76 arasında değişmektedir. Alt faktörlerin korelasyon katsayıları sırasıyla Sosyal kaygı 0.47 -0.79; Psikolojik iyilik hali 0.50 - 0.76; Fiziksel iyilik hali 0.55 0.81; Manevi iyilik hali 0.28 -0.70’dir.17
Araştırma verileri araştırmacı tarafından yüz yüze görüşme yöntemi ile toplandı ve veri topla-ma süresi 20- 30 dakika arasında sürdü. Tekrar test amacıyla, ölçek uygulanan 30 kişiye 4 hafta sonunda tekrar aynı ölçek uygulandı.
Verilerin Değerlendirilmesi
Veriler SPSS 15.0 istatistiksel paket progra-mında kodlanarak değerlendirildi. Kapsam geçer-liliği için kapsam geçerlilik oranı ve kapsam ge-çerlilik indeksi; yapı geçerliliği için açıklayıcı fak-tör analizi ve doğrulayıcı fakfak-tör analizi kullanıl-dı.21-23Ölçeğin her bir maddesinin, 15 akademis-yen hemşire, 2 stomaterapi hemşiresi, 1 hekim tarafından 1) Madde uygun, 2) Madde hafifçe gözden geçirilmeli, 3) Madde ciddi olarak gözden geçirilmeli, 4) Madde uygun değil şeklinde de-ğerlendirilmesi istendi. Her bir maddeyi değer-lendiren (1) ve (2) seçeneğini işaretleyen uzman-ların sayısı toplam uzman sayısının yarısına bölü-nüp bir çıkarılarak her bir madde için kapsam ge-çerlilik oranı, ölçeğin tamamına ilişkin ise kap-sam geçerlilik indeksi hesaplandı.21, 22, 24
İç güvenilirlik hesaplamaları için; Cronbach Alfa katsayısı, madde-toplam puan korelasyonla-rının karşılaştırılmasında; Pearson Momentler Çarpımı Korelasyonu, zamana göre değişmezli-ğin belirlenmesinde; test tekrar test yöntemi ile Pearson Momentler Çarpımı Korelasyonu kulla-nıldı.24, 25 Maddelerin bireyler tarafından aynı yaklaşım ile algılanıp algılanmadığı, zorluk dere-celerinin birbirine yakın ve normal bir dağılım formunda olup olmadığı Hoteling T2testi ile de-ğerlendirildi.25 İstatistiksel önemlilik düzeylerin belirlenmesinde p=0.05 kabul edildi.
Araştırma Etiği
Umut Merkezi Ostomi Yaşam Kalitesi Ölçeği, Umut Merkezi Ağrı ve Palyatif Bakım Araştırma Merkezin’e (City of Hope Pain & Palliative Care Resource Center’a) aittir. Bu merkezde çalışan ölçek sahibi araştırmacı Hemşire Marcia Grant’tan kullanım izni alındı.
Araştırma için; Dokuz Eylül Üniversitesi Has-tanesi Girişimsel Olmayan Klinik Araştırmalar Değerlendirme Komisyonu onayı alındı. Araştır-manın yapılacağı il bazında Dokuz Eylül Üniver-sitesi Hastanesi Başhekimliği ve Ege Üniversite-si Tıp FakülteÜniversite-si HastaneÜniversite-si Başhekimliği’nden ya-zılı kurum izni alındı.
Örnekleme alınan bireylere çalışmanın amacı açıklandıktan sonra, araştırmaya katılmayı kabul edenlerden yazılı bilgilendirilmiş onamları alındı.
Araştırmanın Sınırlılıkları
Hastaların ameliyat sonrası ortalama 10- 15 gün içerisinde taburcu olması ve rutin poliklinik kontrolleri dışında herhangi bir sorun, komplikas-yon gelişmediği sürece stomaterapi ünitelerine başvurmamaları, hastalara ulaşılmasında zorluk yaşanmasına neden oldu. Tez çalışması olarak planlanan bu araştırmanın veri toplama süreci
dolması nedeniyle planlanandan daha az ostomili bireye ulaşıldı.
Bulgular
Ölçek Dil Geçerliliği
Dil geçerliliği için ölçek öncelikle araştırmacı tarafından İngilizceden Türkçeye çevrildi. Daha sonra ölçeğin İngilizce -Türkçe çevirisi her iki di-li ve kültürü iyi bilen, anadidi-li Türkçe olan, dil bi-limcisi iki uzman tarafından yapıldı. İki araştırma-cı, her madde için en uygun çeviriyi değerlendire-rek ortak bir Türkçe metin oluşturdu. Dil geçerli-liği sonrası ölçek maddelerinin her birinin Türkçe cümle yapısını tamamlaması ve daha iyi anlaşıla-bilme durumu değerlendirildi. Dil anlam uygun-luğu ve kavramda eşdeğerlilik açısından bazı söz-cük ve tümcelerde değişiklikler yapılarak 11. maddedeki “genel fiziksel iyilik hali” sorusu “ge-nel fiziksel sağlık” olarak değiştirildi. 20. madde-deki “yaşamınızın sizin kontrolünüzde olduğunu ne kadar hissediyorsunuz?” sorusu “yaşamınızı her yönüyle ne kadar kontrol edebildiğinizi düşü-nüyorsunuz?” olarak değiştirilerek, Türkçe metni hazırlandı. Ölçek geri çeviri yöntemi ile Türkçe ve İngilizce’yi iyi derecede bilen bir dil bilimci ve cerrahi hastalıkları hemşireliğinde doktorasını tamamlamış bir uzman tarafından tekrar İngiliz-ce’ye çevrildi ve özgün formu ile karşılaştırıldı ve dil geçerliliği sağlandı. Ölçek örnekleme uygun sekiz ostomili bireye ön uygulama yapılarak Türkçe formun son hali elde edildi. Ön uygula-madaki bireyler örnekleme dahil edilmedi.
Ölçek Geçerliliği
Kapsam geçerliliği için 15 akademisyen hem-şire, 2 stomaterapi hemşiresi ve 1 hekimin uzman görüşüne sunuldu. Tüm ölçek maddeleri için Kapsam Geçerlilik İndeksi (KGI) 0.90, sınıf içi korelasyon Chronbach alfa 0.80 olarak bulundu.
Ölçeğin yapı geçerliliğinin değerlendirilme-sinde doğrulayıcı faktör analizi ve açıklayıcı fak-tör analizi kullanıldı. Açıklayıcı fakfak-tör analizi so-nuçlarına göre Temel Bileşenler Analizinde, Kai-ser Meyer Olkin (KMO) değeri 0.814 bulundu. Barlett testi sonucu 3082.860 (p< 0.05) olarak tespit edildi (Tablo 1). 43 maddenin dört alt boyu-tu tanımlanmasıyla elde edilen doğrulayıcı faktör analizi sonuçları gösterildi.
Umut Merkezi Ostomi Yaşam Kalitesi Ölçe-ği’nin alt boyutlarında modifikasyon yapıldı ve yer alan DFA’nin faktör yükleri -0.04- 0.80 ara-sında değişti. Alt boyutların faktör yükleri sırasıy-la “fiziksel iyilik hali” alt boyutunda 0.16- 0.80; “psikolojik iyilik hali” alt boyutunda 0.28- 0.71;
“sosyal kaygı”alt boyutunda 0.16- 0.79;
“mane-vi iyilik hali”alt boyutunda -0.04- 0.73 arasında değiştiği görüldü (Şekil 1).
Umut Merkezi Ostomi Yaşam Kalitesi Ölçe-ği’nin DFA’nde orijinal ölçekteki dört alt boyut sınandı. Model uyum indeksleri olan χ2 (849, N=153)=1184.02; RMSEA=0.051; GFI=0.73; CFI=0.94 ve NNFI=0.94 olarak sap-tandı (Tablo 2).
Ölçek Güvenirliği
Ölçeğin güvenirliğinin belirlenmesinde; ta-nımlayıcı özelliklerden standart sapma ve standart hata incelendi. Güvenirlik istatistiklerinden; madde analizi ve toplam puan korelasyonu,
Ho-telling T2 testi, Cronbach Alfa güvenirlik katsayı-sı hesaplandı. Umut Merkezi Ostomi Yaşam Kali-tesi Ölçeği’nde yer alan ölçek alt boyutları 0-10 arasında değerlendirildiğinde; puan ortalamaları-nın “fiziksel iyilik hali” 7.37 ± 1.88; “psikolojik
iyilik hali” 5.72 ± 2.47; “sosyal kaygı” 5.86 ± 2.40; “manevi iyilik hali” 6.69 ± 1.84 arasında değiştiği görüldü. Tanımlayıcı istatistiklerden standart hata (SE) sonuçları incelendiğinde; hata oranlarının tüm maddeler için 0.12- 0.37 arasında, olduğu belirlenmiştir. Dört alt boyutun SE sonuç-ları incelendiğinde, dört alt boyutun SE’ sonuç-ları 0.14-0.34 arasında değişti görüldü.
Umut Merkezi Ostomi Yaşam Kalitesi Ölçe-ği’nin madde-madde toplam puan korelasyon katsayıları en düşük 0.07 ile en yüksek 0.50 ara-sında değişti. Ölçek maddelerinden korelasyonu 0.20’nın altında olan 3, 7, 8, 9, 10, 17, 27, 40, 41, 42, 43. maddelerdir. Alt boyut madde puanları – alt boyut toplam puanları arasındaki korelasyon katsayıları incelendiğinde en düşük 0.21 ile 0.79 arasında değiştiği görülmektedir. Analiz sonuçla-rında alt boyut korelasyon katsayı değerleri ara-sında 0.20’nin altında maddeler bulundu. Alt bo-yut madde puanları korelasyonlarında 0.30’un al-tında ise iki madde bulundu. Bu maddeler 27. ve 35. maddelerdir. Korelasyon katsayısı alt boyutu sırasıyla, “fiziksel iyilik hali” alt boyutunda 0.37- 0.67, “psikolojik iyilik hali” alt boyutunda 0.52- 0.76, “sosyal kaygı” alt boyutunda 0.21-Kaiser – Meyer- Olkin Measure of Sampling Adequacy .814
Bartlett’s Test of Sphericity Approx. Chi- Square 3082, 860
df 903
Sig. .000
0.79, “manevi iyilik hali” alt boyutunda 0.32-0.61 arasında değişti.
Araştırmada ostomili bireylerin ölçek madde-lerine verdikleri yanıtlardaki puan dağılımının normal olup olmadığı Hotelling T2 testi ile değer-lendirildi. Bu test sonucunda Madde puan dağılı-mının normal olduğu belirlendi (Hotelling T2=2516.6, p=0.000).
Ölçeğin tümü için belirlenen Cronbach Alfa katsayısı 0.92 olarak bulundu.
Araştırmada çalışmaya katılan 30 ostomili bi-reye ilk ölçek uygulamasından dört hafta sonra test tekrar test uygulandı. Buna göre test tekrar test korelasyon katsayısı r = 0.82 sınıf içi korelas-yon katsayısı 0.80 olarak bulundu.
Tartışma
Ölçek Geçerliliğinin İncelenmesi
Geçerlilik bir ölçme aracının, ölçmeyi
amaçla-dığı özelliği, başka herhangi bir özellikle karıştır-madan, doğru ölçebilme derecesini göstermekte-dir.26-28 Ölçüm sonuçlarının ne kadarı ile ölçüm hatasını yansıttığı sorusuna yanıt verebilmek için ölçme aracının geçerliğinin saptanması gerek-mektedir.28
Türkçe formunun hazırlanmasında ifadelerin Türkçe cümle yapısına uygun olması sağlandı ve bireylerin anlamalarını kolaylaştıracak şekilde yapılandırıldı. Dil geçerliliğinin değerlendirilme-sinde en sık kullanılan yöntem olan geri çeviri yöntemi kullanıldı. 29 Ölçeğin içerik geçerliliği kapsamında tüm ölçek maddeleri için elde edilen 0.90 KGI, Polit ve Beck’in22önerdiği 0.80 KGI değeri ölçüt olarak alındığında, uzmanlar arasında görüş birliği olduğunu gösterdi.
Bir ölçeğin kültürel uyarlama çalışmalarında birbiri ile bağlantılı değişkenlerin belirli kümeler-de bir araya getirmeye yarayan yöntem olan fak-UM-OYKÖ’nin DFA Model Uyum İndeksleri UM-OYKÖ’nin Beklenen
Sonuçları Değerler
Minimum Uyum Fonksiyon Ki-Kare
[Minimum Fit Function Chi-Square χ2)] χ2= 1184.02 χ2/df oranı
Serbestlik Derecesi <3 – <5
[Degrees of Freedom (Df)] 849
Yaklaşık Hataların Ortalama Karekökü 0.05-0.1
[Root Mean Squared Error of Approximation (RMSEA)] .051 (kabul edilebilir)
İyilik Uyum İndeksi .73 >.90
[Goodness of Fit İndeks (GFI)]
Karşılaştırmalı Uyum İndeksi .94 >.90
[Comparative Fit Index (CFI)] Normlaştırılmamış Uyum İndeksi
.94 >.90
[Non-Normed Fit Index (NNFI)]
tör analizinin yapılması önemlidir.27-30 Faktör analizine çok çeşitli amaçlarla başvurulmaktadır. Bunlardan bazıları; değişkenler arasındaki ilişki-lerin ortaya çıkarılması, veriilişki-lerin özetlenmesi, hi-potezin testi, sebep sonuç ilişkileri analizidir. Faktör analizi, açıklayıcı faktör analizi ve doğru-layıcı faktör analizi olarak ikiye ayrılmaktadır.31
Açıklayıcı faktör analizinde, ölçeğin verileri-nin homojen ve faktör analizi yapılmasına uygun olup olmadığına karar vermek için Kaiser Meyer Olkin (KMO) analizi yapıldı.23Temel Bileşenler Analizinde, Kaiser Meyer Olkin (KMO) değeri 0.814 bulundu. KMO testi, dağılımın faktör anali-zi için yeterli olup olmadığını test etmektedir ve 0.80-0.90 aralığı çok iyi olarak değerlendirilmek-tedir.20 Dolayısıyla bu çalışmadaki KMO değeri-nin çok iyi düzeyde olduğu söylenebilir. Barlett testi sonucu 3082.860 (p< 0.05) olarak tespit edil-di. Bu bulgu ölçüm yaptığımız değişkenin evren parametresinde çok değişkenli olduğunu göster-mektedir.32
Doğrulayıcı faktör analizi, daha önceden ge-liştirilmiş olan ölçeklerin uyarlanmasında kulla-nılması gereken bir yöntemdir. Ölçekteki madde-lerin belirlenen alt boyutlarda yeterince temsil edilip edilmediğini, alt boyutların ölçeğin orijinal yapısını açıklamakta yeterli olup olmadığını sına-mak için doğrulayıcı faktör analizi yapıldı. Doğru-layıcı faktör analizi, veri ile yapı arasında uyumu gösteren uyum indekslerinin değerlendirilmesine dayalı bir yöntemdir.33DFA model uyum indeks-lerinden χ2/df oranının <3 ya da <5 altında, RMSEA’nın 0.05 ile 0.1 arasında olması, GFI, CFI ve NNFI değerlerinin 0.90 ya da üzerinde ol-ması beklenmektedir.34 Çalışmamızda, UM-OY-KÖ DFA’ de orijinal ölçekte olduğu gibi dört alt boyutu temsil etmesi sınanmıştır. Modifiye edilen DFA sonucunda model uyum indeksleri χ2(849,
N=153)=1184.02, RMSEA=0.051, GFI=0.73, CFI=0.94 ve NNFI=0.94 olarak saptandı. RMSE-A’nın 0.1’in altında olması ve χ2/df oranının 1.39, CFI=0.94 ve NNFI=0.94 ile hedeflenen değerin (0.90) üzerinde olması ve GFI dışında diğer de-ğerlerin uygun olması nedeniyle modelin iyi bir uyuma sahip olduğu, dört alt faktörü doğruladığı gösterildi.
Model parametrelerinden olan faktör yükleri maddelerin kavramsal yapıyla ilgili olup olmadı-ğını gösterir. Faktör yük değeri, maddelerin fak-törlerle olan ilişkisini açıklayan bir katsayıdır. Faktör yükü için alt sınır değerinin genel olarak 0.30’un üstünde olması istenmektedir.21, 32 Ölçe-ğin faktör yükleri incelendiÖlçe-ğinde -0.04 ile 0.80 arasında değiştiği görüldü (Şekil 1). Modifiye edilen ölçeğin faktör yüklerinde 0.30’un altında kalan maddeler; fiziksel iyilik halinden: 3, 7, 8, 9, 10. maddeler; psikolojik iyilik halinden: 17. madde; sosyal kaygı alanından: 27, 31, 35. maddeler; manevi iyilik halinden ise: 41, 42, 43. maddelerin faktör yükleri 0.30’un altındadır. Modifikasyon sonucunda 0.30’un altında kalan maddelerin halen var olması bazı maddelerin kav-ramsal yapıyı açıklamadığını düşündürdü. Fakat model uyum indekslerinin istenen değerde olma-sı modelin iyi bir uyuma sahip olduğunu gösterdi.
Ölçeğin Güvenirliğinin İncelenmesi
Standart sapma, bir çalışma grubundaki her bir verinin ortalamaya göre ne kadar uzaklıkta ol-duğunu gösteren bir ölçüttür. 35 Umut Merkezi Ostomi Yaşam Kalitesi Ölçeği’nin tanımlayıcı is-tatistiklerinden standart sapma değerleri incelen-diğinde; “fiziksel iyilik hali” 7.37±1.88;
“psiko-lojik iyilik hali” 5.72±2.47; “sosyal kaygı” 5.86±2.40; “manevi iyilik hali” 6.69±1.84 ara-sında değiştiği görüldü. Ölçeğin alt boyutlarında-ki standart sapmaların düşük olması ölçek madde
puanlarının, örneklem ortalamasından sapmasının az olduğunu gösterdi.
Tanımlayıcı istatistiklerden standart hata (SE) ise, aynı populasyondan seçilecek, aynı büyük-lükteki örneklemlerin ortalamalarının yayılımını gösteren bir ölçüttür. 35, 36 UM-OYKÖ ile elde edilen puanların standart hata (SE) sonuçları in-celendiğinde; hata oranlarının maddeler arasında 0.12±0.37 arasında olduğu, alt boyutlar içinde 0.14±0.34 arasında değiştiği saptandı. Madde ve alt boyutların standart hataları incelendiğinde standart hataların ortalamaların yarısından küçük olduğu görüldü. Ölçeğin ve alt boyutlarının stan-dart hata değerlerinin küçük olması, ölçme aracı-nın güvenirliğinin bir göstergesidir.32Elde edilen standart hata (SE) değerleri, UM-OYKÖ bu an-lamda güvenilir olduğunu düşündürdü.
Bir ölçeğin güvenirliğini gösteren diğer bir yöntem madde analizidir. Test maddelerinden alı-nan puanlar ile testin toplam puanı arasındaki iliş-kiyi açıklar. Madde- toplam korelasyonun pozitif ve yüksek olması, maddelerin benzer davranışları örneklediğini ve testin iç tutarlılığının yüksek ol-duğunu göstermektedir.36
Bu araştırmanın madde analizi sonuçlarına ba-kıldığında madde-toplam puan korelasyon katsa-yıları en düşük 0.04 ile 0.50 arasında değişmekte-dir. Büyüköztürk36 korelasyon değerinin 0.20’nin altında olan maddelerin atılması gerekti-ğini belirtmiştir. Ölçek maddelerinden korelasyo-nu 0.20’nın altında olan 3, 7, 8, 9, 10, 17, 27, 40, 41, 42, 43. maddeler ölçekten çıkarılarak iç tutar-lılık cronbach alfa sayısı yeniden hesaplanmış ve α=0.93 bulundu. Ölçekten bu maddeler çıkarıl-madan hesaplanan α=0.92 olduğu ve aralarında önemli bir fark olmadığı için bu maddeler ölçek-ten çıkarılmadı.
Korelasyonu 0.20’nin altında olan maddeler: Fiziksel iyilik hali alt boyutuna giren 3, 7, 8, 9 ve 10. maddeler “ostomi etrafındaki deri”, “koku”, “kabızlık”, “ishal” ve “torba ya da adaptör etrafın-dan sızıntı” durumunun değerlendirildiği madde-lerdir. Ölçek uygulanan hastaların büyük birçoğu-nun bu maddeleri sorun yok olarak puanlandırma-sı, bu fiziksel problemlerle daha kolay baş edebil-diğini ve bu sorunları problem olarak görmediği-ni ya da böyle sorunlar yaşamadıklarını düşün-dürdü.
Psikolojik iyilik hali alt boyutuna giren 17. maddede “hatırlayabilme beceriniz nasıldır” mad-desi soruldu. Bireylerin büyük bir çoğunluğu bu maddeye “mükemmel” cevabını verdiler. Örnek-leme alınan bireylerin çoğunluğunun aynı cevabı vermesi, bu maddenin korelasyon değerini düşür-mesine bağlanabilir.
Sosyal kaygı alanına giren 27. madde de ise “hastalığınızın ailenizi ne kadar üzdüğünü düşü-nüyorsunuz” maddesi soruldu. Bu maddeye bi-reylerin hepsi “çok üzdü” cevabını verdiler. Türk toplumunda aile bağlarının güçlü olması nedeniy-le hastalık süreci tüm ainedeniy-leyi olumsuz etkinedeniy-lemekte- etkilemekte-dir. Bu nedenle bireylerin hepsinin “tabiî ki aile-mi çok üzdü” cevabını vermelerine bağlı olarak bu maddenin madde korelesyon değerinin düşük olduğu düşünüldü. Manevi iyilik hali alt boyu-tunda yer alan 41, 42, 43. maddelerde “dua etmek ya da inandığınız dine yönelik uygulamalar yap-mak sizi ne kadar rahatlatıyor?” diye soruldu. Bi-reylerin büyük bir çoğunluğu tamamen rahatlatı-yor cevabını verdi. Bu maddeyi derecelendireme-meleri; Türk toplumundaki bireylerin inanç dü-zeylerinin yüksek olması ile açıklanabilir. Ancak bu maddelerin, ostomili bireylerin yaşam kalite-lerini manevi yönden değerlendirmede önemli ol-duğu düşünülmektedir. 43. maddede ise “ostomi-li olmak hayatınız da olumlu değişik“ostomi-liğe neden
oldu mu?” sorusuna bireylerin büyük bir çoğun-luğunun “hayır olmadı” yanıtını vermesinin, bi-reylerin hemen hepsinin ostomiyi bir sorun ola-rak gördüğünü ve bu durumun adaptasyonu zor-laştıracağını akla getirdi. Bu nedenle madde puan-larının aynı düzeyde olması, bu maddenin de ko-relasyon değerinin daha düşük olmasına neden olabilir.
Alt boyut madde puanları – alt boyut toplam puanları arasındaki korelasyon katsayıları incelen-diğinde en düşük 0.21 ile 0.79 arasında değiştiği görüldü. Analiz sonuçlarında alt boyut korelasyon katsayı değerleri arasında 0.20’nin altında madde bulunmamaktaydı ve madde atılmasına gerek ol-madığı görüldü. Alt boyut madde puanları kore-lasyonlarında 0.30’un altında iki madde bulundu. 27. ve 35. maddeler atılıp iç tutarlılık cronbach al-fa güvenirlik katsayısı yeniden hesaplandığında α = 0.92 olduğu görüldü. Ölçek cronbach alfa değe-ri ile arasında bir fark olmadığı için ölçekten mad-de çıkarılmadı. Sosyal kaygı alt boyutuna giren 35. madde de “ostomi bakımınızı yaparken ev or-tamı mahremiyeti korumak için yeterli mi” soru-su soruldu. Çalışmaya katılan bireylerin hepsinin aynı cevabı vermeleri ve “yeterli” olarak ifade et-melerinin, madde- alt boyut toplam puanı arasın-daki korelasyon değeri düşük olmakla birlikte, bireylerin ev ortamında kendilerini güvende his-settiğini sosyal kaygı yaşamadıklarını düşündür-dü.
Alt boyutları bulunan bir ölçüm aracında mad-de analizleri, her bir alt boyut toplam puanı ile bu ölçeğe ait maddeler arasında yapılmaktadır.21 Ko-relasyon katsayısı alt boyutu “fiziksel iyilik hali” 0.37- 0.67, “psikolojik iyilik hali” 0.52- 0.76,
“sosyal kaygı”0.21- 0.79, “manevi iyilik hali” 0.32- 0.61 arasında değiştiği görüldü. Ölçeğin pe-arson korelasyon katsayısı değerleri göz önüne
alındığında bu sonuçların alt boyutları çok zayıf, zayıf, orta ve yüksek düzeyde korelasyon göster-diğini, tüm alt boyutlarda 0.20’nin üzerinde kore-lasyona sahip olarak kendi içinde benzer özellik-leri ölçtüğünü gösterdi.
Elde edilen bu sonuçlar her bir alt boyutun öl-çeğin bütünü ile ilişkili olduğunu ve aynı şeyi ölçtüğünü gösterdi.
Çok değişkenli istatistiksel yöntemler söz ko-nusu olduğunda çok değişkenli normal dağılımın-da incelenmesi gereken bir varsayım olmakta-dır.37Ölçekteki puan dağılımının normal olup ol-madığını değerlendirmek için Hotelling T2 testi yapıldı. Hotelling T2=2516.6, p=0.000<0.05 ol-duğu görüldü ve ölçekteki puan dağılımının nor-mal olduğu saptandı. Elde edilen bu sonuç UM-OYKÖ maddelerinin hastalar tarafından farklı şe-kilde algılandıklarını gösterdi.
Ölçek için belirlenen Cronbach alfa katsayısı 0.92 değeri yüksek derecede güvenilir olduğunu gösterdi.24,27,30 Grant ve diğ’nin17geçerlilik ve güvenilirliğini yaptığı orijinal ölçeğin iç tutarlılık güvenirlik katsayısına (α=0.95) oldukça yakın ol-ması ölçek ve alt boyutlarının birbiriyle tutarlı ola-rak, aynı şeyi ölçtüğü ve birbiriyle ilişkili olduğu sonucuna varıldı.
Bir ölçeğin güvenirliğinin belirlenmesinde za-mana göre değişmezliğinin de incelenmesi önem-lidir. Zamana göre değişmezlik ölçeğin değişik zamanlardaki, yinelemeli ölçümlerinde benzer ölçüm değerlerini sağlama özelliği olarak tanım-lanır.30Ölçeğin zamana göre değişmezliğinin be-lirlenmesinde test tekrar test yöntemi ve sınıf içi korelasyon katsayısı değerlendirildi. Ölçeğin alt boyutları ile test tekrar test alt boyutları arasında-ki korelasyon katsayıları incelendiğinde, korelas-yon katsayılarının en düşük “manevi iyilik hali” 0.36 ile en yüksek “fiziksel iyilik hali” 0.82
ara-sında değiştiği görüldü. Ölçeğin toplam puan ile test tekrar toplam puan arasındaki korelasyonu (r =0.82) istatistiksel olarak anlamlı (p<0.05) yük-sek düzeyde ve pozitif bir ilişki olduğunu göster-di. Sınıf içi korelasyon katsayısı 0.80 olduğu bu-lundu. Bu istatistiksel olarak anlamlı sonuç, UM-OYKÖ farklı zamanlarda, benzer tutarlılık göste-ren bir ölçek olduğunu gösterdi.
Sonuç
Umut Merkezi Ostomi Yaşam Kalitesi Ölçe-ği’nin Türk toplumunda ostomili hastaların ya-şam kalitelerini değerlendirmede geçerli-güveni-lir bir ölçüm aracı olduğu saptandı.
Ostomili bireylerde yaşam kalitesinin, fizik-sel, psikolojik, sosyal ve manevi olarak dört bo-yutta değerlendirilmesi, hemşirelerin bu bireyle-rin yaşam kalitelebireyle-rinin hangi alanlarda etkilendi-ğini belirlemeleri ve etkilenen alanlara yönelik hemşirelik girişimlerini arttırabilmeleri için, ge-çerlilik ve güvenilirliği kanıtlanmış UM-OYKÖ kullanılması yararlı olacaktır.
Yazarların Katkıları
Çalışma tasarımı: F V, F E
Veri toplama ve/ veya analiz: F E, F V Makalenin hazırlanması: F E, F V
Kaynaklar
1. Nugent KP, Daniels P, Stewart B, Patankar R, Johnson CD, Chir M. Quality of life in stoma patients. Disease of the Colon & Rectum 1999;42: 1569- 1574.
2. Kılıç E, Taycan O, Belli AK, Özmen M. The ef-fect of permanent ostomy on body image, self-esteem, marital adjustment, and sexual functio-ning. Türk Psikiyatri Dergisi 2007;18(4): 1- 7. 3. Bekkers MJTM, Van Knıppenberg FCE, Van
Den Borne HW, Van Berge- Henegouwen GP.
Prospective Evaluation of Psychosocial Adapta-tion to Stoma Surgery: The Role of Self-Effi-cacy. Psychosomatic Medicine 1996;58: 183-191.
4. Karadağ A, Menteş B, Üner A. Impact of sto-matherapy on quality of life in patients with permanent colostomies or ileostomies. Journal
of Colorectal Disease 2003;18: 234- 238.
5. Coons SJ, Chonqpison Y, Wendel CS, Grant M, Krouse RS. Overall quality of life and difficulty paying for ostomy supplies in the vetrans affa-irs ostomy health- related quality of life study and exploratory. Medical Care 2007;45: 891-895.
6. Turnbull G. The ostomy files : Ostomy statis-tics: The 64 000 question. Ostomy Wound
Ma-nagement 2003;49: 22-23.
7. Brown H, Randle J. Living with a stoma: a re-view of the literature. Journal of Clinical
Nur-sing 2004;14: 74-81.
8. Wu HK-M, Chau JP-C, Twinn S. Self- efficacy and quality of life among stoma patients in Hong Kong. Canser Nursing 2007;30(3): 186-193.
9. Pittman J. Characteristics of the patient with an ostomy. Journal of Wound Ostomy Continence
Nurses 2011;38(3): 271-279.
10. Gooszen AW, Geelkerken RH, Hermans J, La-gaay MB, Goozsen HG. Quality of life with a temporary stoma: ileostomy vs. colostomy.
Di-sease of the Colon & Rectum 2000;43(5):
650-655.
11. Kuzu MA, Topçu Ö, Uçar K, Ulukent S, Unal E, Erverdi N, Elhan A, Demirci S. Effect of sphincter-sacrificing surgery for rectal carcino-ma on quality of life in muslim patient. Disease
of the Colon & Rectum 2002;45: 1359- 1366
12. Sideris L, Zenasni F, Vernerey D, Dauchy S, Lasser P, Pignon JP, Elias D, Palma MD, Pocard M. Quality of life of patients operated on for
low rectal cancer: ımpact of the type of surgery and patients’ characteristics. Disease of the
Co-lon & Rectum 2005;48: 2180- 2191.
13. Krouse R, Grant M, Ferrell B, Dean G, Nelson R, Chu D. Quality of life outcomes in 599 can-cer and non-cancan-cer patients with colostomies.
The Journal of Surgical Research 2007;138:
79- 87.
14. Ross L, Abild-Nielsen AG, Thomsen BL, Karl-sen RV, BoeKarl-sen EH, JohanKarl-sen C. Quality of life Danish colorectal cancer patients with and wit-hout a stoma. Support Care Cancer 2007;15: 505- 513.
15. Baxter NN, Novotny PJ, Jacobson T, Maidle LJ, Sloan J, Young-Fadok TM. A Stoma quality of life scale. Disease of the Colon & Rectum 2006;49: 205- 212.
16. Pittman J, Kozell K, Gray M. Should WOC nur-ses measure health-related quality of life in pa-tients undergoing intestinal ostomy surgery?
Journal of Wound Ostomy Continence Nurses
2009;36(3): 254- 265.
17. Grant M, Ferrel B, Dean G, Uman G, Chu D, Krouse R. Revision and psychometric testing of the city of hope quality of life – ostomy questi-onnaire. Quality of Life Research 2004;13: 1445- 1457.
18. Pittman J, Rawl SM, Schmidt CM, Grant M, Ko CY, Wendel C, Krouse RS. Demographic and clinical factors related to ostomy complications and quality of life in veterans with and ostomy.
Journal of Wound Ostomy Continence Nurses
2008;35(5): 493-503.
19. Symms MR, Rawls SM, Grant M, Wendel CS, Coons SJ, Hickey S, Baldwin CM, Krouse RS. Sexual health and quality of life among male veterans with intestinal ostomies. Clinical
Nur-se Specialist 2008;22(1): 30-40.
20. Akgül A. Tıbbi araştırmalarda istatistiksel
ana-liz teknikleri SPSS uygulamaları. 3. Baskı,
An-kara, Emek Ofset Ltd. Şti, 2005; 384
21. Şencan H. Sosyal ve davranışsal ölçümlerde
güvenilirlik ve geçerlilik, 1. Baskı, Ankara
Seç-kin Yayıncılık, 2005; 109-111, 362-363, 751-757.
22. Polit DF, Beck CT. The content validity ındex: are you sure you know what’s being reported? Critique and recommendations. Research in
Nursing & Health 2006;29(5): 489-497.
23. Karataş H, Öztürk C. Anne-Baba İzleme Ölçe-ğinin psikometrik özellikleri. Anadolu
Psikiyat-ri Dergisi 2011;12: 151-157.
24. Gözüm S, Aksayan S. Kültürlerarası ölçek uyar-laması için rehber II: psikometrik özellikler ve kültürlerarası karşılaştırma. Hemşirelikte
Araş-tırma Geliştirme Dergisi 2002;4(2): 9- 20.
25. Özdamar K. Paket programlar ile istatistiksel
veri analizi. 2.Baskı, Eskişehir, Kaan Kitabevi,
1999; 552.
26. Hayran M, Özdemir O. Bilgisayar istatistik ve
tıp. Ankara, Hekimler Yayın Birliği, 1995, 390.
27. Karasar N. Bilimsel araştırma yöntemi. 10. Ba-sım, Ankara, Nobel Yayın Dağıtım, 2000; 136-153.
28. Ercan İ, Kan İ. Ölçeklerde güvenirlik ve geçer-lik. Uludağ Üniversitesi Tıp Fakültesi Dergisi 2004;30: 211- 216.
29. Aksayan S, Gözüm S. Kültürlerarası ölçek uyarlaması için rehber I: Ölçek uyarlama aşa-maları ve dil uyarlaması. Hemşirelik Araştırma
Dergisi 2002;4(1): 9-14.
30. Erefe İ. Veri toplama araçlarının niteliği, Erefe İ,
Hemşirelikte araştırma ilke süreç ve yöntemle-ri. 3. baskı, İstanbul Odak Ofset, 2004; 169-188.
31. Baykul Y. Eğitimde ve psikolojide ölçme: klasik
test teorisi ve uygulaması, Ankara, ÖSYM
ya-yınları, 2000, 141.
32. Tavşancıl E. Tutumların ölçülmesi ve SPSS ile
veri analizi, 3. Baskı, Ankara, Nobel Yayınları,
33. Temel AB, Uysal A, Erkin Ö, Koçer A. Hemşi-relik öğrencilerinin araştırmaya, gelişmelere farkındalığı ve tutumu ölçeğinin Türkçe formu-nun geçerliliği, güvenilirliği. (Elektronik Versi-yon). Dokuz Eylül Üniversitesi Hemşirelik
Yük-sekokulu Dergisi 2008;1(2): 108- 123.
34. Dursun Y, Kocagöz E. Yapısal eşitlik modelle-mesi ve regresyon: karşılaştırmalı bir analiz.
Er-ciyes Üniversitesi İktisadi ve İdari Bilimler Fa-kültesi Dergisi 2010;35: 1-17.
35. Özbek H, Keskin S. Standart sapma mı yoksa standart hata mı? Van Tıp Dergisi 2007;14(2): 64- 67.
36. Büyüköztürk Ş. Sosyal bilimler için veri analizi
el kitabı. 12.Baskı, Ankara, Pagem Akademi
Ya-yınevi, 2010; 170.
37. Berberoğlu B. Bilgi toplumu ve bilgi ekonomi-si oluşturma yolunda Türkiye ve Avrupa birliği.
Marmara Üniversitesi İktisadi ve İdari Bilimler Fakültesi 2010; XXIX (II):111-131.
