ORİJİNAL BAŞLIK: Methodological quality of systematic reviews in subfertility: a comparison of Cochrane and non-Cochrane systematic reviews in assisted reproductive technologies
BAŞLIK: Subfertilitede sistematik derlemelerin metodolojik kalitesi: yardımlı üreme teknolojilerinde Cochrane ve diğer sistematik derlemelerin karşılaştırılması
YAZARLAR ve ENSTİTÜ: B. Windsor, I. Popovich, V. Jordan, M. Showell, B. Shea ve C. Farguhar Faculty of Medical and Health Sciences, The University of Auckland, Private Bag 92019,
Auckland 1142, New Zealand Department of Obstetrics and Gynaecology, New Zealand Branch of the Australasian Cochrane Centre, The University of Auckland, Private Bag 92019,
Auckland 1142, New Zealand 3Department of Obstetrics and Gynaecology, Cochrane Menstrual Disorders and Subfertility Group, The University of Auckland, Private Bag 92019, Auckland 1142, New Zealand Community Information Epidemiological Technologies, University
of Ottawa, Ottawa, Ontario, Canada
ÖZET:
ÇALIŞMANIN SORUSU: Yardımlı üreme teknolojilerinde (YÜT) Cochrane sistematik derlemeleri (CSD) ve diğer sistematik derlemelerin (DSD) metodolojik kalite bakımından farkları var mıdır?
CEVAP: Yardımlı üreme teknolojilerinde Cochrane sistematik derlemeleri, diğer dergilerde yayınlanan benzer derlemelerden daha yüksek metodolojik kaliteye sahiptir.
Giriş
Sistematik derlemeler spesifik bir konuda yapılan tüm çalışmaların sonuçlarını değerlendirerek mümkün olan en doğru kanıtı göstermeyi amaçlamaktadır.
Subfertilitede yüksek tedavi maliyeti ve orta derecede başarı oranları nedeniyle, YÜT’deki tüm aşamaların mevcut olan tüm bilgiye dayanılarak yapılması çok önemlidir.
Sistematik derleme ve meta-analizlerin üstünlüğü, geliştirilen değerlendirme soruları, tanımlanan uygunluk kriterleri, kapsamlı araştırma stratejileri ve seçilen çalışmaların metodolojik kalitelerinin değerlendirilmesi ile oluşmaktadır (Egger ve ark. 2001). Fakat, derlemeler uygun şekilde yapılmadığında, yanlış sonuçlara yol açacak olan yan tutma olasılığı vardır (Egger ve ark. 2001).
The Preferred Reporting Items for Systematic reviews and Meta-analysis (PRISMA) bildirgesi içerdiği 27 maddelik bir liste ve 4 aşamalı akış diyagramı ile yazarların derlemelerinin kalitesini artırmaya yardım etmektedir.
1
Bu çalışmanın amacı Cochrane kütüphanesindeki derlemelerin kalitesini diğer dergilerde yayınlanan derlemelerle karşılaştırmaktır.
Materyal Metod
Sistemik derlemelerin tanımlanmasında, PRISMA açıklamasında bulunan ve CSD Collaboration tarafından kullanılan tanımlamayı kullandık. Sistematik derleme sistematik ve kesin metodları kullanarak ilgili araştırmayı ayıran, seçen ve değerlendiren; çalışmaların verilerini toplayıp analizini yapan, açık bir şekilde soruların fomüllendirildiği bir derlemedir. Meta-analiz ise dahil edilen çalışmaların sonuçlarının bütünlenerek istatistik tekniklerin kullanıldığı bir sistemik derlemedir (Egger ve ark., 2001).
Çalışma seçimi
Bu çalışmaya 30 CSD ve 30 DSD dahil edildi. Yardımlı üreme teknolojileri ile ilgili subfertilite konusunda basılmış olan derlemeler rastlantısal olarak seçildi. Seçilen derlemeler ilgili kriterleri karşılaması bakımından tekrar değerlendirildi. Eğer karşılamıyorsa çalışmadan çıkartılarak tekrar seçim yapıldı. Anlaşmazlık durumu tartışılarak veya üçüncü bir yazara konsülte edilerek çözüldü.
2007-2011 zaman aralığında ve sadece YÜT konusundaki derlemeler çalışmaya dahil edildi.
Değerlendirilen sistematik derlemelerin özellikleri
İki yazar tarafından, seçilen derlemelerin tam metinleri kullanılarak, çalışmaların özellikleri ve epidemiyolojisi (genel özellikler, araştırma stratejileri, yan tutuculuk riski, ve istatistiksel analizleri vb.) çıkartıldı.
Değerlendirilen sistematik derlemelerin metodolojik kaliteleri
Bu çalışma için kalite değerlendirmesinde The Measurement Tool to Assess the Methodological Quality of Systematic Reviews (AMSTAR) seçildi. İki yazar bağımsız olarak seçilen derlemelerin metodolojik kalitesini AMSTAR yöntemini kullanarak değerlendirdi. 2007 yılında Shea ve ark.’ı tarafından geliştirilen bu yönemde, derleme 11 alanda metodolojik kalite bakımından değerlendirilmektedir (Tablo 1).
Sonuçlar
Araştırma sonuçları
İlk araştırmada CSD’de 41, DSD’de 127 derleme bulundu. Başlık ve özetlerin değerlendirilmesini takiben 28 derleme, tam metinlerin değerlendirilmesi sonucunda da 11 derleme elendi. Kalan 2
derlemeler içinden rastlantısal olarak her grupta 30 derleme olacak şekilde seçim yapıldı (Şekil 1).
Değerlendirilen çalışmaların tanımlanması
Sistematik derlemelerin YÜT’nin hangi bölümünde olduğu ayırt edildi. Derlemelerin yarısı farmakolojik bir müdahalenin değerlendirilmesiydi (CSD: %57, DSD%47). YÜT’nin hangi aşamasında yapıldığına bakıldığında en sık pre-YÜT aşamasında ve baskılama/ovaryan stimülasyonla ilgili olduğu görüldü. Canlı doğum oranlarının CSD’nin % 83’de DSD’nin %67’de değerlendirildiği, CSD’de yan etkilerin daha fazla belirtildiği görüldü (ovaryan hiperstimülasyon sendromu CSD: %50, DSD: %20; abortus oranı CSD: %73, DSD: %43).
CSD hasta dahil edilme kriterleri ve araştırmanın sorusunu (hasta, müdahale, karşılaştırma ve sonucu kullanan format, PICO) daha fazla bildirmekteydi [CSD RR 1.36 (%95 CI 1.09i1.69 ve DSD RR 1.49 (%95 CI 1.15, 1.92]. CSD medyan 8 veri tabanını, DSD medyan 4 veri tabanını kullanmaktaydı.
Heterojenite CSD’in tümünde, DSD’nin % 90’da araştırılmaktaydı.
Finansman kaynakları CSD’lerin çoğunda bildirilirken, bu oran DSD’de üçte bir idi [RR 2.78 (%95 CI 1.57, 4.91)]. CSD’de kazanç sağlayan endüstriden finansman desteği alınmazken; DSD’de finansman desteği alınmaması, kazanç sağlayan ve sağlamayan endüstriden alınması eşit oranda izlendi.
Çıkar çatışması (conflict of interest) bildirimi CSD her zaman, DSD’in yarısından azında (%47) yapılmaktaydı [RR 2.10 (%95 CI 1.44, 3.07)].
AMSTAR değerlendirmesi
AMSTAR’ın 11 değerlendirme alanının 10’nunda, CSD’de gereken koşulların %50’den fazlası karşılanırken (1-10), DSD’de sadece 11’in 4’ünde %50’den fazlası karşılanmaktaydı (4,5,6 ve 9) (şekil 2). CSD’nin gücü, a priori study design (nedenden sonuca ulaşan çalışma modeli) olması, kapsamlı literatür araştırması, dahil edilen ve derleme dışında bırakılan çalışmaların liste halinde sunulması ve internal validitenin bildirilmesinden gelmektedir. CSD’nin en anlamlı yetersizliği, alan 2’de (çalışma seçiminde duplikasyon, derlemelerin %67’de data çıkartılması), alan 10’da (yayınlamada yan tutuculuğunun (publication bias) derlemelerin %53’de değerlendirilmesi) ve alan 11’de (çıkar çatışmasının %47 oranında bildirilmesi) izlenmektedir. DSD’ler daha çok metodolojik yetersizlik göstermektedir, değerlendirme alanlarının çoğunda gerekli koşulların
%40’tan azını karşılamaktadır.
Tartışma
3
Sunulan çalışmada CSD ve DSD’in metodolojik özellikleri incelendi ve AMSTAR kalite değerlendirmesi yapıldı. YÜT konusunda CSD’in diğer dergilerde yayınlanan derlemelerden daha yüksek kalitede olduğuna karar verildi. Pre-stated yöntemler (a priori design, nedenden sonuca ulaşan çalışma modeli), çalışmanın kalitesinin ve çıkar çatışmasınin rapor edilmesinin değerlendirilmesi gibi bazı önemli alanlarda CSD ve DSD arasında büyük farklar bulunmaktaydı.
A priori study design, değerlendirilen sistematik derlemelerde önemli yer tutar (Green ve ark., 2011). A priori study design olmayan çalışmalarda, metodu değiştirmek (özellikle analiz ve alt grup analizlerinde) mümkündür.
CSD ve DSD arasındaki diğer önemli farklılık dahil edilen çalışmaların bilimsel kalitelerinin değerlendirilmesidir. Dahil edilen çalışmanın kalitesinin değerlendirilmesi, sistematik derlemenin kalitesinde beliryecidir.
Yayınlamada yan tutuculuk (publication bias) pozitif bulguları içeren çalışmaların negatif olanlardan daha hızlı basılmasıdır (Hopewell ve ark. 2009). Bu durum farklı sonuçların geri çekilmesine, önerilerin derlemeyi yapan yazarlar tarafından yapılmasına ve bundan dolayı klinisyenlerin uygulamalarını etkileyebilmesine yol açabilir. Okuyucuların, derlemeyi yapan yazarların yayınlamada yan tutuculuğu değerlendirdiğini ve bu durumun sistematik derlemenin sonuçlarını nasıl etkileyebileceğini bilmeleri gereklidir.
Sonuç olarak, AMSTAR 11’de, dahil edilen çalışmaların finansal desteğinin bildirilmesi yanısıra, sistematik derlemelerin de finansal destek ve çıkar çatışması bilgilendirilmesi değerlendirilmektedir. İlaç şirketleri tarafından finanse edilen çalışmalarda, şirketi destekleyici sonuçların yayınlanması daha olasıdır (Lexchin ve ark. 2003).
Bu çalışmanın ilk limitasyonu, AMSTAR değerlendirmesinin sadece yazarların yazıda bildirdiklerine göre değerlerdirme yapabilmesidir. İkincisi, yazarların bazılarının editör olması ya da bu derlemeyi hazırlayan yazarların elemanı olmasıdır, ki bu durum yan tutuculuğa neden olabilir. Sonuncu ise konuyla ilgili tüm derlemelerin dahil edilememesidir.
YÜT ile ilgili sistematik derlemelerin bir kesiti olan bu çalışma, CSD’nin diğer dergilerde yayınlanan benzer derlemelerden daha yüksek metodolojik kaliteye sahip olduğunu göstermiştir.
Bu nedenle klinikle ilgili karar vermek için altın standart olarak düşünülebilir.
4
