Üstbiliş alanındaki çalışmaların temel problemlerinden birisi üstbilişsel davranışları (üstbilişsel bilgi ve becerileri) ölçmek için geçerli araçlar ve teknikler geliştirmek, bunların geçerliliğini test etmek ve kullanmaktır (Panaoura ve Philippou, 2005). Üstbilişi ölçmek için birkaç metot uygulanmasına rağmen, bu metotların her birinin avantajları ve dezavantajları vardır (Panaoura, Philippou ve Christou, 2003) ve sık sık eleştirilmektedir (Wilson, 2001).
Hem üstbilişsel bilgi hem de düzenlemeyi değerlendirmek için en çok popüler olan yaklaşımlardan birisi, öğrencilere direk olarak ne yaptığını ve ne bildiğini sormaktır. Üstbilişsel düzenlemeyi değerlendirmek için katılımcılardan bir problemi çözerken yaptığı ve düşündüğü şeyleri yüksek sesle söylemesi istenebilir. Bununla birlikte sözlü raporlar birçok sınırlama ve kısıtlamalara bağlıdır (Baker ve Cerro, 2000; Panaoura, Philippou ve Christou, 2003). Çocuklara özellikle küçük çocuklara kendi bilişsel süreçlerini sormada bazı özel problemler yaratır. Cevaplar, çocuğun cevapları bildiği veya bilmediği şeyi yansıtmayabilir yine de çocuk görüşmeciye söyleyebilir veya söylemeyebilir. Diğer taraftan üstbiliş, davranışsaldan çok bilişseldir ve bu nedenle sözlü rapor envanterleri üstbilişsel yeteneği ölçmek için en az problemli tekniktir (Panaoura, Philippou ve Christou, 2003).
Üstbilişi ölçmek için Wilson (1999, 2001) tarafından önerilen çoklu metot yaklaşımı; gözlem, sözlü raporlarla birlikte bazı durumlarda da sesli düşünme içeren problem temelli klinik mülakat ve video-ses kayıtlarını içerir. Wilson’a (2001) göre klinik mülakatının tek ve durumu açığa çıkaran elemanı, özellikle öğrencileri düşünmeleri hakkında cevap vermeye teşvik etmek için düzenlenmiş olan üstbilişsel ve bilişsel davranış kartlarının kullanımıdır.
Birçok araştırmacı temel araştırma aracı olarak da anketleri kullanmıştır (Gama, 2001; Hartman, 2001b; Wilson, 2001; Biryukov, 2004).
Üstbilişi ölçmek ve geliştirmek için literatürde kullanılan teknikler, avantajları ve dezavantajları aşağıda tartışılarak verilmiştir. Bu teknikler; yazma tekniği, sözlü raporlar, uyarılmış geri çağırma, sesli düşünme tekniği, çiftli problem çözme tekniği, davranış kartlarını sıraya dizme, video ve ses kayıtları, gözlem, anketler ve mülakattır. Literatürde sesli düşünme protokolleri, gözlemler, mülakatlar vasıtasıyla, problem çözme süreci boyunca öğrencilerin düşüncelerini, hareketlerini, karar vermelerini ve hatta öğrencilerin bilişsel ve üstbilişsel yönlerini araştırmak için yapılmış birçok çalışma vardır (örneğin: Ge ve Land, 2001; Maccini ve Ruhl, 2000; Trumpower, Goldsmith ve Williams, 2003; Albert, 2000; Chamot, Dale, O’Malley ve Spanos, 1992).
i) Gözlem
Gözlem ve iç gözlem (ing.introspection) veya geçmişle ilgili gözlem sık sık üstbilişi değerlendirme teknikleri olarak kullanılır. Çalışmalarda çocuklar bir işle uğraşırken veya oyun oynarken bireysel olarak gözlemlenir ve ses kaydı veya video kaydı ile kayıt edilir. Süreç boyunca (iç gözlem durumunda ve sesli düşünme protokolleri ile) veya sonra (geçmişe yönelik), çocuklara üstbilişleri sorulur. Genç çocuklarda (2 den 10 yaşlarına kadar) diğer bir değerlendirme metodu ara sıra kullanılır. Bununla birlikte bütün gözlem teknikleri çok zaman alıcıdır ve rapor edilen cevapların güvenirliliği üzerine sorular olabilir (Desoete, 2001; Desoete ve ark., 2001a).
Van der Meijden ve Trimpe (1999) öğrencilerin kendi ve diğerlerinin öğrenme süreçlerini gözlemleyerek üstbilişsel bilgi ve becerilerini geliştirebileceklerini işaret etmiştir.
ii) Anketler
Anketler (öğrencilerin kendileri ile ilgili raporları (ing.Self-report anketler), üstbilişi değerlendirmek için sık sık kullanılmaktadır. Anketlerde çocuklar bir problemi çözerken veya öğrenirken sık sık kullandıkları üstbilişsel stratejilerin bir
setini seçmek zorundadır. Bazı anketler öğrencilerin bilgiyi nasıl öğrendikleri ve nasıl üstesinden geldiklerini ölçmek için kullanılır. Bazıları ise üstbiliş hakkında bilgi elde etmek için kullanılır (örneğin: Montague, 1992). Anketlerde açık ve kapalı uçlu sorular vardır. Açık uçlu sorulu anketler nitel olarak oldukça zengin veri sunar fakat çok zaman alıcıdır ve gözlem değerlendirmesindeki gibi skorlama sistemi aynı problemlerden dolayı oldukça zordur. Çoktan seçmeli anketler, üstbilişsel süreçleri hızlı ölçer ve sık sık tamamen objektif veri sağlar. Bazı yazarlar iki metodu birleştirmiştir. Anketler ile ilgili bir problem, genç öğrencilerin bile çalışmalara katılmak için dil ile ilgili becerilerden eksik olmasıdır. Öğretmen tarafından yapılan (“öğretmenlerin öğrencileri ile ilgili raporları) böyle öğrencilerin üstbilişleri ile ilgili ek bilgi sunar (örneğin; Fortunato ve ark, 1991; Desoete, 2001; Desoete ve ark, 2001b).
iii) Mülakatlar ve Sözlü Raporlar
Mülakatlar üstbilişi ölçmek için en popüler metotlardan birisi olmasına rağmen, araştırmalar sözlü raporların birçok sınırlamaya ve sınırlılıklara bağlı olduğunu göstermiştir (Miles, Blum, Staats ve Dean, 2003). Çocuklara özellikle küçük çocuklara bilişsel süreçleri ile ilgili soru sormak bazı özel problemler içerir. Örneğin: çocukların cevapları ne bildiğini ve neye inandığını yansıtmayabilir fakat daha çok mülakatı yapan kişiye söylemeyebilirler ( Panaoura ve Philippou, 2005).
Üstbilişi değerlendirmek için diğer bir strateji, varsayımsal mülakatlardır. Varsayımsal mülakatta çocuklar varsayımsal bir durumda olabildiği kadar çok faydalı strateji bulmak zorundadır. Stratejilerin sayısı üstbilişin bir göstergesi olarak kullanılır. Bulunan stratejilerin kalitesi, üstbiliş seviyesinin bir göstergesi olarak kullanılır. Varsayımsal mülakatları kullanmada gözlem ve iç gözlem (ing.introspection) deki gibi aynı metodolojik problemler doğar. Ek bir dezavantaj, örneklemin yalnızca mümkün olduğu kadar çok strateji (önceden kişisel olarak asla kullanılmamış stratejiler) bulmak zorunda olmasıdır. Bundan sonra böyle çalışmaların üstbilişsel bilgiyi ölçüp ölçmediği veya bunun daha çok bilişsel
düşünmensin bir konusu olup olmadığı konusunda sorular doğar (Desoete, 2001; Desoete ve ark, 2001a).
Bilişsel ve üstbilişsel süreçlerde veri toplama aracı olarak sözlü metotların kullanımı tartışmalıdır. Sözlü raporların başlıca eleştirilerinden biri, belirli düşüncelerin (kendi kendine mülakat süreci ile yol açılan) reaktif olabileceği ve çalışılmış olan bilişsel düşüncelerin değişebileceğidir (Wilson, 2001). Wilson’a (2001) göre de sözlü raporlar, araştırmacılara öğrencilerin gerçek pratikleri hakkında ne olduğu belirsiz ve çelişkili veri sağlayabilir fakat bilişsel alanda çalışan araştırmacılar, bir veri kaynağı olarak sözlü raporlara (ing self-report) ihtiyaç duyar. Wilson (2001) elde edilen verilerin çelişkili olmasının sebeplerini “öğrenciler yaptıkları şey hakkında emin olmayabilir, düşündükleri ve yaptıkları şey hakkında açıklamada başarısız olabilirler, cevaplarını uydurabilir veya araştırmacıyı memnun etmeyi deneyebilirler” olarak ifade etmiştir.
Bilişsel süreçler hakkında güvenilir ve değerli bir kaynak sağlayabilirler, fakat eleştiri alan noktası belirli düşünceleri etkileyebileceği ve çalışılmış olan bilişsel düşüncelerin değişebileceğidir. Wilson (2001) veri olarak bu sözlü raporlar göz önüne alındığında dikkat edilmesi gereken birkaç konu olduğunu iddia etmişlerdir. Bunlar; bilişsel süreçler üzerinde etkiler, raporların tamlığı ve raporların tutarlığıdır. Güvenilir sözlü raporlar elde etmek için önceyi kapsayan (ing. retrospective) sözlü raporlar olaydan hemen sonra mümkün olduğu kadar çabuk elde edilmelidir. Aksi takdirde olay ve mülakat arasındaki zaman artarsa sözlü raporların doğruluğu azalır (Wilson, 2001). En çok tekrar edilen ve en ciddi ilginin sözlü raporların ksbul edilebilirliliği, geçerliliği ve tamlığıdır (Wilson, 2001).
Bir öğrenciden kendileri ile ilgili rapor yazmaları istendiğinde, tartışmak için bir varsayımlı veya bir gerçek hayat problemi verilebilir. Probleme uyguladıkları veya uygulayabilecekleri stratejileri ya aynı zamanda, geçmişle ilgili olarak veya varsayımlı olarak açıklamaları istendiler. Raporlar, üstbilişin delili olarak araştırmacı
tarafından yorumlanır. Bu teknik birçok çalışmada “sesli düşünme” tekniği ile birlikte kullanılmıştır.
iv) Yazma Tekniği
Matematik sınıflarında problem çözme sürecinde öğrencilere kazandırmak istediğimiz yalnızca işlemsel beceriler değildir. Neyi, neden yaptıklarına karar verme, alternatifleri görme kendini değerlendirme ve en önemlisi farkındalık kazandırma hedeflerimizin başında gelmektedir. Yazma tekniği bu becerileri kazandırmada ve hedefleri gerçekleştirmede kullanılacak tekniklerden sadece birisidir. Yazma tekniği ile öğrencilerden işlemlerini tanımlamalarını ve çözümlerini açıklamalarını isteme, geleneksel değerlendirme metotları ile hemen belli olmayan öğrencilerin düşünceleri hakkında bilgi sağlar (Mayer ve Hillman, 1996).
Yazmaya kâğıt üzerinde “sesli düşünme” olarak bakılabilir (Rose, 1989; Pugalee, 2004). Yazma etkinliklerinin öğrencilerin kendi düşünüşleri üzerinde yorum yapabilmesine, kendi duygu ve deneyimlerini ifade ederek eleştirel düşünmesine mantıklı cevaplar vermesine, cevabın günlük hayatla ilişkili olmasına ve problem çözmeyi içeren daha yüksek bilişsel fonksiyonların gelişmesine katkı sağladığı vurgulanmaktadır (Stonewater, 2002). Yazma, birçok teorisyen tarafından bir öğrenme aracı olarak önerilirken (Jurdak ve Zein, 1999:412), Phillips ve Crespo (1996) ve Albert’e (2000) göre bir öğretim stratejisi, Shield ve Galbraith’e (1998) göre bir öğrenme aktivitesidir. Dougiamas’a (1999) göre yazma aktiviteleri bilgiyi keşfetme, organize etme, özetlemek için güçlü bir araçtır. Freitag’a (1997) göre de yazma, beynin her iki yarı küresini kullandırdığından etkilidir. DiPillo ve Sovchik (1997) göre de düşünceleri organize eder, Berkenkotter’e (1982) göre öğrencileri bilinçli yapmayı amaç edinir. Ayrıca anlamlı öğrenmede bütün öğrencileri aktif tutar, öğrencilerin kendilerine özgü adımlarının farkına varmalarına izin verir. Öğrencilerin düşünme ürünlerini kâğıt üzerinde okumalarına imkân vererek hemen bir dönüt sağlar (Jurdak ve Zein, 1999:412). Bu nedenle de Hackbert (1998) ve Rice’ın (2004) ifade ettiği gibi öğretmen için faydalı bir değerlendirme aracı ve dönüt kaynağıdır.
Rose (1989) ise matematiği öğrenirken öğrencilere daha derin anlama kazandırmak için imkân sunan bir sınıf aktivitesi olarak tanımlamaktadır. Borasi ve Rose (1989), yazmanın problem çözme becerisi, matematiksel kavramları öğrenmeye pozitif etkisi kadar, öğrencilerin tutum ve hisleri üzerinde de tedavi edici etkileri olduğunu ileri sürmüştür (Jurdak ve Zein, 1999:412). Shibli (1992) ise yazmanın öğrencilerin problem çözmede kullanılan adımları görmelerine izin verdiğini ve öğrencilerin çözümden sonuç çıkarmasına ve yorum yapmasına yardım ettiğini iddia etmektedir (Freitag, 1997).
Albert’e (2000) göre yazma; bilgiyi analiz ve sentez etme gibi daha yüksek bilişsel fonksiyonları kullanmayı gerektirir. Öğrenciler yazma ile meşgul olduklarında, kendi öğrenmelerinde aktif katılımcı olacaklardır (Denise, 1997). Frank’a (2001) göre de bir problemi çözerken kullandıkları süreci durup düşünmelerine yardım eder. Ayrıca öğrenciler yazarken, kendi kendilerine bilgiyi inşa etmekle meşgul olacaklardır (Waywood, 1992). Bu sayede öğrenciler, bağımsız öğrenici olacaklardır. Diğer taraftan yazma tekniği üstbilişsel davranışları artırmak için kullanılan tekniklerden de birisidir. Kasper ‘in (1997) ifade ettiği gibi üstbilişsel bilgi ve yazma arasında potansiyel bir bağlantı vardır.
Yazmanın veri toplama aracı olarak kullanıldığı (Örneğin: Butler, 1996), daha önemlisi de matematik derslerinde yazmayı nasıl kullanabileceğimize ilişkin (örneğin: Morgan, 1998; Patterson, 2000; Phillips, 1999; Ishii, 2003; Baker, Czarnocha ve Prabhu, 2004; Bairral, 2002; Rice, 2004) birçok çalışma vardır. Yapılan çalışmalar yazmanın öğrencilerin matematiksel kavramları açıklamasına, fikirleri genişletmesine ve büyütmesine ve öğrenmeleri ölçüp biçmelerine izin vererek matematik öğrenmesine yardım ettiğini iddia etmişlerdir (Morgan 1998; Powell ve Lopez, 1989; Patterson, 2000).
Winograd (1992) yazmanın diğer bir çeşidi olarak öğrencilere kendi problemlerini yazdırtmıştır. Yazma çeşitleri, kayıt (not alma vs.) ve günlük tutma,
açıklama yapma ve yeni fikirler oluşturmadır. Bu çalışmada ise yazma tekniği hem üstbilişsel davranışları artırmak hem de detaylı veri toplamak için kullanılmıştır.
v) Sesli Düşünme Tekniği
Bir mimarın tasarım (proje, dizayn) sürecini anlamak, kullandığı bilgiyi, yaptığı bilişsel hareketleri, uyguladığı stratejileri bilmek istiyorsunuz. Bunu nasıl yaparsınız?. Olasılıklardan bir tanesi, mimara bir binayı nasıl yaptığı hakkında sorular sormaktır. Onlar mesleklerini yapmaya alışmışlardır, onu açıklamaya değil. Eğer tasarımlarına nasıl ulaştıklarını, ne düşündüklerini, neyin onlar için zor olduğunu, neyin kolay olduğunu bilmek istiyorsanız farklı bir metoda ihtiyacınız vardır. Bu durumda iyi bir metot, mimarın bir tasarımda çalışmasını ve onları sesli düşünerek inşa etmesini istemektir. Söyledikleri şeyleri kayıt etmek ve tasarım sürecinin analizi için veri olarak kullanmaktır (Someren, Barnard ve Sandberg, 1994).
Bir çalışmada insan zihnini direk olarak gözlemlemek mümkün olmadığından, girişimlerden bir kaçı sözlü veya yazılı çeviri yaptırılarak bu kişinin zihnini dolaylı olarak değerlendirmektir. Sesli düşünme olarak bilinen böyle bir veri toplama metodu, psikoloji ve biliş çalışanlar için yeni değildir (Bernardini, 1999). Bu metot, insanların nasıl problem çözdüğünü anlamak amacıyla bilişsel psikolojistler tarafından geliştirilmiş bir araştırma aracıdır (Calder ve Carlson, 2002). Öğrencilerin düşünme süreçlerini, düşünme biçimlerini anlamak ve bunları değerlendirmek için kullanılan araçlardan birisi olmakla birlikte Panaoura ve Philippou’ya göre (2005) üstbilişi ölçmek için yaygın olarak kullanılan diğer bir metot sesli düşünme protokolleridir. Ayrıca bilişsel psikolojide en iyi bilinen veri toplama metodudur.
Düşüncelerini sesli olarak ifade etme öğretmen ve öğrencilere neler kazandırır? Problem çözme sürecinde sesli düşünmek niçin önemlidir? Problem çözücüye bir mimar olarak bakarsak, onların çözüm süreci boyunca neyi neden yaptıklarını anlamak ve onlarında bu sürecin farkında olmalarını sağlamak için kullanılacak metotlardan birisi de sesli düşünme olacaktır. Sandefur (2003) öğrencilerinin nasıl
öğrendiğini daha iyi anlamak için sesli düşünme tekniğini kullanmıştır. Ona göre ise bu tekniğin amacı problem çözmede son çözümü vurgulamaktan çok, problem çözme sürecini dökümanlandırmaktır.
Sesli düşünme, öğrencilere günlük hayatta matematiğin daha çok farkında olmaları için yardım eder (Silbey, 2002). Sesli düşünme tutanakları, genellikle bir bireyin zihinsel süreçlerini değerlendirmenin bir yolu olarak kabul edilir (Pugalee, 2004). Sesli düşünme tekniği problem çözme performansını geliştirmek için kullanılan bir stratejidir (Pate, Wardlow ve Johnson, 2004). Öğrencilerin bir problem durumu ile uğraşırken sesli düşünmesi, problem çözme süreci boyunca zihinsel süreçlerini analiz etmek için kullanılabilir. Bir bireyin düşünme süreçlerini çalışmak için birçok yöntem vardır. Sesli düşünme metodunun amacı, öğrencilerin kısa süreli belleğindeki düşünceleri kelimeler formunda toplamaktır. Bu metot ilk önce düşüncelerini sözlü olarak pratik yapacak kişiler gerektirir (Nagai, Candy ve Edmonds, 2003). Hartman (2001a) göre sesli düşünme üstbilişsel bilgi ve stratejileri artırmak için mükemmel bir tekniktir.
Sesli düşünme birçok araştırmacı tarafından veri toplamak için (örneğin: Chase, Reicks, Smith, Henry ve Reimer, 2003; Bernardini, 1999; Hong, 1995; Nunokawa, 2001) kullanılan bir tekniktir.
Sesli düşünme tekniği, ses kayıt cihazı veya kamera ile problem çözen öğrenciler içerir. Öğrenciler problemi çözerken yaptığı tüm adımlar veya uyguladığı stratejiler hakkında sesli düşünürler.
Bu teknikte katılımcılardan, bir problemi çalışırken düşünme süreçlerini seslendirmesi istenir. Bundan sonra düşünme süreçlerinin altında yatan elemanlara ve örüntülere anlayış sağlamak için elde edilen veriler belli bir modele göre analiz edilir (Panaoura ve Philippou, 2005; O’Neil ve Abedi, 1996).
vi) Çiftli Problem Çözme Tekniği
Bu yöntem Blakey ve Spence (1990) göre üstbilişsel davranışları geliştirmek için kullanılacak yöntemlerden birisidir.
Bu yöntem Lochhead ve Whimbey’e (1987) göre bir problemi ortak çözmek için iki öğrenci (biri problem çözücü ve dinleyici) gerektirir. Problem çözücü düşünme süreçlerini ve düşüncelerini tam olarak sözlü olarak ifade ederek problemi çözmeyi dener. Dinleyicinin amacı, problem çözücünün her adımının, stratejisinin ve varsayımının detaylı bir anlamasını geliştirmektir ve düşünmeyi aydınlatmaya yardım eden soruları sorar. Dinleyici, en kısa sessizlikte bile problem çözücüye “ şu an ne düşünüyorsun bana söyle” der. Ayrıca problem çözücünün düşünmesi dinleyiciye açık olmadığı zaman dinleyici “ niçin böyle yaptığını bana söyle” gibi sorular sorar. Dinleyicilere problemi çözmek için veya problem çözücüyü bir sonuca götürecek şekilde rehberlik eden sorular sormaya veya ifadeler söylemeye izin verilmez (Lochhead ve Whimbey, 1987; Pate, Wardlow ve Johnson, 2004; Blakey ve Spence, 1990). Düşünür-konuşur (thinker-talker), ya bir öğrenci ya da öğretmen olabilir Bu teknik, problem çözmeleri hakkında öğrencilerin düşünmelerine yardım eden popüler bir yoldur (Hartman,1998a).
vii) Davranış Kartlarını Sıraya Dizme
Bu yöntemde bilişsel ve üstbilişsel davranışların yazılı olduğu kartlar kullanılmaktadır. Bu kartlar öğrencilere düşüncelerini ifade etmek için bir olanak sağlar. Diğer taraftan yaptığı fakat farkında olmadığı davranışları hatırlamasına yardımcı olur. Bu yöntemin en önemli tarafı ise problemi çözdükten sonra yani olaydan hemen sonra süreci tekrar düşündürmesi ve yargılatmasıdır. Kamera görüntülerini seyrettikten sonra kartların sırasında değişiklik yapması, bir kartı çıkarması ya da eklemesi de bir dönüt niteliği taşımaktadır. Bu sayede süreç boyunca davranışlarını izleyip izlemediği de kontrol edilmiş olmaktadır. Sonuçta sıraya
dizilmiş olan kartlar süreç boyunca yaptığı davranışların bir listesini görmede öğrenciye yardım edecektir.
Wilson (1999) tarafından yapılan çalışmada öğrencilerden bir matematik problemini çözmeleri istenmiştir. Durduklarında problemi nasıl çözdüklerine göre davranış (action) kartlarını seçmeleri ve sıraya dizmeleri istenmiştir. Seçilmeyen kartlar atılmıştır. Öğrencilerin problem çözme teşebbüsleri kameraya kayıt edilmiştir ve bu kayıtlar kartlar sıraya dizildikten sonra öğrencilere seyrettirilmiştir. Öğrencilerden kartların sırasının düşünmelerinin doğru bir gösterimi olup olmadığından emin olmaları için videoyu seyrederken kartların sırasını kontrol etmeleri istenmiştir. Bunun bir sonucu olarak eğer isterlerse öğrenciler kartların sırasını değiştirmişlerdir.