İçerik Tabanlı Görüntü Erişimi

‹‹ç

çe

erriik

k T

Ta

ab

ba

an

nll›› G

Gö

örrü

ün

nttü

ü E

Erriifl

fliim

m S

Siis

stte

em

mlle

errii

Content-Based Image Retrieval Systems

‹‹rre

em

m S

SO

OY

YD

DA

AL

L

_{,, U}

_Um

_mu

_{utt A}

_AL

_L

_{ve U}

_Um

_mu

_{utt S}

_SE

_EZ

_ZE

_EN

_N

Ö Özz

Gün geçtikçe say›sal görüntü koleksiyonlar›n›n say›s› h›zla artmakta ve kullan›c›lar›n arad›klar› say›sal nesnelere eriflim güçleflmektedir. Gerek bireyler gerekse kurumlar, görüntü arflivlerini yarat›rlarken eriflimde ciddi s›k›nt›lar yaflamaktad›rlar. Görsel bilgi, kelimelerle tan›mlanamayan fakat sezgisel olarak alg›lanabilen bir yap›ya sahiptir. Bu yap›, metin tabanl› bilgiden fazlas›n› talep etmemize neden olmak-ta ve içeri¤i de¤erli k›lmakolmak-tad›r. Ayn› yap› bu tip bilgiyi, olmak-tan›mlanmas›, depolanmas› ve dolay›s›yla eriflilmesi güç hale getirmektedir. Konuyla ilgili olarak özellikle 90’l› y›llarda artan çal›flmalar, görsel bilgiye eriflim konusunda belli bir noktaya ulafl›lmas›n› sa¤lam›flt›r. Yap›lan çal›flmalarda kesin çözümler üretilememifl olsa da, önemli bir aflama kaydedildi¤i aç›kt›r. Bu çal›flmada, görüntü eriflim sistemleri ile ilgili genel bilgiler verilmekte, içerik tabanl› görüntü eriflimi, içerik tabanl› görüntü eriflim sistemleri ve söz konusu sistemlerin özellikleri gibi konular ele al›nmaktad›r.

A

Annaahhttaarr ssöözzccüükklleerr:: ‹çerik tabanl› görüntü eriflimi, Görüntü eriflimi, Görsel bilgi eriflim.

A Abbssttrraacctt

Digital image collections are expanding day by day, and image retrieval becomes even harder. Both individuals and institutions encounter serious problems when building their image archives and later when retrieving the archived images. Visual information cannot

*Arfl. Gör.; Hacettepe Üniversitesi Bilgi ve Belge Yönetimi Bölümü Beytepe 06800 Ankara (soydal@hacettepe.edu.tr).

**Arfl. Gör.; Hacettepe Üniversitesi Bilgi ve Belge Yönetimi Bölümü Beytepe 06800 Ankara (umutal@hacettepe.edu.tr).

***Dr.; Hacettepe Üniversitesi Elektrik ve Elektronik Mühendisli¤i Bölümü Beytepe 06800 Ankara (U.Sezen@hacettepe.edu.tr).

be fully expressed in words and normally depends on intuitive human perception. Consequently, this causes us to find the plain text-based information inadequate, and as a result, increases the value of the visual content. However describing, storing and retrieving the visual content is not simple. The research activities in this area, which escalated in the 90’s, have brought several solutions to the under-standing, design and development of the image retrieval systems. This article reviews the studies on image retrieval systems in general, and content-based image retrieval systems specifically. The article also examines the features of content-based image retrieval systems. K

Keeyywwoorrddss:: Content-based image retrieval, Image retrieval, Visual information retrieval.

G Giirriiflfl

Bilgi miktar›ndaki h›zl› art›fla paralel olarak bilgi eriflimle ilgili sorunlar da art-makta ve çeflitlenmektedir. Büyük miktarlardaki bilgi y›¤›nlar› içinde kullan›c›-lar›n istenilen bilgiye eriflmesi zorlaflmaktad›r. Tonta (2001, s. 200) bir bilim disiplini olarak bilgi eriflimin 50 y›ll›k geçmifli oldu¤unu ve bilgi eriflimin “bilgi toplama, s›n›flama, kataloglama, depolama, büyük miktardaki verilerden ara-ma yapara-ma ve bu verilerden istenen bilgiyi üretme (veya gösterme) teknik ve süreci” olarak tan›mland›¤›n› ifade etmektedir. Bu sürecin sa¤l›kl› iflleyebil-mesi için dizinleme ve s›n›flama sistemleri oluflturulmakta, arama motorlar› ve arama robotlar› tasarlanmaktad›r. Bununla birlikte oluflturulan sistemlerin ve tasarlanan araçlar›n yeterli olmad›¤› görülmektedir (Tonta, 2001, s. 204). Günümüzde metinsel eriflimle ilgili problemleri bile tam anlam›yla çözümleye-memiflken, karfl›m›za görsel bilgiye eriflimdeki sorunlar ç›kmaktad›r. Say›sal görüntü miktar›ndaki art›fl1 _{ve kullan›c›lar›n deneyimlerindeki s›n›rlamalar,}

görsel bilgi eriflim sistemlerinin sorunlar›n› art›rmaktad›r.

Görsel bilgi iki temel bileflenden oluflmaktad›r: Bunlardan biri, nesne ile ilgili bilgiyi içeren üst veri, di¤eri ise görsel nitelikler olarak adland›rabilece¤i-miz nesnenin kendisinde bulunan bilgidir (Gupta ve Jain, 1997, s. 72). Üst ve-ri metinsel nitelik tafl›makla birlikte, genellikle veve-ri tabanlar› ile iliflkilendive-rilen bir yap›ya sahiptir. Görsel nitelikler ise görsel nesneden bir dizi bilgisayar ifllemi sonucunda elde edilmektedir. Söz konusu bilgisayar ifllemleri aras›nda özellikle görüntü iflleme ve çeflitli geometrik hesaplamalar önemli yer tutmak-tad›r (Gupta ve Jain, 1997, s. 72).

Görsel nesneler görüntü ve hareketli görüntü olmak üzere iki grupta ince-lenmektedir (Eidenberger, 2004). Elektronik ortamda “.jpeg, .tiff, .gif” gibi 1fiubat 2005 itibariyle Google görüntü veri taban›ndaki resim say›s›n›n 1,1 milyar›, Yahoo’nun görüntü veri taban›n›n içerdi¤i resim say›s›n›n ise 1,5 milyar› aflt›¤› görülmektedir (Price, 2005).

dosya formatlar›yla depolanan foto¤raf, resim, grafik ve benzeri biçimlerdeki materyaller için “görüntü”; .mpeg, .avi, .mov gibi dosya formatlar› ile depola-nan klip ya da video görüntüsü özelli¤i tafl›yan materyalleri tan›mlamak için de “hareketli görüntü” ifadeleri kullan›lmaktad›r. Hareketli görüntüler birbirinin pefli s›ra gelen sabit görüntülerden oluflmakla birlikte, sesli olabilme ve belir-li bir zaman içerisinde devam etme gibi özelbelir-likler onlar› sabit görüntülerden ay›rmaktad›r. Çal›flmam›z kapsam›nda hareketli görüntülere eriflimle ilgili ko-nulara yer verilmemektedir. Çal›flmam›zda görüntü eriflim sistemlerinin neler oldu¤u aç›klanmakta, içerik tabanl› görüntü eriflim, içerik tabanl› görüntü eri-flim sistemleri ve söz konusu sistemlerin özellikleri ele al›nmaktad›r. Ayr›ca li-teratüre bak›ld›¤›nda konuyla ilgili baz› kavramlar›n farkl› kaynaklarda farkl› flekillerde2 _{ifade edildi¤i görülmektedir. Kavram karmaflas›na engel olmak}

amac›yla Türkçelefltirdi¤imiz ilgili terimlerin orijinal karfl›l›klar› parantez içinde verilmektedir.

G

Göörrüünnttüü EErriiflfliimm SSiisstteemmlleerrii

Görüntü eriflimi ile ilgili çal›flmalar›n kökeni 1970’lere kadar gitmektedir (Rui, Huang ve Chang, 1999, s. 39). Zaman içinde söz konusu çal›flmalara olan il-gideki h›zl› art›fl ve buna paralel olarak konuyla ilgili yay›n say›s›n›n çoklu¤u aç›kça gözlenmektedir (Eidenberger, 2004). Görüntü eriflimi üzerine yap›lan çal›flmalar farkl› flekillerde karfl›m›za ç›kmaktad›r. Bunlar metin tabanl› eri-flim, içerik tabanl› eriflim ve kullan›c› etkileflimli görüntü eriflim sistemleridir (Goodrum, 2000, s. 63).

Metin tabanl› görüntü erifliminde sözcük ya da sözcük gruplar› kullanarak bir görsel malzemeyi her yönüyle ifade edebilmek önemlidir. Ancak, kullan›-c›n›n söz konusu materyali farkl› yönleriyle öne ç›karabilece¤i ve bu özellik-leri kullanarak bir görsel malzemeyi arayabilece¤i düflünüldü¤ünde metin ta-banl› görüntü eriflim sistemlerinin yetersizli¤i daha iyi anlafl›lmaktad›r. Bir tek resmin her yönüyle ifade edilebilmesi için çok fazla dizin terimi gerekmesi ve bunun insanlar taraf›ndan ço¤unlukla elci sistemlerle yap›lmas› harcanan eme¤i çok fazla art›rmaktad›r. Bunu aflmak ve görüntü tan›mlamalar›n› yapa-bilmek için metin tabanl› ontolojiler ya da s›n›flama flemalar› haz›rlanm›flt›r (Cawkell, 2000, s. 53; Goodrum, 2000, s. 63; Goodrum ve Spink, 2001, s. 296; Rui ve di¤erleri, 1999, s. 40).

Kullan›c› etkileflimli görüntü eriflim sistemleri ile farkl› disiplinlerde bulu-nan, birbirinden farkl› bilgi gereksinimlerine sahip kullan›c›lar›n sorgu türleri analiz edilebilmektedir. Ayn› zamanda bu tip sistemler kullan›c›lar›n bilgi arama 2Örne¤in “feature extraction” için öznitelik bulma, özellik ç›kar›m›, öznitelik dönüfltürme, öznite-lik ç›kar›m›n›n kullan›lmas› gibi.

davran›fllar› ile sistemin örtüflmesini sa¤lamay› amaçlamaktad›r (Goodrum, 2000, s. 65). Burada önemli olan kullan›c›n›n bilgi gereksinimidir ve söz ko-nusu bilgi gereksinimi kullan›c›lar›n arka plan bilgileri ve ilgi alanlar› ile örtüfl-mektedir. Çeflitli disiplinlere yönelik olarak o disiplinin kullan›c›lar›n›n gereksi-nim duydu¤u görsel bilgiye eriflim sa¤lamay› kolaylaflt›racak sistemler tasar-lanmaktad›r. Örne¤in; gazetecilik (Markkula ve Sormunen, 1998; 2000), kri-minoloji (Lee ve di¤erleri, 2004; Wu ve Narasimhalu, 1994), t›p (Lehmann, Meinzer ve Tolxdorff, 2004; Lehmann ve di¤erleri, 2004; Müller, Michoux, Bandon ve Geissbuhler, 2004), sanat tarihi (Chen, 2001a, 2001b; Holt, Weiss, Niblack, Flickner ve Petkovic, 1997) gibi alanlar bu tip araflt›rmalara konu olan alanlard›r. Baflka bir çal›flmada da (Gudivada ve Raghavan, 1995, s. 18) görüntü eriflim sistemleri ile ilgili pratik fayda sa¤layan disiplinler olarak yukar›dakiler say›lmakta ve bunlara mimarl›k, mühendislik gibi alanlar eklen-mektedir.

Konu ile ilgili literatür incelendi¤inde 1990’l› y›llar›n bafl› ile birlikte özel-likle üzerinde durulan yaklafl›m›n içerik tabanl› görüntü eriflimi oldu¤u görül-mektedir (Huang ve Dai, 2004, s. 82). Genifl kapsaml› görsel materyal içeren koleksiyonlar›n düzenlenmesi için metin tabanl› ve elci sistemlerin kullan›m›-n›n yetersiz olaca¤› görülmüfl ve görsel malzemelerin kendi içerikleriyle, örne¤in renk, doku ya da flekilleri ile dizinlenmesi konusunda çal›flmalar (Andreou ve Sgouros, 2005; Androutsos, Kushki, Plataniotis ve Venetsano-poulos, 2005; Colombo ve Del Bimbo, 2002; Goodrum, Rorvig, Jeong ve Suresh, 2001) yo¤unlaflm›flt›r.

‹‹ççeerriikk TTaabbaannll›› GGöörrüünnttüü EErriiflfliimm SSiisstteemmlleerrii

Genel olarak içerik tabanl› görüntü eriflim sistemleri üç temel bileflen içer-mektedir. Bunlar görsel öznitelik ç›kar›m› (visual feature extraction), yüksek boyutlu dizinleme (high-dimensional indexing) ve eriflim sistemi tasar›m› (retrieval system design) olarak adland›r›lmaktad›r (Rui, Huang ve Chang, 1997). Bunlar aras›nda görsel öznitelik ç›kar›m›, içerik tabanl› görüntü erifli-minin temeli olarak kabul edilmektedir (Zhang ve Chen, 2002, s. 260). Özni-telik ç›kar›m› sayesinde görsel nesnelerin renk, doku ve flekil özniÖzni-teliklerinin sisteme aktar›lmas› ve bunlar›n görsel içerikleri ile dizinlenmesi sa¤lanmak-tad›r (Park, Ryu, Song ve Ahn, 2005, s. 206).

Yüksek boyutlu dizinleme dizinlenecek malzemenin karmafl›k yap›s›n›n bilgi eriflim sistemine uyarlanmas› için gelifltirilmifl bir dizi tekni¤i ifade etmek-tedir. Bu teknikler temelde iki noktada odaklanmaktad›r. Birincisi genelde yük-sek boyutlu olan öznitelik vektörlerinin boyutlar›n›n azalt›lmas› (dimension reduction)ikincisi ise insan alg›lamas›na yönelik, görsel benzerlik

hesapla-malar›n› içeren çok boyutlu dizinleme (multi-dimensional indexing) teknikleri-nin gelifltirilmesidir (Rui ve di¤erleri, 1999, s. 46). Boyut azalt›m›, eriflim kali-tesi ve kolayl›l›¤›n› etkilemeyecek flekilde öznitelik vektörleri üstünde çeflitli matematiksel ifllemler3_{uygulamak suretiyle boyutlar›n›n düflürülmesidir. Çok}

boyutlu dizinleme alan›na aktif olarak katk› yapan üç önemli araflt›rma alan› bulunmaktad›r. Bunlar hesaba dayal› geometri, veri taban› yönetimi ve örün-tü tan›mad›r (pattern recognition). Burada kullan›lan yöntemler, dizinleme yöntemlerini benzerlik ölçümlerine (similarity measures) göre uyarlama yö-nünde kümeleme (clustering)ve sinir a¤lar› (neural nets)gibi teknikleri içer-mektedir (Rui ve di¤erleri, 1997).

Görüntü eriflim sistemleri genellikle afla¤›da yer alan özelliklerin birini ya da daha fazlas›n› desteklemektedir. Bu özellikler flunlard›r (Rui ve di¤erleri, 1999, s. 48):

„ Rastgele göz gezdirme,

„ Örnek kullanarak arama yapma, „ Taslak çizerek arama yapma, „ Metin ile arama yapma,

„ ‹ste¤e göre uyarlanm›fl görüntü kategorileri aras›nda dolaflma. Görüntü eriflim sistemleri temelde ayn› mant›k üzerinde kurulmufl olup ayn› amac› gerçeklefltirmek için çal›flsa da, çeflitli yönlerden farkl›l›k göster-mektedir: IBM Almaden Araflt›rma Merkezi taraf›ndan gelifltirilen QBIC (query by image content)ilk ticari içerik tabanl› görüntü eriflim sistemi olarak karfl›-m›za ç›kmaktad›r. QBIC sistem yap›s› ve kulland›¤› teknikler itibariyle daha sonra gelifltirilen görüntü eriflim sistemlerini etkilemifltir (Marques ve Furht, 2002, s. 26). Örne¤in Virage Inc. taraf›ndan gelifltirilen Virage isimli içerik ta-banl› görüntü eriflim sistemi QBIC’e benzer Virage, QBIC taraf›ndan yap›lan ifllemleri biraz daha gelifltirmifl ve sorgulardaki renk, kompozisyon, doku ve yap› ögelerinin aramadaki a¤›rl›klar›n›n kullan›c› taraf›ndan ayarlanmas› ola-na¤›n› sunmufltur (Rui ve di¤erleri, 1999, s. 49). Zaman içinde pek çok farkl› sistem gelifltirilmifltir ve gelifltirilmeye devam edilmektedir. Gelifltirilen içerik tabanl› görüntü eriflim sistemlerine Blobworld, Chabot, ImageRower, RetrievalWare, Photobook, VisualSEEk, Viper, Netra, MARS ve ART MUSEUM örnek olarak gösterilebilir (Marques ve Furht, 2002, ss. 25-26; Rui ve di¤erleri, 1999, ss. 49-50; fiahin, 2003, ss. 10-12). Literatürde söz konu-su sistemlerin de¤erlendirildi¤i ve birbirleriyle karfl›laflt›r›ld›¤› birçok çal›flma bulunmaktad›r (Deselaers, Keysers ve Ney, 2004; Li, Wang ve Wiederhold, 2000; Squire, Müller, Müller, Marchand-Maillet ve Pun, 2001).

3Söz konusu ifllemler ile ilgili ayr›nt›l› bilgi için bkz. Bashir, Khanvilkar, Khokhar ve Schonfeld, 2004.

G

Göörrsseell NNeessnneelleerriinn ÖÖzzeelllliikklleerrii vvee ‹‹nnssaann AAllgg››ss››

Çal›flman›n girifl bölümünde de belirtildi¤i gibi, görsel bilgi üst veri ve görsel nitelikler olarak adland›r›lan iki temel bileflenden oluflmaktad›r. Görsel nesne-den bir dizi bilgisayar ifllemi sonucunda elde edilen görsel nitelikler, kullan›c›-lar›n istedikleri görüntülere eriflim sa¤lamakullan›c›-lar›nda önemli rol oynamaktad›r.

Görsel nesnelerin özellikleri temel al›narak farkl› yöntemler arac›l›¤›yla, gereksinim duyulan görüntülere eriflim sa¤lanmaya çal›fl›lmaktad›r. Piksel karfl›laflt›rma yöntemi de görüntü erifliminde s›kça kullan›lan yöntemlerden birisidir. Piksel karfl›laflt›rma yöntemi ile ham verinin piksel de¤erlerine daya-nan bir dizi ifllem yap›larak veri taban›nda yer alan görüntü ile kullan›c›n›n arad›¤› görüntü aras›nda fark/benzerlik bulunup bulunmad›¤› ölçülmektedir. Söz konusu benzerli¤in oran›n› saptamak için de hata karelerinin ortalamas› (mean square error)hesab› kullan›lmaktad›r. Afla¤›da hata karelerinin ortala-mas› (HKO) hesaplama yöntemi verilmektedir (Li, Chen ve Chen, 2003, s. 4).

(1)

Denklem (1)’de geçen x◊y çarp›m› karfl›laflt›r›lan piksel blo¤u içindeki toplam piksel say›s›n›, aij karfl›laflt›r›lan iki piksel blo¤undan a-blo¤u içinde yer alan pikselin de¤erini ve bij de b-blo¤u içinde yer alan pikselin de¤erini ifade etmektedir.

Afla¤›da, piksel karfl›laflt›rma yöntemi kullanan bir sisteme yöneltilebile-cek sorgu örnekleri s›ralanmaktad›r (Gupta ve Jain, 1997, s. 72):

„ “E¤er portakal renginin ortalama de¤eri; k›rm›z›= 225, yeflil=130 ve mavi= 0 olarak tan›mland›ysa, 100. ve 200. piksel aral›klar› portakal rengi olan tüm görüntüleri bul.”

„ “Orta bölümünde, örnek olarak gösterilen resimle yaklafl›k olarak ayn› renge sahip olan tüm görüntüleri bul4_.”

„ “Verilen resmin en fazla D5 _{kadar kaym›fl hali olan bütün resimleri}

bul.”

Görüntü eriflimde görsel nesnenin bilgi eriflim sistemine aktar›labilmesi için piksel karfl›laflt›rma yönteminin kullan›m› etkin bulunmamaktad›r. Çünkü kullan›c› bak›fl aç›s› ile sistemin arama ve bulma kapasitesi tam anlam›yla ör-tüflmemektedir. Kullan›c› gereksinimi yukar›da yer alan örneklerdeki gibi sor-gular sonucunda karfl›lanabiliyorsa görsel bilgi için kullan›lan veri modelleme-si bamodelleme-sittir. Ancak, piksel tabanl› bu modeller çeflitli sorunlar› da beraberlerin-4Burada “orta bölüm” koordinatlarla, “yaklafl›k olarak ayn› renge sahip” ifadesi de renk mesafelerinin hesaplanmas›yla belirlenmektedir.

de getirmektedir. Öncelikle “gürültü”ye(noise)karfl› son derece duyarl›d›r. En ufak bir parazit aranan görüntülere eriflimi engeller. Bunun yan› s›ra tafl›ma (translation)ve döndürme (rotation)konusunda da bu sistemlerin eksiklikleri vard›r. Talep edilen görüntüye uygun ama farkl› bir aç› ile görüntülenmifl bir görsel nesne sorgu sonuçlar› aras›nda yer alamaz. Renk de¤iflimleri ve ben-zeri görsel durumlardaki farkl›l›klar, piksel de¤erlerini büyük ölçüde etkiledi-¤inden yanl›fl sorgu sonuçlar›na neden olurlar (Gupta ve Jain, 1997, s. 72).

Bu sorunlardan yola ç›karak, görsel içeri¤in kullan›c› yarg›s›na k›yasla basit fakat etkili benzerlik ölçümlerine olanak tan›yacak bir biçimde temsil edilmesi gerekmektedir. Bunun için görsel nesne özellikleri bir vektör uzay› içindeki vektörlere dönüfltürülür (Fuhr, 2001).

‹çerik tabanl› görüntü eriflim sistemlerinin insan alg›s›na mümkün oldu-¤unca yak›n sistemler olmas› için çal›fl›lmaktad›r. Bu nedenle insanlar›n alg› ya da idrak süreçlerini anlamak önemlidir. ‹nsanlar›n gördükleri cisimleri alg›-lama süreçleri içerisinde üç dürtüden söz edilebilir.

1. Genel olarak alg›lanan dürtü(generally perceived stimuli)- fark›nda-l›k yoktur,

2. Özellikle alg›lanan dürtü(specifically perceived stimuli) - fark›ndal›k vard›r,

3. Sözde-tesadüfi dürtü (pseudo-random stimuli)- psikolojik, sosyolojik, vb.

‹nsan dürtülerinin bu türlerinden yola ç›karak görüntü erifliminde nitelik-sel (yüksek seviyeli) öznitelikler ve niceliknitelik-sel (düflük seviyeli) öznitelikler ol-mak üzere iki tür öznitelik ayr›m›ndan bahsedilmektedir (Eidenberger, 2004). Yüksek seviyeli öznitelikler, insanlar ve insanlar ya da makineler ve insanlar aras›nda flimdilik tam olarak çözülemeyen anlamsal uçurum (semantic gap) nedeniyle günümüzdeki görüntü eriflim sistemlerinde fazla kullan›lmamaktad›r (Eidenberger, 2004). Bu uçurumun oluflmas›nda insanla-r›n görsel bilgi içeren bir varl›¤› birbirlerinden farkl› alg›layabilecekleri ya da tan›mlayabilecekleri gerçe¤i etkilidir. Bunun yan› s›ra, insan›n kendi de¤iflen bilgi gereksinimleri söz konusu oldu¤unda, fakl› tan›mlamalar ya da sorgu bi-çimleriyle sistemden ayn› ya da benzer sonuçlar› talep etmesi durumu da bu uçurumun oluflmas›nda etkili olabilmektedir. Bu yüzden söz konusu sistemler düflük seviyeli özniteliklerin ç›kar›m›nda etkili olmaya çal›flmakta, yüksek se-viyeli özniteliklerin sisteme uyarlanmas› ise bu düflük sese-viyeli özniteliklerin güçlendirilmesi ile sa¤lanmaya çal›fl›lmaktad›r.

Görsel bilgi eriflimde düflük seviyeli öznitelikler genel olarak renk, doku ve flekil, hareket olmak üzere üç grupta toplanmaktad›r (Eidenberger, 2004; Smeulders, Worring, Santini, Gupta ve Jain, 2000). Düflük seviyeli

öznitelik-lerin üçüncüsü olan hareket ögesi bu makalenin kapsam› d›fl›nda oldu¤u için burada yer verilmemektedir.

Renk öznitelikleri:Ton (hue)ve koyuluk (saturation)renk ögesini niteleyen iki de¤iflken olarak karfl›m›za ç›kmaktad›r. Ton, renklerin birlikte sergiledikleri görüntüyü, koyuluk ise ton içerisindeki saf renge ne kadar gri eklendi¤ini gös-terir. Görüntü erifliminde renk histogramlar›, renk momentleri ve renk küme-leri kullan›larak benzerlik ölçümküme-leri yap›labilmektedir (Gupta ve Jain, 1997, ss. 73-74). fiekil 1, Cézanne’a ait bir tabloyu ve söz konusu tablonun renk histogram›n› göstermektedir.

fi

fieekkiill 11:: CCéézzaannnnee’’aa aaiitt TTaabblloo vvee RReennkk HHiissttooggrraamm›› (Kaynak: Gupta ve Jain, 1997, s.70)

Doku ve flekil öznitelikleri:Doku öznitelikleri görsel nesne üzerindeki parlak-l›¤›n da¤›l›m› ile ilgilidir ve tüm görsel yüzeylerin do¤al özniteli¤idir. Yüzeyle-rin yap›sal düzeni ve çevreyle olan iliflkisi hakk›nda önemli bilgiler içerir. fie-kil ise görsel nesnenin bölgesel ya da s›n›rsal alan›n› belirleyen yap›d›r. Do-ku istatistiksel çerçeveyi belirlerken, flekil anlamsal çerçeveyi temsil eder. Her iki özellik de döndürme, derecelendirme gibi geometrik de¤iflimlere karfl› de-¤iflmez yap› sergilemektedir (Eidenberger, 2004).

‹çerik tabanl› görüntü eriflim sistemlerinde bu iki özelli¤in yan› s›ra metin-sel bilginin de taramaya dâhil edilmesi mümkündür. fiekil 2 metin ve flekil kul-lan›larak yap›lan bir taramay› ve bunun sonucunu göstermektedir.

fi

fieekkiill 22:: ‹‹ççeerriikk TTaabbaannll›› GGöörrüünnttüü EErriiflfliimm SSiisstteemmiinnddee MMeettiinn vvee fifieekkiill K

Kuullllaannaarraakk YYaapp››llaann TTaarraammaa ÖÖrrnnee¤¤ii (Kaynak: Siggelkow, 2002, s. 5)

‹‹ççeerriikk TTaabbaannll›› GGöörrüünnttüü EErriiflfliimm SSiisstteemmlleerriinniinn MMiimmaarriissii

‹çerik tabanl› görüntü eriflim sistem mimarisi çok kullan›c›l› genifl çapl› kolek-siyonlarda verilerin ve özniteliklerin isimlendirilmifl dosyalar alt›nda tutuldu¤u karmafl›k bir yap› gösterir. ‹lgili literatür incelendi¤inde Smeulders ve arka-dafllar›n›n (2000, s. 1372) önerdi¤i yap›, oluflturulmak istenilen görüntü eriflim sistemi için uygun görülmektedir. Söz konusu yap›, bütünlü¤ü olan bir sistem tasar›m› için dört modülden oluflan bir iskelet önermektedir (Bkz. fiekil 3). Alg›sal ve özniteliksel hesaplama (sensory and feature calculating)modülü, alan bilgisi ve yorum (domain knowledge and interpretation) modülü, etkileflim ve kullan›c› arayüzü (interaction and user interface)modülü, depo-lama ve dizinleme (strorage and indexing) modüllerinin bulundu¤u bu iskeletin geliflmifl içerik tabanl› sistemlerde dengeli bir yap› oluflturulmas›n› sa¤layaca¤› ifade edilmektedir. Günümüzde bu modüllerin tamam›n› bünyesinde bulunduran bir sisteme sahip olman›n zor oldu¤u bilinmekle bir-likte, sistem mimarisi aç›s›ndan etkinli¤in art›r›labilmesi için bu tip bir yap›n›n gelifltirilmesi son derece önemlidir.

fi

fieekkiill 33:: ‹‹ççeerriikk TTaabbaannll›› GGöörrüünnttüü EErriiflfliimm SSiisstteemmii iiççiinn ÖÖnneerriilleenn SSiisstteemm Y

Yaapp››ss›› (Kaynak: Smeulders ve di¤erleri, 2000, s. 1372)

Görsel nesnelerin kendilerine has özelliklerinin birer eriflim noktas› olarak kullan›lmas›, sistemin etkinli¤i aç›s›ndan önemlidir. Doku, renk gibi öznitelik-leriyle tan›mlanan görsel nesneler bütünlükleri korunarak sistem içerisinde depolanmaktad›rlar. Öznitelik vektörleri, her öznitelik vektörüne bir kay›t ola-cak flekilde standart do¤rusal kütüklerle depolanmaktad›r (Smeulders ve di¤erleri 2000, s. 1369). Dizinleme ise, alan bölümleme (space partitioning), veri bölümleme (data partitioning), uzakl›k tabanl› (distance-based)dizinleme teknikleri kullan›larak gerçeklefltirilmektedir. Alan bölümleme tekni¤inde, özellik alan› a¤aç biçimli olarak düzenlenmifltir. Bu a¤aç biçimli yap›daki her dü¤üm (node)bu alan içerisindeki bir bölgeye denk gelmektedir. Bir bölgede-ki noktalar önceden belirlenmifl miktar› aflt›¤›nda bölge, alt bölgelere ayr›lmaktad›r. Veri bölümleme tekni¤i özellik alan›ndaki her noktay›, vektöre komfluluk eden bir bölge ile birlefltirme özelli¤ine sahiptir. Uzakl›k tabanl› dizin yap›lar›ndaki mant›k ise, bir örnek noktan›n belirlenip, özellik alan›n›n geri kalan›n›n örnek çevresinde eflmerkezli halkalar oluflturacak biçimde bölünmesi biçimindedir (Digout ve Nascimento, 2005; Smeulders ve di¤erleri, 2000, s. 1370).

Salt okunur veri tabanlar›n›n bir ad›m sonras›, görsel bilgi eriflim için geniflletilmifl veri taban› yönetim sistemleri olarak gösterilmektedir. QBIC ve Virage bu sistemler içinde ilk akla gelenlerdendir. Örne¤in fiekil 4’te COREL görüntü veri taban›nda kullan›lan farkl› sorgulamalara yer verilmektedir.

fi

fieekkiill 44:: CCOORREELL GGöörrüünnttüü VVeerrii TTaabbaann››nnddaa KKuullllaann››llaann FFaarrkkll›› SSoorrgguu TTüürrlleerrii (Kaynak: Smeulders ve di¤erleri, 2000, s. 1366)

‹‹ççeerriikk TTaabbaannll›› GGöörrüünnttüü EErriiflfliimm SSiisstteemmlleerriinniinn DDee¤¤eerrlleennddiirriillmmeessii

Genifl koleksiyona sahip görüntü eriflim sistemlerinin de¤erlendirilmesi, metin tabanl› bilgi eriflim sistemlerinde oldu¤u gibi gerçeklefltirilmesi zor, ancak gerekli bir ifllemdir. Geleneksel bilgi eriflim sistemlerinde uygulanan duyarl›k (precision) ve anma (recall) de¤erlendirme ölçütleri görüntü eriflim sistem-lerinde de kullan›lmaktad›r. Bu ölçütlerin görüntü eriflim sistemsistem-lerindeki kul-lan›m›n› formüle etmek için veri kümesinin D ile, sorgunun q ile, sorgu için getirilen sonuç kümesinin A(q) ile ifade edildi¤ini düflünecek olursak: Kullan›c› öznelli¤i aç›s›ndan bakt›¤›m›zda, yap›lan sorguya iliflkin olarak ilgili olanlar›n R(q) ve olmayanlar›n R fleklinde ikiye ayr›ld›¤›n› söylemek mümkündür. Buradan yola ç›karak anma ve duyarl›k formüllerini flu flekilde göstermek olanakl›d›r (Smeulders ve di¤erleri, 2000, s. 1371).

(2)

(3)

Sözel anlat›mla, sistem de¤erlendirilmesinde duyarl›k, sorgu sonucunda elde edilen ilgili görüntülerin say›s›n›n sorgu sonucunda gelen tüm görüntü say›s›na oran›d›r. Anma ise, sorgu sonucunda elde edilen ilgili görüntü say›s›n›n sistemdeki tüm ilgili görüntülerin say›s›na oran›d›r [bkz. denklem (2) ve denklem (3)].

Bu ölçütler yararl› olmakla birlikte, görüntü eriflimi söz konusu oldu¤unda, metin tabanl› bilgi eriflim sistemlerinin de¤erlendirilmesinden daha fazla sorunla karfl› karfl›ya kal›nmaktad›r. Bunun sebeplerinden birisi olarak, gelen sonuç kümesi içerisinden “ilgili” olanlar› seçmenin daha zor olmas› gösterile-bilir. Burada görsel nesnenin “anlam›”n› tan›mlamada karfl›lafl›lan güçlükler ve kullan›c›lar›n farkl› bak›fl aç›lar› ön plana ç›kmaktad›r. Dilsel içerikten ba¤›ms›z olarak yap›lan yorumlama, insan alg›s›n›n devreye girmesi bu zor-luklar›n oluflmas›nda etkilidir.

Bir di¤er sorun ise görüntü eriflim sistemlerinin ilgililik ölçütüne göre de¤il, sadece s›ral› bir liste veya sorgu sonuçlar› aras›ndaki iliflkilerin ön planda oldu¤u bir sonuç listesi getirmesidir. Bu da formülleri uygulayabilmek için gerekli olan de¤erlendirmenin yap›lmas›n› güçlefltirmektedir.

Duyarl›k ve anma ölçütleri bu sorunlara ra¤men birçok görüntü eriflim sis-temi için kullan›labilmektedir. Bu ölçütlerin özellikle, görüntüler için etiketlerin kullan›ld›¤› ya da metinsel tan›mlamalar›n yap›ld›¤› veri tabanlar›nda kul-lan›fll› oldu¤u söylenebilir. Ancak insan alg›s›n›n bu derece önemli oldu¤u sis-temlerde performans de¤erlendirmesi yapabilmek için sosyal bilimlerden uyarlanacak yöntemlerle görsel bilgi eriflim sisteminin de¤iflik bölümlerinin ya da tamam›n›n de¤erlendirilmesi de mümkündür (Smeulders ve di¤erleri, 2000, s. 1372).

S Soonnuuçç

Görüntü eriflimi için oluflturulan sistemler günümüzde metin tabanl› olmaktan ç›k›p içerik tabanl› hale gelmeye bafllam›flt›r. Kullan›lan malzemenin do¤as›ndan kaynaklanan sorunlar nedeniyle tam olarak etkin bir bilgi eriflim sistemi oluflturulamamaktad›r. Karfl› karfl›ya bulunulan sorunlar›n kökeninde

Anma =

⏐A(q) ∩ R(q) ⏐

⏐R(q)⏐

⏐A(q) ∩ R(q) ⏐

Duyarl›k =

makineler taraf›ndan tam olarak taklit edilemeyen insan alg›s› sonucu ortaya ç›kan görsel anlay›fl yatmaktad›r. Bu ba¤lamda görüntü eriflimle ilgili temel sorunlar olarak farkl› kullan›c› beklentileri, karmafl›k kullan›c› ara yüzleri, tat-min etmeyen sorgulama performans›, sisteme yöneltilen sorgulardan elde edilen düflük kalitede sonuç ve de¤erlendirme yöntemlerinin eksikli¤i karfl›m›za ç›kmaktad›r. Söz konusu problemlerin çözümü farkl› disiplinlerden uzmanlar›n bir araya gelmesiyle gerçeklefltirilecek projelere dayal› oluflturu-lacak yeni sistemlerle mümkündür.

QBIC ve benzeri veri tabanlar›, veri ile sorgulama sistemi aras›nda dar bir veri de¤iflim kanal› oluflturmaktad›r. Var olan veri taban›na görüntü eriflim modeli eklenerek oluflturulan, görsellefltirme teknikleri zay›f ve bilgi yöneti-minden yoksun bu sistemlerde genellikle performans düflük olmaktad›r. Kul-lan›c›lar daha geliflmifl sistemlere gereksinim duymaktad›rlar. Gelecekte meydana getirilecek sistemlerin mevcut özelliklerine ek olarak kullan›c› etki-lefliminin yüksek oldu¤u, kullan›c› etkilefliminden ortaya ç›kan özelliklerle ilgi-li pefl pefle ifllemler gerçeklefltirebilen, veri düzenlemesini geri plana at›p kullan›c› ya da kaynak bilgisini ön plana ç›karabilen bir yap› sergilemesi gerekmektedir.

Ülkemizde de konu ile ilgili baz› çal›flmalar›n yap›ld›¤› bilinmekle birlikte, pratik yarar sa¤layacak ve sorunlar›n çözümüne yol gösterecek projelere gereksinim duyulmaktad›r. Görsel bilgi eriflimle ilgili sorunlar›n üzerine gidilmesi ile kullan›c›lar›n zaman ve emek kayb› en aza indirgenecek ve görsel bilgi ile ilgilenen kiflilerin daha verimli çal›flabilmelerine olanak tan›nacakt›r.

K

Kaayynnaakkççaa

Andreou, I. ve Sgouros, N.M. (2005). Computing, explaining and visualizing shape similarity in context-based image retrieval.Information Processing & Management,41(5), 1121-1139.

Androutsos, P., Kushki, A. Plataniotis, K.N. ve Venetsanopoulos, A.N. (2005). Aggregation of color and shape features for hybrid query generation in content based visual information retrieval. Signal Processing, 85(2), 385-393.

Bashir, F., Khanvilkar, S., Khokhar, A. ve Schonfeld, D. (2004) Multimedia systems: Content based indexing and retrieval. Wai Chen (ed.), The electrical engineering handbookiçinde Boston: Elsevier Academic Press 16 Temmuz 2005 tarihinde http://mia.ece.uic.edu/~papers/ publications/EE-Handbook-Chapter-Indexing.pdf adresinden eriflildi. Cawkell, T. (2000). Image indexing and retrieval by content. Information

Chen, H. (2001a). An analysis of image queries in the field of art history. Journal of the American Society for Information Science and Technology, 52(3), 260-273.

Chen, H. (2001b). An analysis of image retrieval tasks in the field of art his-tory. Information Processing & Management,37(5), 701-720.

Colombo, C. ve Del Bimbo, A. (2002). Visible image retrieval. V. Castelli ve L. Bergman (ed.),Image databases: Search and Retrieval of Digital Imageryiçinde (ss. 11-33). New York: Wiley.

Deselaers, T., Keysers, D. ve Ney, H. (2004). Classification error rate for quantitative evaluation of content-based image retrieval systems. ICPR, 2(2), 505-508.

Digout, C. ve Nascimento, M.A. (2005). High-dimensional similarity searches using a metric pseudo-grid. Proceedings of the 1st IEEE International Workshop on Managing Data for Emerging Multimedia Applications, Tokyo. 14 Temmuz 2005 tarihinde http://www.cs.ualberta.ca/~mn/ Papers/emma2005.pdf adresinden eriflildi.

Eidenberger, H. (2004). A new perspective on visual information retrieval. SPIE Electronic Imaging Symposium, San Jose. 10 Temmuz 2005 tarihinde http://www.ims.tuwien.ac.at/media/documents/publications/ ei2004-vir.pdf adresinden eriflildi.

Fuhr, N. (2001). Information retrieval methods for multimedia objects. State-of-the-Art in Content-Based Image and Video Retrievaliçinde (ss.191-212). 14 Temmuz 2005 tarihinde

http://www.is.informatik.uni-duisburg.de/bib/pdf/ir/Fuhr:00b.pdf adresinden eriflildi. Boston: Kluwer. Goodrum, A.A. (2000). Image information retrieval: An overview of current

research. Informing Science, 3(2), 63-67.

Goodrum, A., Rorvig, M., Jeong, K-T. ve Suresh, C. (2001). An open source agenda for research linking text and image content features. Journal of the American Society for Information Science and Technology, 52(11), 948-953.

Goodrum, A. ve Spink, A. (2001). Image searching on the Excite web search engine. Information Processing & Management,37(2), 295-311.

Gudivada, V.N. ve Raghavan, V.V. (1995). Content-based image retrieval systems. Computer,28(9), 18-22.

Gupta, A.ve Jain, R. (1997). Visual information retrieval. Communications of the ACM,40(5), 70-79.

Holt, B., Weiss, K., Niblack, W., Flickner, M. ve Petkovic, D. (1997). The QBIC Project in the Department of Art and Art History at UC Davis. Digital Collections: Implications for Users, Funders, Developers, and Maintainers, ASIS 97 içinde Washington, DC 10 Temmuz 2005 tarihinde http://www.asis.org/annual-97/holt.htm adresinden eriflildi.

Huang, P.W. ve Dai, S.K. (2004). Design of a two-stage content-based image retrieval system using texture similarity. Information Processing & Management,40, 81-96.

Lee, E., Whalen, T., Sakalauskas, J., Baigent, G., Bisesar, C., McCarthy, A., Reid, G. ve Wotton, C. (2004). Suspect identification by facial features. Ergonomics,47(7), 719-747.

Lehmann, T.M., Meinzer, H.P. ve Tolxdorff, T. (2004). Advances in biomedical image analysis: Past, present and future challenges. Methods of Information in Medicine, 43(4), 308-314.

Lehmann, T.M., Plodowski, B., Spitzer, K., Wein, B.B., Ney, H. ve Seidl, T. (2004). Extended query refinement for content-based access to large medical image databases. Proceedings of SPIE,5371, 90-98.

Li, J., Wang, J.Z. ve Wiederhold, G. (2000). IRM: integrated region matching for image retrieval. Proceedings of the Eighth ACM International Conference on Multimedia içinde (ss. 147-156). New York: ACM Press. Li, K-F., Chen, T-S. ve Chen, K-H. (2003). Fractal image process based

image comparison search engine. Journal of Information Science and Engineering, 19,1-14.

Markkula, M. ve Sormunen, E. (1998). Searching for photos-journalists’ practices in pictorial IR. Challenge image retrieval: A Workshop and Symposium on Image Retrieval, Electronic Workshops in Computing içinde Newcastle: The British Computer Society. 10 Temmuz 2005 tari-hinde http://ewic.bcs.org/conferences/1998/imageret/papers/paper8.pdf adresinden eriflildi.

Markkula, M. ve Sormunen, E. (2000). End-user searching challenges indexing practices in the digital newspaper photo archive. Information Retrieval,1(4), 259-285.

Marques, O. ve Furht, B. (2002). MUSE: A content-based image search and retrieval system using relevance feedback. Multimedia Tools and Applications,17, 21-50.

Müller, H., Michoux, N., Bandon, D. ve Geissbuhler, A. (2004). A review of content-based image retrieval systems in medical applications-clinical benefits and future directions. International Journal of Medical Informatics,73(1), 1-23.

Park, W.-B., Ryu, E.-J., Song, Y.-J. ve Ahn, J.H. (2005). Visual feature extraction under wavelet domain for image retrieval. Key Engineering Materials,277-279, 206-211.

Price, G. (2005). Yahoo increases size of image database, new features added. 24 Haziran 2005 tarihinde http://blog.searchenginewatch.com /blog/050223-010101 adresinden eriflildi.

Rui, Y., Huang, T.S. ve Chang, S.-F. (1997). Image retrieval: Past, present and future. International Symposium on Multimedia Information Processing, Taiwan. 10 Temmuz 2005 tarihinde http://www-db. stanford.edu/pub/gio/biblio/imagesurvey98.ps adresinden eriflildi. Rui, Y., Huang, T.S. ve Chang, S. (1999). Image retrieval: Current

techniques, promising directions and open issues. Journal of Visual Communication and Image Representation,10, 39-62.

Siggelkow, S. (2002). Feature histograms for content-based image retrieval. PhD Thesis. Albert-Ludwigs-Universität Freiburg, Freiburg. 15 Temmuz 2005 tarihinde http://www.doc.ic.ac.uk/~xh1/Referece/image-retrival/Feature-Histograms-for-Content-Based-Image-Retrieval.pdf adresinden eriflildi.

Smeulders, A.W.M., Worring, M., Santini, S., Gupta, A. ve Jain, R. (2000). Content-based image retrieval at the end of the early years. IEEE Transactions on Pattern Analysis and Machine Intelligence, 22(12), 1349-1380.

Squire, D., Müller, H., Müller, W., Marchand-Maillet, S. ve Pun, T. (2001). Design and evaluation of a content-based image retrieval system. S.M. Rahman (ed.), Design management of multimedia information systems: Opportunities and challengesiçinde (ss 125-151). Hershey: Idea Group Publishing.

fiahin, P. (Duygulu). (2003).Translating images to words: A novel approach for object recognition. PhD Thesis. Middle East Technical University, Ankara. 15 Temmuz 2005 tarihinde http://www.cs.bilkent.edu.tr/ ~duygulu/papers/PhDthesis.pdf adresinden eriflildi.

Tonta, Y. (2001). Bilgi eriflim sorunu. “21. Yüzy›la Girerken Enformasyon Olgusu”: Ulusal Sempozyum bildirileri, 19-21 Nisan 2001 içinde (ss. 195-206). Ankara: Türk Kütüphaneciler Derne¤i.

Wu, J.K. ve Narasimhalu, A.D. (1994). Identifying faces using multiple retrievals. IEEE Multimedia,1(2), 27-38.

Zhang, C. ve Chen, T. (2002). An active learning framework for content-based information retrieval. IEEE Transactions on Multimedia,4(2), 260-268.