Haber videolarında ilgililik geribeslemesiyle içerik tabanlı erişim

Haber Videolarinda

Ilgililik Geribeslemesiyle

Icerik Tabanli

Eri§im

Content-Based Retrieval of

News

Videos

Using

Relevance Feedback

Ozge

(QavuA,

Selim

Aksoy

Bilgisayar Muihendisligi

B6luimui,

Bilkent

Universitesi,

Bilkent, 06800, Ankara

{cavus,saksoy}@cs.bilkent.edu.tr

Ozetce

metin

iceren

habervideolarl

zengin

icerikleri

ve

sagladiklarl

Gerek kamusal gerekse ozel video arsivlerinin genislemesi ve sosyal etki

dolayislyla

cogul

ortam

kaynaklarl

arasinda

onemli

yayginlabmasiylabirlikte, ozelliklehaber videolarinda icerik ta- bir yere sahiptir [1]. Bu

kaynaklarin

icerik

tabanli

indekslen-.. indekslen-.. indekslen-... ., , . ..

~~~~~mesi,

qcozimlenmesi

ve

sorgulanmasi

ibcin

gereken

sistemlerin banlierisimonemkazanmistir.Ilgililikgeribeslemesi, icerikta- m

banlierisim sistemlerinde kullanilan bir tekniktir. Bumakalede, tasarimi gungectikce daha daonemlibir

arastirma

konusu ha-farkli6zniteliklerin, videolardan alinangorulntuflerinfarkliyer- lini

almaktadir.

lerindeki onemini baz alarak kullandigimiz ilgililik geribesle-

Iberik

tabanli

gorulntui

vevideo sorgulama tekniklerinde ilk mesi teknigini aclkladik. Bunu da lzgara kullanarak

boldulguimulz

yapilan,

gorulntulerdeki

alt

duizey

oznitelikleri clkarmak

ve

olus-resimlerdekiher bir parcaya her bir oznitelik icin farkli bir agirlik turulan

oznitelik

vektorlerini

kullanarak

goiriuntuler

arasi

uzaklik-degeri vererek

gerqeklestirdik.

Bu agirlik degerleri kullanicin larlhesaplamaktir[2, 3]. Bu konuyla ilgili

qalismalarda,

gorun-verdigi her geribeslemenin ardindan giincellenmektedir. Bu ge-

tuinuin

butitinui

baz alinarak

clkarilan

oznitelikler

kullanilmistir.

ribeslemeler, kullanicinin donen sonuclarl pozitif ya da negatif Yakinzamanda

gerqeklestirilen qalismalarda

ise

oznitelik clkarma

olarak etiketlemesinden ibarettir. Her biragirligin yeni degeri, daha cok

bolgesel

tabanli

q6ztimlemelere

dayanmaktadir [4]. pozitif ve negatif goruntuilerin birbirlerine olan uzakliklarinin

Goruntuyu parcalara

aylrdlktan sonra buparcalardan

clkarilan

standart sapmasinin,buitiun pozitifgoriintilerinbirbirlerine olan oznitelikvektorleriiki

goriintui

arasindaki uzakligin

oMqtimtinde

uzakliklarinin standartsapmasina olanoranlylabulunur.Teknigin kullanilmaktadir.

etkinligi, farkli oznitelikleringodriuntunuinfarkliyerlerindeki one- Her ne kadar

goriintulnun biitiinuinden

clkarilan

6znitelik-minibelirten agirlik degerlerinin kullanimlyla, TRECVID vi- ler sonucundasinirliveriler

tizerinde

basarili sonujlar

alindlysa

deokuimesindekisporhaber videolarluizerinde

g6sterilmi§tir.

da kapall ve

aclk

alanda

kaydedilmis

olan habervideolarinda aydinlatma,yer,durusvekapatilmayla ilgili pek coksorun yasan-Abstract maktadir.Bu nedenle,

gorulntulnuin

butitinuinden

clkarilan

ve

go-Content-based retrieval in news video databaseshas become an ruintuiyuisinirli sekildeifade edebilenozniteliklerilegorufntuideki

important taskwith the availability of large quantities of data in nesne

qesitliligi

vearkaplan karmabikligi modellenememekte-both public andproprietary archives. We describe a relevance dir.Diger taraftan azsayidahomojenboltimlere ayrllmls gorun-feedbacktechniquethat captures the significance of different fe- tuiler (Corelveritabanindaki gibi)uizerindekullanilanpek ok atures atdifferentspatiallocations in animage. Spatialcontent taninmis otomatikparcalamateknikleride,

diti§ik

qozuinuirltiklfu

ha-is modeled by partitioning images into non-overlapping grid ber videolarinda

dtitiuk

veri kalitesi veyuikseknesne

qesitliligi

cells. Contributions of different features at different locations nedenleriyleiyisonuclarvermemektedir.

aremodeledusingweightsdefined foreach feature in eachgrid Bu

qalismada,

ilk olarakgoruntuleribirbirinden ayrik parca-cell. Theseweights areiteratively updatedbased on user's fe- lara bolerek iceriklerini modelledik. Bireysel olarakgoruintudeki

edback in terms ofpositive and negativelabeling ofretrieval her bir bolge icin renk, doku ve ayrit gibi oznitelikleri clkardlktan results. Giventhis labeling, the weightupdating scheme uses sonra, bu ozniteliklere vebelli agirlik degerlerine gore hesap-the ratios of standard deviations of hesap-the distances between re- ladigimiz

goiriuntuler

arasi uzakliklarl aralarindaki benzerlikleri levant and irrelevant images tothe standard deviations ofthe belirlemek icin kullandik. Her bir ozniteligin her bir bolge icin distances between relevantimages. Theproposedtechniqueis hesaplanmis olan agirlik degeri, bu ozniteligin o bolge icin

one-quantitativelyandqualitativelyevaluatedusing shots related to minibelirtmektedir. Kullanicinin sorgulama sonucu donen sonuclar several sports fromthe news video collection of the TRECVID arasindanpozitif ve negatif olarak etiketledigi

gorulntuflerle

verdigi video retrieval evaluationwhere theweightscouldcapture rela- geribeslemesi, her sorgulama oncesinde bu agirlik degerlerinin tivecontributions of different features andspatiallocations. giincellestirilmesiicin kullanilir.

Onceki

ilgililik geribeslemesi teknikleri,metinselbelge

sor-1. GiriE gulama

literatuirunden

alinansorgunoktasihareketi [4] ile

o5zni-teliklerinagirliklandirilmasini yeher sorgulamada buagirliklarin

Son yillarda teknolojideki hizli geli5smeyle beraber gerek ka-

guincellenmesini

[5, 6]i5cermektedir.Daha yeni

5cali5smalarda

ise musal gerekse

oizel

ar5sivlerde

c5ok buiyuk

miktarlarda

5cogul

or- en uygun

agirliklari

veya

oiznitelik dointi5tmlerini

hesaplamaya tam

yeni kullanmil goizlenmektedir.

Ozellikle

go5rsel o5ge,

sesye

5cali5an

eniyileme

tabanli

teknikler [7, 8]

ye

de

goiruntu yeni

Bu

gal1isma

TUBITAK 104E077

ye

DPT 2004K120720

numarali

tabanini

siniflandirmayi

oigrenmek

ic5in

pozitif

ye

negatif geri-projeler tarafindan

destek1enmiostir.

besleme

oirneklerini

kullanan destek

vektoir

makinesi (support

vectormachine) gibi teknikler [4] yayginlasmaktadir. Fakat ge- larl yapilarak, kelimeleri iceren goriuntuiler sorgulama sonucu ribesleme ormeklerinin yetersizligi nedeniyle eniyileme tabanli olarakdondriilur. Bu demec ozetleri, ham olan video metninin teknikler pek uygulanabilir degildir [7]. Ayni zamanda destek koklerine aylrma, etiketlendirme, frekans tabanli siizgecleme vektor makinesi teknikleri de az sayida ornek kullanilmasi ne- gibi islemlerden gecirildikten sonrakihalidir.

deniyle yakinsaklik ve kararlilik sorunu yasayabilirler [9]. Metin tabanli sorgulama sonrasinda kullanici kendisine donen Bizim bu makalede onerdigimiz teknik, agirlik guincelle- gorulntuilerarasindan bir ya da birdenfazlagoruntusecervebu meye dayanan ilgililik geribeslemesi kullanmaktadir[10].Agirlik gorsel sorgulama ormekleriyle beraber buitiin veri tabani

uize-degerleri, pozitif ve negatifgorulntfler arasindaki uzakliklarin rindeoznitelik vektorlerine dayandirilan gorulntuitabanli bir arama standart sapmasinin, pozitifgorulntullerinbirbirlerine olan uzak- gerceklestirilir.Bu ilkgorsel sorgulamada, gorulntuflerarasi ben-liklarin standart sapmasina orani seklinde bulunmaktadir. Bu

zerlikler, gorulntulnuln

her parcasina ait

oznitelik

vektorlerinin

teknigin

ba§arimi

TRECVID videosorgulama yarismasina [1] arasindaki Euclidean uzakliklar bulunarakhesaplanir. Ilk gorsel

aitsporhaber videolarl kullanilarak degerlendirilmistir. sorgulama dongulsulndeher birgoruntu parcasina ait her

ozni-Makalenin geri kalani su

§ekilde

organize edilmistir: 2. bo- teligin bu sorgulamaya ayni oranda katkisi oldugu

varsayllir.

limdeuzamsal lzgara plani uizerinden elde edilen alt duizey ozni- Son olarak bundan sonraki

sorgulamalarda

kullanici kendisine teliklerlegorulntuigosterimi anlatilmaktadir. Metinsel vegorsel donen

goruintui

sonuclarini pozitifya danegatifolarak etiketler. sorgular kullanilan erisim senaryosu 3.bolfumdeyer almaktadir.

4.

bolulmde doinguflu erisim icin

ilgililik geribeslemesine, son

4.

Ilgililik

Geribeslemesi

olarak 5.b6ftilmde ise

deneysel

sonuqlara

yerverilmi~tir. Veri

tabani aramasinda,

geribesleme

bilgileri,

go5riuntuler

arasi

2.

Gojruintiu

Modellemesi

benzerlik hesaplama

asamasinda

her bir oznitelik

vektorunuin

her bir

goruntu

parcasina

olankatkisini

degistirmek icin

kul-Bu

qallsmada,

gorulntuflerin

uzamsal iceriklerini

go5riuntuleri

par- lanilir. Bu katki

degisimi,

her bir

parca icin

her bir

oznitelik

calara aylrarak modelledik. 5 sira ve 7 suitun olmak uizere 35

vektoriine

bir agirlik degeri atanarakvebu agirlikdegerlerini

ayrnkparcalara bolduiguimuiz 352 x 240 6ziintirliklhivideo

go-

her

dongui

sonucundaalinangeribesleme bilgilerinegore

guincel-ruintiilerinin her bir parcasi icin renk, doku ve ayrit ozelliklerine leyerek

gerqeklestirilir.

Sekil

1'de

gorulduigui uizere

i numarali dayanan alt duizey oznitelikler clkardik. Bu parcalardaki pik- siradave j numarall

suitunda

yer alan

parcaya

ait k numarali sellerin RGB, HSV ve LUV degerlerinin ortalamasi ve stan-

oznitelige

atanan agirlikdegeriWijk ile

gosterilmektedir

(i =

dartsapmasi o parcanin renkozniteligini,bupiksellerin3farkli I .... 5, j = 1, .... 7 ve k = 1,...

.5).

Elimizde iki ayri

oMqekte

ve 4 farkliyonelimde Gabor dalgaclk tepkilerinin is-

grintui

oldugunuvarsayalim.Ilkolarak i numarallsiraj numa-tatistikleri ise parcanin dokusalozniteligini temsil eder. Canny rall

stitunda

bulunan

parcalarin

knumarall oznitelik vektorleri ayrntdetektor clktilarnningradyan yonelim degerlerininhistog- arasindaki uzakligihesaplayalim vedegerine dijk diyelim. Bu ramlarl iseayrntoznitelikleri olarak kullanilir. Ayrit oznitelikleri durumda, iki

gorunti

arasindaki geneluzaklikya da benzerlik 45 derecelik araliklarlapiksel yonelim degerlerinisayan 8 kutu hesapladigimizher bir

parca

arasindaki uzakliklar kullanilarak

veayrnt olmayan piksellerinsayisini tutan bir kutudanolusan9 d Wjkdj

elemanli birhistogramkullanilarak 6zetlenmektedir. E E E Wiikdiik (1)

Buislem sonucundaher birgoiruntuiparcasi i in 5 ayri 6zni- i j k

telikvektoruelde edilir. Buvektorler,RGB, HSV ve LUV ista- olarakhesaplanir.Bu

qalismada

her biroznitelik bileseni icin

tistiklerininher biri icin6,Gaboricin 24,ayrnt yonelim histog- ayrnbiragirlik kullanilmamistir.Bununnedeni, boylebir

i§lemin

ramlarlicin 9deger icerir. Her bir oznitelikvektorunuinbireysel her bir iterasyonda cok sayida parametrenin kestirimine gerek

bilesenleri,

btitiun

oznitelikerimleriniyaklabikolarak

eqitlemek

duymasivedolayislyla geribeslemedekullanilanorneksayisinin veher biri icin benzerlik hesaplamalarindahemen hemen ayni azolacagig'oz o'nuinealindiginda

kitiqik

orneklem problemi (small

etkiaraligini yakalamakicin birimdegisintisinenormalize edi- sample problem)ilekarbilabilmasini onlemektir.

lir. Burada farklioznitelik vektorleri vegoruntiparcalarl

arasin-dakiuzakliklarlhesaplarken su varsaylmlkullanmaktaylz.

Be-3. Goruntu

Eri§imi

lirli bir

parcanin

belirli bir

oznitelik

vektorunuin

o anki sorgu

gorunturnisinde

onemlibiroznitelikolmasiicin,geribesleme ola-Neyazlkkigorunti parcalamasikullanilsa bile kullanilanhicbir rak verilen pozitif

goruintui

ornekleri belirtilen parcanin bu

ozni-oznitelik

ylkarma

algoritmasitamamen

ba§arill

sonuclarverme- telik vektoru bakimindan birbirlerine benzerolmall,yani bu

ozni-yebilir,birbirinegorselolarak benzerolmayan parcalarin6zni- telik vektorlerinin bu ornekler arasinda degisintisi dar olmalidir. telikleri birbirineyakin clkabilirvebu durumdasorgulamago- Diger taraftan da, pozitifvenegatif goruintui omekleri bu

6zni-ruintuisuindenilgisiz olangoruintfulersorgulama sonucunda gorule- telik bakimindan birbirlerinden farkli olmall, yani bu

6znite-bilirler. Anlambilimsel ucurum(semantic gap) denilen buprob- lik vektorlerinin pozitifvenegatif ornekler arasinda degisintisi lem, etkilebsimli eribsimi, benzerligin

ye

insan

algilamasindaki

genibs

olmalidir.

Bu nedenle agirlikdegerleri pozitifyenegatif

oiznelligin uist duizey

ibcerigini

korumaya

yoinelik

bcok

oinemli

bir

goiruntuiler

arasindaki uzakliklarin

standart

sapmasinin

pozitif

arabtirma

problemi haline getirir.

goiruintuilerin

birbirlerine olan

uzakliklarinin

standart

sapmasina

Eribsim

senaryomuzda,

kullanici

ilk olarak

sorgulamasina,

orani bseklinde

bulunur. Ilk sorgulamada ise

agirlik

degerlerinin metin sorgusu olarak bir ya da birden fazla anahtar kelime gire- her

bini 1l'e

ebsitlenir.

rek

babslar.

Babslangibc

olarak bu kelimelerin, otomatik

konubsma

Sonubc

olarak,

agirlik

degerleri belirli bir sorgu

goiruintuisu

ibcin

gerleri bir goriintui icin farkli bolgelerde farkli oznitelikleri

mo-delleyerek

goruintiuler

arasibenzerliklerin

hesaplanmasinda

onemli birbalarielde

etmi~,

btitin znitelik

kombinasyonlarl

i in

geri-bildirimle alinansonualar

geribildirimsiz

sonuslaragy( redaima

|

RGBistatistikleri ||Gaboristatistikleri|

Edgehistogramni

(a) Futbol (b) Basketbol

bSekil 1: 3 x5'likbirizgara planiornegiyeher birparbcaya denk Tei Butnkteorle gelenagirlikdegerleri. Deneylerde 5 x 7'likbir planye 5ayri 61 =11lkdSongguu 051 -liksIsgl-.

1.d-g. ~

konumlaritemsil eder.Ornegin bSekil1 deki resimde seyirci ka- 2 5\;

labaligininbulunduguuist kisimdadokusaloiznitelikler oinemliy- 0 2 ~ = =

kenyebsil sahanin genibsyerkapladigi altkisimlardarenk ozni- 0

telikleri daha agIr b a s m

aktadir.si

isi(Nurrlb., -ges rtrieved) Erisil- gorutusyisi(Nurrlb., -ges rtrieved) (c)Tenis (d) Btunkategoriler

5. Deneysel Sonuivar

ekil

3:pllk

sorgu ye daha sonraki 3 geribesleme

dotngusl

iin

TRECVID 2005

yaribsmasina

[1]ait 137 adet haber videosu

uize-

RGB,HSV, LUV renk

o5znitelikleri

yeGabor doku

o5znitelikleri

rinde makalede bahsettigimizteknikleri uyguladik. TRECVID kullanilarak elde edilen sorgulama

sonubclari.

x-ekseni eribsilen katilimcilari tarafindan elle etiketlenen futbol, basketbol, golf,

goiruntul

sayisini, y-ekseni iseduyarlilik(precision) degerlerini tenis ye Amerikan futbolu olarak 5 ayri

tuirde

spor konulari goIstermektedir.

igeren

video goruntulerini, TRECVID yen tabanindaki 43907 anaiterleve

goriuntusul

iin ground truth olarakkullandik. Sekil

2'de herkategoriiedinornekvideogoIrntuleriyeralmaktadir. 6. Kaynakca

Elde ettigimiz bu ground truth'u otomatik sorgularn ret- [1] U.S. National Institute of Standards and

Tech-mek, 43907gsa

ruintugyi

her

sorgu

sonucunagkireslralamak, e nology, "TREC video retrieval evaluation (TREC-her

doingul

sonunda, elde edilen ilk 30

goiruntul

ibindeki her bir VID)," 2005. [Online]. Available:

http:llwww-goirulntulyu

otomatik olarak eger sorgu

goiriinttustyle

ayni gro- nlpir.nist.gov/projects/trecvid/ und truth grubuna ait ise pozitif, geri kalanlariise negatif

ola-r eB[2] Y. Rui, T. S. Huang, and S -F. Chang, "Image retrieval:

ground truth'da bulunanherbirgoirulntugitin 3 defa geribesleme -g- teh iques, E,isil-giretis, -g-

is-sues" Journal of Visual

Communication

and Image

Rep-ekil 3'te ground truth'daki farkli kategoriler

ieiin

degiik

resentation, vo

10,

sno1,p

39

Marh 1

oznitelik kombinasyonlari

kullanildgindaki duyarlilik

grafik- [3] A. W. M. Smeulders, M.

Worring,

S.

Santini,

A. Gupta,

.en

makale

(e.senirlami nedniyuesadec.bugraIkler

and

R

Jam, "Content-basedimage

retrieval

at the end of

ktlimcilastrlmbtarafna

(er

llle

etietlnenubl,l

s

bsaueebolu

golf,le

g6ini

aiii-kseiiedyrii

peiin

eelrn

goisterilmibstir).

Sbekil4

yes5

ise renk

o5zniteliklerini

kullandigimiz the early years," IEEE Transactions on Pattern Analysis futbolvebasketbolkategori sorgulamask5rneklerini

grstermek-

and Machine

Intelligence, vol. 22, no. 12, pp. 1349-1380, tedir.Bvtin oznitelik kombinasyonlarI arasinda, Gaboryerenk December 2000.

(RGB, HSV, LUV)

o5znitelikleri

enytuksek

ortalama duyarlndigi

[4] F. Jing, M. Li, H.-J. Zhang, and B. Zhang, "An efficient

vermilhle kategorierineayrit

yapslmnipek and effective region-based image retrieval framework,"

nemi

olmamasi

nedeniyle,

ayrit

yonelim

otzniteliklerinin

kom- IEEE Transactionson Image Processing, vol. 13, no. 5,

binasyonlara

katilmasl durumunda

performans ar

eki

gobzlenme-

h pp.699-709, May2004.

midtir.

Binalar, evler,

ofislerin yer

aldigl

aehir

girsentleri

i

aeren

[5] Y. Rui, T. S. Huang, M.Ortega, and S. Mehrotra,

"Re-kategorilerde

bu

oznitelikler bok

daha fazla

oinem

arz edebilir- levance feedback: A power tool for interactive

content-ler. based imageretrieval,"IEEETransactionson Circuitsand

Duyarlmlikta

en

buyuikyuikselme

ilk

doingul

sonucunda

elde Systems for Video

Technology, Special

Issue on

Segmenta-edilmiitir.

Bunu takip eden

doingurlerde

bu deger etrafinda bir tion, Description, and Retrieval of Video Content, vol. 8,

Sekil 2: Buitiun ground truth gruplarlicinornekgorulntuiler.Yukaridanasaghya:futbol, basketbol, tenis, golf ve Amerikanfutbolu.

(a)Ilk sorgu sonuclari (19dogru) (a)Ilk sorgusonuclari(14dogru)

(b) Birincidongusonuclari (30dogru) (b)Birincidongiisonuclari(20dogru)

Sekil 4:Ornekbir futbol sorgususonujlarl(ilk 30gorufntui). 5ekil5: Ornek birbasketbol sorgusu sonuclarl(ilk30

goruntul).

[6] S.Aksoy, R. M. Haralick, F A. Cheikh, and M. Gabbouj, timallearningmethods,"inProceedingsofIEEE

Interna-"Aweighted distance approach to relevance feedback," in tionalConferenceonImageProcessing,vol. 3, Thessalo-Proceedings of15thIAPR International Conference on niki, Greece, October 2001, pp. 2-5.

PatternRecognition, vol. IV, Barcelona, Spain, September [9] X. S. Zhou and T. S. Huang, "Relevance feedback in

2000,pp.812-815. image retrieval: A comprehensive review," Multimedia

[7] Y. Rui and T. Huang,"Optimizing learning in image ret- Systems, vol. 8, pp. 536-544, 2003.

rieval," inProceedings of IEEE Conference on Computer [10] 5. Aksoy and 0. Cavus, "A relevance feedback technique Vision and Pattern Recognition, vol. 1, Hilton Head Is- formultimodal retrieval of news videos," in Proceedings land, South Carolina, June 2000, pp.236-243. ofEUROCON, Belgrade, Serbia & Montenegro, Novem-[8] T. S. Huang and Z. S. Zhou, "Image retrieval withrele- ber 2005.