Systematic evaluation of face detection algorithms on news videos

. .,rX7.00n

Yiuz

Bulma

Yontemlerilnln

Haber

V'ideolari ICln SIstemat'ik KarE1a tird1masi

Systematic

Evaluation of Face Detection

Algorithms

on

News Videos

Can

Acar,

Arda

Atlas,

Koray

Cevik,

IsaOlmez,

Mustafa

Unliu,

Derya

Ozkan,

Pinar

Duygulu

Bilgisayar

Miihendisligi

Boliimii Bilkent Universitesi, Bilkent, Ankara

Ozet,e

Haber videolarinin etkin eri,imi icin, haberlerdeki en 6nemli

oge

olanki,ilerinbulunmasiolduk,a 6nemlidir. Literatiurde ,ok ,esitliyiizbulmayontemi yeralmasina

ragmen,

kontrolliu or-tamlarda,ok iyi sonu,larverenbuyontemler,haber videolarinda verilerin ,esitliligi vegoriintiulerin giiriultiilii olmasinedeniyle

,ok iyi

qali*mamakta

ve olduk,ahatali sonuclarvermektedir. Ayricaher bir yontem farkli ozellikte ve sayidakiyiizleri bula-bilmektedir. Bu

qali*mada

varolanyontemlerdeneniyiverimin alinabilmesi amaciyla, yiizbulmayontemlerininsistematik bir

degerlendirmesi

yapilmi*tir.

Deneylerde, haber videolarindan

olusan TRECVID 2006verikiumesi

kullanilmi*

vedortfarkli

yiizbulmay6ntemi

degerlendirilmi,tir.

Abstract

Peoplearethe mostimportant subjectsin newsvideos and for properretrieval of people images; face detection is a very cru-cial step. However, face detection andrecognitionin news vi-deos is a verychallengingtask due to thehuge irregularitiesand

highnoise level in the data. In addition tothat, with different face detectionalgorithms,the number and the type of the faces maydiffer. In this study, inorder to get the bestperformance

fromexisting methods, systematicevaluation of these methods isperformed.Intheexperiments,newsvideosfrom TRECVID 2006data set are used and for evaluation four different face de-tection methods are chosen.

1.

Giri,

Geli,en teknolojiile birlikte ,okbiiyiikresim ve videoar,ivleri

ortaya

qikmi*,

bu ar,ivlere etkin ve hizli bir ,ekilde eri,mek biiyiikonem

kazanmi*tir

[1].Haber videolarindanolu,an ar,ivler, sosyal ve kiultiirel etkisininyaninda, resim, video, ses ve me-tingibifarklibir,ok veriyibir arada bulundurmalarindandolayi olduk,a onemli bir veri

kaynagidir.

Bu onemi

dolayisiyla

ha-bervideolari,NIST(AmerikanStandartlarEnstitilsil)tarafindan

diizenlenenTRECVIDvideoeri,imi

degerlendirme

yari*masinin

da konusunu

olu*turmaktadir

[2]. Bu

yari*mada

amac verilen bazi sorguciumlelerinedenkgelenvideoboliumlerini kullaniciya

sunmaktir.

Haber videolarinda en ,okrastlanansorgular ki,ilerile

il-giliolanlaridir.Yapilan

qali*malar

gostermi,tir ki,sorgusadece metiniizerinde yapilip

g6rsel

bilgi

kullanilmadigi

zaman

yanli*

sonu,larla

kar*ila*ilabilmektedir.

Ornegin,

birki,iileilgilibir haberspikertarafindan sunulurkenki,ininismige,mekte,oysa

ki,inin

goriuntiusiu

ilerleyen dakikalarda,belki oki,i konu,urken

verildiginden,

kisive isim arasindaki ili,ki kaybedilmektedir.

Bunedenle ,ogu zaman ses tanima yontemlerinin

iirettigi

me-tinler iizerindeyapilan sorgularhatali sonuc iiretmekte,istenilen kisining6riintiusiiyerine spikering6riintiusiukullaniciya sunul-maktadir.

Sorgulanan kisiile ilgili

dogru

habergoriintiulerinin bulu-nabilmesi i,in gorsel verilerin kullanilmasi ve otomatik olarak

yiizlerin taninmasi gerekmektedir. Ancak, yiizii tanima prob-lemi,yapayzeka vebilgisayarlagoriintiualanlarinda ,ok

qali*ilmi*

bir konu olmasina

ragmen,

heniuz ,cziulmius

degildir.

Elde edi-len

ba*arili

tanima oranlari kontrollii ortamlarda ,ekilmi, re-simleri,erenveri tabanlarinda sinirli kalmaktadir [3].Ozellikle

videogibi poz ve aydinlatmanin ,esitlilik

gosterdigi

veresim

c6ziuniuruliguiniin dicuisk oldugu

vern

ar*ix

lerindeyiiztanimak,ok

daha zor birproblemhalinegelmektedir. Gercekzamanli ortam-lari dahaiyiyansitanbugibiveritabanlariuizerinde yiiztanima

problemini incelemek,kontrolliuortamlarda elde edilmi, resim-leri incelemekten ,okdaha farkli vegeni, kullanim alanlarina

sahiptir.

Yiiz tanimayontemlerininenonemli

a*amasi

goriintiudeyer alanyazlerin bulunmasidir. Bulunanyiizlerin sayi ve kalitesi

yiiztanimayonteminin

ba*arisini

dogrudan

etkilemektedir.

Li-teratiurde yiizbulmaama,li bir,oky6ntemyeralmakta[4],

an-cak ,ogu sistem videoar,iviningiiriultiiluyapisi vediusi,k c6zioniurliuigu

ne-deniyle yetersizkalmaktadir.Ayrica,farkliy6ntemlerfarkli sayi ve6zelliktekiyiizleri bulmakta, hi,bir y6ntemtek

ba*ina

iyibir sonuc iuretememektedir.Sonrakia,amalardayiizbulma

y6ntem-lerinden eniyiverimin alinabilmesii,in,kullanilacaky6ntemin cok iyi

degerlendirilmesi,

eksikyanlarinin

anla*ilabilmesi

ge-rekmektedir.

Bu

qali*mada,

yiizbulmayontemlerinin ozelliklerinin

anla*ilabilmesi

veilerikia,amalarda birlestirilebilmesi amaciylafarkli yontem-lerindetaylibir

degerlendirmesi

yapilmi*tir.

Literatiurdevarolan

cok sayidayontemarasindanse,im yapilirken probleme uygun-luk ve daha sik kullanimg6z 6niindebulundurularakdortfarkli

y6ntem

se,ilmi,tir.Bunlarensik kullanilan

y6ntemlerden

biri

olantenbulma

y6ntemi

[5],

literatiurde

varolanoldukca

ba*arili

yontemlerden biri olan Rowley, Baluja veKanade tarafindan

gelistirilmi, olan yontem [6], haber video ve

fotograflari

uize-rinde daha onceba,ka

qali*malarda

da

kullanilmi*

olan bir

yontem

[7]veeri,iminin

kolayliki

nedeniyle olduk,asik kullanilanOpenCV

tarafindan

saglanan

yontemdir [8].

Deneyler,TRECVID 2006haber videolariiizerinde

yapilmi*

ve sonu,lar oldukca geni, bir ,erceveden se,ilen 1000 resim

Sekil 2:Elle

etiketlenmi*

dogru

yuiz bolgeleri.

$ekil1

I Videodan

yiiz

6rnekleri

2.

Yuz Bulma Problemi

Yakin tarihli bir

qali*mada,

ger,ek hayattaki

fotograflari

daha iyi yansitmasi amaciyla Yahoo haber kanali uizerinden

topla-nan

fotograflarda

var olanyiiz tanima algoritmalarinin

ba*arisiz

oldugu gozlenmi,tir[9]. Bu

qali*mada

verilenyiiztanima oran-lar %10-17araligindadir. Bu sonu,lardan da

anla*ilacaki

uizere,

gercekveriar,ivlerindeyiiztanima,okdaha zor birproblemdir.

Bunaneden olarak, resimlerdeki poz degi,iklikleri, aydinlatma

farkliliklari, ifadedegisiklikleri, resimdeki diuzeltmelerve

re-simlerin ozuiniuruligi g6sterilebilir. Ayni etmenleryiiz bulma yontemlerinin

ba*arisini

dabenzer,ekilde etkilemektedir.

Videodakiyiiz orneklerinin ,esitliligi

$ekil

1'degosterilmi,tir. Orneklerdendegoriildiuigu uizere, videodaki resimlercokfarkli ortamlarda ,ekilmi,,farkliboyutlarda yiizleri icermektedir.Poz ve ifadeler ,okca degi,iklik gostermektedir. Yiizler ,okkiiuiik olabilmekte; ondenyadayandan degi,ik acilarda ,ekilebilmekte; sakal, biyik,gozliuk, ,apkayadae,arplabir kismikapatilabilmekte;

irksal ten rengi farkliliklari gosterebilmekte; ya da

i*ikin

farkli

a,ilardanvurmasinedeniyleg6lgelenebilmektedir. Biitiunbu et-menler,g6riintiulerdeyeralanyiizlerinbulunmasini

zorla*tirmaktadir.

Bu nedenle video ar,ivleri,yiizbulma ve tanima algoritmalari

i,in ,okzorbiruygulamaortami

olu*turmaktadir.

3.2. Yontem 2

Yontem 2 olarak

tanimlayacagimiz

Mikolajczyk [7] tarafindan

gelistirilmi, yiiz bulmayontemi, yiizlerin pozisyonuhakkinda bir kisitlamasi olmayan,

kar*idan

veyayandanbakan yiizleri

iki adet detekt6rle bulabilen bir y6ntemdir. Daha 6nce haber video ve

fotograflari

uizerindekibenzerbaska

qali*malarda

da

kullanildigi

ic,in tercih edilmi,stir.

3.3. Yontem3

Yontem 3 olarak

tanimlayacagimiz

yontembir,ok onemli re-simi,lemevebilgisayarli gorme algoritmalarini gercekle,tiren

C++ siniflarinin birkoleksiyonu olanOpenCV'den se,ilmi,tir

[8].Yontemdenesneleri,inistatistiksel birmodel(tanimlayici)

egitilir

venesneleri bulmaki,inkullanilir. Oncelikliolarakyiiz

tanimlamak i,in

kullanilmi*

olan bu yontem, istatistiksel mo-del i,in basit Haar tipi 6zellikler ve kademeli

hizlandirilmi*

siniflandiricilar kullanmaktadir.

3.4. Yontem4

Yontem 4olarak

tanimlayacagimiz

Rowleyveekibi tarafindan

gelistirilmi, olan yontem [6] iki

a*amali

birnoral

ag

kullanmak-tadir.Literatiirdeki

ba*arili

yotemlerden biri oldugu i,in se,ilmi,tir.

4. Degerlendirme

Buyontemlerinsistematik bir,ekilde

degerlendirilebilmesi

amaciyla,

3. Degerlendirilen Yontemler

TRECVID 2006

veri

kiumesi i,erisinden

farkli

boyut, poz

ve ozellikte

yiizler

i,eren1000video karesise,ilmi, ve

yiiz

bolge-Bu

qali*mada

probleme uygunluk,

ba*ari

vesik kullanim kriter- lerielle i,aretlenmistir.

$ekil

2'de bukiume i,erisinden 10 re-leri gozoniindebulundurularak

degerlendirilmek

iizere

a*akidaki

simuizerinde elle etiketlenen bolgeler gosterilmektedir. Bu1000 dortyotemse,ilmi,tir. resim uizerinde d6rt y6ntem ayri ayri

qali*tirilmi*

ve

her bir

y6ntem

i,in

ba*ari

orani, bulunan

yuiz b6lgeleri

ile

dogru

yuz

3.1. Yontem 1

b6lgeleri

kar*ila*tirilarakyapilmi*tir. Ancak, bulunan ve

i,aretlenen

yuiz b6lgeleriher zaman tam olarak

fist

iiste

gelmedigi

vefarkli Tenbulma tabanliyontemleryiizbulmadaolduk,asik kullanilmaktadir.

buiyuikluikte

olabildigi

i,in

degerlendirme yapilirken

kui,ick

de

Ba*ari

oranlaridiger yontemleregoredaha

diu,isk

olmasina

ragmen,

olsa bir

qaki*ma

varsa

dogru

sayilmi*,

degilse

sonu,

yanli*

ola-kar*ila*tirmada

bir taban ,izgisi olusturabilmekveileriki

qali*malarda

rak

yorumlanmi*tir.

Buvarsayimile alinan

sonuclar

Tablo

1'de

diger yontemlerle birle,tirebilmesi icin iyivekotii yanlarinigore-

ozetlenmi,tir. Sonu,lar yiiz

olan bir

bolgenin

dogru

olarak

i,aretlenmesi

bilmek amaciyla se,ilmi,tir. Bu calismada [10]'datanimlanan

(Dogru/Dogru),

yiiz

oldugu

halde yontem tarafindan buluna-tenrengitabanliyuizbulmayontemi

kullanilmi*tir.

Bu

cali*mada

mamasi(Dogru/Yanli,)

ve

yiiz

olmayan

bir

bolgede

yontem

ta-RGB renk uzayinin

i*ik

parlaklikina

olan

hassasliki

nedeniyle rafindan

yiiz

bulunmasi

(Yanli*/Dogru)

,eklinde verilmi,tir.

RGBrenk

degerleri

YCbCr uzayina

qevrilmi*tir.

Yapilan

ara*tirmalarda

Gruildiugii

uzere bu yontemler sirasi ile ,u geri cagirma

veveriarsivinde yapilan incelemeyletenrengininYbilesenine vekesinlik

degerlerini

vermektedir:

(0.539, 0.672), (0.264, 1),

bagli olmadigi,

CbveCr

degerlerinin

ise tenrengi i,in

kiiuiik

bir

(0.551, 0.876), (0.454, 0.954).

Bu

sayilar,

bu

degerlendirme

ile

aralikta

kuimelendigi

g6ruilmui,tfir.

Kullanilan

y6ntem

bu veri- Y6ntem

3'uin

daha

iyi

oldugunu

g6stermektedir.

Tablo 1: Yuz olan bir b6lgenin

dogru

olarak

i*aretlenmesi

(Dogru/Dogru),

yiiz oldugu halde y6ntem tarafindan

buluna-mamasi(Dogru/Yanli*)

veyuzolmayanbir bolgedeyontem

ta-rafitnan 1Zbulunmasi

(Yanhli/Dogirui

DogruJDogru

Dogru

Yanli Yanli

Dogru

Yontem 1 663 567 324

Yontem 2 325 905 0

Yontem 3 678 552 96

Y6ntem 4 558 672 27

$ekil

3: Her bir yontem tarafindan

qikarilan

dogru yuz bolgeleri.

arasindakikiiuiik bir caki,ma dahi

dogru

olarak

degerlendirilmektedir.

Oysa

qaki*ma

yiizdesi de yontemin

ba*arisi

hakkindaolduk,a

onemli bir etkendir. Bu

degerlendirmenin

yapilabilmesi amaciyla

$ekil

4'te

gosterildigi

iizere

qaki*an

bolge B,

dogru

yiiz

bolge-sindegeride kalan kisim A, bulunanyiizbolgesinde geride

ka-lankisim ise C olarak

adlandirilmi*

veB/(A+B) ve B/(B+C) oranlari

hesaplanmi*tir.

B/(A+B) varolan biryuzunne kadar

dogrulukla bulunabildigini,

B/(B+C)oraniiseyonteminne

ka-dar

dogrulukla

biryiiziu

bulabildigini

gostermektedir.

$ekil

5'de

y6ntemlerin bu oranlarag6re

ba*ari

yulzdelerinin dagiimini

g6ster-mektedir. Biry6ntemin

ba*arisi

grafiklerinnekadarsaga (bulyulk

yiizdelere) yakinolduguna

baglidir.

1000'likveri tabani iistiinde yapilan testlerde, kesi,meorani

sadece 0.01 verilsebile, bulunan yuiz oranlarinin 0.55iniistiune

,ikmadigi

gorilmiu,tuir. B/[A+B] olarak

bakildiginda

Yontem

3'finiyi bir performans

gosterdigini

gormekteyiz. Fakat Yontem 3 ile bulunan alan,

dogru

yuiz alaninin

di*ina

fazla

,iktigi

i,in, geri kalan alanorani(B/[B+C])olarak

bakildiginda

Yontem4

daha

dogru

sonu,lara

ula*maktadir.

Bunun nedeniYontem 4'te

bulunanyuiz alanining6zulstiinden hemen kesilip, dudak

son-rasindasonbulmasidir. Y6ntem 2'de ise bunlardan daha farkli amaaynizamanda daha kesinsonu, verenbiralgoritma

bulun-maktadir, amabu durumbir,cok yuizuin atlanmasina neden

ol-$ekil

4:

Kesi*im

alanlarig6sterimi.

maktadir. Yontem 1 iseyiiziunduru, a,isina

bagli olmadigi

i,in

yandan ,ekilmi, olanyiizresimlerinde dahaiyisonu, vermi,tir.

Fakat tenrengib6luimlemesindeiyi bir algoritma

kullanilmadiki

i,in ,ikansonu,lar

dogrultusunda

bu algoritmanin sadece yardimci

ama,likullanilmasi

gerektigi

sonucuna

ula*ilmi*tir.

Bu

bulgu-lar sonucunda vegrafikler

dogrultusunda,

Tablo-1'de

de alinan sonuc ile uyumlu olarak, bu verikiimesi i,in Y6ntem3'uinen

ba*arili

algoritma

oldugunu

gormekteyiz.

$ekil

3'deyontemlerin yukarida gosterilen10resim

uizerin-dekisonu,larigosterilmektedir. Gruildiuigu iuzereYontem1,ten

rengininyiiz

di*inda

ba,kabolgelerde

gecmedigi

ve ten rengi-nin netg6riuldiugiiresimlerde

ba*arili

olurken,Y6ntem2yiiziun a,ikbir,ekilde g6riuldiiuig veaynizamanda 6ncepheden yiiziu g6ren

resimlerde

ba*arili

olmaktadir. Y6ntem 3 ise yine 6n

cephe-den ,ekilmi, yiizlerde ve digerlerine oranla daha kiiuiik

pik-selleresahipyiizlerde

ba*arili

olmaktadir,buna

ragmen

,ekilde goriuldiuigu iuzerebazi resimlerdefazladanyiizbulabilmektedir. Yontem 4 onden cekilmi, yiiz resimlerinde ve yiizlerin fazla yan yana

gelmedigi

resimlerde

ba*arili

olmaktadir.

5.

SonuV

ve

Degerlendirme

Bu

qali*mada

yiizbulmay6ntemleri olduk,azorbir verikiumesi

olan TRECVID 2006 haber videolariuizerinde

kar*ila*tirilmi*tir.

En cokkullanilan yontemlerdenbiri olan ten bulmayontemi,

farkli verikiimelerinde

ba*arisini ispatlami*

olan

Rowley-Baluja-Kanade yontemi, benzer

qali*malarda kullanilmi*

olan

Miko-lajczyk yontemive

ula*ilabilirlikinin

vekullaniminin

kolayliki

nedeniyle

se,tigimiz

OpenCV'den secilen dortyontem

kar*ila*tirilmi*

vesonu,larelleetiketlenmi, 1000resimuizerinde

degerlendirilmi,tir.

Bu

qali*manin

amaci,yiiz taniyabilmek amaciylaen

dogru

yiiz bolgelerinin bulunmasidir. Elde edilen sonu,lar Yontem

3'fin

bu verikiimesindeen

dogru

sonuclari

verdigini

g6stermektedir.

Ancak

y6ntemlerin

artive eksi

y6nleri g6z

6niine

al1indiginda

y6ntemlerin

birle,tirilmesinin de daha iyi sonu,lar verebilme ihtimali

gorullmu,stuir.

6.

Te~ekkur

Yardimlarindan dolayi Muhammet Ba,tan'a te,ekkiurederiz. Bu

qali*ma

TUBITAK Kariyer 104E065 ve TUBITAK 104E077

no'lu projelertarafindandesteklenmistir.

7.

KaynakVa

[1 C.G.M. Snoek and M. Worring, "Multimodal video

inde-xing: Areview of thestate-of-the-art," Multimedia Tools andApplications, 2005, Acceptedforpublication.

[2] "Trec video retrieval evaluation,

http:Hwww-nlpir.nist.gov/projects/tv2005,".

[3] W. Zhao, R. Chellappa, A. Rosenfeld, and P. Phillips, "Face recognition:Aliteraturesurvey,"2000.

[41 Kriegman

D.

Yang

M-H. and

Ahuja

N., "Detecting

fa-cesinimages:Asurvey," IEEETransactionsonPattern

Analysis and MachineIntelligence,vol.24,no. 1,pp.

34-58,2002.

[51

"Skin segmentation using color pixel classification: Analysis and comparison," IEEE Trans. Pattern Anal.

Mach.Intell.,vol.27,no. 1,pp.148-154,2005, Member-Son Lam Phung and Sr. Member-Abdesselam

Bouzer-doum and Sr.Member-DouglasChai.

[6] Henry A. Rowley, Shumeet Baluja, and Takeo Kanade,

"Neural network-based face detection," IEEE

Transac-tions onPatternAnalysis and Machine Intelligence, vol.

20,no.1,pp.23-38,1998.

[7] KrystianMikolajczyk, FaceDetector, Ph.D.thesis, IN-RIARhone-Alpes.

[8] "Opencv: Opensourcecomputer visionlibraryreference

manual,".

[9] T.Berg,A. C.Berg,J.Edwards,M. Maire,R.White, Y.-W.Teh, E.Learned-Miller,and D.A.Forsyth, "Faces and

names inthenews," inIEEEConf onComputer Vision

and PatternRecognition(CVPR),2004.

[10] Chang-TsunLiWen-Hsiang Lai, "Skin colour-based face detection in colourimages," 2006,pp.56-56.

$ekil5: Herbiryontemiyin

ba*ari

yuzdeleri Yontem I

Yontem2

qW0

2_

2m~~~~~~~~~~~~~aFkWimyrSE

Yontem3

B,rAtBheWsWyCtiEC

WD-Yoritem:4

..~~~~~~~~~~~~~~~~~~~~---4 t F G<JA; CP1 V '1 n- S i 4 4 @ n , X @ _ Q Z

E3ABhFP

rk

s~~~~~~~~~~~~W- k-. :d&

1i||.

||j11

llllllll,

llll1ll1 11

11~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~...