Ses
ve
Video Iaretlerinde Sakli
Markof Modeli Tabanl
Dfien
Ki~i
Tespiti
HMM
Based
Falling
Person
Detection Using
Both
Audio
and
Video
B.
Ugur
Toreyin,
Yigithan Dedeoglu,
A.Enis
(7etin
Bilkent
Universitesi,
06800
Ankara
{bugur,yigithan,cetin}@bilkent.edu.tr
Ozet
,cet~e
edu,sen ki,i
tespit
yontemi
onerilmektedir.
Verilennihai
kararda video i,aretinin hemgorulntul
hem de ses verileri etkili Videoda du,sen bir ki,inin otomatik olarak tespitedilmesi,
olmaktadir.kapali devre televizyon ve ev i,i destek sistemlerini kapsayan Onerilen video
,czumleme algoritmasi,
mevcutimge
gulvenlik
alanlari i,in onemli bir uygulamadir. Bu bildiride,,er,evesindeki
hareketlibolgelerin
tespit edilmesiyle ba,lar.video i,aretindeki insan hareketi, sakli Markofmodelleriyle Hareketli bolgeyi ,evreleyen en
kiiuik
kutu ve buna ait modellenmi,tir. Buna ek olarak, videoyla birlikte kaydedilen parametreler kestirilir.Boylelikle,
videodaki hareketlinesneye ses i,aretleri de, du,sen bir ki,iyle, yere oturan bir ki,iyi ait tekboyutlu birzamandizisi sinyali elde edilmi, olur. Bu birbirinden ayirdetmedekullanilmi*tir.
Pek ,ok video kayiti,aretin dalgacik donu,sumu
hesabedilir ve elde edilen yeni sistemi,ayni zamanda seskaydidayapabilmekte vedu,senbir i,aret, onceden ,e,itli insan hareketleriyleegitilmi,
sakli ki,inin,ikardigi
ses fazladan bir ipucu olarak bulunmaktadir. Markof modellerinde kullanilir.Dalgacik
alanindaki Ses i,aretine ait sonu,lar da sakli Markof modellerinei,aretlerin,
zaman alani sinyallerine gore daha iyisonu,lar
dayandirilarak elde edilmekte ve video i,aretine ait sonu,laverdigi
gozlenmi,tir. Bunun nedeni, dalgacik i,aretlerinin birle,irilip sonkarar verilmektedir. ilgili sinyaldeki anidegi,ikliklere
duyarli olmasi ve i,aretinduragan
kisimlarini ihmal etmesidir.Ses ,ozulmleme yontemide benzer sebeple dalgacikalani Abstract verisini kullanmaktadir.
Ki,inin
olagan
hareketlerine ve Automatic detection of a falling person in video is andu,smesine kar*ilik
gelen sakli Markof modelleri, ses important problem with applications in security and safetyi,aretlerine
ait kararin verilmesinde temelte,kil
etmektedir. areas including supportive home environments and CCTV Bu karar, videoi,aretine
ait kararlabirle,tirilip
son karar surveillance systems. Human motion in video is modeled verilmektedir.using Hidden Markov Models (HMM) in this paper. In Nait-Charifve McKenna,
tulm
yonlu
bir kameradan eldeaddition, the audio track of the video is also used to edilen
goruntulerdeki
hareketli nesnelerin gezingelerindendistinguish a person simply sitting on a floor from a person
du,sen ki,ileri
tespitetmi,lerdir
[4]. Tumyonlu
bir kamerastumblingandfalling. Mostvideorecording systems have the yerine, daha
du,suk
maliyetli bir kamerakullanildiginda
capabilityofrecordingaudio as well and the impactsound of hareketli nesnelere ait gezingelerin kestirimi
zorla*maktadir.
afalling personis also available as an additional clue. Audio Ortamdatulm yonlu
bir kamera mevcutsa,onerdigimiz
channel data based decision is also reachedusingHMMs and metodla [4]'te anlatilanyontem
birliktekullanildiginda
,ok
fused with results of HMMsmodelingthe video data to reach daha dayanikli bir sistem elde edilebilir. Insan hareket afinal decision. gezingesine dayanan bir
diger
du,sme
tespityontemi
de [5]'teanlatilmaktadir. Ancak,
ne[4]'te
ne de[5]'te,
olaylarin
1.
Giris
tespitinde sesi*aretleri
kullanilmami*tir.
Video ,cozumleme algoritmasi ikinci, ses ,ozulmleme
Du,sen bir ki,inin tespiti, kapali devre televizyon ve ev i,i algoritmasi ise
u,cuincul
kisimda anlatilmaktadir. Deneysel destek sistemlerinikapsayangulvenlik
alanlari i,in onemlibir sonu,lar dorduincu! kisimda sunulmu,tur.uygulamadir. Yakin bir gelecekte akilli evler, i,inde bulunan
ki,ilerin
yaptiklarini
pek,ok gulvenlik
kamerasi
ve
2. Video
Isaretinin
Coziimlemesi
algilayicilarla izleyip, ona gore i,lem yapabilecek ve/veya Vd iae ..onlem alabilecek hale gelecektir. Bu evler, evin i,indeki
Video i,sareti
,cozumleme
yontemimizu,c
adimdan
bakima muhta,
ya*lilar
ve ,ocuklaraba*larina
kWtu bir,eyoluirmaktadr.
Ilkadimda
videodaki hareketlioilgeler
tespitgeldiginde,
yardimbilecagirabileceklerdir
[1,2,3]. Halihazirda edilir.Ikinci
adimda hareketli_nlgeye
ait en-boyoranIyla
ya,slilar
i,cin tasarlanan ye kullanilan giyilebilir algilayicilar ilintili i,saretin dalgacikdoinu,sumul
katsayilari hesaplanir. ivmeol,cer, pasif kizilberisi algilayici veya basinca duyarli U,cuncu ye sonadimda isedalgacik alani verilerikullanilarak algilayici gibi ,ce,sitli duyucular i,cermektedir. Ancak,ya,sli
ye sakliMarkof modelitabanli siniflandirma yapilir.bakima muhta,c ki,siler bunlari giymeyi siklikla unutabilmekte 2..Hrktib1gteit
ye kimi
zamanbu algl ayicilar
yanl1,S
alarm verebil
mektedi1r.
Yapay
go$ru
sistemleri,du,sme
tespitii,cin kullaniciya
yulk
Hareketli pikselye bolgeler
[6]'daanlatilan
arkaplan getirmeyense,cenekler
sunar. Bu bildiride, videotabanli
bir kestirimiyointemiyle
bulunmaktadir.
Buyo$ntem
kameranin
sabit bir konumda
bulundugu
varsayimina dayanmaktadir. e,ikdegeri
tanimlanmi*tir.
Ilk e,ikdegeri
olan Ti dalgacik Kameradan elde edilen gorulntulden bir arkaplan resmi katsayilarinin sifirayakinligini
belirtmektedir. Ki,ininolu*turulmaktadir.
Mevcut andaki arkaplan resmi, onceki du,smesinin ardindan ideal olarak dalgacik katsayilari sifir arkaplan resim imgesi ve mevcut andaki resim imgesinden olmalidir. Ancak gulrulltul ve du,sen ki,inin kimildamalari ozyinelemeli olarak bir sonsuz diirtul yaniti sulzgeciyle nedeniyle bu katsayilar sifir etrafinda kiiuik salinimlar kestirilmektedir. Hareketli bolge tespit yonteminin ger,ek gosterir. Dalgacik doniu,umul katsayilarindaki bulyulk zamandaqali*masi
gerekmektedir. Buyulzden,
kullanilan salinimlar ise T2 tarafindanyakalanir.Eger
ki,iye ait dalgacikyonteminhareketlibolgelerinsinirlarini hassas bi,imde tespit doniu,umul katsayilari siklikla bu ikinci
e,ig-i
ge,iyorsa, o edebilmesinden ,ok, hesaplamakarma*ikliginin
du,suk olmasi zaman bu ki,i muhtemelen yulrulmek ya da ko,mak gibi onem kazanmaktadir. Bu a,idan[7]
ve [8]'de anlatilan periyodik bir hareket sergiliyordemektir.yontemler yerine arkaplan kestirimine dayali yontemi tercih
ettik [6]. 2.3. SakliMarkof modelitabanlisiniflandirma
2.2.
Hareketlib.lgelerden
.znitelik
~ikarma
Bubildiride,bir ki,inin hareketinin siniflandirilmasi amaciylabinr yulrulmeye,
digeri
ise du,smeyekar*ilik
gelen iki tane ui, Video ,czumlemesindeki ilk adim sonucunda hareketli durumlu Markof zincirikullanilmi*tir,
$ekil
4a ve 4b. nesnelere ait enku,cuik
ku,atan kutular bulunur. Daha sonra Sifirdan bulyulk T1<T2 e,ikdegerleri
bu sakli Markof her nesneye ait en-boy orani, p, hesaplanir.Ornegin,
i. modellerininui, durumunu tanimlamaktadir.hareketli nesneye ait en-boy orani ,u ,ekilde hesaplanir:
p)4(n)
)(n)
(1)(n)
Bu ifadede,
Hi(n)
veWi(n),
n. ,er,evedeki i. hareketli nesnenin enku,cuik
kapsayan kutusuna ait sirasiyla boy ve endegerleridir.
Daha sonra buen-boy
oranlarina
aitdalgacik
donu,sulmul katsayilari
$ekil
1'deki yulksek ge,iren sulzge, vealt-orneklemeikilisinden
ge,irilerek
elde edilir.HPF 5ekil2:
Yulrulyen
birki,ininen-boyorani
p'ya ait zamanagoreyari-periyodik i,aret(ulstte),
vebui,arete4J
~
aitdalgacik
donu,sumusinyali (altta). Dalgacik
alaninda tanimlanan Ti ve T2e,ik
degerleri,
ki,ilerin en-boyoranifarkliliklarinadayaniklidir.5ekil
1:En-boyoranip1'ye
aitwi
dalgacik donui,smul katsayilari,tamsayiaritmetigi
kullananyulksek
ge,iren sulzge,ten[9] vealt-orneklemeden ge,irilerekelde edilir. V
Tek boyutlu en-boy oranina ait dalgacik doniu,umul i,areti,
sakli Markof modeli tabanli siniflandirmai,in oznitelik i,areti DWD_ Q"f"4MWA
olarak kullanilir. Bu
oznitelik
sinyalinin,
yulrulyen
vedu,sen
ki,siler i,cin farklilik
gosterdigi gozlenmi,stir.
Yuiruyen
bir' |.,.,ki,iyeaiten-boyoraninda ve bu orana ait dalgacik donu,sumu
i,aretinde yari-periyodik bir ozellik bulunurken,
$ekil
2,du,senveya oturanbirki,iyeaiten-boyoranii,aretindeani bir azalma gorulmektedir,
$ekil
3. Diu,en ki,iye ait dalgacikdonu,sumul i,aretinde de bu du,su,s ve sonrasindaki
duragan
.kil
3:Dl*en
birki*iye
ait tekboyutlu en-boy
oraniseyir yine
$ekil
3 'teg6irlllmektedir.
i*aretinin
zamanladeg1iimi
(ulstte),
vebudegi*ime
ait
En-boy orani
i*areti
yerine
bui*arete
ait
dalgacikdalgacik
d..n....i
sinyali (altta).
doniu,umul
katsayilari
kullanmanin ikionemli
getirisi
vardir.Bunlardan ilki dalgacik donu,sumunun periyodik olmayan i,aretlerdekibu
karakteristigi
kolaycaortaya,ikarmasidir.Budurumdu,sen ki,i
orneginde
,ok faydaliolmaktadir. Ikincibir % Kgetirisi
de,
dalgacik
doniu,umul
i,aretleri
ortalamadegeri
sifir Solan sinyaller olduklari i,in, bu sinyaller i,in e,ik
degeri
atayabilmek
kolayla*maktadir.
Boylelikle,
kameranin
go$ru,s
alanindaki ki,silerin farkli
en-boyoranlarina
sahip S3: S3rolmalarindan
kaynaklanan e,sik degeri atama zorlugu ortadankalkmakta, belirlenen e,sik degerleri, ki,silerin en-boy f'
ol,culerinden
bagimsiz
olmaktadir.
Markof modellerindeki,ce,sitli durumlari tanimlamak
uzere,$ekil
2'degoisterildigi
5ekil
4: (a)Yulrumeye
ye
(b)du,smeye
kar,silik
gelen gibi,dalgacik
doinu,suimu
sinyallerii,cin
Ti ye
T2 olarak iki u,c durumluMarkofmodelleriEger
n anindawj(n)
<T] ise model SIdurumuda,
eger
T]< w1(n) <T2 ise S2 durumunda, ve
eger
w1(n)>T2 ise S3 durumunda bulunmaktadir. Sakli Markof modelininegitim
a*amasinda geqi*
olasiliklari olana1,andbuv,
u,v =1, 2, 3,
degerleri,
egitim
videolari kullanilarak kestirilir. Deneylerimizde, bu olasiliklarin kestirimi i,in yirmi ardimik video resmikullanilmi*tir.
Yulrulyen bir ki,inin hareketi yari-periyodik
oldugu
i,in,Markof zincirindeki ge,i, olasiliklarinin
yakla*ik
ayni5ekil
6:DO*me(0,9X105)
(solda),ye
konu*ma(0-degerlere
sahip olmasini bekleriz. Bu yulzden adegerleri
2,4xI05),
egilme(2,4xI05-2,9xI05),
konu*mabirbirine yakindir. Ancak, du,sen bir ki,inin dalgacik
(2,9x105-4,5x)05),yilrmme
(4,5xx052-5x15
5),
egilme
doniu,umul i,areti sifira yakin
degerler
almaya ba,lar. Bu(5x105-5,5x105), ye
konur
ma'ya(5,5x105)-6
X105)
yulzden
boo'in,
diger
turm
olasilikdegerlerinden
dahayulksek
kar*ilik gelen dalgacik i*aretleri, (sagda).olmasi beklenir.
Hareketin taninmasi
a*amasinda,
nesneye ait son yirmien-boy orani
degeri
ve budegerlere
ait dalgacik donu,sumu 3.2.Dalgacik
iaretlerinin
analizi katsayilari hesaplanir. Boylelikle yirmi elemanli bir durumdizisi elde edilir. Yulrulmeye ve du,meye
kar*ilik
gelen Ses sinyallerine ait dalgacik i,aretleri, be,yuzer orneklikMarkof modellerinden, bu dizi i,in en yulksek olasilik pencerelerde analiz edilmi,tir. Kullanilan ses sinyalinin
degerini
ureten modele karar verilir. Ancak yalnizca video orneklemesikligi
44,1 kHz'tir. Her i. pencereye aitdegi,inti
,czumlemesi, bir ki,inindu,tugunun
anla*ilmasi
i,in yeterli (varyans) of, vesifirseviyesikesmesayisi,Zi, belirlenmi,tir.degildir.
Yereyava,ca oturanbirki,ide du,meyebenzer bir Yulrulmeye ait ses sinyalinindegi,inti
ve sifir kesme sayilaridurum dizisi olu,turabilir. Bu
yulzden
ses verisinin de yari-periyodik birkarakteristige
sahiptir. Bunakar*ilik
,czumlemesi gerekmektedir.
sendeleyip du,en
birine ait ses i,aretinin sifir kesme sayisiazalirken,
degi,inti degerinde
birarti*
gozlenmi,tir.Bizde bu3. Ses
I,aretinin
(;Ozfimlemesi
gozlemlerimize
dayanarak her bir pencerei,in
Kolarak
Yazarlarin
konu,mai*leme
konusundaki
onceki
adlandirdigimiz
birparametre
072tanimladik:qali*malarinda,
dalgacik alaninda ,ikarilan oznitelik K (2)vektorlerinin, Fourier alanindan elde edilen oznitelik Z
vektorlerine gore
dahadayanikli
oldugu
sonucunavarilmi*tir
Kparametresi
daima pozitifdeverler
almaktadir.
[10]. Bu
yulzden,
video sinyali ,czumlemesine benzer ,ekilde, ,'2 m w ,., m30-ses i,areti ,ozulmlemesi yontemi de dalgacik alanindaki analize dayandirilmaktadir. Ses ,czumleme yontemimiz uc.
a,amadan meydana gelmektedir. Ilk a,amada dalgacik donu,umu sinyalielde edilir,daha sonra bui,aretten oznitelik ,ikarimi yapilirve son olarak da sakli Markof modeli tabanli siniflandirma
yapilir.
3.1.
Dalgacik
ipareti
5ekil
7:Dusmeye
(180) (solda),yulrulmeye
(ortada), vekonu,maya (0-480),
egilmeye
(480-590), konu,maya Ses i,aretine ait dalgacik donu,umu katsayilarinin elde(590-900), yulrulmeye (900-1000),
egilmeye
(1000-1100),
edilmesinde
$ekil
1'deki
sistem kullanilmaktadir.$ekil
5ave ve konu,maya (1100-1200) ait K parametresidegi,imi
5b'yeaitdalgacik sinyalleri
$ekil
6'dasunulmu,tur.(sagda).
Ti 've T2' e,ikleri, K alanindatanimlanmi*tir.
Konu,ma
sirasindasoylenen
sesli harflere ait Kparametresi
sessizharflere ait parametredegerinden
dahabulyulktulr.
Farklidurumlar i,in
gozlenen
K parametresininornek
numarasina, '2
go~~~~~~~~~~~~~9re
degi,simi $ekil
7'de
gosterilmi,stir.
IEU~~~~~~~~~~
3.3. SakliMarkof modelitabanlisiniflandirma
Ses i,aretlerinin siniflandirilmasi amaciyla, video i,aretlerine
benzer ,ekilde,
$ekil
8'de gosterilen, yulrulmeye, konu,maya(a) (b) ve
du,meye kar*ilik gelen
u,c
durumluu,c
Markofmodelikullanilmaktadir.
$ekil5:
(a)Ornek
numarasi1,8X105
etrafindameydana
geile-n dikmeyei ait ses inyali, ye (b) konnui-ma(0- $2 S
(5,8x105-8,9x105),
ylrlm(589x10-1,115),°n,m
_egilme (10,1x105-1
1x105), ye konu,sma(11x105-12x105)
durumlarina
kar,silik
gelen ses sinyalleri.5ekil
8: Yurume(solda),konu,sma(ortada) ye du,sme (sagda)seslerininsiniflandirilmasi i,cin kullanilan u,cEger
i. penceredeki dalgacik sinyaline ait Kparametresi i,in tanimlanmasikolayla*mi*,
boylelikle
nesneboyutlarindaki
vi<T]'
dogruysa
model SI durumunda,eger
Ti'<vi<T2'
farkliliklara dahadayanikli
biryontem
eldeedilmi,tir.
dogruysa
S2 durumunda veeger
Ki>T2'dogruysa
S3 Onerilen yonteminhesaplamakarma*ikligi
du,sukoldugu
durumundadir. Modellere aitge,i, olasiliklari, yirmi
ardi*ik
i,in ki,iselbilgisayarlarda ger,ekzamandaqali*abilmektedir.
dalgacik i,areti penceresi kullanilarak kestirilmektedir. Benzer sakli Markof model yapilari, aniden duran
ara,larin
Seslerin siniflandirilmasi sirasinda,
ardi*ik
yirmi K veya otoyallardaki kazalarin otomatik tespitinde deparametresi kestirilmekte ve bu parametrelere
kar*ilik
gelen kullanilabilir.durum dizisi ,ikarilmaktadir. Budurum dizisi
$ekil
8'deki ui, l I I l II.I.I.I
modele beslenerek enyllksek
olasiligi
Uireten modeltespit...
edilmektedir. Ses verisine ait bu
sonuqla,
videoi*areti
sonucu"mantiksal ve"
i*lemiyle birle*tirilmekte
ye son karar bu tekilde verilmektedir.4.
Deneysel
SonuVIar
Onerilen
y6$ntem
AMD AthlonXP 2000+ 1.66GHzi*lemcili
birbilgisayarda
kodlanmi*
yegerqek
zamandaqali*maktadir.
Testlerde,
toplam
15.823resimli 64 videokullanilmi*tir.
TUim
videolarda kamera sabit
olup
g6$rll
alaninda her anyalnizca
tek bir
ki*i
hareket etmektedir. Videolara aitiqerik
bilgisi
Tablo1'de
ozetlenmi,tir.5ekil9:Du,sme, oturma ve
yulrulme
videolarindanTablo 1: Test
kulmesi
i,erikozetiornek
resimlerVideo
iverigi
Sesieareti
varmi? VideosayisiYurume
+Konu*ma
Evet 16 6.KaynakVa
|Oturma±
KonuUma
T Evet | 5 [1] Barnes, N.M., Edwards, N.H., Rose, D.A.D., Garner, P.:Oturma Evet 4
Lifestyle
Monitoring:
Technology for SupportedYurume+Duime Evet 25 Independence.
IEE
Comp. andControl Eng. J. (1998).Yuirtume
±Dt*me
Hayir 14 [2] Bonner, S.:Assisted Interactive
Dwelling
House:Edinvar
Housing Assoc. Smart Tech. Demonstrator and
Tablo
1l'deki
kimi videolara aitornek
resimler $ekil9'da
Evaluation Site In: Improving the Quality of Life for thesunulmuitur.
Bu testkvimesine
ait sonu,lar ise Tablo 2'de European Citizen (TIDE), (1997) 396-400.gosterilmi,tir.
Yalnizca
video i,aretikullanilarak,
isteyerek [3] McKenna, S.J., Marquis-Faulkes, F., Gregor, P., Newell,oturan biriyle
dkulen
birisiniayirdetmek
muemkuln
degildir. A.F.:Scenario-based Drama as a Tool for Investigating Her iki i,saretkullanildignda
ise, Tablo 2'degoruldugu gibi, UserRequirements with Application to Home Monitoring oturanbirki,i i,indu,smekarari verilmemektedir. forElderly People. In Proc. of HCI, (2003).[4] Nait-Charif, H., McKenna, S.: Activity Summarisation Tablo 2: Test
kulmesine
ait tespitsonu,lari
and Fall Detection in a Supportive Home Environment.In Proc. ofICPR'04, (2004) 323-326.
|Video |Ses iEareti |Video DfiEmetepitedilenvideo sayisi InPo.o CR04 20)3336
V
ideoi
Sesvarei
Video|me
tepitediled S+Video
sayisi[5]
Cuntoor, N.P.,
Yegnanarayana,
B.,
Chellappa,
R.:iYerigi
varmi? sayisi Video Ses+Video Interpretation of State Sequences in HMM for ActivityYKonurma
Evet 16 0 0 Representation. In Proc. of IEEE ICASSP'05, (2005).+KOturma±
[6] Collins, R.T., Lipton, A.J., Kanade, T., Fujiyoshi, H.,Konu*ma
Evet 5 5 0Duggins, D., Tsin, Y., Tolliver, D., Enomoto, N.,
Oturma Evet 4 4 0
Hasegawa,
O.,
Burt, P., Wixson,
L.: ASystem
for VideoYurume + Evet 25 25 25 Surveillance and
Monitoring:
VSAMFinalReport.Tech.
DuOme E 2 2 2 Report CMU-RI-TR-00- 12, CMU (1998).
DYurume
+ Hayir 14 14 14[7]
Bagci,
M.,
Yardimci,
Y.,
Cetin,
A.E.:Moving
Object
I_D__me
DetectionUsing Adaptive
SubbandDecomposition
andFractional Lower Order Statistics in Video Sequences.
5.
Sonuv
Elsevier, Signal Processing. (2002) 1941 1947.Videoda
di*en
birki.inin
otomatik olaraktespiti
i.in
bir[8]
Stauffer,
C.,
Grimson,
W.E.L.:Adaptive Background
y.ntem
geli*tirilmi*tir.
. Buali*manin
en inemli katkisi Mixture Models for Real-TimeTracking. Proceedings
ofdu,sme kararini hemvideo hem de ses
i*areti
yi$zlmlemeleri
IEEECVPR'99246-252,1999.
sonucunda vermesidir. Ses bilgisi, oturan bir
k...i
ki,siyle dusen
bir [9] Kim, C.W., Ansari, R., Cetin, A.E.: A class of linear-ayreimsa.
snagerelidi.
Olylr.
phase regularbiorthogonal
wavelets. In Proc. of IEEEsiniflandirilmasinda
u,c durumlu Markof modelleri ICASSP'92 (1992) 673-676.kullanilmit..
Mako moe.intlkei
vie nenlrn [10]Jabloun, F., Cetin, A.E., Erzin,
E.: Teager Energy Based kapsayan~~~~kuulr ai zaasl e outusnylei Feature Parameters for Speech Recognition in Car Noise.dalgcik atsailarnda eld edimi~tr. algaik