Computer vision based forest fire detection

(1)

Bilgisayarla Gorii ile Orman Yanglnl Tespiti

Computer Vision Based Forest Fire Detection

B. Ugur Toreyin, A. Enis getin

Elektrik ve Elektronik Miihendisligi Boliimii

Bilkent Universitesi

{ugur,cetin}@ee.bilkent.edu.tr

Ozet~e

Yangln gozetleme kuleleri tum dunya ve Turkiye'deki ormanlarda yaygln olarak kurulu bulunmaktadlr. Bu kulelerin buyuk bir klsmlnda elektrik mevcuttur. Glasl orman yanglnlarznln tespiti amaclyla bu kulelere guvenlik kameralarz

yerle~tirilebilir. Halen, orman yangln tespit suresi ortalama olarak5 dakika civarzndadlr. Geli~tirilen bilgisayarla goru tabanh yontemin amaCl ortalama tespit siiresinin azaltllmasldlr. Tespit yontemi, farkh hlzlarda giincellenen arkaplan resimlerinin dalgaclk domeni fozumlemesine dayanmaktadlr.

Abstract

Lookout posts are commonly installed in the forests all around Turkey and the world. Most of these posts have electricity. Surveillance cameras can be placed on to these surveillance towers to detect possible forest fires. Currently, average fire detection time is5 minutes in manned lookout towers. The aim

ofthe proposed computer vision based method is to reduce the average fire detection rate. The detection method is based on the wavelet based analysis of the background images at various update rates.

1.

Giri~

Orman yanglnlan diinyadaki ya~aml ve biyolojik ce~itliligi tehdit eden felaketlerin ba~lndagelmektedir. Bu ozelligi ve artan kiiresel lSlnma el)di~eleri sebebiyle literamrde orman yanglnlanyla alakah pek «ok yaYln bulunmaktadlr [1]. Orman yanglnlannln erken tespiti yangln neticesinde meydana gelebilecek olan zarann en aza indirilmesi aClslndan biiyiik

onemta~lmaktadlr.

Yangln gozetleme kuleleri mm diinya ve Tiirkiye' deki ormanlarda yaygln olarak bulunmaktadlr. Tiirkiye'de800'iin

iizerinde yangln gozetleme kulesi mevcuttur. Bu kulelerin cok kilCiik bir klsml haric, cogunlugunda elektrik tesisatt da bulunmaktadlr. Yangln tespiti amaclyla bu kulelere kameralar

yerle~tirilebilirve giivenlik gorevlililerinini~ yiikleri onemli

olCiide azalttlabilir.

Bu bildiride, orman gozetleme kulelerine kurulacak kamerah sistemler iCingeli~tirilenbilgisayarla gorii ile orman yanglnl tespit yontemi anlattlmaktadlr. Literarurde, kameradan gelen video i~aretlerininanaliziyle yangln tespit edilmesine yonelik pek az saylda«ah~mabulunmaktadlr [7-12]. Mevcut video tabanh yangln tespitcah~malarlnlnonemli bir klsml 30m'den daha yakln mesafelerdeki yangmlann tespit edilmesine yonelikgeli~tirilen cah~malarlicermektedir. Bunakar~ln,ornegin [12]' de Guillemant ve Vicentetaraftndan

gozetleme kulelerinden orman yanglnl tepiti iCingeli~tirilen bir yontem sunulmu~tur. Bu ara~ttrmactlar yontemlerini dumanln zaman icinde birbiriyle ilintili gri-diizeyi degerleri iiretmesi gozlemine dayandlrmaktadlrlar. Bir digercah~mada enfraruj kamerayla kaydedilen uydu goriintiilerinde istatistiksel analizler yaptlarak orman yanglnl olan bolgelerin tespit edilmesi iCingeli~tirilen bir yontemsunulmu~tur[13]. Benzer bir kural-tabanh cah~mada klztlberisi kameralar yanlnda meteorolojik sensorler de onerilen sisteme dahil

edilmi~, arazinin egimi gibi civarln jeolojik bilgilerinin

tutuldugu bir veritabanlndan dafaydalantlml~ttr[14]. Klztlberisi kameraylaate~tespit yontemlerinin en onemli eksikligi, enfraruj kameralarln dumana duyarslz olmalandlr. Ate~ bolgeleri ise ozellikle ormanhk arazilerde her zaman kameranln gorii~ alanl icerisine girmeyebilir. Bu sebeple, olasl bir orman yanglnlnda gokyiiziine yiikselen dumanln tespit edilmesi biiyiik onemta~lmaktadlr.

Bu bildiride orman yanglnlan neticesinde C1kan dumanln goriiniir l~lkta cah~an kamerayla elde edilen goriinrulerde tespit edilmesini saglayan bir yontem anlattlmaktadrr. Geli~tirilenyontemle, kameranlngorii~alanl i«indeki bolgeye ait biri hlZh digeri dahayava~giincellenen iki arkaplan resmi olu~trulmaktadlr.Yanh~alarm oranln dii~iiriilmesiiCin Olasl duman bolgelerine kar~lhk gelen dalgaclk donii~iimii katsaytlanndan entropi degerleri kestirilmekte ve dii~iik degerli olanlar duman bolgesi olarak belirlenmektedir. Yonteme dayah olarakgeli~tirilensistem Antalya iline bagh

iiCorman gozetleme kulelesinekurulmu~veba~anhsonuclar ahnml~ttr.

Bildirinin sunum SlraSl~u ~ekildedir: geli~tirilen yontem ikinci boliimde izah edilmekte, iiCiincii boliimde ise gercekle~tirilendeneylerin sonuclan sunulmaktadlr.

2. Orman Yanglnl Tespit Yontemi

Geli~tirilengoriiniirl~lkta cah~ansabit kamera tabanh orman yanglnl tespit yontemi, ormanhk araziden yangln esnaslnda yiikselen dumanln diger hareketli video nesnelerine gore yava~ hareket ettigi gozlemine dayanmaktadlr. Algoritma temel olarak kameranln gorii~ alanl icindeki yava~ hareket eden nesnelerin tespitine dayanmaktadlr. Bu amac1a kameradan gelen goriintiilerden biri yava~, digeri daha hlZh giincellenen iki arkaplan resmi olu~turulur. Bu resimlerin kar~tla~ttnlmasl neticesinde kameranln gorii~ alanl icindeki orman yanglnl dumanl tespit edilmektedir.

Arkaplan Clkanml, resimde ilgilenilen nesnelerin ayn~ttnlmasliCin, giivenlik uygulamalarlnda da yaygln olarak

(2)

(1)

2.1. Dalgaclk Domeni Analizi

Goruniir l~lkta cah~an sabit bir kameradan gelen goruntiilerdeki yava~ hareket eden video nesnelerinin tespitine ili~kin geli~tirilen yontem onceki boliimde sunulmu~tur. Yalnlz bu yonteme dayah olarak cah~an bir SekiI-I: Manavgat bolgesinde yer alan bir orman gozetleme kulesinden cekilen kayda ait video kareleri. Ormanhk arazi iizerinde ilerleyen bulut kiimesinin goigesi 18 saniye icerisinde arazinin onemli bir klsmlnlortmii~tiir.Goigenin bu hareketi (6)' daki~artlsaglamakta ve sistem taraflndan duman olarak algllanmaktadlr.

18.$11 ,a.SIl

1.SI\

1.sn

I

I,.(xII.v) -B,.(~·..JJ)I > T,.(x...v) (4) Herhangi bir (x,y) konumundaki piksel (4)'ii sagladlgl siirece hareketli nesne ogesi olarak belirlenmektedir.

Orman yanglnlan neticesinde aClga Clkan duman, gozetleme kulesinde kurulu sabit kameradan izlenen alan icerisindeyava~hareket eden nesne olarak slnlflandlnlabilir. Bu sebeple, dumana ait pikseller (4) numarah denklemi saglamamaktadlr. Dumanln tespiti iCin, (I)' deki denkleme benzer ~ekilde Bn arkaplan resminden daha yava~ giincellenen B'n adh bir ba~ka arkaplan resmi olu~turulmaktadlr. Arkaplan resmi Bn her yeni resim cercevesinde giincellenirken, olu~turulan bu yeni arkaplan resmi her saniyede bir giincellenmektedir:

lin

..

l'

~.

=

{dIfnrx,YJ +(l-o)In(.t,yJ,

(x,)'}

har~

degil

('~)

. ..~J/ '.Bit(x,.,l'J II tT,y)hareketJl

-Bu denklemde"a'" parametresi ~u ~artl saglamaktadlr:

O<a<a'< 1. Boylelikle, kameranln goru~ alanl icindeki araziye ait bir hlZh, bir deyava~ iki tane arkaplan resmi elde edilmektedir. Yava~ hareket duman bolgesine ait piksellerse ~u e~itsizligisaglamakta ve bu~ekildetespit edilmektedir:

I

BJ.{.-c...,,'J

-

B,,(x.y)1 > T~(x.y) (6) Bu ~artlarl saglayan pikseller kameranln goru~ alanl icerisindeki "yava~" hareket eden bolgeler olarak belirlenmektedir. Bu bolgeler olasl duman bolgeleri olarak adlandlnlabilir. Tipik bir orman gozetleme kulesinden yaptlan cekimlerde gozlenebilecekyava~hareket eden video nesneleri araslnda gercek bir orman yanglnlna ait dumandan farkh olarak ornegin bulutlar ve bulutlarln orman iizerindeki golgeleri saytlabilir. Yava~hareket eden bulut golgelerine ait bir video Manavgat'taki bir gozetleme kulesindencekilmi~tir. SekiI-1 'de goruldiigii gibi, 20 saniye icerisinde hareket halindeki bir bulut ya da bulut kiimesine ait golge ormanhk arazi iizerinde ilerlemektedir.

Yukanda gecen Bn(x,y) ise, aynl konumdaki arkaplan goruntii ogesinin bir onceki parlakhk kesitirim degeridir. Aynl denklemdeki a giincelleme parametresi ise bire yakln gercek bir saYldlr. Yordamlnba~lnda,Bo(x,y)arkaplan degeri,

Io(x,y)ilk resim degerini ahr.

Herhangi bir(x,y) konumundaki goruntii ogesi, eger bu ogeye aitInve In_] imlerindeki parlakhk degerleria~agldaki

e~itsizIigisaghyorsa, hareketli olarak kabul edilmektedir:

I

III(x,Y)-1,,-1(x,J~

l

>

T,,(x,y) (2) Burda gecenIn_](x,y), (x,y) konumundaki pikselin (n-1). resimdeki parlakhk degeridir. Tn(x,y) ise, (x,y) konumundaki goruntii ogesine ait, istatistiksel olarak onemli bir parlakhk

degi~imine kar~lhkgelen, e~ikdegeridir. Bue~ikdegeri de,

her goruntii ogesi iCin ayn ayn, ozyinelemeli olarak ~u

~ekildegiincellenmektedir:

1i.+

l~ V)={aT*}j~l-qK£W.1;»-~~

,

(x,y)1rTffIlt1i

tJeijJ

(3) n w Tn(x,y) ,tX),1rJnlrEtl1

Bu denklemdeki "c" birden biiyiik, "a" giincelleme parametresi ise bire yakln .bir gercek sayldlr. E~ik degi~kenlerinin ilk degerleri deneysel olarak belirlenen bir saYlyae~itlenmi~tir.

Son denkIemde goruldiigii gibi, "c"parametresi ne denli biiyiikse,e~ikdegerleri de0oiCiide biiyiik oimaktadlr. Bu da hareket tespiti hassasiyetini0denlidii~iirmektedir.

Arkaplandan onemli olCiide farkh olan bolgeler hareketli olarak kabul edilmi~tir. Bu kabule gore, hareketli bolgeler, kestirilen arkaplanla mevcut andaki resim araslndaki farktan elde edilmi~tir. Piksel bazlndaa~agldaki e~itsizligisaglayan tiimogeler hareketli olarak tespitediImi~tir:

kullanllan bir yontemdir. Konuyla ilgili olarak yazlndadegi~ik bircok cah~ma bulunmaktadlr [2-7]. Omegin, [3]'te bahsedilen arkaplan kestirimi yontemi, her goruntii ogesine, baglmslz olarak basit bir sonsuz diirtii yanlth siizgec uygulanmaslndan ibarettir. Boylelikle arkaplan resmi giincellenmektedir. Bu arkaplan resmiyle, benzer ~ekilde giincellenen e~ik degerleri, ayn ayn herbir goruntii ogesini onplan goruntii ogesi veya arkaplan goruntii ogesi olarak slnlflandlrmak icin kullantlmaktadlr.

Videodaki duragan, parlakhk degerleri degi~meyen goruntii ogeleri, arkaplana ait olanlardlr, ciinkii arkaplan, videonun zaman aClslndan duragan olan klsml olarak tanlmlanabilir. Eger kameranln goruntiiledigi alan bir siire kaydedilirse, tiim arkaplana ait goruntii ogeleri kestirilebilir. Bunun nedeni, kaydedilen videodaki hareketli bolgelerin ve nesnelerin, normal olarak resimlerin belli bir klsmlnl kapsamaslndandlr. Arkaplan kestirimi iCin en basit yontem, eldeki tiim resimlerin ortalamaslnln ahnmasldlr. Hareketli nesneler resmin yalnlzca bir boliimiinii kapladlgl iCin, bu bolgelerin arkaplan resmindeki etkileri ortalama sayesinde zamanla kaybolacakttr.

Arkaplan kestirimi iCin, [3]'te, ozyinelemeli bir yordam onesiirulmii~tiir.In(x,y)'nin n.goruntiide,(x,y) konumundaki goruntii ogesine ait parlakhk degerini temsil ettigini varsayahm. Su halde, aynl konuma ait olarak kestirilen arkaplan parlakhk degeri, Bn+](x,y),her resim cercevesi iCin a~agldakigibi hesaplanlr:

En

"·.i-

{aBn(x.YJ+(l-a)In(x.y)

, (.'f,Y) hareketli

degil +J(x,J/- Bn(x,)'l , (.'t,}')hareketli

(3)

w(X,y) =ILH1(x,Y)I+ IHL1(x,Y)I+ IHHl(x,y)

I

(7) ~ekil-2: Farkh htzlarda giincellenen arkaplanIann kar~tIa~ttnlmastsonucunda tespit edilen olast orman yangtn dumant bolgelerini igeren video karelerine ait tek seviye altbant resimleri, tam sayt aritmetigi kullanan bir siizge9 obeginden ge9irilerek dalgactk domeninde90ziimlenmi~tir. sistem, ~ekil-I'de goriilen durumlarda yanh~ alarma sebep olabilmektedir.

Orman yangtnt tespit yontemini daha giirbiiz hale getirmek amactyla olast duman bolgelerinin doku yaptlan dalgactk domeninde 9oziimlenmi~tir. Bu ama9la oncelikle olast duman igeren video karelerinin parlakltk degerlerine ait tek seviyeli dalgactkdonii~iimiikatsaytlart tam sayt aritmetigi kullanan bir siizge9 obeginden ge9irilerekhesaplanmt~, ~ekil 2'de gosterilen, dii~iik-dii~iik (LLI), dii~iik-yiiksek(LHI), yiiksek-dii~iik(HL I) ve yiiksek-yiiksek (HHI) olmak iizere dort altbant resmi eldeedilmi~tir[15].

Sistem Antalya Orman i~letme Miidiirliigii'ne bagh 3 orman gozetleme kulesine kurulmu~ve 2007 ytIt yaz aylart boyunca 7/24 video kayttlanahnmt~ttr.Bu kayttlarla yaptIan testlere goregeli~tirilenyonteminyanh~negatif alarm orant, a9tk bir yaz giiniinde saatte ortalama 0,2 olarakbelirlenmi~tir. Yontemin yanh~ pozitif orant stfudu. Bu haliyle yontem, ~ekil-3: Kuleye 8,5kmmesafede 9tkan bir duman. Yontem taraftndan 10 saniye i9indeba~anylatespitedilmi~tir.

4.

Sonu~

Bu bildiride, orman yangtnt gozetleme kulelerinde kurulmak iizere geli~tirilen, bilgisayarla gorii tabanh bir orman yangmt tespit yontemi sunulmaktadtr. Onerilen yontem, farkh htzlarda giincellenen arkaplan resimlerinin dalgactk domeninde analizi esastna dayanmaktadtr. Halen, orman yangtn tespit siiresi ortalama olarak 5 dakika civanndadtr.Geli~tirilenyontemle bu siire I dakikantn alttna indirilmi~tir.

3. Deneysel

Sonu~lar

Geli~tirilenyontem C++ programlama dilindekodlanmt~ve bu yazthm Antalya'da yer alan Orman Genel Miidiirliigii'ne (OGM) bagh ii9 adet orman gozetleme kulesindeki ki~isel bilgisayarlarakurulmu~tur. Bu kulelerde 2007 yaz mevsimi boyunca 7/24 kayttlarahnmt~ve kurulan kamerah gozetleme ve yangtn tespit sistemi testedilmi~tir.

Yontemle, havantn a9tk oldugu bir giinde kuleye 10km

mesafede 9tkan bir duman, dumantn goriiniir olamstna bagh olarak, 10 - 40 saniye i9inde tespit edilebilmi~tir. YaptIan testler neticesinde yontemin havantn a9tk oldugu giinlerde, giin igerisinde, saatte ortalama 0,2 yanh~ negatif alarm iirettigi tespitedilmi~tir.Buyanh~alarmlar ozellikle ormanhk arazi dokusunun duman gibi piiriizsiiz oldugu mevkilerdeki bulut golgesi hareketlerinden kaynaklanmaktadtr. Ancak bu alarmIar gozetleme kulelerindeki gorevlilerin uyartlmast a9tstndan OGM yetkililerince olumlu kar~tIanmaktadtr. Yontem Manavgat'ta 9tkan bir yangtnt tespitetmi~,9tkanlan test yangtnlannt da eksiksiz tespit etmi~tir. Bu haliyle yonteminyanh~pozitif alarm orant stftrdtr.

Sistem tarafindan, goriiniir olduktan 10 saniye soma tespit edilen dumana ait video karesi~ekil-3'tesunulmaktadu.

(8) LL1 LH1

•

-Hl1 HH1

I I

Dalgaclk Transformu ---+

•

Arkaplanlann kar~tla~t1nlmast neticesinde elde edilen olast duman bolgelerinin doku yaptlan, ilgili bolgelere

kar~thk gelen "w" bile~ikresmindeki bolgelerin normalize

entropilerinin,"£1",kestirilmesiyle tayin edilmektedir. Olast duman bolgelerinin dalgactk domeni enetjilerine ait normalize entropilerinin kestirilmesi i9in "h=32" seviyeli histogramlarkullantImt~ttr:

E

n

_{= - - -}

1 L

10

Rcw

N(R)

h

Pi g(Pi)

Bu denklemde gegen "p;", "w" bile~ikresmi igerisinde

N(R) saytStnCa piksel igeren olast duman bolgesine kar~thk gelen "R" bolgesinden elde edilen 32 seviyeli h

histogramtndaki i seviyesine ait degeri gostermektedir. Normalize histogram degeri deneysel olarak belirlenenTe e~ik degerinin alttnda kalan bolgeler, daha az piiriizlii dokulara sahip olduklart i9in duman olarak belirlenmektedir.

Geli~tirilen doku (texture) analizi yontemi, yiiksek ge9iren nitelige sahip altbant resimlerdeki (LH I, HL I ve HH I) enerji dagtItmtntn belirlenmesine dayanmaktadtr. Aga9hk bolgelerdeki doku, duman bolgesi dokulartna oranla 90k daha piiriizliidiir. Bu da aga9hk bolgelerin yiiksek ge9iren altbant resimlerindeki enerji dagtItmtntn daha dagtntk olmastna, boylelikle gergek duman igeren bolgelere gore daha yiiksek entropi degelerine sahip olmastna sebep olmaktadu.

Video karesindeki yiiksek stkltk enerjisi,"w"adt verilen birbile~ikresimde tutulmaktadtr. Orijinal video karesinden elde edilen yiiksek ge9iren altbant resimlerindeki (x,y) konumlannda yer alan dalgactk katsaytIanntn mutlak degerleri toplanarak aynt konumakar~thkgelen"w" bile~ik enerji degeri hesaplanmaktadtr:

(4)

orman gozetleme kulelerinde gorevlilere yardlmcl olmak iizere kurulabilecek kamerah sistemlerde kullantIabilir.

5.

Te~ekkiir

Bu9ah~ma,TOBiTAK I06GI26, I05E065 BTT-TORKiYE, I05EI21 ve AT FP6-507752 (MUSCLE-NoE) projeleri taraftndan desteklenmektedir. Yazarlar, ara~t1rma boyunca verdikleri kesintisiz destekten dolayl Orman Genel Miidiirliigii yetkililerinete~ekkiiriibir bor9 bilir.

6.

Kaynak~a

[1] Y.S.Sahin, "Animals as Mobile Biological Sensors for Forest Fire Detection", Sensors 2007, 7, 3084-3099. [2] G.L. Foresti, P. Mahonen, C.S. Regazzoni, Multimedia

Video-Based Surveillance Systems: Requirements, Issues and Solutions, Kluwer, 2000.

[3] R.T. Collins, A.J. Lipton, T. Kanade, H. Fujiyoshi, D. Duggins, Y. Tsin, D. Tolliver, N. Enomoto, O. Hasegawa, P. Burt, L. Wixson "A System for Video Surveillance and Monitoring: VSAM Final Report" Tech. Report CMU-RI-TR-OO- 12, Carnegie Mellon University, May 2000.

[4] LB. Ozer, W. Wolf: "A Hierarchical Human Detection System in (Un)Compressed Domains", IEEE Transactions on Multimedia, pp. 283-300, June 2002. [5] I. Haritaoglu, D. Harwood, and L. Davis, "W4: Who,

When, Where, What: A Real Time System for Detecting and Tracking People", Third Face and Gesture Recognition Conference, pp. 222-227, April 1998. [6] M. Bagci, Y. Yardimci and A.E. Cetin, "Moving Object

Detection Using Adaptive Subband Decomposition and Fractional Lower Order Statistics in Video Sequences", Elsevier, Signal Processing, pp. 1941-1947, December 2002.

[7] B. Ugur Toreyin, A. Enis Cetin, AntI Aksay, M. Bilgay Akhan, "Dalgaclk Donii~iimiiyle Slkl~t1nlml~ Videoda Hareketli Bolge Tespiti", IEEE 12. Sinyal i~leme ve

ileti~imUyg. Kur., SIU-2004 s: 676-679,Ku~adasl,2004. [8] B. Ugur Toreyin, Yigithan Dedeoglu, A. Enis Cetin, "Videoda gercek zamanda duman ve alev tespiti", IEEE 13. Sinyal Isleme ve Iletisim Uyg. Kuf., SIU-2005, Kayseri, 2005.

[9] B. Ugur Toreyin, Yigithan Dedeoglu, A. Enis Cetin, "Wavelet Based Real-Time Smoke Detection in Video", 13th European Signal Processing Conference EUSIPCO 2005, Antalya, Turkey.

[10] B. Ugur Toreyin, Yigithan Dedeoglu, Ugur Gudukbay, A. Enis Cetin, "Computer Vision Based System for Real-time Fire and Flame Detection", Pattern Recognition Letters, 27 (2006) 49-58.

[11] B. Ugur Toreyin, R. Gokberk Cinbis, Yigithan Dedeoglu, A. Enis Cetin, "Fire Detection in Infrared Video Using Wavelet Analysis", SPIE Optical Engineering, vol 46, June 2007.

[12] P. Guillemant and l Vicente, "Real-time identification of smoke images by clustering motions on a fractal curve with a temporal embedding method," Optical Engineering, vol. 40(4), pp. 554-563,2001.

[13] F. Lafarge, X. Descombes, l Zeruda, S. Mathieu, "Detection de feux de foret par analyse statistique d'evenements rares it partir d'images infrarouges thermiques", Traitement du Signal, vol. 23, no. 4, 2006. [14] B.C.Arrue, A.Ollero, lR.Martinez de Dios, "An

Intelligent System for False Alarm Reduction in Infrared Forest-Fire Detection", IEEE Intelligent Systems, pp. 64-73, May/June 2000.

[15] Kim, C.W., Ansari, R., Cetin, A.E.: A class of linear-phase regular biorthogonal wavelets. In Proc. of IEEE ICASSP'92 (1992) 673-676.