Hareketli Kamerada Arka Plan Çıkarma
Background Subtraction with a Moving Camera
Osman Topçu
Tübitak Uzay ODTÜ Yerle¸skesi Ankara, Türkiye Email: osman.topcu@tubitak.gov.trAslıhan Kalem
Bilgisayar Mühendisli˘gi Bölümü Bilkent Üniversitesi Ankara, Türkiye Email: aslihankalem@gmail.comErsin Esen
Tübitak Uzay ODTÜ Yerle¸skesi Ankara, Türkiye Email: ersin.esen@tubitak.gov.trÖzetçe —Hareketli kamerada hareketli nesne bölütleme hem kameranın hem de nesnelerin hareketli olması nedeniyle zor bir problemdir. Bu çalı¸smada yatay ve dikey dönme hareketleri yapabilen (PTZ) kameralarda hareketli nesne bölütleme yöntemi önerilmektedir. Yöntem sahnenin mozai˘gini çıkarmaya ve mozaik ile arka plan modeli olu¸sturarak Gauss karı¸sımı arka plan çıkarma algoritması uygulamaya dayanır. Kameranın hareketi boyunca çekti˘gi çerçeveler arka plan mozai˘gine e¸slenerek arka plan çıkarma yapılmaktadır. Önerilen mozaik olu¸sturma yöntemi bilinen yöntemlerden daha az sayıda resim e¸sleme gerektirmek-tedir. Yapılan deneyler önerilen bölütleme yönteminin ba¸sarısını ortaya koymaktadır.
Anahtar Kelimeler—Mozaik; panorama; arkaplan çıkarma; PTZ kamera; Gauss karı¸sımı.
Abstract—Moving object segmentation with a nonstationary camera is a difficult problem due to the motion of both camera and the object. A moving object segmentation method is proposed in this work to be used in pan-tilt-zoom (PTZ) cameras. The method is based on composing scene mosaic and applying Gaussian mixture background subtraction algorithm after con-structing a background model using the mosaic. Background subtraction is performed by mapping the frames captured during camera’s course of motion to the background mosaic. The proposed mosaic building method requires less number of picture correspondences when compared to known methods. The success of the proposed segmentation method is demonstrated by the conducted experiments.
Keywords—Mosaic; panorama; background subtraction; pan-tilt-zoom; Gauss mixture.
I. G˙IR˙I ¸S
Sabit kamera hareket etmeyen bir platforma monte edilmi¸s kamera olup de˘gi¸smez bir görü¸s alanı ve çözünürlü˘ge sahiptir. Kameralarda çözünürlük ile görü¸s alanı ters orantılıdır. Yüksek çözünürlük dü¸sük görü¸s alanı ile mümkün iken yüksek görü¸s alanı dü¸sük çözünürlük ile elde edilir. Yatay, dikey hareket etme ve büyütme, küçültme yapma özellikli (PTZ) kameraların geni¸sletilmi¸s görü¸s alanları ile ayarlanabilir çözünürlükleri bu-lunmaktadır. Bu sebepten dolayı PTZ kameralar sabit olanlara göre avantajlıdır.
Bu çalı¸smada PTZ kameralar tarafından olu¸sturulan vide-olarda hareketli nesnelerin bölütlenmesine yönelik bir yön-tem önerilmektedir. Arka plan çıkarma, hareketli nesnelerin
bölütlenmesi probleminin çözümüne yönelik literatürde iyi bilinen bir yakla¸sımdır. Arka plan çıkarmada temel strateji, ka-meranın gözetledi˘gi alanın arka planını olu¸sturmak ve çekilen resimlerle arka plan resmini çıkarmak suretiyle hareketli nes-neleri bölütlemektir. PTZ kameralarda, kameranın ve gözetle-nen nesnelerin hareketli olmaları hareket tabanlı bölütlemeyi zorla¸stırmaktadır.
Sabit kameralarda bölütleme için çok çe¸sitli arka plan ayrı¸stırma yöntemleri geli¸stirilmi¸stir. Arka plan çıkarma algo-ritmalarının en basiti ardarda iki çerçevenin birbirinden çıkarıl-masına dayanır. Eigen arka plan çıkarma [1], medyan arka plan çıkarma [2] gibi algoritmalar çerçeve farkı algoritmasını takip etmi¸slerdir. Bu algoritmalarda bir arka plan modeli olu¸sturulur ve bu model zamanla güncellenir. Gauss karı¸sımı arka plan çıkarma algoritması [3] zamanla çevresel de˘gi¸simlere uyum sa˘glayan, i¸slemlerin pikseller bazında yapıldı˘gı bir arka plan çıkarma algoritmasıdır. Lee [4] bu algoritmayı geli¸stirerek daha hızlı yakınla¸smasını ve daha do˘gru model de˘gerleriyle çalı¸smasını sa˘glamı¸stır. Bu çalı¸sma kapsamında Lee’nin [4] önerdi˘gi Gauss karı¸sımı arka plan çıkarma algoritması kul-lanılmı¸stır.
˙Izdü¸sümsel geometride, izdü¸süm merkezleri çakı¸sık olan düzlemler arasında düzlemsel ba˘gıntı (homografi) vardır [5]. Resimler arasında düzlemsel ba˘gıntı olması için hareketi boyunca kameranın optik merkezinin yer de˘gi¸stirmemi¸s ol-ması gereklidir. Kamera optik merkezi etrafında döndürülünce bu merkezin yeri de˘gi¸smez. Kameranın odak uzaklı˘gını de˘gi¸stirmek de optik merkezin yerini de˘gi¸stirmez. PTZ ka-meraların dönme merkezleri ile optik merkezlerinin yakla¸sık olarak çakı¸stı˘gını varsayarsak, kameranın çekti˘gi resimleri dü-zlemsel ba˘gıntı ile e¸sle¸stirmek mümkün olur. Bu çalı¸smada
re-Tablo I. LITERATÜRDEKI YÖNTEMLERIN KAR ¸SILA ¸STIRILMASI.
Resim E¸sleme Düzlemsel Ba˘gıntı Arka Plan Hesaplama Çıkarma Wada [6] Özgün vektörel - Resim farkı
yöntem
Kang [7] Özgün vektörel - Haritao˘glu [8] trigonometrik
yöntem
Monari [9] Düzlemsel ba˘gıntı Çizgi, ilgi Sigma-delta noktası e¸sleme yöntemi Bevilacqua [10] Düzlemsel ba˘gıntı Faz ilintisi + Kendi yöntemi
Kanade-Lucas dönü¸sümü
Xue [11] Düzlemsel ba˘gıntı ˙Ilgi noktası e¸sleme Gauss karı¸sımı Önerilen Düzlemsel ba˘gıntı ˙Ilgi noktası e¸sleme Gauss karı¸sımı
¸Sekil 1. Mozaik olu¸sturma yönteminin gösterimi
¸Sekil 2. Dönen kameranın geometrisi
simler arasındaki düzlemsel ba˘gıntı kullanılarak sahne mozai˘gi olu¸sturulmu¸stur. Bu mozaik resim arka plan modeli olarak kul-lanılmaktadır. Aynı ¸sekilde mozaik ile güncel resimler arasında var olan düzlemsel ba˘gıntı ile de resim mozaik e¸sle¸stirmesi yapılmı¸stır. Bu e¸sle¸stirme ile arka plan modeli güncellenmi¸s ve hareketli nesneler güncel arka plan modeli ile bölütlenmi¸stir.
Literatürdeki yöntemler arka plan modeli olu¸sturma, güncel çerçeveyi modele e¸sleme ve arka plan çıkarma adımlarını sırasıyla içerir. Bu yöntemler arka plan modeli olu¸sturma, düz-lemsel ba˘gıntı hesaplama ve arka plan çıkarma yöntemlerine göre farklılıklar gösterirler. Tablo I’de bu yöntemlerin farkları özetlenmi¸stir. Resim e¸sleme konusunda 2 farklı yakla¸sımdan söz edilebilir. Birinci yakla¸sım kameranın iç kalibrasyon bil-gileri ile dönme ve büyütme miktarının bilinmesini gerek-tirmektedir. ˙Ikinci yakla¸sım resimlerden birisini referans alarak bütün resimler arasındaki düzlemsel ba˘gıntıyı hesaplamaya dayanır. Wada [6] ve Kang [7] birinci yakla¸sımı benimserken, Bevilacqua [10], Monari [9] ve Xue [11] ise ikinci yakla¸sımı benimsemi¸stir. Monari [9] ve Xue [11] resimlerden mozaik olu¸sturmak için bütün resimler arasında düzlemsel ba˘gıntı hesaplamaya çalı¸smaktadırlar. Resimlerden birisini referans resim olarak seçerler. Di˘ger bütün resimleri referans resmin koordinatlarına dönü¸stürürler.
Bu çalı¸smada, kamera dinamikleri bilinmedi˘ginden ve tam kamera kontrolü yapılamadı˘gından ikinci yakla¸sım benimsen-mi¸stir. Bu bildiride önerilen mozaik olu¸sturma yöntemi resim-lerin ¸Sekil 1’de gösterildi˘gi gibi iki¸ser iki¸ser birle¸stirilmesine dayanır. Toplam resim sayısı N ile ifade edilirse, N − 1 düzlemsel ba˘gıntı hesaplama gereklidir. Oysa, bilinen di˘ger yöntemlerde ([9], [11]) (N2− N )/2 düzlemsel ba˘gıntı hesap-lanması gerekir. Bu yöntem kullanıcı müdahalesi gerektirse de pratik ve ölçeklendirilebilir olması yönleriyle di˘ger yöntem-lerden avantajlıdır. Üstelik, PTZ kameraların programlanabilir olmaları bu yöntemi daha da cazip kılmaktadır.
II. ÖNER˙ILEN YÖNTEM
Önerilen yöntem örtü¸sen görü¸s alanları olan resimlerin çekilmesini ( ¸Sekil 2) ve bu resimlerin iki¸ser iki¸ser
birle¸stirilme-siyle sahne mozai˘ginin olu¸sturulmasini içerir. Sahne mozai˘gi çevrimdı¸sı olarak olu¸sturulur. Sahne mozai˘gi Gauss karı¸sımı arka plan çıkarma algoritmasına girdi olarak verilerek mozaik arka plan modeli ilklenir. Kameranın hareketi boyunca olu¸stur-du˘gu çerçeveler arka plan mozai˘gi ile e¸sle¸stirilerek aralarindaki düzlemsel ba˘gıntı hesaplanır. Düzlemsel ba˘gıntı ile hangi pikselin hangi mozaik pikseline kar¸sılık geldi˘gini belirlemek suretiyle arka plan modeli güncellenir ve hareketli nesneler bölütlenir. ¸Sekil 3’te önerilen yöntemin akı¸s diyagramı yer almaktadır.
A. ˙Iki Resmin E¸sle¸stirilmesi
Resim e¸sle¸stirmede resimlerden birisi referans alınır. Di˘ger resmin pikselleri referans resme e¸slenir. Bu sebepten dolayı e¸sle¸stirme kuralının belirlenmesi gereklidir. E¸sle¸stirme ku-ralı da resimler arasındaki düzlemsel ba˘gıntıdır. Resimlerdeki ortak bölgelerden birbirinin e¸si olan koordinatlar belirlenir. Bu koordinat çifleri kullanılarak düzlemsel ba˘gıntı kestirilir. Birbirinin e¸si olan koordinatların belirlenmesi için e¸sle¸stirme hatalarının az olmasından ve farklı ölçeklerdeki resimleri e¸sle¸stirebilmesinden dolayı ilgi noktaları kullanılmı¸stır. Farklı ölçeklerdeki resimleri e¸sle¸stirebilen SIFT [12] ve SURF [13] ilgi noktaları arasından, SIFT’e göre daha hızlı oldu˘gu için SURF ilgi noktaları kullanılmı¸stır. Her iki resimden SURF ilgi noktaları çıkarılarak e¸slenir. E¸sleme i¸sleminin hızlı olması için FLANN [14] algoritması kullanılmı¸stır. E¸sle¸sen ilgi nok-taları çiftleri kullanılarak düzlemsel ba˘gıntı hesaplanmı¸stır. Bu hesaplama i¸sleminde RANSAC [15] algoritması kullanılarak gürbüz kestirim yapılmı¸stır.
Resimleri e¸sle¸stirme kuralı bu ¸sekilde bulunmu¸s olur. Mozaik olu¸sturmada kolaylık olması için referans resmin ko-ordinatları ile mozaik resmin koordinat eksenleri çakı¸stırılır. Öncelikle, di˘ger resmi sınırlayan kö¸selerin mozaik resim ko-ordinatlarındaki kar¸sılıkları bulunarak mozaik resmin sınırları belirlenir. Mozaik resmin her pikseli için; o pikselin iki resim-de bir piksele kar¸sılık gelip gelmedikleri kontrol edilir. Her iki resimde kar¸sılı˘gı varsa piksel de˘gerleri ortalanarak mozaik resme aktarılır. Sadece bir resimde kar¸sılık olması durumunda ilgili resimdeki de˘ger de˘gi¸stirilmeden mozaik resme aktarılır.
B. Mozaik Olu¸sturma
PTZ kameralarda izdü¸süm merkezi ile dönme merkezinin çakı¸stı˘gını varsayarak, iki resim arasında düzlemsel ba˘gıntı hesaplanmaktadır. Bu ba˘gıntıyı elde etmek için resimleri e¸sle¸stirmek gerekir. E¸sle¸stirmeyi yapmak için de resimlerin ortak bölgeleri olmalıdır. PTZ kamerayı döndürmek suretiyle
¸Sekil 4. Dı¸smekan resimden çıkarılan SURF ilgi noktaları
ortak bölgeleri olan resimler çekilir. Monari [9] ve Xue [11]’dan farklı olarak, bu resimler ardı¸sık iki¸serli gruplar halinde e¸sle¸stirilerek ara mozaik resimler olu¸sturulur. Ardı¸sık ara mozaik resimler de ikili gruplar halinde birle¸stirilerek ana mozaik resim elde edilir ( ¸Sekil 1).
C. Mozaik Arka plan Çıkarma
Arka plan çıkarma, sabit kamera ile çekilmi¸s görüntü dizilerinden hareketli nesnelerin bölütlenmesidir. Sahnede uzun süre hareketsiz duran nesneler arka planı olu¸sturur. Arka plan nesnelerine ait piksel de˘gerleri zamanla büyük de˘gi¸sik-likler göstermez. Ne zaman bu pikseller ön plan nesnesinden yansıyan fotonları almaya ba¸slarlarsa piksel de˘ger de˘gi¸sim-leri büyük olur. Gauss karı¸sımı arka plan çıkarma algorit-ması ([3], [4]) her pikselin zamanla aldı˘gı de˘gerleri Gauss karı¸sımı ile modeller. Karı¸sımı olu¸sturan Gauss da˘gılımları görülme sıklıklarına ve de˘gi¸sintilerine göre arka plan veya ön plan olarak sınıflandırılır. E˘ger güncel piksel bir arka plan Gauss da˘gılımına uygun de˘ger almı¸ssa arka plan, bir ön plan da˘gılımına uygun de˘ger almı¸ssa ön plan olarak adlandırılır.
Ancak kamera hareket etti˘gi zaman pikseller hep aynı arka plan bölgesinden yansıyan fotonları toplamazlar. Bu yüzden piksel de˘gerleri büyük de˘gi¸siklikler gösterir. PTZ kameralar sınırlı bir bölgeyi gözetlerler. Bu bölgeden çekilmi¸s resimler ile arka plan nesnelerini içeren mozaik resim olu¸sturulur. Bu mozaik arka plan modeli olarak kullanılır. Mozaik resim ile güncel çerçeve arasında e¸sle¸sme kuralı hesaplanmak suretiyle pikseller geometrik olarak e¸sle¸stirilmi¸s olur. Arka plan nes-nelerine ait piksellerin de˘gerlerinde büyük de˘gi¸siklikler bek-lenmez. Ön plan nesnelerine ait piksellerde de˘gi¸sikliklerin daha büyük olması beklenir. Bu sayede hareketli kameralarda hareketli nesne bölütlenmesi mümkün olur.
Arka plan modelini olu¸sturan mozaik resim ile güncel çerçeve Bölüm II-A’da anlatıldı˘gı gibi e¸slenerek e¸sleme ku-ralları belirlenir. Buna göre her yeni çerçeve güncel arka plan modeliyle e¸slenerek aralarındaki düzlemsel ba˘gıntı hesaplanır. Arkaplan çıkarma i¸slemi yalnız e¸sle¸sen piksel çiftleri ile yapılır. Bu ¸sekilde her yeni çerçeve ile mozaik arka plan modeli güncellenir ve görü¸s alanı içindeki hareketli nesneler ayırt edilir.
III. DENEYSEL SONUÇLAR
Geli¸stirilen algoritmayı test etmek amacıyla biri dı¸smekan di˘geri içmekan olan iki veri kümesi olu¸sturulmu¸stur. Dı¸smekan veri kümesi yalnızca mozaik olu¸sturmak amacıyla kul-lanılmı¸stır. Resim çiftlerinden her ikisinden de SURF ilgi noktaları ¸Sekil 4’te gösterildi˘gi gibi bulunur. ¸Sekil 4’te farklı ölçeklerdeki SURF noktaları çapları farklı olan çemberlerle
gösterilmi¸stir. Çapları büyük çemberler resmin küçültülmesiyle olu¸sturulan resimlerden elde edilen noktaları temsil eder. Bu ilgi noktaları ¸Sekil 5’te gösterildi˘gi üzere e¸slenir. ¸Sekil 5’te ilgi noktalarının ço˘gunlu˘gu düzgün e¸slenirken bazılarının hatalı olarak e¸slendi˘gi görülür. RANSAC algoritması ile düzlemsel ba˘gıntı hesaplamak suretiyle hatalı e¸slemelerin hesaplamaya etki etmesi önlenmi¸s olur. ¸Sekil 1’deki gibi çifter çifter e¸slenen resimlerden ¸Sekil 6 ve ¸Sekil 7’deki gibi mozaik resimler elde edilir. ¸Sekil 6’daki mozaik 8 resimden, ¸Sekil 7’deki mozaik ise 4 resimden olu¸smu¸stur. ¸Sekil 6 ve ¸Sekil 7’de resimlerin ba˘glantı yerlerinde gerçekte varolmayan çizgiler belirmi¸stir. Bu çizgiler resimleri sınırlayan piksellerin renk tonlarının uyu¸smamasından meydana gelir. Piksel de˘gerlerini a˘gırlıklandırarak toplama ile bu çizgilerin giderildi˘gi bilinse de arka plan çıkarma algoritmasını uygulamanın sonucu olarak bu çizgilerin kayboldu˘gu görülmü¸stür. Bu sebepten dolayı a˘gırlıklandırarak toplama i¸slemi uygulanmamı¸stır.
¸Sekil 7’deki mozaik resim arka plan modelini olu¸sturmak için kullanılmı¸stır. ¸Sekil 8.b’deki önplan maskesi ¸Sekil 8.a’daki çerçevenin arka planının çıkarılması sonucu elde edilmi¸stir. Önplan bölgeleri beyaz renk ile arka plan bölgeleri ise siyah renkle gösterilmi¸stir. ¸Sekil 8.b’de hareketli nesnenin yanı sıra hatalı önplan bölgeleri de yer almı¸stır. ¸Sekil 9’daki resim-lerde de benzer bir durum söz konusudur. Hatalı önplan böl-geleri piksel de˘gerleri de˘gi¸simlerinin e¸sik de˘gerinin üzerinde seyretmesinden kaynaklanmı¸stır. Kameranın otomatik kazanç kontrolünün bu tür piksel de˘gerleri de˘gi¸simlerine neden oldu˘gu daha önceki tecrübelerden bilinmektedir.
IV. SONUÇLAR
Sonuç olarak güncel resimlerle mozaik resmi e¸slemek suretiyle yapılan arka plan çıkarma i¸slemi PTZ kameralar-da hareketli nesnelerin bölütlenmesini mümkün kılmaktadır. Büyük dönme açılarında optik merkez ile dönme merkezinin çakı¸stı˘gı varsayımı geçersiz oldu˘gundan düzlemsel ba˘gıntı ile çok geni¸s mozaik resimler olu¸sturmak mümkün olmamı¸stır. Buna ra˘gmen küçük açılarda alınan sonuçlar umut vericidir. Önerilen mozaik olu¸sturma yöntemi bilinen di˘ger yöntemler-den daha az i¸slem gerektirmektedir. Çerçevelerin ortasından uzakla¸stıkça ve sınırlarına yakla¸stıça renkler etkili ¸sekilde
¸Sekil 6. 8 resimden olu¸sturulan dı¸smekan mozaik resim
¸Sekil 7. 4 resimden olu¸sturulan içmekan mozaik resim
(a)
(b)
¸Sekil 8. Arka plan çıkarma sonucu. (a) Orjinal çerçeve (b) Ön plan maskesi
temsil edilemedi˘ginden bu bölgelerde hatalı hareketli nes-neler tespit edilmi¸stir. ˙Ileride hatalı bölgeler bulmadan nesne bölütlemesi yapmak ve geni¸s mozaik resimler olu¸sturmak hedeflenmektedir.
KAYNAKÇA
[1] N.M. Oliver, B. Rosario and A.P. Pentland, "A Bayesian Computer Vision System for Modeling Human Interactions", IEEE PAMI, vol. 22, no. 8, pp. 831-843, August 2000.
[2] B.P.L. Lo and S.A. Velastin, "Automatic Congestion Detection System for Underground Platforms", Proc. ISIMP 2001, pp. 158-161, May 2001. [3] C. Stauffer and W.E.L. Grimson, "Adaptive Background Mixture Models
for Real-Time Tracking", CVPR, Fort Collins, CO, USA, 1999. [4] D.S. Lee, "Effective Gaussian Mixture Learning for Video Background
Subtraction", IEEE PAMI, vol. 27, no. 5, pp. 827-832, May, 2005.
(a)
(b)
¸Sekil 9. (a) Orjinal çerçeve (b) Ön plan maskesi
[5] R. Hartley and A. Zisserman, Multiple View Geometry in Computer Vision, 2nd Ed., Cambridge Univ. Press, 2004.
[6] T. Wada and T. Matsuyama, "Appearance Sphere: Background Model for Pan-Tilt-Zoom Camera", In Proc. of 13th ICPR, pp.A-718-A-722, 1996. [7] S. Kang, J. Paik, A. Koschan, B. Abidi and M. A. Abidi, "Real-time video tracking using PTZ camera", In 6th Intern. Conf. on Quality Control and Artificial Vision, Gatlinburg, TN, USA, SPIE vol. 5132, pp. 103-111, May 2003.
[8] I. Haritaoglu, D. Harwood and L.S. Davis, "W4: Real-Time Surveillance of Poeple and Their Activities", IEEE PAMI, vol.22, no. 8, pp. 809-830, August 2000.
[9] E. Monari and T. Pollok, "A Real-Time Image-to-Panorama Registration Approach for Background Subtraction Using Pan-Tilt-Cameras", In 8th Intern. Conf. AVSS, pp. 237-242, 2011.
[10] A. Bevilacqua and P. Azzari, "High-quality real time motion detection using ptz cameras", AVSS, Nov. 2006, pp. 23-23.
[11] K. Xue, G. Ogunmakin, Y. Liu, P. A. Vela and Y. Wang, "PTZ Camera-Based Adaptive Panoramic and Multi-Layered Background Model", In 18th ICIP, pp. 2949-2952, 2011.
[12] D. Lowe, "Distinctive image features from scale-invariant keypoints, cascade filtering approach", IJCV, vol.60, no.2 pp.91-110, 2004. [13] H. Bay, A. Ess, T. Tuytelaars and L. V. Gool, "SURF: Speeded Up
Robust Features", CVIU, Vol. 110, No. 3, pp. 346-359, 2008
[14] M. Muja, "FLANN, Fast Library for Approximate Nearest Neighbors", http://mloss.org/software/view/143/, 2011.
[15] M. A. Fischler and R. C. Bolles, "Random Sample Consensus: A Paradigm for Model Fitting with Applications to Image Analysis and Automated Cartography", Comm. of the ACM, vol.24, no.6, pp.381-395, June 1981.
