Benzer yüzlerin bulunması

Tam metin

(1)Benzer Yüzlerin Bulunması Finding Similar Faces R. Baturalp Torun, Merve Yurdakul, Pınar Duygulu Bilgisayar Mühendislii Bölümü, Bilkent Üniversitesi baturalp@alumni.bilkent.edu.tr, yurdakul@ug.bilkent.edu.tr, duygulu@cs.bilkent.edu.tr. Yüzü etkin bir ekilde tanıma problemi, yapay zeka ve bilgisayarlı görüntüleme alanlarında oldukça çalıılmı bir konu olmasına karın henüz tam olarak çözülebilmi deildir. Günümüzde elde edilen baarılı yüz tanıma yöntemleri hali hazırda var olan sabit deerlerle çekilmi fotoraflara ait veri kümelerinde baarılı olmakla beraber kontrollü ortamlar dıında pozlanmı resimlerde çok düük baarı oranlarına sahiptir. Bu durum günlük hayata indirgendiinde, mevcut çözümlerle gerçek zamanlı ortamlarda ve kontrolsüz pozlanan görüntülerde etkin bir baarı elde edilemeyecei anlamına gelmektedir. Literatürde yüz bulma ve eleme amaçlı birçok yöntem yer almasına ramen bu yöntemler internette farklı kaynaklardan gelen ve farklı deerlerde pozlanmı resimleri elemek konusunda yeterince baarılı olamamaktadır. Mevcut yöntemlerle probleme ancak tek bir açıdan yaklaıp, belli özellie sahip fotoraflarda yüksek verim alınabilmektedir. Internet sitelerinde yer alan görüntülerin çeitlilii göz önüne alındıında mevcut yöntemlerin probleme yaklaımı yeterli olmamaktadır. Dolayısıyla mevcut yöntemler deerlendirilerek, eksiklerinin kapatılıp var olan farklılıklara göre sonuçların dengelenmesi gerekmektedir. Bu makalede bahsedilen çalımada yüz tanıma ve eleme problemine farklı kaynaklarda yer alan kontrolsüz pozlanmı görüntülerde de baarı salayacak bir yöntemin gelitirilmesi hedeflenmitir. Literatürde var olan çok sayıda yöntemin bu artlar altında baarılı olmadıının bilinmesi sebebiyle probleme çözüm olabilecek David Lowe’un SIFT [1] yöntemi balangıç noktası olarak seçilmitir. Yüz tanımada daha önceden Lowe tarafından nesne tanımada kullanılan ve baarılı sonuçları olan SIFT tanımlayıcıları kullanılmıtır. Bu yöntem nesnenin sahnedeki duruundan baımsız olarak ilgi noktalarını eleyerek çalımaktadır. Bu sayede farklı kaynaklardan elde edilen fotoraflardaki yüzleri baarılı bir ekilde elemek mümkün olmutur. Yüz elemede kullandıımız yöntemlerin baarı oranını test etmek için ünlülerin yüzlerini eletiren bir uygulama gelitirdik. Bu uygulamayı seçmekteki amacımız internette farklı kaynaklardan bulabileceimiz çok fazla sayıdaki görselden yararlanabilmekti. Deneylerde kullanılan veri kümesi internette farklı kaynaklardan toplanmı ünlü insanların fotoraflarından olumaktadır. Toplamda 3600 ünlüye ait 31000’den fazla fotoraf bulunmaktadır. Fotorafların kontrolsüz artlar altında farklı ekillerde pozlanmı olması deney sonuçlarının çeitliliine imkan salamaktadır. Bu çalıma benzer yüzlerin bulunmasıyla ilgili önemli bir probleme çözüm önerisi sunmaktadır. Bildirinin kalanı u ekilde organize edilmitir: Bölüm 2’de benzer çalımaların uygulamaları incelenmitir. Çalıtıımız problemle ilgili motivasyon kısmı Bölüm 3’te yer almaktadır. Bölüm 4’te uygulanan yöntemin gelitirilmesiyle ilgili detaylar ve bunların deerlendirmesi yer almaktadır.. Özetçe Bu çalımada, nternet üzerinden toplanan, çok farklı poz, ıık ve ortamlarda çekilmi fotoraflardan oluan veri kümelerinde benzer yüzleri eletirmek için bir yöntem önerilmitir. Yüz üzerinde bulunan taç noktaları yüzleri tanımlamak için kullanılmı, çeitli kısıtlamalarla noktaların sayısı azaltılarak iki yüzü en uygun ekilde eletiren noktalar bulunmutur. Daha sonra eleen noktalar arasındaki fark iki yüz arasındaki benzerlii tanımlamak için kullanılmıtır. Ünlü resimlerinden oluturulan veri kümeleri üzerinde yapılan deneylerde çok farklı pozlara, makyaj, kıyafet ve saç deiikliklerine, ve yalanma etkilerine ramen verilen bir yüze benzer yüzlerin baarıyla getirilebildii gözlemlenmitir.. Abstract In this paper, we propose a method to match similar faces despite photos, which are taken from different sources on Internet, could have different scenes, illumination and posing. Interest points are used to recognize faces, and some points are eliminated in order to find best matching points which pair the similar face. Difference between two matching points is used to define similarity of the faces. Inspite of physical changes due to old age, plastic surgery, make-up or clothing, experiments show that given face image can be successfully matched with a similar face within a database composed of celebrity photos.. 1. Giri Günümüzde dijital görüntüleme cihazları ve onların uygulamaları gelitikçe görüntü ileme uygulamalarına olan ihtiyaç da artmaktadır. Görüntülere ait veri kümelerinin metinlere nazaran çok daha fazla yer kaplaması ve bu arivlerin internet üzerinde sınıflandırılmamı halde olması onları etkin biçimde eletirmek konusunda ciddi engeller tekil etmektedir. Arama motorları da dahil olmak üzere metin bazlı arama ve eleme yapmaya yarayan uygulamalar için hali hazırda birçok baarılı yöntem olmasına ramen, görüntülerin çeitlilii sebebiyle resim bazlı arama ve eleme konusunda her zaman etkin bir yöntem bulmak mümkün olmamaktadır. Son yıllarda internette aranan resimler arasında yüzlerin bulunması ve elenmesi önem kazanmıtır. Bu sebeple resim bazlı aramalarda yüz özelliklerine göre etkin eleme yapan arama uygulamalarının önemi gün geçtikçe artmaktadır. Öte yandan internette bulunan resimlerin sınıflandırılmamı olması ve kontrolsüz artlar altında çekilen fotoraflardan oluması geleneksel yüz eleme yöntemlerini baarısız kılmaktadır.. 978-1-4244-4436-6/09/$25.00 ©2009 IEEE. 960.

(2) ki yüz arasındaki benzerlii bulurken Özkan’ın ve Duygulu’nun çalımalarından esinlenilerek, bu çalımaya yön verilmitir. Özellikle Özkan’ın [6] çalımalarında yüz tanıma sisteminin temel alınmı olması, bizim benzer yüzleri bulmayı hedefleyen sistemimizin alt yapısını oluturmutur. Bu aamada nesne tanıma algoritmasından esinlenerek gelitirilen bu yaklaımda kullandıımız yöntem, elde ettiimiz sonuçları da olumlu yönde etkilemitir.. Gelitirilen yöntemle ilgili deneyler ve test durumlarının detayları Bölüm 5’te verilmektedir. Bölüm 6’da ise çalımamızın sonuçları ve deerlendirilmeleri yer almaktadır.. 2. Benzer Çalımalar Bu bildiride yer alan çalımaya benzer çalımalar yer almaktadır [2] [3]. Ünlülerin yüzleri üzerinde deneyler yaptıımız için buna benzer çalımalar detaylı olarak incelenmitir.. 4. Uygulanan Yöntem Her insanın kendine ait belirgin yüz hatları vardır. Kiinin yaı, makyajı, saç stili deise de kiinin yüz hatları deimez. Benzer ekilde nesnelerin de ayırt edici özellikleri vardır. Bu özellikler daha önce nesne tanıma sistemlerinde kullanılmı ve baarılı sonuçlar elde edilmitir. Bizim çalımalarımızda da bu iki olgu birletirilerek, ayırt edici özellik konsepti yüz hatlarını belirlemede kullanılarak bir yüz eleme yöntemi gelitirilmesi amaçlanmıtır. Daha önce Lowe tarafından nesne tanıma için gelitirilen ve uygulanan SIFT tanımlayıcılarından baarılı sonuçlar elde edilmitir [1]. Bu dorultuda, yüzleri birer nesne olarak ele alıp nesne tanımlayıcıyı yüz görselleri üzerinde kullanarak aratırmaya yön verilmitir. Öncelikli olarak farklı internet kaynaklarından toplanarak çeitlendirilen veritabanına ihtiyaç duyulmutur. Veritabanının oluturulması için kendi oluturduumuz a örün tarayıcısından (web crawler) yararlanılmıtır. Ünlü insanların isimleriyle oluturulmu sorguların sonuçlarını bir araya getiren imajlar toplanarak çalımada kullanılan kapsamlı veritabanı haline gelmitir. Bu sayede daha geni bir veri kümesine ulamakla birlikte, sistemin deney aamasında aynı kiiye ait farklı ya gruplarında, farklı kılıklarda ve farklı görünülerde verilere ulaılabilmi, sistem daha kapsamlı deerlendirilmitir. Veritabanındaki yüzlerin elenmesi için kullanılan yöntemin gösterildii akı eması ekil 1’de yer almaktadır.. 2.1. My Heritage My Heritage herkese açık olan bir internet uygulaması olarak gelitirilmitir [4]. My Heritage soyaacı araması yapmak için yaratılmı bir arama uygulaması olsa da sisteme yüklediiniz fotoraftaki yüzün hangi ünlüye benzediini gösteren araçlara da sahiptir. Dünya genelinde 20 milyon kiinin kullandıı büyük bir toplulua sahiptir. My Heritage açık kaynaklı bir uygulama olmadıı için yüz tanıma sistemleriyle ilgili detaylar bilinmemektir. Yüklediiniz fotoraftaki yüzleri bularak, kendi veri kümelerindeki ünlülerin yüzleriyle elemektedir. Kullanıcıları, elemelere göre benzerlik oranları hakkında da bilgilendirmektedir. Sistemi denemek için ünlülerin fotoraflarını verdiimizde yüksek oranda doru kiiyi vermitir. Farklı açılardan çekilmi yüz fotoraflarında doru kiiyi bulma oranı yaptıımız deneylerde oldukça düük çıkmıtır. Bu haliyle internet uygulamaları arasında en baarılı olanıdır. 2.2. Face Double Face Double internet uygulaması olarak gelitirilmi ve herkesin kullanımına açıktır [5]. Sisteme yüklenen fotoraflarda yüzleri otomatik olarak bulamadıı için kullanıcıdan yüz bölgesini seçmesi ve fotorafa ait cinsiyet bilgisi vermesi istenmektedir. Bu durumda kullanıcıdan alınan veriler dorultusunda aynı fotoraf için farklı sonuç kümeleri alınabilmektedir. Bu durum sistemin güvenilirliini yitirmesine sebep olmaktadır. Yüklenen fotoraflarda sadece 1 adet yüzün benzerinin bulunmasına imkan verilmektedir. Sisteme deneme amaçlı yüklediimiz kalabalık sahnelerde ve farklı açıdan pozlanmı fotoraflarda baarı oranı çok düüktür.. Resmi Sisteme Yükleme Resimdeki Yüzü Bulma Yüzün lgi Noktalarının Belirlenmesi. 3. Motivasyon. ki Yüz Arasında lgi Noktalarını Eletirme. nsan beyni yüz tanımada oldukça gelimi bir sisteme sahiptir. Yüzlerin fiziksel özellikleri deise de (yalılık, makyaj, sakal bıyık gibi) insan beyni yine o yüzü algılayıp bir önceki haliyle eletirme yapabilir. Her ne kadar yüz tanıma problemi beyinlerimiz için kolay olsa da, bilgisayar sistemleri için kolay bir problem deildir ve hala yapay zeka ve bilgisayarlı görüntüleme alanlarında üstüne aratırma yapılan bir sorunsaldır. Bu çalımadaki amacımız probleme farklı bir açıdan yaklaıp, çözüm gelitirmektir. Yüz tanıma sistemlerinin geni bir kullanım alanı vardır: Güvenlik alanları, robot geliimi, kiisel fotoraf ve video düzenlemeleri, imaj taramaları, imaj etiketlemeleri, uçlu tarama programları gibi. Güncel kullanılan yüz tanıma algoritmalarının sorunları belli balı sınırlar içinde çalımalarıdır. Belli bir poz, aydınlatma ve duru ekliyle sınırlandırılan imajlar üstünde uygulanan algoritmalardan sonuç alınmaktadır. Biz bu sınırlamaları genileterek ıık ve duru farklılıkları içeren, aynı zamanda sadece portre imajları üstünde deil farklı imajlar üstünde de çalımayı amaçladık.. 978-1-4244-4436-6/09/$25.00 ©2009 IEEE. Benzersiz Elemeleri Eleyerek Sınırlama Sonuçları Sıralandırma. ekil Kullanılan 11:: Kul lla lanı nıla lann yöntemin yönt yö ntem emin in akı akı kı eması. eması 4.1. Resmi Sisteme Yükleme lk aamada gelitirilen sisteme, veritabanından dier resimlerle eletirilip bir sonuç döndürülmesi için istenen resim yüklenir. Bunun için web tabanlı bir arayüz kullanılarak sisteme ulaılır. 4.2. Resimdeki Yüzü Bulma Sisteme yüklenen resimde öncelikli olarak yüz bulunur. Bu ekilde sadece portre resimleriyle çalıan sistemlerin bir adım önüne geçilmitir. Ayrıca daha sonraki aamalarda gerçekleecek ilgi noktası çıkarma aamasında ve bu noktaların eletiril-. 961.

(3) mesinde oluabilecek yanlı eletirmelerin bir kısmı engellenmi olur. Resimdeki yüzü bulmak için açık kaynak bilgisayarlı görüntüleme kütüphanesi olan OpenCV’den yararlanılmıtır [7]. Bu kütüphanenin yüz bulma modülü kullanılarak resimdeki bütün yüzler iaretlenmitir (Bkz. ekil 2). Resimdeki yüz bulunduktan sonra, resim dosyasının boyutları deitirilerek üzerinde çalımaya uygun hale getirilir. Küçük boyuttaki resimler büyütülerek, yüz tanımada önem tekil edecek ilgi noktalarının da belirlenmesi salanır. Resim yeniden boyutlandırıldıktan sonra, grilik skalasına göre renklendirilir. RGB renkleri bu uygulama için önem tekil etmez. Uyguladıımız yöntemde renklerin 256 tonluk koyuluk oranları yeterlidir.. 4.5. Benzersiz Elemeleri Eleyerek Sınırlama ekil 4’te de görülebilecei gibi yanlı elemelerin büyük bir kısmı çoklu elemelerden ve tek yönlü elemelerden kaynaklanmaktadır. Eer A resmindeki bir ilgi noktasına B resminden birden fazla ilgi noktası elemise, bu çoklu elemeye neden olmutur. Tek yönlü elemelerde ise A resmindeki bir ilgi noktası B resmindeki bir ilgi noktasıyla eleirken, B resmindeki aynı ilgi noktası A resmindeki aynı ilgi noktasıyla elememektedir. Bu iki tip yanlı eleme benzersiz eleme sınırlaması ile engellenebilir [9]. ekil 6’da çoklu elemenin nasıl engellenecei gösterilmitir. A resmindeki 1 ve 2 numralı ilgi noktaları B resminde 1 numaralı ilgi noktasıyla elemitir. Bu elemeler gerçekletirildiinde eleen her iki nokta arasındaki Öklid uzaklıkları hesaplanmıtır. Hesaplamadan elde edilen deerler hangi elemenin eleneceini belirler. Öklid uzunluu kısa olan eleme tanıma ilemi için tercih edilir.. ekil 2: Yüzlerin iaretlendii örnek resim.. ekil 5: ki resimdeki ilgi noktalarının çoklu eletirilmesi ve bu eletirilmelerinin Öklid uzunluklarına göre seçilmeleri.. 4.3. Yüzün lgi Noktalarının Belirlenmesi Sisteme yüklenen resim dahil olmak üzere veritabanındaki bütün resimlere ilgi noktalarının belirlenmesi için Lowe tarafından nesne tanımada kullanılan SIFT [8] tanımlayıcı uygulanmıtır. lgi noktaları belirlenmi iki resim ekil 3’te görülebilir.. ekil 6’da da tek yönlü eletirmelerin gösterimi bulunmaktadır. Burada eer çift yönlü bir eleme varsa geriye kalan elemelerin elendiini göstermektedir.. ekil 6: ki resimdeki ilgi noktalarının tek yönlü ve çift yönlü eletirilmesinin gösterimi. Yanlı eletirmelerin elenmesinden sonraki sonuç ekil 7’de gösterilmitir.. ekil 3: Yüzdeki ilgi noktaları Lowe’un metoduyla belirlenmi iki resim. 4.4. ki Yüz Arasında lgi Noktalarını Eletirme Belirlenen ilgi noktalarının iki resim arasında eletirilmesi gerekir. Ancak Lowe’un yöntemiyle belirlenen bütün noktaların eletirilmesi doru sonuç vermez. Yüzler, her ne kadar nesne gibi ele alınsa da her zaman nesne özellii göstermezler. Lowe’un yöntemi nesneler üzerinde gösterdii baarıyı yüzlerde gösteremez ve iki yüz arasında yanlı eletirmeler gerçekletirir. (Bkz. ekil 4) Daha iyi bir sonuç çıkarmak için bulunan eletirmeler üzerinde bir takım sınırlar belirlenerek elemeler yapılmalıdır. Yüzlerdeki eletirmelerin ideali çizgilerin yatay ve birbirlerine paralel olmasıdır. Bunun için bir sonraki aamada yanlı elemeler elenecektir.. ekil 7: Benzersiz elemeler elendikten sonra geriye kalan elemeler. 4.6. Sonuçları Sıralandırma Yüz tanıma programındaki en son aama olan sonuçların sıralandırılması, veritabanındaki karılatırmaya giren tüm resimlerin sisteme girilen resimle eletirilmesi sonucu hesaplanan deerlerinin ortalamasının sıralanmasıyla oluur. Bu deerler küçükten büyüe doru sıralanır ve en düük deer en iyi eleme sonucunu verir. Bu da sisteme verilen resme veritabanındaki en çok benzeyen kayda karılık gelir.. 5. Deneyler Oluturduumuz sistemin test edilmesi ve uyguladıımız yöntemin deerlendirmesini yapabilmek için çeitli deneyler yapılmıtır. Yöntemin test edilmesi için oluturduumuz web. ekil 4: lgi noktalarının eletirilmesi.. 978-1-4244-4436-6/09/$25.00 ©2009 IEEE. 962.

(4) üzerine, Angelina Jolie’nin resmi birinci Jesica Alba’nın resmi yedinci sırada döndürülmütür.. tabanlı arayüz kullanılmıtır. Deney aamasına geçmeden önce yöntemin aamaları test edilmitir. Bu testler sonucunda benzersiz elemelerin elenmesi ve yüz bulmanın yönteme dahil edilmesi aratırmanın gelimesinde ve elde edilen sonuçların iyilemesinde etkili olmutur. Bir sonraki aamada sistem farklı senaryolar üzerinden deerlendirilmitir. 4 farklı alanda sistemin genelini farklı veri grupları için incelenmitir.. Verilen Resim. 5.1. Güncel Görünüm.

(5) . Bu deneyde ünlülerin güncel görünülerinden yararlanılıp yine aynı döneme ait resimlerinin veritabanından bulunup döndürülmesi beklenmitir. Bu test aamasında sistem baarılı sonuçlar vermitir. ekil 8’de sistemin döndürdüü örneklerden biri verilmitir. lk sırada baarılı sonuç dönmütür. Verilen Resim. Bu çalımada, yüz tanıma problemlerine farklı bir yöntem sunulmutur. Nesne tanıma problemlerinde kullanılan ve baarılı sonuçlar elde etmi olan SIFT tanımlayıcıları [1] kullanılarak, iki yüzün birbirine olan benzerlik oranları uzaklıklara bakılarak hesaplanmıtır. Doru elenledii varsayılan ilgi noktalarının ortalama uzaklıkları bu oranı belirlemitir. Geni ve farklı veri kaynaklarından toplanmı yüz görselleri için yüz tanıma ve eletirme halen hataya açık ve çok zor bir problemdir. Bu çalımada, bu tip daınık veri kümelerinde benzer yüzleri elemek ve bir insanın farklı hallerindeki görsellerini tanımak için bir yöntem gelitirilmitir. Farklı pozlama deerlerine göre yüksek hata oranıyla çalıan geleneksel yüz tanıma yöntemlerine nazaran daha etkili çalıan bir çözüm sunulmutur.. ekil 8: Güncel görünümlerin test edildii deney sonucu. 5.2. Ya Farkı Bu deneyde veritabanında olduu bilinen bir ünlünün farklı ya gruplarındaki fotorafları sisteme verilerek aynı kiiye ait fotorafları döndürmesi beklenmitir. Bu test sonuçları da sistemin baarıyla çalıtıını göstermektedir. ekil 9’de verilen test sonucunda, sisteme Elizabeth Hurley’nin 17 yaındaki bir resmi verilmi, karılıında Elizabeth Hurley’nin güncel görünüünün bir resminin döndürüldüü gözlemlenmitir.. 7. Teekkür Sistem geliimi süresince çalımalarda yer alan Sedef Özlen’e ve Merve Soner’e teekkür ederiz. Bu çalıma TÜBTAK 104E065 no’lu proje tarafından desteklenmitir.. Alınan Resim . . 8. Kaynakça [1] D. G. Lowe, “Distinctive image features from scale invariant keypoints” International Journal of Computer Vision, 60(2), 2004. [2] R. Gross, S. Baker, I. Matthew and T. Kanade, “Face Recognition Across Pose and Illumination” Handbook of Face Recognition, Stan Z. Li and Anil K. Jain, ed., Springer-Verlag, June, 2004. [3] W. Zhao, R. Chellappa, P. Phillips and A. Rosenfeld, “Face Recognition: A literaturesurvey” ACM Computing Surveys, 35(4) (2003) pp. 399–458. [4] My Heritage [Online] <http://www.myheritage.com> [5] Face Double [Online] <http://www.facedouble.com> [6] Derya Ozkan, Pinar Duygulu, "A Graph Based Approach for Naming Faces in News Photos", In Proceedings of IEEE Conference on Computer Vision and Pattern Recognition (CVPR 2006), New York, NY, June 17-22, 2006. [7] OpenCV : Open Source Computer Vision Library [Online] <http://sourceforge.net/projects/opencvlibrary/> [8] SIFT Keypoint Detector [Online] <http://www.cs.ubc.ca/~lowe/keypoints/ > [9] Derya Ozkan, Pinar Duygulu, "Yüz ve sim likisi Kullanarak Haberlerdeki Kiilerin Bulunması" IEEE 14. Sinyal leme ve letiim Uygulamaları Kurultayı (SIU 2006), Antalya, Türkiye, Nisan 17-19, 2006.. ekil 9: Ya farkının test edildii deney sonucu. 5.3. Makyaj Farkı Bu aamada sisteme ünlülerin makyajsız hallerinin resimleri verilmi ve sonuç olarak makyajlı hallerinin döndürülmesi beklenmitir. ekil 10’da gösterildii gibi sisteme Jennifer Lopez’in makyajsız resmi verilmi ve sistem tarafından aynı kiiye ait makyajlı bir resmi alınmıtır. Verilen Resim . !. 6. Sonuçlar ve Deerlendirmeler. . Verilen Resim. . ekil 11: Birletirilmi resimlerin test edildii deney sonucu. Alınan Resim. . Alınan Resimler. Alınan Resim . ekil 10: Makyaj farkının test edildii deney sonucu 5.4. Birletirilmi Resimler En zor test aaması için birletirilmi resimler kullanılmıtır. Birletirilmi resimler, iki ünlünün resminin web tabanlı bir program tarafından birletirip sonra sisteme verilmesinden olumaktadır. Burada amaç sistemin resmi birletirilen her iki kiinin de veritabanından resmini bulup döndürmesi beklenmitir. ekil 11’de gösterildii üzere Jesica Alba ve Angelina Jolie’nin birletirilmi resminin sisteme verilmesi. 978-1-4244-4436-6/09/$25.00 ©2009 IEEE. 963.

(6)