Ki
úi øliúkileri Kullanılarak Foto÷raflardaki Yüzlerin øsimlendirilmesi
Naming of Faces on Photographs by Using the Relationship between People
Muhammed Fatih Bulut, Pınar Duygulu
Bilgisayar Mühendisli
÷i Bölümü
Bilkent Üniversitesi
mbulut@ug.bilkent.edu.tr
,duygulu@cs.bilkent.edu.tr
Özetçe
Bu çalıúmamızda internet üzerinden topladı÷ımız
foto÷raflardaki yüzleri isimlendirmeyi amaçladık.
ønternet üzerinde bulunan foto÷raflarda bazı kiúiler çok
sık, bazı kiúiler ise di÷erlerine göre daha az sıklıkta geçmektedir. Foto÷raflarda çok geçen kiúileri isimlendirmek az geçen kiúileri isimlendirmeye göre daha kolay bir problem, çünkü bu kiúilerle ilgili çok sayıda örnek mevcut. Fakat, foto÷raflarda az sayıda geçen kiúileri isimlendirmek problemli bir konu olarak
karúımıza çıkmaktadır. Bu çalıúmamızda, bu konuya
yüksek oranda do÷ru çalıúan bir çözüm getirmeyi hedefledik. Bu amaçla, ilk önce foto÷raflarda çok sayıda geçen kiúilerin yüzlerini isimlerle eúleútirmeye çalıútık. Bundan sonraki aúamada e÷er veri kümelerimizde isim kaldıysa bu ismin foto÷raflarda az sayıda geçen kiúilere ait oldu÷u varsayımıyla, ismi olmayan ve az sayıda geçen kiúileri yüz benzerliklerini kullanarak isimlendirmeye çalıútık. Bu amaçla ikili iliúkilerin kolayca elde edilebilece÷i politikacı foto÷raflarını kullandık.
Abstract
In this study, we are aiming to name faces of people in photographs which are collected from web. In photographs from the web, some people appear more frequently than some other people. In addition to that, since there are so many examples of more frequently appearing people, naming of these people is simpler than naming of other less frequently appearing people. Therefore, naming of less common people on photographs seems to be problematic. In this study, we are aiming to propose a method which increases the correctness of naming infrequently appearing people. By this purpose, we first try to match the names of most frequently appearing people with their faces. After that, if there are any names remaining, then we assume that these names match with people who are appearing less frequently in the photographs. Therefore, we try to name those people by using the similarity of their faces. For this purpose, we use the politicians’ photographs in
order to build our dataset, because pair relations can be easily exploited in these photographs.
1. Giriú
ønternet üzerindeki kiúi aramalarında kullanılan yöntem, kiúilerin isimlerinin aranmasıyla elde edilen foto÷rafların getirilmesi ile oluúmaktadır. Fakat, burada sadece metin bilgisi kullanılarak bir sonuç elde edildigi için yanlıú sonuç verme olasılı÷ı her zaman vardır. Bir kiúinin do÷ru bir úekilde tanımlanması için görsel özelliklerinin de kullanılması gerekmektedir. Fakat yüz
tanıma probleminin halen çözülememiú bir problem
olması bu tanımlamayı kısıtlamaktadır.
Son zamanlarda metinsel ve görsel bilgilerin birlikte kullanılmasıyla daha iyi sonuçlar elde edilebilece÷i [1,2]’de oldu÷u gibi gösterilmiútir. Bizde bu çalıúmamızda metinsel ve görsel bilgileri kullanarak internet üzerindeki foto÷raflarda ismi bilinmeyen yüzlerin ismi bilinebilen yüzler yardımıyla isimlendirilmesini amaçladık. Deneylerde kullanılan veri kümesi internet üzerinden elde edilmiú foto÷raflardan oluúmaktadır [3]. Kullandı÷ımız veri kümeleri varolan di÷er veri kümelerinden çok farklıdır
(Bakınız ùekil 1). Resimler gerçek hayat koúullarında
çekildi÷inden, sınırlı ve kontrollü bir ortamda çekilmiú
resimler de÷illerdir. Bu sebeple resimlerde geniú bir çeúitlilikle poz, ıúıklandırma ve yüzsel ifade sergilenmektedir. Yukarıda belirtilen sebeplerden dolayı yüz tanıma problemi daha zor bir hale gelmektedir.
ùekil 1. Kullanılan resimlerden örnekler
Bu çalıúmamızda sundu÷umuz yöntem ilk olarak foto÷raflarda sıkça geçen kiúilerin isimlendirilmesidir.
Bundan sonra ise kalan isimlerin foto÷raflarda daha az sıklıkta görülen kiúilere ait oldu÷u ve aynı kiúiye ait yüzlerin biribirlerine daha çok benzeyece÷i varsayılmıútır. Bu varsayımlarla, ismi bilinmeyen kiúiler
önceden oluúturulmuú gruplarla karúılaútırılmıú ve
isimlendirilmeye çalıúılmıútır. Bu çalıúmamızda sunulan yöntem genel yüz tanıma problemine bir çözüm olmamakla birlikte, resimlerde ismi bilinmeyen kiúilerin
isimlendirilmesine olanak sa÷lamaktadır. Bildirinin
kalanı úu úekilde organize edilmiútir: Bölüm 2’de isim
ve yüzlerin eúlenmesine yer vermektedir. Bölüm 3’de yüzlerin nasıl temsil edildi÷i anlatılmaktadır. Bölüm
4’de ise yüzler arası benzerli÷in nasıl oluúturuldu÷u
anlatılmaktadır. Bölüm 5’de ise bu yolla yapılan deneyler ve sonuçları betimlenmektedir.
2. øsim ve Yüzlerin Eúlenmesi
Kullandı÷ımız veri kümelerinde alıútırma ve test
kümeleri olmak üzere iki farklı kısım oluúturduk.
Alıútırma kümesinde kiúilerin internet üzerindeki metin bilgisi kullanılarak önceden yüz-isim iliúkisi oluúturularak gruplandırılmıútır. Fakat metinde birden
fazla isim olabilece÷inden ve bu isimlerden hangisinin
kime ait oldu÷u tam olarak belli olmadı÷ından bu tür bir eúleútirme zayıf bir eúleútirme olmaktadır. Bu çalıúmada bizim amacımız bu iliúkiyi do÷ru bir úekilde oluúturmak. Ayrıca [4]’de belirtildi÷i gibi, çizge tabanlı bir yöntem kullanılarak ismi çok geçen kiúilerin iyi bir oranda isim-yüz eúlemesi yapılabilmektedir. Ancak bu çalıúmada amacımız foto÷raflarda az geçen kiúileri tanımak
oldu÷undan, burda ö÷reticili bir yöntem seçtik ve çok
geçen kiúilerin bazılarını elle isimlendirdik.
3. Yüzlerin Temsil Edilmesi
Kullandı÷ımız yöntemde yüzler [5] çalıúmasında da belirtildi÷i gibi dokuz nokta ve bu noktaların
tanımlayıcıları ile temsil edilmiútir (Bakınız ùekil 2). Bu
dokuz noktadan çıkarılan tanımlayıcılar posizyon ve ıúıklandırma de÷iúikliklerine karúı daha do÷ru sonuçlar vermektedir [5].
Yüzler arasında benzerlik kurmak için, daha önce baúarılı oldu÷u gösterilmiú olan SIFT tanımlayıcılar kullanılmıútır [6]. SIFT çok basitçe, belirlenen noktanın etrafındaki küçük bölgelerde 8 farklı yöndeki gradyanların yönü ve de÷erlerini hesaplamakta ve bunların histogramlarını çıkarmaktadır. Bu úekilde her 4x4 küçük bölgede toplam 8 de÷er bulunmakta ve böylece her bir nokta için toplam 128 de÷er oluúmaktadır. Yüzlerdeki noktaları önceden
belirledi÷imiz ve
hangi noktaların de
÷iúik yüzlerde
kar
úılaútırılması gerekti÷ini bildi÷imiz için SIFT
kullanılarak elde edilen noktalarda olu
úan eúleúme
problemi burada olu
úmamaktadır. Fakat yüzlerin
öne do
÷ru dönük olmadı÷ı durumlarda noktalar
tam olarak do
÷ru bulunamadı÷ından yüzlerin
temsil edilebilmesinde problemler olu
úabilmektedir
[5].
20 40 60 80 100 120 140 160 180 200 220 50 100 150 200 250 20 40 60 80 100 120 140 160 180 200 220 50 100 150 200 250 20 40 60 80 100 120 140 160 180 200 220 50 100 150 200ùekil 2. Belirlenen noktalar
4. Yüzler Arası Benzerlik
Yüzler arasındaki benzerlik yüzlerden elde edilen SIFT
tanımlayıcıları kullanılarak elde edilmiútir. øki yüz
arasındaki benzerli÷i bulmak için ilk önce her bir nokta için SIFT tanımlayıcıları arasındaki Öklid uzaklı÷ı bulunmuútur sonrada bu uzaklıkların ortalaması
alınmıútır.
Burada d(A,B), A ve B yüzleri arasındaki benzerlik, N toplam nokta sayısı yani 9 ve D(i) ise iki yüz arasındaki her bir nokta için SIFT tanımlayıcılarının öklid uzaklı÷ıdır. Bu úeklide iki yüz arasındaki benzerlikler bulunmuú ve buna göre deneyler yapılmıútır.
5. Deneyler ve øsimlendirme
Deneylerde internet üzerinden oluúturulmuú 30’ar adet yüz foto÷rafından oluúan 9 tane alıútırma grubu kullanılmıútır. Bu grupları oluúturuken [3]’ de anlatılan veri kümelerinden yararlandık. Bu sebeple yeterince alıútırma grubu oluúturmuú olduk. Bu grupların isimlerini elle verdi÷imizden, bu isimleri do÷ru bildi÷imizi varsayıp, deneyimizi bu gruplar üzerinden geniúleterek sürdürdük. Daha sonra veri kümemize sonuçlarımızı test etmek üzere, içlerinde bu gruplardan kiúilerin ve bilinmeyen kiúilerin oldu÷u ikili 40 tane foto÷raf ekledik. Bu test gruplarında internet üzerinden ikili iliúkilerin oldu÷u foto÷raflardan yararlandık. Bu yolla oluúturdu÷umuz veri kümelerinde iúlemlerimizi sürdürdük (Bakınız ùekil 3). Fakat, bu yolla oluúturulan büyük veri kümeleri biraz zaman alaca÷ından úimdilik sınırlı bir test kümesinde iúlemlerimizi yaptık.
ùekil 3. Sol Taraf: Erdo÷an-Chirac, Sa÷ Taraf:
Schröder-Erdo÷an
Birinci resimdeki Chirac ve ikinci resimdeki Schröder baúta ismi bilinen gruplarda bulunmaktadır. Birinci resimde Erdo÷an’ın ismi bilinmektedir fakat baúta verilen alıútırma gruplarında bulunmamaktadır. Bizim amacımız ikinci resimde bulunan isimsiz Erdo÷an’ı ve onun gibi olan yüzleri isimlendirmek. Bu amaçla e÷er Chirac ve Schröder gibi foto÷raflarda çok sık geçen yüzleri do÷ru bir úekilde tanıyabilirsek ve birinci
resimdeki Erdo÷an’ı do÷ru bir úekilde az bilinenler
úeklinde sınıflandırabilirsek, daha sonra ikinci resimdeki bilinmeyen yüzleri, Erdo÷an gibi, bilinen ve az bilinenlerle karúılaútırır ve isimlendirebiliriz..
Bilinmeyen yüzleri bilinen gruplarla karúılaútırarak tanımak için k-NN yöntemini kullandık. De÷iúik de÷erlerde denedi÷imiz k sayılarından k=17’yi
kendimize úeçtik ve sonucu 6’nın üzerinde çıkan gruba
göre isimlendirmemizi yaptık. Bu úekilde yaptı÷ımız
tanımada, ismi bilinen ve gruplarda bulunan kiúiler için
yaklaúık %57 civarında do÷ru isimlendirme oranı elde
ettik (Bakınız Tablo 1). 6 yerine daha büyük bir de÷er ile
deneylerimizi yaptı÷ımızda do÷ru eúlenme oranının
düútü÷ünü gördük. Ayrıca toplam 9 tane alıútırma grubumuz bulundu÷undan, 2’nin üzerindeki her rakam isimlendirmek için uygun bir rakam olabilirdi, bu yüzden 6’nın benzerlik sayısı için iyi bir rakam oldu÷unu düúündük. Bu isimlendirme iúlemi sırasında do÷ru isimlendirebildi÷imiz kiúileri alıútırma gruplarına ekleyerek grupları daha da büyütmeyi amaçladık. Ayrıca ismi bilinen fakat hiçbir grubu olmayan isimler için, e÷er bu kiúi hiçbir grupla eúlenemediyse, bilinen ismiyle yeni bir grup oluúturduk.
Bundan sonraki aúamada, do÷ru
isimlendirdi÷imiz kiúilerin yanında bulunan bilinmeyen
kiúileri isimlendirme iúlemine geçtik. Fakat burda veri kümemiz biraz küçük oldu÷u için úimdilik tüm ismi bilinen kiúilerin do÷ru isimlendirildi÷ini varsaydık. Bu
varsayımdan sonra ismi bilinmeyen kiúileri ilk önce
baútaki 9 grupla karúılaútırdık, e÷er bu kiúi baútaki 9 grup ile isimlendiremediysek, bir önceki adımda oluúturmuú oldu÷umuz küçük gruplarla karúılaútırdık.
Bu úekilde ismi bilinmeyen kiúiyi isimlendirmeye
çalıútık. Yukarıda verilen yöntemle 20 adet ismi bilinmeyen kiúiden 10 tanesini do÷ru bir úekilde isimlendirebildik ve %50 baúarı oranı yakaladık (Bakınız Tablo 2).
øsim Toplam
Yüz
Sayısı
Do
÷ru
øsimlendirme
Oranı
Berlusconi 3
%0
Blair 8
%50
Bush 12
%75
Chirac 5
%40
Koizumi 3
%100
Powell 1
%100
Putin 3
%66
Schröder 4
%25
Sharon 1
%100
Tablo 1. Foto÷raflarda çok sayıda geçem kiúilerin sayıları ve tanınma oranları
øsim
øsimli
Yüz
Sayısı
øsimsiz
Yüz
Sayısı
øsimsiz
Yüzlerin
Tanınma
Oranı
Brown 2
2
%50
Erdo
÷an 3
3
%66
Karamanlis
2 2 %50
Karzai 2
2
%0
Merkel 4
4
%50
Rice 3 3
%66
Sarkozy 2
2
%50
Zapetero 2
2
%50
Tablo 2. Foto÷raflarda az sayıda geçem kiúilerin sayıları ve tanınma oranları
6. Özet ve Sonuçlar
Bu çalıúmada internet üzerinde bulunan politikacı resimlerimlerinden oluúan veri kümelerimizde, ismi
bilinmeyen kiúilerin isimleri di÷er bilinenler yardımıyla
bulunmaya çaılıúılmıútır. Yüzler içinde seçilen 9 noktanın SIFT tanımlayıcısı yoluyla elde edilen de÷erleri yüzler ile karúılaútırmada kullanılmıútır. Yüz tanıma problemi geniú ve gerçekçi veri kümeleri için halen çok zor ve hata oranı yüksek bir problemdir bu sebepten dolayı bazı yüzleri do÷ru isimlendiremedik.
ønternet üzerinden oluúturdu÷umuz veri kümelerinde, 4. ve 5. bölümlerde anlatılan yöntemlerin
kullanılmasıyla ismi bilinen kiúiler arasında %60’a
varan bir sonuc, daha sonra ismi bilinmeyen kiúilerin karúılaútırılması ile de %50 oranında do÷ru isimlendirilme yapılabilmiútir.
Teúekkür
Bu çalıúma TÜBøTAK 104E065 no’lu proje tarafından desteklenmiútir.
7. Kaynakça
[1] J. Yang, M.-Y. Chen, and A. Hauptmann. Finding person x: Correlating names with visual appearances. In International Conference on Image and Video Retrieval (CIVR‘04), Dublin City University Ireland, 2004. [2] N. Ikizler and P. Duygulu. Person search made easy. In The Fourth International Conference on Image andVideo Retrieval (CIVR 2005), Singapore, 2005. [3] T. Berg, A. C. Berg, J. Edwards, M. Maire, R. White, Y.- W. Teh, E. Learned-Miller, and D. Forsyth. Faces and names in the news. In IEEE Conf. on Computer Vision and Pattern Recognition (CVPR), 2004.
[4] D. Ozkan and P. Duygulu. A graph based approach for naming faces in news photos. In CVPR, pages 1477– 1482, 2006.
[5] M. Everingham, J. Sivic, and A. Zisserman. ‘Hello! My name is... Buffy’ - automatic naming of characters in TV video. In BMVC, pages 889–908, 2006.
[6] D. Lowe. Distinctive image features from scale-invariant keypoints. IJCV, 60(2):91–110, 2004.
