Mağaza katalogları içerisinde resim arama

Maaza Katalogları çerisinde Resim Arama

Content-Based Image Retrieval in Store Catalogs

Sermetcan Baysal

, Mehmet Can Kurt

,Gonca Aydogdu

, Pelin Damcı

, lay Telmen

, Pınar

Duygulu

1.

Bilgisayar Mühendislii Bölümü

Bilkent Üniversitesi

{sermetcan,kurt,duygulu}@cs.bilkent.edu.tr

Özetçe

Bu makalede internetteki giysi kataloglarına eriim yöntemleri üzerinde olumlu deiikler yapmayı amaçlayan bir uygulamadan bahsedilmektedir. Hâlihazırdaki internet satı siteleri kullanıcılara giysi koleksiyonlarını sadece gezme ve metin bazlı arama imkânı vermektedirler. Bu çalımada ise maaza koleksiyonları üzerinde içerik bazlı bir arama sistemi gelitirilmi ve kullanıcılara aradıkları bir giysiyi bulma imkânı tanınmıtır. Deney sonuçları göz ile incelendiinde tatmin edici baarı oranlarına ulaılmıtır. Bu çalıma, bilinen bilgisayarla görme tekniklerini farklı bir alana uygulayarak günlük hayatta kullanılabilecek ve insanlara faydalı olabilecek bir uygulama ortaya çıkmıtır.

Abstract

In this paper, an overview of an application, which aims to make significant improvements on access methods to the online shopping catalogs, is presented. In current online shopping sites, only browsing and semantic based retrieval are provided to the users. In this work, a system is constructed on content based retrieval methods in order to allow users to find a clothing item that they are searching within the online catalogs. The results have came out to be impressive when they are examined by the human eye. This work makes use of existing computer vision techniques and applies them to the area of clothing and shopping to provide users with a useful application.

1.

Giri

Türkiye’de pek de yaygın olmasa da yurt dıındaki ünlü hazır giyim markalarının hemen hemen hepsi koleksiyonlarını internetten de satıa sunmaktadır. nternetten satı, internet kullanıcıları tarafından sıkça rabet edilen bir alıveri yöntemidir. Yapılan bir aratırma sonucunda internet kullanıcılarının %79’u bir kitap ya da giysi satın almadan önce onun hakkında bilgi toplamak, olası bütün ürünleri inceleyerek doru ürünü satın almak ve onlara önemli ölçüde zaman kazandırdıı için internetten alıverii tercih ettiklerini vurgulamılardır [1]. Bu bilgiler dorultusunda ünlü giyim markalarının, internet satı siteleri açarak, insanları alıveri

merkezlerine gidip maaza maaza dolamaktan kurtarmak, aradıkları ürünün maazalarında olup olmadıını göstermek ve satı ilemini kısa sürede ve kolaylıkla gerçekletirmeyi amaçladıklarını söyleyebiliriz.

Bunun sonucunda gigabaytlarca resim verisi dijital kütüphanelerde depolanmaktadır. Bu veri ancak düzenli bir ekilde tutulduu ve üzerinde uygun eriim metotları kullanıldıı sürece faydalı olacaktır. Hâlihazırdaki internet satı siteleri kullanıcılara koleksiyonlarını sadece gezme ve metin bazlı arama imkânı vermektedirler. Metin bazlı bir eriim yönteminin iki temel dezavantajı vardır. Birincisi bütün resimlerin tek tek elle etiketlenmesi, ikincisi ise bu etiketleme sırasında resimlerin zengin içeriklerinin öznellie açık olması sebebiyle aynı içeriin farklı insanlar tarafından farklı algılanacak olmasıdır. Bu yüzden içerik bazlı bir eriim yöntemi kullanmak etiketleme gereksinimini ortadan kaldıracaktır. Ayrıca arama sorgusu olarak yine bir resim kullanılacak olmasından ve resim özellikleri karılatırılarak benzerlik bulunacak olmasından dolayı içeriin yorumunun kiiden kiiye göre deimesi söz konusu olmayacaktır [2].

Bu makalede bahsedilen çalımada internetten giyim satıını bir adım daha öteye taımayı amaçlayan bir uygulama tasarlanmıtır. Bu çalıma kullanıcılara maaza koleksiyonları üzerinde içerik bazlı bir arama sistemi gelitirerek aradıkları bir giysiyi bulma imkânı tanımıtır. Bu dorultuda çeitli hazır giyim markalarının internet satı sitelerindeki tüm giysilerin bilgi, resim ve literatürdeki bilgisayarla görme teknikleri ile çıkartılan renk, doku ve ekil özellikleri bir veritabanına toplanmıtır. Uygulama için hazırlanan veritabanında 2000 adet kadın ve erkek giysi resmi bulunmaktadır. Kullanıcının a tabanlı olarak tasarlanan bu uygulamaya aradıı giysiyi içeren bir resim yüklemesi ve istedii giysiyi resim üzerinde iaretlemesinden sonra, resmin özelliklerini çıkartarak veritabanındakilerle karılatırmak suretiyle benzer giysiler, hangi markaya ait oldukları ve dier bilgileriyle beraber kullanıcıya sunulmaktadır. Kullanıcıya renk, doku ve ekil özelliklerinden istediklerini kullanarak arama yapma imkânı salanarak, yükledikleri resimdeki dokuda ama farklı renklerde ya da yükledikleri resimdeki renkte ama farklı dokularda ürünler bulma olanaı tanınmaktadır.

Bu uygulama ile insanlar aradıkları bir giysiyi internet satı sitelerinde tek tek gezmeden kısa sürede bulabilecekler ve o siteye yönelerek ürünü satın alabileceklerdir. Bu çalıma bilinen bilgisayarla görme tekniklerini farklı bir alana

uygulayarak günlük hayatta kullanılabilecek ve insanlara faydalı olabilecek bir a uygulaması olmayı amaçlamaktadır.

2.

Benzer Çalımalar

Bu makalede belirtilen çalımaya benzer birkaç uygulamaya daha rastlanmaktadır. Bunlardan en önemlisi Like.com [3], isimli internet sitesidir. Like.com kullanıcılarına görsel giysi arama imkânı sunmaktadır. Kullanıcılar hangi renkte, dokuda ve ekilde giysi aradıklarını belirterek çeitli markalara ait giysileri bulabilmektedirler. Buna ek olarak sitede bulunan herhangi bir giysi resmini seçerek o giysinin renk, doku ve ekil özelliklerine benzer giysiler de aranabilmektedir. Bunu gerçekletirmek için veritabanındaki bütün giysiler etiketlenmitir. Böylece siteden seçilen herhangi bir resmin renk, doku ve ekil özellikleri tıpkı veritabanındakiler gibi önceden bilinmektedir ve bu yöntemle de seçilene benzer giysiler kullanıcıya sunulmaktadır. Bu çalımadaki gibi Like.com’da da kullanıcıdan resim kabul ederek arama yapma imkanı sunulmaktadır. Ancak arama imkânı olan kategoriler sınırlandırılmıtır ve ayrıca resim yüklenmeden önce bu kategorinin belirtilmesi ve giysinin stilinin de seçilmesi istenmektedir. Böylece yapılacak olan aramada etiketleme yöntemini kullanarak arama setini büyük ölçüde sınırlandırmak amaçlanmıtır. Ayrıca Like.com’da siteye yüklenilen giysi resminin sabit bir arka planda çekilmi olması ve bir insanın üstünde olmaması istenmektedir. Bu çalımayı farklı kılan özellii ise yüklenilen resim hakkında hiçbir ön bilgi istenmemesi ve bir giysinin insan üzerinde olmasının sakıncası olmamasıdır. Böylece kullanıcıya daha gerçekçi ve esnek bir görsel arama imkânı salanmaktadır.

3.

Yöntem

ekil 1: Uygulamanın genel görünümü. Sisteme kullanıcı

tarafından yüklenilen bir resim üzerinden giysi iaretlenerek arama yapılmaktadır. Seçilen arama ölçütlerine göre resimdekiyle benzer giysiler kullanıcıya sunulmaktadır.

Kullanıcılara, aradıkları bir kıyafeti ya da o kıyafetin benzerlerini en hızlı ekilde nerede bulabileceklerini söyleyen bu sistem için izlenen yöntemleri, ekil-2’deki akı eması aracılıı ile daha net açıklayabiliriz.

ekil 2: Kullanılan yöntemin akı eması

Resmin Sisteme Yüklenmesi: Gelitirilen sistemde ilk

aama, arama yapılmak istenen hedef kıyafet resminin kullanıcı tarafından web tabanlı bir arayüz yardımıyla sisteme yüklenmesidir.

Giysinin aretlenmesi: Bu ilemi, sisteme yüklenen

resmin istenilen kıyafeti içeren kısmının kullanıcı tarafından iaretlenmesi takip eder. Bu iaretleme ilemi, resim üzerinde büyüklüü ayarlanabilir bir dikdörtgen oluturmak suretiyle gerçekletirilir. Buradaki amaç, mümkün olduu kadar, resmin arka planında kalan ve arama sonuçlarını olumsuz etkileyecek olan bölümlerin hedef resimden kesilip çıkartılmasıdır.

Arama Ölçütlerinin Seçilmesi: Bir sonraki adımda, arama

yapılacak ölçütler seçilir ve seçilen her bir ölçüte “Düük”, “Orta” veya “Yüksek” olmak üzere bir üstünlük deeri atanır. Sistemde u an renk, doku ve ekil olmak üzere üç arama ölçütü desteklenmektedir.

Nitelik Vektörlerinin Çıkartılması: Yukarıda tanımlanan

üç aama, kullanıcının da süreç içerisinde aktif bir rol oynadıı aamalardır. Bundan sonraki evrelerde, kullanıcının sisteme müdahalesi bulunmamaktadır. Bir sonraki ilem, sisteme yüklenen resim için nitelik vektörlerinin çıkartılmasından ibarettir.

Aranılan kıyafet resmindeki doku bilgisi çıkarımı için bilgisayarla görme uygulamalarında sıkça kullanılan ve baarılı sonuçlar veren Gabor Doku Filtreleri [4] kullanılmıtır. Sisteme yüklenen resimdeki dokuları daha ayrıntılı yakalayabilmek adına 4 farklı büyüklük ve 6 farklı yönde olmak üzere toplam 24 filtre kullanılmıtır.

Aranılan kıyafet resmindeki ekil bilgisinin bir temsilini elde etmek için, Canny Kenar Algılayıcısı [5] kullanılmakta ve buradan çıkan sonuçlar ile bir kenar histogramı oluturulmaktadır. Hesaplanan bu histogram yardımıyla, resim üzerinde hangi yönde kaç tane kenar olduu bilgisi tutulmakta ve bu durum farklı ekillere sahip olan kısa kollu, uzun kollu tiört, pantolon ve ort gibi kıyafetlerin birbirinden ayırt edilmesine olanak salamaktadır.

Öznitelik vektörleri çıkarılmasında histogram ve lokalizasyon yöntemleri kullanılmaktadır. Renk öznitelii için hem histogram hem de lokalizasyon yöntemine bavurulmaktadır. Renk ölçütü için hangi yöntemin daha baarılı olduu ise göreceli bir kavramdır ve resimden resime deimektedir. Doku öznitelii çıkartırken lokalizasyon

yöntemi, ekil öznitelii çıkartırken ise histogram yöntemi kullanılmıtır.

ekil 3: Öznitelik bilgisi çıkartmada kullanılan

histogram ve lokalizasyon yöntemleri

Benzerlik Hesaplanması: Sisteme yüklenen bir resim için

öznitelikler çıkarıldıktan sonra, bu bilgiler Rv (Renk), Dv (Doku) ve Sv (ekil) olmak üzere üç farklı vektör içerisinde tutulmutur. Bu ilem sonrasında elde ettiimiz Rv, Dv ve Sv vektörleri, karılatırma öncesi, daha salıklı benzerlik deerleri bulabilmek adına normalize edilmi ve ilem sonucunda Rnv, Dnv ve Snv vektörleri elde edilmitir. Bir sonraki adımda, bu vektörler, veritabanı içerisindeki her bir resmin normalize edilmi nitelik vektörleriyle Euclidean Uzaklık metrii kullanılarak karılatırılmıtır.

URi = Euclidean( Rnv, Ri ) (1) UDi =Euclidean( Dnv, Di ) (2) USi = Euclidean( Snv, Si ) (3)

Bu karılatırma neticesinde, elde edilen URi, UDi ve USi uzaklık deerleri, aranılan kıyafet resminin veritabanı içerisindeki i’inci resme olan renk, doku ve ekil benzerliini ortaya koyması açısından büyük önem taır.

Benzer Resimlerin Sıralanması: Sisteme yüklenen

resmin, veritabanı içerisindeki bir resme olan benzerliini tek bir sayısal deerle ifade etmek için, bir önceki aamada elde edilen URi, UDi ve USi deerlerinin birletirilmesi gerekir. Bu birletirme esnasında kullanılacak farklı yöntemler, farklı sonuçlara yol açabilir. Gelitirilen sistem bu aamada üç ayrı yöntem kullanmıtır. Bunlardan ilki, elde edilen üç deerin toplanmasını, ikincisi ise bu deerlerin çarpılmasını gerektirir.

Ui = URi + UDi + USi (4) Ui = URi * UDi * USi (5)

Denklem (4) ve (5)’de de görülebilecei gibi, toplama veya çarpma metotlarından herhangi birinin uygulanması sonucunda ulaılan Ui uzaklık deeri, aranılan resmin veritabanındaki i’inci resme olan benzerlik miktarını ortaya koyar. Bu hesaplama sonrasında, veritabanındaki i’inci resim için olan sıralama kaydı, (i, Ui) çifti eklinde bir Q öncelik kuyruuna eklenir.

URi, UDi ve USi deerlerini birletirmek için kullanılan üçüncü metot ise “Borda Sıralaması” [6] adıyla anılmaktadır.

Bu metotta, önceki iki metottan farklı olarak, QR, QD veQS olmak üzere üç farklı öncelik kuyruu kullanılır.

( i, URi )  QR (6) ( i, UDi )  QD (7) ( i, USi )  QS (8)

Buna göre, her bir URi deeri bir (i, URi) kaydı eklinde, her bir UDi deeri bir (i, UDi) kaydı eklinde ve her bir USi deeri bir (i, USi) kaydı eklinde, sırasıyla, QR, QD veQS kuyruklarına eklenir. QR, QD ve QS kuyruklarına deerler yerletirildikten sonra, veritabanındaki her resim her bir kuyruktan, kuyruk içerisinde bulunduu pozisyona göre puan almaktadır. Bu puanlama sistemi, kuyrukta birinci sırada olan en yüksek, sonuncu sırada olan ise en düük puanı alacak ekilde düzenlenmitir.

( i, pRi + pDi + pSi ) Q (9) Son aama olarak, i’inci resmin QR, QD veQS öncelik kuyruklarından almı olduu pRi, pDi ve pSi oyları toplanarak toplam bir oy puanı oluturulmakta ve i’inci resim aldıı bu puanla beraber nihai Q öncelik kuyruuna yerletirilmektedir.

Benzer Kıyafetlerin Kullanıcıya Sunulması: Gelitirilen

sistemin son aamasında, kullanılan sıralama yöntemi sonucu oluturulan Q öncelik kuyruundaki ilk 5, 10, 20, 50 ya da 100 kayıta karılık gelen kıyafetler, marka, model ve satın alınabilecei internet adresleriyle birlikte kullanıcıya gösterilmektedir.

4.

Deneyler

ekil 4: Yukarıdaki ekil uygulamaya yüklenilen be farklı

resim için en benzer be sonucu göstermektedir. Soldan birinci sütundaki resimler uygulamaya yüklenen resimler, saındakiler ise uygulama tarafından yeil dikdörtgen içindeki giysi ile karılatırılarak bulunan benzer giysileri benzerlik sıralarına göre göstermektedir. Aranılan

resimlerin altında hangi öznitelikler seçilerek arama yapıldıı belirtilmektedir.

ekil 4’de gösterilen (a) deneyinde, ilk üç sırada gelen kıyafetlerin aranılan kıyafete olan doku ve ekil benzerlii tatmin edicidir. Ancak, dört ve beinci sırada gelen tiörtler, her ne kadar doku açısından hedeflenen sonuçlar olsa da, ekil açısından iaretlenen bölüme olan farklılıklar dikkat çekicidir. (a) deneyindeki bu sıkıntı, resim üzerinde bölge iaretlemek için dikdörtgen kullanımının uygun olmadıını göstermektedir. Bu nedenle, u anda sistemde desteklenen ekil ölçütünün tek baına kullanılması durumunda elde edilen sonuçlar hedeflenen baarı oranından uzakta olacaktır. Yine aynı nedenden ötürü, ekil ölçütünün tek baına kullanılmasından ziyade baka bir ölçütle bir arada kullanılması, arama sonuçlarını olumlu yönde etkileyecektir. (b) deneyinde, yürütülen sorguda yalnızca renk ölçütünün kullanılması ve sonuçların renk açısından aranılan kıyafete çok benzer olması, bu ölçütün hedeflenen performansa ulaacaını göstermitir. (c) deneyinde kullanılan ölçütlerden biri de renk olmasına ramen, elde edilen sonuçlarda yalnızca ilk sıradaki kıyafetin renk açısından aranılan kıyafete yakın olması, sistem için hazırlanan veritabanının geni bir kıyafet koleksiyonuna sahip olmadıı göstermektedir. Veritabanındaki bu kısıtlama, deneylerde elde edilen sonuçların tartıılması sürecini de olumsuz etkilemektedir. (d) deneyine bakıldıında, ilk be sırada gelen kıyafetlerin aranılan kıyafet türüyle aynı kategoride olması, bu deney için yüzde yüzlük bir baarı oranı yakalandıını göstermektedir. Ancak, resimde iaretlen bölüme beyaz arka planın da dâhil olması ve sonuç resimlerindeki arka planın da beyaz oluu üzerine düünülmesi gereken bir gözlemdir. Bu durum genelletirildiinde, resimde iaretlenen bölge içerisinde arka plana ya da kol, boyun, el gibi insan uzuvlarına ait olan görüntü elemanlarının sonuçlar üzerinde ciddi bir etkisi olduu görülmektedir. Bu nedenle, bu etkiyi ortadan kaldırmak ya da azaltmak adına ileride yapılacak çalımalar büyük önem taır.

5.

Sonuç ve Tartıma

Bu çalımada, maaza kataloglarında resim aramak için bir sistem gelitirilmitir. Gelitirilen sistem, içerik bazlı resim eriimi uygulamalarında faydalanılan temel yöntemleri kullanmaktadır. Sistemin çalıma doruluunu bir baarı oranına dökmek için, hazırlanan veritabanı içerisindeki resimlerin el ile etiketlenmesi gerekmektedir. Ancak bu aamaya kadar, veritabanı üzerinde böyle bir etiketleme çalıması gerçeklemedii için, baarı oranı hakkında yalnızca göz yordamıyla bir fikir yürütülebilir. Bu noktada, aranılan bir kıyafet sorgusuna sistemin döndürdüü ilk 10 cevaba bakıldıında, baarı oranının istenen düzeylerde olduu görülmektedir. Yapılan bu gözlemlere ramen, ileride bir etiketleme çalıması ile baarı oranlarının sayısal ifadelere dönütürülmesi hedeflenmektedir.

Deney sonuçlarına bakıldıında, sistemdeki en büyük problem, resimde arka planda kalan ve aranılan kıyafete ait olmayan kısımların aramaya dâhil olması olarak tanımlanabilir. Aranılan kıyafetle ilgisi olmayan bu kısımların, renk ve doku gibi özellikleri arama sonuçlarını olumsuz yönde etkilemektedir. Bu problemi ortadan kaldırmak için iki çözüm yolu önerilebilir.

lk çözüm yolu, resim sisteme yüklendikten sonra kullanıcının kıyafet üzerinde bir nokta seçmesini ön koul koyar. Böylece, bu nokta kullanılarak resim üzerinde bir

segmentasyon ilemi yapılır. Çıkartılacak nitelik vektörlerine yalnızca segmentasyon sonucu ortaya çıkan bölümdeki görüntü elemanları katkıda bulunurlar. Ancak, segmentasyon ilemi sonucunda, resim üzerinde birden fazla grup ortaya çıktıı takdirde, sonuçlarda iyilemenin aksine daha da kötü bir tablo ortaya çıkabilir. Bunun nedeni, sistemin resimdeki yalnızca bir bölümden veri alması ve aranılan kıyafetin bu sefer de olması gerekenden daha az görüntü elemanıyla temsil edilecek olmasıdır.

kinci çözüm yolu ise, resim sisteme yüklendikten sonra kıyafeti içeren kısmın dikdörtgen yerine, bir poligon ile iaretlenmesinden ibarettir. Bir poligonda istenildii kadar kenar tanımlanabilmesi, resim üzerinde iaretlenecek bölümün en ince ayrıntısına kadar belirlenebilmesine olanak kılar. Bu sayede resim, ilgisiz bölümlerden arındırılıp, genel arama sonuçlarının baarısı da daha yüksee çekilebilir.

Yukarıda bahsedilen ve çözüm yolları tartıılan problem, sistemin genel baarısı üzerindeki en büyük engel olmasından, ileride yapılacaklar listesinde en baı çekmektedir.

6.

Teekkür

Bu çalıma TÜBTAK 104E065 no’lu proje tarafından desteklenmitir.

7.

Kaynakça

[1] John B. Horrigan, Online Shopping, Washington: PEW Internet & American Life Project, Feb. 13, 2008. [Online]. Available: PEW Internet & American Life Project Website http://www.pewinternet.org

[2] Rui Y. & Huang T. S. & Chang S. 1999 “Image Retrieval: Current Techniques, Promising Directions and Open Issues”, Journal of Visual Communication and Image Representation, Vol. 10, 39-62

[3] Like.com Visual Search, [Online]. Available: http://www.like.com

[4] W. Y. Ma and B. S. Manjunath, Texture features and learning similarity, Proceedings of IEEE Computer Society Conference on Computer Vision and Pattern Recognition, San Francisco, pp. 425-430, June, 1996 [5] J. Canny, A computational approach to edge detection,

IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 8, Iss 6, pp. 679-698, 1986

[6] Seyoon Jeong Kyuheon Kim Byungtae Chun Jaeyeon Lee Bae, Y.J., An effective method for combining multiple features of image retrieval, TENCON 99. Proceedings of the IEEE Region 10 Conference, Vol. 2, pp. 982-985, December, 1999