ABD Örneği

Esta seção apresenta os descritores, as coleções de imagens utilizadas e os resultados da avaliação experimental realizada. Utilizamos onze descritores diferentes, onde cinco deles são descritores de forma, três são descritores de cor e três são de textura. Foram consideradas ainda três coleções de imagens diferentes, uma para cada tipo de característica visual (forma, cor e textura).

A. Descritores de Forma

Foram considerados 5 descritores de forma: Segment Salien- ces(SS) [8], Beam Angle Statistics (BAS) [9], Inner Distance Shape Context (IDSC) [10], Contour Features Descriptor (CFD) [11] e por fim o Aspect Shape Context (ASC) [12]. Os experimentos com descritores de forma foram executados na coleção de imagens MPEG-7 [13], comumente utilizada na literatura para avaliação e comparação de métodos de pós-processamento. A coleção é composto por 1400 formas, divididas em 70 classes com 20 imagens cada.

B. Descritores de Cor

Foram considerados 3 descritores de cor: Border/Interior Pixel Classification (BIC) [14], Auto Color Correlograms (ACC) [15], e Global Color Histogram (GCH) [16]. O ex- perimento foi executado considerando a coleção de imagens proposta em [17]. A coleção contém 280 imagens, composta por imagens de 7 times de futebol, contendo 40 imagens por classe.

C. Descritores de Textura

Foram considerados 3 descritores de forma: Local Bi- nary Patterns (LBP) [18], Color Co-Occurrence Matrix (CCOM) [19], e por fim o Local Activity Spectrum (LAS) [20]. Foi utilizada a coleção de imagens Brodatz [21], uma base de dados popular para avaliação de descritores de textura. Esta base de dados é composta por 111 diferentes imagens

Figura 2. Fluxuograma do método Combinação de Métricas

de textura com tamanho (512 x 52) pixels. Cada imagem é dividida em 16 blocos de (128 x 128) pixels de sub-imagens não sobrepostas, onde 1776 imagens são consideradas. D. Protocolo Experimental

Nesta seção apresentaremos a metodologia de avaliação das métricas de estimativa de eficácia. Idealmente, uma métrica de estimativa de eficácia apresentaria resultados perfeitamente correlacionadas com métricas reais (MAP, Precisão). Dessa forma, para avaliar a qualidade das métricas de estimativa, foi calculada a correlação entre as estimativas e as métricas reais de precisão. Espera-se que, quanto mais precisas forem as estimativas, maiores serão os valorres de correlação. Foi utilizado o Coeficiente de Correlação de Pearson, que é uma medida do grau de relação linear entre duas variáveis quan- titativas. Este coeficiente varia entre os valores (−1, . . . , 1), onde o valor 0 significa que não há relação linear, o valor 1 indica uma relação linear perfeita. O valor −1 também indica uma relação linear perfeita, mas inversa, ou seja, quando uma das variáveis aumenta a outra diminui.

E. Resultados da Análise de Vizinhança

Apresentamos nesta seção os resultados da análise de vi- zinhança, discutindo o impacto do parâmetro k sobre as três métricas. Os resultados são apresentados em gráficos onde o eixo x representa o tamanho do ranked list considerado na precisão (P @N) e o eixo y representa o valor do Coeficiente de Correlação de Pearson entre a precisão e a métrica de estimativa considerada. O objetivo é estabelecer o maior valor de correlação entre uma métrica real (P @N) e uma estimativa (NDM [7], NVDM [7], Coesão [4]). Além disso, pretende-se analisar para qual valor de k isso ocorre.

Para essa análise utilizamos o descritor de forma CFD [11] e a coleção de imagens MPEG7 [13]. A Figura 3 ilustra os resultados obtidos para a métrica NDM [7]. Podemos observar que o maior valor de correlação foi obtido para o parâmetro k = 35, considerando as 20 primeiras posições dos ranked lists (P @20). Nesta situação, o pico de correlação atingido foi de 0, 83.

Figura 4. Análise experimental da métrica NVDM. Figura 5. Análise experimental da métrica Coesão.

A Figura 4 apresenta os resultados da medida NVDM [7]. O maior valor de correlação (0, 73) também foi obtido para o parâmetro k = 35, considerando o tamanho do ranked list como N = 21 (P @21).

A Figura 5 ilustra os resultados da medida Coesão [4], que obteve o maior valor individual de correlação (0, 86), dentre as três métricas avaliadas. Esse valor foi obtido para o parâmetro k = 18 e o tamanho do ranked list de N = 20 (P @20).

Devemos notar que o valor de correlação individual obtido para as três métricas (0, 83, 0, 73, 0, 86, para NDM, NVDM e Coesão respectivamente) são superiores aos valores de correlação com o MAP reportados em trabalhos anteriores [7] (0, 79, 0, 67, 0, 50), considerando o mesmo descritor e coleção de imagens.

F. Resultados das Combinações de Métricas

Nessa seção apresentamos os resultados das combinações de métricas (NDM [7], NVDM [7] e Coesão [4]) e comparamos os resultados com aqueles obtidos em trabalhos anteriores [7]. A Tabela I apresenta o valor de correlação com o MAP para cada métrica de forma individual.

As Tabelas II, III e IV apresentam os valores de correlação entre a Precisão e as as combinações propostas para os descri- tores de forma, cor e textura, respectivamente. Como podemos observar na Tabela II, houve uma melhoria nos resultados de correlação de todos os descritores de forma, onde o descritor CFD [11] apresentou o maior valor de correlação (0, 88) para a combinação das medidas NDM e Coesão. Para os descritores de cor houve um ganho menor, mas ainda sim significativo, especialmente para o descritor BIC [14], onde o maior valor de correlação foi obtido para a combinação das medidas NVDM e Coesão (0, 54). Por fim, para os descritores de textura os resultados da correlação também foram significativamente maiores. O maior valor foi obtido para o descritor LBP [18] considerando a combinação NDM+NVDM (0, 82).

V. CONCLUSÃO

Neste trabalho apresentamos uma análise experimental de medidas não-supervisionadas de estimativa de eficácia. Foram avaliados diferentes aspectos, considerando o tamanho da

vizinhança e o tamanho do ranked list que apresenta maior valor de correlação com a precisão. Apresentamos ainda uma estratégia para combinação das métricas avaliadas.

Avaliando as métricas individualmente, foram obtidos va- lores de correlação entre a Precisão e as métricas de esti- mativa de eficácia significativamente superiores que aqueles reportados em trabalhos anteriores [7], que consideraram o MAP. Os resultados de correlação foram ainda maiores quando considerando as combinações propostas neste trabalho.

Dessa forma, podemos concluir que a avaliação experimen- tal apresentada possibilita uma compreensão mais profunda das métricas avaliadas, de forma a contribuir para a sua utilização de maneira mais efetiva.

VI. AGRADECIMENTOS

Os autores agradecem o apoio da FAPESP - Fundação de Amparo à Pesquisa do Estado de São Paulo (processo 2013/08645-0).

REFERÊNCIAS

[1] J. Jiang, B. Wang, and Z. Tu, “Unsupervised metric learning by self- smoothing operator,” in IEEE International Conference on Computer Vision (ICCV’2011), 2011, pp. 794–801.

[2] X. Yang, L. Prasad, and L. Latecki, “Affinity learning with diffusion on tensor product graph,” IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. PP, no. 99, p. 1, 2012.

[3] X. Yang and L. J. Latecki, “Affinity learning on a tensor product graph with applications to shape and image retrieval,” in IEEE Conference on Computer Vision and Pattern Recognition (CVPR’2011), 2011, pp. 2369–2376.

[4] D. C. G. Pedronette and R. da S. Torres, “Exploiting pairwise recom- mendation and clustering strategies for image re-ranking,” Information Sciences, vol. 207, no. 1, pp. 19–34, 2012.

[5] X. Shen, Z. Lin, J. Brandt, S. Avidan, and Y. Wu, “Object retrieval and localization with spatially-constrained similarity measure and k- nn re-ranking,” in IEEE Conference on Computer Vision and Pattern Recognition (CVPR’2012), 2012, pp. 3013 –3020.

[6] D. Qin, S. Gammeter, L. Bossard, T. Quack, and L. van Gool, “Hello neighbor: Accurate object retrieval with k-reciprocal nearest neighbors,” in IEEE Conference on Computer Vision and Pattern Recognition (CVPR’2011), june 2011, pp. 777 –784.

[7] D. Guimaraes Pedronette and R. Da S Torres, “Unsupervised measures for estimating the effectiveness of image retrieval systems,” in Graphics, Patterns and Images (SIBGRAPI), 2013 26th SIBGRAPI - Conference on, Aug 2013, pp. 341–348.

Tabela I

RESULTADOS APRESENTADOS EM[7]: CORRELAÇÃO DEPEARSON ENTREMAPEMEDIDAS DEESTIMATIVA DEEFICÁCIA.

Descritor Tipo Base de Dados MAP NDM NVDM Coesão

SS [8] Forma MPEG-7 37,67% 0,71 0,81 0,80

BAS [9] Forma MPEG-7 71,52% 0,79 0,76 0,53

CFD [11] Forma MPEG-7 80,71% 0,79 0,67 0,50

IDSC [10] Forma MPEG-7 81,70% 0,76 0,60 0,36

ASC [12] Forma MPEG-7 85,28% 0,75 0,58 0,36

GCH [16] Cor Soccer 32,24% 0,13 0,26 0,15

ACC [15] Cor Soccer 37,23% 0,28 0,49 0,34

BIC [14] Cor Soccer 39,26% 0,23 0,44 0,46

LBP [18] Textura Brodatz 48,40% 0,45 0,54 0,54

CCOM [19] Textura Brodatz 57,57% 0,08 0,71 0,68

LAS [20] Textura Brodatz 75,15% 0,67 0,71 0,68

Média 0,51 0,60 0,49

Tabela II

CORRELAÇÃO DEPEARSON ENTREPRECISÃO(P@20)EMEDIDAS DEESTIMATIVA DEEFICÁCIA PARADESCRITORES DEFORMA.

Descritor P@20 NDM NVDM Coesão NDM+NVDM+Coesão NDM+NVDM NVDM+Coesão NDM+Coesão

SS [8] 30,78% 0,69 0,81 0,79 0,84 0,82 0,84 0,80 BAS [9] 64,67% 0,79 0,80 0,79 0,84 0,82 0,84 0,81 CFD [11] 73,40% 0,83 0,73 0,86 0,85 0,77 0,84 0,88 IDSC [10] 74,93% 0,80 0,66 0,81 0,80 0,71 0,78 0,83 ASC [12] 78,98% 0,80 0,63 0,78 0,78 0,69 0,76 0,81 Média 0,78 0,73 0,81 0,82 0,76 0,81 0,83 Tabela III

CORRELAÇÃO DEPEARSON ENTREPRECISÃO(P@40)EMEDIDAS DEESTIMATIVA DEEFICÁCIA PARADESCRITORES DECOR.

Descritor P@40 NDM NVDM Coesão NDM+NVDM+Coesão NDM+NVDM NVDM+Coesão NDM+Coesão

GCH [16] 17,51% 0,11 0,26 0,19 0,24 0,25 0,24 0,19

ACC [15] 21,70% 0,27 0,48 0,48 0,51 0,46 0,52 0,47

BIC [14] 23,46% 0,21 0,46 0,54 0,52 0,43 0,54 0,52

Média 0,20 0,40 0,40 0,42 0,38 0,43 0,39

Tabela IV

CORRELAÇÃO DEPEARSON ENTREPRECISÃO(P@16)EMEDIDAS DEESTIMATIVA DEEFICÁCIA PARADESCRITORES DETEXTURA.

Descritor P@16 NDM NVDM Coesão NDM+NVDM+Coesão NDM+NVDM NVDM+Coesão NDM+Coesão

LBP [18] 40,86% 0,43 0,73 0,49 0,68 0,72 0,69 0,50

CCOM [19] 48,15% 0,10 0,77 0,63 0,71 0,66 0,77 0,51

LAS [20] 67,57% 0,64 0,80 0,65 0,81 0,82 0,81 0,69

Média 0,39 0,77 0,59 0,73 0,73 0,76 0,57

[8] R. da S. Torres and A. X. Falcão, “Contour Salience Descriptors for Effective Image Retrieval and Analysis,” Image and Vision Computing, vol. 25, no. 1, pp. 3–13, 2007.

[9] N. Arica and F. T. Y. Vural, “BAS: a perceptual shape descriptor based on the beam angle statistics,” Pattern Recognition Letters, vol. 24, no. 9-10, pp. 1627–1639, 2003.

[10] H. Ling and D. W. Jacobs, “Shape classification using the inner- distance,” IEEE Transactions on Pattern Analysis and Machine Intel- ligence, vol. 29, no. 2, 2007.

[11] D. C. G. Pedronette and R. da S. Torres, “Shape retrieval using contour features and distance optmization,” in International Joint Conference on Computer Vision, Imaging and Computer Graphics Theory and Applications (VISAPP’2010), vol. 1, 2010, pp. 197 – 202.

[12] H. Ling, X. Yang, and L. J. Latecki, “Balancing deformability and dis- criminability for shape matching,” in European Conference on Computer Vision (ECCV’2010), vol. 3, 2010, pp. 411–424.

[13] L. J. Latecki, R. Lakmper, and U. Eckhardt, “Shape descriptors for non-rigid shapes with a single closed contour,” in IEEE Conference on Computer Vision and Pattern Recognition (CVPR’2000), 2000, pp. 424–429.

[14] R. O. Stehling, M. A. Nascimento, and A. X. Falcão, “A compact and efficient image retrieval approach based on border/interior pixel classification,” in ACM Conference on Information and Knowledge Management (CIKM’2002), 2002, pp. 102–109.

[15] J. Huang, S. R. Kumar, M. Mitra, W.-J. Zhu, and R. Zabih, “Image indexing using color correlograms,” in IEEE Conference on Computer Vision and Pattern Recognition (CVPR’97), 1997, pp. 762–768. [16] M. J. Swain and D. H. Ballard, “Color indexing,” International Journal

on Computer Vision, vol. 7, no. 1, pp. 11–32, 1991.

[17] J. van de Weijer and C. Schmid, “Coloring local feature extraction,” in European Conference on Computer Vision (ECCV’2006), vol. Part II, 2006, pp. 334–348.

[18] T. Ojala, M. Pietikäinen, and T. Mäenpää, “Multiresolution gray-scale and rotation invariant texture classification with local binary patterns,” IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 24, no. 7, pp. 971–987, 2002.

[19] V. Kovalev and S. Volmer, “Color co-occurence descriptors for querying- by-example,” in International Conference on Multimedia Modeling, 1998, p. 32.

[20] B. Tao and B. W. Dickinson, “Texture recognition and image retrieval using gradient indexing,” Journal of Visual Comunication and Image Representation, vol. 11, no. 3, pp. 327–342, 2000.

[21] P. Brodatz, Textures: A Photographic Album for Artists and Designers. Dover, 1966.