Öneriler

ração de documentos. Para tanto esse experimento não adiciona novas RLBs à consulta original, e sim extrai as relações lexicais binárias definidas pelo Modelo TR+ para cada consulta.

O experimento tem seu início com a definição das consultas realizadas por Gonzalez, o próximo passo é a exclusão das RLBs oriundas de cada consulta. Em seguida a consulta é novamente realizada desta vez sem as RLBs.

Este experimento não necessita do processo de normalização (apresentados na Seção 6.2) uma vez que não são acrescidos à consulta original termos e relações lexicais binárias.

sulta original para a recuperação dos documentos.

Na Tabela 11 e na Figura 23, podemos observar o resultado da precisão e da abrangência do experimento realizado para avaliar a imporância das RLBs para a recuperação de informação.

Tabela 11 – Resultado do experimento com a exclusão das RLBs da consulta original

abrangência precisão 0 0,9650 0,1 0,9551 0,2 0,9253 0,3 0,8971 0,4 0,8549 0,5 0,8411 0,6 0,7732 0,7 0,7434 0,8 0,6840 0,9 0,5420 1 0,3924 MAP 0,7778

Figura 23 – Curva Precisão x Abrangência do experimento com a exclusão das RLBs da consulta original

Este experimento mostrou a importância das RLBs para a recuperação de informação, uma vez que ao se retirar as RLBs das consultas se obteve resultado inferior ao que foi atingido nos experimentos realizados por Gonzalez (2005). De fato ao se avaliar o desempenho do Modelo TR+ no que tange a recuperação de informação, este obteve para a medida MAP um percentual de 85,09% contra 77,78% quando são retiradas das consultas as RLBs. Ou seja, a EC não tradicional realizada pelo Modelo TR+ ao se utilizar de RLBs para a representação da

consulta original, esta constitui-se na expansão de consulta de melhor benefício no contexto desse trabalho.

6.10 Considerações sobre o capítulo

Neste capítulo apresentamos os experimentos realizados para a avaliação da proposta de EC realizada nesta dissertação. Apresentamos doze experimentos para as duas técnicas de EC utilizada nesse trabalho, Realimentação de Relevantes e Pseudo Realimentação de Relevantes, também apresentamos um experimento sem a aplicação das técnicas de expansão de consulta PRR e RR e sim a exclusão das RLBs utilizadas pela proposta do Modelo TR+. Apresentamos ainda para as duas técnicas (RR e PRR) o processo de normalização dos pesos, tanto das RLBs como dos termos envolvidos na EC junto ao Modelo TR+.

Os melhores resultados tanto para os experimentos com PRR quanto com RR foram alcan- çados, utilizando 3 RLBs e 10 RLBs dos 3 documentos melhor classificados (experimentos com PRR)ou dos 3 documentos escolhidos entre os 10 melhor classificados (experimentos com RR). Entretanto estes experimentos não superaram os resultados obtidos por Gonzalez (2005) que foram utilizados por nós como baseline para este trabalho.

Outra constatação sobre os experimentos é que, no contexto dessa dissertação, a utilização de termos tanto para PRR quanto para RR, mostrou-se ineficiente no que tange a RI.

Ao compararmos os experimentos tanto com PRR quanto com RR, podemos constatar que a técnica RR foi superior no que tange a medida MAP em comparação à PRR somente no Experimento 5. Esta semelhança ocorreu, devido ao fato de que, os documentos utilizados ((i) 3 documentos melhor ranqueados após a recuperação para PRR e (ii) 3 documentos melhor classificados pela recuperação e julgados como relevantes pelos usuários para RR) tanto para PRR como para RR foram muito semelhantes, ou seja praticamente os mesmos, diferenciando- se apenas em 8 consultas.

Com os resultados tão parecidos para os experimentos tanto com PRR como com RR, re- alizamos o Teste-T (Base, 2006) (veja Apendice D), para identificar a significância estatística dos resultados dos experimentos. Com o Teste-T podemos comparar os resultados dos experi- mentos com EC e o resultado do baseline (Gonzalez, 2005). Também utilizamos o Teste-T para compararmos os resultados dos experimentos com EC entre si, quer sejam com PRR e com RR. Com o resultado do Teste-T podemos tecer algumas conclusões. Para os experimentos com PRR: (i) o baseline é superior estatisticamente ao Experimento 1, confirmando os resultados obtidos pela medida MAP para ambos; (ii) apesar do baseline ter atingido um valor para a me- dida MAP superior ao alcançado pelo Experimento 2 e suas variantes, o baseline não possui uma superioridade estatística significante em relação ao Experimento 2; (iii) o Teste-T aponta que o baseline é superior ao Experimento 4, o que confirma os valores obtidos por ambos pela medida MAP; (iv) apesar do baseline ter alcançado um valor superior para a medida MAP em

comparação ao Experimento 6, o Teste-T indica que não há uma superioridade estatística entre os dois experimentos; (v) ao compararmos os experimentos realizados com PRR que utilizaram RLBs para a EC entre si podemos concluir que, o Experimento 1 é superior estatisticamente aos Experimentos 4 e 6, e o Experimento 4 é superior estatisticamente ao Experimento 6, embora os três possuam o mesmo valor para a medida MAP; (vi) ao utilizarmos o Teste-T para comparar os resultados das variantes do Experimento 2 entre si, podemos concluir que não há diferença estatística significante entre as variações do Experimento 2; (vii) ao compararmos os resulta- dos dos Experimentos 3 e 5 utilizando o Teste-T podemos concluir que não existe diferença significativa entre os dois experimentos. Para os experimentos com RR: (i) o baseline é supe- rior estatisticamente ao Experimento 1 confirmando os valores da medida MAP de ambos; (ii) embora o baseline tenha alcançado um valor para a medida MAP superior às variantes do Ex- perimento 2, ao compararmos estes resultados utilizando o Teste-T, o baseline não possui uma superioridade significativa as variações do Experimento 2; (iii) o Teste-T para os resultados do baseline e do Experimento 4 apontam pela superioridade estatística do baseline, confirmando os valores obtidos por ambos para a media MAP; (iv) apesar do baseline ter alcançado para a medida MAP um valor maior que o Experimento 6, ao compararmos estes dois experimen- tos utilizando o Teste-T, este indica que não há diferença estatística significativa entre eles; (v) ao compararmos os resultados das variantes do Experimento 2 utilizando o Teste-T podemos concluir que não há diferença estatística entres os três experimentos, como aponta os valores deles para a medida MAP; (vi) ao compararmos os resultados dos experimentos 1, 4 e 6 entre si (experimentos que utilizam RLBs para a EC) utilizando o Teste-T podemos concluir que, o Experimento 1 é superior ao 4 e 6, o Experimento 4 é superior ao Experimento 6, isto ocorre mesmo que para a medida MAP dos três experimentos tenham obtidos o mesmo valor; (vii) ao compararmos os experimentos 3 e 5 (experimentos que utilizam termos para a EC) utilizando o Teste-T podemos concluir que não há diferença estatística significante entre estes experimentos, ao compararmos entre si.

No próximo capítulo (Capítulo 7) apresentamos as conclusões sobre o trabalho desenvolvido nesta dissertação. Na Seção 7.2 apresentamos os resultados obtidos, e a públicação resultante do trabalho realizado. Na Seção 7.3 expomos as limitações encontradas no decorrer da dissertação e finalizando na Seção 7.4 apresentamos algumas sujestões para a continuidade do trabalho neste contexto.

7 Conclusões