Utilizando o processo de aprendizagem na base do MovieLens, descrito na Se¸c˜ao 4.4, ponderou-se cada tipo de intera¸c˜ao durante a combina¸c˜ao dos ranques a fim de representar com qual tipo de intera¸c˜ao o usu´ario consegue expressar melhor suas preferˆencias. Os resultados deste experimento est˜ao representados na Figura 5.23, que apresenta as medidas de MAP e precis˜ao.
Figura 5.23: Gr´afico comparativo de MAP e precis˜ao na t´ecnica baseada em aprendiza- gem na base do MovieLens.
5.3.3.4 T´ecnica de Recomenda¸c˜ao Colaborativa Baseada em Grupos
No ´ultimo experimento, utilizou-se a t´ecnica de combina¸c˜ao baseada em grupo, descrita
na Se¸c˜ao 4.4.1, na qual agrupam-se os usu´arios de acordo com suas intera¸c˜oes atrav´es de um c´alculo de distˆancia de similaridade, a fim de gerar recomenda¸c˜oes para cada grupo. A Figura 5.24 apresenta os gr´aficos dos resultados gerados para cada valor de k
do experimento, no qual k ´e o n´umero de grupos. Os valores de k est˜ao entre 2 e 100, e
s˜ao definidos automaticamente pela ferramenta por apresentarem os melhores resultados. De acordo com a t´ecnica, na base do MovieLens a utiliza¸c˜ao de quinze grupos de
usu´arios para gerar recomenda¸c˜ao retorna itens mais relevantes que os demais n´umeros
de grupos. Esta ocorrˆencia deve-se pela disposi¸c˜ao dos dados dos usu´arios na base, sendo que, dadas as intera¸c˜oes feitas pelos usu´arios, essas refletem suas preferˆencias. A utiliza-
(a) MAP.
(b) Precis˜ao.
Figura 5.24: Gr´aficos e tabelas comparativas de MAP e precis˜ao na t´ecnica baseada em grupos na base do MovieLens.
¸c˜ao do algoritmo de agrupamento neste experimento definiu a representa¸c˜ao do n´umero
aproximado de grupos de usu´arios na base, logo utilizou-se o valor de k igual a 15 como valor padr˜ao desta t´ecnica.
Na se¸c˜ao a seguir ser˜ao discutidos os resultados de forma geral e apresentadas as conclus˜oes relacionadas ao Estudo 2.
5.3.4
Conclus˜oes do Estudo 2
O Estudo 2 consistiu em abordar um maior n´umero de intera¸c˜oes por parte dos usu´arios,
al´em de considerar intera¸c˜oes expl´ıcitas a fim de validar o uso da ferramenta desenvolvida em outro dom´ınio de aplica¸c˜ao. As avalia¸c˜oes neste estudo tamb´em foram realizadas offline utilizando o protocolo All-but-one, juntamente com a valida¸c˜ao cruzada em 10 folds. As Figuras 5.25 e 5.26 apresentam um gr´afico comparativo entre os resultados das avalia¸c˜oes das quatro abordagens utilizadas neste estudo, enquanto as Tabelas 5.7 e 5.8
apresentam os valores do desvio padr˜ao das amostras de cada t´ecnica utilizada no teste de significˆancia estat´ıstica (p < 0.05).
Nos gr´aficos, o MAP apresenta uma tendˆencia a retornar melhores valores na medida em que mais itens s˜ao retornados no ranque, e tamb´em permite a conclus˜ao de que ´e uma medida mais eficaz para avalia¸c˜ao de ranques, dado que a m´etrica leva em considera¸c˜ao a posi¸c˜ao na qual o item foi retornada no ranque, como ressaltado no Estudo 1. Os resultados obtidos nestes experimentos demonstro que a contribui¸c˜ao das intera¸c˜oes de atribui¸c˜ao de notas e hist´orico de visualiza¸c˜ao, apesar de terem valores baixos, contribuem positivamente para o resultado final da combina¸c˜ao.
Figura 5.25: Gr´afico e tabela comparativa de MAP entre as t´ecnicas apresentadas na base do MovieLens.
Tabela 5.7: Desvio Padr˜ao para a m´etrica de MAP.
T´ecnica MAP@1 MAP@3 MAP@5 MAP@10
SVD++ (Notas) 0,000102 0,0000210 0,00089 0,000054 BPRMF (Hist´orico) 0,000032 0,0000121 0,00089 0,000341 BPRMF (Etiquetas) 0,000210 0,000875 0,000012 0,000812 1➟ T. baseada em heur´ıstica 0.000153 0.000231 0.000123 0.000312 2➟ T. baseada em heur´ıstica 0,000474 0,000326 0,000084 0,0000437 T. baseada em aprendizagem 0,000623 0,000134 0,000104 0,000321 T. baseada em grupos (k=15) 0,000632 0,0000389 0,000043 0,000532
Figura 5.26: Gr´afico e tabela comparativa de precis˜ao entre as t´ecnicas apresentadas na base do MovieLens.
Tabela 5.8: Desvio Padr˜ao para a m´etrica de precis˜ao.
T´ecnica PREC@1 PREC@3 PREC@5 PREC@10
SVD++ (Notas) 0,000076 0,0000187 0,000146 0,0000654 BPRMF (Hist´orico) 0,000019 0,000032 0,000215 0,000077 BPRMF (Etiquetas) 0,000168 0,000062 0,0000107 0,000085 1➟ T. baseada em heur´ıstica 0,000032 0,000187 0,000098 0,000131 2➟ T. baseada em heur´ıstica 0,000217 0,00045 0,000124 0,000076 T. baseada em aprendizagem 0,000115 0,000745 0,000032 0,000054 T. baseada em grupos (k=15) 0.000047 0.0000527 0.000238 0.000088
Os resultados gerados pela ferramenta na base do MovieLens tamb´em apresentaram bons resultados em rela¸c˜ao `as t´ecnicas j´a existentes na literatura. Nota-se que as abor- dagens de combina¸c˜ao propostas neste trabalho, conseguiram melhorar visivelmente os cen´arios dos ranques de notas e hist´orico de visualiza¸c˜ao que n˜ao puderam sequer re- tornar algum item relevante para o usu´ario nas trˆes primeiras posi¸c˜oes. Dentre as trˆes t´ecnicas de combina¸c˜ao apresentadas, a que retornou itens mais relevantes, assim como no Estudo 1, foi a t´ecnica baseada em aprendizagem, demostrando resultados superiores aos demais em todas as posi¸c˜oes do ranque. As t´ecnicas baseadas em heur´ısticas, as- sim como a t´ecnica baseada em grupos, tamb´em apresentaram bons resultados em suas combina¸c˜oes, demonstrando que seu uso pode ser expandido para outros dom´ınios.
Os experimentos e avalia¸c˜oes realizados no Estudo 2 proporcionaram resultados rele- vantes para a pesquisa, uma vez que permitiram:
1. Verificar o funcionamento da ferramenta em uma base de dados com intera¸c˜oes expl´ıcitas e impl´ıcitas;
2. Refor¸car a generalidade do modelo baseado em aprendizado, uma vez que esta abor- dagem teve bons resultados em bases de dados com dom´ınios diferentes;
3. Verificar que as recomenda¸c˜oes produzidas pelas t´ecnicas da ferramenta proposta oferecem melhor qualidade do que as recomenda¸c˜oes produzidas pelos algoritmos tradicionais em outro dom´ınio;
4. Publica¸c˜ao de trabalho apresentando os resultados da t´ecnica baseada em m´edias.
5.4
Considera¸c˜oes Finais
Neste cap´ıtulo foram apresentados os principais resultados encontrados durante o de- senvolvimento dos experimentos, dos quais apontaram-se as principais implica¸c˜oes para a pr´atica do processo de implementa¸c˜ao das t´ecnicas de combina¸c˜ao nos sistemas de recomenda¸c˜ao, al´em das implica¸c˜oes metodol´ogicas usadas nos estudos. Inicialmente apresentaram-se as metodologias de avalia¸c˜ao empregadas nos estudos, descrevendo as ferramentas e bases de dados que seriam utilizadas, al´em das m´etricas e protocolos de avalia¸c˜ao a serem utilizados.
Em seguida, expuseram-se os resultados gerados por cada t´ecnica da ferramenta na base de dados do LastFM. Neste estudo, apresentaram-se os fatores que contribu´ıram e limitaram os experimentos, al´em de apresentar uma an´alise geral de todas as t´ecnicas quando confrontadas umas com as outras, e com as t´ecnicas j´a existentes na literatura. No Estudo 2 foram repetidos os mesmo experimentos do estudo anterior, por´em com uma base
de dados mais robusta, contendo um maior n´umero de tipos de intera¸c˜ao. Ao final de cada
estudo, apresentaram-se as conclus˜oes a respeito das experiˆencias realizadas e as principais contribui¸c˜oes de cada um. Por fim, discutiu-se sobre as principais limita¸c˜oes encontradas durante o desenvolvimento dos experimentos, destacando os principais motivos pelos quais elas existiram.
Os estudos apresentados neste cap´ıtulo mostram que as t´ecnicas da ferramenta pro- posta foram eficazes com rela¸c˜ao `a redu¸c˜ao do problema abordado nesta disserta¸c˜ao em diferentes dom´ınios de aplica¸c˜ao. O pr´oximo cap´ıtulo apresenta as considera¸c˜oes finais deste trabalho, assim como as contribui¸c˜oes e trabalhos futuros.
6
Conclus˜oes e Trabalhos Futuros
Neste cap´ıtulo ´e apresentado o resumo da pesquisa descrita nessa disserta¸c˜ao, discutindo as suas contribui¸c˜oes, problemas encontrados ao longo do desenvolvimento e sugest˜oes para prosseguimento do trabalho.