5.5
Resultados
A Tabela 5.5 apresenta os resultados de cada participante no experimento, com foco principal na acurácia e no tempo de experimento. Outras informações coletadas, como sexo e a idade dos participantes também são mostradas, embora não sejam relevantes no contexto deste experimento e estão sendo mostradas apenas para visualização do espectro de participantes.
Tabela 5.5: Resultados do Experimento 2 com ênfase na acurácia e tempo de experimento.
Participante Grupo Sexo Idade Acurácia (%) Tempo (min) Média = 44% / DP = 21,13% Média = 13 min / DP = 5,45 min
1 GC1 Feminino 31 20 5 2 GC2 Feminino 30 80 22 3 GE1 Feminino 23 20 9 4 GE2 Masculino 24 40 11 5 GC1 Masculino 23 40 12 6 GC2 Masculino 24 20 24 7 GE1 Masculino 23 40 11 8 GE2 Masculino 29 60 16 9 GC1 Feminino 24 60 14 10 GC2 Masculino 21 40 20 11 GE1 Masculino 28 60 7 12 GE2 Feminino 21 40 15 13 GC1 Masculino 26 80 14 14 GC2 Masculino 27 40 8 15 GE1 Masculino 24 20 9 16 GE2 Masculino 24 60 18 17 GC1 Masculino 25 60 7 18 GC2 Feminino 27 0 13 19 GE1 Masculino 23 60 7 20 GE2 Masculino 29 40 19
Fonte: elaborada pelo autor.
O valor da acurácia é dado a partir do número de respostas corretas do participante. Foram realizadas 6 perguntas sobre duas bases de dados distintas. Inicialmente foi pla- nejado que apenas os dados referentes à base B1 fossem analisados, pois a base B0 seria
utilizada apenas para adaptação do participante ao ambiente experimental. Todavia, du- rante a aplicação do experimento foi observado que os participantes se familiarizaram com o ambiente ainda na primeira questão da base B0. Com exceção desta questão, a qual
demorou mais tempo para ser respondida, as demais foram respondidas rapidamente, em intervalos de tempo similares.
54 CAPÍTULO 5. FASE II: VALIDAÇÃO DA PROPOSTA Com isso, durante o processamento dos resultados, apenas os dados referentes à pri- meira questão da base B0foram cortados da análise, exatamente por se remeterem à adap-
tação do participante. Com isso, o número máximo de questões que poderiam ter sido respondidas eram 5: 2 da base B0e 3 da base B1.
Além dos dados referentes à acurácia e tempo de resposta, a satisfação dos parti- cipantes com a abordagem também foi medida. Por possuírem um caráter subjetivo, as respostas para as questões de satisfação foram dispostas em uma escala Likert, cujos valo- res poderiam ser “Discordo Totalmente”, “Discordo Parcialmente”, “Neutro”, “Concordo Parcialmente” ou “Concordo Totalmente”. Uma vantagem do uso desse tipo de escala é a praticidade na conversão para valores numéricos. A Tabela 5.6 apresenta as respostas dadas pelos participantes sobre aspectos qualitativos do experimento.
Tabela 5.6: Resultados do Experimento 2 com ênfase na satisfação do participante. Os resultados
apresentam a porcentagem de participantes que escolheram cada uma das possíveis respostas para cada questão. Os valores em negrito indicam a opção que concentrou a maioria das respostas.
Questões Discordo Discordo Neutro Concordo Concordo
Totalmente Parcialmente Parcialmente Totalmente
Desconforto ao manipular dispositivo 30% 30% 20% 20% 0%
Confiança na acurácia da resposta 15% 10% 45% 25% 5%
Confusão durante o experimento 0% 5% 10% 50% 35%
Vontade de Usar o Programa Novamente 5% 5% 10% 20% 60%
Problemas na Manipulação do Programa 25% 30% 5% 25% 15%
Fonte: elaborada pelo autor.
As questões de satisfação foram elaboradas com base em 3 critérios: 1. Físico: desconforto durante a manipulação do dispositivo.
2. Mental: confiança na acurácia da resposta e grau de confusão durante o experi- mento.
3. Interativo: vontade de usar o programa novamente e dificuldades ao manipulá-lo. O critério físico teve o intuito de verificar se o participante sentiu cansaço, dor ou qualquer outra sensação desconfortável ao manipular o dispositivo háptico. O mental, por sua vez, teve a função de avaliar a confiança do participante na resposta que estava dando às questões do formulário, assim como expressar o quanto esteve confuso enquanto anali- sava os gráficos. Por fim, o critério interativo verificou o impacto causado pelo aplicativo desenvolvido para o experimento, indagando o participante sobre o quanto ele estaria in- clinado a utilizar o ViSH novamente para análise de outros dados e se o programa deixou a desejar em algum aspecto durante a visualização.
Como as respostas para estas questões foram dispostas em uma escala Likert, cujos valores expressam gradualmente quanto o participante concorda com as proposições rea- lizadas, podemos quantificar esses valores em porcentagens de concordância. Mantendo intervalos iguais entre as porcentagens referentes às respostas, obtemos a relação que pode ser vista na Tabela 5.7.
5.5. RESULTADOS 55 Tabela 5.7: Respostas na escala Likert e suas respectivas representações em percentuais de
concordância. Resposta Percentual de Concordância Discordo Totalmente 0% Discordo Levemente 25% Neutro 50% Concordo Parcialmente 75% Concordo Totalmente 100%
Fonte: elaborada pelo autor.
Após associarmos valores numéricos às respostas, combinamos todos os critérios em uma equação para calcular o percentual de satisfação total de cada participante com rela- ção ao experimento (Equação 5.1).
S =CR +VUN + (1 − D) + (1 − GCA) + (1 − DMP)
5 (5.1)
S - Satisfação Total do Participante D - Desconforto ao usar o dispositivo háptico CR - Confiança na Resposta GCA - Grau de Confusão durante a Análise VUN - Vontade de Usar Novamente o ViSH DMP - Dificuldades na Manipulação do Programa
A fórmula do percentual de satisfação total do participante nada mais é do que a média aritmética das contribuições de cada critério. Com isso garantimos que todos os critérios selecionados possuam a mesma importância para o cálculo final. No caso, os critérios com impacto positivo (CR e VUN) tiveram seus valores passados diretamente para a função. Os critérios com impacto negativo (D, GCA e DMP) não puderam ser inseridos diretamente, sendo necessário que fossem convertidos para o seu correspondente positivo. Essa adaptação foi necessária pois uma maior influência desses critérios não indicam maior satisfação do participante, mas o oposto. Aplicando a fórmula de satisfação dos participantes aos dados coletados, chegamos aos resultados que podem ser visualizados na Tabela 5.8.
Tabela 5.8: Resultados do Experimento 2 com ênfase no grau satisfação do participante, em
porcentagem.
Participante Grau de Participante Grau de Participante Grau de Participante Grau de
Satisfação Satisfação Satisfação Satisfação
1 45% 6 60% 11 65% 16 75% 2 50% 7 85% 12 25% 17 55% 3 25% 8 50% 13 60% 18 20% 4 65% 9 50% 14 50% 19 80% 5 80% 10 20% 15 70% 20 70% Satisfação Média: 55%
56 CAPÍTULO 5. FASE II: VALIDAÇÃO DA PROPOSTA Com o cálculo da satisfação total por participante realizado, as 3 variáveis dependentes do projeto puderam enfim ser analisadas. A Figura 5.3 apresenta os resultados obtidos por cada participante, divididos por grupo. Relembrando, neste quesito os participantes foram convidados a responder 6 questões, das quais 5 foram utilizadas para realizar as análises que se seguem. A primeira das 6 questões foi excluída por seus resultados apresentarem um comportamento completamente diferente dos demais, uma vez que com ela foi o primeiro contato do participante com o programa. Dessa forma, os participantes passaram muito tempo analisando esta questão, se familiarizando com a estrutura do programa e com o modo de interação, o que acabou impactando os dados referentes a ela.
Ao compararmos os grupos com relação à acurácia (Figura 5.3a, verificamos que o GC1 obteve um desempenho relativamente superior aos demais, com pelo menos 3 par- ticipantes acertando 3 ou mais questões. Seu equivalente háptico, o GE1, se comportou quase da mesma forma, com exceção de um participante que teve um desempenho baixo. Ao compararmos os grupos GC2 e GE2, percebemos que o grupo experimental obteve os resultados mais estáveis. Todos os participantes responderam corretamente 2 ou 3 ques- tões, enquanto que no GC2 podem ser observados um pico positivo e um negativo, com um participante que acertou 4 questões e outro que errou todas.
Passando à análise do tempo de duração do experimento (Figura 5.3b), a primeira observação que podemos realizar é sobre a discrepância existente entre os tempos de análise dos grupos do tipo 1 (GC1 e GE1) e dos grupos do tipo 2 (GC2 e GE2). Os participantes dos grupos do tipo 1 terminaram seus testes mais rapidamente que os do grupo do tipo 2. Esse fenômeno ocorreu devido às naturezas das tarefas de cada um deles. Enquanto os grupos do tipo 1 analisaram apenas um único gráfico de dispersão contendo todos os 5 campos da base de dados, os grupos do tipo 2 tiveram que analisar pelo menos 5 gráficos com mapeamentos distintos, nos quais apenas 4 campos estavam disponíveis. Para responder às questões estes participantes tiveram que estabelecer relações entre os gráficos, o que aumentou consideravelmente a dificuldade da tarefa.
Ainda no quesito tempo de duração, os grupos experimentais obtiveram resultados mais promissores que seus equivalentes de controle. Também podemos perceber uma me- nor variação entre os tempos de cada participante nos grupos experimentais. Uma possível suposição seria a de que como nos grupos experimentais existem menos propriedades vi- suais a serem analisadas simultaneamente, os participantes conseguiram compreender as informações mais rapidamente.
Passando para a análise de satisfação, os grupos experimentais obtiveram maior taxa de aceitação, embora a variação nas respostas tenha sido maior também. A maior dis- crepância ocorre entre os grupos GC2 e GE2, que possuem uma diferença de 17 pontos percentuais. Embora o GE1 tenha sido em média o que atingiu maior taxa de satisfação, sua diferença para o GC1 é mínima.
A Tabela 5.9 apresenta um resumo completo dos dados coletados com respeito às 3 variáveis analisadas. Os dados estão divididos por grupo, detalhando por participante e são oferecidos outros dados relevantes como a média e o desvio padrão.
5.5. RESULTADOS 57 Figura 5.3: Resultados do Experimento 2 por categoria.
0 1 2 3 4 5 GC1 GC2 GE1 GE2 N ú m e ro d e R e s p o s ta s C o rr e ta s Grupo
Acurácia dos Participantes por Grupo GC1 GC2 GE1 GE2 (a) Acurácia 0 5 10 15 20 25 30 GC1 GC2 GE1 GE2 Te m p o ( m in ) Grupo
Duração do Experimento de cada Participantes por Grupo GC1 GC2 GE1 GE2 (b) Tempo (min) (c) Satisfação Total
58 CAPÍTULO 5. FASE II: VALIDAÇÃO DA PROPOSTA Tabela 5.9: Resumo dos resultados do Experimento 2.
Grupo GC1 GC2 GE1 GE2
Quesito Acur. Tempo Sat. Acur. Tempo Sat. Acur. Tempo Sat. Acur. Tempo Sat.
20% 5 45% 80% 22 50% 20% 9 25% 40% 11 65% 40% 12 80% 20% 24 60% 40% 11 85% 60% 16 50% 60% 14 50% 40% 20 20% 60% 7 65% 40% 15 25% 80% 14 60% 40% 8 50% 20% 9 70% 60% 18 75% 60% 7 55% 0% 13 20% 60% 7 80% 40% 19 70% Média 52% 10,4 58% 36% 17,4 40% 40% 8,6 65% 48% 15,8 57% Desv. Pad. 0,228 4,159 0,135 0,297 6,693 0,187 0,2 1,673 0,237 0,110 3,114 0,202
Fonte: elaborada pelo autor.
Análise Estatística dos Dados
Os resultados obtidos de cada uma das variáveis dependentes (acurácia, tempo e sa- tisfação) passaram por uma análise estatística. Nenhum dos grupos de dados apresentou uma distribuição normal, logo um teste não-paramétrico foi utilizado. O teste selecionado foi o “Teste U” de Mann-Whitney (também conhecido como Mann-Whitney-Wilcoxon (MWW) ou Teste da Soma das Classificações de Wilcoxon). O teste foi aplicado para cada variável duas vezes, sendo a primeira na comparação entre o GC1 e o GE1 e a se- gunda na comparação entre o GC2 e o GE2.
Em todos os casos testados não foi possível rejeitar a hipótese nula de que as amostras utilizadas eram equivalentes. Logo, concluímos que não há diferença estatisticamente sig- nificativa nos resultados comparados. Uma das razões que poderia explicar esse fato é a de que o tamanho das amostras foi pequeno, com apenas 5 elementos em cada uma. Espe- ramos repetir o experimento futuramente com o objetivo de conseguir um maior número de amostras, verificando de forma mais contundente a validade do resultado obtido.
Partindo do resultado da atual análise, verificamos que existem indícios de que a subs- tituição das propriedades visual “Forma” e “Tamanho” pela propriedade háptica “Vibra- ção” é indiferente no contexto das variáveis categóricas. Essa indiferença nos leva a acreditar em uma equivalência entre estas propriedades.