Toplumsal Cinsiyet Kavramı

Este estudo é uma réplica do primeiro estudo realizado, com algumas alterações. Através deste estudo buscamos remover problemas de planejamento e propor alterações na metodologia. O objetivo novamente é verificar se usuários finais, jogadores de World of Warcraft, conseguem compreender a interface de usuário da ferramenta EUPAT for WoW e se

conseguem criar extensões de forma eficaz e eficiente. Entretanto, desta vez iremos considerar apenas usuários finais com conhecimento em programação e iremos comparar seu desempenho programando Add-ons tanto utilizando a EUPAT for WoW quanto utilizando a linguagem Lua.

5.2.1 Metodologia

O estudo novamente foi dividido em duas partes. Na primeira, foi realizado o uso exploratório com o objetivo de avaliar se o participante consegue interpretar os significados da Interface de Usuário da ferramenta. Na segunda parte, o objetivo foi avaliar se o participante consegue utilizar a ferramenta com eficácia e eficiência.

1. Uso exploratório: O objetivo desta etapa foi verificar se usuários finais programadores conseguem interpretar e entender os elementos da interface de usuário da ferramenta e compreender o seu tutorial. Isso foi feito através de um procedimento exploratório com técnicas de

pensar-em-voz-alta e da observação.

2. Construção de Add-ons: O objetivo foi verificar se os participantes, com conhecimento da ferramenta, conseguiriam construir um Add-on com os recursos oferecidos pela mesma (Eficácia), e avaliar o desempenho (tempo, tentativas, erros cometidos) do usuário na construção deste Add-on (Eficiência). Os participantes deste estudo realizaram as tarefas tanto utilizando a ferramenta

EUPAT for WoW quanto utilizando puramente Lua. O resultado desses

participantes foi comparado (em termos de eficácia e eficiência) entre construir um Add-on com a ajuda da ferramenta e construir o mesmo

Add-on sem o auxílio da mesma.

5.2.1.1 Perfil dos participantes

na faixa de 18 e 25 anos de idade. Estes participantes foram divididos em 2 (dois) grupos de 5 (cinco) pessoas.

Os participantes foram diferenciados quanto ao conhecimento de programação (não-Lua) e de programação em Lua, separando os participantes em:

 Grupo 1: 5 (cinco) participantes com conhecimento de programação em alguma linguagem de programação (que não a linguagem Lua);  Grupo 2: 5 (cinco) participantes com conhecimento na linguagem de

programação Lua.

Consideramos um participante possuir conhecimento em programação se ele tiver sido aprovado em pelo menos 2 (duas) cadeiras (disciplinas) de programação em um curso de nível superior.

5.2.1.2 Tarefas dos participantes

Na primeira etapa, de uso exploratório, os participantes foram convidados a realizar a construção de um Add-on, sem nenhuma explicação da ferramenta. Neste processo, eles foram instruídos a desenvolver os exemplos 1, 2 e 3 do Tutorial da ferramenta EUPAT for WoW.

Os exemplos 1 e 2 do Tutorial correspondem, respectivamente, ao uso de variáveis e exibição de informações na tela de jogo, através de Frames. O exemplo 3 do Tutorial corresponde ao uso do condicional IF (Se .. então).

Adicionamos o exemplo 3 durante o uso exploratório, em diferença ao primeiro estudo realizado, pois consideramos que para desenvolver os Add-

ons propostos, os usuários já deveriam estar familiarizados com o uso do

comando IF dentro da ferramenta.

Os participantes tiveram 15 (quinze) minutos para realizarem sua tarefa. Esse tempo foi estipulado levando em conta a natureza do processo avaliativo: para não sobrecarregar os avaliadores e participantes foi determinado que se o usuário levasse mais de 15 (quinze) minutos

realizando sua tarefa o mesmo seria considerado como não apto a concluir; e levando em conta também a experiência anterior com tarefas semelhantes.

Durante esta etapa, os participantes realizaram o pensamento-em-voz-

alta enquanto observados por um especialista, indicando a sua interpretação

sobre os elementos da ferramenta. Essas informações foram mapeadas com as observações de erros cometidos pelos usuários e com outros comentários: realizados durante e após o estudo. Não foram contabilizados o número de erros nem a quantidade de tentativas.

Já na segunda etapa, de construção de Add-ons, os participantes de ambos os grupos utilizaram tanto a ferramenta EUPAT for WoW quanto um editor de texto comum para construir suas extensões utilizando diretamente a linguagem Lua.

Ambos os grupos foram instruídos a realizarem a seguinte tarefa:

Criar Add-ons usando EUPAT for WoW [ou Lua] para exibir as seguintes mensagens na tela do jogo:

1. Os Pontos de Vida atuais e os Pontos de Vida totais do seu personagem.

2. A proporção entre os dois valores informados anteriormente (Pontos de Vida atuais e totais). Sendo a proporção dada por: (P.V. atuais / P.V. totais) * 100.

3. Uma mensagem que informe ao usuário sempre que a Energia do seu personagem estiver cheia. Considera-se que a Energia está cheia quando a Energia atual é igual à Energia total.

4. Uma mensagem que informe ao usuário sempre que a Energia do seu personagem estiver abaixo de 10%. A Energia está abaixo de 10% quando (Energia atual / Energia total) for menor que (Energia total / 10).

Estas tarefas são versões destrinchadas e mais bem explicadas das tarefas propostas no primeiro estudo. Consideramos que essa mudança iria reduzir erros de interpretação das tarefas e auxiliar os participantes na realização das mesmas.

Em oposto ao apresentado no primeiro estudo, neste estudo os participantes não tiveram tempo limite para realizarem suas tarefas. Além disso, durante esta etapa do estudo, primeiro eles foram encarregados de desenvolver a tarefa proposta utilizando a EUPAT for WoW e em seguida foram instruídos a desenvolverem a mesma tarefa (os mesmos Add-ons) utilizando a linguagem de programação Lua e um editor de texto comum. Consideramos que essas mudanças iriam permitir realizar um comparativo direto do desempenho desses participantes utilizando ou não a ferramenta.

Durante a realização das tarefas, os participantes foram avaliados de acordo com:

1. Desempenho: Tempo decorrido (medição quantitativa).

2. Facilidade de uso: Erros cometidos percebidos e quantidade de tentativas (medição quantitativa) e comentários que o usuário fez durante e após o estudo (qualitativa).

Como os dados coletados não estavam normalizados, foi aplicado o Wilcoxon rank-sum test (ou Mann-Whitney U test), uma alternativa não paramétrica para o t-test, para análise dos dados quantitativos. Esse teste é utilizado para normalizar dados que divergem em nível de grandeza (Hollander e Wolfe, 1999).

Para apoiar a realização do estudo, foram aplicados questionários para: 1- Coletar informações acerca do perfil do participante;

2- Coletar informações e opinião do participante sobre programação, aprendizado de programação, e sobre a ferramenta EUPAT for WoW; 3- Relacionar o desempenho do participante de acordo com as tarefas

propostas no estudo.

encontrado no Anexo 2 (questionário dos Grupos 1 e 2).

5.2.2 Resultados do Uso Exploratório

A partir das observações dos comentários dos usuários, o avaliador pôde inferir os problemas de interpretação na IU e o grau de satisfação deles com a ferramenta EUPAT for WoW. Várias melhorias e mudanças a serem feitas na ferramenta foram sugeridas, inclusive alterações que haviam sido detectadas no primeiro estudo mas que não foram realizadas.

Dentre as sugestões estão:

1. Algumas sugestões relacionadas ao Tutorial:

a. Tornar a comunicação do Tutorial mais direta. b. Adicionar exemplos prontos ao mesmo.

c. Adicionar feedback ao terminar cada uma das tarefas propostas.

2. Algumas sugestões ao uso da ferramenta:

a. Adicionar uma lixeira (para tornar a remoção de comandos e

Frames mais intuitiva).

b. Possibilitar a manipulação (redimensionamento e reposicionamento) de Frames.

3. Algumas sugestões à interface:

a. Aumentar tamanho de comandos e entradas de comandos em operadores.

b. Colorir operadores por tipo.

c. Alterar a cor das entradas em operadores para ficar mais intuitivo como os comandos se encaixam neles.

Também foram encontrados alguns problemas durante o estudo: 1. Relacionados ao Tutorial:

a. Alguns participantes não entenderam o conceito de atribuição de valores a variáveis.

b. Alguns participantes não entenderam a remoção de Frames. c. Alguns participantes não entenderam a manipulação de

operadores.

5.2.3 Resultados da Construção de Add-ons

Nessa segunda etapa, foram coletados vários dados quantitativos dos participantes na construção de seus Add-ons. Abaixo, serão transcritos os resultados da avaliação dos grupos e respostas dadas aos questionários.

5.2.3.1 Grupo 1 - Programadores (Não-Lua)

Os participantes programadores (não-Lua) do Grupo 1 realizaram as tarefas tanto utilizando a EUPAT for WoW quanto utilizando puramente Lua. A Tabela 10 descreve o tempo decorrido e a quantidade de tentativas (incluindo testes malsucedidos) para a resolução da primeira parte (utilizando EUPAT for WoW).

Tabela 10. Desempenho dos programadores (não-Lua) para a criação de Add- ons com EUPAT for WoW.

Participante Tempo Tentativas

1 11,25 min 11

2 13,35 min 11

3 8,31 min 7

4 9,11 min 9

5 10,08 min 10

Na segunda parte (utilizando Lua), foi solicitado que os programadores desenvolvessem os mesmos Add-ons utilizando apenas um editor de texto e linguagem Lua. A Tabela 11 descreve o tempo decorrido e a quantidade de

tentativas para desenvolver estes add-ons.

Tabela 11. Desempenho dos programadores (não-Lua) para a criação de add- ons sem a ferramenta (utilizando Lua).

Participante Tempo Tentativas

1 26,12 min 12

2 31,15 min 14

3 27,10 min 11

4 24,56 min 12

5 29,10 min 11

Em geral, os participantes do Grupo 1 desenvolveram Add-ons de uma forma mais eficiente utilizando EUPAT for WoW do que utilizando apenas Lua. Eles levaram significativamente menos tempo criando Add-ons com a ferramenta (Rank-sum test: Z= 2.6112 p= 0.0090) e com ligeiramente menos tentativas (Rank-sum test: Z= 2.1934, p= 0.0283) do que sem ela. A Figura 19 mostra a distribuição do tempo decorrido para os participantes com a ferramenta (M: 10.08, SD: 1.97) e sem a ferramenta (M: 27.10, SD: 2.57).

Figura 21. Os participantes levaram significativamente menos tempo utilizando a ferramenta (esquerda) do que utilizando apenas Lua (direita).

A Figura 20 mostra a distribuição da quantidade de tentativas para os participantes com a ferramenta (M: 10, SD: 1.67) e sem a ferramenta (M: 12, SD: 1.22).

Figura 22. Os participantes precisaram de ligeiramente menos tentativas utilizando a ferramenta (esquerda) do que utilizando apenas Lua (direita).

5.2.3.1 Grupo 2 - Programadores (Lua)

Os participantes programadores (Lua) do Grupo 2 realizaram as tarefas tanto utilizando a EUPAT for WoW quanto utilizando puramente Lua. A Tabela 12 descreve o tempo decorrido e a quantidade de tentativas (incluindo testes malsucedidos) para a resolução da primeira parte (utilizando EUPAT for WoW).

Tabela 12. Desempenho dos programadores Lua para a criação de Add-ons com a ferramenta.

Participante Tempo Tentativas

1 7,21 min 9

2 5,27 min 4

3 9,30 min 8

4 11,34 min 13

5 8,11 min 7

Na segunda parte (utilizando Lua), foi solicitado que os programadores desenvolvessem os mesmos Add-ons utilizando apenas um editor de texto e

linguagem Lua. A Tabela 13 descreve o tempo decorrido e a quantidade de tentativas para desenvolver estes Add-ons.

Tabela 13. Desempenho dos programadores Lua para a criação de Add-ons sem a ferramenta (utilizando Lua).

Participante Tempo Tentativas

1 28 min 14

2 19,30 min 4

3 24,15 min 7

4 31 min 6

5 26,43 min 6

Em geral, os participantes do Grupo 2 desenvolveram Add-ons de uma forma mais eficiente utilizando EUPAT for WoW do que utilizando apenas Lua. Eles levaram significativamente menos tempo criando Add-ons com a ferramenta (Rank-sum test: Z= 2.6112, p= 0.0090) e com uma quantidade parecida de tentativas (Rank-sum test: Z= 0.7311, p= 0.4647) do que sem ela. A Figura 21 mostra a distribuição do tempo decorrido para os participantes com a ferramenta (M: 8.11, SD: 2.27) e sem a ferramenta (M: 26.43, SD: 4.39).

Figura 23. Os participantes levaram significativamente menos tempo utilizando a ferramenta (esquerda) do que utilizando apenas Lua (direita).

A Figura 22 (gráfico) mostra a distribuição da quantidade de tentativas para os participantes com a ferramenta (M: 8, SD: 3.27) e sem a ferramenta

(M: 6, SD: 3.84).

Figura 24. Os participantes precisaram de uma quantidade relativamente parecida de tentativas utilizando a ferramenta (esquerda) ou utilizando

apenas Lua (direita).

5.2.4 Análise Geral do estudo

A partir dos resultados obtidos, levando em conta o perfil e a quantidade de participantes utilizado no estudo, consideramos que:

1- Utilizando a ferramenta EUPAT for WoW, a maioria dos usuários que participaram do estudo, com o perfil programar jogador de World

of Warcraft, conseguiram construir corretamente Add-ons corretos

para o jogo.

2- A maioria dos usuários que participaram do estudo, com o perfil programador (não-Lua) jogador de World of Warcraft, conseguiram construir Add-ons de forma mais eficiente utilizando a ferramenta

EUPAT for WoW do que utilizando apenas a linguagem de programação

Lua.

3- A maioria dos usuários que participaram do estudo, com o perfil programador (Lua) jogador de World of Warcraft que utilizou a ferramenta EUPAT for WoW, conseguiram construir Add-ons de forma

mais eficiente utilizando a ferramenta EUPAT for WoW do que utilizando apenas a linguagem de programação Lua.

Esses resultados mostram que os participantes programadores (jogadores de World of Warcraft) que utilizaram a ferramenta EUPAT for WoW não só conseguiram construir Add-ons para World of Warcraft como também construíram essas extensões de um modo mais eficientemente do que utilizando a linguagem de programação Lua pura (sem utilizar a ferramenta

EUPAT for WoW). Podemos notar também que este resultado independe

destes participantes possuírem conhecimento prévio na linguagem de programação Lua ou não.

Acreditamos que essa metodologia comparativa pode ser mais eficiente se colocarmos mais grupos, e alternamos entre eles: utilizar linguagem Lua (com editor de texto) primeiro e EUPAT for WoW depois, e utilizar EUPAT for

WoW primeiro e linguagem Lua (com editor de texto) depois.

Esses resultados confirmam que as ferramentas para usuário final podem ser utilizadas como auxílio para aqueles que precisam construir extensões para seus aplicativos. Os resultados indicam que mesmo aqueles que são programadores podem utilizar da ajuda da ferramenta para construir as extensões de um modo eficiente.

Durante o estudo, notamos ainda que alguns erros e problemas de usabilidade persistiram da primeira versão da ferramenta EUPAT for WoW (a qual foi utilizada no estudo anterior) para a segunda versão (utilizada neste estudo). Uma nova versão da ferramenta foi gerada para tentar corrigir esses erros.