Örneklemin Demografik Özellikleri

Para verificar a validade ou não da hipótese nula referente à utilidade percebida, H0UP, deve-se comparar a porcentagem média de opiniões positivas sobre essa

característica com a porcentagem média de opiniões negativas. Antes, porém, deve-se verificar se os dados da amostra estão em conformidade com a distribuição normal de probabilidade. Assim, o teste Shapiro-Wilk foi aplicado ao conjunto de opiniões positivas e

negativas (ou neutras) da Tabela 6.7. Com relação ao conjunto de opiniões positivas {75; 100; 92; 75; 67; 58; 100; 83}, o mesmo foi considerado normalizado com grau de significância p = 0,01, pois W = 0,93 e Threshold (p = 0,01) = 0,749. O mesmo ocorreu para o conjunto de dados referente às opiniões negativas (ou neutras) {25; 0; 8; 25; 33; 42; 0; 17}.

Uma vez que os dois conjuntos de dados foram considerados normalizados, aplicou- se o t-test para verificar a validade ou não da hipótese H0UP. Comparando-se o valor médio

de opiniões positivas a respeito da utilidade da ferramenta ObasCId-Tool (81%) com o valor médio de opiniões negativas ou neutras (19%), a hipótese nula H0UP pode ser rejeitada com

grau de significância p = 0,00001. Ou seja, com aproximadamente 99,9% de confiança, é possível afirmar que a porcentagem média de opiniões positivas difere-se da porcentagem média de opiniões negativas ou neutras. Além disso, como a percentagem de opiniões negativas ou neutras é menor do que a de opiniões positivas, de acordo com a regra de interpretação do Quadro 6.10, a ferramenta ObasCId-Tool pode ser considerada satisfatória com relação ao constructo utilidade percebida.

Para a análise do constructo facilidade de uso, a hipótese H0FU é composta de duas

partes. Primeiramente, deve-se verificar se a porcentagem média de opiniões positivas dos usuários a respeito da facilidade de uso da ferramenta é diferente da porcentagem média de opiniões negativas ou neutras. Posteriormente, deve-se verificar se a porcentagem de tarefas concluídas pelos usuários da ferramenta é diferente de 75%.

Inicialmente, aplicou-se o teste para verificar a normalidade do conjunto de opiniões dos usuários a respeito dessa característica e verificou-se que, para os dois conjuntos (de opiniões negativas ou neutras e de opiniões positivas), os dados não encontram-se normalizados, o que restringe o uso do t-test. Sendo assim, para testar essa parte da hipótese H0FU, aplicou-se novamente o teste Mann-Whitney. Comparando-se os valor médio

de opiniões positivas a respeito da facilidade de uso da ferramenta ObasCId-Tool (89%) com o valor médio de opiniões negativas ou neutras (11%), apresentadas na Tabela 6.6, a primeira parte da hipótese nula H0FU pode ser rejeitada com grau de significância p =

0,00094. Ou seja, é possível afirmar que a porcentagem média de opiniões positivas difere- se da porcentagem média de opiniões negativas ou neutras dos usuários a respeito da facilidade de uso da ferramenta ObasCId-Tool.

A porcentagem média de atividades concluídas com sucesso pelos participantes do estudo experimental também não está em conformidade com a distribuição normal de probabilidade. Assim, novamente o teste Mann-Whitney foi aplicado, comparando-se a porcentagem média de atividades concluídas com sucesso (96,5%) com o valor 75%. Como resultado, a segunda parte da hipótese nula H0FU pode ser rejeitada com grau de

Assim, como as duas partes da hipótese H0FU foram rejeitadas, então, pode-se

considerar a hipótese alternativa H1FU, isto é, que o valor médio de opiniões positivas a

respeito da facilidade de uso da ferramenta ObasCId-Tool é diferente do valor médio de opiniões negativas ou neutras e que a porcentagem média de atividades concluídas pelos participantes do estudo também é diferente de 75%. Além disso, como a percentagem de opiniões negativas ou neutras é menor do que a de opiniões positivas e a porcentagem média de atividades concluídas é maior do que 75%, de acordo com a regra de interpretação do Quadro 6.10, a ferramenta ObasCId-Tool pode ser considerada satisfatória com relação ao constructo facilidade de uso percebida.

6.4.4 Ameaças à Validade do Estudo

1) Ameaças à validade de conclusão. Analogamente ao que foi dito para o estudo

experimental I, um exemplo de ameaça deste tipo diz respeito à escolha do método estatístico adequado para análise dos dados. No caso deste estudo, dois testes estatísticos foram adotados t-test e Mann-Whitney. O t-test requer dados normalmente distribuídos, dessa forma, o teste de normalidade de Shapiro-Wilk foi aplicado para confirmar essa situação antes da aplicação do mesmo. Para os casos em que o teste Shapiro-Wilk não indicou normalidade do conjunto de dados, o teste Mann-Whitney foi aplicado, por ser um teste não-paramétrico aplicável a conjuntos de dados que não seguem uma distribuição de probabilidade específica.

2) Ameaças à validade interna. Novamente, um ponto que pode ter influenciado os

resultados foi a utilização de alunos de graduação e pós-graduação como participantes do experimento. Contudo, não foram demonstradas expectativas a favor ou contra a ferramenta analisada, para que os participantes não fossem influenciados. Além disso, os estudantes passaram por um mesmo treinamento com duração fixa para que nenhum deles tivesse privilégios sobre os demais.

3) Ameaças à validade externa. Os fatores que podem ter influenciado nos

resultados deste experimento são: (i) a qualidade dos formulários com as atividades apresentadas aos participantes; e (ii) a quantidade de amostras (participantes) estudadas. Com o intuito de mitigar essas possíveis ameaças, novos experimentos com outros grupos de participantes e com aplicações diferentes devem ser realizados.

6.5 Considerações Finais

Este capítulo apresentou o planejamento e a execução de dois estudos experimentais que objetivaram verificar: (i) a efetividade e eficiência da abordagem

ObasCId; e (ii) a aceitação da ferramenta ObasCId-Tool por parte de seus usuários, com

relação à sua utilidade e facilidade de uso.

Os estudos foram realizados com grupos de catorze e onze alunos de graduação e pós-graduação em Ciência da Computação, respectivamente, sendo que o segundo grupo de alunos era diferente do primeiro. Assim, vinte e cinco alunos no total foram utilizados nos dois estudos experimentais realizados.

No primeiro estudo, os participantes tiveram que utilizar as abordagens ObasCId e

Theme/Doc para a identificação e classificação dos interesses de dois softwares

pertencentes a domínios distintos, a saber, Health Watcher (2015) e LocaDVD (Viana, 2009). Como principais resultados, notou-se que a abordagem ObasCId proporcionou maior cobertura para a identificação e classificação de interesses do que a abordagem Theme/Doc nos dois softwares analisados. A cobertura média proporcionada pela abordagem ObasCId variou entre 73,46% e 83%, enquanto que a da Theme/Doc variou entre 40,81% e 52,71%, considerando softwares e grupos de participantes diferentes. Outra constatação interessante foi que não houve diferenças significativas quanto à precisão proporcionada por essas abordagens; além disso, os valores de precisão obtidos podem ser considerados altos para as duas abordagens.

O tempo de execução das duas abordagens é um fator importante a ser considerado, uma vez que ele está diretamente relacionado à produtividade proporcionada por essa abordagem aos seus usuários. Por meio dos resultados obtidos, notou-se que não há diferenças significativas em termos de tempo para execução das abordagens ObasCId e

Theme/Doc. Essa conclusão reforça os benefícios trazidos pela abordagem ObasCId, pois

há indícios de que os recursos introduzidos nessa abordagem não impactarão na produtividade da equipe de desenvolvimento de software.

As principais conclusões obtidas a partir do segundo estudo experimental é que a ferramenta ObasCId-Tool foi bem aceita por seus usuários, quanto às suas características de facilidade de uso e utilidade. Notou-se ainda que, com um treinamento de quarenta minutos, a maioria dos usuários da ferramenta conseguiu concluir todas as atividades sugeridas. Finalizando o conteúdo desta tese, o Capítulo 7 apresenta as considerações finais deste doutorado, destacando-se as principais contribuições trazidas pelo mesmo, bem como suas limitações. Além disso, são elencadas algumas propostas para continuidade deste trabalho.